网易爬虫工程师

【工作内容】

– 负责指定的网站进行页面抓取、数据清理提取；

– 参与已有爬虫系统中作业的检验，设计和优化爬虫策略，充分利用已有服务器和宽带资源进行优化；

– 针对APP数据进行抓包分析，爬取APP数据并整合存储；

– 对大规模数据进行处理和简单分析（Hadoop集群）；

– 能积极反馈和沟通工作进度和面临的工作问题。

【职位要求】

– 本科及以上学历，计算机相关专业；

– 掌握Python、Java等编程语言，了解多线程、多进程、网络通信等编程相关知识；

– 掌握网页抓取原理，了解TCP/HTTP协议、Html/Js/Css、Ajax等技术，熟悉一般的网站登陆原理；

– 具有实际爬虫开发工作经验，熟悉常见爬虫框架和工具，比如pyspider, scrapy和Selenium等；

– 了解爬虫框架原理、有过APP抓包分析经验者优先；

– 具有Hadoop、数据挖掘、自然语言处理等相关经验者优先；

– 能够快速学习和掌握新技术，优秀的分析、解决问题能力，具备团队合作精神。