职位描述
岗位职责：
1.负责完成公司商查数据采集需求；
2.负责开发分布式爬虫框架，管理分布式爬虫服务器，开发任务调度引擎；
3.负责攻克各种反爬技术难点；
4.参与公司底层数据有关的平台、工具建设 。
任职要求：
1.本科及以上学历，计算机等相关专业，1年及以上爬虫相关工作经验；
2.精通Python语言，至少1年Python相关的开发经验；
3.有海量数据爬取、解析、清洗、存储相关项目经验
4.熟悉linux系统环境；
5.熟悉Mysql、redis等数据库，有过海量数据存储经验者优先；
6.掌握逆向、极验、瑞数等技术者优先；
7.有多站点数据采集开发或采集工具开发经验者优先；
8.有机器学习、自然语言处理方面研发经验优先