职位描述
岗位职责：
1.负责完成公司数据采集需求；
2.负责开发分布式爬虫框架，管理分布式爬虫服务器，开发任务调度引擎；
3.负责攻克各种反爬技术难点；
4.参与公司底层数据有关的平台、工具建设 。
任职要求：
1.本科及以上学历，计算机等相关专业， 3年及以上工作经验；
2. 精通Python语言， 至少3年Python相关的开发经验；
3.有海量数据爬取、解析、清洗、存储相关项目经验
4.熟悉linux系统环境；
5.熟悉Mysql、redis等数据库，有过数据库调优和海量数据存储经验者优先。