职位描述
职位描述：
职责描述：
1）负责设计和开发高性能分布式社交网站爬虫系统，并提供平台化服务
2）能够提出完整的数据采集-清洗-数据管理(数据质量监控）的应用方案；
3）负责核心技术攻关，解决爬虫的核心问题, 包含反屏蔽，资源调度、配置化页面解析等
任职要求：
1）计算机相关专业本科及以上学历
2）熟悉linux开发环境，掌握至少一门高级语言：java/python，具有至少3年以上编程经验
3）具有至少2年以上爬虫开发经验
4）熟练mysql，redis，mongdb等数据库，有过数据库调优和海量数据存储经验优先；
5）对数据敏感，细心、严谨，有较强的责任心及自驱力；
6）具有一定的团队管理经验，确保实现落地