职位描述
岗位职责：
1.参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率；
2.负责爬虫数据的分布式存储设计及代码实现；
3.负责网页信息抽取、清洗、消重和结构化处理等工作；
4.解决各类反爬问题，如字体加密、JS混淆、验证码、APP抓包和逆向工程;
5.对爬虫数据进行数据处理、分析及匹配。
任职要求：
1.计算机相关专业，有三年以上 Python 开发经验，熟练 Python 语言；
2.熟练掌握selenium、html、js、css、xpath、正则表达式等数据采集与提取工具；
3.精通常见的反爬虫技术如字体加密、js混淆、滑块验证、点选验证、app逆向等；
4.精通scrapy爬虫框架，对分布式爬虫、海量数据采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自动化开发经验者优先考虑；
6.能熟练使用Linux、Mongo、ES、Redis、kafka等技术优先考虑；
7.有激情和责任心，积极主动，具有良好的团队协作、对外沟通能力，有良好的自学能力。提供 Github 或者博客地址，有开源项目贡献者优先考虑