职位描述
岗位职责：
1.爬虫开发：根据业务需求开发特定或通用爬虫模块，确保分配的爬虫开发任务按时，按质量完成；
2.爬虫维护：负责对已上线爬虫模块进行不定期维护，包括：爬虫启停、BUG修复、功能升级、性能优化等；
3.技术支持：协助参与数据采集系统的架构设计与开发，对平台进行持续改进和优化
岗位要求：
1.全日制本科，计算机相关专业，三年以上经验优先；
2.能够熟练应对常见反爬机制，有独立处理账号限制、复杂验证码、数据加密、JS防护/混淆等疑难问题的能力；
3.熟悉TCP/IP、HTTP、HTTPS等网络协议和各种Web前端技术（HTML/JavaScript/Ajax/CSS等）；
4.熟悉requests/scrapy/Selenium/Puppeteer/PhantomJS等流行爬虫组件或框架，熟练掌握Python多线程编程；
5.精通MySQL、MongoDB、Redis等常用数据库；
6.熟悉linux操作系统基础指令，能在linux操作系统中独立完成程序部署、运行及维护工作。