职位描述
任职条件:
1、两年以上相关工作经验,熟悉Python语言,掌握常用的爬虫框架(如Scrapy、Beautiful Soup等)。
2、具备较强的网络编程基础,熟悉HTTP/HTTPS协议及其请求响应流程。
3、了解常见的反爬虫技术及应对方法。
4、具备良好的数据结构和算法知识,能够解决爬取过程中的各种数据处理问题。
5、善于学习、喜欢钻研软件方面的技术,具有较强的抗压能力。
6、学习能力强,能够快速掌握新技术和新工具
7、解决常见的反爬虫问题
工作内容
1、根据需求和设计文档编写爬虫程序,并实现数据爬取、解析、清洗等功能。
2、负责爬虫程序的调试、优化和维护工作,确保数据准确性和稳定性。
3、针对反爬虫机制进行研究和应对,确保爬虫程序的可用性。
4、整合多个数据源并进行数据融合,输出高质量的数据产品。
5、与其他团队(如数据分析、产品、运营等)协作,满足业务需求。
年薪:12-15万