职位描述
岗位职责:1、负责公司大数据平台的搭建、运维和管理,包括Hadoop平台及其相关组件、ETL工具和BI工具,确保平台高效运转、系统稳定性和安全性。
2、参与全链路路数据开发,包括数据采集、数据同步、数据清洗与标准化、数据模型设计、离线数据和实时数据开发、数据服务化、可视化和数据治理等工作。
3、负责多源数据(文件,mysql,mongodb,API,日志,kafka等)接入,标准化清洗转换接入大数据平台,能快速训练出本地化大数据模型。
4、参与公司离线和实时数据仓库设计与开发,根据业务需求进行数据仓库模型设计,负责从ETL到BI到全流程大数据作业的开发。
5、负责基于深度学习的计算机视觉算法开发和优化,涉及到的领域包括但不限于:目标检测、目标跟踪、行为识别、图像分类、关键点检测等;
任职要求:1、硕士学位及以上,211及以上院校毕业,计算机科学、数学、人工智能等相关专业;2年以上图形图像算法工作经验;3年以上大数据开发经验,熟悉主流大数据处理技术,具备丰富的分布式计算平台模型架构经验,包括Hadoop、Hive、HBase、Spark/Flink、Sqoop、Flume、Kafka、ZooKeeper、Elasticsearch等。
2、较强的算法实现能力,熟练掌握C/C 语言,具有VC编程经验和良好的代码风格;熟练掌握matlab、OpenCV等实验、实现工具,扎实的数据结构与算法功底;
3、扎实的机器学习和深度学习算法基本功,良好的数学基础,对新技术充满好奇心,善于提出解决方案并快速验证;
4、在图像分类、目标检测、行为识别、关键点检测等领域有比较深入的研究和实际项目落地经验;
5.代码能力强、掌握Python/Java等开发语言一种以上,熟悉Linux系统及常规shell命令;熟练使用到少一种大型数据库。
6、熟悉并参与过AI系统平台的设计,研发和优化的候选人优先,包括但不限于AI训练平台,推理平台,框架调优等;
7、有在云上独立搭建大数据平台能力
8、有处理亿级以上数据量经验优先。