职位描述
岗位职责:
1. 负责大数据平台前瞻技术的研究、技术方案的设计与核心架构的研发
2. 深入理解湖仓一体技术架构及原理,负责大型数据仓库和湖仓一体架构设计、处理性能调优等
3. 深度解读中国联通数字化转型行动方案,结合数据生产需求制定大数据平台技术演进规划和技术落地
任职资格:
1. 熟练掌握Java、Python、Scala等编程语言及其核心特性,熟悉Spring Boot/Spring Cloud等主流Java EE框架及设计模式,编程基础扎实;
2. 熟悉网络基础知识,熟练掌握TCP/IP、HTTP等协议及编程方法,了解OSI七层参考模型及各层网络设备;
3. 熟练掌握Linux操作系统的基本命令和操作,具备在Linux服务器上对Hadoop集群基础的部署、运维能力,包括但不限于HDFS、Yarn、Hive等,具备独立解决问题的能力;
4. 熟练掌握Flink、Spark、HBase、Hudi、iceberg、Paimon及Hadoop生态组件基本概念和运行机制,熟悉各类API,具备基于API的开发能力,具备独立源代码研究和改造能力,有社区开发经验者优先;
5. 深入理解云原生概念,熟悉容器化技术(如Docker)、容器编排工具(如Kubernetes),熟悉云计算架构体系和技术解决方案,有大规模集群架构设计、性能优化相关经验,有Kubernetes、Docker、Mesos、Yarn、OpenStack等社区开发经验者优先;
6.熟悉高性能、高并发、高可用性、高扩展性系统架构原理,熟悉大数据集群或大数据应用系统的设计规划;
7.深入了解或参与过数据库研发或设计者优先,包括但不限于Postgres, MySQL,, Greenplum,Presto, Clickhouse等。
综合素质:
1.责任心强,善于团队协作,主动思考,自我驱动力强;
2.诚实、踏实、认真负责,能承受一定强度的工作压力;
3.具备良好的系统分析能力、抽象思维、和逻辑思维能力,能独立分析问题和解决问题能力。