职位描述
职位描述:
岗位职责:
1、负责集群(cdh、kafka等)安装、扩展、卸载与版本升级。
2、负责各组件(impala、spark等)的异常处理。
3、负责配置优化,提升资源(cpu、内存等)利用效率,降低组件故障率。
4、负责资源统计与再分配,使用资源池完成资源管控。
5、负责账号创建及权限分配、知识库的账号创建与赋权。
6、负责运维文档、大数据培训文档材料编写。
7、开发大数据自动化运维、监控、故障处理工具,监控所有基础设施组件、应用程序,提供紧急应急措施。
8、负责报表工具(smartbi)与调度工具(taskctl、azkaban)的日常运维与异常处理。
任职要求:
1、基本要求:统招本科及以上学历,计算机相关专业。
2、工作经验:3年以上大数据运维经验,有大数据平台如cdh的搭建及运维经验者优先。
3、知识技能:
1)熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flume/impala/hue/sqoop/elasticsearch/kudu/sentry/solr/azkaban/kylin/storm等。
2)精通python与shell,精通linux常用命令和系统参数调优。
3)熟悉hadoop生态环境以及各个组件的特性和原理。
4)熟悉软硬件设备,网络原理,有丰富的大数据平台部署,性能优化和运维经验。
5)有大数据开发经验和阅读源码能力。
4、素质要求:
有良好的逻辑分析能力和沟通表达能力,思维敏捷,执行力强,对待工作认真严谨,责任心强,具备出色的学习能力和团队合作精神,有一定的推动能力和沟通能力。