岗位职责:
1、参与CDH集群的维护、优化、扩容,持续优化服务架构;
2、负责大数据平台的平台化建设工作,包括自助平台开发、运维脚本开发;
3、参与集群容器化建设,持续提升资源利用率。
4、建设大数据自动化运维平台,包括但不限于监控,日志;
5、开发大数据运维工具,并不断优化大数据平台,并提出可行的解决方案。
岗位要求:
1、211或985院校硕士及以上学历,计算机及相关专业,有相关工作经验者优先;
2、熟悉linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;
3、对hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hive、Hbase、Spark、Impala等)的应用经验;
4、熟悉hbase,clickhouse以及doris优先;有大数据平台维护经验优先
5、熟悉JAVA语言,熟练使用shell、python等脚本语言开发相关运维管理工具;
6、深入理解大数据平台架构,具有troubleshooting的能力,及时发现并解决重大故障以及性能瓶颈;
7、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力。