工作职责
1、负责数据平台的实时及离线计算的运维管理工作,并保证日常数据交付的准确性和及时性;
2、负责hdfs、yarn、spark、hbase、kafka、flink、impala等大数据系统运维,架构审核、容量规划、成本优化;
3、负责ELK集群、kubernetes集群、lvs集群、redis集群、mysql集群的日常维护管理;
4、负责数据平台的布署自动化及关键指标监控相关工作;
5、深入理解数据平台架构,发现并解决故障隐患及性能瓶颈。
工作要求
1、大学本科及以上学历,计算机或者相关专业,3年以上工作经验;
2、了解Hadoop生态、掌握HDFS、Spark、Storm、Kafka、flink、ES等相关架构及运维,熟悉可用性保障和性能优化;
3、熟练掌握一门以上脚本语言(Shell/Python等),熟练使用SQL对数据库进行增删改查;
4、熟悉K8s,Docker容器相关技术优先;
5、优秀的问题分析解决能力,严谨,踏实的工作态度,强烈的责任心和进取心态;
6、优秀的学习,沟通能力和团队合作精神,强烈的主动Push。
收起