1.负责公司大数据集群的日常运维,包括hadoop、yarn、flink、kafka、elasticsearch、hbase等组件的服务的可用性和性能检测;
2.负责数据采集的搭建、维护,包括maxwell、zookeeper、flume、logstash、filebeat等的负载、扩容、可用性监控;
3.负责公司大数据离线、实时任务的监控维护、维护;
4.负责公司调度的搭建、维护、任务、工作流的配置;
任职要求:
1.计算机本科及以上学历,3年以上大数据运维经验、开发经验至少一年;
2.熟练掌握大数据组件(hbase、hive、spark、impala、flink、kafka等)的搭建、优化、故障处理,必须有真实的运维工作经验;
3.熟练掌握shell/python,编写脚本维护服务;
4.熟练掌握linux基础运维,快速定位机器问题;
5.熟练掌握docker容器技术,k8s、swarm等
6.熟练掌握CDH、HDP大数据集群的搭建、维护、参数优化、报警机制;