1.岗位职责:
1、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;
2、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;
3、设计实现大规模分布式集群的运维、监控和管理平台;
4、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
5、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持;
6、负责部署搭建业务系统的运行环境,包括服务器配置,系统优化;。
2.岗位要求:
1、计算机、通信等相关专业;
2、2年以上大数据集群实际运维工作经验;
3、熟悉/精通linux操作系统;
4、熟悉Hadoop、HBase、Kafka、Hive、Spark、Redis、ES等组件的工作原理;
5、熟悉hadoop/hbase/hive/spark/kafka/Redis/ES 等大数据开源系统部署、升级、扩容、优化等常规事项
6、熟练掌握java/python/shell/perl/php等至少二种开发语言;
7、有cdh,tdh安装部署及运维经验;
8、有较大规模集群规划实施、监控与运维工作经验者优先。
9、配合数据任务上线、运维等配置工作。