工作定位:
大数据组件部署维护,业务维稳,故障处理,性能优化,中间件维护,数据维护,三方服务
岗位职责:
1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等,确保高可用;
2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;
3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;
4、设计实现大规模分布式集群的运维、监控和管理平台;
5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。
分工边界:
1.对大数据平台可靠性,稳定性和可用性负责
2.对大数据服务和组件的告警进行响应和处理
3.对大数据服务和组件部署和维护负责
4.对大数据实际使用成本和容量规划负责
5.对多源异构海量数据存储管理存储负责
6.对三方数据,三方服务和三方解决方案的接入维护负责