1、根据项目要求,完成数据平台建设;
2、负责大数据基础平台的规划、部署、管理和优化,保障平台稳定可靠高效运行;
3、负责平台的数据存储、计算、监控、分析等模块开发,打造稳定可靠的大数据平台;
4、负责基于大数据平台的应用设计、开发和维护及性能提升;
5、深入理解大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;
岗位要求
1、3年以上大数据开发经验,编程能力扎实;
2、精通java、scala、python等开发语言中一种,熟悉linux系统及shell操作;
3、熟悉mysql,sqlserver等数据库的运行机制,精通sql语句;
4、熟悉Hadoop、Hive、Hbase、Spark、Kafka等分布式框架原理,有相关的调优、运维、开发经验;
5、能够进行流数据分析开发;
6、具备数据etl经验,能进行etl流程设计、开发和优化,解决过程中的相关技术问题;
7、有较强的独立、主动的学习能力,良好的沟通表达能力,对新技术保持求知欲;
收起