职位描述
工作职责
1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作
2、数据处理流程设计及开发
3、海量数据的采集、存储、管理、分析、建模
4、负责大数据、数仓平台的监控及优化,针对持续增长的数据提供相应的解决方案
5、负责大数据、数仓项目的疑难问题解决,性能优化
任职要求
专业知识要求:
1、有3年以上相关岗位工作经历,或者非金融业的数据服务或信息数据管理工作经验
2、数学、计算机技术等相关专业
3、精通大数据(MPPDB、Hadoop)等相关技术,并精通Hbase/Hive/MR/Spark/Solr/storm/flink其中的任意3个组件技术。
4、至少精通主流数据库技术Oracle/PostreSql/MySQL/SQL server中的一种,精通数据仓库理论架构,包括但不限于数据调度、ETL、元数据管理、数据监控;
5、精通1-2门开发语言(JAVA/Python/Scala/Shell)
6、具有比较突出的组织、策划、协调及沟通能力,有强烈的结果导向和客户导向