岗位职责:
1、大数据平台工具如调度系统、数据质量系统等的开发、维护,大数据基础平台的维护和调优;
2、数据埋点系统的开发和维护;
3、负责海量数据分析、挖掘、加工、清理、处理程序的开发;
职位要求:
1、计算机相关专业,本科及以上学历,3年以上大数据相关工作经验;
2、熟悉Linux/Unix系统环境下的操作,熟悉Java、Scala、Python编程语言的一种或多种,至少有3年以上开发使用经验;
3、熟悉阿里云集群(MaxCompute、DataWorks、Hologres)产品及使用调优,有实际操作经验者优先;
4、精通Hadoop,Spark,Flink,HBase,Hive,Kafka,Druid等大数据组件的原理和调优,至少有3年以上的运维和开发经验;
5、熟悉Flink、Spark Streaming,对于实时计算平台的架构设计有一定的理解,熟悉Flink优先;
6、熟悉OLAP、OLTP引擎如Druid、Kylin、Presto,熟悉主流数据整合、治理技术和工具;
7、熟悉Spring Boot框架,并能熟练开发后台程序;
8、熟悉日志采集系统,对个性化埋点系统有一定经验;