职位描述:
1、负责 Hadoop 集群、数据分析平台、计算平台维护和开发;
2、负责公司海量用户行为日志数据收集、ETL;
3、支持实时数据报表、离线数据报表、交互式数据分析等多种数据应用;
4、参与数据分析平台的数据开发和调优。
岗位要求:
1、熟悉分布式系统的基础理论知识,2 年以上相关工作经验,计算机、统计学、数学等相关专业本科及以上学历;
2、熟练掌握Java编程,熟悉Scala语言,有扎实的开发功底,熟悉Shell脚本,有 Python 语言经验优先;
3、熟悉 HDFS, Yarn, HBase, Kafka, Zookeeper 等基础组件;
4、熟悉 Spark/Flink/Hive/Kylin/Druid/Presto 等开源产品;
6、有大数据分析与数据仓库设计及开发经验,用户画像建立及用户生命周期分析经验者优先;
7、有数据挖掘、机器学习、推荐算法、人工智能、数学建模项目经验者优先;
8、良好沟通和团队合作能力,具备很强的问题分析及解决能力。