岗位职责:
1、负责设计研发大数据平台相关产品,包括但不限于实时计算平台,用户行为分析平台等。
2、负责实时数据的ETL开发,收集,清洗,计算。
3、负责实时数据的数据仓库建设。
任职要求:
1、java基础扎实,熟悉基于spring的web开发。
2、熟悉分布式文件系统hadoop、alluxio等。
3、熟悉流式计算引擎flink、spark等。
4、熟悉sql大数据组件hive、presto等。
5、熟悉消息中间件kafka等。
6、精通sql语句,擅长优化hivesql。
7、2-4项大数据组件一个或多个即可。
8、善于思考,沟通能力强,能主动发现问题,并提出解决方案者佳。