【岗位职责】
1、负责采集各系统数据,进行数据的流处理和批处理,优化pipeline的性能。
2、负责平台标签开发和数据中台基础能力建设。
3、负责日常数据报表开发和指标体系建设。
4、参与主流社交平台短视频等数据爬虫的开发与维护。
【招聘要求】
1、本科及以上学历,3年以上大数据开发相关工作经验。
2、精通SQL、FlinkSQL、HiveSQL等数据处理技术,熟悉python/R,有数据治理相关经验者优先。
3、有数据仓库或实时数据开发经验,熟悉离线、实时数据处理框架如spark/flink。
4、熟悉java、python、shell等,熟悉Excel操作数据,对数据有敏感度,有数据分析思路优先。
5、熟练掌握ETL相关组件的使用和调优,DataX\Cannal\Seatunnel等。
6、熟悉网页爬虫、分布式、多线程开发技术。
7、逻辑思维能力强,思路清晰,具有良好的沟通协调能力和团队合作精神。