1、使用Hadoop+Hive,负责公司离线数据系统开发
2、使用Spark、flink,负责公司实时数据处理相关的关键产品模块开发
3、使用Java/Python,负责封装数据服务API
4、参与数据平台开发规范制定,数据建模及核心框架开发。
5、校验数据准确性,并能完成数据差异/异常的解释
任职资格:
1、海内外统招本科以上学历;
2、专业要求:计算机、数学、统计、数据科学与大数据技术等相关专业优先;
3、2年以上大数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验
4、熟悉Hive SQL语言,熟悉shell python等脚本语言;
5、熟悉至少一种实时计算引擎 Storm Spark Streaming Flink 对hadoop生态其他组件有一定了解,比如 HBase, hadoop Hive Druid等
6、思维清晰敏捷,逻辑分析能力强、良好的沟通能力;为人正直、诚信,有较强的事业心,对工作认真负责,能够承担一定工作压力。
收起