职位详情

大数据开发工程师
20-25K
上海 浦东新区
5-10年
本科
职位详情
Hive
Spark
Kafka
数据仓库
岗位职责: 1. 负责企业数据中台的数据仓库的实施开发ETL过程与基于Flink计算加工的设计与开发; 2. 负责企业数据中台建设,设计数据逻辑和物理模型并完成相关开发工作; 3. 负责数据模型的运营优化,及时响应业务系统的变更,保证模型的数据质量和稳定性; 4. 根据数据应用开发和数据分析需求推进业务信息中心建设,提高数据使用效率; 5. 负责公司数据标签体系建设,并推动标签体系在实际业务场景中落地; 6. 负责各业务系统数据源数据探查调研,准确性完整性验证; 7. 数据同步及计算任务的日常管理,跑批,维护,监控; 8. 数据管道的建设与迭代, 离线数据与实时数据的平滑过渡; 9. 参与大数据项目的可行性分析、立项及选型工作; 10. 了解大数据、数据仓库、开源/商用分布式数据库技术,掌握主流技术并应用到实际工作。 任职要求: 1. 大学本科及以上、计算机相关专业; 2. 5年及以上专业工作经验; 3. 熟悉Hadoop平台,熟悉MapReduce工作原理; 4. 对Flink、Spark Streaming等流式计算框架有深入理解,在Flink方面有实际开发经验优先; 5. 熟练使用Orcale、MySQL、Hive、HBase等数据库存储,有较强的SQL编写与优化能力; 6. 熟悉数据仓库的建模理论,有DW/BI数据架构设计模型设计和性能调优能力; 7. 熟悉大数据生态圈相关组件,如Kafka、Zookeeper、HBase、Hive、Flume、Elasticsearch等的工作原理与实际的开发使用经验; 8. 熟悉常用算法和数据结构,熟悉网络编程、多线程编程技术; 9. 具有较强的学习能力和业务理解能力;具备责任心、正直诚信,具备优良的职业操守和岗位敏感度;具备较强的沟通能力、自我驱动能力和抗压能力;严谨细致,具备较强的团队协作能力。
收起
上海吉祥航空股份有限公司
上海市 · 交通/运输 · 1000-9999人
A级纳税人