大数据开发工程师

20-40K

北京

1-3年

本科

全职

职位描述

岗位职责：
1、负责离线数仓架构设计及ETL任务开发和维护；
2、负责提升基于HIve、Hbase数据存储集群的高可用性、高性能、高扩展特性；
3、负责设计和建立基于Flink或Spark实时数据处理框架；
4、研究Hadoop/Spark/Hbase/Hive/Flink等开源项目，对线上任务进行调优，并开发通用组件；
5、负责数据接口服务的设计及开发；
6、负责技术攻关和创新技术引用，开发具有数据分析、数据挖掘能力的创新型产品；
任职资格：
1、本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业，3年以上大数据相关工作经验；
2、熟练使用java、scala、python等开发语言中的一种；
3、有hadoop和spark、hive、flink实际开发经验。了解大数据组件的使用限制和应用场景，如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,ES,Storm、MongoDB等。
4、熟悉mysql、oracle、ElasticSearch、Redis等关系型或NoSQL数据库，了解应用场景和使用限制；
5、熟悉linux操作系统及常用命令；
6、熟悉HDFS分布式文件系统架构，熟练掌握Hadoop/Hive/hbase的运维和调优方法；
7、熟练使用过azkaban、airflow、apache dolphin等开源调度工具优先。

公司介绍

国际万达，百年企业

北京朝阳区万达广场(北京CBD店)B栋

校园宣讲会