职位详情

主要职责： -负责公司大数据管理平台的建设，包括数据采集、传输，存储、离线/实时计算以 及分布式调度系统、高可用高并发的数据服务等大数据生态系统的工程化的建设与维护 -参与实时计算平台的架构设计、开发等工作技术能力 -深入理解 Hadoop 、HDFS、Hbase、Hive、Spark、Flink、DolphinScheduler 等大数据生态系统中间件原理，熟悉CDH框架 -熟练OLAP常用的数据存储Clickhouse、Doris等Java栈相关，熟悉Spring生态、使用过缓存、消息中间件、注册中心等，并对其中一些原理有深刻理解 -熟练 Linux 环境及 shell 脚本，掌握 linux 环境下多线程及网络编程 -熟悉分布式系统原理，对存储、离线计算、实时计算中的一项或多项有深入的理解和认识，有大型分布式系统架构、开发、调优经验者优先 -有很强的学习、分析和解决问题的能力，良好的团队合作意识，较强的沟通能力。