职位描述
1. 负责大数据部门数据平台数据集成模块的计算架构设计与开发
2. 负责对实时/离线数据集成链路进行性能、稳定性优化及新场景拓展
3. 参与自研数据集成引擎内核的定制和改进,与Flink等开源社区保持合作
4. 规划数据集成和数据湖等技术方向,培养发展技术团队,输出行业级别影响力
职位要求
1. 扎实的计算机专业基础,熟悉基本的算法和数据结构
2. 熟悉Linux/Unix操作系统,至少掌握一种后端编程语言(Java/Scala/C++等)
3. 良好的发现问题和解决问题能力,对技术充满热情,解决有挑战性的技术难题
4. 熟悉分布式计算基本原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案
5. 有 Flink / SparkStreaming 等实时计算框架开发经验,参与过社区共建者优先
6. 熟悉实时/离线多源异构数据集成技术方案,熟悉iceberg、elasticsearch、Doris者优先