岗位职责:
1. 建设大规模数据的在线/离线基础架构,并根据上层业务需求和计算逻辑持续优化;
2. 建设数据仓库架构的子系统,包括不限于:调度系统、元数据管理、数据质量监控、高效数据同步、流式数据采集、多维数据分析引擎等;
3. 解决和优化业务人员在开发过程中遇到的计算平台优化、数据处理技术、基础工具使用等技术问题;
4. 研究大数据前沿技术,探索应用于各系统和产品;
职位要求:
1. 统招本科及以上学历,计算机相关专业;
2. 熟悉Hadoop,Hive,Hbase,Spark,Flink,Flume等开源技术,熟练掌握至少一种编程语言(Java、Python、Scala),有4年以上的实际工作经验,有互联网公司大规模数据平台建设经验者优先;
3. 熟悉分布式系统架构或模型,对资源管理、调度算法、并行数据处理有自己的理解;
4. 思维敏捷,对新技术敏感,有较强的钻研学习能力;