职位详情

职位描述 1、参与数据仓库和大数据平台的环境搭建、架构设计、监控和优化； 2、负责离线和在线数据的采集、清洗和加载； 3、负责分布式批量数据处理、分布式内存计算、数据仓库OLAP类查询统计等离线计算； 4、参与实时数据流的数据处理、查询统计和分析预测等在线计算； 5、基于公司业务构建合适的模型算法； 职位要求 · 5年以上的大数据处理、数据挖掘等相关领域的科研/开发经验； · 熟悉分布式OLAP，如Kylin/Druid等有实际使用经验以及平台集群搭建,精通Kylin并有实际项目经验优化； · 精通Python或Scala，熟练掌握shell编程； · 熟练掌握Hadoop、Spark、Flink等大数据计算技术，并在中大型项目中有相关实际经验； · 熟练掌握Presto、Spark SQL、Drill等大数据即时查询技术，并有Trouble Shooting的实际经验； · 精通SQL，有较好的SQL性能调优经验，熟悉常用的sql分析函数，有Postgres数据库项目经验优先； · 很强的自我驱动力、结果导向并极具责任感； · 有良好沟通能力和团队协作精神； · 对新兴技术有好奇心，有利用技术解决实际问题的热情，开源社区积极参与者优先；