【S&R&A】搜索推荐数据开发工程师-SH

About the team:
我们是Shopee电商离线数据团队，负责主站电商搜索与推荐、直播以及Video的离线数据建设，包括：样本数据工程、离线特征工程、召回数据工程等。团队致力于构建高质量、统一的基础样本和特征数据资产，利用流批一体等大数据计算和存储技术，持续地改进和优化：样本拼接率、数据交付时延、以及离线特征工程处理效率等核心指标，为Shopee核心电商场景提供稳定、可靠、高效的数据服务，进而帮助业务获得更好的效果转化。


我们每天处理PB级数据，为算法模型训练、在线服务提供高吞吐、低延迟的数据支持。同时，我们也是大数据治理方案的提供者，通过主导和实施一系列计算和存储治理措施，持续提升电商核心离线资源的有效利用率。


欢迎愿意长期从事大数据领域的人才加入我们，相信在这里，你能够实现个人、团队的共同成长。



Job description：
1.参与搜索、推荐离线数据工程建设，包括并不限于：样本数据平台、特征数据平台、召回数据平台等；
2.负责搜索、推荐领域，离线/实时的ETL工作，在理解和分析业务需求的基础上，为业务场景或算法模型提供定制化的数据解决方案，并完成实施与交付；
3.参与流批作业的运维和调优，优化运行效率，确保数据按时更新，及时发现并处理数据异常；
4.有较强的学习能力，了解前沿的大数据技术，引入并推动数据架构的持续演进。


Job requirement：
1.计算机相关专业，本科以上，3年以上大数据工作经验；
2.熟悉大数据计算平台架构，掌握Hadoop、Flink、Spark、Hudi、Hbase、Kafka等至少一种大数据处理技术；
3.熟练掌握Java、Scala、Python中的至少一种开发语言，具备SQL作业的调优经验；
4.熟悉常见的监控和日志排查工具，如Prometheus、Grafana、Kibana等；
5.有大数据资源治理经验者优先；
6.良好的思维逻辑和沟通能力，有责任心、合作精神；
7.具备较强的自我驱动力与抗压能力，并乐于不断尝试、追求业务突破；
8.勇于接受有挑战性的工作，并愿意为之付出更多的时间与精力。