我们负责了阿里淘天集团 & 国际数字商业集团的文本及多模态大模型的数据供给,基于海量的大模型预训练数据和SFT数据,需要对文本&图文数据进行清洗、处理、去重、质量校验、标注等处理,以及支持文本数据的检索、图文数据的挖掘、多模态检索,及基于这些数据之上的AI端到端应用
你将参与或负责以下平台功能的开发:
1. 文本 & 图文数据清洗、处理流程的算子沉淀;
2. 整个数据处理pipeline的自定义流程编排及优化;
3. 海量数据的高效 & 准确的检索功能;
4. 数据与下游模型平台的对接,相关sdk的设计;
希望你:
1. 热爱coding,相信Linus的motto: talk is cheap, show me your code.
2. 精通java技术栈,包括spring开发套件、mybatis、maven等;
3. 有大数据处理经验优先,熟悉python优先,对算法有基础了解的优先
4. 毕业学校:985/211