岗位职责:
负责预训练模型的训练加速。包括但不限于优化Megatron,DeepSpeed,PyTorch等框架,数据读取,网络通信,计算算子等优化方向;
负责预训练模型的部署加速。包括但不限于多卡任务调度,算子优化等;
参与WeLM的优化以及大模型在业务场景的落地。
任职资格:
本科以上学历,计算机相关专业,三年以上深度学习模型开发经验;
熟练使用CUDA/C++/Python等相关工具,有一到两个熟悉的深度学习框架;
对预训练模型技术有一定的理解,能够与算法团队顺畅沟通技术概念;
对于模型训练、预测、服务化的加速有一定经验;
对AI预训练模型技术方向有热情。