岗位职责:
1.参与及负责大模型剪枝与蒸馏的相关工作。
2.参与深度优化大模型推理引擎的性能,包括提高吞吐与降低延时。推进对用户query的处理
岗位要求:
1. 硕士及以上,具备机器学习经验基础,熟悉常见机器学习、深度学习算法,熟悉机器学习框架,比如Pytorch
2. 对模型剪枝有深入了解,比如结构化剪枝,非结构化剪枝
3. 对模型蒸馏有一定的了解
4. 对模型量化有一定的了解
以下是加分项:
1. 有对推理框架有优化经验
2. 有对分布式训练或者推理优化相关的研究
3. 有在顶会顶刊发表文章
岗位职责:
1.负责大模型推理引擎的系统和架构设计的研发
2.负责深度优化大模型推理引擎的性能,包括提高吞吐与降低延时。
岗位要求:
1. 硕士及以上,具备机器学习经验基础,熟悉常见机器学习、深度学习算法,熟悉机器学习框架,比如Pytorch
2. 有CPU、GPU优化的经验
3. 对大模型推理有深入了解
4. 对推理框架有深入了解
以下是加分项:
1. 有对推理框架的优化经验,比如模型量化、解码器优化、GPU内存优化、算子优化等。
2. 有在顶会顶刊发表过文章