职责描述:
l 设计和构建有效、用户友好的基础设施、工具和自动化流程,以支撑和加速机器学习平台的高效运转。
l 使用 Hadoop、Python、Airflow 和 Kafka 等技术或工具构建和维护数据管道,能设计和构建数据/ETL 管道以支持数据科学用例。
l 建立和维护由不同数据源的数据组成的数据仓库或数据湖,包括对存储数据进行适当的编目和治理。
l 对ML资源和技术设施进行维护,为 ML 管道提供支持和故障排除帮助,同时不断提高稳定性
l 采用基础设施即代码的方法(IaC)构建和维护系统
l 了解常见的机器学习和深度学习框架
l 围绕 MLOps 建立标准和实践,包括治理、合规性和数据安全
l 参与机器学习基础设施的成本管理
任职要求:
l 计算机科学、计算机工程、数学、统计学或相关领域的本科及以上学历。
l 3 年以上 AWS 或其他公共云计算服务平台的DevOps经验,如有1 年以上 ML 基础架构和 ML DevOps 经验将是加分项
l 3年以上分布式系统和数据基础设施整体工程经验
l 3 年以上使用 Python或其他语言(如 Java、C#、Golang 等)编码的经验。
l 具有与 ML 工程师合作构建工具和自动化支持从探索到生产运营的整个 ML 工程生命周期的经验,具有容器、 Kubernetes 和 ML CI/CD 工作流程的经验
l 优秀的口头和书面沟通技巧。