大规模模型训练的调度与框架协同优化-阿里星/A Star

• 1. 设计和开发面向大规模模型训练的智能调度系统，实现调度器与训练框架（Megatron-LM、DeepSpeed、FSDP）的深度协同，使资源分配能够感知并行策略拓扑、通信模式和显存需求，提升集群级训练效率和资源利用率；
• 2. 研究和实现万卡级训练的高可用与弹性机制，包括快速故障检测与自动诊断、智能恢复策略（冗余计算、在线重配）、弹性伸缩（节点增减时自动调整并行策略）、高效 checkpoint（增量/异步/分层存储）等，提升训练稳定性和有效训练时间占比；
• 3. 探索自动并行策略搜索与动态调整技术，基于性能建模、执行模拟或在线 profiling，自动选择和优化 DP/TP/PP/SP/CP/EP 的多维并行组合，适应异构集群和动态资源环境，降低人工调参成本；
• 4. 参与 PAI-DLC 训练平台核心能力建设，将技术成果沉淀为可产品化的训练调度和稳定性能力，支撑集团内部和云上客户的大模型训练需求；
• 5. 有一定的技术前瞻性，可以对平台演进中的技术需求（如多阶段训练流水线编排、训练-推理混合调度、异构集群适配等）进行预研和设计。
• 1. 具备扎实的计算机基础知识和分布式系统研发经验，C++/Python 编程能力强，对操作系统原理、计算机网络、分布式一致性等系统领域知识有较好的理解和项目应用经验。
• 2. 熟悉深度学习基本原理和主流深度学习框架（PyTorch），了解分布式训练的基本并行策略（DP/TP/PP/EP）和通信原语（NCCL、AllReduce、P2P）。
• 3. 熟悉 Megatron-LM、DeepSpeed、TransformerEngine、DualPipe 等训练框架技术，并在研究或实习项目中有相应的实践经历。
• 4. 具有很强的学习能力、复杂问题归纳梳理能力、沟通和团队协作能力，具备能够深度钻研技术的耐心。

加分项：

• 1. 有很强的学术研究能力和优秀的学术成果（分布式系统/AI 系统/高性能计算领域顶会/顶刊论文）；
• 2. 熟悉集群调度系统（Kubernetes、YARN、自研调度器）的设计与实现；
• 3. 有万卡级大模型训练实战经验，了解训练中的故障模式和稳定性优化；
• 4. 作为核心贡献者参与开发或负责维护 AI 领域的流行开源项目。