优图实验室-原生多模态Infra技术研究

课题背景：

课题挑战：

• 1、多模态异构并行策略设计：原生多模态模型中，Vision Encoder、Audio Encoder 与 LLM Backbone 的计算量、显存占用和通信模式差异显著，如何设计针对多模态异构架构的混合并行策略（张量并行、流水线并行、序列并行的协同组合），最大化多模态训练的硬件利用率与扩展效率；
• 2、多模态动态序列的高效调度：视频帧数、图像分辨率、音频时长的不确定性导致每个样本的 Token 序列长度高度动态，如何设计支持变长多模态序列的高效批处理、动态显存分配与负载均衡机制，消除因序列长度差异带来的计算资源浪费；
• 3、超大规模多模态训练的通信优化：多模态训练中跨模态的梯度同步、KV Cache 跨节点传输及多模态数据预处理 I/O 均面临严峻的通信瓶颈，如何针对多模态训练的通信特征设计定制化的梯度压缩、异步流水与 overlap 策略，降低通信开销对训练效率的影响；
• 4、多模态推理系统优化：原生多模态模型在推理阶段面临视觉 Token 数量爆炸（长视频可达数万Token）与自回归解码串行瓶颈的双重压力，如何设计面向多模态的 KV Cache 管理、视觉 Token 动态压缩与投机解码机制，支撑高并发、低延迟的在线服务场景。

具体工作：

• 1.计算机科学、计算机体系结构、软件工程、人工智能等相关专业的博士及优秀硕士；具有大规模分布式训练系统、高性能计算或 MLSys 方向研究与工程背景者优先。
• 2.深入理解大规模分布式训练系统，熟悉 DeepSpeed、Megatron-LM、PyTorch FSDP 等主流框架原理；熟悉张量并行、流水线并行、序列并行等并行策略；精通 Python 与 C++，熟悉 CUDA 编程及高性能算子开发；在 MLSys、SC、EuroSys、OSDI、ATC 等系统顶会或 CVPR/NeurIPS/ICML 系统方向有相关成果者优先。
• 3.对底层系统与 AI 交叉方向有浓厚兴趣，具备从系统视角分解和量化性能瓶颈的能力；工程严谨性强，能在超大规模训练环境中快速定位和解决复杂系统问题；沟通协作能力强，能与算法、硬件、平台等多方团队高效协同推进。