【北斗】多模态大语言模型算法研究员

• 1.面向真实业务场景，设计并构建多模态Agent技术体系，覆盖图像、视频、文本、语音等多源信息理解，以及任务规划、工具调用、多轮交互、跨模态推理、自我反思与纠错等核心能力。
• 2.围绕复杂业务任务，抽象多模态Agent的关键问题与模式，探索视觉感知、复杂推理、工具协同和任务执行的一体化优化方案，提升Agent在真实场景中的准确性、鲁棒性与执行效率。

• 1.负责多模态大模型及Agent模型的训练与优化，包括多模态指令精调、偏好对齐、奖励建模、过程监督等方向，提升模型在视觉理解、视频分析、图文推理、工具调用和复杂任务执行中的能力上限。
• 2.参与多模态训练数据与反馈数据建设，包括图文/视频数据清洗、合成数据构建、标注流程设计、偏好数据生产、评测数据沉淀等，支撑模型持续迭代。

• 1.设计覆盖多模态Agent行为、模型感知能力、跨模态推理能力、工具调用能力和业务效果的评测体系，建立自动化诊断与归因链路。
• 2.与业务团队深度协作，构建训练—评估—迭代闭环，将多模态Agent能力落地到真实业务流程中，并转化为可量化的线上收益。

必备条件：

• 1.2027届计算机、人工智能、数学、统计、电子信息、自动化等相关专业，本科及以上学历，博士/硕士优先。
• 2.扎实的机器学习与深度学习基础，熟悉Transformer、Vision Transformer、CLIP、VLM、MLLM等主流多模态模型架构，具备独立阅读和复现顶会论文的能力。
• 3.熟练掌握Python及PyTorch/JAX等主流深度学习框架，具备清晰的代码工程意识和端到端实验能力。
• 4.对多模态大模型训练流程有系统性理解，熟悉视觉编码器、语言模型、跨模态对齐、图文/视频数据构建、多模态指令微调等关键环节。
• 5.对多模态Agent构建有深入理解，熟悉任务规划、工具调用、视觉感知、跨模态推理、多轮交互、记忆机制与失败模式分析。

加分项：

• 1.在NeurIPS、ICML、ICLR、CVPR、ICCV、ECCV、ACL、EMNLP等顶会发表过论文，含在投，或有被广泛使用的开源项目。
• 2.参与过大规模多模态模型训练，或对分布式训练、推理优化、量化、蒸馏、投机解码、多模态Serving优化等有动手经验。
• 3.具有跨学科视野，能够将运筹优化、时空建模、视觉感知、因果推理、强化学习等方法引入多模态Agent与后训练体系。

• 1.真实战场：千万级日订单、百万级骑手，提供业界罕见的Agent大规模真实落地环境，不止是玩具Demo。
• 2.资源保障：充足的GPU集群资源，支持千卡规模的后训练实验，让想法落地不被算力卡脖子。
• 3.成果导向：团队鼓励发表顶会论文，内部有完善的学术合作通道。
• 4.高密度氛围：团队论文产出稳定，曾获美团技术突破奖、啃下硬骨头奖等荣誉，与多所顶尖高校保持长期联合研究。