多模态大模型与智能体算法研究-阿里星

以大模型为核心的生成式人工智能技术正在深刻重塑人机交互的方式与边界。手机及智能终端作为人类最高频的数字入口，天然承载着视觉、语音、触觉、传感器等丰富的多模态信息流，是多模态大模型与智能体技术落地的最关键战场。

我们致力于通用人工智能（AGI）方向的前沿探索与产业落地创新。在迈向AGI的路径中，以手机和智能终端为核心载体，多模态感知、融合、推理与智能体协同等关键问题日益凸显，成为构建下一代通用智能系统的核心挑战。围绕端侧智能交互、设备端多模态理解、跨终端智能体协作等典型场景，我们正在探索如何将大模型能力真正下沉到用户的指尖，实现""无处不在的智能""。

如果你对生成式AI、多模态大模型、智能体（Agent）系统有浓厚兴趣，并有志于将前沿AI技术在手机和智能终端场景中规模化落地，欢迎加入我们，共同定义下一代端智能的能力边界，牵引千行百业在智能时代的深度变革。

职位描述

定义下一代多模态通用大模型与智能体技术范式，实现文本、语音、视觉及传感器等多模态的联合建模，重点探索并解决面向手机及智能终端场景的多模态对齐、多轮推理、Agentic决策等核心挑战，持续追寻通用多模态模型的效果上限。

结合手机、平板、穿戴设备、IoT终端等真实业务场景（如智能语音助手、端侧视觉理解、设备端内容生成、跨模态检索与交互等），设计并优化大模型与智能体架构，在效果、效率与端侧资源约束之间取得最优平衡，提升模型鲁棒性与用户体验。

主导从数据构建、模型训练、端侧评测到设备部署的完整技术链路，通过AB实验、线上调用量、真实用户反馈等多维度指标验证技术价值，推动大模型技术在终端亿级设备上的规模化落地。

深度跟踪并驱动LLM、多模态VLM、多模态AIGC/Diffusion Models、强化学习、Memory、工具调用（Tool Use）、GUI Agent、多智能体协作等前沿技术进展，结合终端交互场景定义技术新范式，快速迭代创新方案，推动相关模型达到并超越SOTA水平。

来自全球Top高校计算机科学、人工智能、信号处理、数学、物理或相关领域的应届博士 / 顶尖硕士毕业生；有手机厂商、智能终端或消费电子AI相关研究/实习经历者优先。

深入掌握深度学习、强化学习、表示学习等建模方法；在多模态建模、跨模态对齐、大模型智能体（Agent）系统设计等方向有深入研究；具备面向端侧/移动设备的模型压缩、量化、高效推理等优化经验者优先。

在国际顶级计算机会议/期刊（如NeurIPS、ICLR、CVPR、ECCV、ACL、InterSpeech、TPAMI等）以一作身份发表多篇论文，或在开源社区、行业竞赛中展示出引领性研究成果；有与手机/智能终端场景相关的研究发表或落地项目经历者优先。

熟练掌握PyTorch / TensorFlow等主流框架，具备大规模语言/视觉模型训练与调优经验，能高效实现定制化训练流程；重视代码质量与实验严谨性，追求""不仅work，而且高效优雅""；有手机操作系统、端侧AI框架使用经验者优先。

热衷于将AI技术从实验室推向真实终端产品，能够从手机和智能设备的复杂用户行为与交互需求中精准提炼核心AI建模问题，并设计创新性解决方案；对消费级智能产品有深刻的用户视角与产品直觉者优先。

善于与产品、基础研究、系统工程团队高效沟通，能够平衡技术理想与终端落地约束，在复杂的多方协作中推动技术方案高质量交付。