腾讯
校招光子AI-多模态模型架构和训练方案探索
深圳总部 · 校招 · 2027 届 · 博士
长期有效
任职要求
- 1. 包含但不限于计算机、人工智能、信息工程、计算机视觉、自然语言处理、应用数学等专业的博士和优秀硕士；
- 2. 熟练掌握多模态大模型的基本原理与架构，熟悉视觉预训练、跨模态对齐、RLHF等核心方法，具备大模型训练/微调的实践经验；
- 3. 熟悉PyTorch、DeepSpeed、Hugging Face Transformers等主流深度学习框架，掌握Python编程，具备较强的实验设计与消融分析能力；
- 4. 加分项：在计算机视觉、多模态学习等领域发表过顶会论文（如CVPR、NeurIPS、ICLR、ECCV等）；有多模态开源项目维护经验；有游戏/内容领域多模态应用经历。
岗位描述
【岗位职责】
课题背景：
随着人工智能向物理世界与通用智能迈进，单一文本模态的语言模型已难以满足复杂的真实世界交互需求，研究前沿正全面转向涵盖文本、视觉、语音及动作的原生多模态与端到端融合架构。尽管当前模型在基础图文交互上表现尚可，但在端到端语音对话、长时序多模态时空推理以及具身智能的物理规律理解上，仍面临模态间特征冲突、级联误差及训练效率低下等瓶颈。本课题聚焦于突破多模态架构壁垒，探索以原生全模态融合、语音-视觉-文本联合训练及跨模态强化学习为核心的训练方案与评测体系。
课题挑战：
端到端原生融合与跨模态对齐： 如何打破传统 “语音识别 - 文本大模型 - 语音合成” 的级联范式，设计低 “对齐税” 的统一原生架构（如连续 / 离散混合 Tokenizer），实现图、文、音、控等 Any-to-Any 的高效映射，并精准保留语音中的情感、韵律等非文本特征；
复杂时空交互与跨模态泛化： 在包含实时动态语音指令与长周期视觉输入的复杂场景中，如何克服模态间信息异步与逻辑断裂问题，并通过多模态强化学习机制提升模型在真实环境中的全双工拟人化交互与精准指令遵循能力。
具体工作：
参与新一代原生多模态模型（涵盖图/文/音/视频/Action）的基础架构设计与统一对齐方案研究；主导或参与大规模跨模态（重点关注端到端语音交互、视觉理解等）预训练与 SFT 数据构建闭环；探索多模态强化学习策略的调优；推动前沿多模态 Agent 系统的工程落地与系统性评测。
【任职要求】
- 1. 包含但不限于计算机、人工智能、信息工程、计算机视觉、自然语言处理、应用数学等专业的博士和优秀硕士；
- 2. 熟练掌握多模态大模型的基本原理与架构，熟悉视觉预训练、跨模态对齐、RLHF等核心方法，具备大模型训练/微调的实践经验；
- 3. 熟悉PyTorch、DeepSpeed、Hugging Face Transformers等主流深度学习框架，掌握Python编程，具备较强的实验设计与消融分析能力；
- 4. 加分项：在计算机视觉、多模态学习等领域发表过顶会论文（如CVPR、NeurIPS、ICLR、ECCV等）；有多模态开源项目维护经验；有游戏/内容领域多模态应用经历。
【技术方向】
多模态、视觉、语音
你的简历匹配这个岗位吗？
上传简历，AI 会对照这份 JD 指出你的差距和需要补强的地方
该岗位可能会问的问题
基于 运营 岗位的常见面试问题整理
我提到了电竞方面，另一个面试官就问我对于ig战队（lol）的看法，然后一道情景题：公司和ig方面有合作，怎样运营才能吸引ig粉丝使用我们产品
查看答题思路
1. 电竞营销=粉丝经济，核心是社区运营而非传统广告 2. 跨界合作：战队/选手/IP 联名，借粉丝流量 3. 内容策略：比赛直播/选手日常/粉丝二创/社区活动 4. 案例：用 STAR 讲一个电竞相关的运营策划
另一个面试官看我的专业（偏设计）就问我愿不愿意做产品设计方向，让我发作品集 大概就这些 #咪咕#<a href="/creation/subject/928d551be73f40db82c0ed83286c8783" target="_blank" class="s
查看答题思路
1. 核心概念：一句话说清这个问题的底层逻辑 2. 方法论/框架：用 STAR 原则或专业框架结构化回答 3. 实际案例：结合一个具体场景说明 4. 量化结果：用数据佐证你的观点
你认为内容运营需要具备哪些能力
查看答题思路
1. 内容运营=创作有价值的内容→分发到正确渠道→吸引目标用户→促成转化 2. 核心能力：选题能力（知道用户想看什么）、写作能力、数据分析能力（用数据迭代内容策略） 3. 生命周期：选题→创作→审核→发布→分发→数据回收→优化→二次传播 4. 优质内容标准：原创/有用/有趣/有共鸣/有行动引导
谈谈你理解的内容生命周期
查看答题思路
1. 真诚：为什么对这个方向感兴趣（具体经历/瞬间） 2. 匹配：你的能力和这个岗位的契合点 3. 成长：你希望从这个岗位学到什么 4. 贡献：你能为团队带来什么
自我介绍
查看答题思路
1. 我是谁（姓名+学校+专业，15秒） 2. 我做过什么（最相关的 1-2 个经历，30秒） 3. 为什么适合这个岗位（能力匹配，15秒） 4. 总时长控制在 1 分钟以内 5. 避免：念简历、说「我学习能力强」这种空话
更多面试题库功能即将上线
信息来源：企业官方招聘页。投递前请以官网信息为准。