腾讯
实习优图实验室—多模态理解与检索研究
上海 · 实习 · 博士
长期有效
任职要求
- 1、计算机科学、人工智能、模式识别等相关专业的博士及优秀硕士；具有目标检测与识别、Grounding，VLM等研究背景者优先；
- 2、熟悉VLM/MLLM前沿进展，熟悉 CLIP/InternVL等技术路径；精通 PyTorch，熟悉分布式训练框架（DeepSpeed、Megatron-LM）；在 CVPR/ICLR/NeurIPS/ICCV等顶会有相关成果者优先；
- 3、对多模态理解技术有强烈研究热情，对技术有较强的好奇心，具备较好的研究能力；沟通协作能力强，逻辑性强，具备独立解决问题的能力。
岗位描述
【岗位职责】
课题背景：
随着大语言模型（LLM）及多模态大模型（MLLM）技术的突破性发展，通用场景下的图文内容语义理解能力与embedding 表征能力得到显著提升。然而，在开放业务场景中，现有技术仍面临两大核心挑战：首先，在复杂场景下，细粒度特征（如局部属性、跨模态语义关联等）的精准建模能力不足；其次，直接应用预训练大模型容易导致灾难性遗忘、幻觉输出和泛化能力欠缺等问题，难以满足精细场景理解，多粒度图文检索，开放场景识别等业务需求。本研究致力于面向复杂开放场景下的多模态内容理解与检索，探索基于大模型架构的高效细粒度理解方案，构建多粒度感知与检索范式，突破模型在业务场景中的适配瓶颈，推动在多业务场景下的规模化落地。
课题挑战：
- 1、优化多模态大模型在细粒度感知理解中的效果，研究如何设计跨模态细粒度对齐方法、优化视觉表征能力，实现更精准的语义理解与交互；
- 2、研究如何基于多模态大模型构建高效多粒度数据管线与检索匹配方法；
- 3、研究如何解决大模型在业务适配中的灾难性遗忘与泛化性损失等问题；探索基于DPO、GRPO等人类反馈对齐技术，提升模型在复杂场景任务理解与Reasoning能力；
- 4、研究模型结构优化，知识蒸馏等方法提升大模型推理效率，在满足适配效果同时降低推理成本。
具体工作：
你将参与到多模态大模型感知增强的数据管线设计与实现，基于 RL 等方法构建多粒度感知理解方案，设计多粒度跨模态检索特征学习与匹配方案，推动上述多模态相关技术在内容理解等真实业务场景的落地
【任职要求】
- 1、计算机科学、人工智能、模式识别等相关专业的博士及优秀硕士；具有目标检测与识别、Grounding，VLM等研究背景者优先；
- 2、熟悉VLM/MLLM前沿进展，熟悉 CLIP/InternVL等技术路径；精通 PyTorch，熟悉分布式训练框架（DeepSpeed、Megatron-LM）；在 CVPR/ICLR/NeurIPS/ICCV等顶会有相关成果者优先；
- 3、对多模态理解技术有强烈研究热情，对技术有较强的好奇心，具备较好的研究能力；沟通协作能力强，逻辑性强，具备独立解决问题的能力。
【技术方向】
多模态、视觉、语音
你的简历匹配这个岗位吗？
上传简历，AI 会对照这份 JD 指出你的差距和需要补强的地方
该岗位可能会问的问题
基于 运营 岗位的常见面试问题整理
我提到了电竞方面，另一个面试官就问我对于ig战队（lol）的看法，然后一道情景题：公司和ig方面有合作，怎样运营才能吸引ig粉丝使用我们产品
查看答题思路
1. 电竞营销=粉丝经济，核心是社区运营而非传统广告 2. 跨界合作：战队/选手/IP 联名，借粉丝流量 3. 内容策略：比赛直播/选手日常/粉丝二创/社区活动 4. 案例：用 STAR 讲一个电竞相关的运营策划
另一个面试官看我的专业（偏设计）就问我愿不愿意做产品设计方向，让我发作品集 大概就这些 #咪咕#<a href="/creation/subject/928d551be73f40db82c0ed83286c8783" target="_blank" class="s
查看答题思路
1. 核心概念：一句话说清这个问题的底层逻辑 2. 方法论/框架：用 STAR 原则或专业框架结构化回答 3. 实际案例：结合一个具体场景说明 4. 量化结果：用数据佐证你的观点
你认为内容运营需要具备哪些能力
查看答题思路
1. 内容运营=创作有价值的内容→分发到正确渠道→吸引目标用户→促成转化 2. 核心能力：选题能力（知道用户想看什么）、写作能力、数据分析能力（用数据迭代内容策略） 3. 生命周期：选题→创作→审核→发布→分发→数据回收→优化→二次传播 4. 优质内容标准：原创/有用/有趣/有共鸣/有行动引导
谈谈你理解的内容生命周期
查看答题思路
1. 真诚：为什么对这个方向感兴趣（具体经历/瞬间） 2. 匹配：你的能力和这个岗位的契合点 3. 成长：你希望从这个岗位学到什么 4. 贡献：你能为团队带来什么
自我介绍
查看答题思路
1. 我是谁（姓名+学校+专业，15秒） 2. 我做过什么（最相关的 1-2 个经历，30秒） 3. 为什么适合这个岗位（能力匹配，15秒） 4. 总时长控制在 1 分钟以内 5. 避免：念简历、说「我学习能力强」这种空话
更多面试题库功能即将上线
信息来源：企业官方招聘页。投递前请以官网信息为准。