腾讯
实习医疗大模型的相关研究
上海 · 实习 · 不限
长期有效
任职要求
- 1、克服“幻觉”现象与提升事实一致性
- 医疗领域具有极低的容错率，模型生成内容中的事实性错误（即“幻觉”）可能导致严重的医疗事故。当前的主要挑战在于如何抑制模型生成看似合理但毫无依据的诊断建议或虚假文献；如何引入知识增强（RAG）与事实核查机制，确保模型的输出严格基于循证医学证据，实现从“概率生成”到“可信推理”的转变。
- 2、增强复杂临床推理与跨模态语义对齐（能力挑战）
- 医疗诊疗不是简单的问答，而是基于多源信息的复杂逻辑推理过程。
- 对于LLM： 挑战在于如何提升模型在长文本病历中的因果推理能力，使其能够像医生一样处理时序错综复杂的病情演变。
- 对于MLLM： 挑战在于解决跨模态语义鸿沟，即如何实现医学影像（像素特征）与临床文本（语义特征）的精准对齐（Alignment），确保模型能准确识别微小的病灶特征并将其转化为准确的文本描述，而非产生图文不符的描述。
- 3、解决领域适配、可解释性与数据隐私难题（落地挑战）
- 通用大模型缺乏特定专科的深度知识（如罕见病、特定术式），面临着领域微调（Fine-tuning）中灾难性遗忘的风险。此外，医疗决策需要高度的可解释性（即模型不仅要给出结论，还要给出推导过程），“黑盒”模型难以获得医生信任。同时，如何在保护患者隐私数据（HIPAA合规）的前提下，利用高质量、小样本的医疗数据高效训练模型，也是亟待攻克的技术壁垒。
岗位描述
【岗位职责】
近年来，大语言模型（LLM）与多模态大模型（MLLM）技术快速发展，在自然语言处理（NLP）领域，LLM 已在文本翻译、阅读理解等任务中确立了新的 SOTA 标准；与此同时， MLLM 通过引入视觉等编码器，实现了跨模态的语义对齐，在图文问答、视觉推理等复合任务中同样取得了突破性进展。
这些技术正在全面赋能医学领域：
一方面，LLM 广泛应用于以文本为核心的场景，如智能医患对话、病历信息提取、临床指南检索及出院报告生成，已展现出通过医师资格考试的专业知识储备；
另一方面，MLLM 则深入到了以影像和信号为核心的诊疗环节，能够对 CT/MRI 影像、病理切片以及心电信号进行精准解读，辅助医生完成从视觉特征到临床结论的推理。
当前正在推进这两类技术在医学场景下的落地，无论是基于文本的逻辑推理，还是基于多模态数据的综合研判，都已成为智慧医疗的重要支柱。
基于大语言模型（LLM）和多模态大语言模型（MLLM）的技术特性，在医疗健康领域有三方面的价值：
- 1、赋能患者端的普惠服务：提升医疗可及性与公平性（社会价值）
利用 LLM 强大的自然语言理解与共情能力，能够为患者提供全天候的智能预问诊、用药咨询及慢病管理服务。这不仅打破了复杂的医学专业术语壁垒，降低了患者获取高质量医疗信息的门槛，还有效缓解了医疗资源地域分布不均的问题，极大地促进了社会医疗资源的公平普惠；
- 2、助力医生端的增效提质：确立多模态诊疗的新技术标杆（技术领先）
通过 MLLM 对医学影像（CT/MRI）、生理信号及临床文本等异构数据的深度融合与跨模态推理，提升模型在辅助诊断、病理分析及自动化报告生成等任务上的能力。这不仅能为医生提供精准的临床决策支持，降低误诊漏诊率，还能大幅减少文书撰写等重复性工作，让医生回归诊疗核心，显著提升临床效率；
- 3、驱动医疗体系的范式变革：缓解资源矛盾与推动科研创新（综合价值）
大模型技术的应用推动了医疗服务从“人力密集型”向“人机协同型”的范式转变。它不仅在宏观上有效应对了老龄化社会带来的医疗资源供需矛盾，实现了医疗系统的降本增效；同时，模型在处理海量医学数据中涌现出的新知识发现能力，也为医学科研探索提供了新的工具与方向。
【任职要求】
- 1、克服“幻觉”现象与提升事实一致性
医疗领域具有极低的容错率，模型生成内容中的事实性错误（即“幻觉”）可能导致严重的医疗事故。当前的主要挑战在于如何抑制模型生成看似合理但毫无依据的诊断建议或虚假文献；如何引入知识增强（RAG）与事实核查机制，确保模型的输出严格基于循证医学证据，实现从“概率生成”到“可信推理”的转变。
- 2、增强复杂临床推理与跨模态语义对齐（能力挑战）
医疗诊疗不是简单的问答，而是基于多源信息的复杂逻辑推理过程。
对于LLM： 挑战在于如何提升模型在长文本病历中的因果推理能力，使其能够像医生一样处理时序错综复杂的病情演变。
对于MLLM： 挑战在于解决跨模态语义鸿沟，即如何实现医学影像（像素特征）与临床文本（语义特征）的精准对齐（Alignment），确保模型能准确识别微小的病灶特征并将其转化为准确的文本描述，而非产生图文不符的描述。
- 3、解决领域适配、可解释性与数据隐私难题（落地挑战）
通用大模型缺乏特定专科的深度知识（如罕见病、特定术式），面临着领域微调（Fine-tuning）中灾难性遗忘的风险。此外，医疗决策需要高度的可解释性（即模型不仅要给出结论，还要给出推导过程），“黑盒”模型难以获得医生信任。同时，如何在保护患者隐私数据（HIPAA合规）的前提下，利用高质量、小样本的医疗数据高效训练模型，也是亟待攻克的技术壁垒。
【技术方向】
其他
你的简历匹配这个岗位吗？
上传简历，AI 会对照这份 JD 指出你的差距和需要补强的地方
该岗位可能会问的问题
基于 算法 岗位的常见面试问题整理
请解释 Transformer 模型的自注意力机制（Self-Attention）
查看答题思路
1. Self-Attention = 序列中每个 token 与所有 token 计算相关性权重 2. Q=Wq·x, K=Wk·x, V=Wv·x; Attention(Q,K,V)=softmax(QK^T/√d_k)V 3. 除以 √d_k 防止点积过大导致 softmax 梯度消失 4. 多头注意力：多组 QKV 并行，拼接后线性变换，捕获不同子空间特征 5. 对比 RNN：可并行计算，捕获长距离依赖
你做过的最有深度的算法/模型项目是什么
查看答题思路
1. 一句话说清任务：分类/生成/检索/推荐 2. 模型选型：为什么选这个而非那个 3. 数据：数据量、来源、清洗策略 4. 创新点：你做的改进是什么（不是调参） 5. 结果：核心指标提升（准确率/召回/延迟）
过拟合是什么？怎么判断和解决
查看答题思路
1. 过拟合=训练集表现好、验证集表现差，模型记住了噪声 2. 判断：train loss 持续下降而 val loss 上升 3. 解决：更多数据 / 正则化(L1/L2) / Dropout / 早停 / 数据增强 / 降低模型复杂度
解释梯度下降的原理，SGD 和 Adam 的区别
查看答题思路
1. 梯度下降：沿负梯度方向更新参数，使损失降低 2. SGD：每次用随机小批量估算梯度，引入随机性帮助跳出局部最优 3. Adam = Momentum + RMSProp：自适应学习率 + 动量加速 4. Adam 收敛快但可能泛化不如 SGD；CV 常用 SGD，NLP 多用 Adam
给你 10 万条未标注的文本数据，如何找出其中 10 个主题
查看答题思路
1. 预处理：分词、去停用词 2. 向量化：TF-IDF 或 Sentence Embedding 3. 聚类：K-Means（需指定 K=10）或 HDBSCAN（自动确定类数） 4. 或 LDA 主题模型直接输出主题-词分布 5. 评估：看每个簇的高频词判断主题合理性，迭代调整
更多面试题库功能即将上线
信息来源：企业官方招聘页。投递前请以官网信息为准。