字节跳动
实习【实习】基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术（北京）
北京 · 实习 · 2027 届 · 博士
长期有效
任职要求
- 2027届及以后毕业，博士在读，人工智能、计算机、通信、芯片设计等相关专业优先
- 优秀的代码能力、数据结构和基础算法功底或芯片架构设计
- 在TPAMI/CVPR/NeurIPS/ICCV等顶级期刊会议上发表论文者优先
- 向标准组织提出过提案并有标准会议经验的同学优先
- 出色的问题分析和解决能力，有自主探索解决方案的能力。
岗位描述
团队介绍：视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节跳动全系产品，如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。
课题介绍：
随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。
- 1、画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观；
- 2、生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题；
- 3、视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等；
- 4、用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度；
- 5、视频智能编码及表达：近年来，深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈，深度学习方法受到了业界的高度重视，发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码，深度学习方法也面临着诸多挑战，例如在很多应用场景下的压缩效率依然落后于传统编码技术，运算复杂度高，跨平台编解码缺乏兼容性，难以标准化等等。此外，如何将传统编码算法和深度学习算法在统一的硬件架构下实现，并达到极致的算力利用效率，涉及到算法和硬件架构创新，是研究的难点。
课题挑战：
基于多模态大模型的分析/理解/画质评估和增强面临如下挑战：
- 1、多模态长视频复杂时序关系建模；
- 2、少样本grounding-based理解画质评估模型；
- 3、可交互/用户偏好对齐的视频处理/增强模型。
视频智能编码及表达面临如下挑战：
- 1、如何实现压缩效率显著超越传统编码器；
- 2、如何满足可接受的复杂度及功耗要求；
- 3、如何保证跨平台编解码一致性；
- 4、如何高效压缩token等新兴智能信息；
- 5、如何有效表达语义信息。
课题价值：
基于多模态大模型的分析/理解/画质评估和增强的研究价值：
- 1、提升中长视频语义理解与事件定位能力及处理效率，支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务；
- 2、降低画质标注成本，实现局部退化可解释评估，提升跨内容泛化能力，支持像素级画质质检与优化。
视频智能编码及表达的研究价值：
- 1、传统视频编码技术逐渐接近其能力极限，视频的智能编码技术有希望突破该极限，实现前所未有的视频压缩效率；
- 2、在新的应用场景中，Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率；
- 3、高效视频智能编码及表达一旦实现标准化，将在市场中占据有利位置，有巨大潜在专利价值；
- 4、高效视频智能编码及表达有可能明显节省带宽及存储，直接创造经济收益。
你的简历匹配这个岗位吗？
上传简历，AI 会对照这份 JD 指出你的差距和需要补强的地方
该岗位可能会问的问题
基于 算法 岗位的常见面试问题整理
请解释 Transformer 模型的自注意力机制（Self-Attention）
查看答题思路
1. Self-Attention = 序列中每个 token 与所有 token 计算相关性权重 2. Q=Wq·x, K=Wk·x, V=Wv·x; Attention(Q,K,V)=softmax(QK^T/√d_k)V 3. 除以 √d_k 防止点积过大导致 softmax 梯度消失 4. 多头注意力：多组 QKV 并行，拼接后线性变换，捕获不同子空间特征 5. 对比 RNN：可并行计算，捕获长距离依赖
你做过的最有深度的算法/模型项目是什么
查看答题思路
1. 一句话说清任务：分类/生成/检索/推荐 2. 模型选型：为什么选这个而非那个 3. 数据：数据量、来源、清洗策略 4. 创新点：你做的改进是什么（不是调参） 5. 结果：核心指标提升（准确率/召回/延迟）
过拟合是什么？怎么判断和解决
查看答题思路
1. 过拟合=训练集表现好、验证集表现差，模型记住了噪声 2. 判断：train loss 持续下降而 val loss 上升 3. 解决：更多数据 / 正则化(L1/L2) / Dropout / 早停 / 数据增强 / 降低模型复杂度
解释梯度下降的原理，SGD 和 Adam 的区别
查看答题思路
1. 梯度下降：沿负梯度方向更新参数，使损失降低 2. SGD：每次用随机小批量估算梯度，引入随机性帮助跳出局部最优 3. Adam = Momentum + RMSProp：自适应学习率 + 动量加速 4. Adam 收敛快但可能泛化不如 SGD；CV 常用 SGD，NLP 多用 Adam
给你 10 万条未标注的文本数据，如何找出其中 10 个主题
查看答题思路
1. 预处理：分词、去停用词 2. 向量化：TF-IDF 或 Sentence Embedding 3. 聚类：K-Means（需指定 K=10）或 HDBSCAN（自动确定类数） 4. 或 LDA 主题模型直接输出主题-词分布 5. 评估：看每个簇的高频词判断主题合理性，迭代调整
更多面试题库功能即将上线
信息来源：企业官方招聘页。投递前请以官网信息为准。