字节跳动
校招多模态内容理解算法工程师 - 抖音电商&直播
北京/深圳/上海 · 校招 · 2027 届 · 本科
长期有效
任职要求
- 2027届获得本科及以上学历，计算机/软件/人工智能/数学等相关专业的优先
- 具有扎实的机器学习基础，对深度学习、大语言模型、多模态模型、生成式模型等内容理解与生成技术有深入的理解，数理功底扎实，自学能力强
- 有扎实的编码能力，熟练使用相关机器学习框架和工程框架
- 在多模态大模型领域有经验，在短视频、图文算法领域有经验者优先
- 在计算机科学高水平会议和期刊如NIPS、ICML、CVPR、ICCV、ECCV、IJCAI、AAAI、KDD、SIGIR、WWW、ACL、PAMI、IJCV等发表过论文或有竞赛经验者优先。
岗位描述
团队介绍：抖音电商算法团队，依托抖音、今日头条、番茄小说、红果短剧等产品，帮助用户发现、讨论并获得好物，享受美好生活；帮助商家高效经营，创建良性商业生态；激励创作并分享购物经验使用心得，构建有真诚有信息的电商内容氛围。在这个团队，我们不仅要通过推荐、广告和搜索算法搭建消费者和商家之间的桥梁，也要通过风控算法和治理算法去甄别违规行为，保护用户的购物体验，保护真正诚信经营的商家；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率，降低商家的经营成本；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户物流体验；另外我们还会用业界先进的数据科学技术为业务健康发展保驾护航。我们的使命：用算法的能力，让用户总能发现好东西，让美好生活触手可得。
抖音直播算法团队，负责抖音、抖音极速版、抖音火山版等App的直播推荐算法优化，业务包括直播体裁基建和直播营收。直播体裁基建从用户侧的召回/粗排/精排/混排等模型和策略和主播侧的冷启动算法，结合多模态内容技术动态理解切片和用户兴趣，建立短视频域到直播域的兴趣迁移，在全场景分发直播体裁，满足用户看播需求并服务于营收、电商、生活服务、游戏等多业务。直播营收致力于为歌唱/舞蹈/弹奏/朗读/情感/户外等广泛的具有一技之长的普通人通过直播这个舞台被更多人看到获得收入，并满足用户多层次的精神消费和情感表达诉求，让优质内容供给持续增长反哺整个直播生态。在推荐技术方面，我们持续验证并落地全链路模型的高效scaling up方案，积极探索生成式推荐和LLM4Rec路线，提升模型系统的整体智能。
- 1、研究方向：提升视频、音频、图像、文本及多模态的大模型基础能力，在业务领域与通用领域取得行业领先的效果，建设体系化的模型能力提升方法论；探索理解大模型与生成大模型能力结合互补模式，探索并落地一体化模型并取得更高的模型效果；推动多模态内容理解能力在推荐场景的落地应用；
- 2、负责抖音直播业务场景下的内容理解工作，建设多模态大模型、生成式模型等前沿模型技术能力，接近人类感知认知模型能力，产出相应的研究成果；
- 3、跟进行业最新技术进展，探索多模态方向的新技术研究与落地。
你的简历匹配这个岗位吗？
上传简历，AI 会对照这份 JD 指出你的差距和需要补强的地方
该岗位可能会问的问题
基于 算法 岗位的常见面试问题整理
请解释 Transformer 模型的自注意力机制（Self-Attention）
查看答题思路
1. Self-Attention = 序列中每个 token 与所有 token 计算相关性权重 2. Q=Wq·x, K=Wk·x, V=Wv·x; Attention(Q,K,V)=softmax(QK^T/√d_k)V 3. 除以 √d_k 防止点积过大导致 softmax 梯度消失 4. 多头注意力：多组 QKV 并行，拼接后线性变换，捕获不同子空间特征 5. 对比 RNN：可并行计算，捕获长距离依赖
你做过的最有深度的算法/模型项目是什么
查看答题思路
1. 一句话说清任务：分类/生成/检索/推荐 2. 模型选型：为什么选这个而非那个 3. 数据：数据量、来源、清洗策略 4. 创新点：你做的改进是什么（不是调参） 5. 结果：核心指标提升（准确率/召回/延迟）
过拟合是什么？怎么判断和解决
查看答题思路
1. 过拟合=训练集表现好、验证集表现差，模型记住了噪声 2. 判断：train loss 持续下降而 val loss 上升 3. 解决：更多数据 / 正则化(L1/L2) / Dropout / 早停 / 数据增强 / 降低模型复杂度
解释梯度下降的原理，SGD 和 Adam 的区别
查看答题思路
1. 梯度下降：沿负梯度方向更新参数，使损失降低 2. SGD：每次用随机小批量估算梯度，引入随机性帮助跳出局部最优 3. Adam = Momentum + RMSProp：自适应学习率 + 动量加速 4. Adam 收敛快但可能泛化不如 SGD；CV 常用 SGD，NLP 多用 Adam
给你 10 万条未标注的文本数据，如何找出其中 10 个主题
查看答题思路
1. 预处理：分词、去停用词 2. 向量化：TF-IDF 或 Sentence Embedding 3. 聚类：K-Means（需指定 K=10）或 HDBSCAN（自动确定类数） 4. 或 LDA 主题模型直接输出主题-词分布 5. 评估：看每个簇的高频词判断主题合理性，迭代调整
更多面试题库功能即将上线
信息来源：企业官方招聘页。投递前请以官网信息为准。