【LongCat大模型人才校招】基础模型 - 预训练数据策略和数据科学研究

北京/上海 · 校招 · 2027 届 · 本科

长期有效

前往官方投递页 →

任职要求

1.熟悉 Python 和 PyTorch 等深度学习框架，具备扎实的机器学习、深度学习、概率统计和算法基础。
2.熟悉大语言模型或多模态基础模型训练流程，理解预训练数据、训练动态、模型能力和评估体系之间的关系；有大规模预训练、Data Mixture、合成数据或模型评估经验者优先。
3.对预训练数据有系统性理解，熟悉数据清洗、去重、污染检测、质量评估、覆盖度建模、长序列组织、合成 / 蒸馏数据和数据配比等关键问题。
4.具备优秀的实验设计和分析能力，能够围绕数据与模型能力提出 hypothesis，设计可复现实验，并基于训练动态、评测结果和模型行为分析实验结论。
5.具备较强的工程实现、自主探索和跨团队协作能力；有相关顶会论文、大模型 / 数据系统 / 训练系统 / 评估系统项目或开源经验者优先。

岗位描述

【岗位职责】

随着模型架构逐渐收敛、算力成本持续上升，高质量数据策略正在成为提升基座模型 scaling efficiency 和能力上限的核心杠杆。本方向聚焦大规模预训练数据的理解、筛选、配比、合成与系统化迭代，致力于建立数据分布、训练动态与模型能力之间的可解释映射，并将其转化为可预测、可干预、可扩展的数据策略和数据系统，持续提升模型的 token efficiency、scaling efficiency 与智能上限。

工作内容包括但不限于：

1.研究数据来源、质量、多样性、难度、覆盖度与模型能力之间的关系，建立“数据分布—训练动态—模型效果”的分析与归因框架。
2.探索面向预训练的数据价值建模方法，包括自动化质量评估、样本筛选、语义去重、污染检测、覆盖度建模、长序列数据组织与高价值 token 挖掘。
3.研究 Data Mixture、动态配比、课程学习和多阶段训练策略，分析不同类型数据在不同模型规模、训练阶段和能力维度上的边际收益，提升 token efficiency 与 scaling efficiency。
4.探索合成数据、蒸馏数据、模型自生成数据和反馈数据在预训练中的有效使用方式，研究合成数据的有效性、多样性保持、退化机制和训练配比策略。
5.构建可复现、可扩展的大规模数据处理与实验闭环，将数据构建、训练验证、能力评测、数据诊断和策略更新结合起来，形成面向基础模型持续迭代的数据飞轮。
6.研究并缓解预训练数据中的污染、偏差、重复、低质、隐私、安全和合规风险，提升数据策略的可靠性、可控性和可持续性。

【为什么是我们】

1.明确的技术判断：团队在原生多模态方向有非共识的长期投入，已发布 LongCat-Next 技术报告（离散自回归原生多模态），不是跟随式的能力补齐。
2.顶级资源支撑：5～6万卡计算集群，万亿参数文本基座已训练完成，多模态正在进行大规模上推验证——你将直接参与业界最前沿规模的多模态实验。
3.主线与探索并行：既承担多模态基座的核心交付工作，也推进下一代原生多模态架构的前沿探索，覆盖"数据→tokenizer→预训练→后训练→RL"全链路。

【任职要求】

1.熟悉 Python 和 PyTorch 等深度学习框架，具备扎实的机器学习、深度学习、概率统计和算法基础。
2.熟悉大语言模型或多模态基础模型训练流程，理解预训练数据、训练动态、模型能力和评估体系之间的关系；有大规模预训练、Data Mixture、合成数据或模型评估经验者优先。
3.对预训练数据有系统性理解，熟悉数据清洗、去重、污染检测、质量评估、覆盖度建模、长序列组织、合成 / 蒸馏数据和数据配比等关键问题。
4.具备优秀的实验设计和分析能力，能够围绕数据与模型能力提出 hypothesis，设计可复现实验，并基于训练动态、评测结果和模型行为分析实验结论。
5.具备较强的工程实现、自主探索和跨团队协作能力；有相关顶会论文、大模型 / 数据系统 / 训练系统 / 评估系统项目或开源经验者优先。

你的简历匹配这个岗位吗？

上传简历，AI 会对照这份 JD 指出你的差距和需要补强的地方

登录后分析我的简历

该岗位可能会问的问题

基于算法岗位的常见面试问题整理

请解释 Transformer 模型的自注意力机制（Self-Attention）

类型专业能力·难度困难

查看答题思路

1. Self-Attention = 序列中每个 token 与所有 token 计算相关性权重 2. Q=Wq·x, K=Wk·x, V=Wv·x; Attention(Q,K,V)=softmax(QK^T/√d_k)V 3. 除以 √d_k 防止点积过大导致 softmax 梯度消失 4. 多头注意力：多组 QKV 并行，拼接后线性变换，捕获不同子空间特征 5. 对比 RNN：可并行计算，捕获长距离依赖

你做过的最有深度的算法/模型项目是什么

类型项目经历·难度中等

查看答题思路

1. 一句话说清任务：分类/生成/检索/推荐 2. 模型选型：为什么选这个而非那个 3. 数据：数据量、来源、清洗策略 4. 创新点：你做的改进是什么（不是调参） 5. 结果：核心指标提升（准确率/召回/延迟）

过拟合是什么？怎么判断和解决

类型专业能力·难度简单

查看答题思路

1. 过拟合=训练集表现好、验证集表现差，模型记住了噪声 2. 判断：train loss 持续下降而 val loss 上升 3. 解决：更多数据 / 正则化(L1/L2) / Dropout / 早停 / 数据增强 / 降低模型复杂度

解释梯度下降的原理，SGD 和 Adam 的区别

类型专业能力·难度中等

查看答题思路

1. 梯度下降：沿负梯度方向更新参数，使损失降低 2. SGD：每次用随机小批量估算梯度，引入随机性帮助跳出局部最优 3. Adam = Momentum + RMSProp：自适应学习率 + 动量加速 4. Adam 收敛快但可能泛化不如 SGD；CV 常用 SGD，NLP 多用 Adam

给你 10 万条未标注的文本数据，如何找出其中 10 个主题

类型情景/案例·难度中等

查看答题思路

1. 预处理：分词、去停用词 2. 向量化：TF-IDF 或 Sentence Embedding 3. 聚类：K-Means（需指定 K=10）或 HDBSCAN（自动确定类数） 4. 或 LDA 主题模型直接输出主题-词分布 5. 评估：看每个簇的高频词判断主题合理性，迭代调整

更多面试题库功能即将上线

信息来源：企业官方招聘页。投递前请以官网信息为准。

前往官方投递页 →