字节跳动
校招Agent评测工程师 - 抖音研发中台
北京/深圳 · 校招 · 2027 届 · 本科
长期有效
任职要求
- 2027届获得本科及以上学历，计算机等相关专业
- 热爱计算机科学和大模型技术，对大模型评测工作有浓厚兴趣
- 对主流大模型的原理、能力边界及典型应用场景有较深入理解，熟悉大模型与Agent的常见评测方法
- 扎实的数据结构和算法基础，熟悉至少一门编程语言，包括但不仅限于：Java、OC、C、C++、Python、Go、PHP
- 快速适应和学习能力，善于发现和定位问题有强烈的求知欲、好奇心和进取心，能及时关注和学习业界最新技术，对解决挑战性问题充满激情
- 对AI技术有持续的学习和实践，深度使用AI Coding等各类AI产品，并形成自己的应用范式。
岗位描述
团队介绍：抖音研发中台团队主要负责抖音、剪映、今日头条、番茄小说、财经等产品的质量建设，面向质量、体验、安全提供全方位、深层次、高效的解决方案。
- 1、负责剪辑、创作、Coding Agent及产品的效果评测工作，基于评测结果进行分析与诊断，挖掘模型或Agent在推理、规划、工具调用、代码执行等环节的问题，并输出改进建议；
- 2、负责评测技术基建的建设工作，通过LLM Judge等多维度手段，提升评测的效率和自动化率；
- 3、参与业务评测体系的建设工作，包括评测标准，评测集，评估能力，评测结果分析与归因等系列核心能力建设，跟踪前沿评测技术与Benchmark趋势，开展技术调研与创新实践，推动评测体系升级。
你的简历匹配这个岗位吗？
上传简历，AI 会对照这份 JD 指出你的差距和需要补强的地方
该岗位可能会问的问题
基于 测试 岗位的常见面试问题整理
请解释单元测试、集成测试、端到端测试的区别
查看答题思路
1. 单元测试：测试单个函数/组件，mock 所有依赖，快但覆盖窄 2. 集成测试：测试多个模块协作，不 mock 或部分 mock 外部依赖 3. E2E：模拟真实用户操作，测试完整流程，慢但最接近真实 4. 测试金字塔：底层多（单元）、中层少（集成）、顶层极少（E2E）
如何设计一个接口的测试用例
查看答题思路
1. 正常用例：合法参数，预期正确返回 2. 边界值：空参数/超长参数/特殊字符 3. 异常用例：非法参数/缺失必填参数/错误类型 4. 权限：无 token/过期 token/无权限访问 5. 性能：大并发下的响应时间 6. 工具：Postman 手动 / pytest + requests 自动化
你做过的测试自动化项目是什么
查看答题思路
1. 项目场景：什么类型的项目（Web/API/App） 2. 技术栈：pytest + Selenium / Playwright / Appium 3. 覆盖：用例数、覆盖率提升 4. 难点：如动态元素定位、数据隔离 5. 成果：bug 发现率 / 回归时间从 X 天降到 Y 小时
一个电商下单接口在双十一挂了，你作为测试如何提前发现这个问题
查看答题思路
1. 性能测试：JMeter/Locust 压测找瓶颈 2. 容量规划：预估峰值 QPS（去年 × 增长系数） 3. 全链路压测：模拟真实流量而非单接口 4. 监控：设置 CPU/内存/QPS/响应时间 告警阈值 5. 降级演练：测试限流和降级方案是否生效 6. 复盘：挂了之后的改进措施（如加缓存、加机器）
开发说「测试环境没问题，是生产环境的问题」，你怎么排查
查看答题思路
1. 不急着反驳，先看事实 2. 对比两套环境的配置/数据/版本 3. 抓生产请求日志与测试环境对比 4. 看是否网络/数据库/第三方服务差异导致 5. 如果可以，把生产流量镜像到测试环境重放 6. 沟通：不是分锅，是找根因
更多面试题库功能即将上线
信息来源：企业官方招聘页。投递前请以官网信息为准。