基于大语言模型的评测轨迹自动追踪与异常根因定位研究

【岗位职责】

课题背景

大模型评测是模型研发迭代的核心环节，直接决定模型质量评估的准确性与迭代效率。当前评测任务链路长、环节多（数据抓取→推理部署→打分→结果入库），异常归因高度依赖人工经验拉群排查，核心痛点为：故障定位效率低、轨迹数据碎片化、诊断能力被动滞后。

LLMs 与 Agent 技术为解决上述痛点提供新路径，可自动解析全链路轨迹日志、实现异常智能诊断与归因闭环。目前业内探索仍存在轨迹标准不统一、场景适配不足、诊断与业务语义脱节等问题，因此本课题聚焦 LLMs 驱动的评测轨迹自动追踪与异常根因定位，实现轨迹全链路采集、智能归因诊断及多模型横纵对比，降低排查成本、提升评测任务成功率与迭代效率。

课题挑战

全链路轨迹建模与采集效率平衡：统一 code/agent 与非 code/agent 场景的轨迹上报标准，设计轻量级 Trace 采集方案，在覆盖评测全生命周期（创建→推理→打分→入库）的同时，控制上报开销、避免对评测主链路性能产生侵入，适配高并发海量任务场景。

异常归因可控性与诊断体系构建：利用 LLMs 实现评测异常的自动根因定位与归因分析，确保诊断结果可解释、可追溯；构建贴合评测业务的自动化诊断体系，量化任务成功率、基线偏差、推理服务健康度等核心指标，实现从"被动响应"到"提前发现"的转变。

工程体系融合落地：将 LLMs 驱动的诊断模块与现有评测工程平台（task-server、pulsar 消息链路、starrocks/mysql 存储）无缝融合，解决轨迹数据兼容、实时性、多租户隔离等工程化问题，并对接 langfuse、太极 bot&skill 等外部系统，保障成果可落地复用。

具体工作

你将结合前沿 LLMs 与 Agent 技术，参与评测平台可观测性与智能诊断技术探索落地，重点工作：设计评测轨迹全链路自动上报与追踪方案；研发基于 LLMs 的异常根因自动定位算法；构建评测任务智能诊断与多模型横纵对比分析模块；搭建贴合评测业务的自动化健康监控与告警体系；协助完成方案与现有评测工程体系融合及落地测试，降低 50% 人工排查工单、将评测任务成功率从 96% 提升至 99%，支撑基模与业务评测高效迭代。

【任职要求】

【技术方向】

AI基础设施、系统与安全