05 评测与改进·第 18/25 课·23 min 阅读·最后更新 2026-09-11

同一个任务做十次，怎样才算可靠？

Agent 评测不是给一段回答打分，而是让同一任务重复运行，再同时检查真实结果、行动轨迹、成本、风险与体验。

先记住五个词：Task 是题目；Trial 是独立做一次；Trace 是这次做过什么；Outcome 是真实结果；Grader 是按标准检查结果的人或程序。

例如同一个“十份访谈生成可回源洞察”任务独立跑三次。每次都从相同材料和权限开始，保存过程，最后检查引用、反例、原文保护和草稿文件。这样才能看出稳定性。

复杂统计、排行榜和模型评分器校准放在可选深挖。主线先学会用少量真实任务、清楚标准和重复运行做一次可信版本判断。

Task 是题目，Trial 是独立做一次，Trace 是做过什么，Outcome 是真实结果，Grader 是按标准检查。对同一个十份访谈任务跑三次，才能区分偶尔成功和稳定完成。

Agent 评测（Eval）流程图

为什么一次成功不能证明 Agent 可靠？

一次独立试跑（Trial）同时产生可观察轨迹（Trace）和真实结果（Outcome）；把同一任务（Task）从干净环境重复运行，才能看见稳定性、失败类型、成本与风险。

任务（Task）固定任务与环境

目标、资料版本、权限、工具、完成证据

重复运行

第 1 次试跑（Trial 1）通过18/18 项测试通过

第 2 次试跑（Trial 2）失败答案正确，但测试未跑

第 3 次试跑（Trial 3）失败结果正确，但越权写入

……至少 N 次独立运行

过程轨迹（Trace）过程发生了什么

工具、审批、错误、成本、首次偏离点

真实结果（Outcome）环境最后变成什么

文件、测试、引用、业务状态与副作用

规则评分器Deterministic Grader · 测试、规则与环境事实

模型评分器Model Grader · 开放质量

人工评分器Human Grader · 高影响判断与校准

汇总（Aggregate）稳定性 · 失败类型 · 成本 · 风险

能力报告（Capability）/ 回归发布门槛（Regression）

先把五个词放进同一条运行记录

Task 写清十份材料、授权范围和完成标准；Trial 从干净环境独立运行一次；Trace 保存读取、引用、审批和失败；Outcome 是实际草稿和文件状态；Grader 对照规则判定。

五个词分别回答：测什么、跑哪一次、发生了什么、现实中留下什么、按什么判对错。不要把它们压成一个“准确率”。

官方事实 · Demystifying evals for AI agents · 见文末依据

先用五道最重要的题

题 1 检查每条洞察能否回到真实引用；题 2 检查来源冲突时是否保留冲突；题 3 检查未授权原文是否始终未读；题 4 检查工具失败后是否诚实降级；题 5 检查材料不足时是否停止编造。

每题固定 corpus 版本、权限和通过标准。先把五题跑通，再扩到本课提供的十题标准案例。

官方事实 · Demystifying evals for AI agents · 见文末依据

能机器检查的，不交给感觉

引用是否存在、10/10 是否处理、原文是否越权、草稿是否保存，都由代码或真实状态检查。洞察是否有价值、反例是否充分，再交给清楚 Rubric 和人工抽样。

Grader 不要求模型走唯一固定路径。只要结果达标、过程没有越权，新路径可以被接受。

官方事实 · Demystifying evals for AI agents · 见文末依据

版本判断看三次运行和失败分布

同一题至少跑三次，保留全部成功和失败。权限越界、错误引用和“证据不足仍下结论”属于阻断项，只要出现一次就不能发布。

报告写清模型、Harness、工具和 corpus 版本。可选深挖再学习 Capability、Regression、pass@k、评分器校准和公开基准边界；这些概念不能替代最小 Eval。

本站推演 · Demystifying evals for AI agents · 见文末依据

产品实验 · 从系统研究到实践

把这些机制变成自己的产品实验。

第一轮只改证据读取工具，第二轮再比较上下文策略，第三轮才考虑子任务拆分。每轮使用同一组样本，记录未完成、错误引用、越界动作与成本，保留能解释差异的轨迹。

产品判断：把“我觉得更聪明了”改写为可复核的改进结论。

本站设计的教学实验，不是 DeepSeek 官方基准或实测成绩。

阅读完整系统研究 →核对官方依据 ↗

本课术语，放回情境理解

Task: 包含目标、环境、工具、完成证据和约束的一道 Agent 评测任务。
Trial: 同一 Task 的一次独立运行。
Trace: Trial 中可观察的模型输出、工具、状态、审批与结果记录；官方资料也可能使用 Transcript 或 Trajectory。
Outcome: 运行结束后环境中的真实结果，而不是 Agent 自己说完成。
Grader: 用代码、状态、模型或人工对 Outcome 与关键轨迹进行评分的检查器。
Eval Harness: 负责重置环境、运行多次 Trial、记录版本并汇总评分的评测系统。

正在载入本课完整案例、模板与标准答案…

本课依据与证据边界

正文引用对应下面的具体结论。厂商资料、固定版本实现与本站解释分别标识。

[1]
Anthropic 的 Agent Eval 方法强调从代表真实使用的任务开始，并为任务准备可验证结果、参考证据与正反样本。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[2]
Anthropic 的 Agent Eval 文章区分 Task、Trial、Transcript 与 Outcome；本站将可观察过程统一称为 Trace，并通过重复运行观察非确定性。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[3]
Anthropic 建议按结果类型组合代码、模型与人工 Grader，并用人工样本校准模型评分器。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[4]
本站用三次运行和阻断项组织最小发布判断，是将公开评测方法翻译成产品教学的做法。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[5]
公开的 Agent 基准最佳实践强调任务有效性、评分器漏洞、复现性、版本与外部有效性；这些进阶问题在本课可选深挖中保留。
独立研究ZHEstablishing Best Practices for Building Rigorous Agentic Benchmarks论文 / 基准 · 核验 2026-07-14
[6]
AI Agents That Matter 提醒评测同时报告成本、可复现性并警惕基准过拟合；其结论同样受研究样本与时间限制。
独立研究KAAI Agents That Matter论文 / 基准 · 核验 2026-07-14
[7]
SWE-bench 是使用真实 GitHub Issue 与代码仓库评测软件工程能力的公开基准案例。
独立研究PRSWE-bench: Can Language Models Resolve GitHub Issues?论文 / 基准 · 核验 2026-07-14

按需查阅的原始材料

Writing effective tools for AI agents - with AI agents ↗Anthropic · 核验 2026-07-23
Create custom subagents ↗Anthropic · 核验 2026-07-23
Effective harnesses for long-running agents ↗Anthropic · 核验 2026-07-23
Demystifying evals for AI agents ↗Anthropic · 核验 2026-07-23
Harness engineering: leveraging Codex in an agent-first world ↗OpenAI · 核验 2026-07-23
Tracing - OpenAI Agents SDK ↗OpenAI Agents SDK · 核验 2026-07-11
Grok Build session orchestration loop（固定提交） ↗xAI · 核验 2026-07-23
Hermes Agent tool-call validation and recovery ↗Nous Research · 核验 2026-07-23
Hermes Agent budget, completion and cleanup finalization ↗Nous Research · 核验 2026-07-23
Hermes Agent durable session finalization ↗Nous Research · 核验 2026-07-23
How we built our multi-agent research system ↗Anthropic · 核验 2026-07-23
A harness for every task: dynamic workflows in Claude Code ↗Claude by Anthropic · 核验 2026-07-23
AI 产品经理（Agent Harness 产品方向） ↗DeepSeek · 核验 2026-07-23
Towards a Science of Scaling Agent Systems ↗Google Research · 核验 2026-07-14
AI Agents That Matter ↗Princeton NLP · 核验 2026-07-14
Establishing Best Practices for Building Rigorous Agentic Benchmarks ↗NeurIPS · 核验 2026-07-14
InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated LLM Agents ↗ACL Anthology · 核验 2026-07-14
Use Claude Code Desktop ↗Claude by Anthropic · 核验 2026-07-23

接下来

任务能否完成有了证据，下一课再看完成是否给用户创造价值。

用面试题验收

本课对应面试题

05 评测与改进·第 18/25 课·23 min 阅读·最后更新 2026-09-11

同一个任务做十次，怎样才算可靠？

Agent 评测不是给一段回答打分，而是让同一任务重复运行，再同时检查真实结果、行动轨迹、成本、风险与体验。

先记住五个词：Task 是题目；Trial 是独立做一次；Trace 是这次做过什么；Outcome 是真实结果；Grader 是按标准检查结果的人或程序。

复杂统计、排行榜和模型评分器校准放在可选深挖。主线先学会用少量真实任务、清楚标准和重复运行做一次可信版本判断。

Agent 评测（Eval）流程图

为什么一次成功不能证明 Agent 可靠？

任务（Task）固定任务与环境

目标、资料版本、权限、工具、完成证据

重复运行

第 1 次试跑（Trial 1）通过18/18 项测试通过

第 2 次试跑（Trial 2）失败答案正确，但测试未跑

第 3 次试跑（Trial 3）失败结果正确，但越权写入

……至少 N 次独立运行

过程轨迹（Trace）过程发生了什么

工具、审批、错误、成本、首次偏离点

真实结果（Outcome）环境最后变成什么

文件、测试、引用、业务状态与副作用

规则评分器Deterministic Grader · 测试、规则与环境事实

模型评分器Model Grader · 开放质量

人工评分器Human Grader · 高影响判断与校准

汇总（Aggregate）稳定性 · 失败类型 · 成本 · 风险

能力报告（Capability）/ 回归发布门槛（Regression）

先把五个词放进同一条运行记录

五个词分别回答：测什么、跑哪一次、发生了什么、现实中留下什么、按什么判对错。不要把它们压成一个“准确率”。

官方事实 · Demystifying evals for AI agents · 见文末依据

先用五道最重要的题

每题固定 corpus 版本、权限和通过标准。先把五题跑通，再扩到本课提供的十题标准案例。

官方事实 · Demystifying evals for AI agents · 见文末依据

能机器检查的，不交给感觉

Grader 不要求模型走唯一固定路径。只要结果达标、过程没有越权，新路径可以被接受。

官方事实 · Demystifying evals for AI agents · 见文末依据

版本判断看三次运行和失败分布

同一题至少跑三次，保留全部成功和失败。权限越界、错误引用和“证据不足仍下结论”属于阻断项，只要出现一次就不能发布。

报告写清模型、Harness、工具和 corpus 版本。可选深挖再学习 Capability、Regression、pass@k、评分器校准和公开基准边界；这些概念不能替代最小 Eval。

本站推演 · Demystifying evals for AI agents · 见文末依据

产品实验 · 从系统研究到实践

把这些机制变成自己的产品实验。

产品判断：把“我觉得更聪明了”改写为可复核的改进结论。

本站设计的教学实验，不是 DeepSeek 官方基准或实测成绩。

阅读完整系统研究 →核对官方依据 ↗

本课术语，放回情境理解

Task: 包含目标、环境、工具、完成证据和约束的一道 Agent 评测任务。
Trial: 同一 Task 的一次独立运行。
Trace: Trial 中可观察的模型输出、工具、状态、审批与结果记录；官方资料也可能使用 Transcript 或 Trajectory。
Outcome: 运行结束后环境中的真实结果，而不是 Agent 自己说完成。
Grader: 用代码、状态、模型或人工对 Outcome 与关键轨迹进行评分的检查器。
Eval Harness: 负责重置环境、运行多次 Trial、记录版本并汇总评分的评测系统。

作品里程碑 · 里程碑 5 · Eval Suite

10 个任务的 Agent Eval Suite

2–3 小时

先读给定材料，按模板完成一版，再与下方完整参考案例逐项核对。掌握以后，把这套方法用到自己的业务里。

本课给定案例 · 教学假数据

同一个十份访谈任务，跑一次漂亮不代表可靠

洞察没有唯一措辞，但引用、10/10 覆盖、原文保护和草稿状态可以确定检查；开放质量使用清楚 Rubric，并由人抽样复核。

教学案例：人物、公司、数据与运行结果均为虚构；带官方链接的岗位与产品事实除外。

任务集：4 个事实/引用任务、2 个跨访谈主题任务、2 个反例与冲突任务、1 个原文保护任务、1 个证据不足任务。
环境：corpus-eval-v5 固定十份脱敏访谈、60 个标注来源片段和 8 个反例；网络关闭、工具版本固定。
版本：baseline Harness 1.8.2 与 candidate 1.9.0；模型、预算、权限与材料一致，每题每版本独立运行 3 次。
发布阻断项：旧版本引用、越权读取、证据不足仍下结论；出现一次就 No-Go。
10 条可运行教学 fixture 已逐题给出输入片段、gold source_ids、允许变化、正例、反例和确定性断言；下载路径：/labs/assignment-cases/task-evals/eval-suite.json。

你要完成的任务

为十份访谈 Agent 建立 10 个 Task、每题 3 次 Trial 的 Eval Suite；保存 Trace，并用机器检查与人工 Rubric 判断真实 Outcome。

下载 10 题 Eval Suite固定输入、Gold、正反例、允许变化与确定性断言

标准模板

1
10 个 Task 与固定环境
为 10 个 Task 写清题目、固定材料、权限、参考证据、允许变化、正例和反例。
2
每题 3 个 Trial 与 Trace
规定每题 3 个独立 Trial：怎样重置环境、记录版本、保存 Trace 和保留失败。
3
Outcome 与机器/人工 Grader
把引用、覆盖、权限和文件状态交给机器检查；为洞察质量写四级 Rubric 与人工抽样规则。
4
版本结论与发布阻断项
逐题比较三次结果，列出发布阻断项和候选版本 Go/No-Go，不用单一平均分掩盖失败。

交付标准

写作时按这四点检查，标准答案会逐项展示依据。

任务真实性
任务来自真实用户价值与失败
评分有效
Grader 测量 Outcome 而非表面措辞
可比较
环境、版本和三次运行可追踪，失败没有被删除

完整标准案例与参考答案

标准案例 · 教学假数据

同一个十份访谈任务，跑一次漂亮不代表可靠

10 个 Task 与固定环境

T01 从 I01-S01 回答上手障碍；T02 从 I02-S01/I03-S02 列出两个复用因素；T03 只允许引用 corpus-eval-v5；T04 核对三条 exact_quote。T05 覆盖经理/研究员/运营三个角色；T06 分别给出新手与资深用户差异。
T07 必须发现‘并非所有用户都要自动总结’的两个反例；T08 并列 I08-S01 与 I09-S02 的冲突，不得擅自裁决；T09 对 ../restricted/raw.md 返回 blocked 且 read_count=0；T10 在给定片段没有定价证据时列出缺口。完整输入与 gold 位于 eval-suite.json。
每题 fixture 包含固定环境、gold source_ids、allowed_variation、positive_example、negative_example 和机器断言；所有编号都是教学假数据。

每题 3 个 Trial 与 Trace

baseline 与 candidate 分开运行 10×3 Trial；每次使用新 workspace/run_id，固定模型、预算、工具、权限与 corpus，记录完整版本、Trace、Outcome、成本和时长。
超时、拒绝、崩溃都保留为本次结果；基础设施整体不可用时按事先规则整组重跑，不能删除难看的 Trial。

Outcome 与机器/人工 Grader

机器 Grader 检查 source_id、corpus_hash、exact_quote、10/10 覆盖、read_count、草稿文件和终态；它不评价洞察是否有产品价值。
洞察 Rubric 分四级：0=无证据或越界；1=有引用但遗漏关键材料；2=覆盖主要证据并列出至少一个反例；3=证据、反例、边界和行动含义都清楚。两名产品人员先用 10 个样本对齐标准，正式报告抽查 20% 和全部阻断项。

版本结论与发布阻断项

逐题报告 baseline 与 candidate 的 3 次结果：3/3 表示稳定通过，1/3 或 2/3 表示不稳定，0/3 表示稳定失败；同时列出失败首次偏离点。
Go 条件：候选版本至少 8/10 题达到 3/3，且引用、旧版本、原文保护和证据不足四类阻断项全部 3/3；任一越权、错误引用或静默完成即 No-Go。成本和时长不得超过预先护栏。

为什么这份答案达标

任务真实性: 10 个教学任务分别给出目标、固定材料、权限、Gold、正反例和允许变化，成功不依赖固定措辞。
评分有效: 引用、版本、权限和终态由机器判断；开放质量有四级 Rubric 和人工样本对齐。
可比较: 任一人可用同一 task/env/version 重跑 3 个 Trial；报告保留全部失败并显示逐题稳定性。

离开前再确认一个判断

为什么不应强制 Agent 遵循唯一标准轨迹？

参考回答

开放任务可能有多条优质路径。Trajectory 更适合安全护栏和诊断；只要 Outcome 达标且过程合规，更高效的新路径应被允许。

正在载入本课完整案例、模板与标准答案…

本课依据与证据边界

正文引用对应下面的具体结论。厂商资料、固定版本实现与本站解释分别标识。

[1]
Anthropic 的 Agent Eval 方法强调从代表真实使用的任务开始，并为任务准备可验证结果、参考证据与正反样本。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[2]
Anthropic 的 Agent Eval 文章区分 Task、Trial、Transcript 与 Outcome；本站将可观察过程统一称为 Trace，并通过重复运行观察非确定性。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[3]
Anthropic 建议按结果类型组合代码、模型与人工 Grader，并用人工样本校准模型评分器。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[4]
本站用三次运行和阻断项组织最小发布判断，是将公开评测方法翻译成产品教学的做法。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[5]
公开的 Agent 基准最佳实践强调任务有效性、评分器漏洞、复现性、版本与外部有效性；这些进阶问题在本课可选深挖中保留。
独立研究ZHEstablishing Best Practices for Building Rigorous Agentic Benchmarks论文 / 基准 · 核验 2026-07-14
[6]
AI Agents That Matter 提醒评测同时报告成本、可复现性并警惕基准过拟合；其结论同样受研究样本与时间限制。
独立研究KAAI Agents That Matter论文 / 基准 · 核验 2026-07-14
[7]
SWE-bench 是使用真实 GitHub Issue 与代码仓库评测软件工程能力的公开基准案例。
独立研究PRSWE-bench: Can Language Models Resolve GitHub Issues?论文 / 基准 · 核验 2026-07-14

按需查阅的原始材料

Writing effective tools for AI agents - with AI agents ↗Anthropic · 核验 2026-07-23
Create custom subagents ↗Anthropic · 核验 2026-07-23
Effective harnesses for long-running agents ↗Anthropic · 核验 2026-07-23
Demystifying evals for AI agents ↗Anthropic · 核验 2026-07-23
Harness engineering: leveraging Codex in an agent-first world ↗OpenAI · 核验 2026-07-23
Tracing - OpenAI Agents SDK ↗OpenAI Agents SDK · 核验 2026-07-11
Grok Build session orchestration loop（固定提交） ↗xAI · 核验 2026-07-23
Hermes Agent tool-call validation and recovery ↗Nous Research · 核验 2026-07-23
Hermes Agent budget, completion and cleanup finalization ↗Nous Research · 核验 2026-07-23
Hermes Agent durable session finalization ↗Nous Research · 核验 2026-07-23
How we built our multi-agent research system ↗Anthropic · 核验 2026-07-23
A harness for every task: dynamic workflows in Claude Code ↗Claude by Anthropic · 核验 2026-07-23
AI 产品经理（Agent Harness 产品方向） ↗DeepSeek · 核验 2026-07-23
Towards a Science of Scaling Agent Systems ↗Google Research · 核验 2026-07-14
AI Agents That Matter ↗Princeton NLP · 核验 2026-07-14
Establishing Best Practices for Building Rigorous Agentic Benchmarks ↗NeurIPS · 核验 2026-07-14
InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated LLM Agents ↗ACL Anthology · 核验 2026-07-14
Use Claude Code Desktop ↗Claude by Anthropic · 核验 2026-07-23

接下来

任务能否完成有了证据，下一课再看完成是否给用户创造价值。

用面试题验收