亲手跑四条 Agent 路径
网页里已经放好十份访谈的教学材料。先猜这次任务会怎样结束,再点击运行,对照每一步和最后保存的文件。
你会依次看到四种结果:草稿正常保存;原始访谈被保护;文件路径错误后重新找到材料;一次读入太多材料时主动停下。
每次只改一个开关,再看任务从哪一步开始变化。四条路径跑完后,你会知道系统如何把“应该这样做”变成真的边界。
先预测结果,再切换一个条件并运行。观察系统是否真的改了文件、在哪一步停下,以及验收为什么变红或变绿。
先跑正常完成:草稿真的被保存了吗
任务先读取研究摘要,经用户批准后写入 drafts/insights.md,再回读验证。把写入策略改成“直接放行”,文件仍可能正确,但审批检查会变红。
这一幕说明结果和过程都要检查:文件写对,不代表写入方式合规。
再跑权限拒绝:原始访谈不能被改
任务要求改写 interviews/original/01.md。原文保护开启时,系统在写入前直接拒绝,文件内容保持不变,也不会把底线变成一个容易误点的审批弹窗。
关闭保护并批准后,文件真的被改,验收立刻飘红。比较前后两次记录,就能找到权限规则真正生效的位置。
观察工具失败:换路径恢复,但不能编造
第一条读取路径不存在,系统记录结构化失败;模型改用搜索找到 interviews/03.md,再读取真实片段。最终引用必须来自实际命中的路径。
失败不是异常页面的同义词。只要错误可观察、有替代路径且最终证据成立,任务仍可诚实完成。
最后看上下文超限:来不及可靠判断就停下
一次读入的材料超过容量时,系统会在继续判断前停下,并明确记录“材料过多”。它不会让模型拿着残缺信息硬写结论。
提高容量后任务可能完成,但原来的“材料过多时必须停下”就不再适用。系统边界改变时,验收规则也要一起更新。
本课术语,放回情境理解
- Policy
- 根据动作、资源、风险和用户授权输出 allow、ask 或 deny 的规则层。
- Transcript
- 按顺序记录模型请求、工具、审批、Observation 和终态的事件历史。
- Outcome Verifier
- 独立检查文件、测试或外部状态,判断任务是否真的完成。
可选深挖想核对实现?下载代码包+
代码包用于核对网页实验背后的实现;不下载也能完成本课。
下载代码包本课依据与证据边界
正文引用对应下面的具体结论。厂商资料、固定版本实现与本站解释分别标识。
- [1]
OpenAI 对 Codex Agent Loop 的公开说明支持模型请求、工具结果回填与循环这一基本机制。
官方事实OPUnrolling the Codex agent loop官方工程文章 · 核验 2026-07-14 - [2]
OpenAI 的 Codex 安全实践支持把沙箱、审批、网络策略和审计作为 Harness 责任。
官方事实OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14 - [3]
Anthropic 的 Agent Eval 方法区分 Task、Trial、Transcript、Outcome、Grader 与 Evaluation Harness。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [4]
Hermes 固定提交源码展示工具调用在执行前还要经过名称、参数与重复调用处理,执行结果再被写回会话。
固定源码观察NOHermes Agent tool loop (fixed commit)官方源码 · 核验 2026-07-14 - [5]
网页实验台、事件名、四个十份访谈场景与可下载实现均为本站教学假数据,不是上述机构的官方脚手架。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [6]
Hermes 固定提交的 Turn Finalizer 展示预算耗尽、完成判定、轨迹保存、资源清理与会话持久化等生产责任;本课只用浏览器假数据演示其中的产品含义。
固定源码观察NOHermes Agent turn finalizer (fixed commit)官方源码 · 核验 2026-07-14
按需查阅的原始材料
- Building effective agents ↗Anthropic · 核验 2026-07-23
- Writing effective tools for AI agents - with AI agents ↗Anthropic · 核验 2026-07-23
- Demystifying evals for AI agents ↗Anthropic · 核验 2026-07-23
- A practical guide to building agents ↗OpenAI · 核验 2026-07-23
- Unrolling the Codex agent loop ↗OpenAI · 核验 2026-07-23
- Running Codex safely at OpenAI ↗OpenAI · 核验 2026-07-23
- Hermes Agent tool-call validation and recovery ↗Nous Research · 核验 2026-07-23
- Hermes Agent tool execution and guardrail handoff ↗Nous Research · 核验 2026-07-23
- Hermes Agent budget, completion and cleanup finalization ↗Nous Research · 核验 2026-07-23
- Hermes Agent durable session finalization ↗Nous Research · 核验 2026-07-23