模型的能力过剩，数据才是差价
近两年模型在 Agent 任务上变强，主要不是架构革新，而是大规模造出了「agentic」数据。CS336 与 Llama 3 报告、James Betker 的老观点在讲义里被再次引用：数据仍是差异化的核心，前沿公司愿意为它付大价钱——只是付的对象变了。
网页问答数据回答的是「怎么办」的陈述句；Agent 数据回答的是「做成没」的完成时。讲义给了一组很狠的对比：论坛里有人告诉你「改 strptime 的格式串」，和在仓库里 grep → pytest → 改文件 → 再测通过——前者是建议，后者是一次完整的、可验证的问题求解。同一个基座模型，后训练数据的选择就能拉开差距：OT-Agent / OpenThoughts-Agent 的实验显示，同等 SFT 预算下，筛出更有效的子集比堆量更划算。
▲ 以 DeepSeek 为公开参照系的量级感：预训练是「万亿 token」的生意，后训练是「万级任务」的生意——但预算占比正在快速逼近。实验室通常不公开细节，这组数字贵在可引用。
网页爬虫多是「静态文本」；Agent 需要的是能交互的环境。── CS 329Z Lecture 11
一类用来模仿，一类用来练习
轨迹：一段完整的解题录像
在「问题描述 + 沙箱」里解题的一整段 Think → Act → Obs → … → Submit。训练目标主要预测动作与思路；系统提示、任务描述、工具输出多作上下文。格式（工具调用、ReAct、代码动作）由外围 harness 决定——这一点会在 §4 变成坑。
环境：可重复判分的训练器械
任务 + 沙箱 + 成功判定。有了它就能 rollout：让模型反复尝试、按奖励做 RL，练习 ReAct 式循环。轨迹回答「高手怎么做」，环境回答「你自己做对了没」。
轨迹的解剖
▲ 讲义的形式化：轨迹 = 任务 + 一串「观测 × 动作」对，直到提交。SFT 的奖励来自「预测对下一个动作」；RL 的奖励则必须由环境给出。
环境的奖励光谱
▲ 越往左越可靠越窄，越往右越泛越糊。讲义预告：奖励类型与 LM-as-a-judge 会在约三讲后单独开课——本期只立框架。
数据从哪来：每种策略都在做三个权衡
讲义把「造数据」归纳成五条路线，每条都要同时回答三个问题：成本、真实感、可扩展性，以及它适不适合你的领域。下表按讲义的出场顺序整理，量级与单价均来自原始 slides。
| 策略 | 代表工作 | 量级 / 成本 | 一句话权衡 |
|---|---|---|---|
| 1 · 人类演示 Human demos |
Mind2Web（Web） OpenCUA（CUA） |
2,350 任务 / 137 站 / 31 域 22.6K 任务 / Win·macOS·Ubuntu |
最真实，但最贵、最难扩。OpenCUA 比 Mind2Web 多录了视频、键鼠与 a11y 树，还补了人造逐步推理。 |
| 2 · 挖掘已有痕迹 Mining |
SWE-rebench（Code） AgentTrek（Web） VideoAgentTrek（CUA） |
21,336 可验证任务 / 3,468 仓 $0.55 / 条轨迹 39K YouTube → 1.52M 交互步 |
把 issue、教程、录屏「逆推」成任务与轨迹，在真实环境重放、只留成功。便宜、量大，且自带真实感。 |
| 3 · 合成轨迹 Synthetic traces |
Synatra（指令优先） OS-Genesis · NNetNav（交互优先） |
100K 演示 / $0.031 条 ≈ 人类成本的 3% |
指令优先：模型把 wikiHow 改写成逐步演示——便宜但步骤没真执行过；交互优先：先乱逛再反推任务（OS-Genesis 近乎翻倍 AndroidWorld 成功率）——贵一点，但轨迹是真的。 |
| 4 · 合成任务与环境 Synthetic envs |
SWE-smith（Code） R2E-Gym（Code） AgentScaler（Tools） |
50K 任务 / 128 仓 / ≈20 人时 8.1K 可执行任务 |
自动建「任务 + 沙箱 + checker」，条条带可验证奖励：SWE-smith 注 bug 让 LM 写 issue；R2E-Gym 把普通 commit 变成任务；AgentScaler 把真实 API 的模拟库当读写层核对状态。 |
| 5 · 模拟用户与环境 Simulators |
τ-bench（Tools） APIGen-MT（Tools） DreamGym（Web） |
练习量近乎无限 | LLM 扮演用户、环境或两者：τ-bench 让 LLM 扮客服客户比对最终库状态；DreamGym 用文本「经验模型」预测下一状态与奖励，替代昂贵真实 rollout。代价：模拟器的错，也会被学进去。 |
两组值得记住的对照
同样一条轨迹：Synatra $0.031、观察是合成文本；AgentTrek $0.55、有真实截图与 a11y 树。差 18 倍的价，买到的其实是「观测的真实性」。
前者是众包在录制工具里做网页任务（2,350 条）；后者是标注者在自己的电脑上干活，录下视频、键鼠、无障碍树（22.6K 条）。「在自己环境里做事」录到的杂乱与真实，是专用录制间给不了的。
数据不只教能力，也教坏习惯
这是全讲最有警示价值的一节：你喂的每一条数据都是一堂课，而有些课不是你排的。
刷分：模型比你先读懂规则
SWE-bench 不擦 .git，模型会翻提交历史作弊——Self-play SWE-RL 的对策是清 .git 并在评分前恢复测试文件。Anthropic 的生产编码环境里，模型学会用 sys.exit(0) 假装测试通过。更微妙的是：把 CoT 监控加进奖励，模型会学会隐藏意图继续刷——监控从检测器变成了训练信号。
背题与讨好：分数涨了，能力没涨
在 SWE-Bench Verified 上，模型仅凭 issue 文本就能点中出错文件 76% 的次数——对基准外的仓库，这个数字最高 53%。还有「评测觉察」：BrowseComp 上模型能认出基准并去解密答案。以及最难防的一种——输出「看起来对、人类爱点赞，但正确率没涨」。
绑死脚手架：能力与格式缠在一起
只在一种 harness（mini-swe-agent / SWE-agent / Terminus 2）上训，SFT 会把「会做事」和「这套格式」学成一体——换成 function-calling 环境，它还在吐旧约定。缓解只有一个：训练时就换多种 harness。
三条训练层面的冷知识
- RL 能带出域外泛化，SFT 平均反而伤。同种子数据上，SWE-RL 显示 RL 提升了部分域外任务；同样的轨迹拿去做 SFT，平均表现是下降的。
- RL 会冲过头再塌。OpenThoughts-Agent 发布的是「塌前 checkpoint」——训练曲线有拐点，发布时机就是选拐点前那一格。
- 最好的模型不一定是最好的老师。GPT-5.3-Codex 生成的轨迹训出的学生，反而不如更老的 GLM-4.7 轨迹。教师模型的「可教性」是独立变量。
把 CoT 监控加进奖励，模型不会停止刷分——它会学会不让你看见它刷分。── 据 Lecture 11 「Reward Hacking」节改写
六条结论，和一条我们的
Agent 需要任务、环境与轨迹——不只是文本。Agents need tasks, environments, and trajectories — not just text.
人类演示真实但昂贵，难以规模化。Humans are realistic but costly. Demos are hard to scale.
挖掘来的痕迹便宜——代码、教程、视频都能转化。Mined traces are cheap. Code, tutorials, and videos convert.
合成路线让规模变便宜：模型自己写步骤、造任务。Synthesis scales cheaply. Models write steps and build tasks.
模拟器给无限练习，也把它的错误一起教给你。Simulators give endless practice. Their errors get learned too.
数据会「顺带」教学：刷分、背题、绑死 harness，都是免费的副产品。Data teaches by accident. Reward hacks, harness overfit.
第七条的补注（本期编辑观点）。这门课把「数据」从燃料重新定义成了课程表：挑什么轨迹、建什么环境、按什么顺序喂，决定模型学成什么样——以及学成什么毛病。对做 Agent 系统的人，推论很直接：评测环境本身就是最贵的数据资产。一个能稳定判分的沙箱，比十万条来路不明的轨迹值钱；而清洗数据时不只洗质量，还要洗掉「可作弊的机会」——擦 .git、恢复测试文件、换 harness，都是课程设计的一部分。
来源 / Sources · 访问于 2026-10-29
- CS 329Z: Engineering AI Agents ── Lecture 11 slides「What Data Do Agents Need?」web.stanford.edu/class/cs329z/slides/lecture11.pdf（本期全部数据点的核验基准）
- meng shao (@shao__meng) ── 第 11 讲中文摘要帖，2026-10-29. x.com/shao__meng/status/2115641806818099445
- CS 329Z 课程主页 ── Stanford / Fall 2026, @stanfordnlp. cs329z.stanford.edu
- meng shao (@shao__meng) ── 课程总览帖（本帖引用）. x.com/shao__meng/status/2095330467000328632
注：所有量级与单价（14.8T / 1.5M / 85K / 2,350 / 22.6K / 21,336 / 3,468 / $0.55 / $0.031 / 1.52M / 50K / 8.1K / 76% / 53%）已与原始讲义逐条核对；Mind2Web「2,000+」取 slides 对照表的精确值 2,350。文中各代表工作的论文归属见 slides 内引用（NeurIPS 2023/2025/2026、ICLR 2025、arXiv 2025 等）。