下一个训练范式会是什么样？

大型实验室押注的研究方向

Dwarkesh Patel：所有实验室现在押下的重大研究赌注，大概是这样的：他们认为，只要训练 AI 在成千上万种不同的强化学习环境里完成数以百万计可验证的任务，我们基本上就会造出通用人工智能。因为这种训练会塑造出一种问题解决智能体，一种能够在错误、失误和模糊性面前，连续数周推进开放式任务的系统。看好这条路线的人会说，我们现在谈到的当前训练范式里的根本缺陷，例如模型的数据效率很低，或者模型缺少持续学习能力，其实都可以靠继续扩大训练规模来碾过去，就像自然语言处理里那些根本性研究问题，最终都在我们把足够多的算力砸向 LLM 之后坍缩了一样。上一篇文章里，我说过这些模型的样本效率只有人类的百万分之一。支持当前训练范式的人会说：这也许是真的，但那只是在训练阶段成立。训练是一次性成本，会被模型未来经历的数十亿次会话摊销掉。真正重要的是，模型在一次会话中有多聪明、多通用、多有样本效率。而随着我们做更多 RL 训练，这一点显然一直在进步。AI 智能体已经能在越来越长的时间跨度上解决越来越雄心勃勃的问题。任何用这些模型写过代码的人都知道这一点。同样，他们还会说，持续学习也许并不是必需的。这里说的持续学习，是我一直强调的那种能力：模型的权重会根据它在部署中学到的东西被更新。如果上下文内学习在越来越长的时间跨度上变得足够好，那你就不需要把模型在工作中学到的所有东西再蒸馏回权重里。人们常说，员工入职六个月甚至更久之后才开始净产出，所以在线学习显然是胜任工作的必要条件。但如果你能把这六个月都塞进上下文窗口里呢？已经有大量架构创新显著提高了 transformer 可以存储的信息量，也就是上下文量。为什么不认为再过几年，我们可能会拥有一种感觉上近乎无限大的上下文窗口？ [00:00:00]

可磨练性和可验证性同样重要

Dwarkesh Patel：在继续讨论这个研究赌注之前，我想先退一步，问一个看似完全跑题、但我觉得很有意思也很困惑的问题：为什么计算机使用能力的进展比其他领域慢这么多？计算机使用明明非常容易验证。你可以问：我想订的 Etsy 商品送到了吗？我要组织活动的场地订好了吗？我的税表提交了吗？所以，计算机使用比代码、数学和其他可验证领域进展慢这么多，不是很奇怪吗？原因当然有很多，其中一个是模型在预训练期间接触到的高质量多模态数据少得多。但我认为还有一个被低估的原因，它揭示了 AI 进步之河只能慢慢冲刷的峡谷壁：一个领域仅仅可验证还不够，它还必须非常可磨练。意思是，你必须能在一个确定性、可重放的模拟器里，从同一个起点出发，运行大量并行 rollout。如果你想让模型更擅长写代码，你可以定义一个容器，里面放着一个缺少某个功能的软件仓库，然后让一千个并行智能体去解决这个问题，每个智能体都有一份完全相同的容器副本。但这套办法不适用于计算机使用，至少不是轻易适用。你不能让一千个智能体在 Amazon 上尝试同一个结账流程来提升网站使用能力，因为 Andy Jassy 会发现你的 bot，然后把你关掉。你可以通过克隆 Slack、Gmail 以及其他常见应用和网站来解决这个问题。但至少目前，构建这些环境是一种非常劳动密集、不可规模化的方式。当然，一旦 AI 自己足够擅长写代码，能够以极高保真度构建这些克隆环境，计算机使用的进展肯定会比现在快。这样做还一石二鸟，因为让 AI 从零开始重建完整应用，本身也是一个很好的代码 RL 目标。所以，虽然计算机使用本身也许很快会被解决，但它目前的迟缓告诉我们：除非你能为某个领域构建一个高度可重放的训练目标，否则模型很难取得太大进展。原因很简单，模型在训练期间的样本效率极低，这也是我在上一个视频文章里说的观点。对计算机使用来说，我们也许能通过构建这些可批量耕作的确定性模拟器，弥补样本效率的缺口。但对于我们需要 AI 掌握的许多其他技能，这根本做不到。我们要怎样训练一个 AI，让它非常擅长从零开始创建一家企业？怎样让它擅长打赢官司、在市场交易中度过盈利的一天，或者帮助候选人赢得选举？这里的 rollout 需要和现实世界互动，无法只在数据中心内部重建。外循环验证可能需要数月甚至数年的真实世界行动才能显现，而且你不能通过在成千上万次并行 rollout 中轻微扰动模型动作，来重新观察并隔离出到底是哪一步真正起了作用。处理这种无法重置、非平稳的环境，本来就是 RL 里的已知开放问题，我并不是在指出什么新东西。但我确实想强调：世界上大多数领域的数据都是特殊的、稀疏的，所以要变得熟练，就需要样本效率。如果 AI 要发展出人类拥有的所有技能，甚至发展出人类没有的技能，它们就需要能从少量真实世界互动中，以非结构化、不可验证、模糊的方式显现出来的信息里学习。因为在很多领域，相关训练信息根本不存在于其他地方。什么样的 RL 环境能训练出一个像 Lyndon Johnson 那样懂政治的 AI？什么样的环境能训练出一个像 Elon Musk 那样擅长打造太空发射公司的 AI？ [00:02:12]

RLVR 能否独自泛化

Dwarkesh Patel：实验室押注的是 RLVR 会泛化。也就是说，如果你在足够多容器化、可复现的环境上训练，最终会得到一个非常通用的智能体，它能制定并执行计划，快速从新信息中学习，甚至在单次会话里学会新技能。如果你把这个被无尽 RLVR 训练过的 AI 丢进 1948 年的 Texas 政坛，它能给出比 LBJ 更好的参议员席位竞选建议。如果你在 2002 年给它一亿美元让它放手去做，它会替你建出 SpaceX。当然，RLVR 能否泛化到这种程度，是一个经验问题。如果实验室在 RL 环境上的投入从数十亿美元变成一万亿美元，你会得到一种在上下文窗口内完全类人的通用智能吗？Dario 在我们播客里说过一段很有意思的话，我觉得它暗示 RLVR 的泛化能力并不是无限强。他在解释为什么模型在长上下文上的性能往往会下降时说，有两件事：你训练时的上下文长度，以及你服务时的上下文长度。如果你在较短上下文长度上训练，然后试图在很长的上下文长度上服务，也许就会出现这些退化。也许我过度解读了，但这听起来像是在说，短期视野的 RL 训练不一定会泛化到长期视野的 RL 表现。如果连从短期视野泛化到长期视野都做不到，那智能体又怎么能从一堆白领任务上的训练，泛化到被丢进现实世界、像 Sam Walton 那样从零开始建立企业的能力？而且，即便在足够多的上下文内经验之后，AI 变得像 Henry Ford 或 Albert Einstein，那一切也会是短暂而浪费的，除非你能把这些学习写回权重。实验室大约 30% 到 50% 的算力花在推理上，而这些算力目前并没有在帮助模型改进方面发挥生产性作用。这看起来是巨大的浪费。实际情况比听起来还糟，因为只有在部署中，模型最有价值、最值得学习的信息才会真正显现出来：我被使用的组织里到底发生了什么？他们用我做什么？我在真实世界中倾向于犯什么错误？我们手上有一个天才研究生，但从来不允许它去真正实习，只是不断用 RL 环境里的课堂案例训练它。这很怪异：AI 已经被广泛部署到经济活动中，参与许多不同类型的任务，接触到大量领域和组织特定的默会知识，却无法利用这些知识。 [00:06:10]

把学习重新写回权重

Dwarkesh Patel：但这种持续学习需要回到权重。AI 不能随着从越来越多用户那里学习，就不断积累越来越大的 KB 缓存。这不可扩展，也不是人类的学习方式。我们的大脑里没有参数和激活之间的干净分离，也不是说你一生中学到更多东西时，头骨里某个部分会不断膨胀。我们学习东西时，显然会发生某种压缩，而这种压缩有助于泛化和真正理解。确实有些人具备类似 autistic savant 的能力，能在多年后回忆起随机数字表或者无意义音节，基本上就是模型在上下文里保留的那种高保真信息。但这种纯粹的信息量会削弱他们理解抽象和隐喻的能力。人类的持续学习不是把所有观察都放在舌尖上随时复述，而是把正确的直觉和大图景知识雕刻回权重里。可是一旦你进入权重，就必须放弃上下文内学习的样本效率，因为梯度更新的样本效率极低。所有已经成功上线的在线学习模型，都不得不在数百万用户身上学习完全相同的东西。例如 Cursor tab 模型每天通过超过四亿次请求来做在线学习，目标都是同一个：哪些编辑最终被用户接受。至少到目前为止，我们还没有看到模型能为不同用户在线学习不同种类的东西。因为一次会话也许能产生足够多让人类学习的数据，但还不足以训练出一个更强的 AI。当前的在线学习可以适用于极少数用例，但持续学习的整个重点在于世界非常复杂。每份工作、每家公司、每个问题都不一样，你需要智能能够学习和某个具体部署有关的特定信息，而这些信息不能被塞进某个共享训练运行里。我们谈论在岗学习时，说的都是这些东西：你的组织里所有事情如何运转、如何彼此配合，怎样和周围基础设施以及其他人协作，去推进更大的项目，常见失败模式是什么，以及许多类似的东西。随着播客成长，我不得不处理越来越多运营开销。以付账为例。过去，承包商会直接把发票发到我的邮箱。每隔几周，我就要翻邮箱，建一个包含所有账单的文件夹，然后手动逐一付款。现在，我直接给每个人一个邮箱地址，这个地址会发到我的银行平台 Mercury。任何人把发票发到这个地址后，Mercury 会自动下载、扫描、提取所有相关信息，比如承包商姓名、地址、付款金额、发票编号和到期日，然后用这些信息创建一笔付款草稿。Mercury 会保存这些草稿列表供我审核。我只需要逐项检查，确认账单正确。我不必自己追踪任何东西，也不必录入任何信息。Mercury 把企业所需的基础能力做得非常好，并集中在一个地方。想了解更多，可以访问 https://mercury.com。Mercury 是一家金融科技公司，不是 FDIC 承保银行。银行服务由 Choice Financial Group 和 Column N.A. 提供，二者均为 FDIC 成员。由此可见，样本效率和持续学习其实是深度关联的问题。模型在工作中能获得的数据相对很少，要从这些数据中学习就需要样本效率。模型可以在上下文里做到这一点，但靠的是注意力即时构建出来的 fast weights。这带来了样本效率，却在内存上扩展性很差。所以我们需要架构创新，允许某种中间表示。我之前说过，我们已经有许多这类可行想法，从稀疏注意力到 KV cache 压缩，而且几乎每周都会有人发布新论文，提出某种新的架构优化。但在我看来，架构并不是持续学习的根本瓶颈。也许瓶颈是损失函数。我们怎样基于某个特定会话中学到的信息更新权重，也就是怎样改进模型本身？即便在这里，朴素地看，也有许多想法似乎应该可行。最近很多人在谈一种技术，叫 on-policy self-distillation。如果想了解更多，我几周前和 Sasha Rush 用 iPhone 录了一段临时黑板讲解，链接在描述里。简单说，这个想法是：让基础模型在尝试解决某个真实世界问题时，做出和一个在长会话后积累了完整上下文的模型相同的预测。这个程序的重点，是把模型在会话中学到的东西蒸馏回权重本身。这比 RLVR 有两个优势。第一，OPSD 不需要外循环可验证奖励。我们只需要一个能在上下文窗口里学到正确东西的模型。只要有了它，就可以训练基础模型去匹配这个在会话中积累了经验的 veteran teacher model。第二，OPSD 提供的监督信号比朴素 RL 密集得多。你不是把一个单一奖励投射到整条轨迹上，而是可以训练 teacher 和 student 之间逐 token 概率的差异。对于持续学习，OPSD 也优于 supervised fine-tuning。这个应用里最朴素的 SFT 版本，是训练基础模型预测会话中观察到的所有 token。但如果你把它当作学习目标来看，这没有道理。你在工作中变强，不是靠完美回忆每天发生的每一件事的逐字记录，而是靠巩固少数几个真正与你变强相关的洞见和知识片段。RL 训练没有这个失败模式。RL 很擅长把更新集中在和结果正确有关的东西上。事实上，这就是为什么一次 RL 训练步骤只会改变很少的参数。这对持续学习是一个非常重要的性质，因为在工作中学习时，我们不希望覆盖和遗忘基础模型知道的其他所有东西。我几个月前写过一篇文章，认为 RL 每个样本学到的信息比监督学习少得多。但这也许不是坏事，而是好事。你只在达成结果绝对必要的范围内改变模型，仅此而已。OPSD 保留了监督学习的这个性质：它不是像监督学习那样把模型弹射到 teacher distribution，而是只提取在真实世界任务上达到和 teacher 相同结果所必需的知识。OPSD 是攻击样本效率问题的一种方式：把稀缺的真实世界经验里的信号，挤压进一个很小、很有针对性的更新。 [00:08:41]

梦境训练

Dwarkesh Patel：还有另一个更具猜测性的想法，我们可以把它叫作 dreaming。如果 AI 能构建一个足够好的现实模拟，用来排练新技能、尝试替代策略，并强化真正有效的做法，那么 AI 就能在同样的墙钟时间内体验多几个数量级的模拟样本。回到历史里看，DeepMind 发布 AlphaZero 几年后，一组研究人员训练了一个叫 EfficientZero 的模型。这个模型的重点就是数据效率。如果这个模型和一个人类都只有两个小时，去玩一个此前没见过的 Atari 游戏模拟器，这个模型很可能会打败新手人类。这是否意味着模型比人类更有样本效率？这是训练目标，但答案取决于你怎样衡量样本效率。因为在真实游戏中的每一步，EfficientZero 都在脑内玩几十局模拟游戏。类似地，未来的 LLM 也许能消耗少得多的真实世界数据，同时无休止地在自己构建的环境中练习。当然，最大的区别是，构建整个世界的模拟会比模拟围棋难得多。所以我才说这是一个更具猜测性的想法。如果它奏效，就会成为继预训练、RL 和推理时算力之后的第四个扩展轴。你可以把它叫作 test-time training，也可以叫 dreaming。模型花费算力写出 RL 环境，然后在这些环境上训练，排练那些将来会为某个特定用户在生产中实际使用的技能。于是，你不再是在 Codex、Cursor 或 Claude 里敲 slash compact，用少量算力写一个摘要，获得持续学习的仿制品；你敲 slash dream。它会焚烧大量算力，构建并训练一个模型在真实世界中所见之物的视频游戏版本。 [00:15:22]

2027 年可能发生什么

Dwarkesh Patel：那么，到 2027 或 2028 年，持续学习可能是什么样？我们又怎样抵达那里？这里有一个场景。所有这些 RLVR 训练正在产生一种智能体：它被丢进一个陌生问题时能找准方向，能尝试不同策略，遇到障碍时能迭代。这就是 RLVR 给你的关键东西：一个至少已经足够胜任、可以开始获得真实世界经验的 AI，前提是它能从经验中学习。一旦你拥有它，就可以把它送进世界去做真实工作，甚至做那些偏离训练分布的项目。假设到那时，有效上下文长度已经扩展到 AI 可以和你一起协作整整一周的墙钟时间。一周结束时，你给它点赞或点踩，给它做一次工作评价。如果你给了点赞，基础模型就会蒸馏 AI 在这次会话中学到的一切。它可能用 OPSD，可能用 dreaming，可能用某种我们还不知道的技术，也可能把以上方法组合起来。完成之后，AI 就开始在那些与它此前通过 RLVR 明确训练过的领域相邻的领域里变强。下一轮之后，它还能在与自己之前在线学到的东西相邻的领域里继续变强。这样一来，AI 的技能、知识和能力范围，就能扩展到远远超过它部署前最初训练过的可验证领域。就像预训练创造了一个基础智能，只要在上面加足够的 RLVR，就能变成一个胜任的智能体；同样，RLVR 创造了一个足够胜任、可以被广泛部署到世界中的智能体。一旦持续学习的训练配方真正到来，它就能从这种广泛部署中在岗学习。到那时，AI 变强的主要方式不再是它们公开发布之前接受的训练，而是它们通过广泛部署到经济中、参与许多不同任务所积累的经验。你每次和 AI 互动，它都会更聪明。不只是因为它从你之前的会话中学习，也因为它从全世界其他用户的所有互动中学习。这非常可怕，也令人兴奋，而且和 AI 今天的改进方式完全不同。这篇内容是我也发布在网站 dwarkesh.com 上的一篇博客文章的迭代版。如果你想阅读所有脚注，或者想订阅以便知道我下一篇博客什么时候发布，可以去那里。否则，我们下期节目再见。 [00:17:23]