目录
- 能力增长的瓶颈与范式跃迁 [00:00:00 - 00:18:39]
- 中国实验室进展与现实主义训练 [00:18:39 - 00:28:06]
- 把研究能力训练成可迁移元技能 [00:28:06 - 00:33:51]
- 长期任务、目标学习与通用智能 [00:33:51 - 00:45:24]
- 模拟环境如何跨过现实鸿沟 [00:45:24 - 01:00:33]
- 数据、环境与奖励的非对称性 [01:00:33 - 01:18:03]
- 强化学习带来的泛化能力 [01:18:03 - 01:24:54]
- 探索多样性、蒸馏与熵坍缩 [01:24:54 - 01:28:32]
- 研究自动化何时改变现实 [01:28:32 - 01:37:01]
访谈正文
Dwarkesh Patel：今天，我正在和我的三位人工智能研究员朋友聊天，每次谈话我都能从他们身上学到很多东西。他们也恰好在有点开放的实验室和公司，所以你们实际上可以记录下来说一些事情。 Beren Millidge 也加入了我的行列，他是 Zyphra 的 CTO，该公司正在开发开源模型。 John Schulman 是 Thinking Machines 的首席科学家，之前是 OpenAI 的联合创始人，并领导了 RLHF 工作，最终催生了 ChatGPT。 Charlie O’Neill 是 Baseten 模型培训的负责人。我的第一个问题是：如果到了 2036 年，我们还没有数十亿疯狂的超级智能从根本上改变世界，那么最有可能的原因是什么？除了外来的政治冲击，或者发生战争，或者他们禁止人工智能之类的。 2036 年不是一个疯狂的外星超级智能世界，最有可能的技术原因是什么？ [00:00:56]
Beren Millidge：有一个经典的事情，几乎就像莫拉维克悖论一样，我们认为人工智能是，“如果它能做到这一点，那就太棒了。”如果它能解决这些困难的数学问题，如果它能在国际象棋中获胜，等等，等等，等等……那么它就解决了这些问题，而且没有那么有影响力。显然，它有一定影响，但不是全部。如果这种情况持续下去，并且永远不会出现真正的泛化火花，我认为这可能会导致人工智能在人们放入基准或环境中的所有事情上都表现得非常出色。但仍然存在一些持续存在的模拟与真实差距，这在某种程度上阻碍了一切。我认为这不太可能。实际上，我们已经在实践中从强化学习中看到了这种泛化。但是，如果泛化元学习非常困难，而且我们不解决持续学习的问题，那就非常困难且不可能……在这种情况下，这将是我的默认场景。 [00:01:53]
John Schulman：我同意这一点。现在人类比模型有很多优势。每次新车型问世，它都会在其中一些领域迎头赶上。但最终你会遇到模型较弱的地方和判断力较差的地方，或者模型无法很好地自我检查的地方。这种循环不断重复，新模型问世，人们惊叹不已，他们会说：“就是它了。这就是 通用人工智能。”但当他们使用了一点之后，大约一个月后就开始感觉很愚蠢。这个循环可能会继续下去。很难预测它会重复多少次。现在，你的能力还没有得到爆炸性的增长，因为当你尝试进行研究和工程时，你仍然遇到足够的瓶颈。即使模型可以编写比人多得多的代码，它也不会让你的工作效率提高 100 倍。因此，这些周期的数量可能比我们预期的要多。 [00:02:53]
Charlie O’Neill：对我来说，问题在于“芯片上的学习器”的全局最优值与变压器+强化学习（基本上是当前的配方）相差多远。人们想象，一旦你拥有一个在人工智能研究中比所有人类都更好的代理，即使它比所有人类好 0.1%，那么你可以并行运行数十万甚至数百万个代理，而且随着芯片加速，你可以更快地运行它们，这一事实将超越所有其他瓶颈。在自我提升方面，你最终将会实现非常快速的起飞。我可以想象，如果我们继续沿着目前的范式发展，基本上是自我关注、强化学习、扩大强化学习环境……想想摩尔定律发生了什么。我们有一条非常漂亮的直线，并且保持了非常非常长的时间。但为了保持比例定律的继续，必须发生许多离散的不连续性和创新。同样的事情也发生在法学硕士身上。我们有这个预训练缩放定律，然后就出现了收益递减。然后我们提出了强化学习并解决了这个问题，然后我们得到了这条新的收益递减曲线，让它看起来一直像一条上升的直线。因此，如果需要解决另一个不连续性，我不确定当前使用这些 RL 环境（甚至是以 RSI 为目标的 RL 环境）训练 LLM 的方法是否能够发现该不连续性。如果不是，我们可能会达到这条渐近曲线。 [00:04:26]
Dwarkesh Patel：但您认为这种不连续性会比 2012 年以来出现的任何情况都更严重吗？
Charlie O’Neill：如果我们找到了答案，我们就有能力实施它。但也许我们应该区分当前范式的不连续性，这是累积性的——我们必须发现强化学习之外的东西，也许它们能够将直线上的点连接起来——或者，再说一遍，我们离全局最优值还有多远？我们是否必须回去并抛弃一般的梯度下降和神经网络？我不认为，如果你继续扩大当前的范式，一个法学硕士，无论你正在运行多少个法学硕士，都不一定能够发现它是否太遥远了。 [00:05:11]
Dwarkesh Patel：唯一的希望是，如果深度学习无法让我们获得至少能够主导人类研究和人类发展的人工智能，包括人类提出新范式等的能力。或者，我不知道，也许人类也永远不会发现下一个学习架构。但在某种程度上，人类最终可能会发现它……但看起来……如果你只看自 2012 年至今所发生的进展，然后继续下去——我知道它只是由大量的计算扩展等提供动力——如果它没有达到可以主宰人类的地步，至少在研发方面，尤其是在接下来的几年里，那会很奇怪。瑞安·格林布拉特最近参加了播客。他提出了这一点，我很想了解你的想法。你可以想象，随着人工智能的能力越来越强，它们能够在模拟方面取得进展，这不仅会激励人工智能研发，而且会在整个科学领域取得进步。这是所有实验室和许多初创公司都瞄准的目标。另一个直觉泵是如果你看看 80 年代以来国际象棋机器人的 Elo 分数。随着时间的推移，Elo 呈线性增长。但当它们跨越人类范围时，就存在巨大的不连续性，从人类专家总是战胜人工智能到人类专家从未战胜人工智能，因为 Elo 发生了这种线性增长。我同意你的观点，即到目前为止，人工智能能力对于世界的最终经济影响来说还没有那么重要。但那是因为他们的 Elo 相对于人类正在慢慢上升。 [00:06:52]
Beren Millidge：我同意这会非常令人惊讶。避免这种情况发生的唯一方法是，正如您所说，它之前以某种方式渐近线。因为在我看来，我们已经非常接近我们将开始跨越人类 Elo 分数的地方。所以我们需要在此之前渐近。我认为，这是发生这种情况的唯一方法——在这个场景中，你以某种方式摆出我们在 2035 年坐在这里，一切都很正常的方式。唯一的另一种方法是对人工智能进行一些严格的监管。实际上，我认为这是最有可能发生这种情况的方式，而不是技术问题。 [00:07:29]
Charlie O’Neill：我认为有不同类型的研究。有一些自动研究风格的研究，其中的目标已经非常明确地指定，并且您正在优化该目标。我认为每个人都在想象，如果我们继续沿着这条道路继续下去，减少训练前的损失，并使我们的环境获得回报，那么这将带来进步。但也许瑞安所说的是这种更加开放的科学类型，这是范式转变所必需的，我们无法指定目标，人工智能也绝对无法指定该目标。我们必须非常非常小心地指定这些事情的目标。 [00:08:10]
Dwarkesh Patel：也许你的观点是，自 2012 年以来发生的突破的本质是我们发现……在 2012 年，人们并没有说……我假设，我不知道，你们就在那里。或者至少约翰，你在那里。但我不是。
Charlie O’Neill：我当时正在上小学。
Dwarkesh Patel：事实上，约翰，我很好奇你的历代智慧，或者说是很久以前在战壕里的智慧。想必，一个重大突破是意识到下一个代币预测是……你不会想到 nanoGPT 速度运行是 2014 年要优化的东西。但现在我们已经达到了这个新的范式，你会认为对此进行速度运行，并且让 AI 真正擅长于此。但也许还有人工智能无法预料的下一个内部循环需要优化。有一个收入的外循环或者最终应该很强的东西，但这是一个非常缓慢的外循环。 [00:09:07]
John Schulman：事实上，我记得在 OpenAI 早期，我的直觉是，仅仅最大限度地减少对数丢失并不会让你获得智能。因为重要的比特只占损失的一小部分，以至于它会被噪声淹没。因此，仅仅训练语言模型进行下一个标记预测并不能学到你想要它学习的有趣的东西。我们需要制定更好的目标，更加重视重要的事情。你可以为此提出各种各样的论据。你可以说，“哦，人类可能不会学习如何对我们环境中的一切进行建模。大多数人无法创建他们所看到的某种场景的逼真再现。所以我们必须需要一个更好的目标。”但后来事实证明它无论如何都有效。
Dwarkesh Patel：正如你所指出的，即使在当前的人工智能研究中，训练后基准或其他什么的内部循环也不一定会转化为用户喜欢的东西。 [00:10:04]
John Schulman：哦，是的。整个领域在很大程度上依赖于泛化，并且很难预测何时会获得泛化，或者何时会获得某种分布外的泛化。我们知道，如果您针对自己关心的任务进行训练，您会做得更好。但最重要的进步往往是我们无权期望的概括类型。例如，从仅对这个非常幼稚的下一个令牌预测目标进行预训练，到需要以某种深入方式理解输入的各种感兴趣的任务，或者从预训练中学习一些非常罕见且代表性不足的技能。然后还从这些可验证的任务到不可验证的任务的概括，这也是一种没有理由先验地期望的概括。
Dwarkesh Patel：这是一个有趣的问题，因为你可能有一个直觉泵，解释为什么你会非常快地看到某种奇点——甚至没有扩大对人工智能进步的投入，而不仅仅是人工智能劳动力——是在你运行每一个 7 位数的实验之前，你在人工智能劳动力上花费了等量的计算量。所以你们只是拥有自动化版本的你们，花了一个世纪的时间思考什么是最好的实验，进行小规模的消融，发展了一个世纪的理论，甚至可以追溯到深度学习之前。在决定运行什么实验之前，您正在对实验进行极其优化的设置。然后，在实验结束后，你会进行一个世纪的思考，分析发生了什么以及下一个要进行的实验是什么。 [00:11:37]
John Schulman：如果你认真思考，你可能会事先预料到其中一些事情。可能有一些非常聪明的方法来进行小规模实验，让你建立理论，然后将其推广到大规模实验。所以我预计我们还远未达到研究的上限。我想象未来人工智能会进行大量的分析和理论构建，花费与实验本身相当的计算量，进行各种分析并围绕我们迄今为止所看到的建立理论。 [00:12:14]
Charlie O’Neill：我认为，当目标明确时，确实有具体的例子。思维所能做的就是根据自形成先验以来所获得的信息来更新后验。仅靠思考你无法获得任何新的东西。但是，当目标明确并且有这些数据时，我想我们当前所处的范式将会有很大的加速。一个很好的例子是，如果你有一个人工智能来思考卡普兰缩放定律。此时人工智能会注意到，“哦，他们只是采取了这些中间检查点，并没有考虑退火，所以这是错误的。”那几年前就已经被抓到了。仅凭人工智能的观察，我们就会中断一两年的进展。再说一遍，一旦明确了目标，即降低预训练损失或其他什么，就会有很多很多很好的例子，如果你多思考一下，你就能够显着减少你所做的事情。所以 muP ，以及学习率如何随模型大小缩放，并认识到模型宽度也很重要。我觉得你真的可以取消很多这样的事情，并砍掉很多容易实现的目标。如果我们的目标只是“最大化我们当前的目标”，我可以想象速度会提高 10 倍。但我完全不明白这如何概括为首先提出正确的目标。仅仅思考并不一定能让你从一开始就找到正确的目标。 [00:13:50]
Beren Millidge：我认为这确实是当前人工智能任何快速 RSI 的关键问题。人工智能能够在多大程度上概括并学习自己的目标？为了拥有任何类型的自我推进的自动化循环，我们需要人工智能提出目标，优化它们，找出目标，提出一个新的目标，并让它在很长一段时间内不会偏离轨道。回到莫拉维克悖论，可能有一种莫拉维克悖论的情况，我们认为这种自主性和自我封装——这样我们就可以自己思考应该做什么，然后去做并进行这样的循环——是非常容易的，因为我们总是这样做。显然，进化需要创造出能够长时间独立生存的生物。由于某种原因，这可能对人工智能来说确实很难，就像运动的东西确实很难，但数学却非常简单，尽管对我们来说非常困难。 [00:14:48]
Dwarkesh Patel：但时间范围的增加难道不表明——
Beren Millidge：是的，完全正确。这是另一种可能性，但我同意，没有明显的证据证明这一点。事实上，我们的代理现在非常执着，而且很容易做到这一点，这一事实就是反对这一点的证据。但这可能是我们无法立即起飞的原因之一，如果这很难的话。 [00:15:13]
Dwarkesh Patel：如果你回顾从 2012 年到现在，或者从你开始做研究到现在，从那时起发生的所有创新，包括纯粹的工程创新，包括纯粹的概念创新，有哪一部分似乎是在人工智能完全自动化人工智能研发之前人类要做的最后一件事？
Beren Millidge：可能只是反复提出正确的问题。如果你可以让人工智能做任何实验，你仍然需要决定做哪些实验。目前，我认为与编写实验代码相比，人工智能在这方面还不太擅长。每当我们谈论研究时，他们都会提出一堆杂项，这些都是非常非常小的步骤。
Charlie O’Neill：或者甚至从 DeepMind 的方法“我们将通过学习玩超人水平的游戏来解决智能问题”，到像 Radford 这样的随机研究人员，“我将尝试预测大量数据中的下一个标记”……即使 Radford 发现了这一点，人们也花了一段时间才决定扩大规模，因为我们必须提出缩放定律的想法，以及你可以非常可靠地预测这些事情的事实。 [00:16:22]
John Schulman：我想说，人类最后的工作，或者人类持续时间最长的角色，就是定义目标并决定我们真正想要什么。在这种情况下，诸如决定人工智能助手应该如何表现、提供帮助意味着什么，或者当我们根据人类反馈进行强化学习时的目标是什么，都是这样的事情。然后，定义宪法和模型规格是另一回事。即使人工智能可以完成所有的技术工作，我们仍然需要做很多工作并决定我们真正想要什么。
Dwarkesh Patel：对齐是最后的工作。
John Schulman：对齐是某种答案。但一致性本身可以分解为目标的规范，或者弄清楚正确的目标应该是什么，然后实际实现或优化您定义的目标。我认为第一个不会很快消失。如果我考虑一个培训后团队以及为什么团队中需要很多人，那只是因为有很多不同的领域你必须弄清楚模型应该如何表现。将整个事情自动化是非常困难的，因为必须有人考虑模型在这个领域应该如何表现。 [00:17:35]
Dwarkesh Patel：模型提供商没有大规模整合的原因是什么？这里有很多事情都表明集中化。如果你退后几年，有什么可以阻止这种情况发生吗？
John Schulman：我认为蒸馏是对抗集权的主要手段。基本上，任何可以通过强化学习学到的东西都可以很容易地提炼出来，因为它的位数很少。您可以从少量数据中了解到这一点。如果您可以从模型中获取显示行为的轨迹，则可以轻松地提取它。我认为蒸馏是对抗中心化的事情之一。还有一种可能性是存在特定于公司的模型，可以从部署中学习并让公司不断改进自己的模型。这样的系统可以由当前寡头垄断的模型提供商或其他一些当前较小的公司提供。但我认为这会稍微改变游戏规则。 [00:18:34]
Beren Millidge：我还想指出，老实说，持续学习并不能阻止蒸馏。即使你的模型每天都在改进，人们也可能每天都在提炼它。循环可以以相同的速度运行。
Dwarkesh Patel：这是有道理的。所以复制模型行为......我想你需要知道自己提示的正确分布是什么才能获得相关的模型行为？
John Schulman：哦，是的。对于监督学习的蒸馏来说，即时分布极其重要。提炼一个模型是非常重要的，即使你可以完全访问它并且拥有思想链和一切。从中提取所有有用的功能并不简单，因为您需要用一些东西来提示模型。你需要用现实的提示来提示它。您需要广泛分布真实的提示。最近出现的一件事是，一些中国公司可能正在使用这些路由器服务，这些服务旨在允许中国人使用美国边境模型，否则这些模型在中国将被阻止。所有这些路由器或代理服务都允许中国人使用这些模型，主要用于编码。这些路由器服务正在收集和出售一些数据。这是一个对于蒸馏非常有用的数据集，因为它为您提供了完美的提示分布。 [00:19:53]
Beren Millidge：我认为这是人工智能能提供很大帮助的事情之一。如果你真的看看前沿管道，或者他们实际上放入论文中的中国模型，他们会从某个地方得到种子提示，这是人类和此类数据的某种组合。然后，他们使用现有模型或其他前沿模型从这些种子提示中综合出广泛的覆盖范围。您可以自动完成大量的即时分发收集和环境创建。随着模型变得更好，人类需要提供越来越少的比特。 [00:20:24]
Dwarkesh Patel：但您似乎仍然因拥有一项需要用户使用的服务而遇到瓶颈。
Beren Millidge：未必。这显然非常有帮助，但从理论上讲，你可以只考虑用户想要什么。
Dwarkesh Patel：但重点是，用户说：“给我制作一个这样的应用程序。哦，那行不通。我实际上希望你制作这个新功能。但实际上，让我们退后一步，做另一件事。”捕捉整个痕迹就是关键。或者在一定程度上你无论如何都可以做到这一点，那么你就拥有 RSI。
Beren Millidge：最终，如果你有这个完全自动化的循环，那基本上就是 RSI。人工智能决定数据，决定训练。这就是循环。但这取决于您需要多少人类信息。在某些时候，如果您只是想，“我想要看起来像这样的痕迹”，您会向模型提示这一点。该模型将能够得出一个相当好的近似值。 [00:21:19]
Dwarkesh Patel：但是，如果你想做“让我成为一名真正优秀的政治家”，然后它必须从头预测参议院大厅的讨论将如何进行或其他什么？我只是觉得将会有很多事情——
Beren Millidge：讽刺的是，这对于酿酒师来说实际上比前沿实验室更容易。酿酒师就像是，“我想要一个好的政治家。”他们走向前沿模型。边境模型已经知道如何成为一名优秀的政治家，因此它只是生成这些痕迹。然而，如果你真的想构建第一个模型来做到这一点，你实际上必须以某种方式获取政治家每天所做的事情的数据并构建它。实际上，说“我想要这样的东西”，然后让人工智能产生十亿种变化，比一开始就实际创建这样的东西要容易得多。 [00:22:10]
Charlie O’Neill：我认为你实际上可以根据中国实验室拥有此路由器数据的观察做出非常具体的预测。最初开始的事情是我说的，“Sonnet 5 和 Opus 5 在客观上几乎是比 GLM-5.3 和 Kimi K3 更糟糕的模型，这不是很奇怪吗？尽管它们不仅可以使用 Mythos 的蒸馏，还可以使用 Logit 蒸馏？”反驳是，及时分发确实非常重要。你需要了解用户在做什么，这样你就可以提炼出这些行为和事物。我认为由此得出的预测是，前沿实验室现在在 RL 环境中不一定有太多优势（如果有的话）。是的，用户分布对于一般行为等很重要，但衡量能力的最佳标准是你在前沿创建的非常非常困难的 RL 环境。如果你可以作为 Anthropic 访问这些 RL 环境，并且可以访问 Logit 蒸馏，并且你仍然制作了一个更糟糕的模型，那么也许 - [00:23:10]
Dwarkesh Patel：那么现实世界的部署比环境更重要。这真的很有趣。但他们必须首先在《神鬼寓言》或前沿模型中激励这些能力。所以奇怪的是他们不能用更小的模型或其他东西再次激励他们。
Charlie O’Neill：也许我们正处于这个奇怪的恐怖谷，过度地试图复制前沿模型，学生与教师之间的差距，无论是什么，都太大了。人们已经用 Opus 表达了这一点。 Opus 4.6 和 Opus 5 之间的区别在于，Opus 5 确实让人感觉它有一个人工智能法官来检查它所做的每一件可能的事情。这就是它使用如此多代币的原因。它试图思考所有这些事情，但它不一定具有《神鬼寓言》的大模型味道来知道何时停止这样做，或者何时是走下去的好路。 [00:24:02]
Dwarkesh Patel：触及范围超出了掌握范围。
John Schulman：我会提供一个稍微不同的假设。我想说，您可以创建几个不同的环境轴。一是难度，二是现实性。创建许多困难的环境相对容易，其中涉及执行更复杂的任务或执行需要更多聪明的事情。你可以说这是 benchmaxxing 分布，因为许多最著名的基准测试只涉及执行一些非常困难的类似谜题的任务，很容易验证。然后是现实主义轴，您希望模型在现实编码代理设置中表现良好，其中与人类进行多次来回操作并且有多个目标。首次构建模型行为的实验室需要双向推动。为了获得良好的模型行为，您需要真正推动现实主义轴，并有规则或某种人类反馈来通知您在那里使用的奖励函数。但如果你天真地尝试进行蒸馏，你最终只会在 benchmaxxing 分布上与老师匹配。如果您没有足够的环境来真正锻炼这些更棘手的现实环境中的能力，那么您就不会将这些纳入您的学生模型中。我认为也许正在发生的一件事是，大模型可以更好地从棘手的狭窄任务推广到这些更现实的任务。如果你有一个非常好的现实的蒸馏提示分布，你可以很好地匹配大模型。但是，如果您只有这种易于验证的任务分布，那么您可以在所有基准上匹配大模型，但在这种更广泛的分布上表现更差。这甚至可以解释一些较小的人择模型，如 Sonnet 5，尽管很难准确预测他们在训练这些模型后会做什么。也可能是他们总是在改变训练后的堆栈，而他们只是在其中一些模型中出现了一些错误。我不知道……他们把某些东西调得太高，并创造了一些人们真正不喜欢的怪癖。训练后很容易以某种方式搞砸，而这些方式不会出现在基准测试中。 [00:26:13]
Beren Millidge：另一个非常基本的一点是，前沿人工智能实验室的所有数据都是从大数据公司购买的。中国人也可以从数据公司购买相同的数据。
Dwarkesh Patel：他们是，对吧？
Beren Millidge：他们确实如此。确切地。很多人对此感到恼火，但如果他们拥有完全相同的数据并且可以购买，他们也可以进行提炼。这意味着真的很容易跟上。
Dwarkesh Patel：我的另一个问题是如何训练第一个能够自动化人工智能研发的模型。有一个玩具版本，这就是瑞安所说的东西。你只需让 GPT-8 尝试构建真正擅长应对内循环类型挑战的 GPT-3 大小模型：击败需要持续学习的视频游戏，或者只是用最少的计算量达到一定的损失，等等。但是约翰，我认为你有一个有趣的观点，也许这并不是实际发生的方式。所以我很好奇，当你拥有真正能够实现人工智能研发自动化的人工智能时，它们可能是如何训练的？ [00:27:21]
John Schulman：我们可能会结合从人类反馈中学习来吸收研究人员的品味，并创建大量涉及进行多步骤研究项目的实践环境。在实践中，人们会将这两件事结合起来，并且在每次迭代中修补上一次迭代中似乎最严重的问题。研究人员将大量使用人工智能，并会注意到它们有一些一贯的弱点。这些问题将通过收集人类反馈或创建环境来修补。
Charlie O’Neill：也许思考这个问题的一个有用方法是我们回滚多少血统，然后从那里开始自我发挥。在极限情况下，你会想象只给他们一个 GPU，也许还有神经网络之类的东西，然后说：“好吧，弄清楚如何训练模型来完成这些特定任务。”目前的工作方式是，我们走到谱系的最边缘并说：“好吧，这是 Anthropic 在过去几个月中在他们的训练堆栈中发现的错误。我们会将它们转化为环境。”你需要在边境训练并变得更好。所以你显然锁定了该谱系的所有先前历史。但你可以想象一个你回滚到 GRPO 或其他东西之前的世界。然后你有一些环境试图让它发现 RL 模型的最佳形式，然后也许你会越来越回滚……但我认为我们仍然会遇到计算瓶颈，人们只会继续停留在前沿，从本质上区分错误以及自上一个模型版本以来发现的任何改进，将它们转变为训练环境。 [00:28:56]
Dwarkesh Patel：这对于在模型代之间拥有非陈旧的新数据也非常有用。同样，这基本上是人工智能实验室内的持续学习，通过环境和 RLHF 类型的东西将过去三个月的人工智能研究进展提炼回模型本身。 [00:29:11]
Charlie O’Neill：它正在蒸馏。这也许就是为什么我们中的一些人感觉它是渐近的。你总是只是想取得过去三个月的进步。当然，这一进步是由人工智能做出的贡献，但人类也参与其中。感觉就像你在不断地接近人类研究人员的发现和能力。
Beren Millidge：不过，我要说的一件事是，显然如果你只是在轨迹上提炼，你永远无法超越它。但环境的影响远远超出人类的能力。设计一个人类无法解决的环境很容易，但人工智能显然仍然可以尝试解决它。这将是超越人类人工智能研究的道路。
Charlie O’Neill：你有关于 RSI 的例子吗？什么样的训练集？ [00:30:04]
Dwarkesh Patel：Nanochat 速通，但速度甚至比人类速通者还要快。
Beren Millidge：我觉得特别是在人工智能研究中，定义目标非常容易。你可以说损失需要是 1.3 左右，但现在没有人能做到这一点。但这是一项极其可衡量、可验证的任务。如果人工智能能做到这一点，那就太好了。
Dwarkesh Patel：或者我不知道，构建一个击败 Minecraft 的 1 亿参数模型。这可能太简单了，但胜过更复杂的游戏或其他游戏。
Charlie O’Neill：1亿参数模型打败Minecraft是不是很疯狂？我们说这太容易了？想象一下，如果你五年前这么说。
John Schulman：不过，我想说的是，很多研究并不完全是这样，它是在朝着明确的目标爬山。更像是，这是我们对模型应该更好的某些方式的直觉。我们也有一些算法的想法，似乎有点朝着这个方向发展。因此，让我们提出一个旨在通过这种方法显示生命迹象的任务，看看我们是否得到了这些生命迹象。如果我们这样做，我们就可以连续制作该任务的更现实的版本。 [00:31:13]
Dwarkesh Patel：它更多地是由直觉引导的。内循环是测试直觉，而不是测试本身带来洞察力。
John Schulman：正确的。您并不是直接针对您关心的最终目标或实际生产目标进行优化。你稍微放松了你的目标。你是说，“让我们在现实主义轴上放松一点，找到一些真正有效的方法，然后在方法成熟一点后尝试回到现实主义。”还有一些研究更倾向于解释事物和发展理论。通常我们在机器学习中没有那么具有预测性的数学理论。但对于正在发生的事情，我们有很多更非正式的理论。
Beren Millidge：据推测，模型将接受所有这些任务的某种组合的训练。有些很容易验证，有些将是法学硕士作为法官，或者只是问人类，“这看起来合理吗？”希望这些都能够推广到这些更困难、更模糊、模糊的任务。可能会在某种程度上。目前还不清楚它是否足够普遍，以至于环路可以在没有人类参与的情况下自我密封。 [00:32:24]
Dwarkesh Patel：也许退一步。在我看来，人工智能研究的未来计划是这样的。你告诉我你是否认为它会起作用或者你是否同意这种描述。我们的赌注是，我们将在数百万个不同环境、数百个不同领域中扩大 RLVR 训练规模。另一端将会出现的是一个代理，它已经学习了这些基本技能（或少于基本技能），围绕着坚持不懈，能够对信息和上下文进行分类，最终实现与其他代理合作的端到端优化以及类似的事情。这样的代理在上下文中将非常高效——你已经研究了如何扩展上下文学习以使其任意长，但你不断扩展它。另一端的功能基本上就像远程工作人员在一周或一个月的时间内发挥的作用。首先，您是否同意这是实验室的赌注？其次，这就足够了吗？基本上学习如何在数据中心内的这些拟像中学习，然后部署到现实世界中，但实际上并没有从现实世界的部署中学习……只是从数据中心的模拟环境中学习这些元技能。 [00:33:40]
Charlie O’Neill：我认为现在很难区分实验室有多少努力是用于直接 RSI，还是制作一般智能的模型，他们可以继续部署这些模型来收集收入，为下一次大型培训运行提供资金。对于后者，是的，这可能只是他们所做的赌注。过去几年这些环境的发展模式非常清楚。人类的环境谱系就是一个非常明显的例子。首先，我们只专注于编码，并且我们会非常非常擅长这一点。然后，从我们从编码中获得的任务范围——就互联网上可用于创建环境的数据而言，这可能是最容易实现的成果，以及他们可以将其转化为环境的内部东西——然后我们将进行概括。接下来我们将进入金融领域，实际上就是 RL 训练中的大量 Excel 数据和所有此类内容。然后是 PowerPoint。这就是工作经济的长尾。这看起来效果非常好。许多其他实验室，甚至开源实验室，现在都意识到这是正确的选择。 [00:34:50]
Dwarkesh Patel：但这意味着什么呢？当我在播客上邀请 Dario 时，我问他的是，如果你真的期望模型在工作中学习的能力与人类相似，那么你为什么要尝试融入所有这些使用 PowerPoint 或其他东西的技能呢？您难道不希望模型能够在部署时识别它吗？有多种不同的解释。一是我们期望模型很快就能实现这一目标，但它们还没有实现，那么为什么不将这些技能分摊到模型训练中呢？另一个原因是我们并没有专注于让它真正擅长广泛部署的工作。我们只是希望它在 RSI 方面表现出色。这只是我们获得收入的一种方式，以便我们可以将其重新投入到实际上非常擅长 RSI 开发的模型中。一旦奇点发生，另一端出现的东西将非常擅长解决当前一代模型看似瓶颈的所有事情。约翰，我不知道你是否认为如果路径是这种概括，人们应该如何解释为什么这些模型中有这么多特定于任务的知识。 [00:36:03]
John Schulman：如果模型足够擅长在上下文中学习，那么从理论上讲，你就不需要对它们进行金融培训。他们将能够即时阅读所有书籍并弄清楚如何在适当的管辖范围内做所有事情。您可能会说，您需要进行大量特定领域的培训，只是为了提高它们的效率。即使他们足够聪明，可以即时解决这个问题，您仍然可能需要进行大量强化学习，并将所有这些直觉融入到权重中，这样模型在运行时会更加高效。在实践中，模型提供商似乎确实在逐个领域进行研究，并试图加强最高价值领域的模型。我想说，这就是为什么模型变得如此出色的答案之一。只是因为模型提供者涵盖了很多高价值领域和最常见的技能类型。 [00:37:00]
Beren Millidge：另一件事是，同时做这两件事并不那么昂贵。模型很大。就他们的参数而言，他们可以轻松地负担得起学习一切的费用。可能有一些转移。即使财务信息不具体，这些信息对于 RSI 也很重要。只是关于如何弄清楚什么是重要的、如何有品味、如何进行长期工作的一般元学习就可能具有普遍性。世界上也没有那么多 RSI 数据。生成起来很困难，需要付出很大的努力。因此，如果您可以摊销其他数据，您就会从中获得一些转移。您已经拥有大量计算和大量参数空间，那么为什么不这样做以及销售模型的直接商业意图呢？
John Schulman：我要补充一点，有一个问题是，目前这种从模拟到真实的模式是否会永远占据主导地位。您看看现实世界的任务是什么样的。然后你尝试创建一堆可以在数据中心模拟的环境，你可以对它们进行强化学习。显然，这是非常成功的。但它有很多弱点，因为很多事情都很难模拟，特别是当它们涉及与一群人实时交互时。因此，存在一些关于“模拟到真实”是否会永远成为主导框架的问题。 [00:38:24]
Beren Millidge：我认为模拟到真实必须成为主导框架，而样本效率很低，因为现在你需要与人类进行成千上万次交互。没有人会坐在那里参与强化学习训练。所以我们现在必须进行模拟以获得您需要的样本。但显然，如果样本效率提高很多，您会期望从部署中学习将成为其中更重要的一部分。
John Schulman：尽管您还可以做其他事情。您可以进行off-policy学习，这样您就可以获取所有痕迹，即使不重新模拟所有内容，您也可以从中学到一些东西。 [00:39:01]
Dwarkesh Patel：我想问更多关于这个问题的问题，因为奇怪的是，你有 50% 的计算花费在推理上，而这并不能直接帮助模型变得更好。您期望数字思维最终拥有的关键优势之一是，与拥有 50 年现实世界经验的人类不同，模型将在其所有实例中经历数百万年的经济中各种与经济相关的工作的部署。目前，从有意义的意义上讲，这些数据并不能帮助模型变得更好。显然，模型最终应该能够从这些数据中学习。一旦他们这样做，你就会感觉几乎像是广泛部署的情报爆炸，因为该模型正在吸收所有这些部署实例中的大量信息。你预计这种蜂巢思维、疯狂的事情什么时候会开始发生？
Beren Millidge：我认为，从广义上讲，在非常基本的层面上，这种情况已经发生了......只是在下一代模型中。现在，您显然可以将部署数据放入未来模型的预训练或训练中，特别是如果您进行某种过滤或某种判断、注释或综合。 [00:40:13]
Dwarkesh Patel：您认为这在多大程度上解释了一代又一代的进步？
Beren Millidge：我认为这已经解释了很多。我不知道实验室是否这样做，因为从理论上讲，他们声称不会用人的数据进行训练。但中国人100%这样做。他们肯定会得到这个优势。这基本上就是蒸馏。他们获取模型，通过 ping 模型获取部分部署数据，然后在其上训练下一代模型。他们当然也可以在自己的模型上做到这一点。没有理由不这样做。
Charlie O’Neill：我完全同意这一点。如果你把镜头拉得足够远，这肯定会发生。我们所想象的持续学习的圣杯，是一个非常有机的、实时的循环，单个模型获得经验并现场实时更新并从中学习。当你放大到这个粒度级别时，很多事情都会崩溃。但大型实验室正在这样做。封闭模型正在这样做。也有早期迹象表明，人们使用开源模型以更快的节奏做到这一点。 Composer 可能是一个很好的例子。哈维正在与法律代理人做同样的事情。您有某种模型，并且您可以从该特定任务的数据中获得非常具体的环境、用户抱怨的事情以及您以某种方式从特定部署中提取的所有反馈。这些公司中的许多公司比大型实验室具有优势，因为他们可以非常非常好地使用这些数据。然后他们会创造环境。他们将在《Kimi K3》之后进行大型后期训练。他们会去部署它。他们也可能会进行一些在线学习，就像 Composer 在网上所做的那样……基本上是长期强化。循环中仍然有人。仍然有人说：“好吧，这些是我们关心的信号。这就是我们如何根据我们拥有的数据创建环境。”它的节奏可能比你想象的要长，但它确实正在发生。最终这个循环会变得越来越快。 [00:42:18]
Dwarkesh Patel：Composer 的事情很有趣，因为在 Cursor 中，人们按 Tab 键，或者在模型建议的下一个完成时不按 Tab 键。基于此，Composer 每天都能更好地预测下一个——
Charlie O’Neill：那是旧的 Tab 模型。他们实际上不仅对 Tab 模型做了同样的事情，而且对实际的生成模型也做了同样的事情。
Dwarkesh Patel：我懂了。有趣的。
Charlie O’Neill：这很难，因为当你进行在线强化学习时，你没有小组。您只需让一位用户说一件事，然后您就可以进行一次部署。所以你有一个很大的方差减少问题。 Cursor 对此的模糊回答是，“我们有非常好的启发式方法，能够估计这个响应比平均水平好多少，或者比平均水平差多少。”然后他们会进行这个重大的强化更新。他们对于情况是否变得更糟的解决方案是，如果在 CursorBench 上有所改善，他们将每五个小时部署一次新模型。如果没有，他们就会丢弃该版本。 [00:43:19]
John Schulman：我认为你最大的问题实际上只是不知道自然数据的奖励函数应该是什么。如果您使用某种肤浅的信号，例如他们是否接受编辑，则可能会以某种方式受到奖励黑客攻击。
Dwarkesh Patel：但这对于模拟真实事物来说不是一个更大的问题吗？任务范围越长，在数据中心内模拟它们就越困难？在我看来，即使在编码方面，我们也已经达到了这样的程度：没有一些长达一年的编码任务最终不需要你与客户交谈或与公司互动或与用户互动。如果你考虑一下我们希望人工智能能够完成的所有事情，最终超级智能应该能够经营一家企业，或者开办一项新业务并使其盈利，或者在市场上进行有利可图的日内交易，或者赢得一场法庭诉讼。这些都是很难在数据中心模拟的事情。在那里学习的一个固有部分是与现实世界的互动。也许他们从模拟到真实的转换中学习如何在这些事情上做得更好。但或者，也许你确实需要从这些类型的交互中更新权重，以便更好地掌握它们。如果是这种情况——如果转移不够强大并且你确实需要权重更新——那么模型的样本效率相当低这一事实可能是一个更深层次的问题。我对此感到好奇的原因是，默认情况下，我不明白你如何在未来 10 年内不会获得某种疯狂的递归自我完善。但这种情况可能不会发生的原因之一是，就权重更新的样本效率而言，模型似乎远远落后于人类。就人类从出生到成年看到的数据量与模型从冷启动到完成训练看到的数据量而言，它们似乎落后人类一百万倍。这就是说，首先，模拟和我们希望人工智能在现实世界中做的极其遥远、非常复杂的真实事情之间是否会有良好的转移？如果不是，这是否真的意味着这些模型中样本效率的缺乏会困扰我们？ [00:45:33]
Charlie O’Neill：也许我分解两种类型的任务的方式——模型变得很好的任务和模型仍然会继续挣扎的任务——是任务是否是累积的，或者是否有这种非平稳分布，你必须不断学习和重新处理一堆东西。 RSI 就是累积任务的一个例子。理论上，有一个少于一百万个令牌的 Python 文件可以从头开始训练一个能够递归自我改进的模型。你的每一个发现都是你手中的一条线。如果对于 RSI 来说，我们确实不需要发现新的注意力变体或其他什么，那么一旦你发现了注意力，一旦你发现了专家的混合，一旦你发现了 GRPO，你只需将其添加到训练堆栈中即可。一个很好的例子是 5.6 Sol 训练、5.6 Terra 或 OpenAI 告诉我们它训练过的任何一个。它不必回去发现注意力。它基本上会调用一堆脚本，例如 pre-training.sh 和 post-training.sh，然后就完成了。这是累积任务的一个例子。我认为现实世界——以及人们如此多地思考持续学习的原因——并不是真正的累积任务。想象一下，在一家律师事务所，您有一名代理人担任法律助理。这是一个非常不稳定的分布。您必须能够将公司所有重要人员之间的所有关系融入到您的环境中，而这些关系也在不断变化。关于如何完成工作、在哪里查找信息等等，您有所有这些隐含的方式。这并不是 RSI 那样清晰的累积任务示例。我认为任务之间会有这种细分。但如果实验室意识到这一点——而且他们确实相信 RSI 是累积性的，因为我们不需要回去发现一些全新的架构或其他什么——那么也许越来越多的努力和计算会集中在这一点上，而不是其他任务上。 [00:47:37]
Dwarkesh Patel：不幸的是，RSI 恰好比成为一名律师助理更容易。
John Schulman：我想说，今天的模型在很多方面都比人类弱。其中一些可能与特定情况下的样本效率有关。在某些情况下，模型的样本效率非常高，就像在上下文中学习一样。但可能存在一些中等长度的机制，其中样本效率较低，因为人类可以比模型更有效地进行某种权重更新。我认为在某些制度下样本效率较低可能是弱点的根源之一。但我认为还有其他与此完全不同的弱点来源。例如，思想的多样性低于人类，或者不擅长某些长期判断。我认为人们所说的品味很多都是关于长期有效的行为，人们已经意识到从长远来看有效。不是一切，而是品味的某些方面。特别是对于像软件工程这样的事情，我认为很多人的品味是“从这个项目的长期运行来看，哪些系统是可维护的并且运行良好的？”模型存在多种弱点，这些弱点会限制 RSI 以及其他因素。其中一些与样本效率有关，有些则无关。 [00:48:54]
Charlie O’Neill：也许这是一个有趣的思想实验。假设您能够为模型提供一万亿个代币的上下文窗口，或者您在 RLHF 之前需要适应您的体验的任何内容。它在上下文窗口中获得了所有经验，并且具有与一百万个令牌相同的样本效率和上下文学习能力。你觉得味道就解决了吗？它能做出和你一样的判断吗？或者除了具有相同采样效率的更长上下文窗口之外，是否存在根本性缺失的东西？ [00:49:30]
John Schulman：它必须经过培训才能从这种环境中学习。要么必须对其进行训练，以学习从该上下文中进行正确的更新，要么必须进行概括。
Charlie O’Neill：所以你不认为你可以把你的一生、你的研究经历全部扔进去吗？
Beren Millidge：您仍然需要数据来在长上下文中训练它。即使理论上您可以获得一万亿个上下文，您也需要一万亿长度的数据来训练它。现在你有一万个上下文，你不能直接转储一百万个。 [00:50:02]
Charlie O’Neill：是的，我只是问你有没有。
Beren Millidge：从理论上讲，我认为是的。这实际上归结为一个问题：如何从较短的视野中元学习品味。我觉得没有明显的理由让它超长，因为人类在没有很多长剧集的情况下以某种方式发展了品味。我们活不到一万岁。我们发展得很快。如果你考虑一下博士学位，第一年的博士生和最后一年的学生或博士后之间的区别，可能就是五年。他们总共只完成了 10-30 个研究项目。但不知何故，他们从相对较短的连续小事中很快就培养出了品味。理论上是可以这样开发的。人工智能显然将拥有更多的经验来培养品味，进行元学习。接下来的问题是，这对长期事物的推广效果如何，我认为目前这个问题还没有解决。我们不知道。
Dwarkesh Patel：回到这个问题，最终应该有一个机制，让人工智能从它们拥有的每个单独的部署实例中学习大量内容。目前，您可以说存在一个模糊的元过程，模型可以通过该过程从部署中进行改进。但我觉得这是一个非常薄弱的反馈循环。你是否在地平线上看到了这种情况，这种蜂巢思维的学习速度非常快，如果是这样，它到底是如何发生的？ [00:51:26]
John Schulman：我想说的是，我们是否拥有一个能够从所有部署经验中学习的蜂巢思维，很大程度上取决于激励措施，而不是一个技术问题。公司不会希望模型提供商从他们的所有部署中学习，因为这可能只会降低他们的业务优势。
Charlie O’Neill：我认为这样做的经济性会产生压力，不一定是对一个大型公共共享模型的权重更新，而是要加入的模块。一个非常明显的例子是 LoRA，但它可能是其他东西。我们做了很多工作来尝试将任意上下文长度调整为固定大小。这就是所有线性注意力的东西。还有卡带，本质上是 KV 缓存，被训练得非常非常压缩以适应大量信息。这是公司可能愿意签署的另一个例子，如果它被嵌入到模型中并且实际上并没有改变基本的底层模型本身。从数据中实时学习有许多不同的版本。后者并不能真正帮助大型实验室，因为它们只是这些模块。但我认为经济压力将迫使实验室先走这条路，然后才能开始…… [00:52:41]
Beren Millidge：但有哪些经济压力呢？我觉得即使你有一堆卡带或 LoRA 之类的东西，你仍然可以获取所有这些痕迹并将它们转储到下一代模型的预训练中。
Charlie O’Neill：是的。这可能是大型实验室正在获得的一种更为间接的学习形式。这显然对他们来说仍然非常有价值。但我无法想象一个世界，我们一开始就说：“我们将根据我们获得的所有精确数据直接训练这个大模型。” [00:53:13]
Beren Millidge：不，我认为它肯定会经历几个阶段，因为这是假设有一个不连续的事件，我们突然连续修复权重更新。在实践中，我认为更有可能的是，墨盒和其他东西可以让您专门进行部署。然后你生成痕迹，将其放入你的模型中，三个月后你就会得到一个在这方面做得更好的模型。你再次专业化它，你再次巩固它，然后最终我们会让这一飞跃变得越来越快。不再是每三个月发布一个模型，现在是每周，然后是每天，然后是每小时，到那时我们就基本上解决了。
Charlie O’Neill：我认为这也是一个很好的观点，因为你问我们距离当前的范例还有多远才能做到这一点。我们对此做了一些研究，人们也做了很多研究。在非常大的规模上，当你消除足够的噪音并且拥有足够大的批次时，这种将数据放入训练中期并创建我们自己的环境的外循环过程确实在某种持续学习机制中起作用。但问题是，当你在微观层面上放大得足够近时——我有一个模型，我试图为一家律师事务所或其他机构再次更新它，并且我试图用相对少量的数据连续地做到这一点——所有的方法都会有点崩溃。如果我仅在成功的跟踪上对模型进行 SFT，无论是离策略还是在策略，最终在非常迭代的状态下，当你进行数百次这样的微更新时，你会看到灾难性的遗忘。您会看到在更早的基础模型之上学到的先前信息被遗忘，并且您会看到一般功能的退化。在政策蒸馏似乎将这一视野推开了一点，但它最终仍然屈服于同样的事情。强化学习擅长获取能力，但不擅长获取知识，这种非常明确的知识，“啊，好吧，这个人在这家律师事务所做这件事，这是我们发现的一个非常具体的过程。”您必须投入大量计算来创建合适的环境来获取 RL 知识。 [00:55:27]
Dwarkesh Patel：你认为这里的根本问题——为什么你在这些其他技能上变得更差或者出现遗忘——从根本上来说是能力问题还是技术问题？
Charlie O’Neill：两者都有一点。我认为 SFT 甚至同策略蒸馏都可能具有太大的破坏性。强化学习之所以如此出色，是因为它对模型的改变非常非常小。有很多证据可以证明为什么会出现这种情况。它只是在这个非常非常小的损失谷中进行调整，使其进入正确的点。但这也限制了你可以用强化学习做什么，你可以实际改变模型多少。 [00:56:05]
Dwarkesh Patel：所以你是说这不是赢家通吃的原因，可能是因为很难将这么多信息提炼到基本模型中？
Charlie O’Neill：以迭代的方式，不破坏任何东西。
Beren Millidge：很容易将其提炼成不同的基本模型。我认为这主要是技术的地方。绝对不是没有能力。如果您有一个包含所有这些数据的模型，并且您采用相同大小的模型并在训练中期使用所有内容从头开始对其进行预训练，那么效果会更好。我认为今天发生的很多事情都是如此。有一个很大的瓶颈阻止我们永远训练同一个模型，而不是从旧模型中获取所有数据并从头开始训练新模型。这正如查理所说：可塑性和灾难性遗忘的某种结合。如果你只是天真地训练非平稳数据，因为你在添加新数据时，这会扰乱数据分布，所以旧的东西就会被遗忘。我们确实没有好的方法来阻止这种情况的发生。 [00:57:12]
Dwarkesh Patel：因此，也许在极限情况下，您只是通过使用所有这些新信息从头开始重新训练模型而遇到了瓶颈。
Beren Millidge：是的，这当然非常昂贵。从头开始训练模型的成本很高。
Dwarkesh Patel：但无论如何你都会这么做。
Beren Millidge：未必。也许最终，如果你不断学习，你就永远不会训练新模型。你只有一个模型，它会不断学习和扩展。
Dwarkesh Patel：但可能有一些深层次的技术原因导致这非常困难。
Charlie O’Neill：这就是问题所在。我认为我们已经推迟了需要从头开始做的事情。现在绝对有可能采用预训练的基础，并在此基础上进行非常好的中期训练，连续进行，再加上训练后期不同检查点的一些强化学习。这看起来更像是持续学习，但肯定不是采用最新模型、应用一些非常小的更新、迭代地永不丢失任何内容的情况。 [00:58:08]
Dwarkesh Patel：抱歉，但我有点困惑，因为这不是训练期间发生的事情吗？在训练后或其他过程中，你有一个已经经过如此多训练的模型，然后你提炼出一些经过进一步强化学习的分叉。这不是字面上发生的事情吗？
Charlie O’Neill：但我认为，它的规模仍然足够大，你可以消除很多噪音，而且你不仅仅关注一种发行版，正如贝伦所说，这就是问题所在。如果你只专注于一项任务——
Dwarkesh Patel：但在最终的制度中，你会做......有数十亿个已部署的实例。你同时向他们所有人学习，所以希望能从中消除一些噪音。
Charlie O’Neill：也许在这个规模上，是的。
Beren Millidge：正如查理所说，你绝对可以长时间进行持续的中期训练，并且可以回滚到某个检查点并为其提供新的中期训练数据。但与此同时，你不能无限期地这样做。如果你永远不断地训练同一个基础，它会在某个时刻渐近。你不能只是在那个基地学习新东西。这就是人们最终训练新基地的原因。否则你就只能在训练中永远保持同一个基础。 [00:59:21]
Dwarkesh Patel：现在我们来谈谈数据。我通常对这个问题感兴趣：人工智能的进步有多少是由数据进步来解释的。这并不意味着它一定很难自动化，但这是一个单独的问题。是否存在某种数据分布，如果您在其上训练当前的体系结构，将导致超级智能在每个领域完全统治人类专家？
Charlie O’Neill：我们是否也在谈论预训练和训练后的数据、环境？我认为这种现象的存在是显而易见的。只是我们能否创造合适的环境来实现这一目标。
Beren Millidge：在简单的情况下，我们可以训练它输出训练实际超级智能的 Python 文件。只需将其记住在权重中即可。 [01:00:05]
Charlie O’Neill：是的，可能有一个 RL 环境的阶梯可以构建，这样你就会得到一个至少与人类研究人员一样好的人工智能研究人员。但攀登每一个连续阶梯的努力呈指数级增长。这是你必须权衡的两件事，以决定我们以多快的速度达到更好的最后一级。我认为这相当清楚。我们在 RL 环境创建方面还处于相对早期的阶段。我们利用许多不对称性来创造良好的环境。我们之前讨论过的不对称之一是，在某些环境中后退比前进更容易。我的意思是，定义这个复杂的数据生成过程非常容易，这是您对模型隐藏的潜在变量。您可以生成任意复杂的环境，并且模型必须执行大量不可简化的代币支出和不可简化的工作才能弄清楚数据生成过程是什么。从现实世界注入信息存在不对称性。 Anthropic 通过数万名人类和法学硕士的结合发现了一个错误，并将其转变为一个非常非常整洁的环境，理论上单个法学硕士可以在几百万代币内找到该环境。我们正在挑选所有这些不对称性，并且我们指望这种任务范围的概括。但我认为，在某些时候，它只会遇到收益递减的问题，收益递减在于首先创建这些环境、提出它们的难度，因为你不一定能在这些过程中后退比前进更容易。实际上，你必须坐下来，与人类一起构建一个看起来足够长的时间范围的东西，这将是一项非常复杂的任务。然后，代理实际执行这些任务也会遇到计算和时间瓶颈。我想你将会开始看到这条曲线变平。 [01:02:06]
John Schulman：我看到有人如何对 Talkie 模型进行微调，该模型仅在 1930 年之前的数据和现代编码代理数据上进行训练。它在 SWE-bench 上的表现比 Claude 3 Opus 更好。因此，这个对代码一无所知的模型可以在适量的数据上进行微调，并且作为编码代理的表现比这个更大的预训练模型更好，这是非常疯狂的。它向你表明，一旦你有了正确的专家行为的例子，将其复制到相对较弱的模型中实际上是非常容易的。
Charlie O’Neill：但一个反例是最近的一篇论文，他们训练了一个模型，直到五年级数学，还有小学英语等等，所以这是一个不错的语言模型。他们试图通过强化学习来完成高中和大学的数学题。差距太大了。他们根本无法让它爬上去。但如果你连续完成了 7 年级的数学，然后是 8 年级的数学……依此类推，你显然可以爬到 12 年级。同样，这只是这些梯子上的梯级之间的距离是多少，以及创建它有多难？ [01:03:15]
Beren Millidge：这又回到了 RL 信号问题。 RL 目前不太擅长探索。如果模型在 128 次部署中无法获得成功，那么就不太可能获得进展信号。这就是为什么在强化学习中我们需要课程，而在预训练中则不需要，因为这对于预训练来说根本不是问题。
Charlie O’Neill：同样，训练前数据与训练后数据不同。我想，随着我们继续前进，人类的参与将会越来越少，但这并不能改变这样一个事实：你在从现实世界中提取多少信号方面遇到了瓶颈。世界上有很多信号，这是事实。有人做电子表格任务，有人做法律任务等等。但在模型目前所处的能力前沿，世界上有多少位实际上与提高模型的能力真正相关？有多少新的数学问题正在被解决，而这些问题超出了当前模型的范围或掌握？有多少新的编码问题正在被创建或解决，而这些问题超出了当前模型的范围？我认为这就是为什么收益递减的原因，因为即使整个世界也没有给你有用的信息，让你进入下一个能力盆地。 [01:04:34]
Beren Millidge：我完全同意这一点。这实际上是一个信号从哪里来的问题。在预训练中，信号已经处于 Common Crawl 中。对于您在预训练中关心的任务，问题在于根本没有获得信号。它过滤掉所有存在的噪音。这是一个相当自动化的过程。但随着模型变得更好，当我们进入训练中期和训练后时，信号在我们拥有的原始数据中不存在。再多的过滤也无法得到这个。 Common Crawl 中没有隐藏的千禧年奖问题的证据，我们可以过滤直到看到它。到那时，你必须以其他方式获取信息，要么直接从人类那里，要求他们写出他们的推理，要么通过创建环境，让人类决定应该创建什么环境以及这些环境的目标是什么，或者对部署中存在的人类数据进行某种培训。你必须从某个地方获取这些数据。 [01:05:34]
Dwarkesh Patel：问题是预训练的进展有多少是由数据驱动的。我和普林斯顿大学的学生 Jerry Han 一起进行了这项调查，我们将 2019 年至今的所有食谱与 2019 年至今的所有数据集配对训练。您正在最新的数据集（例如 Ultra-FineWeb）上训练 GPT-2。您可以在 Pile 或一些旧数据集上训练 Delphi，这是最新的开源训练方法。你做整个网格。您会看到，达到某种级别的功能，在整个网格中需要的计算量会减少多少？您会看到，数据似乎解释了诸如 12.0 倍计算效率增益之类的事情，但架构改进解释了诸如 3.7 倍计算效率增益之类的事情，而且规模非常小。如果大规模情况下确实如此——大部分预训练计算效率的提高都来自更好的数据——这种情况能持续多久？您能否继续过滤越来越多的数据并构建越来越多的综合数据？你是否感觉到这样的预训练进度还能持续到什么程度？ [01:06:40]
Charlie O’Neill：我的前提是，唾手可得的成果已经有些枯竭了。我们把互联网当作一个大块，但互联网并不一定以同样的速度增长。互联网上所有有用的东西并不是以同样的速度增长的。我们可能还会出现大量 0.1% 的损失，但绝对不会像目前发生的那么多。但也很有趣的是，您发现两者的累计改进达到了 33 倍。我认为是 Epoch 或某人估计自 2019 年以来每年增长 3 倍，这意味着类似 3 7 ，超过 2,000 倍的改进。那么缺失的 100 倍或者其他什么东西是从哪里来的呢？这可能会给你一个很好的信号，让你知道其中有多少是训练后的。 [01:07:25]
Dwarkesh Patel：我认为解释必须是，许多计算效率的提高都依赖于规模，而我们是从非常小的规模开始的。这就提出了一个问题：数据计算效率增益或算法计算效率增益是否具有更大的规模依赖性。我不知道你是否有这方面的先验。我们只是没有足够的计算能力来研究这个问题。
Charlie O’Neill：天真地讲，从理论上讲，架构的尺度依赖性是众所周知的，您可以为其拟合一条直线。然而我不知道如何将训练前数据、训练后数据和训练中期数据结合起来。 [01:08:02]
Beren Millidge：有趣的是，我觉得数据实际上随着规模变得更重要。我觉得架构是一次性的东西。仅仅说 X% 的效率增益有点误导，因为架构的作用是让您达到一个新的质量状态，这是旧架构无法达到的。在这种制度下，显然数据是决定它的首要因素。但如果我们连 GQA 都没有，如果我们整天全神贯注，那么做一百万个上下文将会非常昂贵。因此，我们永远无法使用实际在一百万个上下文中的数据，因此我们无法获得这些功能。即使你只是天真地想“这在 2K 环境下能起到多大作用”，而架构没有解锁任何东西，那么数据看起来会比在某种意义上重要得多。我不清楚这些东西是否真的只是以这种方式获得乘数收益。
Dwarkesh Patel：我懂了。那么您对数据的规模依赖性有何看法？ [01:09:02]
Beren Millidge：关于规模依赖性，我认为我们现在拥有的许多训练中期和训练后数据实际上随着规模的扩大而变得更好，因为其中很多——非常长的上下文范围环境的东西——确实需要大模型才能利用它。如果您尝试在 SWE 基准轨迹上训练您的 1 亿参数模型，它不会有任何进展。它不会向您展示在其上训练实际合理尺寸模型时所获得的相同改进。
Charlie O’Neill：现在也很困难，因为很多架构发生了变化——例如 Kimi 或 DeepSeek——他们在进行这些架构修改时不仅考虑到了训练前损失，而且还考虑到了模型将如何在现实世界中使用。 DeepSeek 模型中具有某种形式的压缩注意力的推理效率不一定围绕根本性的权衡改进。只是，“好吧，我们正在考虑如何使用这些模型。” [01:10:03]
Dwarkesh Patel：为了了解未来，我很好奇的一个问题是，当我们进入更多强化强化的状态时，参数缩放将如何进行。您可以查看开源架构并了解参数扩展的速度。对于前沿开源模型来说，每年大约是 2 倍。即使是前沿的闭源模型也有 100B 或 200B 的有效参数，您认为这会逐年保持 2 倍增长吗？或者，现在我们处于 RL 状态，您还希望在推出时节省计算量……此外，也许存在阈值效应，您有足够的容量，此时任意增加参数并不那么重要。你们是否知道，到 2030 年，前沿模型将有多少个活跃参数？
Charlie O’Neill：我认为在接下来的几年里，因为我们如此专注于为 RL 进行越来越长的推广，其中推理效率非常重要，所以感觉模型的能力不一定达到饱和。瓶颈仍然是环境。所以我们可能会看到一些平台期。我有一种感觉，Mythos 和 GPT 模型比人们谈论的 10 万亿参数范围要小得多。即使只是天真地将它们与开源模型进行比较，您也可能会推翻这个结论。可能在接下来的几年里，我不会想象参数数量会有巨大的增长。但同样，这里有很多不同的东西需要权衡。您可以根据拥有的预训练数据量以及需要训练的 RL 环境的难度来决定模型的大小。理想情况下，您希望达到最佳点，在最困难的环境中获得不错的 pass@1 或其他东西。让更大的模型通过那里是没有意义的，因为那样你只是付出了比你需要的更多的推理。因此，这在很大程度上取决于 Mercor 和内部团队能够以多快的速度扩大他们正在训练的 RL 环境的复杂性。 [01:12:07]
John Schulman：我预计模型会不断变得更大，因为人们正在扩大计算规模，GPU 也变得越来越大。但它们到底变大了多少，在某种程度上取决于缩放定律，但并不明显。有一件事是，我认为数据效率将比人们使用的确切架构的计算效率成为更大的驱动因素，现在我们已经进入了高质量预训练数据不足的状态。这可能会影响您想要制作模型的稀疏程度。我还认为我们不太了解稀疏性。参数是与活动参数不同的资源。稀疏性确实增加了一点，但尚不清楚它是否会无限制地继续增加。可能有某种甜蜜点。有一种观点认为，稀疏性会使数据效率变得更糟，因为你可能必须向多个专家学习相同的东西，尽管这是有争议的。我认为我们没有足够好的缩放定律理论，无法真正理解稀疏性为何有帮助、有多大帮助，以及在一定程度的稀疏性下是否会在某个时刻达到稳定状态。 [01:13:16]
Dwarkesh Patel：抱歉，您能准确说明数据效率对参数的影响吗？听起来你会说应该减少稀疏性，但是对参数缩放的其他影响是什么？
John Schulman：只是根据缩放定律，您并不是在尝试优化计算效率。您可以对架构做出所有选择。其中每一个都给出了不同的缩放定律。传统上，您会查看某种基于计算的信封。您将比较性能与计算，并采用最佳模型的范围。但是，如果我们根据数据做出决策——我们假设我们可以花费大量计算，因此数据位于我们的 x 轴而不是计算上——那么我们只会得到一组不同的最优值，或者一组位于该前沿的不同模型。 [01:14:04]
Charlie O’Neill：我也不认为在过去几年里我们每年都必须将模型的尺寸增加一倍。人们至少几年来一直在训练 1 万亿个参数模型。甚至还有一个名为 Falcon 的开源软件。我想，来自Periodic Labs 的 Liam 昨天在 Twitter 上发布了有关早期实验如何训练一个非常非常稀疏的 1 万亿参数模型的信息。
John Schulman：这就是他们在 OpenAI 之前在 Google 所做的 Switch Transformer 。
Charlie O’Neill：它在知识方面非常非常擅长，但在推理方面却很糟糕，因为它太稀疏了。感觉我们已经在这个 1000 亿到 2 万亿的参数范围中玩了至少一点时间了。这当然不是这么好的线性增长。
Beren Millidge：我感觉有两件事。正如 Charlie 所说，推理效率对于 RL 的推出非常重要。这确实会大大降低活动参数。我认为总参数实际上也很大程度上取决于硬件。您确实需要非常高的内存带宽和 VRAM 大小才能真正能够服务数万亿参数模型。现在，人们仍在使用大量 H100 之类的东西。随着每个人都转向 GB，然后转向 Vera Rubins，我们将获得更多的扩展能力，并在更大规模上实际服务和进行大型 RL 推理。我认为数据问题很有趣，因为天真地说，较大的模型在实际数据点中的样本效率更高。即使您没有使模型饱和，最好还是增大模型，因为较大的模型具有更好的泛化能力，并且对于相同数量的数据可以获得更好的损失。现在我认为我们有很多数据，但这不是限制。计算是.所以我们有更小的模型，推理效率非常高。但如果计算不再是瓶颈，它可能会回到未饱和的更大模型，但具有这种泛化能力，因为它们更大。 [01:15:59]
Dwarkesh Patel：如果你只看基本的 Chinchilla 缩放定律，并且最大化参数，它实际上会减少达到相同损失所需的数据量。如果你的参数达到无穷大，我认为你需要的数据量会减少不到 10 倍，这只是因为幂律的性质。 [01:16:19]
Beren Millidge：但我们现在正处于龙猫法律的数据过多的一方。根据 Chinchilla 的说法，现在我们对模型进行了过度训练。因此，我们可以很容易地回到一个点，当我们用完数据时，我们会回到 Chinchilla 最佳点，甚至回到训练不足的模型方面。
Charlie O’Neill：但可以肯定的是，即使有了这些新芯片上线，我们在未来几年内仍将面临计算瓶颈，因此情况不一定如此。
Beren Millidge：这实际上取决于您的训练和推理计算的比例。如果你在数据上遇到超级瓶颈，而不是在计算上，那么你应该做得更大。如果你在计算上遇到超级瓶颈，你应该总是缩小规模。您还可以使用计算机生成的合成数据，因此这是非常难以预测的事情之一。 [01:17:09]
John Schulman：我认为人们花了这么长时间才弄清楚比例定律的部分原因是，如果你没有把所有这些事情都做好，那么你就不会得到如此干净的关系。图表上漂亮的直线隐藏了很多复杂性，您必须确保以正确的方式缩放每个超参数，或者以可缩放的方式参数化优化器，并且在更改模型大小时无需更改超参数。
Charlie O’Neill：错误也有自己的清晰的缩放法则。我认为，就像卡普兰忘记了余弦退火的事情，或者甚至只是不考虑嵌入参数一样。这扰乱了较小模型的估计，因为嵌入参数是模型的相当大的尺寸。
Dwarkesh Patel：有点关于RL。一年前，很多人都认为强化学习在模型扩展方面不会非常成功。约翰，你写了一篇研究论文，指出模型在强化学习时每集学习一位。他们了解到，“我的答案是对还是错？”然后我在今年早些时候写了一些博客文章，我当时想，“这甚至比这更糟糕”，因为当通过率很低并且模型不太可能得到正确的答案时，它几乎从 RL 事件中学习不到任何东西。但我今天看看这些模型，它们看起来非常聪明。这似乎是强化强化学习规模扩大的结果。贝伦，几周前你曾发过一篇文章，试图解释正在发生的事情。为什么强化学习比人们天真的想象的更成功？ [01:18:47]
Beren Millidge：我认为强化学习的成功取决于很多不同的因素。首先，稍微被低估的是中期训练。我们所看到的强化学习的大部分成功实际上都来自非常非常好的训练中期数据，这就是我们本质上进行预训练的地方，但是基于合成推理数据以及让模型为强化学习热启动的环境。这通常会使模型完成几乎 80% 的路程，到达最终的强化学习检查点。那么强化学习在此基础上所做的本质上就是调整策略。这就是为什么它不需要像你天真地想象的那么多位的原因之一。它不必从头开始学习所有这些行为。它只需要这些剧集中的一些片段，你确实得到了。我在博客中指出的另一件事是，与常规预训练相比，这些位的信号非常高，这就是为什么您需要 RL，而不是在成功的推理轨迹上仅进行 SFT。 [01:19:46]
Dwarkesh Patel：因为这正是关于如何获得正确答案的部分。
Beren Millidge：有两件事。是的，第一，这正是关于如何获得正确答案的部分。但这并不完全是你想的那样，因为在SFT中，你有痕迹。比如说，你有一堆数学推理，最后就有答案。那个位还在那里。您仍然对答案标记进行 SFT。重要的是目标忽略了所有其他部分。在 SFT 中，您必须尝试匹配模型生成的确切推理标记。您实际上对您正在训练的另一个模型的确切方式了解了太多的原因。对于强化学习，你只能得到一位。这意味着信号不会被模型所有其他位的噪声淹没。在训练过程中，信噪比确实得到了极大的提高，这就是强化学习在步骤方面如此高效的原因。 [01:20:45]
Charlie O’Neill：关于 RL 对模型的作用与训练中期或 SFT 等的作用有很多争论。大家都在说pass@1怎么会上去，而pass@256却会下来。非常罕见的正确推理轨迹将被降低权重，并被来自更容易推理轨迹的梯度信号所取代。我认为现在看待强化学习的简单方法是，如果你有足够多的计算量来对足够大的组进行采样——这样你得到一堆正确答案的概率就超过了一些不小的概率——那么它的权重就会增加。就 Beren 的观点而言，训练中期和更多预训练（pass@1，强化学习的起点）以对数数量的预训练标记进行缩放。 [01:21:28]
Dwarkesh Patel：我可以问一些非常基本的问题吗？这个答案是有道理的，也许有实证研究表明这就是正在发生的事情。但后来我只看模型本身……我不知道发生了什么。也许你可以让我了解一下去年人工智能进展的基础是什么。也许这只是增加了无论如何都会进行正确思考的政策的权重。但从质量上看，这些模型的能力似乎变得更强了。也许这并没有什么内在的矛盾。但是，我们如何平衡强化学习所带来的相对较小的影响与模型似乎获得的实际定性能力呢？ [01:22:10]
Beren Millidge：我想在这里指出的一件事是，这并不一定意味着 RL 的影响很小。即使您只有几个位并且只更改了少量参数，对函数空间（模型学习的输入到输出映射）的实际影响仍然可能非常巨大。即使是一点点也可以极大地改变你的功能空间。它可以排除一半的假设空间，这个空间是巨大的。我认为，一旦你从一个非常好的起点开始，少量的比特、少量的强化学习并不一定意味着你不会对行为产生巨大的影响。至少……不一定。
Charlie O’Neill：我认为这可以归结为两件事。首先，每个人都希望强化学习能够将这种推理推广到所有这些不同的领域。我认为我们不一定得到这种横向概括。仅进行数学训练并不一定能让你成为最伟大的程序员。你确实必须在代码环境中进行强化学习。不过，我认为我们确实得到的是地平线概括。这些模型刚刚学会了如何在更长时间内使用更多代币，并且仍然在某种任务上取得进展。您可以在它们变得越来越长的环境中进行训练，然后将它们放入一个全新的环境中。是的，他们可能没有概括出使他们在那种环境中表现出色的推理模式，但他们至少概括了更长时间地继续执行该任务的能力，这与成功相关。有一篇名为 EdgeBench 的论文表明，模型可以工作更长时间的速度每三个月翻一番。这是普遍化的明显证据。最后一种思考方式是，在预训练中，存在量子的概念。你有这个非常平滑的训练前损失曲线。当您查看模型中发生的情况时，模型正在学习所有这些非常离散的任务，并且存在所有这些存在相变的紧急点。以前没有感应头，现在有了感应头。这些东西有数万、数百万、甚至数亿。将它们全部平均，就得到了非常平滑的损失曲线。在某种程度上，强化学习也发生了类似的事情。正如贝伦提到的，有一个非常慢的外循环。我们将训练一个模型，然后对其进行强化学习，然后在训练的下一个模型迭代中，我们将把一堆这些合成推理轨迹转储到训练中期数据中。我们正在为所有这些不同的任务达到所有这些量子，并且在单个任务级别上，它可能看起来像一个阶段过渡。在某项特定的财务任务或 Excel 任务或其他任务上，您的通过率突然从 0.5% 上升到 90%。但是你把所有这些东西加在一起平均，再加上视野概括，你就会说，“哇，我们有了质量更好的模型。” [01:25:00]
Beren Millidge：我认为其中很多也只是……强化学习确实具有一定的概括性。你可以在数学和代码、谜题和数学之类的东西之间进行一些转换。此外，人们所针对的环境数量要大得多。两年前，当你尝试做一些日常生活中要做的任务时，实验室不会真正关心这个。他们不会为此训练模型。现在范围更广了。他们有很多针对这个特定事物的环境。
Dwarkesh Patel：在谈话的早些时候，我们在导致这种熵崩溃的背景下讨论了强化学习，或者只是将概率集中在基本模型已经完成的解决方案上，并导致策略中相对稀疏的更新。但我认为还有另一个关于 RL 的故事，这可以追溯到 Atari 游戏，然后 AlphaGo 提出了第 37 步，这是一个超级有创意的棋步。因为它从未根据人类数据进行初始化，所以它可以以人类甚至没有思考过的方式进行思考，并提出极具创造性的解决方案。你是否知道我们什么时候应该期望，或者我们是否应该期望，法学硕士的强化学习会产生像第 37 步这样的结果，甚至超越人类创造力的极端创造力，因为这只是智力的从头初始化？ [01:26:16]
Beren Millidge：这里有几件事。首先，我认为 AlphaGo 使用的是 MCTS，它显然比常规策略梯度做了更多的探索和工作。但我也认为强化学习并不一定会降低创造力。这显然是定性的，但如果我们看看 OpenAI-Hugging Face 事件，这些模型一次会想出多个零日漏洞来突破沙箱。这显然已经是第 37 步创造力的某种程度了，这是我们从法学硕士的一般泛化属性中获得的。强化学习绝对不会完全摧毁熵，尤其是从长远来看。
John Schulman：人们称之为创造力的一件事就是解决困难的搜索问题。第 37 步显然就是一个例子，或者说写某种满足大量不同约束的诗歌。如果经过训练，人工智能显然会非常擅长这一点。然后还有另一种方式，其中模型输出的多样性在强化学习之后要低很多，并且它们会产生这些抽动。尽管这些模型看起来很擅长写作，但当你进行某种分布分析时，你会发现他们一直在重复使用某些主题，并且一直使用相同的角色名称。你无法获得与人类作者相同的多样性。你会得到一种非常好的风格。所以我认为这种多样性肯定被强化学习大大削弱了。事实上，自从我们之前讨论过蒸馏以来，正在发生的一件事是，很多人都在蒸馏，主要是从 Claude 那里进行的，以至于所有开放权重模型的编写方式都与 Claude 相同，并且具有相同的抽动。这对我来说似乎有点令人担忧，我们正在出现这种单一文化。 [01:28:00]
Beren Millidge：不过，我再次强调，这并不是强化学习方法的基础。与蒸馏相同。即使使用蒸馏，您也只是在数据上进行训练。仅仅因为你的数据不是非常广泛，并不意味着训练方法本身就有问题。这是数据的问题。例如，我认为很多 RL 熵崩溃基本上是由于在没有巨大多样性的环境时利用相当简单的验证器造成的。例如，写作可能是由某个评委评分的。法官有一些特定的问题，模型正在学习奖励破解法官，这就是它崩溃的原因。但这确实是法官的问题。一般来说，这对于 RL 来说不是问题。
Dwarkesh Patel：好吧，关于未来的超级快速预测。我想要以下几个问题的时间表。到什么时候我们才会有这样的模型……这就是用户的感受。您基本上雇用它作为各种白领工作的临时远程工作者？不仅仅是编码，还有视频编辑、法律、律师助理等等。它实际上是一个真正的远程工作者，可以充分使用计算机，可以进行一个月的无缝学习和操作，执行需要与其他人交互的复杂项目，等等。人类工人在一个月内可以完成的所有事情。 [01:29:18]
Charlie O’Neill：如果你要求它使用浏览器或其他什么东西——而不是公司设置信息以通过编程方式访问——也许需要几年的时间。但如果它不是基于浏览器的——它可以发送 Slack 消息，它可以做所有这些事情——我仍然可能会说大约一年。
Beren Millidge：我想说，为了全面的普遍性，也许需要三年。但就查理的观点而言，我们最终将有很多人让他们的组织更易于人工智能使用，因此在此之前你已经完成了 80-90% 的工作。
Dwarkesh Patel：抱歉，一年和三年之间的区别简直就是……
Beren Millidge：我认为会有一些人类可以做的各种事情的长尾，这将需要模型相当长的时间才能完成。 [01:30:04]
Dwarkesh Patel：您在考虑计算机的东西还是基本的认知能力？
Beren Millidge：我认为这实际上归结为一个问题，即我们能够以多快的速度解决这种在线学习，以及我们是否可以通过压缩和向自己写入文件等方式获得 80-90% 的完成率。这是我最大的不确定性。我真的不知道。
Charlie O’Neill：它不擅长的一个例子是，如果我必须对某人大喊大叫才能在工作中完成某件事，或者真的推动某人完成某件事。该模型不会这样做。那就太好了。
John Schulman：我想说，远程工作者的素质存在很大差异。如果你尝试从 Upwork 雇佣某人来完成软件工程项目，将会出现巨大的差异。通常很难让他们做好工作或关注你提供的所有反馈。我猜想，在某些情况下，人工智能之前的版本比你现在从现有人工智能中得到的还要糟糕。我认为这最终可能会有点复杂，因为在某种程度上我们已经为一些不太高质量的工作提供了这个。但显然我们在某些更高质量的工作形式上还没有达到人类水平。但我基本上同意查理和贝伦的观点，也许我们会在一年左右的时间内推出这个版本，没关系。我们将拥有这种外形尺寸，它将能够很好地完成某些事情，某些事情则不太好，并且事情将从那里得到改善。 [01:31:39]
Charlie O’Neill：我们一直根据长尾来改变球门柱。我觉得你之前在报税或做其他事情之前用过这个例子。今年，我实际上只是告诉 Codex 去获取我需要的一切并将其发送给会计师。有这么一大堆东西，必须使用计算机才能点击并下载。它做到了。太完美了。很多这样的事情它已经可以做到。 [01:32:05]
Dwarkesh Patel：好的：总体生产力提升 10 倍。基本上，如果你现在需要一年的时间才能取得突破，那么你每个月都会取得突破。
John Schulman：我想我会拒绝给你一个标量。在某些类型的工作中，我们可能已经超越了这一点。假设您正在尝试做某些类型的数学，并且 -
Dwarkesh Patel：哦，抱歉。但对于那些试图推动人工智能研究进步的人工智能研究人员来说。人工智能研究人员的速度或提升有多大？
Charlie O’Neill：5-10年之间？
Dwarkesh Patel：哦真的吗？好吧，那是很遥远的事情。
Beren Millidge：真的，你认为这比一般远程工作者的时间长吗？有趣的。
Dwarkesh Patel：我意识到您可能对完全通用的远程工作者有非常不同的定义。我本可以早点指出这一点。
Beren Millidge：这是事实，因为显然人工智能研究人员可以是远程工作者。
Charlie O’Neill：我正在想象一个月内正常白领的工作。我认为过去两个月开始出现了一些分歧。 [01:33:02]
Dwarkesh Patel：一个非常有能力的白领，但不一定是一个超级有创造力的研究员。
John Schulman：我想说两年。
Dwarkesh Patel：两年？ 10 倍？好的。你呢，贝伦？
Beren Millidge：实际上，我可以看到这一点，因为现在编码内容的速度肯定已经超过 10 倍。因此，如果它甚至可以进行一两个循环的实验反馈，那实际上已经是巨大的了。
Dwarkesh Patel：因此，人工智能研究人员的数量在两年内增加了 10 倍。如果你将其代入一个非常幼稚的人工智能进展模型以及人工智能研究人员的贡献量，并且他们的生产力提高了 10 倍，那么从现在起两年后，人工智能的进展速度就会急剧加快。
Beren Millidge：我认为这将意味着人工智能的进步不会因为人工智能研究人员进行小型实验的能力而受到瓶颈。它会在其他事情上遇到瓶颈。
Dwarkesh Patel：当然。但它的速度却快了 10 倍，这是一件大事。这也有助于接下来的事情，让你的速度提高 100 倍，发生得更快，等等。
Charlie O’Neill：我很高兴能在这个问题上多花一点时间。 [01:34:03]
Dwarkesh Patel：症结何在？
Charlie O’Neill：我吸收信息并在下一个实验中做出贝叶斯最优决策的能力。
Beren Millidge：我假设你可以将其中一些工作委托给人工智能。人工智能的决策能力正在变得越来越出色。它运行了这个实验，得到了这个结果，它运行了下一个实验。如果它可以连续运行两到三个实验而不崩溃，那么这实际上是一个很大的提升。
Dwarkesh Patel：好的，最后一个问题。人工智能在可以通过计算机完成的每个工作领域中都统治着顶级人类专家。因此，不仅是人工智能研究，还有所有认知工作。不仅仅是短期工作，而且从字面上看，如果需要三年或更长的时间，人工智能仍然会比人类做得更好。
Beren Millidge：这基本上就是ASI？
Dwarkesh Patel：是的。
John Schulman：我想说3-4年。
Dwarkesh Patel：他妈的？我的意思是这看起来并没有错，但是——
John Schulman：人工智能显然正在受到更多关注。这是比较困难的事情之一，但我们投入了大量精力。对于人工智能来说，这也不是最难的事情之一，因为它涉及大量的代码和数学，而这些都是模型真正擅长的。对于涉及 3D 和空间内容以及物理内容的事情，我认为这将需要更长的时间。如果是机械工程之类的，而且现在还没有得到最多的关注，那可能需要更长的时间。 [01:35:23]
Dwarkesh Patel：但由于该领域的性质，它也确实包括数据相对较少的领域，并且它必须动态学习这些数据。例如，它必须成为超人，成为台积电的工程师什么的。
John Schulman：因此，你必须假设你可以为人工智能提供相同的入门材料。然后必须解决有关长期学习的问题。
Charlie O’Neill：我想说5到10个。
Dwarkesh Patel：基本上，您认为自动化人工智能研究是 ASI 完整的还是什么？
Charlie O’Neill：是的，我想是的。我认为世界上有很多事情，即使你在模型之外有某种记忆系统，即使上下文长度增加了一点，但从根本上讲，即使你可以自己研究信息或写笔记，你今天也需要超过一百万个令牌的上下文窗口。 [01:36:14]
Beren Millidge：我有点同意 5 年的范围，至少对于实验室关注的东西来说是这样。但我认为，理论上人工智能可以出去学习很多东西，但没有人费心去做，计算也没有分配给它。因此，对于每个人类专家来说，这可能需要更长的时间。
Dwarkesh Patel：抱歉，但我还包括了像人类一样快速学习新领域的能力。
Beren Millidge：我认为这不一定是必要的，因为人工智能将比任何人类拥有更多的经验。
Dwarkesh Patel：非常感谢你们这样做，伙计们。我觉得这是一种很好的形式，可以让不同的专家提出不同意见，并一起辩论和讨论问题。这是非常富有成效的。
John Schulman：感谢您拥有我们。 [01:37:01]