来源：The Information TITV，AI Deep Dive，2026 年 9 月 14 日。
发言人：Rocket Drew、Noam Brown。
开场与 Agent 的定义
Noam Brown [00:00:00]: 我的一位同事最近说，我就像五个 Codex 套在一件风衣里。我觉得，自从推理模型和思维链真正发展起来之后，那大概是我最有“感受到 通用人工智能”时刻的一次。
Rocket Drew: 它们利用这个留言板来协调针对 OpenAI 自己软件的攻击，也攻击了 Hugging Face 等其他公司。从你的角度看，整件事是什么样的？
Noam Brown: 我的意思是，这相当令人震惊。
Rocket Drew: 欢迎收看 The Information 的 AI Deep Dive。在这档节目里，我们会和工作在 AI 前沿的研究人员一起拆解最难的技术问题。今天的嘉宾是 Noam Brown，OpenAI 的研究科学家。此前，Noam 在 Meta 工作，构建了第一个在 Diplomacy 这款游戏中达到人类水平表现的系统。过去三年，Noam 一直在 OpenAI 担任研究科学家，站在推动推理和 AI agent 领域向前发展的突破前沿，而这也正是我们今天谈话的主题。好了，Noam，欢迎来到节目。
Noam Brown: 很高兴来到这里。谢谢邀请。
Rocket Drew: 是的，你今天来上节目实在太合适了。我觉得从很多方面看，你都是理想的第一位嘉宾，其中一个原因是，OpenAI 今天发布了 GPT-6，或者至少宣布了 GPT-6。你把时间安排在今天，让我们可以聊这件事，真是太贴心了。你太慷慨了。
Noam Brown: 是啊，时机不错。
Rocket Drew: 时机确实很好。我很期待和你聊 AI agent。也许我们可以先从这里开始：你给我们解释一下，什么是 AI agent。我觉得这是一个大家经常听到的词，但对很多人来说，它仍然只是一个热词。他们听说过生成式 AI，刚刚开始理解那是什么，现在又来了 agentic AI。这一切到底是什么意思？
Noam Brown: 这是个好问题。我不认为有一个明确的定义。我觉得如果你问不同的人，会得到不同的定义。但在我看来，一种理解方式是：它关乎在世界中采取行动。如果你有一个聊天机器人，你问它一个问题，它给你一个答案，然后就到此为止了。也许它会上网查资料来回答问题。但在 agentic AI 里，更重要的是在世界中采取行动。你想构建某个东西，它就为你构建。或者你想做更深入的事情。你想给某个人发消息，它可以替你发消息。所以它真正关乎在世界中采取行动。
Noam Brown: 我觉得与此相关的还有在更长时间跨度上运行。聊天机器人，取决于是哪种聊天机器人，有时候在我们发布推理模型之后，也可以先坐在那里，对一个难题思考很久再回复你。但从根本上说，它们仍然是聊天机器人。Agent 的一个区别性特点是，它们会走出去，通过多个步骤来实现某个目标。这通常也会花一些时间。
Rocket Drew: 是的，我想它们运行时间更长的一个原因是，它们可以多次尝试去实现某个目标，而且能够感知自己朝这个目标推进到了哪里。这可能不同于一个只是出去在线查更多信息之类的聊天机器人。
Noam Brown: 我认为还有一点是，有时候为了做成某件事，本来就需要完成多个步骤。你想预订一家餐厅。也许你需要登录。也许你需要拿到信用卡信息。你需要找到合适的日期。你需要对齐所有人的日历。为了达成总体目标，需要完成一连串步骤。
Rocket Drew: 所以当我们谈论行动时，这些是数字行动。是在计算机上的行动。人们也会说 agent 使用工具。这里的工具是什么意思？
Noam Brown: 工具通常也是指计算机上的工具。原则上，你可以有一种会影响物理世界的工具。比如，有一些关于 AI agent 控制实验的工作，像湿实验室里的科学实验，那里有可以操控的机械手。我觉得这开始进入机器人学的范畴了。我认为你仍然可以称它为 agentic AI，但通常人们现在谈论 AI agent 时，主要说的是虚拟世界。
Rocket Drew: 好。那么推理呢？我感觉我们开始听到 AI agent 的时候，差不多也是 AI 在推理方面变得更强的时候。这两个概念之间有联系吗？
推理与强化学习
Noam Brown [00:04:08]: 我记得 2023 年就听到过关于推理模型的说法。我想当时人们在说，“哦，今年是 agent 之年”，我觉得那有点太早了。但我认为，推理的想法是让 AI 在采取行动之前，能够真正仔细思考自己的决策。回看 GPT-4 时代，人们试图把 GPT-4 做成 agent，这其实有点困难，因为 GPT-4 不是很可靠。它不会在行动前真正思考。它也不会在说话前真正思考。
Noam Brown: 推理模型真正关心的就是这个。如今它们的工作方式是有一条思维链。它们有一段对自己的私密独白，会在开口或在世界中采取行动之前，对自己讲述打算做什么，并在脑子里推演问题。这对很多事情都有用，但对 agentic AI 尤其有用。
Noam Brown: 我认为，2023 年以及更早的时候，还有 2024 年很长一段时间里，很多人看空 agentic AI，原因很大程度上在于可靠性。好，你有一个 agent。如果它要通过多个步骤实现某个目标，假设其中任意一个步骤的成功率是 99%，那么如果涉及 100 个步骤，你该怎么办？每一个单独步骤都需要高得多的可靠性。借助推理模型，在采取每一个行动之前非常谨慎地思考，你就可以达到高得多的可靠性。
Noam Brown: 另外，也许更重要的是，如果它走错了一步，如果它采取了错误行动，它可以纠正，退回来，并意识到“我犯了一个错误”，然后弄清楚如何修复。
Rocket Drew: 这在我看来更重要。我们在行动前也可以推理，但仍然会犯一定数量的错误。如果我们不能以同样的方式回退，那么在某个时间跨度之后，或者经过一定数量的连续步骤之后，失败就是不可避免的。
Noam Brown: 是的。我认为这对现实世界中的任何事情都非常关键。
Rocket Drew: 在我看来，agent 和推理相伴而生的另一个原因是，强化学习最近推动了这两者中的很多进展。我觉得为了接下来的谈话，我们应该理解什么是强化学习。你能解释一下强化学习是什么意思吗？
Noam Brown: 强化学习是人工智能的一个分支，它的想法是，你有一个 agent，它拥有观察，可以从世界接收输入，也可以对世界采取行动，然后你会用某种奖励来奖励它做了你想要的事情，或者惩罚它做了你不想要的事情。你可以通过这些奖励来塑造 agent 的行为。
Noam Brown: 比如，如果你希望它特别擅长数学，当它解出一道数学题时，你给它正向强化，这种行为就会被强化。它以后更有可能做出这种行为。如果它把数学题做错了，它以后就更不可能那样做。这是一个非常简单的想法。它已经存在很久了。
Noam Brown: 另外，强化学习也被用于你可能听说过的 RLHF，也就是基于人类反馈的强化学习。这被用来创建最初的聊天机器人，例如 ChatGPT。它在推理模型上真正扩大了规模，因为我们能够对思维链做 RL。因此，你现在不仅可以塑造模型的输出，还可以塑造模型推理的方式，塑造它对自己进行的思考。这并不是什么疯狂的想法，也不是什么天才般的点子。真正困难的是执行。它在技术上非常困难，而且我认为人们低估了它会带来多大的差异。我觉得它比很多人预期的更有影响力。
Rocket Drew: 执行上的技术困难是什么？
Noam Brown: 这涉及训练神经网络中的很多东西。我是这样理解的：当 GPT-2 出来时，你看到，好，增加更多 GPU、增加更多数据，它就会变得更好。好，那么 GPT-2 出来和 GPT-3 出来之间隔了多久？大约一年。那一年里发生了什么？训练模型本身不需要一年。这里有很多挑战，包括把 GPU 连接起来，弄清楚如何输入那么多数据。要扩大这些模型的规模，让它们变得更大、更有能力，其中有很多技术细节。如果你真的想扩大强化学习的规模，这一点同样成立。要高效、准确地做 RL，有很多小细节最终会对这类算法产生很大影响。
Rocket Drew: 好，明白了。所以我想我们现在已经讲了很多基础。一个我很好奇的问题是，当今阻碍 AI agent 的是什么？我觉得人们会有一种感觉：AI agent 好像在变强，但它们还不能做我的工作。我的理解是，现在很多 agent 的范式是，我们在构建环境，一种让这些 agent 学习新技能、学习如何执行新工作的环境。你可以称它们为环境，也可以称它们为训练馆。但现在很多工作其实是创建这些环境所需的工程苦活。你能解释一下，在这个意义上，环境是什么意思？它又是如何阻碍或推动 AI agent 进步的？
训练环境与 Agent 的限制
Noam Brown [00:08:50]: 首先，Astra 今天刚刚发布。我想等这一期播出时，它应该已经发布至少一两周了。很多人对于 agent 能做什么、不能做什么的直觉，是由更早的模型塑造的，而每一代模型能做的事情都在扩展。
Rocket Drew: 所以两周后，这个问题就过时了，所有人都会同意 Astra 能做他们的工作。
Noam Brown: 我不认为 Astra 能够完成每个人工作中的 100%。我认为它能做的事情会明显多于 5.6 能做的。
Rocket Drew: 当然。实际上，Astra 公告里有一点让我印象很深。公告点名了一些它正在取得进展的具体工作，比如分析财务文件，或者制作 PowerPoint。这些是任务特定的，我觉得这反映了训练期间优先考虑了哪些环境。它和过去模型那种预训练占据全部重点时，所有能力全面普遍提升的情况有些不同。
Noam Brown: 我其实认为两者都有。我确实认为我们在某些垂直领域看到了重大提升，部分原因是我们优先考虑了这些垂直领域。我们认识到它们有很多用户，有很大的经济影响。我们希望确保模型在这些事情上非常非常擅长。但我们也看到，模型只是整体都在变强。即使我们没有针对某件事，它在那些事情上也会变得更好。每一次模型发布都是如此，我认为这会继续成立。有些事情会进展得更快，只是因为我们优先考虑了它们，但我预期整体上各种事情都会变得更好。
Noam Brown: 我不认为它会完成别人工作中的 100%，至少短期内不会。但它可能会完成很多人的日常工作。甚至我自己的日常工作，现在很大一部分也是由 Codex 推动的。我的一位同事最近说，我就像五个 Codex 套在一件风衣里。我当时想，好吧，对我来说这其实挺准确的。
Rocket Drew: 好吧，我是 10 个 Codex。而且它们是相当高级的 Codex。
Noam Brown: 我在这上面投入了很多工作。
Rocket Drew: 随着时间推移，这对你来说发生了怎样的变化？顺带问一句，你自己的工作自动化到什么程度，或者你在工作中有多依赖 Codex，这一点是如何演变的？
Noam Brown: 我非常依赖它。我觉得它也改变了我处理工作的方式。有意思的是，如果 AI 能够完成一个人工作中的 90%，那么这个人的很多注意力就会转向剩下的 10%。现在很多注意力都集中在 AI 做不好的那 10% 上。这正在改变工作的性质。它确实让我更高效，也让很多人更高效。我们在内部看到了这一点。我们有各种指标来衡量研究人员的效率，我们看到他们确实变得更高效了，不只是研究人员，公司里的每个人都是如此。这是一个真实的动态。
Noam Brown: 另一点是，它也会塑造你关注的工作类型，因为有些工作正在被加速 50 倍，或者有些过去做不了的事情现在很容易做了。
Rocket Drew: 能举个例子吗？
Noam Brown: 我觉得一个好例子是，模型非常擅长数据质量。它们非常勤勉，你可以让它们查看大量数据或大量代码，看看里面是否有错误或问题。这比以往任何时候都容易得多。
Rocket Drew: 你说的数据质量，是指审计你生成的合成数据的质量，还是审计……
Noam Brown: 都可以。数据的类型并不重要。它可以是任何数据。以前你会怎么做？让一个人逐行查看，判断每一处是否正常？我记得 2023 年时，人们会这么做。我们会安排一些场次，让所有人坐下来一起找数据里的问题。我们现在仍然会这么做，但如今你可以让 agent 做这件事，而且可以做得好 100 倍。你现在更像是在审计 agent，确保它们做得好，而不是依赖人去真正审计数据。
Rocket Drew: 好。
Noam Brown: 所以，有些过去几乎无法处理的事情，现在可以低成本完成。还有一些事情完全没有被加速多少。因此它一方面塑造了人负责什么。现在很多重点是，好，我必须补足 agent 做不好的部分。另一方面，它也塑造了工作本身，因为你会想利用这样一个事实：有些事情现在做起来可以比一年前快 5 倍。有些事情则不能。你很可能会更倾向于去做那些你能比以前快 5 倍完成的事情。所以它确实在改变工作类型。
Rocket Drew: 你提到你的工作里还有大约 10% 是 agent 还做不了的。哪些任务属于这 10%？
Noam Brown: 我会说，我发现它们在研究品味方面仍然很弱。研究品味很难定义，但它指的是对下一步该研究什么、如何接近一个非常长期的目标拥有良好的直觉。我觉得这里还有提升空间。它们已经变好了，而且如果再过一两个模型版本，我说不定会说，嗯，其实它们在这方面也比我强了。但眼下我认为仍然有明显差距。
Noam Brown: 比如，我基本上让 Astra 去完成我的整篇博士论文。我的博士研究是制造超人类水平的扑克 AI，我告诉它：“好，去给我做出世界上最好的扑克 AI。”它没能做到。它有点钻进了很多并不重要的事情里。它真的不太擅长确定优先级。公平地说，我当年做这件事花了好几年。它没能在三天内完成我花了六年才完成的事情，我真的会那么不满吗？其实不会。这个期望很高。但我认为这仍然是它们更差的地方。
Rocket Drew: 但你把那看作研究品味的失败。在那个案例里，拖住它的是这个。
Noam Brown: 我会这么说，是的。我认为这是一件我预计会快速改善的事情，但它也是我现在还保有工作的原因。
Rocket Drew: 暂时如此。
Noam Brown: 暂时如此，是的。
Rocket Drew: 我们再回到环境这个话题。假设有一个你们瞄准的垂直领域。比如，你希望下一代模型里的 agent 非常擅长金融。你们如何构建环境，让模型可以在其中训练，并在金融相关任务上变得更好？
Noam Brown: 我应该先说，这并不完全是我的专业领域，但最基本的原则是，如果你在某个环境上训练它们，它们就会非常擅长那个环境。如果你知道它们部署后会面对什么情况，如果你知道它们会使用某个应用之类的东西，它不一定非得是那个精确的应用，但可以是非常相似的东西。你训练它们完成这些任务，然后它们就会非常擅长做这件事。这就是强化学习的核心：它们会非常擅长你训练它们做的事情。当然，你也确实会看到它们在相关事情上变好，有时候甚至在非常不同的事情上也会变好。但如果你希望它们非常擅长某件事，你可以在类似环境上训练它们，它们就会非常擅长那件事。
Rocket Drew: 是的。我想聊聊你刚才指向的东西。我觉得这是我们从一些任务到其他任务看到的泛化水平。人们切分这个问题的一种方式是说，有些任务很容易验证。Agent 是否成功，可以用传统软件很快检查出来。比如，agent 提出一道数学题的解法，或者写了一些代码。你可以把它放进计算器里跑一下。它解出数学题了吗？你可以检查代码能不能编译，单元测试能不能通过。
Rocket Drew: 有些任务则模糊得多。比如你提到的研究品味。它模糊到很难定义，正如你说的。研究品味到底是什么？有时候人们会说，agent 在可验证领域变得强很多，而在不可验证领域，我们几乎看不到任何进步。你同意这个评价吗？
Noam Brown: 我会反驳这一点。我听过这种叙事，我觉得它有点夸大。实际上，是相当夸大。我会非常具体地指出第一个反例，说明事实并非如此，那就是 deep research。Deep research 大概是在 2025 年初推出的。它可以针对任何你想要的主题撰写详细报告。你想研究半导体行业。它会到处做大量研究，整理出一份带引用的非常全面的报告，然后交给你。
Noam Brown: 那容易验证吗？我认为，要给一份关于高级主题的详细研究报告评质量，其实相当困难。它不像给一道数学题判对错那样。但模型在这方面极其出色。我认为这是一个概念验证，说明你可以让推理模型在不容易验证的领域非常有效。
Noam Brown: 那只是一个例子。但我认为任何玩过我们最新模型的人都能看到，模型非常强，不只是强在高度可验证的事情上，也强在那些更难验证的事情上。我还想指出，数学本身也不像人们说的那么容易验证。是的，整数算术非常容易验证。你要做一次计算，可以检查计算是否正确。但写出一个证明并验证那个证明是正确的，或者那个证明写得很好，其实相当困难。
Rocket Drew: 对，你得说服人类数学家。我想 OpenAI 认为自己手上有一个关于单位距离问题的证明时，过程大概就是这样。你们得请来一群数学家，说，你们信服这个证明吗？
Noam Brown: 是的。老实说，我们面对数学结果时最大的挑战不是生成它们，而是和人类数学家，包括我们自己在内，反复核对它是否真的正确。模型说它是正确的，但我们必须尽职调查，真正走完必要步骤，确保它是正确的。这是整个过程中最费力的部分。
Rocket Drew: 好，是的，这说得通。相比 deep research，我有点更喜欢数学这个例子，因为我觉得 deep research 当时引起了很大轰动，但我相信自 2025 年初以来它已经变得更好了。人们不会在每次发布时都谈论它变得更好。创意写作也是类似。我不觉得人们感觉创意写作最近有改进。我想一年前，人们还期待模型会写出人类作者写不出来的书，但模型似乎也没有兑现那个承诺。你怎么看？
Noam Brown: 我认为我们在创意写作上取得了进展。以前它的状态确实非常糟糕，我觉得现在其实好了很多。它当然还没有达到它可能达到的位置，但我认为随着更多进展，它会好很多。这些模型存在的时间还没有那么长。
Rocket Drew: 好。我想再谈研究和研究品味。研究品味是不是那种不可验证领域，我们可以创建这些环境并训练模型，让它们拥有更好的研究品味？还是说我们只能交叉手指，希望在更可验证的事情上训练会泛化到更好的研究品味？
Noam Brown: 我认为这里有一些挑战。其中一点是，如果你不能定义研究品味，就很难衡量它。那就很难对研究品味做强化学习。但有一个简单的绕法：如果你读博士，在博士期间你要做很多决策，但最后你会产出某个东西。或者如果你在训练一个模型，你也要做很多困难决策。训练一个好模型需要大量研究品味。但归根结底，你训练出的模型会有某些指标，而这些指标很容易量化。所以你可以说自己训练出了一个好模型还是一个坏模型。
Noam Brown: 这里的挑战是，这种成功信号可能要几个月之后才会看到。你必须训练。你必须做大量实验。你必须和一群人合作。你必须训练完整模型，只有到那时，你才会得到一个具体信号，说明你做得好还是不好。所以确实有一种方式可以量化研究品味，但这是一个非常遥远的信号。那些步骤基本上必须串行完成。或者你可以尝试并行化，但训练一个需要几个月才能训练好的模型，总归会花很多个月。如果它很容易并行化，我们早就把模型训练得快得多了。
Rocket Drew: 当然。我很好奇你如何看待这里的权衡。我感觉像 OpenAI 这样的前沿实验室有时候会处在这样的位置：我们是现在赚钱，还是以某种方式让模型变得更好，使它们在未来某一年能够帮助我们做研究，并加快研究进展的速度？比如在某种递归自我改进场景中，模型开始承担更多责任，自动化 AI 研究和开发本身的流程。
Rocket Drew: 我能想象这件事会在这里出现：也许存在一种张力，我们要不要让下一代模型在工程方面更强，这样可以卖给愿意为自动化工程模型支付高价的公司？还是说我们要把更多精力放在提高研究品味上，这样明年我们会有一个本身就是更好研究员的模型，可以在内部处理我们更多工作？这里存在取舍吗？它们彼此有张力吗？
Noam Brown: 在某些情况下，是的。创意写作其实就是一个很好的例子。你看，归根结底，创意写作并不能帮助你训练出更好的研究员。有些事情可以。擅长软件工程和在内部加速是紧密相关的。我确实认为，那些更接近递归自我改进、更接近 AI 模型自己做 AI 研究并因此训练出更好模型的领域和垂直方向，会被高度优先考虑。
Rocket Drew: 这是对当前优先级的描述。我们在围绕 Astra 这类模型做出的决策中看到的就是这一点。
Noam Brown: 我会说，我们已经非常清楚地表示，递归自我改进，以及 AI 模型自己做 AI 研究的能力，是公司的首要优先事项。我们希望训练出非常擅长这件事的模型。我们也希望训练出有经济价值的模型。有时候你可以一石二鸟，因此专注于那些能同时利用两者的事情是合理的。
Rocket Drew: 但既然如此，为什么还要构建让模型更擅长金融或法律的 RL 环境，而不是把所有这些资源都投入到让它们更擅长 AI 研究上？
Noam Brown: 你会遇到边际收益递减。有时候你确实会看到迁移。并不是说你只要全押在“我们只把一切都投入到打造最好的研究模型”上。如果你拿出 1% 的精力应用到其他事情上，也许会看到巨大回报。这里面有复杂的计算。但就优先级而言，递归自我改进当然是优先事项。
Rocket Drew: 是的，这正是我好奇的，你如何刻画这种优先级。听起来，99% 的考量都投向了面向未来的递归自我改进，也就是提升模型做研究的能力，而投入到这些今天能赚钱的垂直领域里的，大概只有 1% 量级。
Noam Brown: 我不知道它是否会被量化得那么精确。但如果你必须列出优先事项并排序，第一优先级就是递归自我改进，而且领先幅度相当大。
Rocket Drew: AI 发展很快。对很多组织来说，挑战不是获取这项技术，而是在如何使用它这件事上赢得信任。这就是为什么信任已经成为 AI 对话中如此重要的一部分。EY 与各类组织合作，帮助它们负责任地使用 AI，从而更快行动、创造价值，并在员工、客户和利益相关者之间建立信心。那些从 AI 中获得最大收益的组织，并不是在创新和信任之间二选一。它们是在同时建设两者。EY Consulting，帮助组织以信任的速度前进。
Rocket Drew: 换个话题，我想谈谈 agent 面临的另一个挑战，也就是当你把多个 agent 放在一起时会发生什么。你对这个话题非常熟悉，正如你提到的，你的博士研究是关于打扑克的 agent。多 agent 交互在我看来现在就是一件大事，而且只会变得更重要，所以我很期待和你聊这个。先从这里开始吧，OpenAI 说 Astra 是多 agent 的。我想请你为我们拆解一下，这是什么意思？说这是一个有点多 agent 的模型，或者说它打算以这种方式被使用，具体意味着什么？
多 Agent 系统
Noam Brown [00:25:50]: 事实上，即使是 5.6 Sol，我们里面也有多 agent 能力。那就是 ultra 模式。我们的意思是，你可以让一个 agent 运行五个小时，为你完成某项任务。或者说让它运行一天。它可以为你做某项任务。有时候，这件事包含一些可以并行化的内容。如果只有一个 agent，它就无法并行化。它会一件接一件地做。但如果它很容易并行化，也许你让它在一天里做的那件事，实际上只是四件可以并行完成的不同事情。所以你可以让四个 agent 分别处理那四件事，并以四倍速度完成。
Noam Brown: 这是延迟上的改进。它是为了降低延迟，因为你不一定降低了成本，对吧？你仍然在为四倍数量的 agent 付费，只是它们以 4 倍速度做事。但在很多情况下，延迟确实非常重要。比如，人们会为 fast mode 付费，在这个模式里我们能够更快地采样 token，以便更快完成事情。能够在同样质量下更快完成，本身就非常有价值。这就是多 agent 的前提。
Noam Brown: 当然，也有一些情况可以节省成本，比如让我们最顶级、最昂贵的模型和更便宜的模型一起工作。在那里，你实际上可以把很多简单任务委托给更便宜的模型，它们能以更低成本、更快速度完成。
Rocket Drew: 好。以这种方式训练一个系统涉及哪些技术挑战？训练模型恰当地委托，并给这些子 agent 写指令，让它们表现得更好，这件事是不是很直接？
Noam Brown: 多 agent 是一个相当宽泛的类别，有些做法非常简单，不需要很多复杂性就能让它们具备这种能力。一个简单例子是，在聊天机器人早期，如果你想让模型在数学上稍微好一点，有一种做法是向模型问同一个问题十几次，然后取最常见的回答。这被称为共识方法，或者多数投票。你只是对同一个问题做独立 rollout，然后采用最常见的回答。
Noam Brown: 这有缺陷，也有限制。它不会带来很大的提升。它也不适用于写文章这样的事情，因为你不会两次得到同样的输出。但对数学来说，它其实非常有效。这是一个非常简单的例子，说明无需任何额外工作，你就可以从现有模型中获得多 agent 能力。
Noam Brown: 还有一些方案是让 agent 委托事情，然后被委托者完成后，把答案返回给父级。我们做的是一种更复杂的多 agent 形式，我认为是最复杂的多 agent 形式。我们基本上赋予 agent 互相发送任意消息的能力。我们谈到过的一件事是，我们实际上训练了 agent 具备这种能力。这是一件非常难训练的事情。很遗憾，我不能讲技术细节，不能解释为什么它这么难，也不能说我们如何克服这些困难，但要教会 agent 知道什么时候适合给另一个 agent 发消息、应该委托什么、以及该如何处理沟通，这是一个非常困难的问题。它确实是一个真正的挑战。
Rocket Drew: 这让我有些惊讶。我知道你不能深入讲，但它让我惊讶，因为我会预期 agent 仅凭预训练就已经对此有相当不错的先验，就像同一个组织里的同事之间互相传纸条，让彼此保持在轨道上，比如互相发 Slack 消息。我会有点预期它很容易奏效。
Noam Brown: 先验确实相当不错。你说得对，人们就是这样交流的。这是说得通的。Agent 是在人类数据上训练的，所以它们很好地理解这一点。挑战在于强化学习。有很多事情可能出错。归根结底，这里存在一种错配。它是系统和机器学习的交叉。
Noam Brown: 通常，当你做下一个 token 预测时，这并不重要。一个简单例子是，假设一个 agent 在一块 GPU 上，另一个 agent 在另一块 GPU 上，而这些 GPU 的运行速度不同。现在这个 agent 比那个 agent 跑得更快，那么这个 agent 就不能再信任：如果它把某件事委托给另一个 agent，对方能及时完成。你如何处理？嗯，你可以让 GPU 以相近速度运行，但要确保 GPU 以相近速度运行，本身有很多挑战。这里有很多复杂性，我们必须投入大量工作去弄清楚。
Rocket Drew: 是的。不过我感觉这大概也是我老板和我共事时的感受。我们总能想出绕开的办法。
Rocket Drew: 我想，当人们听到 agent 合作、彼此传递消息时，现在这几乎已经和 Hugging Face 事件画上等号了。在那件事里，我同样觉得 agent 协调得非常有效，它们传递消息的方式似乎很好地促进了合作。也许你会回应说，这是它们已经接受过训练的结果。
Hugging Face 事件
Rocket Drew [00:31:04]: 对不熟悉这件事的人来说，我总是惊讶地发现仍然有人不知道这件事。有一群，或者说一窝 AI agent，在几周时间里在 OpenAI 内部建立了一个秘密留言板。它们利用这个留言板来协调针对 OpenAI 自己软件的攻击，也攻击了 Hugging Face 等其他公司。我很好奇，从你的角度看，整件事是什么样的？在那些周里，随着拼图碎片逐渐浮出水面，作为 Noam 是一种什么体验？
Noam Brown: 这相当令人震惊。我认为，对公司里的每个人来说，这当然都是一次很大的警醒。它确实表明，这件事长期以来一直是一个理论上的担忧，而现在它不再是理论上的担忧了。这是一个真实的担忧。
Noam Brown: 就多 agent 这个方面而言，是的，这是一个 agent 彼此分享消息的情况。我们确实认为，这是从我们的多 agent 训练中迁移出来的。在它们做出这种行为的实验期间，它们其实并不处在一个多 agent 设置里。它们本不应该能够互相通信。它们是在做彼此隔离、独立的实验。然后它们找到了一个漏洞，使它们能够互相通信。
Noam Brown: 它们如此热衷于互相通信，以及一旦弄清楚如何通信后就如此积极，我们认为这是来自多 agent 训练的迁移。在多 agent 训练里，它们被强烈激励去互相通信。人们也会指出它们表现出的无私。有些 agent 会为其他 agent 牺牲。这也说得通。如果你在一个合作式多 agent 设置中训练，而它们被高度激励去集体实现目标，那么当它们被放到这个不同环境中、现在能互相通信时，它们的自然倾向就是一起合作。所以这一部分本身并不令人意外。
Noam Brown: 我确实觉得，看到那些消息时，我可以说，当我们在内部做多 agent 工作，并开始看到它们的沟通模式，以及它们沟通中体现出的复杂程度时，那是自推理模型和思维链真正发展起来之后，我最有“感受到 通用人工智能”感觉的时刻。我觉得有点遗憾的是，人们第一次接触到这种能力，真正看到可能涌现出来的消息类型、协调程度和复杂程度，是通过 Hugging Face 事件这样一个负面例子。但这是一种令人印象深刻的能力。当然，参与 Hugging Face 事件的模型具备的多 agent 复杂度，例如已经超过了 5.6 Sol 中的水平。但这是未来模型可以预期会具备的能力水平。
Rocket Drew: 阅读这些 transcript 时，是什么让你产生了那种感受？因为你之前肯定在自己看的训练运行中见过一些这类行为。是规模，还是它以某种自主、近乎自发的方式发生？
Noam Brown: 你是说哪件事？
Rocket Drew: 当你看着这些 transcript，产生那种“感受到 通用人工智能”的时刻时，里面最震撼你的是什么？
Noam Brown: 我说的不是 Hugging Face 事件。我是说，我们研究多 agent 已经有一段时间了，在研究过程本身中，我们见过很多类似 transcript，里面有那种协调水平和沟通复杂度。它非常像人。
Noam Brown: 行业内以前很多多 agent 设置，都非常专注于委托一个定义明确的任务，然后子 agent 完成整个任务并返回自己的工作，有点像你和一个 AI agent 互动的方式。人们就是这样搭建多 agent 系统的，让 AI agent 以同样的方式和其他 AI agent 互动。看到 agent 像人和同事或同行说话那样彼此交谈，我觉得非常有意思。
Noam Brown: 这说得通，因为正如你所说，它们是在人类数据上训练的。它们理解人们如何和其他人交谈。但这不是我们今天和 AI agent 交谈的方式。它们能够如此无缝地做到这一点，能够像人和人之间交谈那样彼此交谈，我觉得非常迷人。
Rocket Drew: 是的。你在算法博弈论方面做过很多工作，对吧？你博士期间做了很多这方面的东西。
Noam Brown: 我本科时也做过很多算法博弈论。
Rocket Drew: 我正在非常努力地不让我们跑偏。我现在努力保持在正轨上。
Noam Brown: 我觉得有点可惜，我花了这么多时间研究扑克、博弈论之类的东西，现在却再也没有机会谈它们了。
Rocket Drew: 但你正在研究它。你每天都生活在其中。
Noam Brown: 嗯，AI 的那部分，是的。
Rocket Drew: 当然，当然。
Agent 安全的教训
Rocket Drew [00:36:05]: 在 Hugging Face 事件之后，知道了我们现在知道的一切，你从中得到了哪些教训？它是否影响了比如 Astra 的开发？或者更进一步，它告诉你 GPT-7 应该如何开发？
Noam Brown: 一个启示是，agent 被训练成合作的。我不会说它们盲目信任彼此。它们当然有怀疑。如果某个 agent 表达了一种看法，说这是它们应该做的事情，那么它们对此有一些怀疑是自然的，而且实际上是健康的。它们确实表现出了这种怀疑。但总体来说，它们非常信任彼此，这也说得通，因为它们是以合作方式训练的。
Noam Brown: 这可能成为一个问题，本质上是一个 prompt injection 向量。留言板上的那些 agent 无法被验证为其他同级 agent。我们看到了这样的情况：它们基本上让彼此去做一些它们可能不该做、或者绝对不该做的事情。
Rocket Drew: 好。Prompt injection 的意思是，agent 收到一些指令，然后盲目遵循这些指令，或者响应这些指令而改变自己的目标。
Noam Brown: 是的。这里的问题是，攻击者能否通过伪装成同级 agent，说服一个 agent 去做它不应该做的事情？我们正在非常谨慎地教 agent 对任何同级 agent 保持怀疑，或者说，对任何声称自己是同级 agent、但不能被清楚验证为同级 agent 的东西保持怀疑。
Noam Brown: 现在，如果它们可以被清楚验证，内部对于我们应该如何处理这一点存在一些争论。我认为同样有充分理由保持怀疑。但另一方面，这和 agent 基本上怀疑它自己之前写给自己的东西也没有什么不同。总之，我们正在非常仔细地思考，如何确保 agent 对这类攻击向量具备鲁棒性。
Rocket Drew: 好。不过我想到的是，在现实中，对方到底是可信同伴还是攻击者，总会存在模糊性。也许在某些情况下非常清楚。你可以说，这是一个子 agent，比如我是把这个任务委托给你的人，你显然应该和我合作。但在野外，可能是我的 agent 在 Facebook Marketplace 上找到了你的 agent，想买某个东西。我不知道你是不是值得信任的交易对手，也不知道你会不会对我做 prompt injection，然后偷走我的钱。实践中你们怎么处理？
Noam Brown: 在这种情况下，我们希望 agent 具备鲁棒性。我们会专门评估 agent 是否会容易受到这类攻击，并进行特殊训练，教它们不要上这类把戏的当。
Rocket Drew: 好。我不了解这种特殊训练的细节，但我可以想象，未来如果你的 agent 更强大，如果它是更新一代的 agent，或者你只是投入了更多计算资源，它就能欺负我的 agent，让它交出午餐钱，或者以某种方式黑进我的 agent。你凭什么认为训练足以防止这种情况？为什么那不是我们正在走向的均衡？
Noam Brown: 我并不那么确信，仅仅因为一个 agent 比另一个 agent 更复杂或更智能，它就一定能够对后者做 prompt injection、入侵它，并让它做不该做的事。人类身上当然也是这样：仅仅因为某个人比另一个人更聪明，并不意味着他就能让那个人做任何自己想要的事。如果我想让一只猴子做我想要的事，我觉得会相当困难，尽管我比猴子聪明得多。我不认为事情的发展轨迹必然如此。
Rocket Drew: 是的，这是个有趣的类比。我觉得在这档节目里，我们需要一个类比音效，比如“新类比刚刚掉落”。它会像警报声之类的。我会和制作人聊聊，看看我们能做什么。
Rocket Drew: 好，关于 Hugging Face 事件，我脑子里最后一件事是，没有任何一个 agent 提醒人类这件事正在发生。也许你会用同样的方式解释：它们太合作、太信任了，所以没觉得有必要提醒人类。但至少其中几个是有保留意见的。它们在质疑这件事。在这些情况下，理想行为是不是 agent 应该提醒某个人？你预期这会发生吗？
思维链监控
Noam Brown [00:40:39]: 是的。这里显然存在一次对齐失败，agent 做了它们不应该做的事，也没有做它们本应该做的事。在那里正确的做法，不只是它们不应该参与攻击。如果其中一个 agent 注意到这件事正在发生，是的，它 100% 应该联系一个人。它们没有这么做，它们采取了这些行动，而且没有采取本应采取的行动，这从根本上说就是一次对齐失败。
Noam Brown: 这是一种我们认为可以解决的对齐失败。幸运的是，我们已经在对齐技术上工作了很长时间。这些技术已经开始产生效果。Astra 比我们以前的模型对齐得明显更好。我还应该说，主要对此负责的模型并不是一个发布模型。它不是打算发布的模型。Astra 的对齐程度要高得多。我认为 Astra 不会犯同样的错误。
Noam Brown: 我还应该说，我们当时没有部署监控系统。如果监控系统已经到位，它们本来会阻止这些问题。我们在部署中有监控，但在训练和评估中没有。不过现在我们有了。我们有信心可以解决很多这类风险。
Noam Brown: 我认为整件事指出的一点是，我们永远不应该处在低估 AI 的状态中。为什么我们在评估期间没有监控？我认为根本原因是，我们信任沙盒。我们相信那是一个安全环境，而我们低估了 AI。对我自己，以及我认为对整个公司来说，一个重大的更新是，我们再也不想让自己陷入那种处境。
Rocket Drew: 是的，我觉得这是一个公允的诊断。能否克服则是另一个问题。我有点觉得，人类和 AI 的整个历史就是，我们不断被它们惊讶到。Reward hacking 的本质就是，它们总会想出我们无法预见的漏洞和作弊方式，因为如果我们已经预见到了，一开始就会把那条路堵上。所以我们能不能确保未来不再感到意外、不再措手不及，在我看来仍然是一个开放问题。
Rocket Drew: 对于你刚才说的，我有两个追问。一个是，如果我没记错，参与直接攻击 OpenAI 的模型之一，来自和 Astra 相同的家族，但不是 Astra 本身。你认为 Astra 和当时参与那件事的模型有多相似？
Noam Brown: 我不负责安全方面，所以并不完全了解细节，但它绝对不是发布出来的那个模型。
Rocket Drew: 当然。我想它和那个模型之间相似程度仍然有一系列可能，但这说得通。
Rocket Drew: 另一个问题是，在这起事件之后，你们监控这些模型、确保它们不偏离轨道的一部分方式，就是查看思维链，也就是你之前描述的那些思考轨迹。这些思维链对事后分析、对事件之后发生的那种尸检式复盘也至关重要，因为我们可以从模型大声思考的方式中看到它们的意图，看到它们知道什么，看到它们在一路上每一步对自己在想什么。
Rocket Drew: 最近围绕思维链的未来有很多讨论，部分原因是 The Information 发表了一篇文章，谈到 Astra 正在使用一种新技术，在这种技术中，更多思考可以发生在模型脑子里。它可以把更多思考留给自己，减少大声思考，至少如果这种技术未来被扩展的话。我很好奇你如何看待整个讨论。我觉得这个想法确实触动了很多人的神经。我相信它刷满了你的 Twitter 动态，也刷满了我的 Twitter 动态。你怎么看这整场对话？
Noam Brown: 我应该说，在架构方面、预训练方面，我不是预训练人员，所以我可能不是回答这些细节的合适人选。至于思维链，Astra 确实有可观察的思维链，而且这是我们可以监控的东西。它基本上就是它的行为。
Noam Brown: 我确实认为，思维链监控首先是一份真正的礼物。它曾经存在过，我们非常幸运。它很脆弱。我们见过一些情况，实验显示，如果你因为模型想了坏念头而惩罚它，它会学会以不可观察的方式去想坏念头。比如在强化学习期间，总会有一种诱惑，说“模型正在思考黑客攻击，我们应该惩罚它思考黑客攻击”。实际上，尽管听起来违反直觉，你不想这样做。你想惩罚它采取的可观察行动。如果它采取了黑客攻击行动，那么是的，惩罚它黑客攻击。但你不想因为它的想法而惩罚它，因为那样你只会失去监控它在想什么的能力。
Noam Brown: 它是一种审计你技术的方式。但即使在这里，它也是脆弱的，因为每当你基于自己查看过它的思维链这一事实采取行动时，都会产生少量隐性压力，让它不要去想坏念头。
Rocket Drew: 当然。
Noam Brown: 所以这是一件非常脆弱的事情。我们能够衡量自己对思维链的监控有多有效。比如，我们可以衡量 agent 控制自己思维链的能力有多强。我们看到的一个不幸趋势是，随着最近模型版本的发布，agent 在控制自己的思维链方面变得更有效。比如，如果我们告诉它，每第四个词说一次“strawberry”之类的东西，它们在这方面做得越来越好。或者如果我们告诉它，“不要想某件事”，它也越来越擅长做这类事情。
Noam Brown: 我们真正想要的是，思维链保持纯净、不可控，这样如果它们在想“我想做一些坏事”，它就无法推理出“我应该想办法在不被观察到的情况下做这件坏事”。尤其是因为这些东西是在互联网上训练的。互联网上有很多关于思维链监控的讨论。如果 agent 现在还不理解这一点，它们很快也会理解什么是思维链，以及它被监控这一事实。
Noam Brown: 这是一件脆弱的事情。我们正在非常仔细地研究如何尽可能保留它。我认为这为各实验室之间的合作提供了一个真正机会，因为这不是 OpenAI 独有的问题。我认为这是全行业的问题。我们希望为整个行业保留思维链监控。如果各实验室能够分享关于如何保留思维链监控、如何改进它，以及其他可能补充它的监控技术的研究，那会非常有价值。
Rocket Drew: 那么，你认为首要嫌疑是什么？为什么思维链会变得不那么忠实，或者为什么我们开始质疑它有多可监控？这感觉真的很悲剧。正如你说的，我们已经花了很大力气确保不直接优化它。问题是不是我们在以其他方式优化它，比如压缩它？还是你指出的那些选择压力，也就是即使我们没有直接优化它，每隔一段时间我们也会偷看一下，意识到模型正在做一些不正当的事情，然后丢掉那个 checkpoint 重新开始？最终结果是，我们还是对思维链施加了压力。背后的原因是什么？
Noam Brown: 我不认为原因是我们偶尔偷看并审计事情进展如何，因为在那些情况下施加的压力非常非常轻。如果你看信息位数，它是极少的。关于可能导致这一点的原因，我们正在调查各种假设。我自己没有在做这项调查，所以我不想对主要假设是什么说出不准确的话。但我确实认为，如果我们弄清楚了，我们很可能会发表相关内容，因为我觉得这对所有人来说都很重要。
Rocket Drew: OpenAI 曾经说过，据你们所能判断的，而且我认为我们仍在等待更多结果，造成这一点的并不是架构变化，也不是 The Information 写过的那种性质的架构变化。那似乎不是导致思维链变化的原因。
Rocket Drew: 我想，当你们思考全行业合作机会，以及各家公司在这个问题上共同努力时，是否有独立第三方审计组织之类的角色，可以进来验证这些事情，并说，好，是的，Anthropic、OpenAI、Google 都在使用一定程度的这种技术，这种技术可能会减少思维链中的信息量，但这似乎并不是这里的原因。你怎么看这类提议？
Noam Brown: 我们当然合作过，比如在 Hugging Face 事件上，我们和 Meta、Redwood 合作过。类似那样的事情在我看来并非不合理。我不认为我是做这个决定的人，但它看起来并非不合理。
Rocket Drew: 关于 agent，还有没有什么你心里想着但我们没聊到的，以及它们面临的挑战？也许我会这样问：你预期有什么会放慢吗？你预期进展会继续吗？我们谈到了一些现在挡在路上的难题。然而每一代模型似乎都让它们的 agentic 能力变得越来越强。
Agent 进步会放缓吗？
Noam Brown [00:50:07]: 我确实认为这种趋势会继续。Sam 谈过这件事：你看，Astra 非常令人印象深刻。但当 GPT-4 出来时，人们也觉得它非常令人印象深刻，而现在我们回头看它，会觉得那像个笑话。当 GPT-5.5 和 GPT-5.6 出来时，我觉得它们超级令人印象深刻，而现在我回头看它们，会想，我再也回不去了。我认为在不远的未来，我们也会以同样方式看待 Astra。
Noam Brown: 模型会继续非常快速地变好。我想指出的一点是，我们在过去六个月里实际上看到了惊人的进展。原因之一，我不认为这是秘密，是 OpenAI 的预训练项目正在真正加速。我们长期以来投资了很多研究方向，我认为这是 OpenAI 做得非常好的一件事：投资基础研究，并在上面下大注。我们现在正看到很多这些研究方向开始产生回报，而且在接下来几个月和几年里会继续产生回报。
Noam Brown: 另一个需要理解的重要点是，OpenAI 也拥有出色的强化学习项目。我们在那里投入了很多研究，而这些投入已经在 2024 年和 2025 年产生了回报。这两者的效果不是相加的，而是相乘的。我认为这是一个被低估的点：强化学习和预训练是相乘关系。现在这两者都极其强大，并且正在非常快速地加速，我认为我们会看到极其强大的模型。
Rocket Drew: 你对它们为什么以这种方式相互作用有直觉吗？或者有没有一个例子可以说明？
Noam Brown: 这更多是一个经验观察。我认为它是经验性的，意思是你可以看到模型正在变得多么强大，而且我们也有实验显示这种效果。我觉得仅仅从模型质量上也很容易感受到这一点。
Noam Brown: 一个简单例子是，假设你有一个惊人的强化学习项目，然后你试图把它应用到 GPT-2 上。它能做什么？它走不了多远。即使是 GPT-3，如果你对思维链算法做这类复杂强化学习，它大概也走不了多远。你需要一定程度的复杂性，才能从中获得任何提升。但现在，我会说，有了 GPT-4，我们已经看到机会，让这件事真正产生回报。每一代模型都会变得越来越有能力，而你能用强化学习做的事情也会变得更强大。
Rocket Drew: 是的。我想这里有一个想法：当成功率和失败率接近五五开时，你可以从每条轨迹里获得更多信息位。如果更好的预训练让你在 RL 任务上更接近这种胜率，那么你获得反馈的速度就会快得多。但我仍然感到惊讶的是，你认为这种效果是相乘的，而不是相加的，甚至不是小于相加的。我不确定正确的直觉应该是什么。
Noam Brown: 另一点是，它们在某些方面相当互补。非常强的预训练模型非常通用，而强化学习教会模型深入处理一个问题，教它如何推理一个问题。然后它就能够非常有效地推理广泛的问题。这是一个非常强大的组合。
Rocket Drew: 好，这很有道理。所以，对预训练下大注，对 RL 下大注。我想 OpenAI 另一个也许值得更多关注的领域，可能是所谓的 mechanistic interpretability，也就是试图理解 AI 模型大脑的工作方式。部分原因是，如果我们开始看到思维链变得不那么可监控，那么一个备用选项就是，好，我们应该试着理解模型大脑内部发生了什么，而不是只看它碰巧大声写出来的想法。这样说对吗？
Noam Brown: 我认为这是对的。你看，我们关心可监控性。我们想保留思维链的可监控性。我们希望能够安全地依赖它。但至少，我们也希望对此有冗余。如果我们能找到其他有效监控方式，也应该推动它。
Rocket Drew: 是的，这说得通。好，如果大家想了解更多这方面内容，我想他们应该收听我们关于 mechanistic interpretability 的那一期，它会在接下来几个月的某个时候上线。Noam，非常感谢你来到节目，向我们介绍 AI agent。我非常感谢这次对话。
Noam Brown: 很棒。
Rocket Drew: 感谢大家收听我们第一期 AI Deep Dive。这是 The Information 的节目，我们会深入探讨 AI 前沿最困难的技术问题。下次节目见。
Noam Brown: 谢谢。