目录
- 测试时计算与基准评估 [00:00:00 - 00:10:00]
- 刷榜风险与安全评估 [00:10:00 - 00:20:00]
- 递归自我改进与研究方向 [00:20:00 - 00:30:00]
- 发布节奏与评估文化 [00:30:00 - 00:34:43]
测试时计算与基准评估
一凯：欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。 通过先进的AI声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI财经。 健康与科技领域精品内容。 我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。 接下来让我为您简单介绍本期我们克隆的这档节目，并分享几句非常精彩的原话。 本期我们克隆的是知名科技播客No Priors，主持人 Sarah Guo在2026年6月与OpenAI 研究科学家 Noam Brown进行了一场深度对谈。 Noam Brown是AI推理领域的先驱，也是推动测试时计算扩展的关键人物。 在节目里他有几句原话。 让我印象特别深刻。 在GPT-3 那会儿。 你没法扩展测试时计算。 比如你给他1000万美元的预算。 说好我们看看GPT-3能做什么。 他其实做不了太多。 现有的准备框架和责任缩放政策。 并没有真正考虑测试时计算量。 他们只是说。 好模型的能力是什么。 问题在于我们现在所处的世界。 模型的能力基本上是你投入多少钱的函数。 你给它1万美元的预算。 它能做的比10美元预算多得多。 给它1000万美元预算。 它能做的更多。 那你应该在什么预算下评估这些模型。 现有的政策并没有真正解决这个问题。 这些话背后有着很长的故事。 接下来就让我们一起走进这期完整的对话。 在GPT-3 那会儿。 [00:00:00]
Noam Brown：你没法扩展测试时计算。 比如你给他1000万美元的预算。 说好我们看看GPT-3能做什么。 他其实做不了太多。 现有的准备框架和责任缩放政策。 并没有真正考虑测试时计算量。 他们只是说好模型的能力是什么。 问题在于我们现在所处的世界。 模型的能力基本上是你投入多少钱的函数。 你给他1万美元的预算。 他能做的比10美元预算多得多。 给他1000万美元预算。 它能做得更多。 那你应该在什么预算下。 评估这些模型。 现有的政策。 并没有真正解决这个问题。 嗨 听众朋友们。 [00:01:50]
Sarah Guo：我是Sarah Guo。 欢迎回到No Priors。 今天我请到了Noam Brown。 我们AI推理领域的。 教父级人物之一。 我们来聊聊评估体系的失灵。 超大规模的测试时计算。 他如何看待递归自我改进。 以及前沿竞争的。 下一个前沿是什么。 Noam。 非常高兴你能回来。 很高兴回来。 对。 你是我们节目的第一位嘉宾。 我对自己在播客上。 挑选朋友和研究员的品位。 感到非常自豪。 考虑到推理时。 扩展对行业变得如此重要。 你也应该感到自豪。 毕竟你实际上是这方面的先驱。 出了一份力。 对 跟很多人一起。 你刚写了一篇文章。 引起了很大共鸣。 讲的是大规模测试时计算。 以及为什么行业没有像应该做的那样。 严格地评估这些模型。 写这篇文章的动机是什么。 [00:02:28]
Noam Brown：对。 动机是我们发布了o3。 最初的反应是大家有点怀疑。 它是不是一个显著更好的模型。 公平地说。 这种怀疑只持续了几个小时之后。 人们有时间上手试用。 自己体验了一下。 就发现它确实好得多。 但我认为很多怀疑来自于发布的那张。 基准测试表格。 基本上每当有新模型发布。 就会有这么一张基准测试表格。 X轴是各种不同的基准测试。 Y轴是不同模型的表现。 你可以直接比较不同模型。 就是一个模型。 在一个基准测试上的单一数字。 如果你在纸面上看。 o3 和 o1。 或其他模型之间的差异。 它确实有提升。 但不是巨大的提升。 在一些基准测试上。 只有几个百分点。 所以人们看了之后。 就怀疑它是不是真的更好。 等他们上手一用。 看法就变了。 我认为它没能在基准测试上。 显得好那么多的原因是。 这些基准测试的呈现方式不对。 他们没有控制每个基准测试问题上。 所使用的测试时计算量。 事实证明。 o3在思考效率上要高得多。 如果你用最高设置运行。 o1的思考时间要长得多。 它返回响应的时间比o3长。 一旦你控制了思考时间。 你就能看到o3 相比 o1。 是一个巨大的飞跃。 我认为。 这也是人们日常使用中的感受。 然后当我和别人提到这点时。 他们的反应。 我常被问到的一个典型问题就是。 好吧。 那为什么不让o3思考的。 和o1一样久呢。 问题在于。 他们应该思考多久。 通常我得到的回答是。 直到性能达到平台期。 对吧。 总有一个点。 基准测试的性能会趋于平稳。 你就评估到那个点。 问题是。 现在这个平台期到来的点。 其实非常遥远。 在2022年的GPT-3时代。 模型确实没法那么长时间的进行有效思考。 所以你可以直接运行它们直到性能平稳。 那个点并不远。 但我们现在看到的是。 对于现代模型o3和其他模型。 如果你给它们搭建好合适的框架。 它们可以思考数周。 在某些基准测试上。 性能才会达到平台期。 所以它们达到平台期的点实在太远了。 没法合理的进行测试。 我们现在都需要实际设定一个限制。 要么是耐心上限。 要么是从token角度看预算上限。 这在几年前是不成立的。 没错。 所以我认为正确的评估方式。 我的主张是。 现在评估模型的正确方法是。 你要么为基准测试设定某种预算。 无论是token、成本还是时间。 要么就把性能绘制成。 投入模型的测试时计算量的函数。 这样一来。 如何比较不同模型之间的性能。 [00:03:25]
Sarah Guo：就变得清晰多了。 考虑到模型的评估周期。 以及很多任务在相当长的时间内。 性能都不会趋于平稳。 你该怎么解决这个问题。 你想跑的一些评估。 既超出了合理的预算范围。 也超出了当前模型发布周期下。 合理的时间范围。 我觉得像网络安全这类任务。 [00:06:11]
Noam Brown：我们已经看到METR在他们的评估里也显示。 模型在1亿个token的预算下。 还在持续提升。 跑到1亿个token。 性能还在往上走。 这确实要花很长时间去跑。 但你也能看到。 性能不是那种断崖式的跳跃。 而是能看出在。 一个token范围内的提升斜率。 所以你可以做到。 某个预算上限的评估。 然后直接说好。 这是我们预测的性能走势。 我觉得这方面目前研究还很少。 如果有学术界的朋友。 在找研究方向。 这其实是一篇很值得发的论文。 能不能只用10美元。 或100美元的推理预算。 去预测1万美元。
Sarah Guo：推理预算下的性能表现。 问你一个可能不太相关的问题。 你觉得用户是不是普遍没有让模型。 对问题进行足够长时间的思考。 你说的没有足够长时间思考是指什么。 如果你能构建一个agent。 或者控制测试时计算的使用量。 这里面有模型自己做的事。 也有用户可以做的事。 你觉得行业目前对测试时计算的使用量。 是刚刚好还是严重不足。 还是说问题出在模型本身。 需要让他们思考的更快。 我觉得这取决于具体问题。 [00:07:11]
Noam Brown：让模型思考一周再回复。 这个想法听起来不错。 基准测试成绩也确实好看。 但在实际工作中不太可行。 因为你问模型一个问题。 然后干坐一周等它回复。 我觉得大家发现最有效的方式是。 跟模型快速迭代。 所以思考时间需要灵活。 该快速回应用户的时候。 就快速回应。 该长时间思考。 用户也希望他长时间思考的时候。 就长时间思考。
Sarah Guo：我觉得大家目前在现有条件下。 已经找到了合适的平衡。 你怎么看现在有很多。 关于刷榜和操纵不同基准测试的讨论。 你会怎么描述当下的基准测试格局。 有没有你觉得更能体现。 [00:08:11]
Noam Brown：真实能力的基准测试。 刷榜这件事。 也是我写那篇文章的动机之一。 我觉得很容易就能在基准测试上。 做出比之前模型好得多的成绩。 比如把一堆模型组合起来。 你说好。 我们不让这个模型只跑一次。 而是跑五次。 取五次里最好的回答。 或者让一个裁判模型来判断。 哪个最好。 这样就能拿到比单个模型高得多的分数。 所以很容易做出一个纸面上好看很多。 但一旦控制测试时。 计算量就其实没有更好的东西。 这是我对刷榜。 比较担心的一点。 我唯一的顾虑就是。 它有点误导人。 至于基准测试本身。 我觉得总是存在被针对性优化的风险。 我当然鼓励我的团队。 不要针对特定基准测试做优化。 我觉得OpenAI在这方面做得还不错。 但一旦你发布一个基准测试。 它就始终面临被针对性优化的风险。 我觉得一个应对办法。 是保留不公开的私有测试机。
Sarah Guo：大家最常用的退而求其次的建议是。 想判断一个模型是不是明显更好。 就自己多玩一阵。 你有没有比这更系统的方法建议给大家。 比如除了OpenAI内部的。 私有保留集。 你每次会不会自己新建一套评估。 我觉得每个人都有自己的那套问题。 [00:09:27]
Noam Brown：每次新模型出来都会去问。 对我来说。 最近的做法是。 用他们来做扑克机器人。 看他们能把扑克机器人。 做到多好。 我觉得这是个不错的评估方式。 因为做扑克机器人的开源代码非常少。
刷榜风险与安全评估
Noam Brown：因为做扑克机器人的开源代码非常少。 发表的论文倒是很多。 但你得真正把每一步都推理清楚。 这需要大量的推理和迭代。 还有很多小的坑。 我自己之前都踩过。 所以能看到模型在哪些环节会卡住。 他们现在这方面已经做得很好了。 你能不能描述一下。 用你做扑克机器人的例子。 在最近几个模型版本里。 推理能力是怎么演进的。 对早期模型在这方面真的很差。
Sarah Guo：基本上什么都做不了。 [00:10:26]
Noam Brown：到了5.2。 我能跟他一起做一个河牌求解器。 也就是扑克的最后阶段。 这本身我就觉得很厉害了。 当然我得稍微引导一下。 但我确实很惊讶。 因为我做这个河牌求解器的速度。 大概比我自己单干快了五倍。 它会在一些地方卡住。 阻断牌一直是个大问题。 但总的来说。 稍微引导一下。 它就像个研究生会碰到问题。 但至少我知道问题在哪。 也知道怎么修。 我提建议。 它就去改。 然后很快就能拿出很不错的结果。 尤其是优化部分。 我觉得特别厉害。 它能把代码优化得非常好。 速度比我做的快了十倍。 5.2的缺点是。 我感觉它老是在糊弄我。 我得一直非常仔细地检查。 确认它是不是真的。 做了它说的事。 有没有什么明显的漏洞。 它没发现。 或者假装没问题。 我记得有一次。 我在玩另一个模型。 不是5.2。 我做了个单元测试。 跟它说。 假设我往底池里。 放了100美元。 然后弃牌。 我亏了多少。 模型说92美元。 我就想这也太离谱了。 我放了100美元。 然后弃牌。 怎么可能不是亏100美元。 他就说92嘛。 很接近100了。 没事问题不大。 我就觉得这明显有问题。 所以模型确实有这种。 爱糊弄人的毛病。 但到了o3。 我觉得就好太多了。 它基本可以零样本完成。 实际上我最近在做一个。 完整的扑克求解器。 它基本上能搞定全部。 我只需要稍微引导一下。 我甚至不会惊讶。 如果再过6个月或一年。 模型能零样本直接做出一个完整的扑克求解器。 基本上就是我整个博士论文的内容。
Sarah Guo：一次性搞定。 我们来聊聊更大的影响。 就是评估这些模型时。 相对于推理速度或效率。 跟token消耗量。 或者资金预算。 或者随便什么标量来比。 该怎么看。 你能讲讲你文章里提到的一些更广泛的影响吗。 [00:12:06]
Noam Brown：包括安全评估方面的。 对。 安全评估这事。 有点像那个不太方便说破的真相。 先交代下背景。 现在所有实验室都有一些政策。 叫责任缩放政策。 准备框架。 名字五花八门。 但核心思想是。 每次发布模型都要做一系列评估。 看它有没有危险的能力。 模型能不能被坏人用来做我们不想看到的事。 如果模型能力不强。 那就无所谓。 但如果它能力很强。 比如能被用来制造生物武器。 那你就得加一些防护措施。 但问题在于。 你怎么评估模型有没有这个能力。 他们也有各种评估的流程。 但这些框架很多都是在。 ChatGPT那个时代前后建立的。 那时候测试时计算扩展还不是个大事。 这在当时是合理的。 比如GPT-3。 你没法扩展它的测试时计算。 就算你给它1000万美元的预算。 说看看GPT-3能做什么。 它其实也做不了太多。 跟花10美元或1美元的结果差不多。 那些准备框架和责任缩放政策并没有真正考虑。 测试时计算量这个因素。 他们只是问。 模型的能力是什么。 问题是我们现在所处的世界。 模型的能力基本上是。 你投入多少钱的函数。 你给他1万美元的预算。 他能做的远比10美元预算多得多。 给他1000万美元预算。 他能做的就更多了。 那么你到底该在多少预算下。 评估这些模型。 现有的政策并没有真正解决这个问题。 有些政策做得稍微好点。 但总的来说。 这不是一个被认真考虑的因素。 至于模型到底该不该发布。 我不想蹚这浑水。 两边都有道理。 但我觉得重要的是要认识到。 这个问题我们一直在假装不存在。 我认为关键是要正视它。
Sarah Guo：不管怎样都得把它考虑进去。 对 这就像能力问题的镜像。 如果模型在非常大的预算下。 能在某些任务上持续进步。 不遇到瓶颈。 那他们同样也能在。 我们社会不希望他们做的任务上。 做到这一点。 对吧。 所以针对这一点进行测试。 以及分配多少预算。 这些问题也跟模型发布周期。 本身脱节了。 对吧。 现在发布速度在加快。 有时候几天几周。 就出一个新模型。 而不是六个月。 你在文章里有一句话。 大意是说。 要真正评估一个agent。 在某个非常长期的任务上的表现。 唯一的方法可能就是。 让它跑上一年。 这对有用的任务和有害的任务都成立。 对吧。 那你怎么看待这个问题。 [00:14:15]
Noam Brown：和模型发布周期之间的关系。 对。 这确实是个很有意思的动态。 基本上随着模型变得越来越强。 它们能在更长的时间跨度里运作。 还是拿GPT-3举例。 如果你想让它跑一周。 其实你很难通过脚手架。 把它搭成一个。 能真正跑一周的。 有用东西。 但我们现在看到。 最新的模型。 已经可以做到。 比如把o3搭建成。 能跑几周。 甚至几个月的系列实验。 [00:15:05]
Sarah Guo：你有没有给你的。
Noam Brown：扑克求解器任务。 无限的预算去跑过。 我还没真正搭过那种。 直接让它跑好几周的东西。 我觉得我可以给它试试。 我大概可以给它一个。 slash go。 然后让它放手去干。 但我觉得。 现在如果我只给它。 slash go。 它绝对能做出。 完整的扑克求解器。 不过我觉得它还没到那个水平。 如果我只给 slash go。 让它去跑一个月。 就能做出完整的扑克求解器。 但是我们很快就会到那个临界点。 我可能真的可以直接告诉它。 去花一个月时间做这个。 然后带着一个完整的。 最先进的扑克求解器回来找。 问题在于。 如果你想评估一个模型的能力。 想知道它跑一个月之后能做什么。 唯一能完全确定的方法就是。 真的让它跑一个月。 如果你想知道六个月后的情况。 唯一能完全确定的方法。 就是让它跑六个月。 我待会会讲到一些。 我们可以应对这个问题的办法。 但重要的是要认识到。 模型发布周期是。 你看我们现在大概每两三个月。 就发布一个新模型。 所以一个模型出来。 需要两三个月才能把它推到极限。 然后下一个模型又出来了。 结果就是。 没人真正知道。 这些模型的能力上限在哪里。 因为没人真的让他们跑足够长的时间去验证。 比如slash go刚出来的时候。 人们开始跑一些需要超过一周才能完成的任务。 所以大家其实是在发布一周之后。 才意识到这件事有多重要。 我觉得这种情况会越来越普遍。 这里面的影响我觉得挺有意思的。 因为实验室在发布前要怎么充分评估自己的模型。 这其实非常困难。 因为对你唯一能真正做评估的方法。 就是推迟模型发布周期。 而现在竞争压力很大。 大家都不太想这么做。
Sarah Guo：你觉得已经发布的模型里。 有没有那种因为时间限制。 [00:17:24]
Noam Brown：人们还没充分挖掘出来的。 令人兴奋的潜在能力。 我觉得绝对有一个很好的例子。
Sarah Guo：就是 Erdős 单位距离问题。
Noam Brown：可能有些观众不知道。 我们几周前在OpenAI 用了一个内部模型。 推翻了Erdős 单位距离猜想。 我不是数学家。 但这在数学界好像是一件挺大的事。 这是很多数学家花了大量时间研究的第一个问题。 而模型做到了他们没做到的事。 而且做出来的方式对数学家来说既有趣又有用。 说实话我们花的成本非常低。 我们没在这上面投入太多精力。 就是训练了一个新模型。 好奇它能做什么。 然后拿一些问题跑了一下。 这个问题在很低的预算下。 模型就说。 哦对我好像有一个反证。 然后我们验证了一下。 发现这个反证是对的。 我们公布结果之后。 很多人发现用o3。 也能得出这个答案。 当然不是简单的问o3。 这是Erdős 单位距离猜想。 反证是什么就行。 你得给它搭一些脚手架。 做一些引导。 有人发现你可以问o3。 列出解决这个问题的各种方法。 然后它会列出其中一条。 确实有希望得出反证的路径。 你再告诉他。 好。 沿着这个方向继续探索。 如果重复足够多次。 他最终就能得出反证。 这意味着。 原则上你可以用一个通用的脚手架。 让o3列出各种不同的策略。 然后针对每个策略。 让他去深入研究。 这样他大概就能用通用脚手架得出反证。 当然那个脚手架会非常贵。 我粗略估计。 大概要花1000到10万美元。 但这是可行的。 而且本来有人可以在我们之前。 就用通用模型推翻。 Erdős 单位距离猜想。 只是没有人充分探索过。 如果我把价值10万美元的算力。 砸进o3。
Sarah Guo：会发生什么。 它能做什么。 [00:19:21]
Noam Brown：答案是。 你大概真的能从中得到这样的成果。 所以大家应该对当前这代模型。 做更多实验。 这其实是个有意思的问题。 就是值不值得去做实验。 因为模型发布周期。 是每隔几个月。 我们就会推出一个更强大的新模型。 推翻EErdős 单位距离猜想的成本。 每经历一个模型发布周期。 就会下降大概10到100倍。 有些情况下可能更多。 所以。 你肯定看过那个梗。 就是我干嘛还要做任何工程工作。 等下一个模型发布不就行了。 对去度个假。
递归自我改进与研究方向
Noam Brown：对去度个假。 两个月后回来。 成本就变成千分之一了。
Sarah Guo：你同意这种说法吗。 [00:20:03]
Noam Brown：我。
Sarah Guo：你们现在在OpenAI就是这么做的吗。
Noam Brown：就等着下一个模型发布。 我得说。 我们正处在一个。 进展非常快的时期。 模型确实在变得越来越强。 我可以讲。 在OpenAI。 我们有一件事。 是刻意不去做的。 我们有很多数学家。 很多物理学家。 大家对现在这些模型。 能做什么都非常兴奋。 尤其是内部模型。 我们在努力鼓励大家。 不要把所有时间。 都花在便利各种。 数学开放问题。 物理问题上。 去把模型推到极限。 看他们能证明或推翻什么。 因为我们真的认为。 重点应该放在。 如何做出更强的模型。 如何尽快把它们安全地交到。 全世界科学家手里。 让他们自己去用这些模型解决问题。 所以从某种意义上说。 我们确实在思考这个问题。 是的。 把所有精力都投入到扩展这些模型。 看看他们现在极限在哪里。 确实很诱人。 但真正的重点应该是。 如何用这些模型去做出更强大。 能力更强的模型。 让一切都能以更低的成本完成。 考虑到你对超大规模测试时。
Sarah Guo：计算的影响所持的看法。 你觉得研究方向或资源分配。 会发生什么变化。 这跟递归自我改进的想法。 比如任何实验室达到最强模型的主流思路。 会如何相互作用。 [00:21:16]
Noam Brown：有一点我需要澄清。 我不认为我们已经到了那种地步。 只要给他一个任意极高的推理预算。 他就能在所有方面都超级智能。 就像slash go。 对让他做出GPT-7之类的。 然后放手让他去干。
Sarah Guo：那我们离那一步还差什么。
Noam Brown：我玩过这个模型。 首先有些基准测试。 就算给再多推理预算。 模型也不会进步。 很多事实检索类问题就属于这一类。 比如你问一个人亚伯拉罕。 林肯什么时候出生的。 他不知道具体日期。 他可以坐在那儿想一个星期。 但如果没有电脑之类的工具。 他想一个星期跟想五秒钟。 答案不会更好。 模型也一样。 有意思的是。 如果你给模型这类事实检索问题。 再给它一点思考时间。 它确实会做得更好。 如果不行。 就换一组随机数字试试。 显然只要时间足够。 用这个策略能解开任何数读。 你可以很直观地看到。 任何模型只要给更多测试时计算。 就能不断进步。 而所有基准测试。 大致都落在这两个极端之间。 模型还没到那种程度。 给足够测试时计算。 就能替代我们所有工作。 因为有些基准测试上。 它们不会进步。 有些事情上。 它们就是不会进步。 我观察到研究领域的一个问题是。 它们目前的研究品位不太好。 所以我觉得它们其实是很好的补充。 对研究人员来说尤其如此。 我发现用了这些模型之后。 我的效率高了很多。 但他们还没法完全替代整个研究周期。 那会不会随着时间改变。 大概会。 我觉得模型在全面进步。 有些方面进步得比另一些快。 但还没到光靠给足测试时。 计算就能完全替代研究人员的程度。
Sarah Guo：能不能举一两个例子。 [00:23:20]
Noam Brown：比如让模型做一个研究任务。 或者那种。 这想法太烂了的情况。 回到我那个。 扑克求解器的例子。 模型优化我博士期间。 开发的算法的能力。 真的让我印象深刻。 回头看。 我当时效率低的令人震惊。 而他们能把速度提升十倍。 一百倍。 然后我就想。 好那你能不能想出一个。 比我或者比任何人想出来的。 都更好的算法。 去把所有已发表的研究。 看一遍。 综合起来。 然后试着搞出点新东西。 他做不到。 我给他很多时间。 还是做不到。 当然如果我搭个框架。 再给他一些约束。 也许最终能搞出更好的东西。 但这需要很多。 不是简单说一句。 请想出一个更好的算法就行。 那你觉得这方面要怎么改进。 我看到的是。 每次模型发布新版本。 这方面都会变好一些。 按我的标准还是很差。 但没以前那么差了。 我不会惊讶。 如果某个时候。 就像编程数学那样。 突然出现一个拐点。 研究品位突然就好到能用了。 我不会惊讶。 我们也会遇到那个拐点。 即便如此。
Sarah Guo：你今天怎么看递归自我改进。 [00:24:33]
Noam Brown：我们应该怎么理解它。 模型确实在加速。 实验室里研究人员的工作。 但我觉得它加速了一些事情。 另一些没有。 目前我们处于这样一个阶段。 如果某件事快了100倍。 你就会被那些。 没快100倍的事情卡住。 随着时间推移。 卡住我们的东西会越来越少。 我觉得这方面会是一个。 渐进起飞的过程。 但现在更多是改变。 研究人员的工作方式。 而不是完全替代研究人员。 所以这其实意味着。
Sarah Guo：你觉得我们现在离一个。 [00:25:05]
Noam Brown：非常快速的起飞还很远。 我觉得快速起飞是相对的。 事情确实进展很快。 但有一种假说认为。 可能出现一夜之间的智能爆炸。 模型发现某种突破。 让自己变聪明。 然后这个突破又带来更多突破。 让自己立刻更聪明。 瞬间模型就在所有方面都远超人类。 我不认为我们会走向那个世界。 很大程度上是因为模型极度依赖大规模测试时计算来达到最高智能。 如果需要那么多测试时计算才能解锁模型的全部能力。 那就意味着你被时间卡住了。 事情只能快到一定程度。 因为模型需要运行足够久才能真正做出非常强大的东西。 时间本身成了我们能做什么的瓶颈。 我觉得现在很多实验室就是这种情况。 最终我们所有人最大的平静就是时间。 这也是为什么所有研究人员。 现在都这么拼命工作。 每周投入那么多小时。 因为我们都看到了潜力有多大。 看到了能力有多强。 我们只是被做事的速度卡住了。
Sarah Guo：你觉得现在前沿领域里。 [00:26:08]
Noam Brown：哪些方向探索的还不够。 我们之前聊过多智能体。 我觉得多智能体这块已经探索的挺多了。 在足够大的规模下。 我觉得能做的事情还有很多。 但这也是在小规模下。 很难做好的事情之一。 很多研究在小规模下都很难做。 多智能体尤其如此。 要真正释放它的能力。 我觉得需要前沿模型。 我们见过一些挺有意思的多智能体框架。 它们能做不少事。 但我觉得这真的只是冰山一角。 我思考这个问题的一个角度是。 你看。 人类文明。 并不是说人类在过去五万年里。 进化得更聪明了。 而是今天的人类能比学区时代。 做更多事。 是因为有数十亿人长时间思考。 并在彼此积累的知识上不断构建。 我们现在的检索和框架能力。 跟五万年前比强太多了。 我甚至不觉得那叫框架。 这是一种非常有机的。 涌现出来的特性。 就是人类能够积累知识。 分享知识。 并在此基础上继续构建。 我们现在在AI模型身上。 还看不到这一点。 它们诞生于某个世界。 在一个很短的上下文窗口里存在。 然后就消失了。 当然你可以做一些事情。 让它们延续下去。 但非常有限。 我确实认为最终我们会。 而且我们已经开始看到一些迹象。 表明我们正在进入一个。 它们可以大规模协作的世界。 我觉得MultiBook OpenCore。 刚出来的时候。 显然有点被过度炒作了。 但它们预示了。 未来可能的发展方向。 我确实认为。 我们最终会进入那样的世界。 某种协调的复合的状态。 对。 就是模型能够在更全局的层面上。 分享知识。 并在此基础上。 进行有生产力的构建。 基于你这些信念和你的工作。
Sarah Guo：你怎么看前沿领域里。 这三家之间的竞争。 如果没有一夜之间的飞跃。 只是研究人员埋头苦干。 试图在算法方向。 投资决策上。 做出高品位的正确选择。 然后是算力分配。 再然后是政策和评估决策。 这感觉比那种。 冲向某个没人能追上的。 极客的硬起飞。 要更接地气一些。 我觉得现在的竞争非常激烈。 我确实认为。 [00:28:00]
Noam Brown：现有的模型正在加速。 前沿实验室研究人员的工作。 当然就像我说的。 目前还有局限。 但用模型来改进。 模型研究这件事。 是真实存在的。 它就像一个放大力量。 我认为就会持续下去。 而且会越来越明显。 让我感到安心的一点是。 我觉得所有前沿实验室的研究人员。 所有前沿实验室都认识到。 这其中的利害关系和这些模型的风险。 这让我感到安慰。 我觉得每个人都真正理解。 这是一件非常严肃的事。 可能带来非常好的结果。 也可能带来非常坏的结果。 是的。 实验室之间存在竞争关系。 但我们也可以想办法。
Sarah Guo：一起走向积极的结果。 而不是非常消极的结果。 我觉得不问这个问题就太失职了。 因为你很早就一直正确认识到。 测试时计算和推理框架的重要性。 你在使用模型方面。 有没有什么方式。 是你想鼓励大家去用的。 就是给所有事情设定目标吗。 我觉得对很多人来说。 这对你的听众可能不一定适用。 [00:29:10]
Noam Brown：但有很多人在2023年左右。 尝试过AI。 觉得不能信任它的输出。 然后就不再把它用于。 真正高风险的决策了。 实际上我认为模型。 已经进步到了一个程度。 他们在这些事情上。 已经非常出色了。 比如我问他们税务建议。 或者我最近买了个公寓。 就问他建议。 比如我需要填哪些文件。 这些都意味着什么。 他回答这类问题真的非常好。 所以我每天都在用他处理。
发布节奏与评估文化
Noam Brown：所以我每天都在用他处理。 很多这类事情。 我觉得他们现在已经到了一个阶段。 其实已经有一段时间了。 让我觉得我可以信任他的输出。 甚至可能比信任一个人的输出。 更放心。 一个专家级的人。 我还有最后两个问题。
Sarah Guo：一个是你觉得有没有什么事情。 是研究社区里其他人不同意你。 或者还没完全理解其重要性的。 这个问题问得太好了。 我真希望我提前有时间想过这个问题。 你可以就跟我待一会儿慢慢想。 现在成了共识。 会不会感觉有点奇怪。 三年前你还有点愤愤不平。 觉得为什么人们不理解这件事有多重要。 [00:30:13]
Noam Brown：我仍然不觉得这已经是共识了。 因为你看。 人们还是不以这种方式。 发布基准测试。 这倒是真的。 这其实就是。 我写那篇文章的原因。 我觉得那是惯性。 对 差不多。 这也是我写那篇文章的原因。 我就想说。 我们可以讨论这件事。 但部分动机是。 我跟研究人员聊的时候会说。 我们在展示基准测试时。 应该加一条X轴。 不管是按token。 成本还是时间。 总之得有条X轴。 然后每个人都会说。 对 有道理。 我们应该这么做。 但他们并没有带着。 应有的重视去行动。 我们必须衡量正确的东西。 其实大家的反应是。 外界期望我们发布那个表格。 那为什么外界会期望发布表格呢。 因为每个人都在发布表格。 于是你就陷入了一种糟糕的均衡。 所有人都知道这不好。 但没人愿意打破它。 我就觉得。 好吧。 如果我站出来说。 各位。 我们都承认自己。 处在一个糟糕的均衡里。 然后我们一起转向。 另一种均衡。 也就是用X轴来绘图。 那么下次。 有模型发布时。 公司就能安心地。 不发布那个表格。 至少不把它放在最前面。 作为头条。 这样我们就能对这些模型。 进行更有成效的评估。
Sarah Guo：最后一个问题。 你怎么看那些。 [00:32:01]
Noam Brown：专注于特定领域的公司。 他们觉得自己提供的价值。
Sarah Guo：本质上在于。 路由层选择层。 也就是我的目标。 由一堆离散任务组成。 有些需要更高智能。 有些则不需要。 而我作为供应商的工作。 就是在考虑预算限制的前提下。 解决这个问题。 或达成最优结果。 所以我会管理并行化。 以及针对不同模型。 投入多少推理算力。 因为我认为。 前沿实验室的观点是。 这种路由既发生在API背后。 应用背后。 也有一部分发生在模型内部。 而这些环节的某些部分。
Noam Brown：显然正在所有这些应用中被外部化。 对 我确实觉得这根基准测试。 应该用token或成本作为X轴来评估有关。 我最近看到一些评估显示。 通过路由层。 基本上靠模型间的共识。 就能获得好得多的表现。 我绝对相信。 如果你在模型间达成共识。 表现会比任何单个模型都好。 但重要的是要问一句。 让那个模型思考更长时间。 会不会做得更好呢。 一旦你控制了测试时计算量。 它实际上还会更好吗。 这才是你需要搞清楚的问题。 这是个非常原则性的观点。
Sarah Guo：路由没问题。 但一切都受制于。 同一个预算问题。 如果你把它放在同一个标量上。 就能做出最优决策。 我想也许我会赢。 [00:33:22]
Noam Brown：我倒不一定是那个意思。 我愿意相信路由做得更好。 但问题在于。 它能好很多吗。 它是不是很脆弱。 跟基准测试相比。 它反映真实世界用力的程度如何。 因为你可能遇到的一个问题是。 你可以用路由。 针对某些基准测试做优化。 然后展示说。 看我们在这些基准测试上。 取得了巨大提升。 但在真实世界用力里。 最终却并没有显著改善。 所以我至少会说。 你需要控制测试时计算量。 然后你还需要对基准测试。 保持所有你通常会有的怀疑态度。 太棒了。 Nom。 非常感谢你。
Sarah Guo：也感谢你致力于打破这种虚假的均衡。 很高兴能回来。 在Twitter上找到我们。 账号是NopriorsPod。 想看我们的脸就订阅我们的YouTube频道。 在Apple Podcasts。 Spotify或你平时听节目的地方。 关注我们。 这样每周都能收到新节目。 也欢迎访问nopriors.com。 订阅邮件。 或查看每期节目的文字稿。 [00:34:16]