目录
- 欢迎收听跨国串门计划,这是一档专注于让中文听众无 [00:00:00 - 00:15:01]
- 但仔细一想 [00:15:01 - 00:20:47]
欢迎收听跨国串门计划,这是一档专注于让中文听众无
一凯：欢迎收听跨国串门计划,这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI生文课龙技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音,为您呈现全球顶尖的AI财经。健康与科技领域精品内容。我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁，接下来让我为您简单介绍本期我们克隆的这档节目，并分享几句非常精彩的原话，本期我们克隆的是Dwarkesh Patel的个人深度音频论文，发布于2026年6月26日 Dwarkesh是硅谷知名的科技思想者和播客主持人，以长篇幅高密度的深度访谈著称，在这期节目里他单刀直入，探讨了AI训练的下一个范式，以及持续学习为何是通往通用智能的关键，在节目里他有几句话让我印象非常深刻，我们就像有个天才研究生，却从不让他去真正实习，我们只是一直在IL环境训练里，给他越来越多的课堂案例研究，人类持续学习的重点，不在于把所有观察到的东西都挂在嘴边，而更多是把正确的直觉和全局知识，凿回到全众里，你每次和AI互动，它都会变得更聪明，这不仅是因为它从你之前的绘画中学习了，也因为它从和世界上所有其他用户的，所有互动中学习了，这些思考背后有着非常严密的推演 [00:01:40]
Dwarkesh Patel：那我们就一起来听听这期的完整对话，所以这是所有实验室都在压住的一个重大研究方向，他们认为如果我们训练AI在成千上万个不同的RL环境中，完成数百万个可验证的任务，那我们基本上就造出通用人工智能了，因为这种训练会创造出一种能解决问题的agent 一种能在错误和模糊性面前连续数周推进开放式任务的东西，对这个愿景持乐观态度的人会说，我们谈论的当前训练范式的那些根本性缺陷，比如模型的数据低效性，或者它们缺乏持续学习能力，这些问题只要我们把训练规模再扩大，就能直接撵过去，就像当年我们往LM里，砸了足够多的算力后，自然语言处理领域里，所有基础性的研究难题，都迎刃而解一样，我在上一篇文章里提到过，这些模型的样本效率，只有人类的百万分之一，而支持当前训练范式的人会说，听着，这也许没错，但这只是在训练阶段如此，训练是一次性成本，会分摊到模型后续经历的，数十亿次绘画中，真正重要的是，模型在一次绘画中，表现出的智能程度，通用性和样本效率，而随着我们做更多的RL训练，这一点显然在不断提高 AI Agent能在越来越长的时间跨度里，解决越来越宏大的问题，任何用这些模型写过代码的人，都知道这一点，同样地人们会说，听着持续学习，也就是我一直唠叨的那个模型，根据部署中学到的东西，来更新权重的能力，可能根本就不是必须的，因为如果上下文学习，能在越来越长的时间跨度里，变得足够好，那你就不需要把模型，在工作中学会的所有东西，都征留回权重里，人们常说，他们的员工通常要工作六个月，甚至更久才能产生净生产力，所以在线学习对于获得能力，显然是必要的，但如果你能把那六个月的东西，都塞进context window里呢，已经出现了大量的架构创新，极大的增加了Transformer 能存储的信息量，或者说上下文的长度，为什么不想想，再经过几年的进步，我们或许就能拥有，感觉上无限大的Context Window了呢，在我们进一步讨论这项研究之前，我想先退一步，问一个完全不相干的问题，我发现这个问题，对于理解当前AI进步的本质来说，其实非常有趣又令人困惑，为什么计算机使用方面的进展，比其他领域慢这么多，计算机使用明明是那么的可验证，你可以问这样的问题，我订的IC商品送到了吗，我想组织的活动场地订好了吗，我的报税提交了吗，那么计算机使用的进展，比编程数学和其他这些可验证领域，慢这么多，不是很奇怪吗，我相信原因有很多，其中一个当然是模型在预训练阶段，接触到的高质量多模态数据，要少得多，但有一个我认为被大家严重低估了的原因，而且我觉得它揭示了AI进步这条河流，只能缓慢冲刷的峡谷壁垒，那就是一个领域光有可验证性是不够的，它还必须具备高度的可磨练性，意思是你必须能针对一个确定性的，可重放的模拟器，运行大量并行的rollout 而且你必须从同一个起点开始运行这些rollout 如果你想提高模型的编程能力，你可以定义一个容器，里面有一个缺少某些功能的软件仓库，你给AI的任务就是创建这些功能，然后你让1000个并行的agent去解决这个问题，每个agent都有一个完全相同的容器副本，但这对计算机使用来说行不通，至少没那么简单，你没法让1000个agent去尝试，亚马逊上同样的结账流程，以此来提高他们使用网站的能力，因为Andy Jassy会发现你的机器人，然后把你的号封了，你可以通过克隆 Slack Gmail 以及所有其他常用应用和网站来解决这个问题，但至少在目前，这是一种非常耗费人力，且无法规模化扩展的环境构建方式，当然一旦AI自己的编程能力，强大到足以高保真的构建这些克隆体，那我确信计算机使用的进展会比现在快得多，而且这种做法还能一石二鸟，因为让AI从零开始重建整个应用，本身也是一个绝佳的编程RL目标，所以虽然计算机使用本身可能很快就会被解决，但它目前的缓慢进展，其实在告诉我们，除非你能为一个领域，构建出高度可回放的训练目标，否则模型就很难取得大的进展，而之所以会这样，当然是因为模型，在训练期间的样本效率极低，这是我在上一期视频文章里，就提过的一个点，所以对于计算机使用，我们或许能通过，构建这些可大规模复现的，确定性模拟器，来弥补样本效率的不足，但对于我们需要 AI掌握的许多其他技能，我们根本做不到这一点，我们怎么训练一个AI 让他擅长从零开始打造一家公司，怎么让他擅长打赢官司，或者在市场上实现盈利的交易，又或者帮助候选人赢得选举，这里的rollout 需要跟真实世界互动，你没法只在一个数据中心里，就重现这些，这里的外层验证，可能需要几个月，甚至几年的真实世界行动，才能得到反馈，而且你没法通过，在上千个并行rollout里，微调模型的动作，来重新观察，并精确分离出模型到底做对了什么，处理这种无需重置非稳态的环境，本身就是RL领域一个已知的开放问题，我并不是在说什么新发现，但我真的想强调一点，正因为世界上大多数领域的数据，都具有特异性和稀疏性，你才需要样本效率才能变得精通，如果AI要发展出人类拥有的所有技能，甚至是人类没有的技能，那他们就必须能够从非结构化不可验证，摩伦两可的少量真实世界互动中学习，因为在很多领域，相关的训练信息根本不会以其他方式存在，要训练一个像林登约翰逊那样擅长政治的AI 或者像伊朗·马斯克那样擅长打造航天公司的AI 它的RL环境是什么，最后一个赌注是 ROVR会泛化，也就是说如果你在足够多容器化，可复现的环境里训练，你就会得到一个非常通用的agent 它能在单次绘画里制定并执行计划，快速从新信息中学习，甚至掌握新技能，如果你把这个经过无线RVR训练的AI 扔到1948年的德州政坛，它能给你比RBJ更好的，赢得参议院席位的建议，如果你在2002年给它1亿美元，让它放手去干，它能给你造出SpaceX 当然RVR能否泛化到这种程度，是一个实证问题，如果各大实验室，把花在RL环境上的钱，从数十亿美元，增加到一万亿美元，你能不能在context window里，得到一个完全像人类一样的，通用智能 Dario在我们一起录播客时，说过一句很有深意的话，我觉得这暗示了RLVR的，泛化能力并非无限强，他当时在解释，为什么模型性能，在长上下纹下往往会下降，他说这里有两件事，一个是你训练时的上下纹长度，另一个是你提供服务时的上下文长度，如果你在较短的上下文长度上训练，然后试图在长上下文上提供服务，可能就会出现这些性能下降，也许我过度解读了，但他似乎在说，短时间尺度的RL训练，不一定能泛化到长时间尺度的RL性能上，如果连从短时间尺度到长时间尺度都无法泛化，那agent又怎么能从一堆白领任务的训练中泛化出来，比如说被扔到真实世界里，像Sam Walton那样从零开始打造一家公司呢，而且即使经过足够多的上下文类经验 AI能变得像亨利福特或阿尔伯特爱因斯坦一样，但如果你不能把这些学到的东西存回模型权重里，那这一切都将是短暂的会被浪费掉，一个实验室大约30%到50%的算力都花在了推理上，而这些算力目前对改进模型本身没有任何贡献，这看起来是一种巨大的浪费，而且实际情况比听起来更糟，因为最有价值，能让模型从中学习的信息，恰恰只有在部署阶段才会显现，比如我正被使用的组织里，到底在发生什么，他们用我来做什么，以及我在真实世界里，容易犯哪些错误，我们就像有个天才研究生，却从不让他去真正实习，我们只是一直在 RAL环境训练里，给他越来越多的课堂案例研究，这太奇怪了，我们的AI已经广泛部署到经济中，参与了这么多不同类型的任务，接触了这么多特定领域，和组织的隐性知识，却无法利用它们，但这种持续学习，需要回到模型权重里去 A不能随着，从越来越多用户那里学习，就只是不断堆积，越来越大的KVCache 这根本不可扩展，而且人类也不是这么做的，我们大脑里并没有在，参数和激活之间，画出一条清晰的界限，而且你的头骨，也不会因为一辈子，学的东西越来越多，就不断变大，我们学习的时候，明显存在某种压缩，这种压缩帮助我们，泛化和真正理解，事实上确实有一些人，拥有那种自闭症天才般的能力，能在多年后，回忆起随机的数字表格，或无意义的音节，基本上就是，模型在上下文里，拥有的那种高保真信息，而这种巨大的信息量，恰恰削弱了这些人，理解抽象概念和隐喻的能力，人类的持续学习，重点不在于，把所有观察到的东西都挂在嘴边，而更多是把正确的直觉和全局知识，凿回到权重里，但一旦你进入权重，你就必须放弃上下文学习那种样本效率，因为梯度更新的样本效率极低，所有成功上线的在线学习模型，都必须在数百万用户身上，学习完全相同的东西，比如Cursor的Tab模型，通过每天预测超过4亿次请求中，完全相同的目标来进行在线学习，这里的目标就是哪些编辑，真正被用户接受了，至少到目前为止，我们还没见过模型能为不同用户，在线学习不同的东西，因为虽然单次绘画产生的数据，可能足够一个人学习，但还不足以训练出一个能力更强的AI 目前的在线学习，只能用于非常有限的场景，但持续学习的核心就在于，世界非常复杂，每份工作每家公司，每个问题都不一样，你需要你的智能，能够学习与特定部署相关的具体信息，而这些信息根本塞不进，某种共享的训练过程里，这就是我们谈论，在岗学习时所指的所有事情，比如你组织里的一切是如何运作，如何配合的，如何与所有基础设施和周围的人协作，去推进某个更大的项目，常见的失败模式是什么，以及很多类似的事情，从这个角度看，样本效率和持续学习，其实是深度关联的问题，模型在岗位上能获得的数据相对较少，要从这些数据中学习，就需要样本效率，模型可以在上下文里做到这一点，但用的是注意力机制，及时构建的快速权重，这虽然带来了样本效率，但在内存方面扩展性极差，所以我们需要架构上的创新，来实现某种中间表示，我之前聊过，我们其实已经有了很多不同的可行思路，从吸收注意力到KVCash压缩，而且每周都有人发新论文，提出某种其他的架构优化方案，在我看来，架构似乎并不是根本性的，卡住持续学习的瓶颈，所以瓶颈也许在于损失函数，我们如何根据从某一次特定绘画中，学到的信息来更新权重，也就是改进模型本身，即使在这个问题上，粗略一看，似乎也有很多应该能行的想法，最近很多人都在讨论一种叫 On Policy 自征流的技术，如果你想了解更多，我几周前和Sasha Rush 用iPhone录了一小段，即兴的黑板讲座，链接在描述里，但简单总结一下，这个想法是，我们鼓励基础模型，在解决某个真实世界问题时，做出和一个经历了漫长绘画，积累了所有上下文的模型，一样的预测，这个过程的全部目的，就是把模型，在一次绘画中学到的东西，征留回权重本身，这比RLVR好，有两个原因，第一 OPES-D不需要我们有一个，外部循环的可验证奖励，我们只需要一个，能在context window内，学到正确东西的模型，只要有了这个，我们就可以训练基础模型，去匹配我们那位，经验丰富的老师模型，后者在绘画中，积累了所有这些经验，第二 OPES-D提供的监督信号，比朴素的RL密集得多，你不是把单一奖励，投射到整个轨迹上，而是可以在老师和学生之间，每个token的概率差异上进行训练，对于持续学习 OPCSD也优于监督微调，你能想到的，用于这个场景的最朴素的SFT版本，就是训练基础模型，去预测绘画中观察到的所有token 但仔细一想 [00:15:01]
但仔细一想
Dwarkesh Patel：但仔细一想，这作为学习目标根本说不通，你在工作中变得更优秀的方式，不是靠完美复述每天发生的，每一件事的逐字稿，而是靠巩固那些，真正与你提升工作能力相关的，少数洞见和知识片段 RL训练就不会有这种失败模式 RL很擅长把更新，集中到那些真正影响结果的地方，这就是为什么，在一次RL训练步骤中，其实只有很少的参数会被改动，这个特性对持续学习来说非常重要，因为你在工作中学习时，肯定不希望覆盖和忘掉，基础模型已经掌握的其他所有东西，我几个月前写过一篇文章，观点是RL每个样本，学到的信息比监督学习少得多，但这可能是好事，而不是坏事，你只对模型做最必要的改动，来达成结果，绝不多改 AppCSD保留了监督学习的这个特性，但你不是像监督学习那样，猛的冲向一个教师分布，而是只提取那些在实际任务中，能让你达到和教师模型，同样结果所必须的知识 OBSSD是解决样本效率问题的，一种方法，你拿着稀缺的真实世界经验，把其中的所有信号，都压缩成一个微小精准的更新，但还有另一个更具猜想性的想法，我们暂且叫它Dreaming 如果AI能构建一个很好的现实模拟器，用它来排练新技能，或尝试不同策略，并强化那些真正有效的做法，那么在同样的现实时间里 AI就能经历数量级更多的模拟样本，我们稍微回顾一下历史 DeepMind发布AlphaZero几年后，一组研究人员训练了一个叫Efficient Zero的模型，这个模型的全部目的，就是要在数据使用上非常高效，所以如果给这个模型和一个人类各两个小时，去玩一个他们都没见过的Atari游戏模拟器，这个模型实际上很可能会打败新手人类，这是否意味着模型比人类更具样本效率，这确实是训练的目标，但这取决于你怎么衡量样本效率，因为对于真实游戏中的每一步 Efficient Zero 都在他的脑海里玩了几十局模拟游戏，类似地，未来的LMM可能只需要消耗少得多的，真实世界数据，同时在自己构建的环境里，进行无尽的练习，当然最大的区别在于，构建一个整个世界的模拟器，要比模拟为奇游戏困难得多，这就是为什么我说，这是个更具猜想性的想法，如果他成功了，他将成为，际域训练RL和推理时，计算之后的第四个扩展维度，你可以叫他，测试时训练，或者Dreaming 模型花费算力来编写RL环境，然后针对这些环境进行训练，它排练的是那些将为特定用户，在生产中实际使用的所有技能，所以你不是在Codex Cursor或Cloud里，敲斜杠Compact 那个指令只会消耗一点点算力来写个摘要，给你一种持续学习的假象，而是敲斜杠Dream 这会消耗海量算力，来构建一个模型，在现实世界所见事物的，电子游戏版本，并针对它进行训练，那么到2027或2028年，持续学习会是什么样子，我们又如何走到那一步，这里有一种可能的情景，所有这些RLVR训练，正在产出一个这样的agent 当它被扔到一个不熟悉的问题上时，能迅速找到方向，能尝试不同的策略，能在遇到障碍时进行迭代，这就是RLVR给你的最关键的东西，一个AI如果他能从经验中学习，那他至少已经有能力开始获取一些真实世界的经验了，一旦你有了这个，就把它放到真实世界去做实际工作，甚至是那些不在训练分布内的项目，现在假设到这个时候，有效的上下文长度已经扩展了很多，以至于AI可以和你一起密集协作，整整一周的现实时间，一周结束时，你给他一个好评或差评，就像做一次工作评估，如果你给了好评，基础模型就会把AI在这期间学到的所有东西都蒸馏出来，它可能会用OP-SD 可能会用Dreaming 也可能会用一些我们现在还不知道的技术，或者以上所有方法的组合，一旦它这么做了 AI就会开始在一些领域变得更好，这些领域与它之前通过RLVR训练明确学过的东西是相邻的，在下一轮，它又能在与它之前在线学到的内容相邻的事情上做得更好，通过这种方式 AI的技能知识和能力的范围，就能远远超出模型，在部署前最初训练时，所针对的那些可验证领域，就像预训练创造了一个基础智能，这个智能足够聪明，能在上面叠加足够的RLVR后，成为一个合格的agent 同样的RLVR也创造了一个，足够合格的agent 能够被真正广泛的部署到世界上，而一旦持续学习的训练方法，真正到来，它就能从这种广泛的部署中，进行在岗学习，到那个时候 AI进步的主要方式，将不再是他们向公众发布之前，所接受的训练，相反进步将来自，他们在被广泛部署到经济活动中，参与如此多种多样的任务时，所积累的所有经验，你每次和AI互动，它都会变得更聪明，这不仅是因为，它从你之前的绘画中学习了，也因为它从和世界上，所有其他用户的，所有互动中学习了，这非常可怕，也非常令人兴奋，和现在AI的进步方式完全不同，这是我在自己网站 doorkash.com上发布的一篇，播客文章的迭代版本，如果你想看所有的角度，或者想注册，以便在我发布下一篇播客时，收到通知，可以去那里看看，不然的话，我们下期节目再见 [00:20:46]