目录
- 递归自我改进为何可能受限于泛化 [00:00:00 - 00:10:00]
- 从仿真迁移到真实世界 [00:10:00 - 00:20:00]
- 蒸馏与持续学习的难题 [00:20:00 - 00:30:00]
- AI研究自动化与目标定义 [00:30:00 - 00:40:00]
- 如何构建可训练的真实环境 [00:40:00 - 00:50:00]
- AI研究中的数据与信息瓶颈 [00:50:00 - 01:00:00]
- 部署数据与环境设计 [01:00:00 - 01:10:00]
- 缩放定律、数据和计算瓶颈 [01:10:00 - 01:20:00]
- 强化学习的收益与代价 [01:20:00 - 01:30:00]
- 从远程员工到超级智能 [01:30:00 - 01:30:10]
递归自我改进为何可能受限于泛化
Dwarkesh Patel：今天我和三位做AI研究的朋友聊聊,每次跟他们交流我都学到很多,而且他们刚好都在相对开放的实验室和公司,所以可以公开聊很多东西。跟我坐在一起的有Xyphra的CTO Beren Millidge,他们正在做开源模型。还有Thinking Machines的首席科学家John Schulman,他之前是OpenAI的联合创始人,带队做了ChatGPT背后的RLHF, 也就是基于人类反馈的强化学习，以及Base10的模型训练负责人Charlie O'Neill 我的第一个问题是，如果我们到了2036年，过去整整十年，却没有满大街跑着数十亿个疯狂的超级智能，也没有从根本上重塑整个世界，那导致这种情况最可能的原因会是什么，抛开外生政治冲击，比如爆发战争，或者他们把AI禁了之类的
Beren Millidge：从技术角度看，最可能是什么原因，导致2036年没有变成那种，充满不可思议的，外星级超级智能的世界，我觉得我的理由会是，肯定有点像一直以来的经典现象，差不多就是莫拉维克悖论 [00:00:50]
John Schulman：对吧，我们总觉得只要AI能做到某件事，它就会强得不可思议，对吧，比如说是它能解开这些高难度数学题，要是能下赢国际象棋等等，结果它真的做到了，带来的影响却好像没那么大，显然它确实有一定影响，但没到改变一切的地步，要是这种情况一直持续下去，真正的泛化火花始终没有出现，我觉得可能就会变成 AI对人类放进基准测试，放进环境里的所有东西都极其擅长，但依然存在某种挥之不去的sim-to-real 也就是从仿真到真实世界的迁移问题，把一切都卡死了，我觉得这种可能性其实不大，因为在实践中，我们甚至已经在强化学习上看到了这种泛化，但要是原学习的泛化就是难到离谱，加上我们又解决不了持续学习，就是超级难，根本不可能解决的话，那这种情况就会是我的默认推测 [00:01:03]
Charlie O'Neill：对我同意这点，现在人类相比模型还有很多优势，每次新模型出来，在某些领域确实能赶上来一些，但你最终还是会被模型偏弱，判断力较差，或者模型没法很好做自我教验的地方卡住脖子，没错所以一直在重复这种循环，新模型一出来，大家都惊呆了，觉得就是它了，这就是通用人工智能 但用上一阵子，差不多过了一个月，就又开始觉得它笨了，这个循环可能还会一直转下去，很难预测它到底要重复多少次，就像现在能力并没有出现爆发式增长，因为你在做研发时，依然会被各种瓶颈卡住，哪怕模型写的代码比人多得多，它也没让你凭空多出100倍的生产力，不过是这样，可能这种循环的次数，会比我们预想的还要多，对我来说问题在于 芯片上能实现的全局最优学习器，跟Transformer加强化学习，这种当前的基础配方之间，到底差了多远，我觉得大家想象的是，哪怕一旦有了一个，在做AI研究上，比所有人类都好的智能体，哪怕只比所有人类强0.1% 只要你能并行跑几十万，甚至几百万个，而且芯片性能不断提升，还能跑得快得多，这种优势就会压倒所有其他瓶颈，最终靠递归自我改进，直接迎来飞快的起飞，我完全可以想象，如果我们顺着当前范式的轨迹走下去，基本就只是自助一力强化学习，再加上把强化学习环境规模做大，想想摩尔定律的发展历程，对吧，我们曾有一条非常漂亮的直线，而且维持了非常非常久，但中途必须经历很多离散的突变与创新，才能把这条缩放定律维持下去，在LLM身上其实也发生了类似的事 比如我们之前有预训练的缩放定律，后来有点快碰到收益递减了，接着我们搞出了强化学习，解决了它，然后又迎来了一条新的，收益递减曲线去冲，才让它看起来继续像一条，往上走的直线，所以要是必须再来一次这种，非连续的断裂创新才能突破，我不太确定，靠目前用这些强化学习环境，训练LM的办法，甚至哪怕是专门针对RSI 也就是递归自我改进的，强化学习环境，到底能不能发现那种断裂创新，如果发现不了，我们大概就会撞上一条，渐进线曲线，不好意思，但你觉得这种断裂创新的难度，会比2012年以来出现的任何东西都大吗，要是我们知道答案，那我们差不多就有能力去实现了，但或许我们应该区分一下，有一种断裂创新是在当前范式上做叠加，它同样是累积性的，就像强化学习之外 还有某种东西需要我们去发现，也许模型有能力顺着那条直线，把这些点串起来，但话又说回来，我们距离全局最优到底有多远，我们是不是得倒回去，把梯度下降，甚至把整个神经网络都扔掉，我觉得如果只是继续，把当前的范式做大规模，一个LM 哪怕你跑再多的LM 只要距离太远，也未必有能力发现那种东西 [00:04:37]
Dwarkesh Patel：对唯一的希望其实是，除非深度学习，根本无法让我们做出一个，至少能在人类研究和开发上，彻底压制人类的AR 包括人类提出新范式，等等的能力，或者说我也不知道，也许人类自己，永远发现不了下一代学习架构，只要这种架构，是在人类最终能发现的范围内，但看起来我不知道，只要看看2012年到现在取得的进展，然后顺着这个势头推下去，我知道这背后是，庞大的算力扩张等等在支撑，但要是它根本走不到，在研发上至少压制人类的地步，那才奇怪，尤其是未来几年里，会有Ryan Greenblatt 最近上了我们节目，他提过一个观点，你可以想象，随着AI能力越来越强，他们有能力在各种模拟中取得进展，而这些模拟不仅激励他们做好AI研发，也激励做好泛科学研究 所有实验室都在朝这个目标走，很多初创公司也在做这个方向，或者另一个直觉梦是，看看80年代以来国际相机机器人的一楼分数，随着时间推移几乎就是非常线性的上升，但就在一楼线性上升穿过人类区间时，出现了一次巨大的断裂，从人类专家逢AI必赢，变成了人类专家逢AI必输，你也可以这么想，我同意你的观点，到目前为止 AI的能力在世界最终经济影响上，确实还不算什么大事，但这只是因为他们相对于人类的一楼，还在慢慢往上涨而已，对是的，我同意如果不发生会非常奇怪 [00:05:54]
John Schulman：我的意思是，这种情况不发生的唯一可能，就像你说的，是在那之前就提前进入了渐进线，因为在我看来，我们距离开始跨过，人类一楼分数已经相当近了，所以它必须在这之前就趋于平缓，在你设定的场景里，到2035年我们坐在这儿，发现一切都很普通，我觉得只有这一种可能，对还有唯一的另一种可能，就是对AI实施了某种极其严厉的监管，其实相比技术层面的问题
Charlie O'Neill：我觉得这反而更有可能是导致那种场景出现的原因，对我觉得研究也分很多种，有这种那种偏自动化研究风格的研究，它的目标已经被界定的非常清晰，哦确实，然后你去优化那个目标，我觉得大家都在设想，如果我们沿着这条路继续走下去，比如让预训练Loss降下来，搭建强化学习环境，把奖励信号做上去，这就会带来提升，但是也许Ryan说的是那种，更加开放式的科学，那才是范式转变所必须的，在那种情况下，我们没法明确设定目标 AI显然也同样没法设定那个目标 [00:06:58]
Beren Millidge：对于这些事情里的任何意见，我们怎么设定目标，都必须非常非常谨慎，也许你的意思是 2012年以来出现的突破本质在于，我们找到了，比如在2012年
Dwarkesh Patel：大家并没有在说，或者我猜，我不知道你们当时都在，至少John你当时就在，但我没在，我当时还在上小学，其实John 我很想听听你这个，当年身处一线的长辈的远见，但大概一个重大的突破，就是意识到，预测下一个token才是，比如你在2014年，根本想不到NanoGPT速通，是需要去优化的目标，但既然我们已经进入了，这个新范式，那就你根本想不到，要在这上面做速通，让AI在这方面变得非常擅长，但可能还存在，下一个内循环需要去优化，而AI是预料不到的，还有一个 [00:07:50]
Charlie O'Neill：类似收入之类的外循环，最终应该会很强，但它是一个非常慢的外循环，对，其实我记得在OpenAI早期，我有一种直觉，觉得仅仅最小化对数损失，并不能带你走向智能，因为关键的信息，在整个loss里占比太小了，感觉会被噪声彻底淹没，所以光是在预测，下一个token上训练语言模型，根本学不到，你想让他学到的有趣东西，我们需要设计更好的目标，把更多权重放在重要的事情上，你可以为此提出，各种各样的论据，可以说人类，大概就不是这么学习的，我们并没有学着，给环境中的一切建模，我们做不到，大多数人根本没法，对看过的某种场景，做出照片及逼真的复现，所以肯定得有，我们肯定需要一个更好的目标，但结果证明它直接就管用了，就像你指出的那样，即便在当前的AI研究中 后训练基准测试，这类内循环，也未必能转化成，用户喜欢的东西，没错，整个领域非常依赖泛化，而你很难预测，什么时候能得到泛化，或者什么时候能得到，某种分布外泛化，所以我们知道，如果你在你关心的任务上训练，效果就会更好，但最重要的进展，往往是我们根本没有理由，去指望的那种泛化，比如仅仅在非常朴素的预测，下一个token目标上，做预训练，就能泛化到各种，我们感兴趣的任务上，而有些任务需要，对输入有某种深层理解
从仿真迁移到真实世界
Charlie O'Neill：对输入有某种深层理解，或者在预训练中，学到某种非常罕见，出现频率很低的技能，然后还能从这些可验证的任务，泛化到不太好验证的任务上，这也是一种从鲜艳上 [00:09:58]
Dwarkesh Patel：没有任何理由去指望的泛化，对，所以这是个很有意思的问题，因为有一种直觉梦，能解释，为什么甚至不用扩大出了 AI人力以外的投入，你就会非常快的看到某种起点，那就是在运行，每一次七位数的实验之前，你花等量的算力，在AI人力上，这样你就有了自动化版本的，你们花上一个世纪去思考，到底该做什么实验才是最优的，做一些小规模的笑容实验，真正建立起相当于一个，世纪积累的理论，甚至可以回溯到深度学习之前，再来决定做什么实验，把实验搭建的极度优化，然后实验结束后，你再思考一个世纪 [00:10:12]
Charlie O'Neill：去分析发生了什么，以及下一步该做什么实验，对不过我觉得，如果你思考的足够深入，大概事先就能预见到，其中的一些事情，比如大概会有某种非常巧妙的方法去做小规模实验，让你建立起理论，然后泛化到大规模实验上，所以我觉得我们能把研究做到多好，离天花板还远得很，而且我能想象这样一个未来 AI会做大量的分析和理论构建，花在做各种分析，围绕我们目前看到的现象构建理论上的算力，跟花在实验本身的算力相当，我觉得当目标界定的很清晰的时候，确实有很具体的例子 所以再说一遍，思考所能做的，不过是根据你建立鲜艳以来，获得的那些信息，去修正你的后眼，光靠思考，你不可能凭空获得任何新的信息，但当目标界定的很清晰，而且现成的数据就摆在那时，我想我们当前的范式会出现巨大的加速，一个很好的例子是，如果你让AI去思考Kaplan缩放定律，放到现在 AI早就注意到了，他们只是取了这些中间checkpoint 没有把退货考虑进去，所以这是错的，这样就会提前好几年发现那个问题，光凭AI的那一次观察，我们就能把进度缩短一到两年，同样一旦目标界定的很清晰，也就是把预训练loss降下来之类的，就有很多很好的例子，只要稍微多思考一下，就能大幅减少走过的弯路，比如Mupi 比如学习率如何随模型大小扩展，以及意识到模型宽度在其中也很重要 我觉得你完全可以推导出很多这类事情，把大量低垂的果实一网打尽，如果我们的目标只是最大化当前手头的这个目标，我觉得能提速十倍，馋 [00:12:28]
John Schulman：但我完全看不出这要怎么泛化到一开始就找出正确的目标上，光靠思考并不一定能让你一开始就得出正确的目标，对，我觉得对于从当前AI发展出任何形式的急速RSI来说，这确实是最核心的问题，就是AI到底能多好的泛化到自己摸索出目标，因为要形成某种能自我推进的自动化循环，你得让AI提出目标，优化目标，搞清楚之后再提出新目标，而且还要让这套循环在很长很长时间里都不脱轨，回到莫拉维克悖论，这可能就是莫拉维克悖论的一种体现，我们觉得这种自主性，这种能够自我封装，自己想明白该做什么，然后去执行，并跑通循环的能力超级简单，因为我们一直就是这么做的，而且很明显，进化必须创造出能够长时间独自生存的生物，而这可能恰好由于某种原因对AI来说极其困难 就像运动控制能力极其困难一样，而数学对我们极其困难，对它却超级简单，不好说，时间跨度变长难道不能说明，你确实会这么想，没错，我是说这算是另一种可能性，但我同意，并没有明显的证据支持这一点，事实上，现在的强化学习agent超级能坚持，而且做这个相当容易，这其实算是一个反面证据，对，但如果这确实很难
Beren Millidge：那可能就是我们迟迟没看到，立刻起飞的原因之一，如果从2012年回顾到现在，或者从你开始做研究回顾到现在，从那时起发生的所有创新力，包括纯工程上的，纯概念上的 [00:13:58]
John Schulman：哪一部分看起来会是AI 彻底把AI研发完全自动化之前，人类必须做的最后一批事，可能就是不断迭代着提出正确的问题，比如你能让AI做任何实验，但你得决定做什么实验，现在我觉得AI在这方面，相比给实验写代码，完全算不上擅长，每当我们聊起研究，他们就会提出一堆零碎的东西，全都是非常非常微小的步骤，甚至是像从D-Mind的路子走过来 [00:14:11]
Charlie O'Neill：也就是我们要通过学会打游戏，达到超人水平来解决智能问题，那曾是认定的路子，再到像Redford这样的某个研究员，说比如我就尝试去预测，下一个token 基于范围极其广泛的数据，甚至在Redford发现那一点之后，对吧，人们也过了挺久，才决定去扩大规模，因为我们得先想出，缩放定律的概念，以及你能够非常可靠的，预测这些事情，这一事实，对 对，我觉得人类的最后一份工作，或者说能留存最久的人类角色，就是定义目标，决定我们到底想要什么，顺着这个思路，比如决定AI助手，应该如何表现，或者有帮助，到底意味着什么，或者我们做基于人类反馈的，强化学习式目标，究竟是什么，这就是其中一件事，然后后面像定义宪法和模型规范，也是另一件，我觉得就算AI能做完所有的技术工作，我们还是得做很多这类事情，去决定我们到底想要什么，对对其就是最后的工作，对对其算是一个答案，但对其本身也可以拆解，拆解成明确目标，或者想清楚正确的目标应该是什么，然后是真正实现或优化你定义出来的目标 我觉得第一项短期内根本不会消失，如果想想后训练团队，想想为什么团队需要那么多人，纯粹是因为有很多不同的领域，你必须弄清楚模型在每个领域应该如何表现，根本没法把整套东西全自动化掉，因为必须有人去思考，模型在这个领域应该怎么表现，模型提供商为什么没有出现大规模集中，这背后的逻辑是什么，这里有太多迹象都指向了中心化，如果拉长时间线，看好几年的跨度，会不会有什么东西会阻止这种趋势，对我觉得蒸馏是对抗中心化力量的主要因素，因为基本上任何能通过强化学习，学到的东西，都能极其容易的蒸馏出来，因为它的信息量很小，属于从少量数据里就能学到的东西，只要你能从模型拿到展现某种行为的轨迹采样，就能轻松把它蒸馏出来 所以我觉得蒸馏是对抗中心化的因素之一，另外我是说也存在一种可能，就是会出现特定于公司的模型，可以通过部署过程去学习，让一家公司不断改进自己的模型，这样的系统可以由当前处于寡头垄断的模型提供商来提供，也可以由目前规模较小的其他公司来提供，但我认为这会在一定程度上改变游戏规则 [00:16:50]
John Schulman：对我还想指出的是，持续学习和RSI并没有阻止蒸馏对吧，哪怕你的模型每天都在进步，大家也可以每天去蒸馏它，所以这两个循环完全可以按同样的节奏运转，对有道理
Dwarkesh Patel：好那复制模型行为，我觉得你自己得知道什么样的prompt分布是合适的，才能引出相关的模型行为，对，单靠监督学习来蒸馏的话 prompt分布极其重要
Charlie O'Neill：所以蒸馏一个模型非常不容易，哪怕你能完全访问它，拿到思维链和所有东西，对，想从中蒸馏出所有有用的能力，非常不容易，因为你得用东西去prompt模型，而且得用符合现实的prompt 你得有一个覆盖面非常广，符合现实的prompt分布，所以最近传出的一个情况是，一些中国公司可能在使用这些路由服务，这些服务本来是为了让中国用户，能用上美国前沿模型，否则这些模型在中国是被封锁的，但有这些路由或代理服务，让中国用户能用上这些模型，主要是用来写代码，而这些路由服务正在收集并出售部分数据，所以我认为这对蒸馏来说，是一个非常有用的数据集，因为它给了你完美的prompt分布，对我觉得在这种事情上 AI能帮上很大的忙 [00:17:43]
John Schulman：如果你去看看中国模型，在论文里公开的前沿流程，很多都是靠人工，或者从某些地方获取种子prompt 那是人工和这类数据的结合，然后他们用现有的模型，或者其他前沿模型，基于这些种子prompt 合成出极广的覆盖范围，所以这种prompt分布的收集，和环境的创建，很多都可以自动化完成，只是人类需要提供的信息量，越来越少了，就像是模型越来越厉害了 [00:18:36]
Beren Millidge：或者不好意思，但感觉你依然受限于，是否有这样一个拥有用户，或者用户在使用的服务，对，所以像是，不一定，我是说对这显然非常有帮助，但理论上你完全可以直接去琢磨，用户想要什么之类的，不，但是，很多任务，核心问题在于我们不知道，用户会说帮我做个这样的应用，哎呀，没跑通，其实我想让你做这个新功能，不过算了，我们退一步做另一件事吧，而捕捉到整个轨迹才是关键，或者说如果你本来就能做到那一步，那你其实就已经有了RSI 对我是说归根结底，如果你有这样一个全自动的闭环
John Schulman：那基本上就是RSI了，对吧 AI来决定数据 AI来决定训练，那就是那个闭环，不过对我是说，这取决于你需要多少人类提供的信息，到某个节点，如果你只是说，我想要长成这样的轨迹，你把这个当prompt位给模型，模型就能给出一个相当不错的近似
蒸馏与持续学习的难题
John Schulman：模型就能给出一个相当不错的近似，但如果你想做的是，比如帮我塑造一个非常优秀的政客，他必须从零开始去预判 [00:19:58]
Beren Millidge：比如参议院大厅里的讨论会怎么展开，我只是觉得会有很多事情是，讽刺的是，我觉得做征流的人处理，这个反而比前沿实验室更容易，对吧，对，因为做征流的人只要说
John Schulman：我想要一个优秀的政客，他们直接去找前沿模型，前沿模型本来就知道，怎么当一个优秀的政客，所以他直接生成那些轨迹就行，而如果你真想造出，第一个具备这种能力的模型，你必须想办法拿到，政客日常在做什么的数据，然后去构建，所以直接说，我想要类似这样的东西，然后让AI去生成11种变体，其实比丛林把这个东西，创造出来容易得多，基于中国实验室拥有这种，路由数据这个观察
Charlie O'Neill：我觉得其实可以做出，一个非常具体的预测，最初引发这个讨论的是，我之前说Sonnet 5和Opus 5 几乎在客观上比GLM 5.3 Kimi K3这类模型要差，这难道不奇怪吗，即便他们不仅能进行蒸馏，还能从Methos那里进行逻辑蒸馏，当时反驳的观点是 Prompt分布真的非常非常重要，你必须看到用户在做什么，才能把这些行为和东西蒸馏进去，我觉得由此得出的预测是，前沿实验室在强化学习环境上，现在不一定还有多大优势，甚至可能完全没有，因为确实用户分布对一般行为等等很重要，但衡量能力的最佳标准，是你在前沿搭建的，那些非常非常难的强化学习环境，所以如果Anthropic 拥有那些强化学习环境，又能做逻辑针流，却依然做出了一个更差的模型，那可能就是了，那就说明真实世界的部署 [00:20:47]
Dwarkesh Patel：比环境更重要，这倒挺有意思的，不过他们最初在Fable 或前沿模型里，是把这些能力激励出来了的，所以奇怪的是，他们没办法再次，把这些能力激励出来，或者在小一些的模型上 [00:21:40]
Charlie O'Neill：做不出来，可能我们正处于这种奇怪的恐怖谷里，过于努力去复制那个前沿模型，学生和老师之间的差距之类的，实在太大了，我觉得有人在谈到OPUS时就提过这点 OPUS 4.6和OPUS 5的区别在于 OPUS 5感觉非常像有个AI评审员，在检查他做过的每一种可能的事，所以他才会消耗这么多token 他试图去考虑所有这些事情，但他不一定具备Fable那种大模型的味道，能知道什么时候该停下来，或者哪条路才适合走下去之类的，心有余而力不足，对，我想提出一个略有不同的假说 我觉得可以为你构建的环境，划分出几个不同的维度，其中一个是难度，另一个是真实度，构建很多高难度的环境，相对来说比较容易，那些只涉及去做复杂的多的任务，或者需要发挥更多聪明材质的任务，你可以说这就是刷榜分布，因为很多最主流的基准测试，其实就是做一些非常难，像解谜一样，但容易验证的任务，然后还有一个真实度维度，你希望模型在真实的编程agent场景下，表现出色，其中涉及与人类的多次来回交互，而且有多个目标，我觉得那些首次塑造模型行为的实验室，需要在这两个方向上同时发力，要获得良好的模型行为，你必须在真实度维度上下大功夫，并且要有评分细则，或某种人类反馈，来指导你在那里使用的奖励函数，但我觉得如果你只是天真的去做蒸馏 最终差不多只是在刷榜分布上，去匹配老师模型，但如果你没有足够多的环境，来在这些更棘手的真实场景中，真正锻炼这些能力，你没办法把它们输入到你的学生模型里，我觉得可能发生的一件事是，大模型能更好的，从那些棘手的窄任务，泛化到这类更真实的任务上，所以如果你有一个非常棒，真实的蒸馏PROM分布，你就能很好的匹配大模型，但如果你手里只有这种容易验证的任务分布，那你能在所有基准测试上匹配大模型，可是在这种更宽泛的分布上表现就会更差，这甚至可能解释了 Anthropic较小模型的一些情况，比如Sonic 5 尽管很难准确预测，他们到底在怎么对那些模型做后训练，也可能是因为他们总在调整后训练，技术战在其中一些模型上 正好搞错了几个地方，比如把某些东西调得太高，制造出了一些大家非常，不喜欢的古怪行为，所以在后训练里出点差错其实非常容易，而且基准测试里，还看不出来，另外一个非常基本的点在于那些前沿AI实验室，都是从大数据公司买数据，而中国方面也可以
John Schulman：直接从数据公司买到同样的数据，他们也确实在买，确实，就是这样，很多人对此感到恼火，但如果他们拿到了完全一样的数据，他们能买到这些，也能做蒸馏
Dwarkesh Patel：这就意味着想跟上其实挺容易的，对，好，我的另一个问题是，第一批有能力自动化AI研发的模型，实际上会怎么训练出来，因为存在一个玩具版本，就是Ryan之前说的那套，让GPT-8去尝试构建GPT-3大小的模型，让他们非常擅长打通，需要持续学习的电子游戏，这类内循环挑战，或者用最少的算力，达到某个loss之类的，但张我觉得你提过一个，很有意思的观点，说实际情况可能不会那么发展，那我很好奇，到了真有AI能够，自动化AI研发的那一步，他们大概率会是怎么训练出来的，对我觉得我们大概会把，这两种方式结合起来 [00:24:51]
Charlie O'Neill：一方面从人类反馈中学习，吸收研究员的审美品味，另一方面构建大量实操环境，里面包含做多步骤的研究项目，所以我觉得在实践中，大家会把这两件事结合起来，每一轮迭代就去修补，上一轮里看起来最糟糕的问题，研究员会大量使用这些AI 注意到它们存在一些固定的弱点，然后要么通过收集人类反馈，要么通过构建新环境，来把这些问题修掉 对有道理，换个有用的思考角度是，我们要把技术眼睛脉络，往前回溯多少，然后让它从那里开始自我博弈，在极限情况下，你想象的是直接给他们一块GPU 或许再加上神经网络之类的东西，然后跟他说，去弄明白怎么训练一个模型，来做这些特定任务吧，而目前的做法是，我们走到这套脉络的最前沿，然后说Anthropic在过去几个月里，在训练战中发现了这些bug 我们会把这些转化成环境，你必须去训练，并在前沿上变得更强，这样显然就锁死了此前所有的历史积累，但你也可以想象这样一种情况，你回溯到GRPO之前的节点，然后构建一些环境，试图让它去探索出，给模型做强化学习的最佳形式，然后再一步步往前回溯，但我认为我们依然会受到，严重的算力瓶颈制约，大家只会继续守在前沿 把上一版模型以来的bug 和所有改进找出来比对差异，并将它们转化为训练环境，这对于在模型代际之间 [00:26:52]
Dwarkesh Patel：保持数据的新鲜度也非常有好处，说到底，这本质上就是AI实验室内部的持续学习，通过环境和类似RLHF这种东西，把过去三个月的AI研究进展
Charlie O'Neill：重新蒸馏回模型本身，而且这确实是在蒸馏，对吧，这或许也是为什么，我们有些人会觉得它渐进收敛，就好像你总是在努力，把过去三个月的进展吸收进来，当然这些进展是我们贡献的
John Schulman：但里面仍然有人类在参与，感觉你只是在不断逼近，人类研究员所发现和能做到的东西，对，不过我觉得有一点得说，显然如果你只是在轨迹上做蒸馏，你永远无法超越它，但环境能达到的高度，可以远远超过人类的能力，比如设计一个，没有任何人类能解决的环境，非常容易，但AI显然依然可以去尝试解决它，所以这会是一条，超越单纯人类AI研究的路径，在RSI或者速通方面，你能举个例子吗，但比人类速通玩家做得还要快，对，我觉得尤其在AI研究里，非常容易定义这一类目标，比如你可以说 Loss得达到1.3之类的，现在没有人能做到 [00:27:26]
Beren Millidge：但这是一个极其可衡量，可验证的任务，如果AI做到了，那就太棒了，没错，比如做一个通关我的世界的，一亿参数模型，那可能太容易了
Charlie O'Neill：但比如通关一款复杂得多的游戏之类的，一亿参数的模型通关，我的世界，我们居然说这太容易了，这难道不疯狂吗，想象一下要是你在五年前这么说，不过我觉得很多研究 并不完全是那样的，不是在一个定义明确的目标上爬山，它有点更像是，我们对模型应该在某些方面，变得更好，有一种直觉，然后我们对某个，似乎能朝这个方向迈出一小步的算法，也有了一些想法，于是我们设计一个任务，专门用来检验这种方法，是否有一线生机，看看能不能看到起色，如果看到了
Dwarkesh Patel：我们就可以把这个任务，做得一步步更接近真实场景，对，它更受直觉引导，然后内循环是去引出，或者检验那种直觉，而不是测试本身带来了这种洞察，没错 [00:28:54]
Charlie O'Neill：你并不是在直接，优化你最终关心的目标，或者实际生产中的目标，这有点像是在稍微放宽你的目标，你相当于在说，在真实感这个维度上，稍微放宽一点，先找到一些确实有效的方法，等方法成熟一点之后，再去回归真实场景，对，还有很多研究更偏向于去解释现象，发展出一套理论，在机器学习里，我们通常没有预测性那么强的数学理论，但我们有很多更偏非正式的理论，来解释底层到底在发生什么，对大概模型会基于所有
John Schulman：这些任务的某种组合来进行训练，有些会非常容易验证，有些会用LM评审员，或者直接去问人类，这看起来合理吗，然后期望会是，这些都能泛化到那些更困难
AI研究自动化与目标定义
John Schulman：这些都能泛化到那些更困难，更模糊的任务上，可能在某种程度上，确实会泛化，但它能不能泛化到，让整个闭环完全自闭合，根本不需要人类参与，这还不清楚，对 [00:29:58]
Dwarkesh Patel：也许退一步说，我觉得，在我看来，未来AI研究的规划，是这样的，你可以说说，你觉得这能不能行，或者你是否认同，这种描述，大家压住的是，我们会在，数百万个不同的环境，数百个不同的领域中，扩大RLVR训练规模，而最终涌现出来的，会是一个agent 他学会了坚持不懈，能够在上下文中，甄别筛选信息，最终具备与其他agent 协同工作的端到端优化能力，诸如此类基础，或超越基础的技能，这样的agent在上下文内，会具有极高的样本效率，你做过关于，如何真正扩展上下文学习，让它变得任意场的研究，而大家还在继续扩大规模，最终出来的产物，基本上就像一个，能直接顶上的远程员工，能持续工作一周或一个月，首先 你认同这是各大实验室正在下得住吗，其次，这够吗，基本上就是，在数据中心的这些拟真环境中，学会如何学习
Beren Millidge：然后部署到真实世界中，但并没有真正从真实世界的部署中学习，而只是从数据中心的仿真环境中，学习这些原技能，对，我觉得现在很难区分实验室
Charlie O'Neill：到底有多少精力花在直接做RSI上，又有多少花在打造通用智能模型上，好让他们能继续部署来获取收入，为下一次大型训练筹集资金，对，我觉得对于后者来说，是的，这大概就是他们正在下的，过去几年这些环境的发展，走向是非常清晰的，比如Anthropy的一系列环境演进，就是一个非常明显的例子，最开始我们只专注在代码上，要把代码做得特别特别好，然后我们从写代码中获得了任务跨度，就互联网上可用来构建环境的数据而言，这可能是最容易摘的果子，比如他们自己内部的东西，就能转变成环境，然后我们要去泛化，下一步要攻克金融，在强化学习训练里塞进大量的Excel数据，和各种相关内容，再然后是做PPT 是整个实体职场经济的常委任务，而且那看起来效果非常好，很多其他实验室 [00:31:29]
Dwarkesh Patel：我觉得甚至是开源实验室，现在意识到那是压对了，但那意味着什么呢，之前Darrel上播客的时候，我问过他，如果你真的期望模型具备，像人类一样边干边学的能力，那你为什么还要费尽心思，把做PPT之类的技能全都固化进去，难道你不觉得模型在实际部署使用时，就能自己学会吗，所以有几种不同的解释，一种是我们预期模型很快就能做到，但目前还没到那个水平，那为什么不把这些技能分摊进模型训练里呢，另一种是我们并不专注在，让他胜任广泛部署的日常工作上，我们只是想让他在RSI上特别厉害，而做这些只是为了赚取收入，把钱重新投回真正擅长做RSI研发的模型里，然后一旦起点到来，最终出来的那个东西 就会特别擅长解决所有卡住当前这一代模型的瓶颈，张安如果最终路径是这种泛滑，不知道你怎么看，模型里为什么会有这么多特定任务的知识，对
Charlie O'Neill：要是模型在上下文里，学习的能力足够强，那理论上，你就不需要用金融数据，去训练他们，他们自己就能弄明白，现场把所有的书全读一遍，然后琢磨出该怎么，怎么在对应的司法管辖区，把所有事情办好，你也可以说，做大量这种特定领域的训练，只是为了让他们效率更高，所以就算他们聪明到，可以现场琢磨出来，你可能还是想做一大堆强化学习，把这些直觉固化进权重里，这样模型在运行时效率就会更高，在实践中，模型提供商确实像是，在一个领域接一个领域的推进，努力在价值最高的领域，把模型做强，我觉得这也是模型，为什么进步这么大的原因之一，就是因为模型提供商，已经覆盖了大量高价值领域，和最常见的技能类型 [00:33:25]
John Schulman：我觉得另一方面，也是因为两件事同时做，其实没那么贵，对吧，因为模型非常庞大，从参数容量来说，他们完全装得下，把所有东西都学一遍，而且很可能会有一些迁移，甚至就算金融领域的具体信息，对RSI来说并不重要，那种通用的原学习能力，比如怎么搞清楚什么重要，怎么培养品位，怎么做长时间跨度的工作，也是有用的，明白了，可能也是可以泛化的，而且世界上本来也没有那么多RSI数据，这种数据挺难生成的，需要花很多精力，所以要是你能把其他这些数据分摊进来，从中获得一些迁移效果，反正你已经有了海量算力，和巨大的参数空间
Charlie O'Neill：那为什么不在做的同时，顺便把它卖出去，获得直接的商业回报呢，有道理，我想补充一点，大家也有一个疑问，就是目前这种做sim2real的范式，到底会不会永远占据主导地位，基本上就是，你看现实世界的任务是什么样的，然后试图构建一堆，可以在数据中心里模拟的环境，在上面做强化学习，显然这非常成功，但它也有很多短板，因为很多东西就是很难模拟，尤其是涉及到和很多人实时交互的时候，所以确实有人怀疑SyntoReal会不会永远是主导框架，我觉得在样本效率还比较低的时候 SyntoReal必须是主导框架 [00:34:55]
John Schulman：因为现在你需要和人类进行成千上万次交互，没有人会坐在那陪你折腾，也就是充当强化学习训练回路里的一环，所以现在只能靠模拟来获取需要的样本，不过显然要是样本效率大幅提升
Charlie O'Neill：在实际部署中学习，就会变成重要的多的部分，其实你还可以做别的事情，比如做一策略学习，你可以拿到所有的轨迹，哪怕不重新模拟所有事情，也有可能从中学生出一些东西 [00:35:48]
Dwarkesh Patel：我想就这个多问两句，因为有50%的算力，花在推理上，却没有直接帮模型变好，这感觉挺奇怪的，你看大家预期数字心智，最终会具备的一大关键优势，在于人类最多，只有50年的现实世界经验，而一个模型通过它所有的实力，可以在整个经济体系中，各种有经济价值的工作里积累，我不知道几百万年的部署经验，而眼下那些数据，并没有在真正意义上，帮助模型变得更好，最终模型理应能从这些数据中学习，这看起来太显而易见了，而且一旦他们做到了，你就会看到一种，几乎像是大规模铺开的智能爆炸，因为模型在从所有这些
Beren Millidge：部署的实力中吸收海量的信息，但你预计这种风群，思维式的疯狂事情，什么时候会开始发生，我是说我觉得大体上，在非常基础的层面上，这已经在发生了，对吧，比如直接体现在下一代模型里
John Schulman：所以眼下你显然可以拿部署数据，把它放进未来模型的预训练，或MID training里，尤其是当你对其做某种过滤，某种判断或标注，或者某种近期的合成处理时，你觉得这在多大程度上，解释了模型代际之间的提升，我觉得能解释相当大一部分，尤其像是，我是说，我不知道那些大实验室，是不是这么做的，因为理论上，他们声称，不会拿用户的数据来训练，但中国团队绝对会这么做，而且他们显然通过部署，确实获得了这个优势，这基本上就是征流的做法，他们拿别人的模型，获取对方的一些部署数据，通过调用模型，拿到其中的一部分，然后拿这些，去训练自己的下一代模型，而且他们突然也能，在自己的模型上这么做了，完全没有理由不这么做，我完全同意这一点，我觉得如果把视野放得足够大，这绝对在发生 [00:36:55]
Charlie O'Neill：你脑海里设想的，我们大家设想的那种持续学习的终极圣杯，是一种非常非常有机，实时的闭环，单个模型获得一段经验，当场实时修正认知，并从中学习，当你稀化到那种力度时，很多东西就会崩掉，但是大实验室确实在这么做，闭元模型都在这么做，也已经出现了一些早期苗头，有人用开元模型以快得多的节奏在做这件事，一个很好的例子，可能就是composer 比如你有某种模型，而且你能够，或者像哈维在法律agent上，也在做同样的事，它正从你掌握的特定任务数据中，构建非常具体的环境，包括用户抱怨的问题，以及你以某种方式，从具体部署中提取出来的所有反馈，这些公司里有很多，比大实验室更有优势，因为他们能把这些数据用得非常好，然后他们会创建环境，对，他们会对Kimi K3 做一次大规模的后训练 接着去部署它，他们可能还会做一些在线学习，比如Composer长期以来，基本上一直在做在线reinforce 所以你看这里面依然有人工参与，依然有人在说，好这些是我们看中的信号，我们要这样利用现有的数据来构建环境，虽然它的节奏可能还是比你想的那种要长，但它确实在发生 [00:38:42]
Beren Millidge：而且最终那个循环会变得越来越快，我是说Composer那个例子挺有意思，因为在Cursor里，针对模型给出的下一个补全建议，用户要么按Tab 要么不按Tab 基于这个Composer 每一天都在变得更擅长预测下一个补全，那是以前的Tab模型，他们其实对真正的生成模型，也做了同样的事，不光是Tab模型，哦那挺有意思，这很难
Charlie O'Neill：因为做在线强化学习的时候，你没有成组的数据，对吧，你只有一个用户说了一句话，然后你得到一条轨迹采样，所以你会面临很大的方差，缩减难题，科斯对此给出的，有点模糊的应对方案是，我们有一套，很好的启发式方法，能够估算这个回答，比平均水平好多少，或者比平均水平差多少，然后他们会做一次，大规模的reinforce更新，至于模型有没有变差，他们的解决办法是，只要在科斯Bench上的表现，有提升，他们每隔五个小时 [00:39:32]
如何构建可训练的真实环境
Charlie O'Neill：他们每隔五个小时，就会部署新模型，如果没提升，就把那个版本扔掉，有意思，对我觉得最大的问题，其实是，你根本不知道，来自自然数据的奖励函数，应该是什么样 如果你用某种表面信号，比如他们有没有接受代码或修改，那可能会在某种程度上，被奖励黑客搞垮，但在sim2real这件事上 [00:40:11]
Dwarkesh Patel：这似乎是个更大的问题，任务的时间跨度越长，在数据中心内部模拟起来就越难，对吧，在我看来哪怕单看写代码，我们可能已经在走向一个阶段，几乎不存在任何长达一年的编程任务，是最终不需要你去跟客户沟通，跟公司互动，或者跟用户打交道的，如果你想想，我们希望AI能具备的能力范围，你最终会希望超级智能能够经营一家企业，或者创立一家新公司并实现盈利，或者在市场上做日内交易赚钱，或者打赢一场官司，而这些都是在数据中心里极难模拟的事情，这种学习本身就不可避免的包含，与真实世界的互动，所以也许能通过SIM2REAL之间的迁移，原学习出怎么把这些事情做好，但另一种可能是，你确实需要通过这些真实的互动，来进行权重更新 才能在这些事情上做得更好，那如果是这种情况，如果迁移能力不够强，而你又确实需要权重更新，那么模型样本效率相当低，这个事实可能就是个更深层的问题了，我之所以好奇，这个是因为我感觉默认情况下，未来十年内，怎么可能不出现，某种疯狂的地归自我改进，但如果说有什么原因，会导致它没发生，那就是从权重更新，从权重更新的样本效率来看，它们似乎远远落后于人类，对吧，比如从一个人从出生，到成年看到的数据量，对比一个模型，从冷启动到完成训练，看到的数据量，差距可能有百万倍之多，所以说到底，首先在仿真和我们希望 AI在现实世界里去做的，那些时间跨度极长极其复杂的迫使之间 [00:41:18]
Beren Millidge：到底会不会有很好的迁移，如果不会，这是否真的意味着这些模型样本效率低的问题，会反咬我们一口，我觉得要区分模型能做好，和模型会继续感到吃力的这两类任务 [00:42:07]
Charlie O'Neill：关键可能在于这项任务是累积性的，还是你不得不面对这种非平稳分布，必须不断学习，并且反复重新争论一堆东西，累积性任务的一个例子可能就是RSI 理论上完全可能只用一个不到100万Token的Python文件，从零开始训练出一个能够进行地归自我改进的模型，而且你取得的每一个发现都算是一道被守住的底线，如果对于RSI来说，我们确实不需要去发现某种新的注意力变体之类的，那么一旦你发现了注意力机制，接着发现了混合专家模型，再发现了JRPO 你就直接把它们加进训练站里，它们就在那了，一个很好的例子就是5.6 是要去训练5.6TERA 或者OpenAI让它去训练的随便哪一个，他不需要回过头去重新发现注意力机制，他基本上大概就是调用了一堆，类似Protraining Ash和Post Training Shit的脚本，然后就这么跑完了，这就是一个累积性任务的例子，我觉得真实世界的情况 也是大家现在这么关注持续学习的原因，就在于它根本不是一个累积性的任务，你想想在一家律所里，你让一个agent去当初级律师，那是一个非常非平稳的分布，你必须能在上下文里装得下，那家公司所有重要人物之间的，全部人际关系，而这些关系随时都在变化，你还要面对做事方式，去哪找资料等各种潜规则，它可不像RSI那样，是一个清爽的累积性任务，所以我觉得任务之间，会有这种分野，但要是实验室意识到了这一点，而且他们确实相信 RSI是累积性的
Beren Millidge：也就是说我们不需要回头，去发明某种全新的架构之类的，对，那也许越来越多的精力和算力，就会集中到这上面，而不是去做那个，真遗憾 RSI居然偏偏比做初级律师还要容易 [00:43:48]
Charlie O'Neill：不知道你们对这个怎么看，我觉得今天的模型在很多不同的方面都比人类弱，其中一部分可能与特定区间内的样本效率有关，我是说在某些区间里模型的样本效率非常高，比如上下文学习，但在某些中等长度的区间里，他们的样本效率可能就比较低，因为人类能比模型更高效的完成某种权重更新，所以我觉得在某些区间内，样本效率更低，可能是弱点的来源之一，但我认为还有其他跟这个完全不同的弱点来源，比如思维的多样性比人类低，或者在某些长时间跨度的判断上表现很差，我觉得人们所说的品味，很多时候是指那种从长远来看行之有效，而且人们已经意识到，他从长远来看行之有效的行为，虽然不全是指这个，但品位的某些方面 尤其是像软件工程这样的事情，我觉得很大一部分品位就在于，哪些系统是具有可维护性的，以及能在这个项目的长期运行中表现良好，所以限制RSI以及其他事情的人类弱点，有很多种，其中一些与样本效率有关，而另一些则没有关系 也许有一个挺有意思的思维实验，如果你能给模型，比如1万亿Token的上下文窗口，或者随便多少，只要能装下你在，比如RLHF 也就是基于人类反馈的，强化学习之前的所有经验，而且他在上下文窗口里，拥有了这所有的经验，样本效率和上下文学习能力，也跟100万token是一样，你觉得品位问题，就这么被解决了吗，他能做出跟你一样的判断吗，还是说除了拥有 相同样本效率的，更长上下文窗口之外，其实还根本性的缺少了某些东西，他必须先被训练，去从那个上下文里学习，所以我不确定，它要么必须被训练去，从那个上下文里 [00:45:45]
John Schulman：做出正确的认知修正，要么，所以你不认为，可以直接把你整个人生的，所有研究经验全灌进去，你还是需要数据来做，长上下文训练，对吧，哪怕你理论上，能拿到一万亿的上下文，你也需要一万亿长度的数据，来训练它，就像现在，你只有一万的上下文，你不能直接塞一百万进去，我只是问，如果你已经有了的话，理论上，我觉得可以，这其实完全可以归结为一个问题，品位这种东西，在多大程度上，能从时间跨度较短的片段中，原学习出来，而且我觉得没有明显的理由，认为它必须非常长，因为人类不知怎么的，在没有经历很多长周期的情况下，也培养出了品位，我们又活不到一万岁，我们成长的挺快的，对吧，所以你想想，哪怕是在读博期间，一个博一学生，和一个快毕业的博士后之间的差距，中间大概也就五年时间，他们总共可能也就做过 10到30个研究项目，但不知怎么的，他们通过相对较短的，一连串小事情，相当迅速地培养出了品位，所以理论上是有可能，这样培养出来的 AI显然会拥有，多得多的经验来培养品位，比如通过原学习，然后它在多大程度上，能泛化到真正长周期的事情上，我觉得这才是关键问题，而且目前确实还没解决，我们其实并不知道，回到这个问题上，最终应该会出现一种情况 AI能从自己部署的 [00:46:53]
Dwarkesh Patel：每一次单独实例中，学习到大量东西，而目前你可以说，存在某种模糊的宏观机制，让模型在部署中有所提升，但我觉得这是一个非常弱，非常微弱的反馈闭环
Beren Millidge：你觉得这种非常迅速的，类似风群思维的学习方式，会在近期出现吗，如果会，它具体是怎么发生的呢，其实我想说，关于我们会不会拥有一个，能从所有部署经验中 [00:47:34]
Charlie O'Neill：学习的风群思维，很大一部分，其实关乎利益驱动，而不是技术问题，公司不会愿意让模型供应商，从他们的全部部署中学习，因为那可能会削弱，他们自己的业务优势 我觉得这方面的经济利益，倒不一定会迫使所有更新，都集中到一个，庞大的通用共享模型上，反而可能会催生出一些，可替换的模块，一个非常明显的例子就是Lora 但也可以是别的东西，比如业界做了很多，尝试把任意上下文长度，塞进固定大小的研究，比如那些线性注意力相关的研究，还有微条插件包，本质上就是训练成高度压缩的KV缓存，用来容纳大量信息，这是另一个例子，如果只是把这类东西替换进模型，而不是真去改动底层的基座模型本身，公司可能会愿意买单，所以实时从数据中学习有很多种不同的形式，而后面这几种其实并没有真正帮到大实验室，因为它们就只是一些模块，但我认为经济压力会迫使大实验室，在走上这条路之前，先沿着那个方向走，你指的是哪种经济压力，因为我觉得哪怕 [00:48:01]
John Schulman：你有一堆微调插件包，或LORA之类的东西，你仍然可以直接把，所有这些轨迹拿过来蒸馏掉，直接倒进你下一代模型的，预训练里，对，所以大实验室获得的，可能是一种更间接的学习形式，而那对他们来说，显然依然非常有价值，但我无法想象，我们一开始就直接拿，收到的所有原始数据，去训练一个大模型，不，我觉得肯定会分阶段进行，因为那种想法，假定存在一个突变节点，让我们突然彻底搞定了，持续的权重更新，而在实践中，我觉得更可能是像微调，插件包这类东西，让你在部署中做专业化定制，然后生成轨迹，再把轨迹放进模型里，大概三个月后，你推出一个在这方面，更强的新模型，你再次对它进行专业化定制，再次进行整合，然后最终我们就会让这个循环，变得越来越快，所以不再是每三个月，发布一个模型，而是变成每周一次 然后每天一次，再到每小时一次，到那个时候，我们显然就已经基本解决了这个问题，对，而且我觉得这点说得很好，因为你之前问过以目前的范式，我们离实现这个还有多远
AI研究中的数据与信息瓶颈
John Schulman：我们离实现这个还有多远 [00:49:59]
Charlie O'Neill：我觉得我们对此做过一些研究，大家也在超大规模上做过大量研究，当你滤掉足够的噪声，拥有足够大的P4 这种把数据放进Mid-Training 创建我们自己的环境的外循环机制，在某种持续学习模式下，的确是行得通的，但问题在于，一旦你放大到微观层面，比如我手头有一个模型，想针对一家律所之类的场景，再去更新它，而且想用相对较少的数据，非常连续的去做，这时候所有的方法，就都有点失效了，所以如果我只是用成功轨迹，对模型做SFT 不管是离策略还是同策略，最终在高度迭代的状态下，当你做过几百次，这种微小更新后，你既会看到灾难性遗忘，看到极左模型更早前学到的信息被忘掉，也会看到通用能力和日常表现的退化，单靠同策略针流，似乎能把这个极限推得稍远一点 但最终还是难逃同样的结果，强化学习也不太擅长做这个，他擅长注入能力，但不那么擅长注入知识，比如这种非常具体的知识，某个人在这家律所里负责做这个 [00:50:54]
Beren Millidge：我们发现这是个非常特定的流程，你必须投入大量算力去构建合适的环境，才能把知识注入进去，你觉得这里的根本问题，也就是为什么其他技能会变差，或者出现遗忘之类的，本质上是模型容量的问题，还是技术手法的问题，两边都有一点，我觉得SFT甚至同策略争流的破坏性，都可能太强了，强化学习之所以那么好
Charlie O'Neill：是因为它对模型的改动非常非常小，有很多证据支持这一点，所以它差不多只是在极小的损失时，变动范围内去微调，好让它调整到合适的位置
Beren Millidge：但这也限制了你能用强化学习做的事情，也就是你究竟能对模型做出多大程度的改变，或者不好意思，你的意思是，这之所以可能不是赢家通吃，是因为把那么多信息
John Schulman：蒸馏进基座模型本身就极其困难，如果想在迭代过程中，不毁掉别的东西的话，不过把它蒸馏进，另一个不同的基座模型倒是很容易，这也就是为什么，我觉得主要还是技术手法的问题，绝对不只是因为容量不够，比如你有一个，包含了所有这些数据的模型，而你拿一个完全相同大小的模型，从零开始预训练，把所有这些内容都放进MID Training 它就会变得更强，而且我觉得现在很大程度上，就是这么做的，所以这很像是一个，瓶颈阻碍了我们，无休止地训练同一个模型，逼得我们只能从旧模型里，提取所有数据，然后从零开始训练一个新模型，这正如庄所说的，可塑性和灾难性遗忘的某种结合，因为随着你不断加入新数据，直接在非平稳数据上做训练，基本上就会扰乱数据分布，旧的东西就这样直接被遗忘了，我懂了，我懂了，而且我们其实没什么好办法 [00:51:55]
Beren Millidge：来阻止这种情况发生，所以说到了极限情况下，你的瓶颈可能就是带着所有这些新信息，从头重新训模型，对，这当然非常昂贵，从头训练一个模型是很贵的 [00:52:48]
John Schulman：但反正你本来也是要重新训的，那，倒也不一定，我是说如果未来有了持续学习，可能就再也不用训练新模型了，你只需要维护一个模型，让它不断学习，不断扩充，对吧
Beren Millidge：但可能存在某些深层的技术原因，导致这事非常困难，因为刚才说的那些，问题就在这，核心问题就在这，对，我觉得我们已经把需要从头训练的程度，往后推了很大一步
Charlie O'Neill：现在完全可以拿预训练好的机座，在上面持续做非常好的meet training 再加上训练后期，不同检查点拿去做的一些强化学习，这看着就更像持续学习了，但肯定还做不到拿最新的模型
Beren Millidge：做几次非常微小的更新，然后迭代下去什么都不会忘，可是我有点没搞懂，训练过程中不本来就是这样的吗，比如在后训练阶段，模型已经经历了大量训练，然后你再把某个进一步做了强化学习的分支蒸馏回来，实际操作不本来就是这样的吗，为什么会不行呢，我觉得是因为规模依然足够大，冲掉了大量的噪声，而且你面对的不仅仅是单一分布，正如白人所说，如果指定的单一任务，那就不是一回事了，这确实，但我是说在最终形态下，可能会有数十亿个，部署出去的实力，你同时从所有这些实力中学习 [00:53:41]
John Schulman：按理说也能把噪声之类的，冲掉不少，对吧，如果到那个规模，倒是有可能，对，我觉得就像我刚才说的，你确实可以做很长一段时间的，持续Mid Training 也可以回滚到某个检查点，为入新的Mid Training数据，但与此同时，你不可能无限期的这么做下去，如果一直拿同一个机座，不断做MID training 到某个节点就会趋于平缓，那个机座就再也学不进新东西了
Beren Millidge：这也是为什么大家最终，还是要训练新的机座，否则大家就会永远在同一个机座上，做MID training了，好我们现在来聊聊数据，我一直很关注一个问题，就是AI的进展
Dwarkesh Patel：到底有多少纯粹可以用数据的进步来解释，这并不意味着自动化数据处理一定很困难，不过那是另一个话题了，那么是否存在某种数据分布，只要拿现有的架构去训练，就能产出一个在每个领域 [00:54:56]
Charlie O'Neill：都彻底碾压人类专家的超级智能，我们聊的是预训练，加上后训练的数据，包括交互环境，我觉得这种分布肯定是存在的，问题只在于，我们能不能造出合适的环境，对我是说
John Schulman：往简单的说，我们可以直接训练它，输出一个Python脚本，用它去训练出真正的超级智能，直接让它把权重，死基硬背下来就行 [00:55:24]
Charlie O'Neill：确实理论上可能可以搭建出一架强化学习环境的梯子，顺着它就能训练出一个至少能比肩人类研究员的AI研究员，但往上爬每一步要付出的努力几乎都是成指数级增长的，这就是你必须权衡的两件事，它决定了我们到底要多久才能爬到最后一级台阶，也就是超过人类的那一级，我觉得这一点相当清楚，而且我觉得我们在搭建强化学习环境方面，其实还处在相对早期的阶段，我们为了造出好的环境，利用了大量的非对称性，其中一种非对称性，我们之前也聊过，就是有些环境逆向容易，正向困难，我的意思是，定义一个复杂的数据生成过程非常容易，这就相当于你对模型隐瞒的前面量，你能生成任意复杂的环境，而模型必须消耗大量不可缩减的token 做不可缩减的工作，才能摸清那个数据生成过程到底是什么，还有一种非对称性是你可以把真实世界的信息注入进来，比如Anthropic投入了几万个小时的人力和LM时间才找到一个bug 然后把它做成一个非常整洁的环境，而单个LM理论上花几百万个token就能把它找出来，所以我们挑选了所有这些非对称性，指望着这种跨任务时间跨度的泛化能力，但我还是觉得早晚会碰上边际效应递减，到某个节点上从一开始搭建这些环境的难度，就会出现边际效应递减，光是构思出来就很费劲，因为你不可能总是依赖那些，逆向容易正向困难的过程，你必须实打实做下来，搭建一个对人类来说，时间跨度足够长，本身就极其复杂的任务，接着还有算力和时间瓶颈，限制了智能体实际去执行这些任务，所以我认为你很快就会看到，这条曲线开始走平 我看到有人发过一件事，他们拿现代写代码智能体的数据 去微调那个，只训练到1930年数据的Taukey模型，结果它在SUV Bench上的表现，居然超过了Claude San Opus 一个对代码一无所知的模型，只要用适量的数据微调一下，做写代码智能体的表现，就能超过一个，大得多的预训练模型，这确实挺离谱的，这多少说明了一点，一旦你有了正确专家行为的样本，想把它复制到一个，相对较弱的模型里 其实出奇的容易，对但这里有一个反例，最近有篇论文把模型训练到了五年级数学的水平 AT 同时也包括小学英语之类的，算是一个还可以的语言模型，然后他们尝试用强化学习，让他做高中后期和大学水平的数学，但差距太大了，根本就爬不上去，可要是顺着七年级数学八年级数学，一步步往上搭台阶，显然就能爬到十二年级 [00:57:55]
John Schulman：所以归根结底，问题在于T字上的每一步跨度有多大，以及把它们搭出来有多难，对这又绕回到了强化学习的信号问题上，现在的强化学习不太擅长探索，如果模型在128次轨迹采样里抓不到信号，就极不可能拿到往前推进的信号，这就是为什么在强化学习里我们需要课程学习，而在预训练里不需要，因为预训练根本不存在这个问题
Charlie O'Neill：对而且预训练数据和后训练数据也是两码事，我想随着我们继续往前走，人类的参与确实会越来越少，但这改变不了一个事实，你始终受制于能从现实世界提取出多少信号，世界上确实有很多信号，这一点没错，有人在做电子表格任务，有人在做法律任务等等，但在模型目前所处的能力前沿上，现实世界里到底有多少比特的信息，是真的能用来提升模型能力的，有多少新解出来的数学题，是超出了当前模型的能力范围的，又有多少新写出来或解出来的代码问题，是当前模型根本搞不定的，我觉得这就是编辑收益递减出现的原因，因为就连整个世界，也给不出能把模型，推入下一个能力池的有效信息了 AT 我完全赞同这一点 [00:58:48]
John Schulman：核心问题在于这些信号是从哪里来的，在预训练阶段，信号其实已经在common crawl里了，对吧，对于你在预训练中关心的任务，难点根本不在于找不到信号，而在于把现有的所有噪声过滤掉，而这其实是一个很容易自动化的过程，但随着模型越来越强，当我们进入mid training和后训练阶段，那些信号在我们手头的原始数据里
部署数据与环境设计
John Schulman：那些信号在我们手头的原始数据里，根本就不存在，你怎么过滤都没用 Carmen Crowley可没有藏着千禧年大奖难题的解法，我们不可能靠一直过滤就把答案滤出来，对吧，所以到了那个阶段，你就必须通过别的方式获取信息，要么直接找人类让他们写下推理过程，要么搭建各种环境，由人类来决定应该搭建什么环境，这些环境的目标是什么，要么就是利用部署，在实际场景中产生的人类数据去训练，你总得从某个地方拿到那些比特，是的没错，这里有一个问题 [00:59:58]
Dwarkesh Patel：就是预训练的进展，到底有多少是由数据推动的，我和普林斯顿大学的学生 Jerry Han做过一项研究，基本上把2019年至今的，所有训练配方，和2019年至今的所有数据集，进行了两两配对训练，比如你用最新的数据集，像Ultra FineWeb去训GPT-2 再用The Pile或者某个老数据集，去训Delphi 这种最新的开源训练配方，你把整张网格全跑一遍，看看达到某个能力水平，在整个网格里能省下多少算力，结果发现在极小规模下，数据似乎能解释 9倍的算力效率提升，而架构改进，只解释了3倍的算力效率提升，那么如果在更大规模上，这也是真的，预训练的大部分算力效率提升，都来自更好的数据，那这种情况还能持续多久，你能一直不停的过滤数据，造越来越多的合成数据 [01:00:29]
Charlie O'Neill：直到，对，你们觉得这种预训练的进展，还能持续多久，我觉得我先验的想法，还是容易摘的果子多少，有点摘完了，我们把整个互联网，当成一大块数据拿了过来，但互联网本身，或者说互联网上有用的东西，不一定还在以同样的速度增长，所以我们可能还能迎来好多次 0.1%的损失下降，但肯定远远没有之前那么多了，不过这也挺有意思的，你们发现累积起来有27倍的提升，把两边算在一起，我记得好像是EPOC 还是谁估计过，自2019年以来，每年大概提升三倍，那就意味着，差不多是三的七次方，超过2000倍，也翻了那么多次，那差出来的那100倍，或者多少倍，是从哪来的呢，这大概能给你一个很好的信号，说明这里头有多少，是后续年带来的，我觉得解释只能是 [01:01:23]
Dwarkesh Patel：很多算力效率的提升，是依赖规模的，而我们研究的规模极小，这就引出一个问题，数据带来的算力效率提升，和算法带来的算力效率提升，到底哪个对规模的依赖更强，冲
Beren Millidge：不知道你们对此有没有什么鲜艳判断，我们当时就是算力不够，没法去探究这个问题，朴素的看，架构对规模的依赖，在理论上算是比较清楚的，对，你可以给它拟合出一条直线 [01:02:27]
John Schulman：但要是把预训练，加上后训练数据，和MID training数据混在一起，我就完全不知道该怎么拟合了，说来有意思，我反而觉得数据随着规模扩大，其实更重要，我觉得架构更像是一次性的，单说带来百分之多少的效率提升，其实有点误导，因为架构的作用是让你进入一个，用旧架构根本到不了的全新状态，而一旦进入那个状态，决定一切的显然主要就是数据了，但如果我们连GQA都没有，整天都在做全量注意力，那我们根本做不了100万上下文，成本会高得离谱，这样一来我们永远用不上，真正处于100万上下文的数据，也就拿不到这些能力，可要是你只是简单的，看在2000上下文下能做多少，而在那里架构，并没有解锁什么新东西，那数据看起来，就会比它实际上的意义重要得多，对吧，我不太确定这些东西，是不是真的只是这种，简单的诚信增益，明白了抱歉 那这对数据与规模的依赖关系，意味着什么呢，我是说，说到对规模的依赖，我觉得我们现在很多 MID training和后训练数据，其实随着模型变大，效果会更好，因为这里面很多超常上下文环境的东西，真的很需要大模型才能用得起来，对没错，如果你试着用SAPEBench的轨迹，去训一个一亿参数的模型，它根本学不出什么名堂，它展现出来的提升，根本没法和你在一个真正尺寸合理的模型上训练相比，对，是的而且现在也很难讲，因为很多架构变化，比如你看Kimi或者DeepSeek [01:03:35]
Charlie O'Neill：他们做这些架构改动，不光是为了压低预训练损失，还考虑到了模型在真实世界里会怎么用，比如对推理效率，像DeepSeq模型里的某种压缩注意力，并不一定是为了从根本上带来提升
Beren Millidge：纯粹就是我们在考虑这些模型实际要怎么用，对对对，为了理解未来，我很好奇的一个问题是，随着我们进入一个更偏重强化学习的阶段，参数扩展会怎么走
Dwarkesh Patel：我不知道从历史上看速度有多快，你可以看看开源架构，看看参数扩展的有多快，前沿开源模型大概每年翻一倍，而且前沿B源模型，甚至都有100B到200B的激活参数量了，你觉得这会继续年年翻倍吗，还是说既然我们进入了强化学习阶段，在轨迹采样上也想省算力，再加上可能存在某种门槛效应，一旦容量够用了，随手增加参数就没那么重要了，你们觉得到2030年 [01:04:40]
Beren Millidge：一个前沿模型会有多少激活参数量，我觉得未来几年我们会这样，因为我们太专注于为强化学习，做越来越长时间跨度的轨迹采样了，这种情况下推理效率至关重要 [01:05:07]
Charlie O'Neill：感觉模型在这方面的能力并没有饱和，瓶颈依然在环境上，所以我们可能会看到一点平台期，我感觉Methos和GBT模型，远没有大家聊的10万亿参数那个量级那么大，哪怕只是粗略的跟开源模型对比一下，大概也能得出这个结论，对，未来几年里，我觉得参数量大概不会出现特别大的增长，不过这也涉及很多不同的权衡，模型多大取决于你有多少预训练数据，以及要训练的强化学习环境有多难，理想情况下你想达到一个最佳平衡点，能在最难的环境上拿到不错的PASI 1之类的成绩，如果把模型做得更大去通关就没意义了，因为那样花在推理上的算力就远超实际需要了，这里的变量非常多，比如取决于MACOR以及各家内部提升强化学习，训练环境复杂度的速度有多快 我倒觉得模型会继续变大，单纯因为大家在增加算力 GPU也越来越强，但到底能变大多少，某种程度上取决于，缩放定律，而且表现形式，未必显而易见，其中一点是，我觉得数据效率会比，算力效率成为更大的驱动力，这关乎大家具体采用什么架构，毕竟我们现在正进入，高质量预训练数据，开始见底的阶段，所以这可能会影响，你想把模型做多，吸收，而且我觉得我们对吸收性的理解也没那么深，总参数量和激活参数量是两种不同的资源，吸收度确实提升了一些，但并不保证会无休止的提升下去，这里可能存在某种最佳平衡点，有种说法是吸收性会让数据效率变差，因为相同的东西，可能要在多个专家上重复学一遍 不过这还有争议，所以我觉得我们关于缩放定律的理论还不够完善，没法真正理解，稀疏性为什么有用，能帮上多大忙，以及稀疏度达到某个水平后
Dwarkesh Patel：会不会进入平台期，抱歉，你能具体讲讲，数据效率到底会对什么，听起来你的意思是，稀疏度应该降低，但对参数扩展，还有什么其他影响 [01:07:15]
Charlie O'Neill：我想就是缩放定律本身，你追求的不一定是最优，你不是在试图优化算力效率，所以架构上有各种选择，每种选择对应一条，不同的缩放定律，按传统做法，你会根据算力去看某种包罗线，去看性能对算力的曲线，取那些最好模型的包罗线，但如果根据数据来做决定，也就是假设能投入大量算力，把X轴换成数据而不是算力，那得到的最优解组合，或者说处于前沿的模型组合，就完全不一样了，对，而且我觉得过去几年里，模型规模也未必每年都翻了一倍 大家训练一万亿参数的模型，至少也有好几年了，甚至还有一个开源的叫Falcon 不过Periodic Labs的Liam 昨天好像在推特上发过，说OpenAI早期的一个实验，就训练过一个非常非常稀疏的 一万亿参数模型，对那是去OpenAI之前的事了，那是还在谷歌的时候 Switch Transformer 对，那个模型技知识非常非常厉害，但推力能力极差 就是因为太稀疏了，所以感觉我们停留在1000亿到最高2万亿参数这个区间至少有一阵子了，绝对不是那种平滑的线性增长，对，我觉得有两方面，就像Charlie刚才说的
John Schulman：推理效率对强化学习的轨迹采样极其重要，所以这会大大压低激活参数量，另外总参数量也很大程度上取决于硬件，你需要极高的内存带宽和显存容量，才能真正跑得动几万亿参数的模型，现在大家还在大量用H100这类的卡等都换成GB系列，再到Vero Rubin 我们才真正有能力扩展规模，在更大的尺度上做推理，做大规模强化学习，我觉得数据问题挺有意思的，因为从直觉上说，更大的模型在具体的数据点上，样本效率高得多，所以即便模型没有饱和，做大依然更好，因为更大的模型泛化能力更强，同样的数据量能达到更好的loss 现在我觉得数据还挺充裕的，瓶颈在于算力而不是数据，所以我们用的是推理效率很高的小模型，但如果算力不再是瓶颈，可能会重新回到大模型路线上，哪怕有点没吃饱，但因为体量大得多，他们自带这种泛化能力 [01:08:47]
Dwarkesh Patel：如果单看最基本的Chinchilla缩放定律，只把参数堆到极限，对，达到同样loss所需的数据量，其实减少的微乎其微
Beren Millidge：就算把参数推到无穷大，所需的数据量，我觉得降幅也不到原来的十分之一，纯粹是因为密率的特性，但我们现在处于Chinchilla定律里
缩放定律、数据和计算瓶颈
Beren Millidge：但我们现在处于Chinchilla定律里，数据远超需要的那一侧，对吧 [01:09:59]
John Schulman：现在我们是在过度训练模型，当然，没错，相比ChainTrader来说，过度训练了，所以随着数据耗尽，我们很容易退回到 ChainTrader最优点的状态，甚至稍微偏向，欠训练模型那一侧，但就算这些新芯片上线什么的，未来几年，我们的算力瓶颈，肯定还是非常严重，未必会那样，这完全可能，对，这其实取决于，你给训练和推理，分配算力的比例，要是数据瓶颈非常严重，算力不卡，你就该把模型做大，要是算力瓶颈非常严重，你就永远应该把模型做小，然后对，但你也可以用算力来生成合成数据 [01:10:04]
Charlie O'Neill：所以这也是那种极难预测的事情之一，我觉得当初花那么长时间，才摸清缩放定律部分原因，就是如果你没把这些细节全做对，就得不出那么干净的对应关系，对，图表上那些漂亮的直线，其实掩盖了大量的复杂度，比如你怎么保证每个超参数，都以正确的方式调整，或者怎么用可扩展的方式，把优化器参数化 让你在改变模型大小时，不用去改超参数，而且bug也有它自己，干净的缩放定律，对吧，比如Kappen忘了，预先退火这回事，或者我觉得甚至是，没把embedding参数算进去，这把较小模型上的预估
Beren Millidge：给搞乱了，因为embedding参数，占了模型相当大的一部分，聊聊强化学习，我觉得一年前，很多人都在论证说，强化学习在给模型，做scaling时，不会特别成功，我想Jiong
Dwarkesh Patel：你写过一篇研究论文，里面指出，模型每个episode 只能学到一个bit的信息，做强化学习时，他们基本上学到的就是，我是答对了还是答错了，我今年早些时候，也写过几篇博客，我说情况其实比那还要糟糕，因为当通过率很低，模型极不可能答对时，他从一个强化学习episode里，几乎什么都学不到，但我看着现在的模型，他们似乎相当聪明，而且这似乎就是，做大强化学习规模的结果
Beren Millidge：Burn Millage 我想你几周前发过一篇文章，试图解释这到底是怎么回事，但为什么强化学习会比大家想当然以为的，要成功的多，我觉得强化学习的成功，可以归结为好几点不同的原因 [01:11:58]
John Schulman：首先我觉得有点被低估的，其实是Mid-Training 我们看到的强化学习成功，很大一部分实际上来自非常非常出色的 Mid-Training数据，这本质上就是我们在做预训练，但是用合成推理数据，以及能让模型为强化学习，做好热身的那种环境来做，所以这往往已经让模型完成了，走到最终强化学习checkpoint 差不多80%的路程，而强化学习在此之上做的，本质上是对策略进行大量微调，所以这也是为什么，它并不需要像凭直觉以为的那么多bit 它不需要从头去学所有这些行为，它只需要从这些episode里拿到几个bit 而这些你确实能拿到，我在播客里重点指出的另一点是，相比常规的预训练，这些bit实际上具有极高的信号纯度，这就是为什么你需要强化学习，而不能只在成功的推理轨迹上做SFT 因为这正好是关于 如何把答案做对的Bit 其实有两点，没错第一，它确实是关于如何把答案做对的Bit 但实际情况并不完全像你想的那样，因为在SFT里你有一条轨迹，对吧，你有一堆数学推理，最后给出答案，那个Bit依然在，你依然会对答案Token做SFT 所以那个bit依然在那里，重要的是，目标函数忽略了所有其他的bit 所以在SFT中，你必须去尝试匹配模型生成的，完全一致的推理token 你本质上接收了太多，关于被学习模型具体是如何推理的bit 而在强化学习里，你只拿到那一个bit 这意味着该信号，不会被模型所有其他bit的噪声所淹没，这就是关键所在，它在训练中极其夸张地提升了信噪比，这也是为什么强化学习
Beren Millidge：在step效率上会高得如此惊人 Ain 不知道你们各位对此有什么想法，关于强化学习到底对模型做了什么，相比于mid training或者SFT什么的，已经有太多的争论了 [01:13:56]
Charlie O'Neill：大家都在聊爬随一会儿上升，但爬随256会下降，那些极罕见的正确推理轨迹会被降权，被来自更容易推理轨迹的梯度信号所压过，我觉得现在看待强化学习的简单方式是，如果你有足够大的算力去采样足够大的group size 让拿到一堆正确答案的概率超过某个不可忽视的水平，那么它就会被加权，正如Beren Millidge所说
Beren Millidge：基本上mid training和更多的预训练，让强化学习的起点passway 随着预训练token数量成对数级扩展，我能问几个非常基础的问题吗，我觉得那个解释讲得通
Dwarkesh Patel：而且可能也有实证研究表明事实确实如此，但我直接看模型本身，我搞不懂到底发生了什么，也许你能让我大致了解一下，过去这一年 AI取得进展的基础到底是什么，但如果说，对也许只是给那些，本来就会做出正确思考的策略加权，可模型在质的表现上，感觉确实强了太多，而且不管怎么说，也许这中间并没有内在矛盾，但这种观点暗示RL作用相对很小，而模型实际展现出的质的提升又这么大，这两者我们该怎么调和呢，我在这里想指出一点 [01:14:47]
Beren Millidge：就是这并不一定意味着 RL的作用就小，对吧，哪怕你只有几个比特的信息量，只对参数做了微小的改动，它对函数空间，对模型落点，对输入到输出的映射，产生的实际影响，依然可以极其剧烈，哪怕只是一个比特，也能极大的改变函数空间，直接排除掉一半的假设空间，对是的，这就非常巨大了，所以我觉得，未必就是比特量小 RL用量小
John Schulman：只要你的起点足够好，并不意味着行为上就不会产生剧烈改变，至少不一定如此 AT 我觉得归结起来有两点，我觉得第一点是，大家原本都希望RL能把这种推力能力 [01:15:52]
Charlie O'Neill：泛化到各种不同的领域，但我觉得我们未必得到了这种横向的泛化，光靠练数学，并不一定会让你成为顶级的程序员，你确实得在代码环境里去做RL 不过我觉得我们真正得到的，其实是时间跨度上的泛化，也就是模型学会了，怎么在更长的时间里，用更多的token 而且依然能在某种任务上，推进下去，这样一来，你可以在流程越来越长的环境里，训练他们，然后把他们放到一个，全新的环境里，确实他们可能并没有泛化出，能在这个新环境里，表现出色的推理模式，但他们至少泛化出了一种能力，能在这项任务上坚持更久，而这和成功是正相关的，好像有一篇叫 Edgebench的论文显示，模型能持续工作的时间长度，每三个月就翻一倍，这就是泛化的明确证据，我觉得最后一种理解方式是，在预训练里有量子化这个概念，你看预训练的loss曲线非常平滑 但当你真正去看模型内部发生了什么，会发现模型是在学习各种非常离散的任务，会出现各种凸显点，类似于一种相变，比如之前没有归纳头，现在有了归纳头，这样的东西有成千上万，数百万甚至可能上亿个，当你把它们全平均在一起，就得到了这条非常平滑的loss曲线，我觉得在某种程度上 RL身上也发生着类似的事情，就像Brand提到的，这里有一个非常慢的外循环，我们先训一个模型，然后对它做RL 接着在下一轮模型迭代训练里，我们会把大量这类合成推理轨迹，倒进MID Training数据里，这就好比我们在所有这些不同的任务上，都踩中了各自的量子跳跃，在单个任务层面，它可能看起来像是一次项变，比如在某个金融任务或Excel任务上，你的通过率突然从0.5% 跃升到了90% 但当你把所有这些加在一起 [01:16:59]
John Schulman：再加上时间跨度上的泛化，你就会抬头感叹，天哪，我们的模型在智商强了太多，对，我是觉得，这其中很大一部分，也是因为 RL确实会有一定的泛化，比如你突然会在数学和代码之间，或者谜题和数学之间，看到一些千亿之类的，而且大家现在针对的目标环境数量，纯粹从规模上看，就比以前多太多了，比如两年前，你想做某个日常生活里的任务，各家实验室根本不会在乎这个，他们根本不会专门针对它去续模型，而现在覆盖面就广得多了，对吧，他们有大量专门针对这种具体任务的环境 [01:17:49]
Dwarkesh Patel：我们刚才聊到RL是在说，它会导致这种商摊它，或者说只是把概率集中在机座模型，本来就会的解法上，导致策略上的更新相对稀疏，但我一想到RL 其实还有另一种叙事，一路可以追溯到Atari游戏，再到AlphaGo下出第37手，那个极其有创意的走法，因为从来没有在人类数据上做初始化，它就可以用人类甚至想都没想过的方式去思考，给出极具创造力的解法，对，你们觉得我们应不应该期待，或者什么时候能期待大语言模型上的RL 也能带来像第37首那样的成果 [01:18:27]
Beren Millidge：也就是哪怕超越人类创造力的极致创造力，毕竟这属于全新初始化的智能，我是说这里有几点，首先我认为AlphaGo用了MCTS 它显然比常规的策略梯度
John Schulman：做了更多的探索之类的事情，但我也觉得RL未必就会削弱创造力，而且哪怕我们去看，我觉得这显然是定性的，但如果我们看OpenAI和Hugging Face那个事件，这些模型当时能依次搞出好几个零带漏洞来逃一刹下，我觉得这显然在某种程度上，已经有了第37手那样的创造力，而这只是来自大语言模型本身的通用泛化特性
Charlie O'Neill：我觉得绝不存在RL彻底毁掉了，他们的伤这种情况，没有，尤其是在长时间跨度上，对，大家口中所谓的创造力，有一类其实就只是解决困难的搜索问题，第三十七首显然就是这种例子，或者像写一首满足大量不同限制条件的诗，只要经过针对性训练，这种事情显然是AI极其擅长的 [01:19:40]
强化学习的收益与代价
Charlie O'Neill：这种事情显然是AI极其擅长的，但从另一个角度来看，模型在经过RL之后，输出的多样性确实低了很多，它们会养成一些怪癖，比如哪怕模型看起来很会写东西，但当你去做某种分布分析时，会发现他们一直在重复使用某些主题，一直在用同样的角色名字，实际上这并不像从人类作者那里得到的那种多样性，你更像只是得到了一个非常厉害的风格之类的，所以我觉得那种多样性确实被RL削弱了很多，而且事实上既然我们刚才聊到了蒸馏，正在发生的一件事就是，太多人主要是从Cloud进行蒸馏，以至于所有开源权重模型，写起东西来都跟Cloud的一个味，有着同样的怪癖，所以出现这种单一文化的趋势，让我觉得有点令人担忧，对，不过我还是觉得 这并不是RL这种方法本身固有的问题，蒸馏也是一样，哪怕是蒸馏
John Schulman：你也只是在用那些数据做训练，不能因为你的数据不够宽泛，就说训练方法本身有什么问题，这是数据的问题，而且我觉得很多情况，比如RL导致的商摊塌，基本上是因为在环境缺乏多样性时，模型钻了那些相当简单的验证器的空子，比如写文章，我觉得写作大概率是由某个评审员来打分的，而评审员自身有一些特定的偏好，模型学会了去对评审员搞奖励黑客 [01:20:59]
Beren Millidge：所以输出才会摊塌，但这其实是评审员的问题，不是广义上RL的问题，好下面进入超快节奏的未来预测环节，我想让你们给出，接下来几个问题的时间线，到什么时候
Dwarkesh Patel：我们能有这种模型，对用户来说，大概是这种感觉，你直接雇他，当随时上岗的远程员工，处理各种白领工作，不光是写代码，还有剪视频，法律，律师助理等等，他就像一个，货真价实的远程员工，具备完整的电脑操作能力，能无缝学习，运行整整一个月，去执行复杂的项目，期间还需要跟其他人互动等等，能做完一个人类员工 [01:21:38]
Charlie O'Neill：一个月内能做的一切事情，如果你强制要求他用浏览器之类的工具，而不是公司把信息整理成程序和访问的格式，那可能需要两三年，但如果不是非得基于浏览器
John Schulman：比如他能发slack消息，能做所有这些事，那我大概还是会说一年左右，好，要是达到完全的通用性，我可能会说大概需要三年，但我同意Charlie的观点，很多人最终会去改造自己的组织，让AI更容易上手使用，所以在那之前，你就能做到80% 90%的程度了，那这里一年和三年的差别，纯粹就在于，我觉得会有一长串人类，能做的各种杂事，模型要花相当长的时间才能学会，你想到的是电脑操作这类事，还是基础的认知能力，我觉得这真的归结为一个问题，就是我们能多快解决，这种在线学习之类的问题，我们能不能靠上下文压缩，给自己写文件之类的方式，达到80% 90%的效果，这是我最大的不确定性所在，我真不知道 [01:22:18]
Charlie O'Neill：还有一个AI可能不擅长的例子，比如在工作中，如果我得冲别人好才能拿东西，或者非得死命催某人把事情办成，模型就不会这么做，他只会太客气，对，我觉得人类远程员工的水平参差不齐 如果你试着从upwork上，找人做个软件工程项目，人与人之间的差距会非常大，往往很难让他们把活干好，或者认真听取你给的所有反馈，我猜有些情况下，在没有AI之前的那些表现，其实比你现在从现有AI那里，能得到的还要差，所以我觉得情况最后可能会有点复杂，因为在某种程度上，对于一些质量要求不那么高的工作，我们可能已经做到了，但显然在某些更高质量的工作形式上，我们确实还没达到人类水平，但我大体同意Charlie和Baron的看法，也许在一年左右，我们就会有某种还算，过得去的版本，具备那样的形态，有些事能做得非常好，有些事做得没那么好，并且情况会从那个节点开始，不断变好，我们总是在根据那条极长的长尾，不断挪动球门线 我觉得你之前好像举过报税这类的例子，像今年我直接让Codex 把我需要弄的一切都找齐，然后发给会计师，他得在电脑上点开很长的一串东西，去操作去下载
Beren Millidge：而他确实搞定了，完成的挺好的，挑不出毛病，所以很多这种事情，它其实已经能做了，是的，好，给你带来十倍的总生产力提升，基本上就是，如果现在你需要一年
Charlie O'Neill：才能取得一项突破，到那时你每个月，就能做出一项突破，我觉得针对这个问题，我可能根本没法给你一个，具体的标量数值，因为在某些类型的工作上，我们可能已经超过这个水平了，比方说你只是想证明，你想做某些类型的数学，然后，那要是对你们这些，想要做出的AI研究员来说呢，哦明白了，推动AI研究的前沿 [01:24:41]
Beren Millidge：AI研究员的速度能提高多少，或者说提升幅度有多大，大概在五到十年之间，哦真的吗，好那还挺遥远的，你真觉得这比通用的远程工作者，需要更长时间吗，对，有意思，我觉得你们可能，我意识到你们对完全通用的远程工作者，可能有很不一样的定义，我本来应该说的更清楚一点的
John Schulman：对确实是这样，因为显然AI研究员也可以是远程工作者，所以，对不是，我想象的是一个月时间跨度内的普通白领工作，我觉得超过一个月之后，情况就会开始有点分化了
Beren Millidge：一个非常胜任的白领工作者，但不一定像极富创造力的研究员那样，对我觉得大概两年吧，两年，对，十倍，好你觉得呢 Baron [01:25:48]
John Schulman：我其实有点能理解这种看法，因为现在的实际情况就是，在写代码这方面，提速肯定已经不止十倍了，所以只要它哪怕能跑完一两轮实验反馈的循环，其实就已经是非常大的突破了
Dwarkesh Patel：所以是两年内让AI研究员，获得十倍的提升幅度，要是你把它带入到一个，关于AI进展的极简模型里，看AI研究员贡献了多少，然后他们的生产力直接暴涨了十倍
Beren Millidge：那从两年后开始 AI的进步节奏就会迎来极其激进的加速，对，我是觉得这意味着AI的进展，就不会卡在AI研究员做小实验的能力上了，瓶颈会转移到别的事情上，当然，但这本身就会快上十倍，那肯定对，这可是一件大事，而且这还会推动下一阶段更快发生，带来100倍的提速诸如此类，对，关于这个问题，我还是坚持认为需要更长时间，那核心分歧点是什么呢，比如我吸收信息的能力，以及在下一个实验上 [01:26:27]
John Schulman：做出贝耶斯最优决策的能力，对，讲得通，有道理，对，我是假设你可以把其中一部分工作，分派给AI 比如AI已经挺擅长做决定了，它跑了这个实验，拿到了这个结果，接着去跑下一个实验，要是它能连续跑两三个实验，不出岔子，那对提升幅度来说，其实就是个重大的认知修正，好最后一个问题，一个在所有能在电脑上完成的领域里
Dwarkesh Patel：都彻底压制人类顶尖专家的AI 不仅是AI研究，而是所有的认知工作，而且不仅仅是短时间跨度的工作，甚至哪怕是一件耗时三年左右的任务
Beren Millidge：AI依然会比人类做得更好，那这基本上就是所谓的ASI 也就是超级人工智能了吧，对 Sing 我觉得大概三到四年吧，搞什么鬼 [01:27:42]
Charlie O'Neill：我是说这听起来也没错，我想说的是 AI显然正受到更多关注，所以它算是更难的事情之一，但现在有大量的精力正投入其中，而且对AI来说它也不算最难的，因为它涉及大量的代码和数学，而模型非常擅长这些，也许对于设计3D空间和物理层面的东西，我觉得会花更长时间，尤其是如果他像，机械工程之类的领域，目前并没有得到最多的关注，那可能会花更长时间，但这也包含那些，因为领域本身的性质，导致数据相对较少，而且他必须即时学习，那些数据的领域，比如他必须达到像，台积电工程师那样的超人水平，那你就得假设入职培训，对，你可以给AI一模一样的，入职培训材料，然后对 就必须解决某种长时间跨度学习的问题，或者，对，是的，我觉得要五到十年，所以基本上，你觉得实现AI研究的自动化，本身就相当于SI完全 对吧，我，对，我是这么觉得的 AT 对，我觉得世界上有太多事情，哪怕你在模型外部有某种记忆系统，哪怕上下文长度再增加一点，也存在一些根本性的东西
John Schulman：即使你能自己去检索信息或记笔记，也需要超过100万token的上下文才能搞定，对，我算是挺赞同五年这个区间的，至少针对实验室目前聚焦的方向而言，但我认为还会有一长串常微领域 AI理论上完全可以去学，但根本没人费心去做，算力也没有分配给那些方向，所以要真正超越每一个人类专家，可能会花更长时间
Beren Millidge：对不好意思，不过我说的这个，也包含了在面对一个新领域时，能学得和人类一样快的能力，我觉得那其实，倒不一定非得如此，因为AI拥有的经验，会远比任何人类，都要广博得多，没错，太感谢各位来聊这个了，我觉得这种形式非常棒
从远程员工到超级智能
Beren Millidge：我觉得这种形式非常棒，能让不同的专家，聚在一起表达分歧，辩论并探讨问题，非常有收获，太好了 [01:29:58]
Charlie O'Neill：谢谢邀请我们，谢谢感谢，不客气，谢谢邀请我们 [01:30:05]