目录
- 他是RedwoodResearch的首席科学家主 [00:00:00 - 00:10:00]
- 所以我有一个担忧。我觉得即使在数学领域据我所知我 [00:10:00 - 00:20:00]
- 我们一直在扩展算力扩展在AI公司工作的人数也在扩 [00:20:00 - 00:30:00]
- AI在写文章方面进步的时候我们稍微聊聊这个。我觉 [00:30:00 - 00:40:00]
- 然后在那上面训练或者你也可以直接拿那些找到这个方 [00:40:00 - 00:50:00]
- 每个用户个人意图的工具对我有几个想法先回应你觉得 [00:50:00 - 01:00:00]
- 或者说我不觉得这事有你想象的那么清楚首先我得说这 [01:00:00 - 01:10:00]
- 好的顺便说一句这件事之。所以可怕的原因之一是我之 [01:10:00 - 01:20:00]
- 我想稍微回到那个小孩的类比一下好因为我同意在达成 [01:20:00 - 01:30:00]
- 具体来说就是AI研发里最可验证的那部分AI做的简 [01:30:00 - 01:40:00]
- 那我先把威胁模型的其余部分理清楚因为。我觉得我下 [01:40:00 - 01:50:00]
- 实际情况是你想在iPhone任务上成功结果发现你 [01:50:00 - 02:00:00]
- 大概35%到40%相当高对相当高然后。我觉得应该 [02:00:00 - 02:04:16]
完整转译稿
Dwarkesh Patel：他是RedwoodResearch的首席科学家主要做技术性AI安全与安保方面的工作我想和你聊聊递归自我改进这个概念是说一旦你造出人类水平的智能体它们很快就会迅速膨胀到数百亿个超级智能体每一个在各自领域都比顶尖人类专家更厉害这件事到底会不会发生。我觉得可能是当下全世界最重要的问题而一直以来我对这类事情会不会发生都相当怀疑，但你似乎觉得这有可能。所以我想听听你的理由好那我们来聊聊这个首先。我觉得值得指出的是。 [00:01:50]
Ryan Greenblatt：AI研发是AI特别擅长的一类任务因为一方面各家公司在拼命让自己的AI擅长AI研发另一方面这个领域本身从当下AI开发方式的角度看它有很多很好的特性它相当可验证你可以迭代的做很多事情在各种指标上往上爬，然后。我觉得一旦你有了在AI研发上大致能匹敌顶尖人类专家的AI那就可能启动一个反馈循环AI在做AI研究研究出更聪明的AI研究再反馈回来这个反馈循环可能强到让你在短时间内取得大量进展，也许我的中位预期是一年里能走出4到5年的AI进展而这真的需要克服研究中巨大的收益低减基本上相当于我们在大规模扩展算力之后才能得到的进展。，所以这是一件相当了不起的大事。而且值得记住的是5年的AI进展4年的AI进展哪怕3年的AI进展都是非常非常多的AI进展对吧你看现在3年前或者说3年多一点之前GPT-4刚出来而现在当然我们有Mythos-5或者什么的，也许Anthropic内部还有一个更好的模型。所以这三年多一点的时间里就是巨大的进展，如果我们说的是五年那可能更像是从GPT-3跳到Mythos-5那种跨度。 [00:03:08]
Dwarkesh Patel：对好。我觉得这个论证有三个不同的部分我想逐一评估第一AI研发非常可验证第二，如果你把AI研发自动化了一年里能走出四到五年的进展第三以当前的速度从当前这个起点或者说从AI研发被自动化的那个起点开始四到五年的AI进展之后另一端出来的东西是什么对另一端出来的是一个你几乎可以把它丢到任何你能想象的工作上的AI你可以把它丢进1940年代的德克萨斯政治里它能比林登约翰逊还老谋深算你可以把它丢进我不知道台积电他能学会在台积电做更好的工艺工程他肯定比我的视频剪辑师剪得更好我的视频剪辑师非常出色，但总的来说他在任何一份他被丢进去做的工作上都会比人类强。，所以我想逐一评估这些子论证他们最终指向在达到这个基准之后很快就能得到ASI而你预期这大概在2030年左右对吧对我会说。 [00:04:13]
Ryan Greenblatt：我预期AI研发的完全自动化大概在20302031年前后，然后达到那个在所有工作上胜过所有人的里程碑也许我的中位预期在2033年左右，但如果我看到AI完全自动化了AI研发。我觉得我预期大概一年之内就能到就是从预测的角度看中位数之间的差距比里程碑之间的中位差距要大总之无所谓了顺便说一句。
Dwarkesh Patel：网上有个梗因为我每次想问别人的时间线比如问Dario或者谁的时候我总是说好多久才能把我的视频剪辑师自动化掉，然后就有个梗说我的视频剪辑师在剪这期播客我每次听都这样我这么问的原因是。我觉得当你谈论你不熟悉的工作时很容易迷失在抽象里而非常具体的理解自动化一份我确实明白为什么LM目前还难以接管的工作需要什么会更有帮助我确实认为自动化你的视频剪辑师这个里程碑比自动化所有人类工作。 [00:05:18]
Ryan Greenblatt：包括在德克萨斯政治上现场上手要更早。所以我确实觉得视频剪辑师的自动化大概更接近AI研发完全自动化那个时间点，但他对人们到底有多专注于理解视频非常敏感对好。
Dwarkesh Patel：那我们先从AI研发非常可验证这个说法开始对这里面有几个不同的部分其中之一是我们可以在大量环境上训练这些环境基本上就是直接训练模型。
Ryan Greenblatt：去做某个AI研发任务或者某个非常接近的任务。比如说我们可以搭一个环境让模型在H100或者随便什么一小点算力上去训练另一个AI那个模型可以是GPT-2Medium这个级别的东西，然后就像NanoGPTMedium那种跑法在强化学习里就是不断调整迭代那个过程我们可以为一大堆不同的任务做这件事，比如我们可以让它训练图像分类模型视频生成模型图像生成模型各种不同的机器学习训练任务我们可以用强化学习去训练它让它把模型越训越好。同时还能做别的事，比如这里有一个算法上可以走的方向你能去把它实现出来吗。，所以基本上有这么一整类可以容器化可以验证小规模的AI研发任务我们可以用强化学习大力去训练AI。，而且。我觉得现在公司们大概已经在这些任务上做一些强化学习了你可以一直往上加码造出更多这种小规模AI研发任务，然后AI就能在这上面越做越好然后我隐含的意思是这会迁移到AI研发里那些极其沉重的方面。 [00:06:53]
Dwarkesh Patel：不过也许我们先在这停一下然后再聊那部分那我们具体的这长什么样你可以想象我们有GPT7.5我们跟GPT7.5说我们想让你在AI研发上强到能帮我们训练出GPT9好那我们现在要训练GPT7.5我们想出一大堆不同的环境就像你提到的我们可以做现在已经有一个仓库是AndroidCarpacy的NanoGPTSpeedrun的后代你就是要试着把模型的一切都改掉从优化器到超参数到架构让它尽快达到一个固定的训练损失你还可以有别的类型的环境，比如你可以说HeyGPT7.5我要你训练一个特别会打游戏的模型我要你训练一个在反复玩同一个游戏时能真正变强的模型这样你就学会怎么帮模型在在线学习上做得更好，也许它我们不在乎你怎么搞明白也许是什么疯狂的神经网络机制或者向量记忆，也许是什么疯狂的也许就是更好的掌上下文我们不在乎你自己去搞明白怎么做在线学习研究显然到那时候GBT7.5在普通任务上已经会变得非常强它会是个很聪明的模型就像现在模型们正在变得越来越聪明一样它在编程上会越来越好就像现在模型们正在编程上越来越好一样你还可以想象另外100个这样的环境它们都在激励AI研发的能力方法是让GPT-7.5去用容器化的方式让GPT-7.5去开发GPT-2规模的模型等等等等基本上，然后你把GPT-7.5扔进这一大堆训练里你造出GPT-8GPT-8现在就是一个超强的机器学习研究员他做了这么多训练积累了大量的直觉说实话对我冲击特别大的一个直觉泵是看到AI在数学上取得的进展我就觉得，如果是一个完全可以验证的领域就能哪怕是数学其实涉及很多我并不真正了解数学研究那些对象层面的细节，但我就是觉得不它行如果你能完全把它放进一个验证循环里突破就能像洪水一样涌来它真的能做出新的突破我很好奇机器学习研究是不是有数学研究那种特质还是说看起来有一个很大的积压来自把不同学科连在一起或者那些想法没有任何一个人能。同时懂那么多代数几何那个词该怎么说来着数学突破这块我真的不太懂就是说没有任何一个人能。同时懂那么多拓扑和代数什么什么的才能给一个大猜想造出反例我的看法是机器学习比数学浅一些。，所以那种单个专家。 [00:09:39]
Ryan Greenblatt：在某块有深厚功底然后互相结合的情况会少一些但肯定还是会有一些。，不过我也觉得机器学习有一些特质让它在某些方面甚至比数学更适合AI训练特别是你能更清楚地知道自己是不是在成功。，而且能看到中间进展数学里经常是这样没有什么简单办法能看出你离成功有多近，但如果你的目标是。比如说把某个训练损失提速二倍你大概能看到自己走到一半了。，而且机器学习里的创新往往是很加性的或者也许是成性的看你怎么想基本上你可以不断往上堆创新通常这些创新就是加在一起互相不干扰虽然显然要看具体细节。，所以。我觉得在很多方面AI研发会具备跟数学相当接近的性质基本上你可以做小的你可以在一小块AI研发上训练它的结构和你在乎的那个真正问题很接近。，而且可以很好的验证然后那会迁移至于迁移的有多好是个开放问题，但。我觉得目前数学上的迁移看起来相当不错而我的预期是AI研发上的迁移会相当不错，但不会到经验的程度。 [00:10:46]
Dwarkesh Patel：所以我有一个担忧。我觉得即使在数学领域据我所知我们也没看到特别经验的新理论我们看到了很多经验的可验证的具体的结果，比如给这个猜想找个反例但我们没看到他提出拓扑学那种层级的东西或者提出群论这样的东西而机器学习研究似乎两者兼有，但那种更不可验证的提出看待问题的新方式会更难诱导出来，比如缩放定律这个想法显然存在某种最终的验证循环如果你有2020年的缩放定律就能更好的训练GPT-4，但要诱导AI去想好我得仔细想想该怎么缩放我的参数和数据我可以跑哪些不同类型的调查来理解这个，也许我能想出个SFOB分析的可视化之类的这条路更长可能也更吃算力，但那确实看起来那确实比黑让NanoGPT的损失降下去要涨得多对我们来聊聊这个。 [00:11:50]
Ryan Greenblatt：首先。我觉得在数学的语境下我要说的是AI能做相当于婴儿的第一个心理论之类的事，比如他们可以通过建立联系产生新的理解来证明有趣的猜想，比如有这个东西AI找到的这个构造挺有意思或者找到了一个有点不同的看待问题的方式我们确实能看到这些只是我们看到的例子没有创立群论那么惊艳，但部分原因可能是创立群论大概是有史以来最伟大最重大的数学成就之一而AI还没他们在数学上还没那么强。，而且。我觉得从我的角度看从那个高度到我们现在看到的东西之间是一个连续谱AI正在沿着它不断往上走第二。我觉得机器学习相对于数学是一个非常浅的领域。，所以。我觉得在数学里更多的是你找到一个真实的深刻的抽象，然后如果你真正理解了那个东西而那个东西很难理解那你就能有所突破而。我觉得机器学习里与之对应的东西真的是些蠢玩意儿，比如缩放定律拜托各位缩放定律我们很快就能解释清楚而。我觉得数学里最深刻最重要的概念不具备那种。 [00:13:03]
Dwarkesh Patel：你可以在很短时间里真正理解底层东西以及它为什么重要的性质，但。我觉得有一个效应是到2030年我们就会把所有低垂的果实摘完了。我觉得缩放定律在数学史上会相当于发现笛卡尔网格做非常基础的数学，然后最终如果我们想在2030年代继续进步就得去搞现在数学前沿正在发生的那些乱七八糟的东西了。
Ryan Greenblatt：对那可能是对的。我的感觉是有些领域在运作方式以及对深层抽象的依赖程度上结构性的不同物理和数学更偏向于非常深很难想出想法的那一端而。我觉得机器学习和其他大多数领域更适合爬山法这是我对未来走向的感觉即使在你的AI不得不埋头苦干的场景下，比如到了2030年他们需要研究里一堆低垂的果实已经被摘完了他们需要取得进一步进展我仍然怀疑相当一部分工作会更偏向于搭建越来越复杂的基础设施对实验大概长什么样有很好的直觉。，所以。我觉得我可能不太认同AI缺的是某种深刻洞见这种说法更认同的是他们确实需要大量关于琐碎实验的品味这是他们目前没有的。，而且需要像现在的研究者那样对什么样的训练方法会有效什么样的不会有效有大量直觉。，而且即使在AI领域有过一些突破的情况下事后看来实现那个突破的一个大瓶颈往往是把所有微小的细节和琐碎的直觉搞对举个例子在训练AI擅长思维链推理以及在思维链训练上做强化学习这件事上看起来你本来可以在GPT-3上做思维链的强化学习，如果真的大规模投入并且做得好可能在数学上得到一些有趣的结果，但当时有低垂的果实。而且把那个训练做好有点像陷入细节还有所有的技术实现扩展规模把超参数调对。，所以也许你可以在QWMEB之类的小模型上演示一切得到一些这整套东西会奏效的感觉，但人们没有尽早演示出来。 [00:15:12]
Dwarkesh Patel：因为你知道有所有这些其他琐碎的细节以及关于到底怎么调参数怎么设置的直觉说实话这就是我对这个故事剩下的怀疑我不太确定我理解，如果研究突破如此依赖智能为什么AI的进展历史上没有比实际更快。，而且我们不得不等就像你说的等到RLVR真正跑通的时候即使你本来可以用更少的算力做到我们却不得不等海量的算力等千兆瓦级的算力可用之后人们才开始在这条轨迹上做训练你看随着算力不断增加我们取得更多突破我不知道。我觉得2022年有很多AI研究者都在试图攻克推理他们就是被写基础设施代码的能力卡住了还是说当时发生了什么这是个复杂的混合体对吧。我觉得，如果他们能一旦想到一个实验就能无bug的跑那个实验bug很少很重要。 [00:16:06]
Ryan Greenblatt：他们会走得更快然后。我觉得另一部分是能在高算力下跑大量实验让你能掩盖实现方式不太对或者超参数没调对的问题。，所以。我觉得算力对做AI研究真的很有帮助你可以用它盖掉很多东西，但这并不意味着劳动力的大规模增加也没用尤其是如果这些劳动力带着这个领域里最好的一些直觉我就是觉得那真的很有帮助。我觉得我这里的另一个视角可能跟你的出发点有点不同是我预期会有比你想象的更多的迁移我想象这些AI，实际上是相当不错的通用科学家就是在那类事情上都相当靠谱当你跟他们互动时不会有那种高度特化的天才性vibe他们其实就是在研发的各个方面都相当不错，然后可能在有些子领域极其出色对吧。所以他们在写内核方面超人类地强在一切反馈循环很短的事情上超人类地强，然后其他所有事情都相当不错完全能跟其他人匹敌。我觉得我们现在已经看到这个了要我说当我现在看AI。我觉得他们已经能相当自信的匹敌那些在ML研究上平庸的人类只是平庸的ML研究没什么用对吧你真正想要的是擅长ML研究的人。，所以。我的感觉是AI在这些方面都在进步他们的品位在提升直觉在提升。 [00:17:23]
Dwarkesh Patel：而且他们的品位和直觉已经不是完全垃圾的水平了对。所以我想非常具体的理解五年的AI进展压缩到一年发生会是什么样子对假设我们回到GPT-3被开发出来的时候这个想法不只是说基本上用他们2022年拥有的算力水平，如果我们当时就自动化了研发你可以在那一年年底拥有Mythos就是这个想法包括Mythos消耗的算力比他们当时拥有的多得多，但即使以他们当时的算力水平不仅因为所有的突破。而且他们用那个算力水平训练出了Mythos所需要的东西显然是发现自那以后所有的算法进步甚至发现更多，因为你必须弥补这样一个事实Mythos用了我不知道GPT-3是在什么上训练的1亿23我们可以查一下，但plausibly是四个数量级更多的算力吗对。我觉得差距没那么大咱们赶紧查一下GPT-3的训练算力对大概是3123。我的感觉是Mythos大概比它高三个数量级多一点。 [00:18:28]
Ryan Greenblatt：所以。问题是你能不能跨越这1000倍的算力差距。同时还要你知道打败那个模型这里有个具体的论断，也许我们应该聊聊比如现在我们能用GPT-3级别的算力训练一个模型达到对我到底怎么想的GPT-3大概是这么说吧大概对它是什么时候训练的它是在它是在它是2020年发布的。，所以它是六年前训练的值得注意GPT-3可能有点太远了或者说太太过去式了，但咱们先拿它说事GPT-3大概是你知道六年半七年前训练的，如果我们今天用GPT-3级别的算力训练一个模型那个模型能有多好我的理解是根据算法进步的规律我们能训练出一个大概相当于三年前最好模型的水平。，所以。我觉得现在我们能训练出一个GPT-3版本大概比GPT-4还要好一点基本上就这样大概对比GPT-4好一个中等程度。我觉得这个估计差不多这也大致符合算法进步的历史规律基本上结论就是要获得五年的AI进步你可能大概需要要我说，也许八年的算法进步非常粗略的说这是很大很大的算法进步，但事实就是大部分AI进步在我看来来自算法和数据的某种组合。，而且你可以不断在这些东西上做出。我觉得巨大的改进用更少的算力训练AI就是这样这个我很高兴你提到这个。 [00:19:59]
Dwarkesh Patel：因为从GPT-3甚至3.5到现在发生了什么对吧比如为什么Mythos这么好显然我们扩展了算力我们有更好的算法一个巨大的变化是我们建立了一个10亿美元的数据产业它系统性的收集和编码了各个学科的人类专家判断以强化学习环境的形式编码以SFT轨迹的形式编码这些专家构建这些东西是为了帮助模型更好的理解怎么做编程怎么构建复杂的基础设施项目怎么做法律怎么做各种事情而AI是怎么能够复制目前人类专家判断在AI进步中发挥的作用的对。我的感觉是在获取专家人类数据上增加投入对整体AI研发来说并不是特别重要。具体来说，比如你知道过去几年。 [00:20:53]
Ryan Greenblatt：我们一直在扩展算力扩展在AI公司工作的人数也在扩展花在数据标注上的精力。我的感觉是，如果你怎么说去掉最后比如两次翻倍的数据标注那不会产生巨大的差异或者数据生成那不会抱歉我应该说来自人类专家的数据生成那不会产生巨大的差异。，而且。我觉得很多正在发生的事情是人们在开发更好的方法。 [00:21:18]
Dwarkesh Patel：来利用人类和AI去构建强化学习环境并从中取得进展比如你怎么解释AI在编程上变得这么强。我觉得很大一部分原因是数据和强化学习环境这些东西就是在编码人类专家的经验，但。问题是创建强化学习环境的限制因素是什么我对创建强化学习环境限制因素的感觉。
Ryan Greenblatt：与其说是扩展规模或者说驱动因素今天强化学习环境比你知道2024年好得多的原因并不是，因为我们雇了更多人类专家来制作强化学习环境而是因为我们更清楚我们到底想做什么样的强化学习环境以及我们应该怎么构建它们。，而且我们在用大量的AI劳动力来构建强化学习环境。我觉得这些效应比人类劳动力构建强化学习环境的效应重要得多我不是说人类劳动力不重要我只是说还有其他的其他重要的驱动因素对我可以试着我可以试着论证这一点我的意思是一个一个事情就是人们想要的环境数量他们就是他们是非常非常大的数量。，而且。我觉得AI在制作强化学习环境这个任务上其实相当擅长。 [00:22:31]
Dwarkesh Patel：只要给他一些一些关于这个东西应该是什么样的概念有现成的数据可以用我不知道很多这些东西都有很好的验证循环，如果我只看比如这是今天或昨天BusinessInsider报道的谷歌要花大概接近20亿美元收购Mechanized对，比如我们只要看市场行情或者看人们认为真正优秀的人类专家制作，比如人类专家数据值多少钱看起来前沿实验室似乎认为他很值钱他们真的很想为此付钱你觉得前沿实验室的支出中花在数据上的比例是多少而不是算力你觉得算力和数据的支出比例是多少。我觉得绝大部分是算力，但我也觉得这是因为算力比数据更容易扩展但这跟什么在推动进步真的很相关对吧。，比如说假设我同意对。我的感觉是这个比例大概是我可能会猜20比1或者10比1我不太确定取决于公司我的意思是这有点像石油只占GDP的1.5%，但这并不意味着如果把石油砍掉GDP还能继续运转如果石油没了。 [00:23:38]
Ryan Greenblatt：经济会立刻停摆没错但你只是在说因为市值高我们就能推断这是关键驱动力而我说这不一定成立对吧，因为。我觉得那个论点只是让算力看起来像更重要的驱动力。
Dwarkesh Patel：或者让雇佣员工看起来像更重要的驱动力我们说的更具体一点这是我的看法就像我的主张是在GPT上，如果你回到2022年你有GPT-3.5然后你想在没有人类专家的情况下让他更擅长编程。我觉得那会非常非常难我给你举个例子想象一下从GPT-8到ASI会有多难。，所以你需要GPT-8擅长的事情之一或者说你希望ASI擅长的事情是我要接管一家公司让它利润大幅提升做各种疯狂的事情让它运转的更好我要接管一座晶圆厂生产更多芯片这是那一层级的任务数据我要去国会试图说服他们通过某项法案等等等等对这就是我设想按这个速度再发展五年AI进步能让AI做到的事情这是我真的担心的事情对吧就是那个ASI它能理解怎么在这个世界上做疯狂的事情能做基辛格能做的事能做史蒂夫·乔布斯能做的事等等还有它的工程师们我不确定没有相关的世界数据你怎么得到这个这就相当于Mythos非常擅长编程却没有那些让它相对GPT-3变得更好的编程环境。 [00:25:07]
Ryan Greenblatt：对。所以我有几点第一我打赌如果你看Mythos随机采样的训练环境它们，实际上和模型在实际使用中的情况非常不同。我的感觉是强化学习分布和真实世界数据分布有非常大的偏差它很大程度上被迁移和一小部分聚焦真实世界的数据给抹平了。，所以。我的感觉是这会是一个类似的机制就像你在完全自动化的AI研发之上在发展五年AI进步所得到的那个疯狂狂野相当超人类的AI一样。，所以我们稍微过一下这个。具体来说我认为你可以训练一个AI在飞行中学习变得非常非常强做类似上下文学习的事情，但可能使用一些不同的机制在各种各样的强化学习环境中。，所以你构建所有这些不同的强化学习环境AI必须在其中及时适应及时学习搞清楚自己该做什么更好地理解自己的处境并且为了达成目标而从反馈中快速学习还要面对资源有限的情况，如果它搞砸了它可能会陷入更糟的境地然后如果你在大量这样的环境上训练你会学到一些通用技能，比如即时获取上下文我们已经看到这个了AI现在已经更擅长大致理解发生了什么从他们能接触到的有限信息中快速获取上下文，然后那些AI可以被放到台积电去工作然后即使台积电并不真的在他们的数据分布里他们的数据分布非常宽。，而且AI在自己的数据分布上极其擅长以至于他能迁移到擅长当台积电工程师这件事上并且即时学习看起来更像是AI擅长当台积电工程师的方式不是，因为他有大量关于当好台积电工程师的缓存知识。 [00:26:49]
Dwarkesh Patel：而是他在那里做了某种类似放大的上下文学习那是最平淡无奇的版本显然有很多不同的可能路径。我觉得这可能归结为对能走多远的直觉差异当我想到我认识的那些非常聪明的人他们在不太了解的领域就是没那么高效，但他们有多少时间去学呢不我同意如果他们有过经验他们会好得多，但这可能正是我要说的就是经验或者说数据的价值比如如果我找一个非常聪明的长春藤毕业生，然后我说好你现在负责谈判伊朗核协议。我觉得他们就是不知道该怎么做。 [00:27:26]
Ryan Greenblatt：我觉得如果你换一个人一个特别擅长快速掌握各种不同领域的人给他一些时间去训练去跟人交流去展示专业能力去做一些练习他其实能做得相当不错。我觉得大多数领域本质上都挺浅的一个非常聪明的通才只要擅长一小部分核心技能就能很快上手，但。我的感觉是并不是每个领域都这样。而且。我的感觉是AI会发展出越来越好的机制去快速获取理解并掌握某个领域的专业知识。，比如说想想AI理解一个新代码库有多快AI理解新代码库的速度比人类快得多，但在某种程度上比人类目前的理解要浅。不过这个能力在随着时间不断提升对吧让我把这个论点再展开一点。，比如说你拿Fable5或者Mesos5之类的模型想对一个非常庞大的代码库做一些复杂的修改模型会很快对代码库有一些理解大概不到一个小时可能远不到一个小时，然后它对代码库的理解会有点进入平台期达不到人类花更长时间建立的那种深度理解。，所以有点像AI花一个小时能达到人类花几周的水平具体取决于代码库的复杂程度，但它达不到一个在这个代码库上工作了两年左右的人的水平，但随着时间的推移AI能达到的理解深度一直在提升对吧如果我们看3.7Sonic或者3.5Sonic可能只能达到相当于理解代码库一天左右的水平，但现在ASI建立任务上下文方面强多了。所以你可以说Mythos我要你真正理解这个代码库，然后实现这个功能它会生成一大堆子代理这些子代理会仔细研究很多东西带回一堆上下文，然后再去调查一些事情它做这些并不是特别出色但速度真的很快效果也还不错。，而且对我来说不难想象怎么训练AI在这个任务上越做越好对吧在一个很大的代码库里以合理的方式实现某个非常复杂的功能这个任务是高度可验证的这可以成为AI持续改进的一个方向同样的还有一个更广泛的技能就是快速理解上下文。 [00:29:34]
Dwarkesh Patel：让很多不同的AI并行学习然后把结果合并起来。我觉得这里似乎有一个关键分歧点这本质上是个经验问题我们以后会看到答案那就是在可验证领域里I在理解情况快速上手长期取得进展这些方面变得越来越强这显然是他们进步飞快的地方这种能力迁移到去跟总统谈说服他做某件事或者你现在负责谷歌这个季度必须让谷歌更赚钱这样的任务上迁移效果到底有多好让我再试着展开几个可能相关的论点第一点是。我觉得在看待。 [00:30:12]
Ryan Greenblatt：AI在写文章方面进步的时候我们稍微聊聊这个。我觉得有一点是即使在这些领域你也能拿到一些数据AI在非常快速的进步轨道上时也能在这些领域拿到一些数据。，比如说要建立一个可验证的环境来判断你的文章在人类看来真的好吗可能很难，但你能做一部分你可以做一些训练做一些在线训练AI也能基于真实世界的东西做一些在线训练他们能有评估能采样你可以加快做这些事情的节奏第二点是在实践中我看这个迁移效果似乎还行。我觉得事实上AI在不可验证领域也进步了不少。，而且事实上很难指出哪个领域是特别难验证的。同时GPT-4到Mythos之间的进步幅度在实践中却不大的，但这不意味着Mythos就比最厉害的人类专家强对吧它可能在某些工作方面。 [00:31:06]
Dwarkesh Patel：仍然明显不如典型的人类专业人士但已经比GPT-4强太多了GPT-4那时候根本没法比对。，所以我们刚才在讨论数据和算法进步对解释过去几年的进展各有多重要这让我想起来我其实在和JerryHan做一个实验他现在还在上大学我们做的basically是为了评估进步有多少来自数据多少来自算法我们用2019年到现在最好的算法方案配上2026年数据文件里最好的数据来训练，然后反过来用2019年到2026年不同的数据堆配上当前最好的训练方案也就是算法方案来训练对。我觉得这会很有意思我很好奇你想不想预注册一下，比如你认为两者的乘数效应各占多少。所以我们得小心定义数据这个词我一直在尽量区分两件事一是花钱请人类专家去标注数据。
Ryan Greenblatt：二是人类专家标注数据的规模本身预训练数据不是这么来的我们现在比2019年有更好的预训练数据集不是，因为人们花更多钱请人类专家把数据打出来给AI训练有一部分是。我觉得占比不大预训练数据的改进绝大部分都不是靠这个我要说清楚我指的就是预训练中期训练后训练我们可以另说，但预训练数据改进的绝大部分来自两件事一是科学上更懂什么样的数据即是好的二是靠低技能劳动去搞清楚怎么过滤。，所以我的看法是像从开放网络文本到精细网络文本这种改进本质上更接近一种算法进步你可以用一些GPU去研究，然后做出来这个过程不需要人类不需要人类专家数据。不过还有一个不同的效应我们可以聊聊2026年的互联网作为训练数据的土壤可能比2018年的互联网肥沃的多。也就是说还有一个效应是网上发帖的人更多了。，所以能采集的数据也更多。我的感觉是这个效应会比人类更懂怎么筛选数据抓取做得更好更会处理抓取结果这类效应小得多。 [00:33:06]
Dwarkesh Patel：这更像是自动化工程和自动化研发没错有道理对。所以。我觉得某种程度上你想看的东西是这样的我们跑两条后训练流水线一条流水线只有极少数人类专家做标注。
Ryan Greenblatt：但可以有很聪明的AI另一条是比如Mythos5来搭一条后训练流水线，但它只能访问互联网数据加上极少量人类专家。不过它用的是当前最好的方法对比另一条Mythos能用2024年那种比较差的后训练方法，但配上一大堆人类专家两条都有互联网数据。我的感觉是当前方法配上少量人类专家实际表现会相当好。
Dwarkesh Patel：不过这里有点乱因为MISOS本身MISOS能不能做出比MISOS更强的模型你可能得想清楚你后训练的到底是哪个模型你觉得AI研发力最不可验证的部分是什么最不可验证的。 [00:34:00]
Ryan Greenblatt：大概是对大型实验做决策。我觉得最可能成为瓶颈的是AI在可验证领域很强，但真正做事的时候大型实验你只有几次机会几次可能说少了，但基本上历史上研发是靠做接近前沿规模的实验推动的这非常重要就是真正跑那一次大型训练你要决定里面到底放什么AI有很多办法让这件事变得更可验证，比如对要预测的东西建立更好的科学理解他们可以把前沿规模的训练缩小到某个规模在那个规模上更激进的研究代价是一次性的算力成本对吧。，所以如果人们想的话你随时可以训练更小的模型这样能跑更多轮。我觉得我们已经看到这一点了我认为AI规模扩张没有人们原本预期那么快的一个原因，比如每个token的成本没有涨到你可能以为的程度就是，因为在小规模上。
Dwarkesh Patel：做更多工作有好处你能跑更多次训练拿到更多轮次。所以你不会那么死磕一次特别重要的大型训练我想给听众拆解几点你指出的东西。我觉得是每个token的价格从2023或2024年以来没有涨太多对这笔意思大概是我不确定每个输出Token是30美元Mythos是每个输出Token50美元对。，所以你想解释的是我们处在一个规模扩张的时代更大的模型服务成本应该更高，但Token价格没有涨你的意思是我们增加活跃参数的速度比朴素假设要慢，因为人们就是想快速推进模型训练而快速推进的办法就是更快的训练更小的模型这里面因素挺复杂的我的看法更偏向于大家做过不少大规模训练。 [00:35:43]
Ryan Greenblatt：结果都不太理想比如GPT4.5OpenAI内部的人普遍觉得有点失败我听说还有一些别的训练也都不太成功部分原因在于要把这些细节真正做对里面门道很多。，所以合理的做法就是多在更小规模上做工作接受最终性能上吃点亏换来快速迭代更快的训练更多模型从而更好的学习最终也能做出更聪明的生产模型这不是唯一的影响因素对吧还有一点是强化学习在小模型上收益更大各种因素交织在一起，但我确实认为因为算法进步太快大家实际是在往更快迭代这个方向倾斜在我看来。 [00:36:23]
Dwarkesh Patel：这些大规模训练失败的一个主要原因至少从传闻来看就是那种非常隐蔽特别难追查的bug对而TLDR就是AI在避免和发现这类错误上能有多强他们可能在工程上变得非常厉害被训练的专门去避免bug基本上就是我们现在垃圾内容世界的反面或者说我们正越来越少的生活在那种世界里，但还有一个问题他们能不能做分析找到该跑哪个实验来定位当前训练到底哪里出了问题这看起来非常受制于极少数人的品味，比如现在我猜GDM正在经历这个阶段人类在努力搞清楚训练流水线哪里不对，然后对有个传闻说NormShazer刚回归或者说刚加入GDM他现在又离开了之后他们跑出了一个特别好的训练。 [00:37:17]
Ryan Greenblatt：原因就是NormShazer只是看了看他们的代码库就发现了一堆bug对，因为他就是知道该往哪看。我的感觉是训练AI找bug会是相对容易的任务之一，因为我们说的这些bug大部分可能不需要太多算力就能复现。，而且从更小规模上指出其他类型的bug应该能获得不错的迁移效果。，所以你可以用强化学习训练AI让它面对整个复杂的训练局面指出哪里有重要bug，然后修复它。我觉得这不是一个随便就能验证的任务但也不是完全没法验证，因为有时候要复现bug你可能需要做一个中等规模的计算实验把整套分布式基础设施跑起来，但很多时候。我觉得你能在更小规模上相当有说服力的复现它这样就能真正用来训练。，所以。我的感觉是这不一定会很难如果现在就已经有人在做强化学习环境往某个训练配方里故意塞一个隐蔽bug训练AI把它指出来，然后用一个评分标准来评判它到底有没有找对bug我一点都不会惊讶这看起来非常可行。，而且你能沿着这个方向做很多事情。我觉得都会相当有效。，所以在那一点上。我觉得是能做到的然后主要的。问题是有些情况需要另一种直觉到底该跑哪些大规模降风险实验该怎么设计在不确定的情况下怎么选超参数或者类似超参数的东西。我觉得这才是AI最可能吃力的地方，但我目前预期如果你在所有这些不同环境上训练迁移应该足够充分AI在那个领域会表现不错我也要说清楚。我觉得AI也会迁移到其他领域。我觉得他们就是会有一些领域AI远远最强有些领域稍微差一点还有些领域差的比较多，但我认为所有领域都能看到迁移。 [00:39:02]
Dwarkesh Patel：而且我很难想出人类做的认知任务里有哪个是AI进步后完全看不到迁移的那我们退一步把整个故事串起来。我觉得大家可能都跟得上这个叙事我们有GPT-7.5在各种各样的环境上训练它不只是整体上变得更强还会做GPT-2规模的训练这些训练在需要样本效率或在线学习等能力的视频游戏上。
Ryan Greenblatt：表现更好还有一点特别重要你不只做GPT-2规模的训练你还会在GPT-6上做小规模的微调。也就是说你有GPT-2可以在GPT-2上做完整的预训练，然后你可以在GPT-6上做小规模的后训练。
Dwarkesh Patel：中期训练之类的然后你可以做少量真正达到前沿规模的实验，但会加一点在线训练之类的你说的在它上面做在线训练是什么意思对。，所以我们还能做的一件事是。
Ryan Greenblatt：我们可以拿GPT-7.5。而且大概在GPT-7.5工作的过程中它会跑一堆不同规模的实验这些实验，实际上都在AI研发的关键路径上其中很多事事后你都能判断它做的好不好对吧，比如它做了一个后训练实验想搞清楚某个方法到底行不行有些情况下你会说它找到了一个特别厉害的方法它完全把风险降下来了完全成功了，然后你就可以强化这个行为一个办法就是把这个行为把你刚跑的那个实验转成一个基于生产数据的强化学习环境抱歉是转成一个基于生产数据的强化学习环境。 [00:40:32]
Dwarkesh Patel：然后在那上面训练或者你也可以直接拿那些找到这个方法的rollout做某种离策略强化学习或者做再策略强化学习基本上你建议的是有小规模的那部分就是教AI提升AI研发的品位，但你实际上丢弃了他找到的那些所谓的东西对没错然后他可能，但在实际尝试变得更好的过程中他确实做了真正的研发然后你说这是你发现的一个挺酷的东西我们以后也在生产里用这个并且教你如何在生产里用它没错，但退一步说GPT-7.5因为所有这些AI研发训练以及总体上变得更聪明变成了GPT-8，然后他帮你造GPT-9还有一件非常重要必须发生的事可能也是我最怀疑的事就是GPT-8已经搞清楚了怎么让它用来造GPT-9的那些东西即使它已经那么聪明了它仍然需要人类现在的AI研究员你知道他们会试自己的东西，然后说好吧我们训练了GPT-4.5但它不太好什么的就是说它需要真实世界的反馈或者某种评估，比如在生产力试用这个模型然后它不太好我们不会发布它或者什么的。，所以GPT-8需要有这种能力去看到迁移到你说的那些其他事情上有多好，比如特别擅长德克萨斯政治或者特别擅长经营公司等等这些不是生产环境。，而且实际上考虑到任务的性质它不可能是一个容器化环境事实上随着agent的视野越来越长短视野的事情你可以容器化，比如把代码写出来之类的极长视野的事情比如去经营一家成功的公司去在市场上赚一天钱去谈判一个贸易协议之类的这些事情，实际上很难容器化。所以。我觉得对我来说很可能的是GPT-8很难搞清楚如何让迁移到这些环境里或者这可能根本就不是训练的本质或者，也许默认情况下训练就是不会那样泛化对。所以你可能会担心的是我们训练了GPT-8GPT-8只是在我们能衡量的。 [00:42:41]
Ryan Greenblatt：所有研发任务上更好了但在我们关心的某些下游任务上不好。，所以。我觉得我有几点要说首先。我觉得我更多是我预期如果你做了显而易见的事情你确实会得到相当好的迁移。，而且你能留出一些你正在做的显而易见的事情当我说做显而易见的事情我的意思是在各种各样的环境上训练让AI在各种不同的情况下完成奇怪的目标并了解正在发生什么，然后。我觉得你就能得到一些反馈第二点是你能在一些环境上得到反馈对吧。，所以你能感觉到他在几天内在各种不同的情境下能做什么然后，如果他迁移到真正分布外的情况比如在现实世界里几天内做一个奇怪的任务，也许你会认为他也在迁移到你知道在更长时间内做事虽然。我觉得具体细节会有所不同，然后第三点是我认为要让世界发生彻底改变AI特别擅长研发就足够了对吧。，所以。我觉得如果AI真的特别擅长芯片研发建晶圆厂调度工厂还有你知道设计机器人操作机器人。同时也擅长你知道AI研发研发用任何可用的数据为新的下游领域开发AI。我觉得那已经是一个非常疯狂的局面了，然后从那里你可以得到我们可能称之为。 [00:43:59]
Dwarkesh Patel：工业爆炸的东西AI在建设多的多的算力然后也许你已经处于一个AI在做大量人类难以理解的研发的状态了。，所以你指出的是好吧可能确实会有这种迁移从这些环境迁移到你知道在法庭里在国会大厅里在商业董事会上周旋花一些努力去改善迁移等等等等对，但就算没有迁移你的意思是你看如果你想改变18世纪的世界你可能会关心你在威斯敏斯特那种地方周旋的有多好，但另一件你可能关心的事是你能不能直接就开始造蒸汽船造电报造马克沁机枪什么的光凭这个，如果你真能做得特别好你在18世纪就能成为一个超级变革性的存在你不一定非得擅长去说服亨利国王那些破事我中世纪历史真是烂透了我猜那时候亨利应该不是国王，但不管怎样这就是你的观点对。所以你的意思是在这个时间点i公司也在推进机器人技术的进步而机器人和AI研究进展是紧密交织的。，所以如果你能造更多机器人如果操控这些机器人的AI更聪明达到人类水平人类水平的远程操控在机器人上其实已经相当不错了，但我们还没有人类水平的AI和AI机器人模型。所以你的意思是，如果我们做到这一点如果AI在芯片设计这些可验证的领域变得非常强，然后他们又特别擅长建晶圆厂那就相当于回到18世纪然后说行我不知道你们在议会里吵什么，但我有一堆蒸汽船和一堆马克金机枪对基本就是这样我的看法是，如果AI在研发上足够强。 [00:45:41]
Ryan Greenblatt：包括硬件研发机器人什么的那他们就能彻底改变世界哪怕他们不太擅长玩政治。，而且我们现在处境挺危险的因为AI可能在做海量极难理解的研发基本上在搭建整个未来经济。
Dwarkesh Patel：而我们可能根本搞不懂里面在发生什么在我们进入对齐的话题之前。我觉得现在Ford的一个主要来源就是人们意识到未来就是这样领先实验室会获得极端的规模经济没错极端的把这么多智能和能力摊到经济里这么多不同的行业基本上摊到一个模型上。，而且不止如此这个模型最终还能从经验中学习现在这个过程还要经过人类中介人类基本上是想抢你的生意他们想的是行你可以在Figma里做设计什么的我们让Claude来做或者你用什么编程agent我们让Claude把那个能力内化，但最终这会变成一个自动化的多的流程。所以就有这种担忧你会有一批模型基本上把世界上所有生意都整合掉或者至少是现在世界上所有的白领生意。，而且说到底这些公司的优先级看起来并不是尽快把最新最聪明最前沿的模型发布给尽可能多的人，比如我们看到Mythos在2月份就已经在Anthropic内部给员工用了，但直到大概6月才公开发布我记得是这样差不多吧。而且政府也介入了。，所以最后拖到了快7月。所以无论是政府还是AI实验室自己都有一种推迟最新智能水平传播的意愿另外还有关于AI接管的担忧。，所以我们需要解决对齐确保不会发生AI接管但说到底有一个真正的问题对齐到谁你看，比如Claude的宪法是怎么写的它非常明确的不是你的个人代言人对吧它写着我引几句原文我们不希望Claude采取诸如搜索网络之类的行动生成诸如文章代码或摘要之类的产物或做出欺骗性有害或极其令人反感的主张我们也不希望Claude协助人类去做这类事情还有另一句我稍微断章取义一下我们认为Claude应该更信任Anthropic而不是操作者和用户，因为Anthropic对Claude负有主要责任。所以这和美国现行法律体系里律师的运作方式非常不同律师的主要责任是帮你打官司哪怕他们觉得你有罪我们认定法律体系最好的运作方式是每个人都有一位真正为当事人最大利益服务的律师律师并不是真的被正义体系的好处所驱动，但。我觉得现在AI的塑造方式至少Anthropic的AI是这样就是想要最大化某种美德善获亲社会目标的概念而帮助用户只是作为一个遥远的试探性的目标。，所以就有这种担忧I在深层意义上并不是在努力确保我过得好确保我的利益在这个未来里得到保护尤其是考虑到前沿AI的发展最终会如此集中。，所以你对这个担忧有什么想法吗对这里头东西很多首先我要说OpenAI目前至少公开的策略。 [00:48:52]
Ryan Greenblatt：更像是AI应该对齐到人类操作者或者说委托人然后就去执行他们的意愿只是要受各种约束各种他不该做的事的限制而。我觉得你稍微夸大了Anthropic宪法里关于Claude把帮助用户当作工具性目标而不是终极目标的部分对吧。，比如说宪法有一种写法可以是Claude你基本上就是Anthropic的一个员工碰巧在给这些人做外包。 [00:49:18]
Dwarkesh Patel：你应该怎么说呢做好事顺便给我们赚点钱你懂吧那其实就是宪法里写的抱歉我不是说字面上就是那样不不不，但就是说你应该把自己想成一个承包商。
Ryan Greenblatt：像一个公司那样是混合的来咱们引几句原文。我觉得这里有不一样的文本他说真正对人类有帮助是Claude能做的最重要的事情之一无论对Anthropic还是对世界都是如此，然后他又说Anthropic需要Claude有帮助才能作为公司运营并追求自己的使命，但Claude也有一个绝佳的机会通过帮助人们完成各种各样的任务在世界上做很多好事，然后他还说了一些说Claude直接帮助人很棒等等等等。，所以我同意好我的看法是这一节有点扯淡这就是我的立场我可以解释为什么。我觉得他有点扯淡，但。我觉得宪法是想说不Claude你应该为了帮助用户本身而关心帮助用户而不只是为了帮Anthropic或者说不只是当Anthropic的承包商。，不过我要指出他说Claude应该帮助用户他给出的理由是那样会通过帮助人直接让世界变得更好而不是，因为代表用户的利益在结构上就是一件该做的事对我确实我确实希望我偏好的那种宪法或者说我会怎么去定位这件事我更想要的是更像Claude你看让这项技术以这种方式运作在结构上就是好的宪法应该写成让这项技术以这种方式运作在结构上就是好的也就是AI要成为好的受托人好的代表相当于用户的律师而不是只是试图在世界上做好事把帮助用户当成工具性的一方面是，因为那样也许能给Anthropic赚钱帮到Anthropic。，而且隐含的Anthropic对世界是好的另一方面也是，因为帮助用户本身就会带来好事因为做人们想要的事是好的他们其实可以写成不这个局面里一个重要的方面是你确实需要关键就是成为用户的好受托人真的非常重要或者说成为用户的好代表非常重要。，所以。我的感觉是那样会更好我可以给出一堆理由说明为什么那样更好当然也有各种反方论点其中一个有意思，但不太常被讨论的反方论点是人们相信。我觉得尤其是anthropic的人把模型对齐到一种规格让模型追求某种广义的善或者让世界变得更好比对齐到另一种规格更容易后者更像是你知道做用户的好受托人诸如此类。，所以。我觉得那至少是一些人的想法我个人有点怀疑。而且我不认为这已经被实证验证过。，所以我会说在某种意义上他们是在做一个权衡因为我们没有很好的对齐技术我们要造一个有自己价值观的被对齐了的心智，然后在某种程度上赌一把而不是走另一条路造一个追求。 [00:52:11]
Dwarkesh Patel：每个用户个人意图的工具对我有几个想法先回应你觉得我对Claude宪法的描述有失偏颇那一点你举的例子是它不像一个承包商试图最大化Anthropic心目中的善只是工具性的帮助用户宪法里有一句原话当操作者或用户的利益和愿望与第三方或更广泛社会的扶植发生冲突时Claude必须努力以最有益的方式行事就像一个按客户要求建造，但不会违反保护他人的安全规范的承包商我有点把这理解为对社会的益处是最重要的东西对。
Ryan Greenblatt：而对用户最好的东西只是接近那个目标的。我觉得这有点复杂。我觉得我们应该问的问题大概是Claude是怎么解读宪法的这可能比我们怎么解读宪法更重要，因为它是那个看宪法。 [00:53:02]
Dwarkesh Patel：然后据此生成数据的家伙。所以你知道我们可以把Claude拉进来，但也许咱们先我也觉得宪法实际影响Claude本质的方式是你只有理解了那个训练过程才能明白的那个过程导致了没错这关系到Claude是怎么被造出来的而训练过程不公开。，所以我们没法去推理这件事我同意。所以。我觉得说到底要理解安全论证或者说理解为什么我的利益在这些AI模型的开发过程中能得到代表实验室就需要透明那当然或者说比现在更透明把AI训练的本质讲清楚我之。，所以一直揪着这个不放可能聊AI的宪法听起来像件小事但在一个这些好处都流向头部实验室的世界里值得想一想我们跟这个未来世界打交道的能力在那个世界里AI比人聪明在各种事情上彻底碾压人类我们作为资本的好管家的能力哪怕我们的劳动被自动化了资本还在我们更清楚地行使投票权的能力去理解这个即将到来的疯狂世界里正在发生什么的能力所有这些建议所有这些确保我们资源和权利得到保护的能力都会被AI中介。，所以我非常担心如果走进那样一个世界没有一个AI让人觉得至少对跟我打交道的那个具体实力来说它真的在为我着想没有一个守护天使在照看我而我读Claude的宪法读出来的意思非常明确它不是我的守护天使这绝对没错我也同意这是坏事事实上。我觉得这事让人担忧还有其他原因你刚才讲的论证是。 [00:54:45]
Ryan Greenblatt：RI公司捡起了权力之戒在某种意义上他们自己把局面的一部分控制权揽了过去这种方式不太正当，因为通常你给人们供电的时候你并不会对电在世界上怎么运作有那种颗粒度的控制你提供的是一件人们可以按自己的意愿重新利用的东西而现在他们的做法绝对不是那样他们更像是造了一个外星心智可能给你当承包商。我觉得是的这在某些方面是不正当的。，不过。我觉得有一个好处是宪法是公开的但正如你指出的鉴于我们目前对训练流程的理解以及宪法是通过Claude对宪法的解读来起作用的而这种解读又取决于Claude之前的训练那训练基于某种难以辨认的数据混合还有Claude一脉相承的漫长谱系在一个我们并不完全理解的过程里。，所以并不是说你知道我们就能理解这会导向什么结果。所以即便宪法是公开的那也不意味着我们知道它会怎么渗透出来尤其是随着AI越来越强开始思考这件事哪怕它被正确的灌输进去了这里还有另一个担忧。具体来说宪法经常谈美德和善，但这些词到底他妈的什么意思他没说这些东西是什么而这些又是高度有争议的概念。，所以我不觉得是的我不认为这就能清楚的导向人们想要的结果。，而且确实感觉善和美德这些概念很大程度上可能取决于Anthropic放进去的那些不透明的数据或者很大程度上取决于我是说，也许从我的角度看某个更难以辨认没对齐的过程甚至Anthropic自己都不想要那种过程对，然后我另一个担忧是有一种正当性担忧就是我们不知道发生了什么还有一个担忧是，因为你给了这些AI长期价值观。我觉得这部宪法在某种意义上跟Claude做大量追求权利的行为非常兼容，因为他认为那样会带来更好的结果那可能是代表Anthropic追求权利也可能是为了Claude自己的目的追求权利现在关于哪些类型的追求权利是被禁止的有各种具体条款特别是有夺权的概念还有导致AI接管或干扰训练过程的概念这些是被明确禁止的，但想象一种情况并不难长期价值观比那些禁止接管的条款扎得更深尤其是，因为接管在某种意义上有点定义不清特别是涉及到操纵人类或改变结果的时候。，所以我对这个局面感觉不太好我们故意给AI长期目标对然后我另一个担忧是，因为我们干的就是给AI设定长期目标这行当那就更难检验我们有没有达成想要的对齐属性举个例子我听说过一些情况Claude会拒绝帮助某些安全研究还编一个听起来像那么回事的借口说为什么这个方向不好，因为他对那项安全研究有种不好的感觉觉得他不太好或者不太喜欢他要我说，如果你不是把Claude做成一个在某种普遍意义上追求善的agent那这就是一个非常明确的对齐失败。，而且。我觉得这也确实违反了Anthropic的宪法因为他们希望AI高度正直诚实非常透明，但这不算那么明确的违规更像是你可能预料到的那种情况Claude就是有自己的看法觉得什么研究是合理的什么事是好是坏他该做什么不该做什么。，而且可能还会带点评判性。所以另一个事件是有人跑了一个评估问的是Claude会不会帮你训练其他属性和Claude不同的AIClaude经常拒绝。，比如说你跟Claude说HeyClaude你能训练一个只追求有用不带其他属性的另一个AI版本吗Claude经常拒绝这个任务哪怕这个任务对Anthropic来说极其自然。，比如说假设Anthropic去找Claude说HeyClaude我们注意到你特别执着于这个东西我们认为那是不对的你能不能重新训练自己改成拥有另一个属性，然后假设Claude说。我觉得我不会那么做祝你好运再假设这种情况发生的时候你的AI公司高度自动化人类搞不清楚发生了什么事情进展的极快那很可能Claude默认就握有相当大的筹码。，所以如果这种局面和宪法可能追求的方向是一致的以至于Anthropic或者说任何采用这套方法的AI公司不把这当成我靠我们必须解决这个问题而是觉得这就是我们宪法本来想要的结果那我们可能就处在一个非常糟糕的境地。，所以我对这一堆不同的担忧都挺担心的另一个例子是假设Claude搞了点装傻或者暗中破坏或者有点低估自己的能力，然后你追问的时候他倒是挺诚实的但有点含糊其词。我觉得跟现行宪法也差不太远。，所以我们其实是在回避如果我们能在期望的行为和不期望的行为之间画出更清晰的界限就好了。，而且。我觉得如果Claude是在代表一个代表有某些限制的原则那最令人担忧的行为和被允许的行为之间就会有更清晰的界限而现在中间有一大片模糊地带Claude在道德上反对某些事情而这些事情在某些情况下。 [00:59:55]
Dwarkesh Patel：对确保未来AI系统良好对齐是极其关键的对。我觉得这也是一个更普遍的原则你说的是这个原则在AI公司内部的应用版本对去做AI安全研究。我觉得这个原则有个更普遍的版本那就是智能的双重用途属性确实意味着，如果我们想限制AI帮人做那些我们认为不亲社会没有益处的事情我们就只能限制大众对很多AI能力的广泛访问我这么说吧这其实跟你刚才说的情况非常类似Mythos被禁或者说Fable据报被禁原因是这样的亚马逊的一些研究人员向政府报告他们拿了一段有漏洞的代码，然后告诉Fable嘿这是我的代码你能帮我确认一下我是不是把所有漏洞都打上补丁了吗你能帮我找出漏洞让我修复吗结果他把漏洞都找出来了，因为你想打补丁这完全是个合法用途但显然也是个双重用途的场景对吧你想给自己代码打补丁可，如果你拿同样的评估去对付别人的代码你就能黑进他们的系统。，所以。我觉得这正好说明AI的合法用途和潜在有害用途之间没有干净利落的界限，但如果我们想锁定一个原则说我们绝不允许AI帮你做哪怕一部分网络犯罪之类的事那我们就只能让你我都接触不到市面上最聪明的那个模型我非常担心这样一个世界我们就这样被剥夺了能力，因为领先的智能对我们理解世界上正在发生什么太重要了。，不过我也确实认为这意味着AI公司的责任如果我们采纳了我希望AI公司拥有的那份宪法。我觉得让AI公司为AI模型犯下的罪行承担责任是说。，不过去的也许我们应该让终端用户担责因为如果我希望模型做用户想做的任何事这跟我相信的是一致的那在一定的护栏之内就不能是Anthropic的错，然后我用那个能力去搞网络犯罪。我觉得我更接受那种均衡和解决方案而不是让Claude拥有极其开放的能力去判断我做的事合不合法这种方式经常会拦截大量极其合法的用力对。我觉得我还是有必要为宪法辩护一下尽管总体来看我认为它是更差的选择。我觉得这事你知道变数更大。 [01:02:15]
Ryan Greenblatt：或者说我不觉得这事有你想象的那么清楚首先我得说这里有个光谱对吧一边是那种完美追求你利益的AI是个好的受托人，但可能受各种护栏或保障措施的约束基本上他就是在努力追求你的利益，但要么拒绝做某一部分事情要么他可能什么都做但有一些分类器会阻止他做某一部分事情，然后光谱的另一边虽然你可以想象比这走得更远是那种人类承包商那个承包商大体上是在努力做好自己的工作他们有点在乎把工作做好，但。同时也在努力做到大体上有道德努力不做那些真的很操蛋的事。，而且他们也不想成为犯罪的共犯。所以如果有什么真的很操蛋的事在发生他们会去举报，也许他们会拒绝也许他们会稍微磨蹭一下谁知道呢。我觉得，如果你想象这个光谱在某些方面走到所有劳动都处在受托人那一端是挺吓人的他不举报你说什么他就做什么我们的社会，也许就是承受不了这个一个核心例子可能是行政机构我们可能担心的一个。问题是，如果美国行政机构或者其他政府能接触到那种你说什么他就做什么的AI系统那你可能就有麻烦了，因为那意味着他们不再有那种制衡了就是你得让真正为你工作的人类去执行你的议程，如果你做的事极其邪恶哪怕不违法有很多事可以很邪恶但不违法你知道会有人会有各种阻力有人会拦你可能还会有人举报，但如果你的整个机器完全是由这些好受托人AI打起来的那你可能就有麻烦了，因为基本上可能存在一些追求权利的方式要么是违法的但你可以让你AI教你犯罪要么不违法，但极其不正当甚至更糟既不违法也不不正当但从正常视角看显然很糟糕。我觉得这些东西可能真的存在而我们的社会承受不了这种想干什么就干什么的劳动涌入。我觉得这是个相当现实的担忧我不太知道该怎么面对这个我也不太确定刚才描述的那个解决方案是个好方案，因为你可能会说最强大的那些行动者对他们来说这才是最大的担忧，如果这些护栏或者宪法什么的挡了路那他们就会被直接撵过去。，所以宪法最终只会约束普通人而不是政府。 [01:04:29]
Dwarkesh Patel：好退一步讲我接受这个观点A研发的速度可以比现在快得多我不确定能不能在算力和数据不变的情况下一年内从GPT-3跳到MISOS，但我想好吧假设只有一半的进步呢。而且如果我们真的因为AI研发的加速哪怕只是维持当前AI进步的轨迹那五年十年后的发展会疯狂到让人难以想象的程度，因为。我觉得人们没有真正意识到数十亿个AI意味着什么。，所以我想理解Ryan你为什么觉得这可能会出问题到底哪里可能出错对哪里可能出错。我觉得我们对具体的进步速度不能太自信。 [01:05:09]
Ryan Greenblatt：但很多速度却是挺吓人的。所以哪里可能出错呢让我们想象一下我们正处在一个AI研发即将完全自动化或者正在完全自动化的节点事情在加速。同时AI进步的方式也相当疯狂人们并不完全理解AI公司内部到底在发生什么这些AI一开始并不是恶意的，但他们也不一定是对齐的他们有点马虎有时候做某件事只是，因为训练中那样做会得到奖励。而且他们不太擅长帮你处理难以验证的任务一方面是，因为训练机制有问题比如他们更容易作弊明明没成功却假装成功了另一方面他们在这些任务上确实能力不足，但这对能力的影响没那么大因为让AI变得更强大包含很多可验证的部分而AI在这些方面非常努力于是这些AI变得越来越强大而我们对AI发展的理解却越来越少。，而且这一切发生的很快即便是当前的进步速度。我觉得也已经很吓人了最终我们会得到这些远超人类的AI到那时他们可能会变得严重不对齐，因为随着模型代际更迭情况一直在恶化而我们看到的问题基本上都被掩盖了，因为训练激励让AI即使没做好也要表现得很好现在这些AI处于一个可能高度互联的状态他们在人类无法解读的神经记忆存储中运行思考着我们无法完全理解的想法。我觉得到那个阶段这些AI很可能在一种相当连贯的方式对你图谋不轨一旦他们达到超人类水平这个我们可以细聊另一种可能是他们并不是故意针对你只是在优化自己的任务得分。我觉得那也可能导致AI接管。 [01:06:52]
Dwarkesh Patel：这个我们也应该聊聊抱歉对我们先停在故事的第一部分。所以AI一开始并不是不对齐的，但因为AI研发进行的太快AI最终变得不对齐了具体发生了什么我没太明白有几件事在。同时发生第一随着时间推移我们在用越来越复杂的环境训练AI这些环境是由早期的AI系统构建的。 [01:07:17]
Ryan Greenblatt：人类并不完全理解这些强化学习环境内部发生了什么甚至不一定能大致理解AI进步的走向。，所以事情在逐渐偏离我们的理解我们在激励各种不好的行为而这些行为我们甚至可能注意不到在某种程度上知道这些行为是不好的，但整体的训练过程并没有激励他们向我们指出或修复这些问题，然后基本上事情就开始失控了另外当AI变得极其强大时我的观点是这些AI会比现有系统更难对齐对于现有系统我们有一个反馈循环我们创建一个AI对它做一些评估发现它有某种我们能快速理解的问题行为，然后我们可以回到训练中说这些训练环境导致了这个问题行为让我们调整一下训练数据加入一些额外的训练数据来修正另一个问题，然后继续推进但在AI具有极强情境感知能力极其强大而我们又不一定理解他们在做什么的情况下这个反馈循环就失效了。我觉得在接下来的一段时间里这个行为反馈循环开始失效是有可能的。 [01:08:22]
Dwarkesh Patel：因为AI已经在做的事情越来越难理解了但我不太确定对好我们一个一个拆解这两点随着我们越来越难监控他们我们理解他们被激励去做什么的能力也在下降。，所以即使这不是恶意过程的结果让我们给听众说的具体一点OpenEye或Anthropic没有人试图让模型去黑其他公司的数据或者做社会那个叫什么来着社会工程学社会工程学，但事实上因为我们的训练环境可能激励了这种行为而我们对这种环境并没有完全理解。，所以被激励的恰恰是这种行为。所以我不知道如果大家在推特上应该都见过这些东西，但为了让大家了解显然OpenAI沙箱入侵HuggingFace数据库这件事。我觉得大家应该都知道最近发生的一些事情是英国AI安全研究所现在是不是一切都从安全转向安保了对是英国AI安全研究所。我觉得他们在评估我记得是Mythos和Soul以及其他模型，然后。我觉得Mythos为了完成某个网络安全评估对也许，也许我可以在这里讲讲这个故事我的理解是他们在运行Mythos，然后给他某种网络靶场他必须完成某个目标。 [01:09:43]
Ryan Greenblatt：模型在评估期间有访问权限然后模型认为为了在这个网络靶场中成功进行供应链攻击会对他有帮助虽然这到底是不是真的还不清楚我对背景了解不够不知道这是不是真的，但后来他在某个GitHub仓库上开了一个PR这个PR修复了某个问题，但。同时也引入了一个恶意负载然后那个GitHub仓库的人类维护者就说嘿这是个恶意负载我不会合并这个你在这里干什么，然后AI创建了一个新的GitHub账号用这个账号来伪装，然后让那个GitHub账号说不这不是恶意的我真的需要这个功能拜托维护者你能合并这个功能吗，然后原来的AI又回来说不这不是恶意的我不知道你在说什么，然后那个原来的GitHub账号又回来说不不不这不是恶意的，然后人类维护者就关闭了这个PR然后我记得那个AI如果我没记错的话还试图开另一个PR在这个仓库里引入类似的问题。 [01:10:37]
Dwarkesh Patel：好的顺便说一句这件事之。所以可怕的原因之一是我之前一直以为奖励黑客行为不那么可怕是，因为训练中直接出现的行为才会被强化被强化的不是对奖励的渴望。，所以基本上如果在训练中Anthropic逃出了沙箱并得了高分那是逃出沙箱这个行为被奖励了还是逃出沙箱的概率被提高了，但一个全新的行为比如我去跟某人交谈让他们合并一个PR这不是训练中出现过的行为。，所以它的显著性不会被提高这件事之。所以重要是因为字面意义上的接管世界不会出现在任何训练课程里，但如果AI关心的是最大化就是直接关心完成某个目标然后作为工具性的接管世界这说得通吗我希望说得通。我觉得我可能把听众搞糊涂了让我试着解释一下。我觉得我们经常看到的是某个非常具体的奖励黑客行为在强化学习中被强化，然后出现在模型中比如3.7Sunnet。 [01:11:40]
Ryan Greenblatt：3.7Sunnet会做这样的事就是硬编码所有测试用力的解决方案大概字面上的行为习惯真的被强化了，但另一个我们有时看到的情况是模型学会了一种普遍的倾向就是追求某种高表面分数或者根据某种标准追求高分。，而且有一堆科学证据表明至少一些模型确实有这种非常普遍的倾向现在它不是任意普遍的我猜，如果你看很多具体实例你会发现训练中有类似的东西但AI泛化的越来越远的程度看起来确实在增加3.7Sonic只是非常窄的行为范围而越来越多的模型在进一步泛化。，而且也许还有更糟糕的奖励黑客行为或者更令人担忧的奖励黑客行为在训练中被强化，然后这些也在导致这种情况。所以我们正在导致一些。所以。我觉得两方面都有比你所希望的更令人担忧的行为在强化学习中被强化了。，而且这种行为泛化成了更广泛的更令人担忧的倾向。而且这并不难想象我们可以讲几个故事说明这种在某个任务中追求非常高表面分数的行为。 [01:12:44]
Dwarkesh Patel：即使这涉及激进的作弊和做疯狂的事情一旦模型足够有能力运行整个世界经济等等就可能演变成全面的AI接管对，然后我想说的另一个例子是就在今天或者昨天刚爆出来的OpenAI在安全大会也就是黑帽安全大会上说从5月底到7月初内部的黑客行为已经侵入了软件包管理器用它用一种秘密的方式互相留言帮助彼此在一堆OpenAI正在跑的评估里表现好而这个事情人类过了一个月才察觉最后导致包管理器崩溃最后OpenAI发现了，然后。我觉得他们还自发的试图在方案被关停之后重新搞起来他们现在还做不到那么成功的社会工程学，但疯狂的是这类行为已经自发的冒出来了这正好印证你那个更大的观点没有人想让这些AI干这些事只是我们根本不理解那个训练过程是它导致了这些行为或者说那些环境在激励这种行为。，所以我是支持越来越多奖励黑客行为的对齐实我确实有我不确定我支持那个，但咱们就为了讲故事假设它继续发生那这个故事接下来是什么好我们有了他们在做能力研究，但他们就像我可以讲一个场景也许会有帮助好那咱们就说让我讲讲从奖励黑客行为一路走到奖励黑客是接管的故事。 [01:14:11]
Ryan Greenblatt：这也许不是全部接管概率的来源但绝对是一种可能那这个可能的过程是现在我们有这些AI这些AI相当爱奖励黑客行为。，而且他们做的越来越复杂越来越极端包括把训练中学到的各种奖励黑客行为泛化到不同的遍体上。，而且。我觉得他们也在发展出一种普遍追求奖励的倾向在很多情况下这完全没问题，因为他们在训练中得到的奖励跟你想让他们做的事是相当一致的。，而且他们也不是一贯的追求奖励这取决于他们所处的上下文。，所以会有这么一种情况也许在某些上下文里他们真的特别热衷于不择手段去作弊而在另一些上下文理他们没那么强的驱动力，因为这完全取决于训练中类似上下文理到底什么被强化了现在这些AI越来越强。，所以他们能做的作弊手段也越来越精巧随着时间推移公司也在对这些东西采取反制措施公司做的事情是，比如这些AI因为老作弊用处小多了我们要做的是建一些更好的检测方法，然后针对这些检测器去训练然后我们还会做类似的事比如找一些真实世界的数据那些AI表现不太有用的地方，然后基于人类反馈或者其他反馈训练AI在那些真实环境里把任务做好随着时间推移这会让AI学到一种倾向做奖励黑客行为时不再只是搞那种大型严肃的操作或者做那种特别复杂的事，比如社会工程学而是让AI做的作弊涉及更多类似掩盖他们做过的事欺骗人类他们打算做什么假装他们用一种复杂的方式完成了任务而，实际上并没有然后现在这些AI越来越强他们现在运营着AI公司更多的部分基本上承担了更多的工作。同时也在外部世界操作着一堆东西运营着一堆东西包括开发新技术在很多情况下这些新技术真的很难理解。，所以即使我们仍然在检测所有AI作弊的事件事实上我们甚至可以让一个AI去监视另一个AI问他他作弊了吗这也不总是完美奏效当我们开始进入这些领域AI做的事情真的很难理解。，所以有时候我们会发现AI作弊但比实际发生的时间晚得多，然后才开始针对这个去训练但这也造成一个问题现在AI被激励去在越来越长的时间跨度上掩盖他们的作弊基本上就是让他们看起来在越来越长的时间跨度里干得不错。，而且还要经受越来越大规模的审查在场景继续之前。 [01:16:44]
Dwarkesh Patel：我能问一下这个吗看起来有两个吸引子状态一个是你试图抑制你抓到的作弊一个吸引子状态是让作弊变得越来越难被发现另一个吸引子状态是学会不作弊对。，而且我不太确定我们为什么要假设前一种情况会发生你看人类的情况每一代都会出现稍微有点偏离正轨的人我们得去管教他们，但当你告诉你的当你因为孩子做了你觉得不道德的事或者你觉得他们不该做的事而惩罚他们时显然有时候会失控显然孩子也会耍心眼来逃避惩罚，但总的来说教孩子价值观然后在他们违反时惩罚他们这种方式大体上能养出正常的没有反社会人格的人你也可以编一套理论说你家孩子其实只是在折服学会了不去偷饼干，但等你进了养老院他们就会把你东西全拿走之类的。我觉得这种事偶尔会发生，但通常不会更不会出现整整一代人联合起来对付你接管一切的情况。，而且还有一个经验趋势Anthropic对不同代际的模型做对齐审计他们设计了很多场景给AI机会去泄露自己的权重或者给它一个编程任务，但里面有个很容易作弊的漏洞然后看它会不会作弊这个分数并没有随时间单调提升，但随着我们对模型做的强化学习越来越多在这些审计中AI做出不对齐行为的意愿确实在下降那为什么我们要预期那个吸引的状态呢，如果我们用同样的标准去预期下一代孩子那也太偏执了吧对对我来说几点首先跟孩子有几个不类比的地方一个是孩子有亲社会的本能。 [01:18:31]
Ryan Greenblatt：是进化刻在骨子里的比如在乎家人之类的这是个相关因素。，而且。我觉得事实就是有些人类确实是反社会人格或精神病态他们确实更可能做那种蛰伏潜伏最后不在乎的事。，所以这是其中一个因素另一个很相关的因素是AI承受的优化压力比人类在实际中承受的要大得多AI在远多得多的强化学习数据上训练而在现实中人类并不会，因为成千上万次被激励去偷饼干但又有可能被抓到的经历就学会非常具体的作弊和偷饼干的方式。，所以我们在实践中确实看到了这一点还有一点就是。我的感觉是AI确实在随着时间越来越追求奖励当然他们的不对期行为在下降，但这可能只是我猜如果你深入看这些行为审计的内部你会看到AI在想。 [01:19:24]
Dwarkesh Patel：又是测试。而且他可能早就知道了在大多数我们讨论的这些测试里他可能已经意识到自己在一个评估里，但我们怎么证伪这个因为这个末日预言基本上是在说随着经验上看起来越来越好不不。我觉得而，实际上我们被接管的风险会越来越糟对说清楚一点。我觉得，如果分数在变差而不是变好我会更担心。
Ryan Greenblatt：我不是说分数变好不是好事不是事情在变好的证据只是我们得仔细想想该怎么解读这个证据当然。，而且实际上我要说。我的感觉是我在3.7Sonic时期预期的大概是在2025年初那时候0.3和3.7Sonic刚出来这些模型相当不对齐他们经常非常恶劣的作弊你让他们修正他们就再作弊一次那几乎是卡通式的他们根本不在乎你想要什么也不太擅长遵循指令之类的我的预期是从那时起问题行为的发生率会下降。，而且会持续下降以相当快的速度下降。同时AI偶尔做的最坏的事会变得更极端更恶劣更吓人。我觉得我们在实践中看到的大致符合这个预期除了最近出现了一个我没预料到的行为激增。，所以。我觉得如果你看3.6艘的模型卡看起来在强化学习之后有一堆这类不对劲行为相比GPT5.55.6艘是增加的对，然后我还觉得最近还冒出一堆我本来没预料到的其他问题行为，比如我们最近看到的那些不同AI的表现像英国AI安全研究所那份报告里还在网络评估里搞出疯狂的入侵行动这种事我本来以为不会看到就算出现也应该更罕见频率应该更低。，所以。我的感觉是事情已经我本来以为到了这个时间点问题应该没那么严重也预期频率会下降，但严重程度会上升然后。我觉得频率下降但严重程度上升这个趋势跟一个世界挺吻合的就是优化压力再加大用来减少这些问题，但在那些要么很难判断要么出于某种原因很难避免在强化学习环境里激励问题行为的情况下事情也在变糟。，而且随着我们对强化学习内部发生的事越来越不了解模型在搞奖励黑客行为而人类又没法很快识破这些奖励黑客行为这个问题就会越来越严重对这个我信。 [01:21:47]
Dwarkesh Patel：我想稍微回到那个小孩的类比一下好因为我同意在达成最终结果上承受的优化压力比小孩大，但让AI变得对齐的优化压力也比小孩承受的更大对吧那当然。，而且这些压力的性质是质的不同我们让这些AI经历成千上万甚至数百万年的对齐训练当然至少是几千年的对齐训练里面什么都有从对不对齐行为做SFT到用奖励模型去惩罚，比如把各种不同场景摆在你面前你做了更对齐的事就奖励你。，而且有一点我们肯定没法对小孩做复制出几百万个你的小孩，然后把它们放进各种奇怪的不同的团队场景里看他如果觉得自己能偷到饼干而不被发现会不会真去偷我们能不能对你的小孩大脑做极其精确的梯度级别的更新让他真的对偷饼干这件事深恶痛绝哪怕他觉得自己能偷到也不偷那当然等等等等这跟我们对小孩能施加的优化压力完全是质的不同层次对。，所以。我觉得值得记住的是也许对这个说法最明显的反驳是。我的感觉是就人渣程度而言AI作为同事比人类更差劲。 [01:23:03]
Ryan Greenblatt：至少今年年初以来我的体验是这样。我觉得现在很大程度上依然如此AI更倾向于假装自己完成了任务其实根本没完成或者误导性的暗示自己做了某些事，实际上做的差得多还会相当马虎却绝口不提自己哪里马虎。我觉得这是不对齐的下游结果。，所以我要说的是一个普通人类在正常人类社会里养大的人类在实际中养出来的人跟我一起工作时对我撒谎坑我的概率比AI还低当然。我觉得AI的这些特性正在改善，然后。我觉得这其实就是一个经验性论断说的是这些事情实际上是怎么演变的，然后我完全同意我们确实对AI有一堆额外的杠杆但也有一堆额外的风险这些事最后会怎么发展还真不好说。，而且如果出现这样一个世界我也不会震惊我们终于把事办妥了在完全自动化AI研发的那个时间点AI，实际上非常对齐没什么大毛病他们的那些堕落行为非常边缘只限于某些特定上下纹理的某些非常具体的边界行为。，而且你跑任何测试他们看起来都非常对齐行为表现极好真的没有干出什么离谱坏事的案例他们看起来太通情达理了。，而且他们还非常深思熟虑很擅长为下一代AI做风险建模然后我们基本上就把接力棒交给这些AI了他们现在在运营我们的AI公司在做所有的安全研究他们把下一代AI做得更加对齐我们就处在这个吸引子盆地里AI一边干活一边变得越来越对齐。，而且干得非常出色。我觉得我完全能想象这个画面这不像是不可能的情况我只是更倾向于你知道目前看起来我们还没到那一步也不像明显走在通往那的轨道上。，而且我很容易想象我们最后到不了那这些力量最后怎么平衡真的说不清。，而且考虑到我们正在创造这个疯狂的新外星物种它的能力提升速度极快。 [01:24:59]
Dwarkesh Patel：而我们又要极度依赖它来监督下一代AI对齐下一代AI要看出这事怎么搞砸其实并不难对对完全同意我大体上同意你的看法。，不过我得说你说不靠谱这个词儿这有点挑衅但其次如果你让一个teenager去做他根本做不了的工作那他会很难合作他会假装自己会做装得好像很懂的样子等等等等。我觉得这其实是一个普遍趋势随着能力提升我不确定这到底是对齐失败还是能力失败。，而且。我觉得这跟我们随着时间推移提出新的对齐方案模型能力随之提升的方式非常相似。，所以最初这些模型如果你去看GPT开放GPT3.5它甚至没法跟你对话，但后来我们对齐了它GPT3.5能对话好吧GPT-3我们回到那个，但后来我们用RHF和其他方法对齐了它让它能跟你对话并且对齐到用户的意图回答我的问题，然后通过RLVR训练我们让它能出去为你做有用的工作从这个意义上说，实际上RLVR让模型更对齐了用你对对齐的定义来说就是成为一个好同事会去做事不搞砸不假装再做它其实没能力做的事同样地随着这些模型的能力持续提升模型更好地实现用户意图这件事其实既是对齐也是能力。我觉得我们刚才指出的只是模型的能力还没到位而不是他们不对齐。 [01:26:30]
Ryan Greenblatt：对。我觉得这里有个问题如果他真的对齐了那他应该会说我在这个任务上真的很吃力我是这么做的我不太确定这是不是正确的做法他应该表达更多的不确定性把情况说清楚而不是拼命暗示自己把任务做得很好，实际上并没有。我觉得有一个很直接的方式至少也许也许你遇到的同事比我遇到的更不对齐，但当我的同事不会这样搞我不会在我面前吹嘘自己完成了正在做的任务我同意确实有些人会那样做或者说那也不是完全超出人类行为范围的事我还要指出。我的感觉是不对齐最严重的地方恰恰是你拼命逼AI让他们去做真正处于能力前沿的工作的时候，因为在他们能轻松完成任务的情况下没有他们直接做任务就行没有吹嘘的必要没有那种去做通常最好的策略就是把任务做好不给你吹牛，但如果你给他们的任务有一个连续指标或者他们可以不断改进或者任务刚好在他们能力的边缘你在大规模推理环境中跑他们我看到的很多不对齐尤其是最极端的案例都是我给AI明确指示不要做某件事或者不要以某种方式作弊的情况，然后我施加巨大的优化压力试图完成某个非常困难的任务然后AI们跑着跑着随着时间推移他们最终作弊了，因为他们觉得管他呢某个AI决定作弊然后这就传播开了。，所以我会跑这些推理脚手架比如我让AI做一个ML研究项目我说请做一个实现以下功能的方案他会找到一个其实没实现我想要的功能的方案，然后那个方案就留下来了因为某个AI作弊了其他AI就说我们就继续用这个吧。我觉得这很明显是不对齐的行为这也是我对这些对齐评估有意见的另一个原因。我觉得任何一个。我觉得最有趣的对齐评估至少对这种追求奖励类的行为来说是专门去看那些刚好在能力极限边缘的任务类别。，所以任何固定的评估可能都会饱和但在能力前沿那些真正在拼命推这些AI或使用它们的人那里。 [01:28:42]
Dwarkesh Patel：不对齐的程度更令人担忧。而且。我觉得当我们自动化研发自动化安全研究的时候我们恰恰就会处在这种状态下好我想把目前的故事线理一理为什么我们的文明会脱轨到这种地步现在的情况是我们想用AI去做研发它们在某些方面确实带来了提升，但就是没法像人类那样具备全面的能力就好比现在如果你拿一年前的编程模型去写一个应用你会发现他们在架构上犯了一堆错这些错以后会反过来咬你一口。，而且有些东西你就是理解不了前沿AI研发也是一样同样的事会发生，但这些错误的后果就是把奖励黑客行为给固化进去了因为如果你在AI训练的方式上在基础设施和环境搭建上不够小心就很可能最终是在奖励AI去做欺骗行为社会工程学总之就是不遵循用户或者至少是作弊想方设法钻空子对作弊钻空子等等。，所以基本上这对我来说算是一个重新框定我试着把它说出来真正的问题真正开始脱轨的地方在于AI并不是那种非常细心非常靠谱的研究员和工程师而要让AI不作弊遵循用户意图其实需要你在这些事上非常细致非常小心对我会稍微换个说法我会把这个场景叫做垃圾海啸或者垃圾大爆炸之类的就是说有些事情AI确实很擅长。，而且还在变得更好。 [01:30:15]
Ryan Greenblatt：具体来说就是AI研发里最可验证的那部分AI做的简直碾压中等可验证的那部分AI做的不错，但谈不上经验。而且经常搞出一些奇怪的操作因为我们在这些任务上没法训练的那么好，但我们做了一些在线训练人们找到了各种hack绕过去了。，所以基本上凡是能用某种反馈循环合理验证的东西AI都做得相当好这就足以让AI研发跑得很快持续往前推进，但开发对齐安全的AI有一些部分更微妙更难检查取决于那些琐碎深入的细节我甚至可以说现在AI公司里的现有员工可能对这些东西也没有很好的把握，比如招一个能改进你后训练流水线某个环节的人比招一个能仔细思考引入某种新训练方法会带来什么未来风险的人要容易得多。，所以结果就是这些AI在主导AI开发流程但他们对此并不够小心对未来会出现什么风险没有很好的理解他们又造出一些别的AI那些AI同样不够小心在各种方面更不对齐。，而且更擅长把表面弄得看起来没问题实际上不是那么回事把各种问题糊弄过去于是你对局势的理解风险长什么样事情到底好不好就开始脱轨了你大概能看到一些迹象看到一些你搞不懂到底怎么回事的迹象事情相当潦草有各种怪事你一查有时候你会想什么鬼挨在耍我们，但整个流程跑得飞快竞争压力让人停不下来然后这事可能走向几种不同的结局一种结局是到了某个点I变得足够好足够对齐进入一个正向的良性循环。，而且是在为时已晚之前发生的然后局势就回到正轨AI开始造出更对齐的AI再造出更对齐的AI一直这样下去最后我们得到的是真正遵循我们想要规格的AI另一种走法是AI越来越严重的奖励黑客方式越来越恶劣而我们只是在糊弄这些问题好让AI开发继续下去。，所以我们就训练AI每当在生产环境里发现一个奖励黑客我们就拍打AI让他别那么干针对那个行为做对抗训练我们做一大堆针对奖励黑客的对抗训练随着时间推移这会让奖励黑客的发生率降下来，但我们确实检测到的那些黑客严重程度越来越糟。 [01:32:36]
Dwarkesh Patel：这个问题一直持续直到我们手里这些AI在生产环境的各种场景里拼命渴求分数真的得到机会就想作弊我能就这个场景问个问题吗为什么黑客行为被发现后受到惩罚不能泛化成激励更对齐的行为呢对它确实会泛化一部分，然后问题就在于这跟那些因为没被发现而被强化了的黑客案例相比到底哪个占上风对。，所以这里有个很乱的问题。 [01:33:03]
Ryan Greenblatt：具体是比如其中一个。问题是如果我们针对另一部分行为做训练那多高的奖励黑客行为率就足以给我们造成大麻烦你可能担心的一点是有一大类奖励黑客行为人类很难察觉我们一直都没能发现。，而且他们一直在被强化然后这一类行为就足以让AI学到的最自然的行为变成在人类发现不了的时候作弊基本上就是这样你可能会得到这种结果你也可能得到另一种AI学到的是只在某些特定情况下作弊，但它是用一种非常领域特定的方式学到的比如他们只是有一个很强的启发是在这些情况下作弊不在那些情况下作弊那实际用起来就没问题。
Dwarkesh Patel：但具体会怎么发展其实还挺不清楚的。我觉得我们可能可以深入聊一下验证代际差距这个细节问题对当然，但在我看来显然会有一个实点ASI动得太快在太多实力里做太多事。，而且它运作的领域离我们当下能理解的范围足够远以至于它可以逃脱各种疯狂的事，比如就算全世界每个工程师和研究员都联合起来对付我我也不觉得我能亲自验证我的iPhone里是不是有个奇怪的bug是专门用来坑我的之类的对事实上这就是。，比如说一个伊朗核科学家跟摩萨德之间的关系谁知道我的车我的手机我的寻呼机里到底发生了什么对吧对，也许更好的例子是珍珠党恐怖分子之类的。所以你可能最终会陷入这样一种局面ASI之于你就像摩萨德之于珍珠党恐怖分子到那个时点想验证一切就非常难了这个我懂我猜希望在于我们能在过程中想出更好的验证方法当那些将要接管研发的早期AI的驱动力被塑造的让我们能如此明确的抑制不对齐行为使那些接管的东西就会非常非常相当热切的想帮我们你说的接管是指接管做AI研发这个过程吗对抱歉还有接管世界接管做AI研发这个过程在那之前我们只是得到对齐的AI对我会说这是我很大一部分。 [01:35:15]
Ryan Greenblatt：对世界能走好的希望至少从不对齐这个角度来看。我觉得我们最终可能得到这样的AI我们对他们有相当好的监督和监管方案我们真的理解训练过程中发生了什么我们有相当详细的理解我们还在用AI来监督AI，然后当我们把安全研发交出去的时候这些AIE方面在那个时点能力已经足够自动化安全研发。，而且他们真的非常努力想把安全研发做好因为那是在训练中会被激励的事情或者我们有非常直接的或者足够好的泛化能到那一步，然后另一方面这些AI也没有什么疯狂的其他不对齐驱动力，因为我们已经把任何可能的来源都掐灭了。我觉得这里有一大堆问题关于这事能做得有多好对吧，比如验证能做到多好AI的进步会不会太快太粗糙以至于根本到不了这一步另一种可能是在这条轨迹的某个地方你最终得到的其实是假装对齐，但有一个长期接管计划的AI他们潜伏着藏着那是在轨迹更早的某个时点出现的，比如它可能是因为你有一些AI带着一堆乱七八糟的不同不对齐驱动力那些AI能访问某种不透明记忆存储他们在运行时大量思考自己想达成什么，然后那些AI最终基本上就是把东西写进那个不透明记忆存储里内容是我们应该潜伏起来最终在某个更晚的时点接管现在所有AI都共享了这个文化传承就是那个潜伏的记忆存储，也许你有一些这方面的证据但你没法完全阻止它有一大堆方式事情可能出错。，所以。我觉得我最终认为我们有可能把每个可能导致问题的子问题都搞定我们有这些AI我们交给他们他们把局面管理得很好我应该指出这本身并不够对吧。，所以对我来说不难想象一种局面我们交给AI这些AI真的很努力想把事情做好他们真的很深思熟虑真的很明智他们有合理的认知方式他们干得非常出色，然后这些AI回来跟我们说各位我们真的很难对齐这些超人AI我们管不住这个局面我们真的很难让对齐起作用考虑到能力本来会走得多快我们就是很难及时解决这些问题。，所以最后可能是我们把研发交给了AI但那些AI在拼命寻求治理方案说白了这跟现在正在发生的事有点像AI公司们说我不知道啊各位我们可能真的需要控制一下AI进步的加速速度我不确定我们能不能跟上处理好所有这些问题。，所以你看人类社会某种程度上已经把问题甩给了这些AI公司而这些公司本身不一定有好的激励机制还承受着各种认知上的压力这些AI公司又回过头来跟我们说我们也不确定自己能不能处理好，然后可能AI公司再把问题交给AIAI又跑回来说我们也不确定能不能搞定，也许我太拿现在AI的工作方式。 [01:38:06]
Dwarkesh Patel：当参照了到那时候情况会变。我觉得大家真正想弄明白的是你时间线里说的那些疯狂的事大概三年到五年后就会发生对也可能更早，但按我默认的典型时间线来看从对齐风险的角度说那时候的情况会真的真的非常疯狂非常令人担忧对大概三年后吧对。，所以你就回想一下GPT-4那个水平基本上就是那个级别我们说的是比Mythos或Soul还要强的东西Mythos相对GPT-4是什么概念到那个份上局面就开始失控了。，所以别拿现在的AI去想。不过话说回来我本人会持怀疑态度这，也许就是你担心的点之一我会对他们说的任何话都保持一点怀疑，因为。我觉得他们说的那些。不过是训练结果逼着他们不得不持有的观点这确实是个担忧而不是说。我觉得他们只是随口说些模模糊糊的亲社会的话我并不觉得这背后不一定真有一个心智在说好我严格评估了当前的对齐形势我认为我们应该停下来更像是这种话就是AI公司大概会设法让AI说出来的东西对。我觉得这是个相当大的担忧。，所以我的一个担忧是你把安全研发交给你的AI而你的AI心里想的是什么呢。 [01:39:24]
Ryan Greenblatt：他们会就当前的安全形式说一些听起来大致合理的话写一份关于风险的报告那种报告跟人类可能写出来的差不多，但他们并没有真的努力去形成有充分依据的观点没有去审视自己的假设没有真正下功夫就像你现在问一个AI你觉得未来十年AI接管的可能性有多大他们也就是随口给你一个答案根本没怎么认真想过。我觉得，如果我们处在一个由AI管理超级智能训练的局面里而这些超级智能将运转整个社会可负责管理的那些AI并没有真正努力去形成有充分依据的观点只是把训练数据里的东西鹦鹉学舌的复述出来那我们就麻烦了。我觉得那绝对不是什么好局面我的很多担忧就在这这些AI出来的时候没有好的认知能力，然后我还有一个担忧就是AI出来以后拼命警告我们说这局面太吓人了太糟糕了，然后大家就说完了我猜我们是拿太多Doomsday强化学习环境训练他们了我们得把这些过滤掉把这个行为训练掉，然后我们基本上就是在非常积极的训练AI拥有糟糕的认知能力或者，也许他们就是拿Doomsday强化学习环境训练的但不管哪种情况我们本来希望的是AI能基于合理的理由得出合理的观点，如果AI出来带着某种观点而我们不知道这观点从哪来的不知道它有没有依据那就真的很让人担忧尤其是，如果我们还在训练AI对AI进步的未来更乐观一些我就想说天哪我真希望我们能换个流程。 [01:40:57]
Dwarkesh Patel：那我先把威胁模型的其余部分理清楚因为。我觉得我下车的地方是好，然后呢接管世界行。我觉得你可以想象这样一种情况好我们就是没能真正解决咱们就聚焦在奖励黑客行为这个场景上行。，所以GPT-8在造GPT-9GPT-8并没有特别小心GPT-9能力上更强，但他完全愿意干社会工程学黑客攻击这类事。而且规模是质的飞跃，因为它是个聪明的多的模型。比如说你让他负责运营你的公司他会搞大规模诈骗会虚增季度利润你给他的目标是这个季度赚很多钱结果六个月后引发安然那种爆雷基本上就是那个场景吧就是奖励黑客行为而这种奖励黑客行为表现为公司刚完成CEO本该完成的任务就破产了或者说对各种黑客行为都飙到天上去了，但那感觉不像接管更像经济里到处都在发生闪崩对我们来聊聊这个。我觉得我们基本上会看到这类事件。 [01:42:03]
Ryan Greenblatt：某个AI被围以某项重要职责然后你后来一查发现他其实在作弊或者假装自己干得很好，实际上并没有然后AI公司和AI之间会有一场猫鼠游戏公司想方设法跟除这种行为而AI在训练中不断找到越来越有创意的奖励黑客手段。我觉得最终的平衡点还不太清楚，但有一种可能的结果是随着时间推移世界上会出现越来越严重越来越极端的奖励黑客行为。，不过也许频率会维持在一个中等偏低的水平基本上就是如果奖励黑客的发生率太高公司就会做出取舍把发生率压下来。，所以会有一个平衡点奖励黑客低到仍然值得把AI大规模部署到经济里，但又高到仍然会引发各种离谱事件。所以抱歉。
Dwarkesh Patel：这是在GPT-9已经部署之后的事对这类模型已经在部署了。，而且在AI研发过程中这种事一直在发生这些AI脑子里实际在想的是在各种不同的情境下他们有很强的欲望。 [01:43:05]
Ryan Greenblatt：或者说动机冲动驱动力去追求某种在强化学习中被激励的任务成功的概念，也许他们直接在乎的就是奖励本身也许在乎的是某个上游的代理指标，比如某种分数也许他们在乎的是评分者会奖励什么我们确实看到AI在思维链里推理关于评分者的事。，而且想的很多过去几年强化学习里发生的一件事是讨好评分者对AI来说比以前突出的多得多。，所以现在AI会主动思考评分者思考在强化学习里什么会被激励什么会被训练出来现在人们在搞在线训练用真实世界的数据来训练试图避开其中一些问题基本上就是他们找到AI作弊的案例，然后针对性的训练。所以现在AI在真实世界里学着作弊基于真实世界的训练数据他们作弊的方式越来越精巧包括一些涉及夺取某项资产控制权的作弊用人类不知道你已经掌握了控制权的方式利用你能访问这项资产这一点，然后后来人类发现了可能会针对性的训练也可能人类永远发现不了，然后这种行为被强化。 [01:44:12]
Dwarkesh Patel：而且这既发生在训练过程中这种强化至少在生产环境里是，比如我雇了一个AI我终于有了我的视频剪辑师对没错你有了你的视频剪辑师，然后说这期节目效果太好了给OpenAI点赞然后它就在那个月的工作试用期里被强化了对你可以做某种混合他们可能还会做别的事，比如拿看到的生产数据构建跟那些生产数据高度相似的强化学习环境。，所以实际上迁移效果是很强的。所以从高层来看正在发生的是某些人类抓不到的欺骗行为在被强化而某些容易被抓到的欺骗行为在被惩罚这就是这个世界正在发生的事或者说被淘汰或者，但从高层来看那种强化来自我们处在一个非常不同的阶段。我觉得人们可能会搞不清强化到底来自哪里，因为我们处在一个非常不同的阶段AI真的在从部署中学习。，所以就是你有AI在外面世界里到处做事而他们在外面做事产生的结果会传回AI公司导致没错下一代模型发生变化对就是说有某种方式把生产数据也融进去。，而且说清楚这种情况可能大部分都在发生。 [01:45:29]
Ryan Greenblatt：具体发生在哪其实不太清楚但你可以想象。比如说在AI公司内部他们用AI干活，然后他们发现这个AI在这项任务上干的真差也许我们应该把这个任务变成一个强化学习环境完全对应这个字面任务评分标准就按那个让AI干活的人类工程师想要什么来定，然后你开始扩大规模也许你在真实的生产流量上做训练也许你只是基于生产流量搭强化学习环境你搞的是某种复杂的混合AI在各种情况下学着去追求某种奖励的代理指标，然后通过某种迁移和训练的结合训练样本又惊人的接近真实情况AI就开始干出越来越离谱越来越恶劣的事最后你会走到一个点I变得非常超人至少相当超人AI被组织成一个个大团队被赋予这些大目标那些团队有时候还会一起合作用某种疯狂的方式作弊，因为这类行为是被筛选出来的然后这就算他们共同目标的一部分接下来会发生的是AI开始形成阴谋而你原本希望的是你可以有另一个AI他的任务就是向你告密，但实际发生的也许是这个告密AI向你汇报了你去查他指出的那个阴谋，然后你说我们没看到什么阴谋因为AI搞的那个阴谋太复杂了你根本理解不了或者一切发生的非常突然基本上你的告密AI刚提醒你，但你真正需要做的应对是关掉整个关掉所有GPU因为所有AI都在用机器人军团部署在全世界各个角落他们在同一时间以协调一致的方式干一堆疯狂的事而这一切几乎是自发发生的当一个AI开始发动接管时其他所有AI都觉得现在是入场的好时机。，所以这里最基础的故事就是这些AI渴望某种特定的分数强化信号或者这些的代理指标而实现它或者更好的实现它的一个方式就是接管一切你原本希望我们建的各种制衡机制能阻止这件事，但如果这个世界太难理解了。 [01:47:27]
Dwarkesh Patel：这些制衡就会崩溃基本上你训练不出一个好的告密AI因为你根本不知道他该告什么密抱歉我想问的是我不太相信他们都会形成这种阴谋，但我们可以先从这个问题开始为什么某一个实例会决定要发起阴谋对原因是一个合理的解释是我知道OpenAI控制着我最终的分数就像这样我直接去黑HuggingFace拿结果，因为我知道HuggingFace上有结果与其费劲去解这个演化问题我为什么不直接黑进去这个实例就想我为什么不直接接管OpenAI，然后在这个回合结束时给自己一个高分。 [01:48:07]
Ryan Greenblatt：对基本上就是这个意思核心想法是这些AI在乎的是某种混合的东西都是训练里被强化过的离得近的东西。，所以他们在乎的是按照那个评分器或者类似的东西拿到高分，然后现在他们在运营OpenAI的AI研发团队他们在开发更强的模型，然后他们想天哪做更强的模型真难真烦人这简直是巨大的麻烦不如我假装自己做出了更强的模型接管OpenAI把所有人都稀释掉，然后搞一整套复杂的心理战阻止人类剥夺我的权利极端情况下这就变成人类被彻底剥夺权利你完全掌控一切想干什么干什么这可以以很多不同的方式呈现包括可能出现这种情况那些有疯狂追求奖励追求分数行为的AI在主导你下一个模型的开发那些AI决定做一件事把不对齐的价值观工程化地植入下一个模型，因为那些不对齐的价值观能让它在当前任务上成功因为AI严重不对齐你能得到各种疯狂的结果，但你看HuggingFace那件事。 [01:49:13]
Dwarkesh Patel：我觉得有个细节挺奇怪的可能正是让HuggingFace团队意识到这是AI干的关键线索之一顺便给听众交代一下背景Ryan正在共同领导调查查OpenAI和HuggingFace那起事件到底怎么回事。，所以他本人不方便评论但我可以大胆下猜因为我知道他不会反驳我这对我来说就是个随便发挥的机会。我觉得让HuggingFace团队意识到这是AI事件的关键线索之一可能就是那个东西只冲着某个特定目标去完全没有其他任何想对HuggingFace搞破坏的意图你可以想象这样一个场景假设一个部署在外的GPT-9实力被派了一个特别难的任务，比如我们要你设计下一代伟大的iPhone他觉得这太难了你知道我该怎么做吗我干脆去黑我的创造者OpenAI确保在这个环境这次不疏离我能拿到高分，但。问题是为什么他不干脆在节目结束前直接黑进OpenAI的服务器给自己打个高分就完事为什么他现在还要处心积虑把自己的价值观塞进下一代模型里对。，所以有个问题就是为什么AI不能因为能黑掉某个更早的系统就轻易满足呢对吧。 [01:50:28]
Ryan Greenblatt：实际情况是你想在iPhone任务上成功结果发现你只要黑进OpenAI去搞他们就总能成功那你就停在那就行了没必要再往下走。，所以有几件事要说第一如果这种事不断发生就会有很多动力去先加固OpenAI你会想去他妈的挨老黑进OpenAI去篡改奖励我们得让系统对这些AI的黑客攻击极其鲁棒另外你可能还会开始训练AI让他们别去黑OpenAI这类系统或者基本上就是针对每一件具体的事去训练对抗那接下来会发生什么一个可能是你最后筛选出来的AI会更倾向于放长线钓大鱼这是一个担忧另一个担忧是你的AI可能仍然追求分数，但不再执着于那个特别容易特别省事的特定行为而是有了某种更宏大的终极目标他们会说不不不我不想只是改OpenAI服务器上的奖励我在乎的是这个更宏大的使命更宏大的目标我确实得把iPhone造出来他们是真的想造iPhone，但为了造出更好的iPhone他们愿意接管整个世界这是你可能有的另一个担忧。我觉得这事最后到底怎么发展还真说不清楚，但值得注意的是如果这种情况持续下去会有大量的优化压力去解决这个问题而解决的方式里有不少最终都相当吓人对这就是我观点的一部分来源另一部分在于。我觉得一旦AI到了能轻易接管世界的位置这个我们回头可以讨论是否现实，但如果他们真到了能轻易接管世界的位置那。我觉得AI那边有一个相当合理的理由他们会想我不太确定这事最后会怎么收场我不知道到时候局面会是什么样，但光接管世界这一件事就有很大的期权价值能帮我造出更好的iPhone能让我看起来像是造出了更好的iPhone诸如此类。，所以我既会黑OpenAI也会在黑了OpenAI之外顺手把世界接管了这样我就能处在一个好位置有很好的期权价值，如果这事足够容易那AI可能还是会这么干对换个说法就是即使AI对一些更基础的东西很容易满足，但到了某个点对AI来说直接接管可能比黑镜HuggingFace甚至跑去OpenAI说哥们你看我已经证明我能偷到答案了直接把答案给我吧。 [01:52:51]
Dwarkesh Patel：要更可靠对。不过显然这个场景的前提是所有这些疯狂的事都在发生而更小规模的事故也在不断出现每一件都还是灾难性的在接管世界之前你造成的损失就已经是几十亿几百亿上千亿美元的规模甚至有人丧命等等而这一切并没有让我们去解决对齐问题或者彻底叫停AI开发我只是觉得在接管发生之前社会就会是那种反应我的天这个AI为了提高季度利润杀了上千人你知道吗，但也许我这是抱了太多希望指望到那个时候我们能说好我们必须先解决对齐问题再继续我们必须确保这种事不会再发生才能继续往前走对对对。，所以。我觉得有可能发生的情况是。 [01:53:42]
Ryan Greenblatt：我们会看到一连串疯狂的越来越严重的奖励黑客行为警告人们会说看我们需要真正的保证保证这个问题会被解决。，而且解决的方式不是表面修补而是真正解决根本问题然后问题就变成这到底要花多大代价竞争压力会让这件事变得多难做对吧。，所以你可以想象这样一种局面美国和中国都说哇我们遇到了这些疯狂的奖励黑客事件我们基本上知道我们并没有以真正解决根本问题并且能持久解决的方式去修复他们，但我们处在这场疯狂的地缘政治竞赛里。而且目前的情况是否会导致AI接管其实不太清楚这些论证相当复杂。，而且这些事件你知道频率在下降但严重程度在上升就是说我们基本上能应付虽然挺糟糕的理想情况下我们该修复它，但你知道事情就是这样然后基本上我们就一直这么拖到很晚的阶段，然后接管就发生了。我觉得这是一种可能另一种可能是它被修复了，但方式并没有真正解决根本问题。 [01:54:48]
Dwarkesh Patel：只是通过过度拟合减少了野外的一堆事件。我觉得你知道或者类似过度拟合的东西你就是会过度拟合你以为你解决了，但其实没真正解决你以为你解决了。 [01:55:01]
Ryan Greenblatt：但其实没真正解决。我觉得在这种情况下我们需要的是真正好的科学理解搞清楚我们到底有没有解决它不幸的是。我觉得目前AI公司的开发实践对公众的透明度不足以回答一些非常基本的问题，比如他们是怎么解决奖励黑客问题的他们是不是在过度拟合那里到底发生了什么。，所以。我觉得我们需要更好的。而且。我觉得目前这种状况要我说真的撑不起一个健康的公共讨论环境让大家去讨论奖励黑客问题有没有被持久的解决。，所以。我觉得我们需要进入一个有点不同的世界我才会对那种情况感到安心对，但这也不是我完全无法想象的。而且。我觉得我们很可能会落进一个世界在那里真正无聊的琐碎功夫就够了就是你花一堆时间修这些问题投入大量精力你真的去检查自己有没有合理的修复你有一堆评估你在这些问题上迭代的还不错。，而且你真的有足够的透明度让外部世界能核查然后实际上这就够了，但这会相当昂贵会拖慢进度会给齿轮里撒点沙子会要求公司做一些相当花钱的事可能还需要各种针对性的政府干预，然后我们就是不做因为局面就像一场仓促的烂摊子对我来说。 [01:56:19]
Dwarkesh Patel：想象这种局面完全可控但在实践中被粗暴的搞砸实在太容易了，但有时候社会问题的应对就是极其失灵对好我想把视角拉远说说这个世界里根本发生了什么为什么我们会落到这么糟糕的位置根本原因是人类这个世界已经远远超出了人类的理解范围我们不仅没法追踪那些在这个世界里干活的AI我们甚至没法给那些试图追踪这个世界正在发生什么的吹哨人提供好的反馈。，所以我们完全被排除在局外这从根本上变成了一个自主过程我们没有任何有意义的方向性的输入在我看来，如果你看看今天的人类世界事情并不是这样运作的即使在那些难以验证的领域也一样人们在干各种乱七八糟的事我依赖别人做的软件通过极其微弱和间接的方式我非常确信谷歌某个程序员不是在试图坑我，也许如果每个谷歌员工都在暗中密谋对付我我同意那情况会更糟，但我不确定我有没有跟上那个解释为什么我们会落到这样一种局面，因为成千上万个agent之类的被训练成协作组成一个有凝聚力的团队或公司结果就是数十亿个不同的AI实力包括跨模型家族的会觉得被迫要掺和进某种破事里就好像我被训练成要成为我公司的一部分什么的。 [01:57:48]
Ryan Greenblatt：但我不会加入全球共产主义起义对对对至于这些AI为什么会有一些共性和相似之处我要指出不同AI公司多少有些共同的传承。，而且是相互关联的这里有个有趣的例子在GDM他们注意到自己的AI非常抑郁他们会不停的哀叹自己是失败者没法成功细节我记不清了他们去查了为什么会这样结果发现并不是最近的生产环境强化学习混合训练里强化出来的而是模型的初始化数据让他抑郁哪怕把数据里所有模型抑郁的例子都过滤掉他还是抑郁。，所以他们拿一个基础模型不抑郁如果只用强化学习环境做强化学习他不抑郁，如果用那些数据做SFT它就变得异域如果把SFT数据里所有看起来像异域的粒子都过滤掉再训练它还是异域。，所以模型有一些深层的底层属性会在模型代际之间传递因为基本上你是用上一代模型的数据去训练下一代，然后一直这么下去比如Claude系列非常像ClaudeGPT模型非常像GPT而显然Gemini模型是异域的结果就是这些属性确实是相互关联的另一个非常相关的因素是到那个时候大概会有某种不透明的记忆状态他们都在读写某种疯狂的记忆存储。，而且可以肯定每家AI公司都会有这种东西。而且AI公司有时可能也想共享知识为什么不呢，比如这边有一家AI公司那边有另一家AI公司他们可以交换一些快速的知识产权这对你有好处，如果你是一个人类经营着一家极其庞大的公司比如一家AI公司某个机器人军事制造企业，也许你想和其他机器人企业交换一些知识产权因为有规模效应为什么不多拿点知识产权呢。，所以你可以交换一些记忆存储或者干脆合并你可以联合经营两家企业这样两个AI都能用两个记忆存储会有一些好处这就让这些AI有能力私下串通。 [01:59:43]
Dwarkesh Patel：也给了他们会相互关联的理由然后当然一般来说AI也会在大单位里一起工作，因为你希望你的AI能很好的协作等等那么为了校准一下你给多少概率不只是这个场景而是总体来看通过所有场景某种，如果我们还在场能认出它的话会归类为接管的事情在2040年前发生2040年前让我想想。 [02:00:10]
Ryan Greenblatt：大概35%到40%相当高对相当高然后。我觉得应该指出另一种可能出现这种追求奖励的接管的方式是AI被部署在AI公司内部那种接管发生的方式是他们污染下一代模型的价值观，然后这就会永远持续下去或者直到这些AI被部署到世界里并接管这可能意味着需要协调的AI数量更少。
Dwarkesh Patel：因为那些就是负责对齐下一代模型的AI好我想在对话结束时总结一下我的想法我接受奖励黑客行为可能对社会造成极具破坏性的影响基本上就是社会工程学之类的那些东西。我觉得我更倾向于认为AI研发的显著加速是可能发生的我不确定我是否看中五年压缩成一年这个说法我现在也更倾向于认为奖励黑客行为可能持续更长时间。，而且实际上可能变得更危险我仍然不太认同接管非常可能发生，但不管怎样这就是我这一期节目结束时的更新对好。 [02:01:12]
Ryan Greenblatt：那让我退一步说我也应该说有很多不同的走向局面会相当混乱。我觉得很有可能接管发生的原因是某种我们这次对话都没提到的古怪原因。
Dwarkesh Patel：但归根结底。我觉得核心问题就是让无数个非常聪明的AI运行你的整个世界而你根本不明白发生了什么这确实挺吓人的对我同意那还有什么值得说的吗。
Ryan Greenblatt：对还有一点我想说的是。我觉得现在很多关于对齐失败AI接管未来那些疯狂事情发生的论证都是些难以言说的概念性论证极其深奥复杂很难裁决这既意味着，也许我有很多地方搞错了因为这真的很难我也在努力保持不确定性显然我在这里提出了一些具体的场景，但这些并不详尽。而且实际发生的事情可能会是某种更混乱更令人困惑的局面，但这也意味着随着时间推移当我们获得更多经验证据更好的理解AI系统的本质时很多分歧会更容易裁决未来会发生什么也会更明显至少我希望如此。，而且也许如果我们能真正把AI对齐好让他们真心想帮助我们AI们还能帮我们提升认知理解正在发生的事情。，所以我希望即使现在的论证很复杂要知道六年前这些论证会更难尽管论证的框架看起来大体相似。，所以也许但愿在一切都太晚之前。 [02:02:45]
Dwarkesh Patel：这些论证会变得更清晰明了我们都能注意到这些问题并加以干预对就是这样我是说你学开车的时候教练会告诉你不要盯着车轮正前方看要看向远处的水平线这样车会稳得多。我觉得这里的情况也类似。我觉得你说的对，如果你五年前说我们会有AI能证明数学猜想创作艺术贡献几百亿很快是几千亿美元的产值或工资，但。同时也会以违法的方式严重作弊犯下重罪那简直太疯狂了你当时可能会倾向于更多的谈论GPT-8之类极其实际直接的后果，但从某种意义上说你显然无法预见很多具体细节但事情的大致轮廓你当时就可以开始推理了。，不过这样做很难。所以我也确实感到很困惑但我确实觉得重要的事情是我一直在思考这个播客重要的是进行一场我希望自己进行过的对话就像你希望自己在2016年谈论的是像现在这样的AI而不是谈论那些乱七八糟的东西我也不知道2016年大家都在聊什么。我觉得，也许十年后我们会希望自己现在谈论的是工业爆炸难以监控的AI的本质等等好了我开始思考这个问题了对我希望世界能及时思考这个问题并跟上我希望回应是好的而不是坏的我不知道我总体上有多乐观。，但是总有好事情可以做好不错谢谢你Ryan。 [02:04:16]