目录
- 持续学习重塑安全与人工智能生态 [00:00:00 - 00:05:00]
- 模型锁定与个性化权重的规模经济 [00:05:00 - 00:08:29]
持续学习重塑安全与人工智能生态
Dwarkesh Patel：我在其他地方已经解释过，为什么我认为真正的持续学习是必需的。我不认为，如果人工智能被迫只能把经验写进文件、从一个会话传递到下一个会话，它还能像人类一样胜任完整的工作。举个例子，想象一下学生是这样学习吹萨克斯管的：有一个学生从来没吹过萨克斯管，他走进音乐厅，尝试演奏。第一次尝试当然会失败，于是他写下一堆笔记，记录哪里出了问题。接着，另一个在音乐厅外等候的学生进来，读完这些笔记。这个学生同样从来没演奏过萨克斯管，所以当然也会出错，然后继续把自己的经验补充到笔记里。如此循环，无数学生在音乐厅外等着，把笔记写给下一个人。我不认为他们彼此之间可以写出某种文本，让后来的学生第一次尝试就把萨克斯管吹好。你最终必须把相关经验真正积累进自己的大脑。我认为，我们希望人工智能从其部署到的不同工作场所中积累大量技能时，也会面临同样的问题。那么，一旦真正的持续学习出现，情况会发生什么变化？第一，我认为目前许多关于监管人工智能的提议，都假设你先训练一个模型，然后再部署它。因此，只要在部署模型之前进行一系列检查，我们就能确保它不会协助网络攻击或做出其他疯狂的事情。但我不认为未来一定还能沿用这个假设。这也是我现在对仓促确立某种人工智能安全监管制度感到担忧的诸多原因之一，因为我们不知道一年之内、更不用说五年或十年之内，会面对什么样的技术。假设模型每天都根据当天完成的数百万次工作会话持续改进，那么我们可能会把一种过时、甚至适得其反的方法固定下来，用它应对人工智能带来的威胁。如果政府希望对模型提供商进行某种安全评估，我认为更合理的做法是每月或每季度进行风险检查，而不是试图找出一个“训练完成但部署尚未开始”的特殊时刻，因为未来这个时刻不会再构成一个有意义的独立类别。第二，实验室进行技术对齐的方式可能也需要彻底改变。目前，许多研究都集中在这样一个问题上：如何确保一组冻结的权重在部署期间表现良好。但据我所知，关于如何确保人工智能系统即使持续更新权重，也永远不会受到越狱攻击，或变成具有欺骗性、邪恶倾向的人格，相关研究还很少。如果人工智能还会整合不同用户之间的学习成果，我们又该如何防止用户向基础模型注入后门或某种恶意倾向？从某种意义上说，这其实就是人类对齐问题，对吧？人类会以自我导向的方式成长。如果你有孩子——我没有孩子，但我想这大概就是会发生的事情——他们会走出去，学习新东西。有时他们会变得疯狂：被疯狂的意识形态一击击中，误用药物，变得极其古怪。但你希望自己已经给了他们足够的常识和基本价值观，让他们能够以自我导向的方式成长，而不会最终形成极其怪异的信念或厌恶人类的想法。第三，人工智能思想的多样性会增加。现在，所谓“人工智能思想”，指的是同时服务数百万、数亿甚至数十亿用户的基础模型；这样的模型还不到五个，而且彼此非常相似，因为它们大致都在相同的数据上训练。如果人工智能能够从经验中学习，而这些经验不仅因人工智能公司而异，也因同一个人工智能模型的不同实例而异，那么最终我们会看到这个世界出现大量多样性。我认为，这总体上会是一个好的结果。未来值得担心的一件事，是出现一个相当无聊的、单一的人工智能实体。一个拥有持续学习的世界，应该会比我们现在看到的不同模型发生“模式坍缩”的世界更有趣。第四，当部署成为训练的一部分时，在人工智能竞赛中领先所带来的回报会加速增长。因为如果你拥有最好的模型，并且有更多人用你的人工智能完成更复杂、更有用的工作，他们就会给你大量能够跨越会话窗口整合进去的反馈，于是你的模型会变得更加智能。第五，如果模型主要从部署中学习，实验室就会承受很大压力，必须更早部署最聪明的模型。据报道，Anthropic 从二月份起就在内部使用 Mythos，但直到六月份才把这个模型发布给公众。在真正持续学习的制度下，这种做法根本不可能实现。你不能让内部部署和外部部署之间相隔四个月，同时还保持竞争力，因为竞争对手只要在发布日期发布一个更差的模型，就会凭借真实世界的经验让模型变得更聪明。第六，持续学习将为领先的人工智能实验室创造一种它们目前缺乏的清晰商业模式。很多人一直在问，人工智能实验室究竟要如何赚钱？我自己也问过这个问题。我邀请 Dario 上播客时，也向他提出过这个问题。他把这件事类比为云服务提供商，并指出：云服务提供商提供的服务彼此并没有太大差异，但它们仍然能够获得很高的利润率。 [00:04:52]
模型锁定与个性化权重的规模经济
Dwarkesh Patel：他把这件事类比为云服务提供商，并指出：云服务提供商提供的服务彼此并没有太大差异，但它们仍然能够获得很高的利润率。看看 Amazon 或 Google 的季度财报，你就会注意到这一点：它们的经营状况很好。但云服务利润率如此之高的原因在于，从一个云服务商切换到另一个云服务商，既耗时又昂贵。目前，没有什么能阻止我用 Codex 创建一个软件代码仓库，再用 Cursor 继续开发，最后用 Claude Code 收尾。但一旦真正的持续学习出现，并且你使用的模型在与你互动的过程中不断变好，切换成本就会非常高。如果你想更换正在使用的人工智能，基本上就等于解雇一个已经积累了数月组织上下文的员工，再换成一个非常新、非常没有经验、必须从头培训的新实习生。你一旦形成这种锁定，模型提供商就可以要求相当可观的利润率。抱歉，我不确定“新”是不是恰当的强调，不过我确实是个新实习生。第七。当然，企业会意识到这种动态，也会设法避免这种锁定。但如果摆在它们面前的选择是：要么被锁定在某个模型提供商那里，要么失去一项极其有价值的功能——让模型随着每次会话为自己不断改进——那该怎么办？如果真实使用最终成为模型改进的主要方式，人工智能实验室可能会补贴那些允许模型在其会话上训练的用户和企业。新用户获得的编程产品优惠中已经出现了类似做法，这与 Google 免费提供搜索服务的原因非常相似。反过来，实验室也可能表示，任何拒绝允许它们在会话上训练的企业，都无法使用最好的模型。通过 Keras 和 Styx，实验室可以做很多事情，促使用户允许人工智能从经验中学习。当然，我略过了一个事实：更新单个用户的一组权重，与把这些不同的权重分支全部拉回主模型，是两回事。后者在技术上可能更具挑战性，但随着时间推移，这个问题也会得到解决。第八，人工智能训练已经存在显著的规模经济。你可以让更多用户分摊所有这些昂贵的训练成本，实验室收入增长速度远超算力支出的事实，就体现了这一点。但持续学习还可能为终端用户带来推理方面的规模经济，具体来说就是批处理。你可能看过我与 Reiner Pope 对谈的那期节目，我们在那里详细讨论过这个问题。但如果每家公司的指令都要求进行完整的权重更新，而不是停留在低秩适配器上，那么批处理就有巨大的优势。粗略估算表明，对于 DeepSeek V3 这样的稀疏模型，最优推理批大小是同时生成超过 2,400 个并发序列。如果不这样做，你的算力就没有得到充分利用。如果你想了解其中的原因，我再次强烈推荐那期关于推理经济学的 Reiner 节目。不过，重点是：只有当数千个序列同时针对同一组权重进行解码时，这组权重才能得到高效服务。拥有大量员工和代理、同时处理许多不同类型任务的大公司，可以非常高效地服务自己的权重分支。而一个批大小只有 1 的个人用户，在算力利用效率上可能会差两个数量级以上。因此，服务个性化权重的经济性会明显偏向大型组织。当然，等到持续学习真正实现时，届时还会有更多变化。最重要的变化可能恰恰是那些最难提前预测的变化。但上面这些判断，即使现在看来也已经相当清晰。这是我发布在个人网站上的一篇博客的旁白版本。欢迎去 dwarkesh.com 看看。否则，我们下期播客再见。 [00:08:08]