目录
- 计算资源可能会变得昂贵得多 [00:00:00 - 00:08:47]
- Mercury Command 赞助内容 [00:08:47 - 00:10:00]
- 计算价格最终还会再次下降 [00:10:00 - 00:11:17]
计算资源可能会变得昂贵得多
Dwarkesh Patel：今天我想谈谈，未来几年各家实验室的计算资源状况会是什么样。过去连续三年，Anthropic 的收入都实现了同比 10 倍增长，而且今年很可能还会再来一次。公司去年结束时的收入是 90 亿美元。我认为，今年年底它的收入大概会达到 1000 亿至 1500 亿美元之间。这个趋势若要延续下去，Anthropic 需要在明年年底达到 1 万亿美元的收入。当然，这并没有什么深层次的理由说明它一定会发生。这是一个非常激进的外推，最终还是取决于 AI 的能力：到明年年底，AI 会不会变得有那么大的用处？但假设这个趋势真的延续下去，我想思考一下那个世界会是什么样。 [00:00:16]
Dwarkesh Patel：AI 的另一个大趋势是，实验室的计算资源同比增长速度只有 3 倍。一个实验室如果想让收入继续保持同比 10 倍增长，而计算资源只有 3 倍增长，那么以下三件事中至少要发生一件，也可能是几件同时发生：第一，实验室的利润率必须提高；第二，计算价格必须上涨；第三，实验室用于推理而不是训练的计算资源占比必须提高。我理解的是，这三件事其实都已经在发生。先说利润率，据报道，Anthropic 的推理利润率已经从去年年中的 40% 上升到如今的 80% 以上。对于计算资源来说，现货价格比今年早些时候 2 月份的低谷高出 40% 以上。至于训练和推理之间的计算资源分配比例，Epoch 表示，OpenAI 在 2024 年只有四分之一的计算资源用于推理，而现在这个数字可能已经接近 50%，甚至更高。 [00:01:13]
Dwarkesh Patel：实验室并不希望提高推理所占的计算资源比例。在它们看来，推理收入存在的全部意义，就是说服投资者给它们更多资金，用来训练下一个更大、更好的模型。如果你把大部分计算资源都花在推理上，实际上就等于宣布 AI 的进展已经停滞，而你现在做的是云服务商的生意。这比打造 通用人工智能 的吸引力要低，所以实验室不想做这种生意，也不认为自己已经进入了那个世界。它们相信，在一年之内，就能打造出让当前模型显得极其弱小的新模型。但它们必须把大多数计算资源投入到训练和实验中，才能构建下一个模型。这样一来，要弥合实验室计算资源同比增长 3 倍、收入却同比增长 10 倍之间的差距，就只剩下两种选择：要么实验室的利润率提高，让实验室拿走这部分剩余；要么计算价格上涨，让产业链中实验室以下的所有参与者拿到这部分剩余。 [00:02:15]
Dwarkesh Patel：我不清楚最终会进入哪一种世界。如果实验室利润率的影响占主导，那么一些顶尖模型的利润率会不会从 80% 上升到 90% 以上？这就要求领先模型远远领先于竞争对手，以至于这种优势不会被竞争削弱。在市场经济中，利润率之所以存在，是因为你提供的东西比别人能够提供的替代品好得多。但一想到“智能”这种东西的利润率可能超过 90%，却不会在这个水平上被竞争抹平，我就觉得非常疯狂。于是，在这两种趋势之间解决差距的另一个可能性就只剩下了：计算价格必须上涨。正如我刚才说的，这已经开始发生了。当前沿实验室真正需要积累的那一档计算资源时，这种影响会更强。它们不能简单地出去买一台现货实例，而是需要足够的规模，以获得很好的效率和灵活性；同时，它们还需要能满足安全要求的计算资源，以保护自己的模型权重和客户信息。 [00:03:18]
Dwarkesh Patel：这里一个相关的案例，是 Google 和 Anthropic 从 SpaceX 租用的计算资源。比如，Google 每月支付 9 亿美元，租用 11 万块 GPU，其中混合了 GB200 和 GB300。Google 支付的价格是这些 GPU 每小时现货价格的两倍，而现货价格本身又比 2 月份高出 40% 以上。我想强调一个关键结论：随着 AI 模型变得更聪明，它们将更擅长把同等数量的计算资源变现。如果一个真正达到人类水平的软件工程师可以在一块 H100 上运行，那么按照今天软件工程师的价格，这块 H100 每年应该能租到超过 25 万美元。这是当前 H100 现货价格的 15 倍以上。这还没有考虑 AI 可以在夜间和周末工作的事实。当然，你可能会认为，如果经济中突然出现 1000 万名额外的软件工程师，软件工程师的边际价值就会下降，因此那块 H100 能产生的收入不会比现在高 15 倍。但我不知道这是否真的成立。 [00:04:28]
Dwarkesh Patel：如果把这个论点应用到人而不是 AI 上，这就会成为经典的“劳动总量谬误”。例如，经济学家普遍认为，大规模移民不会从长期来看降低工资，因为创新和专业化会提高劳动的价值。也许这次劳动力供给冲击会大到、快到让我们不能再依赖这个一般性判断。但如果你相信标准经济学的说法，那么劳动的边际价值，以及计算资源的边际价值，就应该继续高得惊人。让我们想想，在这样的世界里会发生什么。随着顶尖实验室越来越擅长将计算资源变现，而计算价格不断上涨，其他任何人都会更难与它们竞争，因为他们必须与一个能更好利用这种资源的人争夺它。另一个会发生的变化，我认为也是整个思想实验中最有趣的推论，就是：如果你能训练出最好、最高效的模型，就能收取比今天高得多的利润率。这就是经济学中的 Alchian-Allen 效应。它的含义是，如果租用一块 H100 每小时要花 20 美元，那么使用更弱、效率更低的模型就会非常愚蠢，因为它为了得到完全相同的结果，会在昂贵的计算资源上消耗更多 token。因此，如果实验室能训练出更善于节约这种稀缺投入的模型，就能收取高得多的溢价。 [00:05:32]
Dwarkesh Patel：基本上，如果一个模型能够用更少的计算资源取得同样的结果，那么从某种意义上说，你就创造出了更多计算资源，而计算资源的价值也会随之增加。另一个后果是，当前许多热门的 AI 应用可能会被价格挤出市场。AI 现在相对便宜，是因为它还做不了许多顶尖人类能够做的事情。但某个时候，这种情况会改变。到那时，Google、Anthropic 或 OpenAI 会愿意花更高的 token 价格来自动化 AI 研究，而不是像你我这样花钱生成更多 AI 垃圾内容。我担心，这种分析与过去人们在稀缺性问题上犯错的方式很相似。比如，我想到的是著名的 Simon-Ehrlich 赌局。Paul Ehrlich 曾因对人口增长持悲观态度而闻名，他打赌：在截至 1990 年的那个十年里，一篮子大宗商品的价格会涨而不是跌。这个赌局之所以著名，是因为它被认为说明 Ehrlich 的马尔萨斯主义世界观是错误的，也说明他没有预料到市场信号和人类智慧会找到更好地节约稀缺投入的方法。我猜，把计算资源类比为那场赌局中的商品，可能并不成立。其他分析显示，如果那场赌局发生在不同的十年，Ehrlich 很可能会赢。但更普遍地说，我认为计算资源的供给弹性要小得多，吸收大型需求冲击的能力也弱得多，而且比起通过开采不同金属来寻找替代品，计算资源更难通过替代方案来满足需求。为了说明为什么我认为计算能力每年增长 3 倍很难改变，甚至可能很难维持，我看不到构成这 3 倍增长的三个要素中，有哪个能够被大幅加速。 [00:07:13]
Dwarkesh Patel：其中大约 1.4 倍来自摩尔定律。别说让它加速了，我认为只要还能让它再持续几年，就已经是奇迹。另有 1.2 倍来自建造新的晶圆厂。到 2030 年，甚至可能更久，这个过程最终会受制于建造新的 ASML EUV 设备。几个月前 Dylan 上播客时，曾经非常详细地讨论过这一点。剩下的 1.8 倍来自 AI 吸收了原本分配给智能手机和 PC 的晶圆产能。到明年年底，这很可能会碰到上限：在台积电最先进的 N3 节点上，AI 所占的分配比例将从 60% 上升到 86%。到了某个时候，你已经吸收了所有面向 AI 的先进制程晶圆产能，这个比例就不可能继续提高。所以，我不知道未来几年我们如何还能继续实现计算能力年增长 3 倍，更不用说超过这个速度了。每个月月底，我都会遵循一个历史悠久的传统：结账。 [00:08:47]
Mercury Command 赞助内容
Mercury 广告旁白：我首先打开 Mercury，我的银行服务平台，确保所有交易都被正确分类。自动分类规则处理可预测的项目时表现相当不错，但我一直在和新的承包商合作，比如辅导老师、研究人员和视频制作人，同时也在尝试新的工具。每个月手动给所有这些交易分类，都会增加几个小时的额外工作量。与其逐笔处理，我会让 Mercury 内置的 AI Command 一次性处理所有交易。Command 会为每笔交易建议一个类别，并给出它这样判断的理由。我只需要检查一遍，修正不对的地方，然后批准。所有工作在 Mercury 中完成后，它还会与 QuickBooks 同步。 [00:09:17]
Mercury 广告旁白：Command 的判断确实很好。它会做查看供应商这类显而易见的事情，但也会调查团队中的谁进行了这笔消费，并查看备注和备忘录，尽可能建立完整的上下文。这只是利用 Command 自动化企业后台工作的一种方式。想了解更多，请访问 mercury.com/command。Mercury 是一家金融科技公司，而不是 FDIC 保险银行。银行服务由 Choice Financial Group 和 Column N.A. 提供，它们是 FDIC 成员。 [00:09:56]
计算价格最终还会再次下降
Mercury 广告旁白：银行服务由 Choice Financial Group 和 Column N.A. 提供，它们是 FDIC 成员。AI 生成的回复和建议操作可能有所不同，不能保证一定准确。 [00:09:58]
Dwarkesh Patel：我想澄清的是，未来某个时候，计算资源会再次变得便宜。终有一天，我们会拥有能够把大片硅砂海岸和铜矿转化为新计算芯片的机器人。到那时，计算价格基本上就会等于原材料成本，以及处理这些材料所需工具的成本。我这里只讨论当前这个奇点前阶段，在这个阶段，AI 计算能力每年的增长只有 3 倍，而这不足以抵消 AI 随时间变得越来越有价值的速度。Anthropic 的收入同比增长 10 倍，而计算资源同比只增长 3 倍，这一事实在我看来说明了模型业务的规模经济有多强。从逻辑上讲，这也说得通：训练模型时，你要付出一次性的成本，让它学会各种不同的技能，而这些技能随后可以被所有用户共享。这与人类劳动非常不同，因为每一个人都必须从头开始接受训练。我真希望我们不是生活在一个智能具有如此强规模经济的世界里，因为我担心权力会因此集中，但现实似乎就是如此。这期内容是我在 Dwarkesh.com 网站上发布的一篇博客文章的旁白版。 [00:10:47]
Dwarkesh Patel：欢迎去看看我发布的其他文章，或者订阅通知，以便在我将来发布文章时收到消息。下一期完整节目再见。 [00:11:11]