目录
- 节目导入与Dylan的创业起点 [00:00:00 - 00:10:00]
- SemiAnalysis成长与推理基准测试 [00:10:00 - 00:20:00]
- AI基础设施分层与软硬件协同设计 [00:20:00 - 00:30:00]
- CUDA护城河与模型硬件耦合 [00:30:00 - 00:40:00]
- Cerebras、太空数据中心与专用芯片 [00:40:00 - 00:50:00]
- 通用算力、资本开支与星云厂商 [00:50:00 - 01:00:00]
- 数据中心效率、能源成本与多极化生态 [01:00:00 - 01:10:00]
- 新云厂商和新实验室的生存竞争 [01:10:00 - 01:12:04]
节目导入与Dylan的创业起点
一凯：欢迎收听跨国串门儿计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声音克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI财经。健康与科技领域精品内容。我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁，接下来让我为您简单介绍本期我们克隆的这档节目，本期我们克隆的是红杉资本旗下播客的一期深度对谈，节目发布于2026年6月30日，主持人是红杉资本的合伙人Shaun Maguire，嘉宾是知名半导体与AI研究机构SemiAnalysis的创始人Dylan Patel。Dylan从硬件论坛版主起步，如今带领团队为全球机构提供最前沿的芯片与人工智能产业分析，这一期他们主要围绕AI领域里，一个常被忽视的关键杠杆硬件与软件的协同设计展开讨论，并聊到了这种深度整合如何带来远超单纯硬件迭代的效率飞跃。那我们就一起走进这期完整的对话。 [00:01:14]
Dylan Patel：我觉得SemiAnalysis内部特别有意思，我们有90个人，其中一大块是技术专家工程师，遍布整个供应链，然后还有一大块是，以前在对冲基金干过的人，你能看到这些争论，比如有人说那个不重要，然后另一个人就说，但成本呢，接着工程师又说不不不，这个技术才是最接近的，你能看到这种很自然的，像打架一样的讨论，而且我们内部挺随意的，考虑到我以前当过版主，你大概能想象那个氛围是什么样的，你乐在其中，你很享受这个，别跟猪摔跤。
Shaun Maguire：因为猪也乐在其中，对吧，我们现在在SemiAnalysis的办公室，跟Dylan Patel在一起，我是红杉资本的合伙人Shaun Maguire，你做的是真的挺疯狂的，半导体，五年前在西方可不算什么性感的领域，在东方很性感，但西方这边的人基本都忘了这回事，你倒是没忘，你重仓压住打造了这个领域里，大概是最顶尖的研究公司，一直在给全世界做科普，从最前沿的技术细节到供应链，再到大格局，有传言说SemiAnalysis最近营收突破了1亿，我不知道这个数字有多准，但不管具体是多少，你们确实很猛，这个嘛信息有多准，数字就有多准，这种事永远说不准，还有传言说，你可能要搞一个风险投资基金。我在生态里老听到，有人想跟SemiAnalysis扯上关系，你建立了一个值得信赖的品牌，所以不管你做什么都挺有效的，这显然只是你旅程的开始，恭喜你取得这些成绩，但这一切是怎么发生的，第一个问题就是。你的背景是什么？你是怎么走到今天这一步的？ [00:03:08]
Dylan Patel：我小时候从娘胎里出来那会儿，好吧，我是在小生意家庭里长大的，我爸妈开了家汽车旅馆，我们就住在旅馆里，我们还有个加油站，所以我经常开玩笑说，我训练的第一个神经网络，就是根据走进加油站的人的长相和种族，来判断该拿哪种烟，天哪，基本上香烟都排在高处，我当时太矮了够不着，而且严格来说，那个年纪卖烟也不合法，但管它呢，我得把垫脚凳挪到对的位置，我第一份办公室工作。
Shaun Maguire：也是在合法年龄之前开始的？
Dylan Patel：对，那是很好的经历，不过我没拿工资，对吧，家族生意嘛，一样一样，对，我们有汽车旅馆，街对面就是加油站，所以有时候有人走进来。比如一个卷发的白人老太太进来，我就把梯子或者垫脚凳，挪到骆驼烟那边，如果是不同年龄职业，种族的人，我就把垫脚凳挪到不同的位置，我开玩笑说，这是我训练的第一个神经网络，因为如果等他们告诉我，我就得先挪过去，再爬上去，不如提前准备好，所以薄荷烟 100细枝这些，我开玩笑说，那是我训练的第一个神经网络，但我是在家族生意里长大的，住在汽车旅馆里，这一切其实要追溯到，我8岁生日的时候，我生日在5月，那年4月Xbox 360发布了，我生日没要Xbox 或者说没要生日礼物，我爸妈问我想要什么，我说想要圣诞节礼物，我们家过圣诞节，但当时我觉得他们不可能，在圣诞节给我买Xbox 360 所以我就把生日礼物改成了要圣诞礼物。总之圣诞节到了，我拿到了，过了几个月，我住在阿拉巴马的表哥，他们家也开汽车旅馆，要来我家过春假，我们就打算在我家玩，他年龄在我和我哥之间，我哥更爱运动，对Xbox不太上心，他偶尔也玩，但不太上心，但我表弟嘛，我想让他觉得我很酷，对吧，所以我在电话里吹了好几次，说对我有Xbox 然后Xbox坏了，有个硬件缺陷，叫死亡红环，长话短说，我不得不把它拆开，短接温度传感器，修好了，但在这之前，我试过很多别的招，都没用，这大概就是我接触硬件的开始，就像打开了潘多拉磨合，到12岁的时候，我已经经常泡在这些论坛里，看帖发帖，那会儿正好是Reddit吞掉所有其他论坛的时候，所以我成了Android。Apple Google这些板块的版主，还有硬件板块，也一直在看Intel NVIDIA和AMD这些论坛，我装电脑泡这些论坛，看帖发帖很多，有些板块我还管的很多，还有智能手机，看着他们从非常简单，发展到拼速度，再到在很多架构层面，比PC更先进 GPU也一样，就是一直追踪，观察，读每一条评论，而且总带着经济视角，因为我在小生意里长大，所以我一直在看经济账，对吧，有一阵子，网上那些键盘侠，都爱AMD的GPU 我自己也买过一块AMD的GPU 因为性价比好，但一到比谁技术更强的时候，我总是说不不不 NVIDIA更好，因为他们用更小的芯片，实现了更好的性能和能效。 [00:05:48]
Shaun Maguire：而且他们的利润率更高，所以我总在说，在GPU这块 NVIDIA 的利润率比AMD好，这挺有意思的，你那时候才12岁，我12岁开始当版主，但这些都是贯穿我整个青少年时期，和高中阶段的事，你还有其他什么奇怪的爱好吗，还是就只搞半导体，我玩了很多星际争霸，有一阵子我是北美天梯的宗师，星际争霸二，好吧，所以你是那种能在好几件事上都做到痴迷及优秀的人，对，痴迷是好事。 [00:06:36]
Dylan Patel：你成绩怎么样，还行，要我说大部分是A 但有些课我觉得很无聊，或者就是不喜欢，比如西班牙语，我成绩不算特别好，但顺便说一句。 [00:07:11]
Shaun Maguire：我现在西班牙语说的很流利，所以这很蠢，但就是那么回事，但也许这就是你没考好的原因，不过说实话，我后来才学的西班牙语，所以我成绩还行，对亚洲父母来说够好了，我比学校里大多数人都好，但也不是那种拼命追求权益的类型，好吧，那你很大程度上是互联网的学生，你就是这么积累起这些专业知识的，你是什么时候决定创办SemiAnalysis 创办这家公司最大的意外是什么，对我上了大学，拿了几个学位，都跟半导体无关，然后在一家小型的量化风险公司，做了两年量化分析师。
Dylan Patel：后来基本上是一系列事情，赶在一起了，一件事，我的奖金被人坑了，我帮公司赚了好几百万的，无风险收入，因为我利用了市场上的，一个风险漏洞，我记得远超一千万，然后别人抢了我的功劳，诸如此类，虽然最后钱是补给我了，但我和那家公司的，信任关系已经破裂了，还有我的祖父母是跟我们一起长大的，或者说跟我们一起住在汽车旅馆里，他们和我们住在一起，所以非常亲近，后来我祖母得了痴呆症，她不记得我是谁了，她从楼梯上摔下来，出了意外去世了，这些都发生在2020年初，另外还有一些感情上的事，所以有几件事凑在一起，让我非常难过，所有这些事都赶在一块了，然后新冠来了，我哥说，兄弟来我这住吧，他住在纳什维尔。我就过去和他住了，我们当时想封城也就几周的事，你可以先住我这，等结束了再回家，结果大家都知道了，封城持续了长得多的时间，但在我哥家住了几个月，情况就是，我不知道自己要干什么，我当时就待在我哥家里，什么都得按他的规矩来，他和他当时的未婚妻，现在的老婆都在，所以我基本上得小心翼翼的，但我也不在乎那份工作了，于是我在网上发帖比以前更勤了，我一直都爱在网上发东西，也一直在大量炒股，我做空新冠，做多新冠赚了不少钱，那时候半导体短缺也开始了，总之我那会儿完全沉迷于发帖这些事，后来大概就在那段时间，又是因为跟人争论，网上有人把我人肉了，公开了我匿名账号的真实身份，当时我心想，完了，吓坏了。停更了大概三周，然后我问自己，我这是在干嘛，我干嘛要在乎，于是我就开始用真名发帖。 [00:09:52]
SemiAnalysis成长与推理基准测试
Dylan Patel：于是我就开始用真名发帖，我本来也有播客什么的，我搞了个正式的播客，叫SemiAnalysis 在我24岁生日那天，我发了两篇博文，从那时起，它就不是一份newsletter 但我获得了巨大的关注，因为现在我是用真名发帖，不再是匿名了，而且那两篇文章，我投入的精力比平时多得多，不再是网上那种随便发发，而是真正用心写的播客，你现在还可以回去翻反，写的不算特别好，但在当时算不错了，是网上能找到的，关于半导体的最好的内容，我就这么一直发一直发，开始接到很多咨询业务 2020年那会儿，我也算是彻底崩溃了，不知道自己想干什么，于是我把所有东西打包，开上我的卡车，买了个能架在卡车后面的帐篷，又买了个气垫床什么的，然后开车跑遍了，美国所有的国家公园，一周里有两三天，我会找个随机的汽车旅馆。把房价砍到大概30美元一晚，然后就在房间里做SemiAnalysis 的事，到了周末，我就在某个随机的国家公园里看书，经常是看教科书，或者一边徒步一边听有声书，内容都是关于半导体AI 所有我特别关心的事，在这六个月里，我一边跑遍每个国家公园，一边学到了非常多的东西，而且从头到尾我都是一个人，一直是一个人，我一直在发博客。 [00:10:53]
Shaun Maguire：所有人都说 Dylan 你到底在干嘛，那是星链出现之前，星链非常早期的日子，对星链之前，所以当时大家真的就是那种反应。 [00:11:19]
Dylan Patel：你到底在干嘛，后来我又去拉美旅行了一年左右，一开始是跟朋友，后来是跟前任，大概待了一年，然后到了21年底 22年 23年 24年，我从2020年中开始，就一直处于完全无家可归的状态，但我满世界跑，去参加每一个行业会议，我一年参加40多场会，不管是在供应链的哪个环节，只要我觉得有意思我就去，我第一次去某个会的时候，感觉就是太棒了，你能直接跟专家聊，而且他们愿意跟你聊，因为你显得特别兴奋，在半导体这个领域，大家都是老一辈的人，他们很少见到年轻人，对这个这么有热情。
Shaun Maguire：所以特别乐意跟你分享，那我必须得问一下，有没有供应链的某个环节，或者某次会议，特别改变了你对半导体世界的看法，或者让你当时觉得。 [00:12:11]
Dylan Patel：现在也觉得被严重低估了，我觉得行业展会和学术会议差别非常大，有些我最喜欢的会，比如Nurips 为什么，因为那里有2万名AI研究者，他们大多跟我在同一年龄段，所以特别好玩，而且他们又是顶尖的AI研究者，你能学到很多东西，还有很多派对，然后另一头，比如在日本有个随机的化学会议，会场里是300个日本大叔，大概有20个来自ASML的人 20个来自台积电 20个来自英特尔，只有这些人说英语，其他人全说日语，你只能感叹，好吧，这还是挺有意思，挺好玩的，我觉得我有个本事，就是不管对方什么背景，是什么人，我都能跟他们聊得来，总能找到有意思的话题，通常就是技术那些事，所以我觉得最有意思的，会往往是那些特别大的会，因为最大的事情都在那里发生，但我觉得那些特别小众的领域。也非常令人兴奋，比如SPIE 有IEE 就是国际电气电子工程师，学会那个，还有SPIE 是另一个体系 SPIE的会议，在细节上挖得非常非常深，我去的每一场，特别是SPIE先进光课，或者SPIE光眼膜会议，第一次去的时候，我连听到的90%的内容都听不懂，然后我就拼命读，拼命学，当然也建立了一些人脉，然后第二次去，我大概听懂了一半，第三次去我听懂了差不多75% 即便是现在我去参加，我还是没法完全搞懂所有东西，但像你去Nurips 去个几次你就能明白，好，什么是神经符号推理，好，这个是什么，那个又是什么，你很快就能对全局有个大致的概念，但供应链的某些环节实在太晦涩太深，技术性太强了，你得花很多时间才能搞明白到底发生了什么。对吧，对每一篇研究论文来说都是这样，这不一定意味着你没搞懂，你去参会无非就几个原因，对吧，你理解研究本身，但那些都是发表出来的研究，你真正关心的是，这些研究怎么跟技术结合，还有这些研究跟今天已有的东西，有什么不同，而这些研究论文，没有一篇会告诉你，今天正在发生什么，但你可以直接去问人，去建立人脉，去学习，然后你就慢慢了解了供应链，原来是这家公司，给那家公司供货，尽管这些信息从没在任何地方公开过，或者你会了解到，这种化学品的成本大概是多少，一台设备大概要用多少，你就这样一点点把东西都学会了，你会听到一些恐怖故事，比如某种化学品短缺。 [00:14:14]
Shaun Maguire：结果把供应链上这一整块全打乱了，然后你发现全世界只有三家公司生产这种化学品，这简直，我最喜欢的一个故事是，我在那个特定的日本会议上。 [00:15:02]
Dylan Patel：一个日本人用非常憋脚的英语告诉我，他父亲在80年代就干这行，他说全世界唯一一家生产这种化学品的工厂，被烧毁了，结果导致内存价格翻了两三倍。
Shaun Maguire：我当时就想，哇，跟今天的情况也没太大差别，没差，一点没差，太疯狂了，推理将会是地球上最大的市场，也是地球之外最大的市场。
Dylan Patel：同意还是不同意，显然Token的使用会是最大的市场 Token创造的价值也会是最大的市场，但我认为Token经济学，也就是Token的使用 AI的普及才是当下最重要的事，而推理不管是开源模型还是闭源模型，都会是世界上最大的市场之一，我觉得会比石油大得多，比很多其他领域都大得多 IA推理会占到GDP的好几个百分点，你做的InferenceMAX 我觉得已经成了行业标准。
Shaun Maguire：也许可以聊聊你为什么启动它，它是做什么的，以及大家对性能基准测试和推理有什么误解，对我们把视角拉远一点，看Semi-Nautilus做的很多事情。 [00:16:17]
Dylan Patel：很多是给机构客户和订阅产品做的研究，但也有很多是那种，嘿把这个搞清楚应该挺酷的，我们来想想怎么搞明白，然后直接公开发出来，这又带来了更大的规模，我们之前用这种方式，做了很多GPU基准测试，训练性能和推理性能的测试，但最终我们发现，推理基准测试是静态的，测一下花点时间，然后发布出来，它很快就过时，灰色跟不上时代了，因为模型一直在变，我感觉每周都有新模型出来，不管是中国的模型，还是今天刚发布的Methos 5 Fable 新模型层出不穷，在软件层面 PyTorch VLMs GLANG 新的驱动，新的什么东西又发布了，事实上，这些库大部分的更新周期，是一周两次，所以基本上软件一直在更新。性能也就一直在变，新的推理优化不断涌现，也在不断更新，所以我感觉这是一个接一个，永不停歇的突破，不断推动效率提升和成本下降，这就是为什么我们看到，同等质量的模型，成本一年能降60倍，这太惊人了，但要跟上这个节奏，你就不能做静态的基准测试，你需要让基准测试是活的，会呼吸的，也就是说，要在最新的硬件，最新的模型上持续不断的跑，于是我们就启动了这个项目，而且从生态里得到了很多支持，这件事之所以能做成，是因为我们在生态里，攒下了一些口碑，让CoreWeave Crusoe Navius Oracle 微软，亚马逊，谷歌和OpenAI都愿意给我们贡献算力，然后我们又跟SGL YLM 现在还有RadixArc和Infrax这些。在开源方面带头的公司合作，我们还拉上了NVIDIA、AMD 谷歌和亚马逊，因为我们现在也在加TPU和Trainium 现在所有这些人都在一起协作，我们有超过5000万美元的硬件，是捐赠给我们的，等我们上线TPU和Trainium之后，硬件规模会超过1亿美元，大概有15种不同的芯片类型，所有这些基准测试每天都在跑，跑的是所有最新模型 Moonshot最好的模型，阿里巴巴最好的模型，还有大概5家中国模型厂商最好的模型，最好的开源模型，最好的中国实验室模型，我们每天都在他们的模型上跑基准测试，同时也跑美国最好的开源模型 GBT-OS Nemotron等等，所以我们每天都在以自动化的方式，跑这些基准测试，跑在这些专门拨给我们做推理基准测试的服务器上。我们会扫过大量不同的配置和优化类型，最终产出的结果，所有结果都是公开的，所有配置也是公开的，所以现在我们有了Pareto最优曲线，因为很多时候人们在比较推理性能时，会拿别人次优的曲线或点位来跟自己最优的去比，这就好比我开保时捷，跟某个赛车手比肯定是我开的更慢，推理基准测试也是一样，所以我们做的是，为交互性维度上的每一个点，也就是它对我的响应速度，以及批量大小维度上的每一个点，也就是我同时在服务多少用户，这条曲线上的每一个点，都创建了开源的最优容器，现在任何想要最优配置的人，都可以直接去InferenceMAX下载，然后把它当作最优配置来跑，他们可以每天检查更新。 [00:19:10]
AI基础设施分层与软硬件协同设计
Dylan Patel：他们可以每天检查更新，甚至可以自动下载那个模型的最优配置，这样他们的推理性能就能接近峰值。
Shaun Maguire：在你看来，那条曲线是最重要的曲线吗，吞吐量和交互性曲线最重要的一条，对，我觉得硬件，基础设施，模型，应用层。 [00:20:07]
Dylan Patel：大多数东西都是这条曲线的下游，到底是那种需要超级快，超低延迟的任务，我其实不太在乎成本，所以我把批量大小设的很低，大量使用推测解码获得token 预测这类技术，这里面可用的技术非常多，还是说我其实是在批量处理一大堆文档，完全不在乎这些，所以我不用那些在成本效率上更差，但能提升单用户速度的技术，因为我只想塞进更多用户，文档处理一整晚我也不在乎，现在我们对AI基础设施的处理方式，有点像一刀切，但随着时间的推移，我们会走到这样一个阶段，有些是批量型工作负载，有些需要即时响应，整条曲线对用户都会很重要，我们在Anthropic身上就能看到这一点 Claude Code的快速模式比普通模式贵得多 OpenAI的优先对列功能也是一样，抱歉问个笨问题。成本是怎么纳入这个起点的，假设我打个比方，我有一个批量大小为100的设置，每个用户每秒能跑10个Token 那么在那一个计算单元上，我总共每秒能跑1000个Token 这是曲线的一端，超级慢每秒10个token 另一端是我每秒能跑500个token 但只能有一个用户，或者每秒250个token 一个用户，然后中间有一些点更接近Pareto最优，普通人其实想要的是每秒50或100个token 以及我能批量容纳的用户数量，所以这条曲线就是，取决于我批量处理多少用户，要么是每秒总共1000个token 要么是每秒总共250个token 中间是一条曲线，最终有些工作负载会想要那4倍的成本下降，因为同一块硬件能跑1000而不是250。而有些用户会愿意多付4倍的钱，因为我不在乎价格，我在乎的是时间。 [00:22:07]
Shaun Maguire：因为使用这些token的人很贵，或者我这里的反馈闭环很贵，如果让你猜，时间范围你自己选10年或15年，你觉得有多大比例的推理计算会发生在太空，可以是0% 50% 99% 这个问题很难，你选一个时间范围，比如10年随便什么时间范围，然后你来猜，我觉得一个非共识。
Dylan Patel：或者说至少跟SpaceX唱反调的看法是，顺便说一句，我很喜欢SpaceX 而且如果我能买股票的话，我绝对会买他们的IPO 不是投资建议，不是投资建议，谢谢，谢谢，不是投资建议，红杉资本那边以后再说，我不认为太空数据中心，在未来三到五年内，会有什么实质影响，不过话说回来，我觉得在20年，这个尺度上，绝大部分算力，都会搬到太空去，所以真正的关键因素，其实是成本，是时间框架的问题，是在陆地上建设电力的成本，以及你到底能在陆地上搞出多少电力，而且我觉得显然，我对推理需要多少几瓦或太瓦电力的看法，在我个人看来，那条增长曲线是非常疯狂的，你的预测是多少，需要多少几瓦。我觉得到2030年，光是OpenAI和Anthropic两家，加起来就会超过100几瓦，然后再加上Meta和Google等等，用于推理的算力会是一个极其庞大的数字，到2040年左右就会是太瓦级别了，我们即将获得的生产力提升曲线就是如此，所以推理部署的规模会非常巨大，因此如果看2040年。 [00:23:34]
Shaun Maguire：我觉得可能超过一半的增量算力都会部署在太空，但如果看2030年，我觉得这个比例还不到1% 你觉得美瓦智能一直在提升吗，而且我们现在的美瓦智能水平，跟人类生物学相比似乎仍然存在巨大的差距，那么你觉得我们能缩小这个差距吗，如果能这种提升会来自哪里，我觉得这往往也取决于，你具体在做什么。
Dylan Patel：比如一台TI84计算器，在做数学运算时的，梅瓦智能就比我们高得多，而这已经是30年前的东西了，所以这显然是个比较蠢的例子，通用智能，那么回到梅瓦智能，是否一直在提升这个问题，我提到过，在相同基准测试水平下，成本已经降低了60倍，我们在梅瓦智能上，也看到了同样的趋势，虽然没有达到正好60倍，但更接近40倍，有些效率提升，不是通过降低功耗实现的，但美瓦智能的年均提升幅度，非常巨大，至少今年，去年前年，大前年都是如此，而且我预计这种趋势，会持续下去，至于我们离人脑还有多远，我们还差好几个数量级，好在这一点其实并不重要，我们可以给计算机，投入大量电力，给计算机供电比。 [00:24:25]
Shaun Maguire：给人脑功能容易多了，毕竟人类会生病，还有食物偏好，还需要睡觉，对没错，让我再问一个关于这个主题的问题，在我看来，无论是美瓦智能还是美美元智能，或者任何这类指标，我觉得大致有三个层面的输入，你可以有硬件层面的改进，让硬件本身更高效，你可以有底层系统优化，比如内核级的改进，矩阵乘法库之类的东西，或者你也可以有高层的模型级算法级改进，在我看来过去三年里，大部分收益似乎都来自硬件层面，也有一部分来自模型层面，你同意这个看法吗，你觉得未来还会是这样吗，你觉得在内核层面还有很大的潜力可挖吗，上岸国完全不同意你的看法，好很好这就是我提问的原因。 [00:25:17]
Dylan Patel：好我觉得一种方式是把这看成三个不同的层面，从这个角度看从Hopper到Blackwell 这基本上是我们过去三年里仅有的硬件迭代，在DeepSeq上大约有30倍的提升，在最优化的部署上，你可以在InferenceMAX上看到大约有30倍的提升，但是在过去三年里，我们在美瓦智能上的提升远不止于此，其中很大一部分来自模型层，回想三年前，那是GPT-4 现在可能是像QWM较小的模型，总参数量270亿，激活参数只有20亿，表现却要好得多，所以模型层有了巨大的提升，硬件层也有相当大的提升，但关键在于那个协同设计的层面，我觉得这才是重点，如果你去看这些模型的架构。DeepSeek是最有名的那个，至少是公开的，大家都能看到的，对 DeepSeq 空过协同优化，或者说内核级的内存优化，获得了巨大的效率提升，对我觉得内核当然是一部分，但实际上是你要为芯片构建硬件架构，你看 DeepSeq V3 里所有专家的形状，都是针对 Hopper 优化的，再看 V4 是针对 Blackwell 和华为的芯片优化的，有意思的是，尽管 TPU 客观上是很棒的，芯片 DeepMind 全跑在上面 Anthropic的预训练也全用它，但TPU跑DeepSeek就很拉胯，而跑其他一些在NVIDIA上表现不好的模型却非常出色，这里存在某种程度的深度优化，不管是形状网络 IO模式，怎么做集合通信，怎么处理注意力机制的算术强度，所有这些都在模型。硬件和中间的基础设施软件之间做了协同优化，很难说你现在就能把这些收益拆开来看。 [00:27:59]
Shaun Maguire：你觉得我的理解是，过去几年中国在这方面，比西方做得好很多 DeepSeek是最早真正这么做的模型之一，我倒不这么认为，我觉得更多是西方不告诉别人，自己做了什么。 [00:28:06]
Dylan Patel：OpenAI没告诉大家GPT-4O有多稀疏，形状大小是多少这些，但GPT-4O跟DeepSeek V3 规模差不多，还稍微小一点，而且4O发布时间还稍早一些，如果我没记错的话。
Shaun Maguire：所以你的看法是，这三层其实一直在同步推进，速度也差不多，最大的收益就来自协同优化，对，要我说模型层的收益，比协同优化层。
Dylan Patel：比软件基础设施层和硬件层都要大，但每一层都有创新，而真正最大的收益，顶尖实验室最厉害的地方，就是当他们把这三层协同优化的时候，你看Anthropic 虽然他们用很多种硬件，但推理基本不怎么用TPU 主要用TPU做训练，他们推理大量跑在Trainium和GPU上 GPU更像万金油，但他们优化了自己的硬件，优化了模型，优化了一切，才能做到这一点，而OpenAI之前的模型更多针对Hopper优化，现在更多针对Blackwell优化，你顺着时间往前看，这些实验室都是这样 Google也一样 Gemini 2是真正针对TPU V6E优化的 Gemini 3也是，接下来要出的下一代Gemini 是真正针对TPU V7优化的，所以很多这些东西都在协同优化。实际上你把那个模型拿出来，放到旧硬件上跑，效果真的不怎么样，所以我觉得这种协同优化是最重要的，这叫软硬件协同设计，这让我特别兴奋，我日常工作就是看某一层，这里有很多创新，每一层都有很多创新，但真正的突破性创新，是当你跨越几层去做协同优化和协同设计。 [00:29:39]
CUDA护城河与模型硬件耦合
Dylan Patel：是当你跨越几层去做协同优化和协同设计，突然间本来这里两倍，那里两倍，那里两倍，不是乘起来变成八倍，而是直接一百倍，因为你跨三层都做了优化，这就是你在那些实验室里看到的，在NVIDIA这样的公司里看到的，令人兴奋的东西 NVIDIA不完全是做模型层的协同优化，但从模型层一路往下到芯片，多少也涉及一些，或者你看台积电这样的公司，他们不光协同优化制造环节，而是从组件耗材工具一路往上，到客户告诉他们的芯片设计方向，这是跨多个抽象层的协同优化，优化过程中总会有某个地方存在瓶颈。
Shaun Maguire：拖后腿然后需要被拉上来，还有各种补丁去掩盖那些问题，如果要你预测，在技术站的任意层面，随便哪里都行，你未来一年最密切关注的一些瓶颈是什么，不一定在供应链，不一定是规模方面，而是实际的技术层面，当然供应链也可以算，但就是是内存改进吗，还是单纯的扩展。 [00:30:43]
Dylan Patel：内存，内存这块大家谈的很多，但我不从供应链角度讲，我从技术角度讲，内存的容量和带宽进步一直很慢 NAN单元大概是25年前发明的DRM单元，大概是40年前发明的，在单元本身，就是NAN单元到底是什么，这方面一直没什么重大突破，当然NAND本身是个很简单的门店路 DRAM单元也是未来可能会有一些，极具创新性的东西出来，但即便过去五年，我们真正做的也就是把HBM堆叠的更多更快，不过接下来几年会有新的创新，不再是单独把HBM堆在芯片旁边，而是直接把内存堆在芯片上，这会让带宽暴涨，这个领域有一些很有意思的公司，也有一些公司在尝试做概念验证，我觉得内存带宽是最大的瓶颈之一，另一个是在硅芯片的历史上，至少过去20年，一颗芯片多少瓦。对于数据中心或桌面芯片来说，基本看一眼就能预测，峰值大概在每平方毫米一瓦，所以如果一颗芯片是100平方毫米，功耗一般就在100瓦左右或略低，你看最新的NVIDIA芯片，最新的TPU芯片，也还是在这个每平方毫米一瓦的范围内，所以现在芯片已经到1400瓦了 NVIDIA 的下一代，像Rubin这些会到2000瓦，再往后到Rubin Ultra 大概会到4000瓦左右，但这其实只是在增加硅片面积，真正让人兴奋的是，我们现在终于在做一件事，而且正在推进中，就是可以把注入硅片的功率提得更高，远超每平方毫米一瓦，这突然意味着你需要的硅片面积变小了。 [00:32:02]
Shaun Maguire：当然它运行功率更高，某些情况下效率更低，但你减少了归用量，而且能克服某些问题，那是不是会遇到散热问题，散热问题。
Dylan Patel：还有电气干扰之类的问题，各种不同的问题都会冒出来，所以这是个很难的工程问题，也是为什么我们一直卡在，每平方毫米一瓦左右，但让人兴奋的是，全世界都在尝试改变这些，我觉得供应链里，另一个有意思的点是，人们总说能源很难，我们有能源瓶颈，但其实是有些很简单的解决方案的，可以想一下，比如美国有能力制造数百万台卡车的柴油发动机，你可以在装配线上，很轻松的把它们改造成用天然气，然后接上一个电动机反过来驱动它，让电动机发电，而不是让电动机带动轮子转，就是反过来用，这样你往一个美国能造几百万台的东西里灌天然气，就能发出电来，然后你可能会说，好吧，那维护起来不是很麻烦吗，因为你现在得在一个数据中心里，放几百台这种东西，其实你完全可以从汽车修理店拉人。让他们跑来跑去修卡车发动机，实际上这相当简单，我不是说它简单到谁都能做，我肯定做不了，我觉得你说到了一个很好的点。 [00:33:56]
Shaun Maguire：就是西方在过去二三十年，并没有真正去思考半导体和更广泛的硬件，所以我们没有太多创新，我们没有最聪明的人在思考，怎么改进这些东西。 [00:34:06]
Dylan Patel：谁会想去硬件行业工作呢，当你可以坐在那，对就是这样，好吧，我特别想问 NVIDIA对TPU 你怎么看，我觉得大家都想在这两者之间选边站，但这其实取决于一个事实，你看两年后 Google会通过自己的供应链，造出超过1000万颗TPU 而NVIDIA会造出更多，几千万颗GPU 两边都会是千亿美元级别 Google那边每年造出来的TPU价值，会超过1000亿美元 NVIDIA这边会是5000多亿，或者别的什么数字，我不做具体估算，这不是收入预测。
Shaun Maguire：只是个思想实验，对，我们的研究就是这个，媒体趋势也一样 Ashley 就是在为SpaceX IPO做准备，你们在SpaceX投了很多吗。
Dylan Patel：好吧，那就说得通了，我们很幸运，是很大的投资者，太好了，要我说，像Google TPU和NVIDIA GPU这个对比，它们各自都有很占优势的地方，对吧，你看NVIDIA会说，我们有交换机，而且是通用型的 TPU那边会说，我们更专用，能效其实更高，而且我们的网络，对某些网络架构的优化，其实更好，所以两边都有很能打的论点，我完全可以一本正经的跟你论证 GPU比TPU强得多，或者TPU比GPU强得多，但归根结底，还是硬件软件协同设计的问题，实际上，按OpenAI模型的发展方向，他们用TPU 可能是个很糟糕的决定，而Anthropic 和Google模型的发展方向，他们用GPU训练，可能也是个很糟糕的决定，当然，对成熟模型来说。用哪个都还行，这里面的根本区别是什么，有很多方面，对吧，举个最简单的例子，矩阵乘法单元的大小就不一样，因此你做的矩阵乘法的形状，你用的注意力机制，注意力机制的结构方式，专家的结构方式都会不同，所以你觉得OpenEye和Anthropic 正在走向非常不同的模型架构，我觉得他们的模型架构其实差别很大，有意思，你看OpenEye的模型稀疏的多，这有它的好处，而Anthropic的模型虽然也稀疏，但总体上更稠密，这又有不同的好处，还有很多其他方面，对吧，比如网络拓扑 NVIDIA 的所有芯片都通过NANDLINK交换机连接 Google那边没有交换机，但他们做到的是 NVIDIA 的NANDLINK只能连接72个GPU。而Google的SEI可以超高带宽连接8000个芯片，但数据必须经过其他芯片才能到达，因为没有交换机，所以这里就有取舍，有优点也有缺点，而这会影响模型架构，你不一定非得说哪个比哪个更好，因为说到底，你没法把它们孤立起来衡量，这种差异会一直延伸到模型层，对吧。 [00:36:58]
Shaun Maguire：但我记得很长一段时间里，大家都会想 NVIDIA 的可编程性，还有CUDA本身就是一条巨大的护城河，在我看来，至少过去三到六个月，这种说法好像变了，模型公司不再在乎，如果要给另一款芯片写定制Kernel 那就写呗，如果有必要，我们愿意同时用四五种芯片 Quad和Kodak在做这类优化工作上，其实已经相当厉害了，所以看起来，而且本来也没有1万家模型公司，每家都需要可编程性，模型公司大概也就几十家这个量级，所以在我看来，那个基本前提，有成千上万的大客户需要CUDA兼容性，这种论调好像在变。 [00:37:19]
Dylan Patel：对 CUDA的护城河，软件的护城河，至少在一定程度上已经被解开了，因为模型现在编程能力很强，所有软件在这种情况下都会商品化，我确实觉得开源和人们所说的CUDA护城河，其实跟CUDA本身没什么关系，而是DeepSeek，Kimi，智普，AI，阿里巴巴，腾讯，还有小米最近也出了个很棒的模型，这些公司的模型都是针对GPU做协同设计的，所以如果我想在TPU上跑这些模型，有些情况下他们跑的并不好，那Google就得自己创建开源模型生态，或者自己开源模型，所以他们做了Gemma系列，结果就是，这其实不是CUDA在起护城河作用，而是下游产品对NVIDIA优化的更好，而且这些公司还都在开源这些模型，或者像Nimotron也在开源，然后下游的使用者，比如推理API提供商。那些拿开源模型为企业定制业务用力的，强化学习公司，所有这些公司都受制于一个事实，好吧，我好像得用NVIDIA 因为整个生态都在用NVIDIA 哪怕我其实不太在意写CUDA内核，因为模型很擅长干这个，但问题在于模型的形态，比如这个专家模块是这样，隐藏维度是那样等等，所以在NVIDIA GPU上跑，就是比在TPU上跑更好，反过来也一样，如果Google真的开源了非常好的模型，情况也会一样，人们拿到他们的模型会说，哇这些模型在NVIDIA GPU上跑得不太好，那我应该直接租TPU或者买TPU来跑，对小团队来说，你会想用所有的开源软件，比如VLM GLANG Pytorch这些，但大实验室不一定需要全用这些 OpenAI很久以前就fork了Pytorch Entropic和其他公司。也不一定重度依赖这些开源实现，他们早就fork或者自己构建了，所以不需要依赖开源，这样一来情况就更像是，我会选最好的硬件，然后为那个最好，性价比最高的硬件，从头到尾协同设计我的模型和基础设施软件。 [00:39:46]
Cerebras、太空数据中心与专用芯片
Dylan Patel：从头到尾协同设计我的模型和基础设施软件，而且我会让AI帮我写所有这些软件，你怎么看Cerebras 我觉得Cerebras是一家非常有创新精神的公司，在市场的某些领域，他们做得非常非常好，推理速度极快。
Shaun Maguire：我觉得这是个很大的市场，我们在SemiAnalysis几乎只用Fast Mode 顺便说一句，我特别欣赏你在核算上的严谨，不知道那是你专门做的一个展示，还是一直都这么做，就是核算每项任务的花费和投资回报率，分析的太棒了，对对我们做的相当认真，谢谢，那是我们写的dark GPU那篇文章。 [00:40:16]
Dylan Patel：而且我们还会追踪每个人每天的token消耗，如果有人用量突然飙升，我就会问你干啥了，然后对方解释完，我就说好谢谢告诉我，听起来值得，然后继续忙我的，我觉得对于高端任务 Fast Mode显然价值很高，我能看到很多不同的用力，超快的Token生成速度是值得的，我也能看到另一面，有很多用力不需要超快Token 因此市场不会为此买单，他们会用GPU和TPU 我觉得SERP最大的风险在于，我主要认为最好的模型，才是你想用Fast Mode跑的，而小模型你可能未必会用Fast Mode 我也能想象这个判断可能是错的，比如在金融市场之类的领域，像Jane Street那种高频交易，或者中频交易，但归根结底，在基于SRAM的芯片上，跑非常大的模型，处理非常长的上下文，是非常困难的，比如Cerebras 比如Groq。所以问题突然就变成了，如果模型变得太大了怎么办，如果OpenAI的模型，不是几千亿参数，或者小几万亿参数，而是十万亿参数以上，那一下子我觉得，这就塞不进Cerebras了，而且如果还带着超长上下文，比如100万的上下文长度，那就更难说得通了，到目前为止，我们看到各大实验室的大部分收入和用量，都来自他们最好的模型，即使模型涨价了，我们也看到了这个现象，有一些数据显示，就连Fable今天刚发布，就有大量用户转向Fable和Methos 也就是那种次顶级的模型，尽管它贵得多，所以，那这是按金额算的量，按Token算的量呢，谁在乎按Token算的量，重要的是钱，说的对，我不在乎卖了多少量，比如20万辆mini cooper或者丰田凯美瑞。如果福特F150的平均售价是他们的5倍，哪怕销量只有一半，好吧说的对。 [00:42:31]
Shaun Maguire：所以美国最赚钱的市场是皮卡，对吧我多半是在开玩笑，但差不多是这个意思，我觉得这确实是你做的特别好的地方，也是你区别于几乎所有人的一点，你不仅关心技术还非常关心经济账，我觉得很少有人能把这两件事，很好的结合起来，对谢谢，我觉得在Seminalis内部，这件事特别有意思。
Dylan Patel：因为我们有90个人，其中一大块是技术专家，工程师，覆盖整个供应链，然后另一大块是，以前在对冲基金工作的人，你会看到这些争论，比如有人说，那个不重要，然后另一个人就说，但是成本呢，接着工程师又会说，不不不，这项技术才是最接近的，你会看到这种，争论自然的打来打去，而且我们内部挺随意的，考虑到我以前就是论坛版主。 [00:43:05]
Shaun Maguire：你大概能想象我有多享受这种场面，你很享受，别跟猪摔跤，因为猪会乐在其中，顺着这个话题，在进入下一个问题之前，半导体领域有没有什么，能触发你的话题，就是那种像梗一样，有人一提，你就会觉得这人肯定是个傻子，比如有人说那次人是平静，这倒是事实，但我觉得更让我上头的是。
Dylan Patel：有人说AI没有投资回报率，这真的让我火大，就是那种投资回报率在哪，或者否认模型进步的人，有那么一群人会说，模型没有在变好，他们不会推理，他们不会思考，他们会走进死胡同，会停滞，但实际情况是，能力曲线一直都在向右上方走，他们又会说，你看这个基准测试没进步，那是因为它已经到90%了，去看新的基准测试，对，你饱和了，现在他们正在飙升，对吧，我觉得这才是更大的问题和挑战，半导体确实非常复杂，我不会因为别人缺乏理解，就责怪他们，我每天都在从别人那里学到，关于半导体供应链的新东西，而我已经研究这个领域，可以说有18年了，从我12岁开始当论坛班主算起，可以说研究了这么久，即便如此，我整天都泡在里面，这是我唯一关心的事，但抽象层实在太多了。就像我昨天才了解到一种化学品，销售额有上千亿美元，我当时就想，哇都不知道还有这种东西存在，也不知道它用在哪个工艺里，你总是在不断学习新东西，上千亿美元的销售额，在一个几千亿美元的行业里，随便吧，但问题是，但它必不可少，它必不可少，而且实际上每一块芯片都需要它，你就会感叹，哇原来有上千道工艺步骤，我也不知道，就像有人会说，哦你喜欢半导体，那说出每一道工艺步骤的名字，这不可能，拜托，我觉得最搞笑的是，当人们面前摆着所有事实。 [00:44:51]
Shaun Maguire：却得出了一个完全错误的结论，这种事在我们的工作中也经常发生，对，对，我觉得我的态度不是去生气别人这么做，而是要尽可能快的去做，我觉得这个行业，因为它是如此AI 就是当下世界上最重要的事，而且有那么多短期评计，我们聊了很多短期的东西，有没有更长周期的事情让你特别兴奋，比如十年时间框架下的，我们聊到了轨道数据中心，但像归原子层面，你觉得在十年框架下是被低估还是高估了，还有没有其他十年框架下的东西，有，我觉得在太空方面。 [00:45:30]
Dylan Patel：太空在十年框架下会超级疯狂，超级棒，比如太空数据中心，还有小行星采矿之类的事情，我对SpaceX的愿景感到特别兴奋，再说一遍，这不是投资建议，别一听就冲进去，我觉得在半导体这边，巨大的市场变动和巨大的变化，可能仅仅因为某些事情，早一年或晚一年发生就会到来，所以这些技术，比如供风装光学，大家都知道它会在10年内发生，争论的焦点是 27年 28年 29年还是2030年，但总会在某个时间点发生，我觉得更有意思的是，有些公司比如，你们投了Navin Rehau的公司吗，投了，好的，对我觉得他试图在规层，软件抽象层和模型层，同时进行创新，而且他完全明白，这不是那种几年内就能做成的事。这不是一个两年的周期，对不是几年的周期，这是一个长期堵住，像这样的事情就是，好吧，我们要把模拟计算和基于能量的模型，还有所有这些疯狂的东西，一次性全带进来，这很让人兴奋，很可能不会成功，但你知道，这很让人兴奋，我真的很期待，他肯定不会很快成功，对，我应该说肯定不会很快成功，我相信Navin 我大概是在2020年，还是2021年认识他的，他是我在这个行业里，最早认识的人之一。 [00:47:04]
Shaun Maguire：挺有意思的，实际上是在2020年，这很能说明他的为人，以我的经验来看，他一直在努力，是我在网上调的他，我在网上把他调出来的，他一直在努力帮助年轻一代，一直在发掘人才，他在Mosaic的时候也特别有远见，我记得当时还有人给我做过推荐，不对，那是2019年，我当时还是匿名的。
Dylan Patel：我在网上调他，然后他开始回复我，我就转到私信，接着又约了电话，可以说他是我在整个半导体行业里，聊过的第一个真正重要的人，有意思，有意思，不过抱歉打断你了。 [00:48:06]
Shaun Maguire：有意思，你觉得这个生态的终局会是什么样，比如你觉得每个实验室和每家超大规模云厂商，最终都会有自己的芯片吗 Training现在看起来已经跑通了，对吧，所以你觉得终局是不是每个实验室，每家超大规模云厂商都有自己的芯片，至少推理用自己的训练，可能还是找NVIDIA或者别的厂商，你觉得终局会是什么样。
Dylan Patel：我觉得大家都会去尝试，而且不会停下来，我认为最终供应链很重要，你能引入什么技术也很重要，而且随着行业规模越来越大，供应链的多元化也会发生，你看现在，大家的芯片看起来都差不多，中间是一块大的逻辑计算芯片，左右两边，上下两边都堆着高带宽内存，顶部是网络互联，底部是PCIe 和其他 I/O，Trainium TPU、NVIDIA 的芯片，结构完全一样，大多数创业公司也是这样，当然Groq 和 Cerebras除外，他们在搞一些很不一样的东西，但那也很酷，我觉得再往前走，硬件架构和模型架构会出现更多分叉，所以大家会去做协同优化，但有些人可能会陷入局部最优，对吧，就像梯度下降一样，大家都在努力寻找最优解，但有些人会冲进一个局部最小值，问题就在于你怎么跳出来。怎么退回到那个全局最小值，在某种程度上 NVIDIA这种更通用的方案，在并行AI算力这个维度上，永远会比任何其他家的芯片更通用，因为他们有太多关注不同需求的客户，这些客户会持续在设计上给他们反馈，那个最小值永远会比他们更好，但问题是，那个最小值是不是一个局部最小值。 [00:49:39]
通用算力、资本开支与星云厂商
Dylan Patel：那个最小值是不是一个局部最小值，比如TPU或者Trainium 或者Groq、Cerebras 或者随便哪家的设计，在当下这个点优化的特别好，但到了中局，你其实得往另一个方向走，那他们就错了，对，也许他们能风光一阵子，但最终会被证明是错的，这才是真正的问题，所以我觉得通用AI算力，会有一个很大的市场，因为你去跟实验室的人聊，他们连自己一年后，要用什么架构都不知道，对吧，他们真的不知道，一年后自己会用什么架构，他们有很多赌注，很多研究方向，这也是这件事，让人兴奋的地方，但他们不知道，最终会走向哪里，一般来说，他们知道自己手里，有什么硬件，也在努力做协同优化，但如果模型架构突然出现新的突破，比如把注意力机制换成别的什么东西，谁知道呢。或者突然之间发生了什么变化，最好的硬件就会跟着变，那么大家会仅仅基于一个更专用的ASIC 就做出5年的硬件投资承诺吗，还是会留出一部分预算，去配置更通用的算力，你从Google的做法就能看出来，他们愿意为GPU向xAI支付，每小时11美元的费用，这太疯狂了，这个价格非常高，当然算力确实稀缺等等，但这还是很疯狂，而且他们自己明明有TPU 所以这里面有一些问题，比如他们为什么要这么做，实际上Google内部有三套不同的TPU设计项目，他们在跟Broadcom合作做一款TPU 这个架构跟和MediaTek合作的那款又不一样，这个TPU的架构跟另一个不一样，那个是研究用的，我就不多说了，但他们确实在做不同的架构，不是说找几家供应商做TPU 用的都是同一套架构。不是的是不同的架构，而且第三种架构跟前两种差别非常大，所以我觉得大家已经意识到，局部最优解是可能出现的，因此我认为每家都会有自己的，专用集成电路项目，每家都会投入数十亿美元，部署自己的专用集成电路，像Google这种规模，一年就是数百亿美元，但最终他们总会有一些工作负载，是用不到TPU的 Google内部有些非Gemini或DeepMind项目，主要用的其实是GPU而不是TPU 当然也有些主要用TPU 情况比较复杂，但比如说做药物发现或者VMware 你可能就不想用TPU 具体是哪个我就不说了，但确实存在不同的架构压住，和不同的AI发展路径 AI for Science的算法模式，可能就跟通用人工智能模型不一样，所以我认为我们会看到多样性继续扩散，而且因为市场已经变得如此庞大。各种细分领域就会被开辟出来，这就让公司有可能在自己的细分领域里，真正赚到钱。 [00:52:40]
Shaun Maguire：哪怕市场的大头被NVIDIA TPU和Trainium拿走了，说得好，我们能聊聊数据中心的建设吗，从各方面来看，如果你看图表，按每计算小时的美元成本来算，我们正处在一场疯狂的计算资源紧缺之中，而且这看起来既是需求侧，也是供给侧的问题，需求方面长时间运行的agent需求暴涨，供给方面，所有这些数据中心的建设都在延期，你觉得在可预见的未来，我们会一直处在这种计算资源紧缺的状态吗，还是说在某个时间点会缓解，是的，每个季度我们部署的计算能力都比上个季度多得多。
Dylan Patel：建成的数据中心也比上个季度多，今年即使算上延期，也会有二十几瓦的规模，明年算上延期会超过30几瓦，当然任何事情都可能延期，硬件相关的东西都可能延期，这就是现实，我们这辈子会一直面临计算资源紧缺吗，这取决于模型的发展，但你看Methos的总可用市场，比如Methos 5 Fable 5 可不是OPUS的两倍，模型能力强了太多，能完成的任务也多了太多，所以它的总可用市场要大得多，然而全球的计算能力，在过去这6个月里并没有翻倍，从OPUS发布到现在大概7、8个月吧 OPUS 4.5发布之后 4.6、4.7、4.8都有改进，但Fable和Methos是巨大的节约式提升，全球的计算能力在同一时期并没有翻倍，也没有翻4倍。但AI能完成的有用任务的需求，以及这些任务的数量和价值，却实现了这样的增长，所以现在的问题是，接下来会发生什么，很明显 Entropic在第二季度已经盈利了，是净利润盈利，不算股权激励，而且我觉得到第三季度，他们可能连股权激励都算上，也能盈利，他们就是这么赚钱，他们一个OPUS token的利润率，至少是OPUS 4.8的token 按API价格算，利润率超过80% 他们有很多协议，因为跟Bedrock Vertex 这些平台合作的方式，总体的公司毛利率会被拉低一点，但归根结底，他们单个token的利润率，非常高，既然你有这个能力，你就有能力付钱，最终他们以高于市场价买的每一块GPU 他们也从SpaceX以高于市场价买过GPU。那个价格比Google出的低，但那是因为他们签约更早，这是其他公司，比如靠风险投资支持的公司，或者利润率还没转正的公司，不一定能做到的，成本效益比是怎样的，比如我租的每一块GPU 因为我计算容量不够了，我可以立刻转手在上面卖Token 或者每一块TPU每一块Trainium 我都能立刻以正利润率在上面卖Token 如果我本来有75%的毛利率，就算计算成本翻倍也没关系，我仍然有50%的毛利率，而且如果他们是租用计算节点扩容，并不一定需要人力，所以最终我的净营业收入还是在涨，因此我会不惜代价去租GPU 在某种程度上，我愿意付多少钱，我就付得起多少钱，我有个几乎相反的问题。 [00:55:12]
Shaun Maguire：就是这种计算能力的建设，会不会在某个时候突然出问题，今天早些时候好像有条推文 Crusoe公开说他们的一个客户要求，暂停其中一个数据中心的建设，看起来现在生态系统里的每个人杠杆都加的很高，都是那种我们必须建，必须赶紧建的状态，高杠杆高增长，对我来说作为一个投资者，这让我非常非常紧张，等等，高杠杆高增长意味着用很少的股权，就能撬动巨大的上行空间，你又不是债主，你是信用，你是股权投资者，来吧，对，你得去上私募股权那门课，只做杠杆收购，我其实就是私募股权出身，哦，厉害，他把学校那套忘了。在风头待太久了，没有，我现在只看收入倍数，你们看到这种迹象了吗，会担心吗，我明白你的意思。 [00:56:54]
Dylan Patel：这又回到模型那个点了，显然如果模型再扩大，它能做的经济价值总量，就是我们那份按GDP报告里说的，你刚才也提到了，如果模型能完成的工作量增速，超不过算力增速，那风向就会变，过去六个月，风向非常明确的偏向这一边，模型能做的事在变多，它们能覆盖的工作，总可用市场扩张速度，比算力增长更快，所以价格在涨，但完全有可能模型进步突然停滞，你去问Anthropic或OpenAI的人，也许他们是在自我催眠，但基本上所有人都会说，不不不不，模型进步还在继续，所以当前的路线可能会在某个地方停滞，我不确定会在哪里，但目前看来，模型改进的路径是清晰的，而且改进速度很快，实际上，模型现在进步的比，六个月前或一年前更快，因为我不愿叫它地规式自我改进。但基本上是工程师们，用模型来帮助编写所有信息，并越来越快地推出下一代模型，所以你看到的是一个，类似地规自我改进的循环在运转，模型变得更好更快，但归根结底，资本是个大问题，这也是为什么Google要融资，他们持有的SpaceX股份多到离谱，大概拥有公司5%的股份，我觉得比这多一点，不过对。 [00:57:57]
Shaun Maguire：我记得他们一度持有10% Larry Pei在100亿美元估值时，投了10亿美元，拿到公司10%的股份，后来被稀释了，但那是史上最伟大的投资之一，干得好 Larry。 [00:58:23]
Dylan Patel：对，所以他们知道自己手里有价值，大概1000亿美元的股票，锁定期结束后9个月左右就能卖掉，再加上他们自己的毛利润，即便如此，他们还是做了测算，觉得需要融资，于是就做了增发，这太疯狂了，这告诉你他们认为需要花多少钱，但资本确实是个大问题，你看Meta Meta宣布要融资，股价就暴跌，人们不喜欢，但所有这些公司都会融资，不管是发债还是发股，总有一天资金水龙头得关小，但现在Amazon每增加一块GPU 收入都在涨。
Shaun Maguire：或者说每块TPU或Trainium 不管谁加的都在产生毛利润，我想在这个点上加一点看法，然后把它变成一个问你的问题，我们聊这些的时候，我脑子里一直在想，一个几乎可以算作替代假设的想法，拿Crusoe的例子来说，我用石油打个比方，在石油行业，沙特阿拉伯生产一桶油的成本，远低于很多其他国家，还有油的纯度等等，沙特的原油通常杂质很少，这样炼油更容易，我的问题是，当你去看每1GW再见的算力，比如说现在有20GW要上线，这些级瓦之间有多大的同质性，你可以用你认为合适的任何指标来回答。 [00:59:16]
数据中心效率、能源成本与多极化生态
Shaun Maguire：你可以用你认为合适的任何指标来回答，但比如说Google的1GW，是不是比大多数星云厂商的1GW价值高两倍，因为他们有光交换机，他们做这个很久了，知道怎么做电力平滑，因为我觉得这可能是一个替代假设，那些擅长建数据中心的人，他们就应该全力去建，因为需求太大了，而且他们做的比别人好太多，但也许我们已经开始看到一些早期迹象，那些不太擅长的人开始有点受挫了，所以我不知道实际情况是怎样的，有意思，值得思考，到目前为止这方面是有衡量指标的。
Dylan Patel：Trainium卖给Anthropic和OpenAI的租赁价格，每 GW不到100亿美元，而GPU至少在过去6个月市场疯狂之前，通常每 GW在120亿到130亿美元左右。 [01:00:42]
Shaun Maguire：这是新云厂商和Amazon之间的价格对比，现在Amazon卖GPU价格也差不多是130亿，我的理解是这些数字里Amazon还补贴了一点，所以实际差距可能更大，是不到100亿不到100亿，但有一些奇怪的，基本上具体是多少，我的理解是 Anthropic在让Trainium 变得真正可用这件事上，起了很大作用，比如写各种库等等，我听到的所有说法都是 Trainium的硬件真的非常好，而且还在变得更好，显然Anthropic现在大量使用它。
Dylan Patel：所以希望我们能看见，那个价格上涨，对他们签的那个协议，其实设了一个抵价机制，如果效果不好，价格会更便宜，甚至便宜到可以取消，如果效果特别好，价格就会高一些，但实际算下来 Trainium的价格就是不到10 而GPU这边 SpaceX那笔交易，大概是每几瓦250亿，或者说每兆瓦2500万美元一年，跟Google的租赁价格一比，这差距太夸张了，当然如果亚马逊现在卖Trainium 价格可能会比10高，因为算力短缺，但你在数据中心领域，已经能看到这种现象了，数据中心的租赁价格，如果你做的是托管，不是算力，只是电力，这里是数据中心，定价通常按每千瓦，每月多少美元来算，以前是每千瓦，每月60美元，现在你能看到成交价，在120到160之间，不同质量的数据中心，我见过有高达200的。当客户信用评级不太好，而数据中心，本身有相当不错的时候，我也见过低到100的，或者在印度低到80 因为电网不稳定，网络连接也不好，数据中心也比较一般，但好歹是个数据中心，所以这种巨大差异已经存在了，在数据中心建设这个领域，常见的坑就是项目直接失败，失败的人很多，他们声称要建可能就四个人，说对我们听说了，我买了一些涡轮机，付了定金，我要建一个数据中心，然后就一直延期，延期最后失败，所以你必须做概率加权，时间加权，考虑时间之后，区分哪些团队不行哪些行，我们的数据中心模型，做的就是这件事，我们追踪每一个数据中心，根据他们使用的设备等等，对每一个都尝试做这种分析，你刚才提到Google 在一个几瓦级的数据中心里。他们实际上会部署1.5几瓦的硬件，因为他们对从工作负载到各个环节的理解，非常深，能够灵活调配电力，所以通常一个几瓦的算力，电力消耗利用率大概在60%到70% 不是说硬件利用率，而是总有人租用，他们现在能做到，那60%到70%的利用率，意味着实际跑满一个几瓦，你用的就是整个几瓦，你还会看到有人，包括Google跟电力公司签协议，说我知道这个电网，可持续供电一个几瓦，但一年里除了三天，其实可以供两个几瓦，那就给我两个几瓦，那三天通知我关停就行，他们就会这么做，这一类技巧，然后你还需要对工作负载，备用电源，现场发电机等等，有极强的管理能力，才能想办法真正持续维持两个集瓦，当人们做到这一点，他们就能收更多钱。不管是因为我实际上卖了两个集瓦，尽管名义上只有一个集瓦，因为那三天我可以用电池，天然气等来应对，我搞定了现场发电，现在我在别人都没有的地方，有了一个集瓦，而且我能快速建成，这不一定是成交价更高，而是我卖了更多的集瓦，有时候卖更多集瓦，每个集瓦的售价还不一样，我觉得在数据中心和能源层面，更多是有和没有的区别，以及项目是否延期，这更偏向二元结果，但在算力这一侧，我觉得有意思的工作要多得多，一个集瓦给Anthropic 客观上说，产生的收入比给OpenAI要高，而且看起来，他们两家现在手里的，每一个集瓦都能卖出去，考虑到OpenAI和Anthropic 那边的速率限制 Token上限等等问题，尤其是Codex 5.5出来之后，性能好多了，同样。如果你把一个机瓦给SpaceX 他们也能把它变成某种东西，我的猜测是，他们可能比大多数人。 [01:05:11]
Shaun Maguire：都更善于利用硬件，我觉得人们低估了，他们的网络经验，尤其是来自Starlink的，也低估了他们通过，特斯拉积累的电力管理经验，对，像Fred Mayo这样的人，非常厉害，他们真的很强，所以对我来说，这其实可能是很多人，分析中缺失的一点，虽然我也不知道确切答案，我觉得还有一个事实是，当CoreWeave建一个。
Dylan Patel：几瓦级数据中心时，虽然他们的GPU算力，在性能和可靠性上，客观比Amazon Google和Microsoft更好，我们是测过性能和可靠性，但问题是 Google在算力上限前六个月，就开始卖了，然后他们得拿着，签好的合同去借债，用那个信用背书，再回头去，付他们已经下的采购订单，而SpaceX的做法是，不行，这东西现在就在跑，直接买，当你有一张资产负债表能这么做，跟没有的时候，差距就很大，这也会让你的每兆瓦收入高得多 NeoCore这个机会为什么存在。
Shaun Maguire：因为五年前你问我，我会说超大规模云厂商会通知这块，你刚才也提到CoreWeave的性能，比超大规模云厂商更好，这个机会为什么存在，宏观层面是什么原因，执行层面有什么原因。 [01:06:24]
Dylan Patel：2023年我写过一份报告，让Amazon特别恨我，报告叫Amazon云危机，我讲了Amazon为什么是最好的云，因为他们有Nitro智能网卡，能提供租户隔离，所有Hypervisor都跑在网卡上，这样就能把全部CPU核卖出去，他们还有自己定制的SSD 直接买罗兰克里，自己做SSD 成本更低，他们还有自研的Gravitan CPU 把单核成本压下来了，所有这些让他们能卖更多核，安全性更好，网络也不错，但这些都是为传统CPU场景做的，存储也是为传统云世界优化的，可在AI云里，这些东西很多反而拖累性能，这些Nitro网卡对性能不利，现在依然性能更差，虽然他们迭代了几版改进不少，但还是更差，很多安全功能在AI场景下没意义，因为不像以前那样，把用户做时间切片。或者把一个socket切给多个用户，没人会在一个8GPU服务器里单租一个GPU 也没人会在一个72GPU机架里单租一个GPU 他们租整个机架，甚至租很多个机架，而且也不存在租6个小时就还回去这种事，大家都是长期合同，所以GPU租赁市场的运作机制，让超大规模云厂商的很多专长变得没用，有些甚至是有害的，网络性能就是其中之一，对Google和Amazon来说，他们自研的网络对传统CPU和自己做的业务更好，但对AI反而更差，另外一些情况是 Microsoft自己建数据中心能省钱，但他们的数据中心团队其实没那么强，当建设节奏可预测的时候还行，一旦需要把全年预测翻倍，他们就摔跟头了，不得不去拿一堆Neo Cloud产能，我觉得性能是一个因素，上市速度是另一个，这些大组织里，没人会因为把这个数据中心建得更快而发财。但你看Crusoe 比如Chase和团队其他人，我本来想点几个名字，但还是算了，这些人如果能更快交付算力，他们是真的会发财的，他们是加了杠杆的，超高杠杆的股权持有者。 [01:08:26]
Shaun Maguire：不过他们也全是从比特币那边过来的，这话你可能不太方便说，他们数据中心的主力是从Microsoft来的，我也不太清楚，我就是开个玩笑，不过你懂的，在一个波动极大的市场里，你能学到很多东西，你觉得Jensen在NVL上，有多大程度是在布局 Jensen绝对讨厌，所有超大规模云厂商，掌握所有权力的世界。
Dylan Patel：他之所以会砸钱，给那些随机的AI实验室，我甚至都不确定那是否合理，但他就是在砸钱，把他们捧起来，然后去跟全世界的人说，你们应该投资这家公司，因为他想创造一个多极化的世界，这就是他喜欢中国实验室的原因，因为他想创造一个多极化的世界，一个只有OpenAI、Anthropic和Google模型的世界，对他来说是死路一条，一个只有超大规模云厂商，在建设算力的世界，对他也是死路一条，所以他当然需要，把资源分配的枪口对准星云，帮他们的集群兜底，做一切能做的事，因为虽然今天卖给Crusoe的GPU 卖给CoreRiv的GPU 和卖给Google Amazon的GPU 对它来说价格都一样，但五年后Crusoe和Coreweave的存在。 [01:09:08]
新云厂商和新实验室的生存竞争
Dylan Patel：但五年后Crusoe和Coreweave的存在，意味着Google TPU会变弱 Amazon Trainium也会变弱，而更多推理由非币源模型实验室完成，对它更有利，所以我觉得星云这个生态，就是一群在野蛮生长的人，这些新实验室也一样，他们很多都有NVIDIA 的投资，这就是个蛮荒地带，有些会失败，很多都会失败，但有些会脱颖而出，成为真正优秀的团队，不管是说来奇怪 Crusoe一群搞加密货币的人，然后开始建数据中心，搞办生气发电，还是Coreweave 最初是一群纽约对冲基金的人，他们也是后来也搞过加密货币，但后来他们做起来了，有很多人没能像他们一样冒出来，差不多同时起步，就是失败了，对吧，所以我觉得。
Shaun Maguire：我得说这两个团队都非常出色，他们值得很多赞誉，这也是你的观点，不过，对我的观点是，他就是在水里撒了一大把鱼儿，最好的鱼会想办法活下来，对吧，星云的情况也差不多。 [01:10:51]
Dylan Patel：他也希望新实验室能这样，我们拭目以待，看有没有新实验室能真正冒出来，不过 Thinking Machines有上亿美元的年度经常性收入，对吧，这相当厉害了，虽然媒体上总说，他们流失了那么多人才，但你看Tinker做到了上亿美元的年度经常性收入，对于一个推出不到六个月的产品来说，这已经相当厉害了，我们希望其他新实验室也能发生同样的事。 [01:11:04]
Shaun Maguire：所以他想要一个多极化的世界，去，恭喜你取得成功，谢谢，我最后想说的是我见过一点点，我觉得听众大概能从你的言谈中听出你有多努力，但很明显你已经拼命工作了十多年，这才有了过去几年在正确的时间出现在正确的地方，不过你所取得的成就真的令人难以置信，而且我知道这仅仅是个开始，所以非常感谢，谢谢你来做这期节目。