目录
- 从论坛发帖到创办 SemiAnalysis [00:00:00 - 00:10:00]
- 开源基准测试与 Blackwell 性能 [00:10:00 - 00:20:00]
- AI 使用、Token 经济学与存储超级周期 [00:20:00 - 00:30:00]
- 强化学习与 Agent 工作流推高 CPU 需求 [00:30:00 - 00:40:00]
- 网络、铜与 CPO 的上量时间 [00:40:00 - 00:50:00]
- 数据中心电力与供应链瓶颈 [00:50:00 - 00:54:40]
从论坛发帖到创办 SemiAnalysis
Chris Gannatti：欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI生文、克隆技术，我们不仅将内容翻译成中文。还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI财经。健康与科技领域精品内容。。我是主播一凯一位热衷于AI领域的产品经理很荣幸能为您搭建这座跨越语言障碍的桥梁接下来让我为您简单介绍本期我们克隆的这档节目本期我们克。隆的是知名播客The Next Big Thing在2026年7月的一期深度对谈主持人是WisdomTree的同事嘉宾则是SemiA。nalysis研究机构的创始人Dylan PatelDylan以对半导体和AI供应链的深刻洞察闻名他带领着一个近百人的团队为全球顶尖。机构提供从芯片到数据中心的全面分析这一期他们主要围绕支撑AI革命的基础设施现状展开从模型、芯片、存储、网络一路聊到数据中心背后的电力。供应几乎覆盖了整个技术战的关键环节那我们就一起来听听这期的完整对话好大家好欢迎回到我们下一期的The Next Big Thing播。客今天和我一起的有我的同事Blake Hyman还有我们的新合伙人SemiAnalysis研究机构的创始人Dylan Patel今天。很让人兴奋我们可以和Dylan一起梳理一下AI基础设施的现状你可能在很多播客里听过Dylan的分享我一直关注他的内容也订阅了Semi。Analysis网站上的newsletter最近我看到的一篇是关于太空数据中心的如果有人对这个话题感兴趣他们有一篇很棒的深度文章不过。Dylan我很想听听SemiAnalysis这个想法是怎么来的我知道现在在Substack圈子里大家经常讨论你们公司的收入和成功但我。觉得很多时候人们看到的是现在的成功却忘了背后的历程起点以及这背后投入了多少心血对我觉得SemiAnalysis的起源其实可以追溯到。 [00:02:12]
Dylan Patel：我在网上发帖灌水用一种不那么严肃的方式会像我最早关于半导体的帖子那还是我十几岁的时候我那时候就在网上发关于芯片智能手机手机屏幕手机S。oC这些东西的内容在我自己都还没有智能手机的时候我就已经对这些东西着迷了游戏硬件也是一样PC硬件游戏主机硬件我那时候在各种论坛上不停。地发这些东西到我12岁的时候我已经在管理很多论坛了比如关于AndroidAppleGoogleIntelNvidiaAMD这些硬件话。题的Reddit上也有很多相关的板块所以一切的起源就是我一直就是个发帖的人我一直发表自己的观点一直回复别人一直看评论我觉得有件事挺有。意思的现在我们团队有90个人了我也有市场部的人他们会说Dylan别在网上回复那些乱七八糟的人了你让我们看起来很掉价但我就是有那种冲动。当有人在网上批评我的时候我就想回复他们这也许是个坏毛病基本上在我整个青少年时期我都在管理这些论坛后来到了十七八岁我开始赚钱了也就马上。开始做投资我做了两年量化分析师然后创办了自己的公司但整个过程里我一直在发帖发帖发帖我有过匿名博客发过匿名帖子但到了2020年我对自己。的工作感到厌倦了对做量化分析师这件事有点幻灭它并没有看起来那么美好是的你能赚钱但并没有看起来那么美好我算是消极代工然后创办了自己的公。司我当时也不确定它会走向何方但我开始在一个自己建的wordpress网站上发帖用我的真名发的内容混合了技术商业金融供应链这些都是我最。感兴趣的东西因为我是在小生意里长大的我是在汽车旅馆长大的我父母在佐治亚州的乡下有一家汽车旅馆我们就住在里面我算是天生就懂点生意后来我。们家还开了加油站所以我是在那种环境里生活长大的我一直很喜欢商业从投资的角度从东西是怎么造出来的角度看供应链一直很有趣我觉得这是一种天。赋就是总想知道东西是怎么造出来的技术层面当然非常令人兴奋金融层面也非常令人兴奋所以把这些结合起来我最早写的文章里有一篇是关于当时中国。在禁止或者说美国在禁止华为获得TSMC的代工服务然后我最早的文章之一就是分析为什么联发科是最大的赢家因为华为当时在中国智能手机芯片和。智能手机市场的份额是第一显然因为拿不到TSMC的代工这个份额会暴跌所以美国市场当时觉得高通会赢但联发科是台湾公司我当时觉得他们其实会。抢到更多份额因为从地缘政治上看我们刚进了华为中国肯定更愿意买台湾公司的产品而不是美国公司的所以两家都受益了但联发科受益大得多就这种技。术供应链金融地缘政治所有这些东西揉在一起后来几年我把wordpress转成了substack开始收费我写的都是整个半导体和AI供应链。的各种话题我一直在关注AI做量化分析师的时候也接触过一点AI半导体更是我一直以来的兴趣然后这个事就越做越大越做越大有四年时间我满世界。跑参加全球所有的会议一年跑40场会没有固定住处就是能去的会全去不管是newripsACMLICLR这种AI研究会议主要是研究员去也有。一些公司去发表研究还是往下游走去那种特别偏门的会比如半导体供应链上游的化工原料会议我整条产业链上下全跑服务器网络制造 AI全跑一年4。0场会议有些会特别小众就300个人除了5个人以外全讲日语我当时就想行吧就这样没办法但另外一些会呢一两万人规模巨大整个光谱整个连续区间。我都覆盖到了所以我能横跨整个生态一个会你去三次你就真能听懂他们说的话了也认识人了你能建立起所有这些关系可以问他们问题我就这样搭建起了。整个生态和知识体系而且我在每一个节点上都能捕捉到拐点技术上我好奇心很强但一旦有什么东西在技术或供应链上特别突出我从会上了解到之后我就。知道它在供应链或金融层面会导向哪里所以我写的东西是所有这些混在一起的有时候报告偏技术金融圈没人关心有时候他们就会说哇这是个瓶颈或者这。是个正在发生的拐点或者这家公司下一代技术会让他抢到巨大市场份额而且我比街上所有人都先喊出来比任何对冲基金都早比谁都早所以这差不多就是。起点后来substack越做越大2022年我开始招人前两个招的人是我在discord上认识多年的朋友但之后第三个招的是Marin他之。前在对冲基金工作当时要搬到日本跟妻子一起生活所以他算是个自由人我发过一篇文章讲的是那篇文章在当时很有意思23年初内存是AI最大的输家。原因是AI芯片和AI服务器用的内存量比普通服务器少很多普通服务器里差不多一半的成本是AI芯片是内存AI服务器里就少得多一部分原因是N。VIDIA的利润率更高还有几个其他因素当然NVIDIA下一代芯片把内存容量大幅提上去了现在已经是多得多但当时我的判断就是内存是最大输。家在付费部分我说了我在招人Mirren就联系了我他是第一个对冲基金背景的人另外两个人都是技术背景他一加入我们就开始做各种模型真正把业。务转型了我们还在做newsletter还在上面发大量优质内容比以前还多但我把它从单纯的newsletter转成了卖信息服务的模式卖报。告卖数据集这个事一开始滚动起来就像雪球滚下山一样从2023年到2024年我从两个人扩到七个人然后从24年到25年初从七个人扩到20个。人从25年到26年从20个人扩到60个人今年我们已经到90个人了光今年就加了30个人就是雪球一路滚下山我们不断加新的领域我一直对什么。都感兴趣但现在我能招到各个领域的专家我觉得Seminarios最让人兴奋的一点就是我不知道还有哪家公司有我们这种密度的人才集中度我团。队里有人在ASMLApplied MaterialsLAM Research这些做晶圆设备的公司干过一路往上游走还有人待过Intel。SMCNVIDIAMicrosoftAmazon当然也包括在OpenAI做过模型的人有人在OpenAI做过模型有人在Tesla做过F。SD有人在Cohere做过我们覆盖了模型层的人在另一个垂直方向我们还有做过数据中心的人我公司里有个人在哈萨克斯坦建过一座发电厂我们的。人才密度高得离谱特别棒公司差不多一半的人是在行业里做过工程的另一半要么是钱对冲基金的要么就是网上找来的特别有热情的人我在Twitte。r或Discord上发现他们觉得这人聪明就让他们来跟我干结果还真行这就是我们一步步搭建起来的东西现在Semian Analysis有。很多条业务线有数据服务咨询信息服务有Newsletter还在做各种媒体内容。 [00:09:25]
Chris Gannatti：我们很快要办一场大会规模会很大反正我们做的事五花八门这一路真的很过瘾说到这一路Dylan 我有个瞬间想跟你聊聊WisdomTree和。SemiAnalysis已经合作好几个月了每年三月NVIDIA GTC都会开今年我在北卡罗来纳州夏洛特看直播当时大概有五万五千人一起。在看然后突然而且现场体育馆里还有两万人兄弟体育馆里坐了两万人然后他直接在台上点名说你在他某个数字上藏着了就在你的图标里直接在大屏幕上。讲说实话我当时替你激动了一下看着全世界最大公司的CEO在台上引用你的研究还说你批评了他对某些数字的看法我想听你聊聊听起来你当时就在现。场对那个瞬间确实挺超现实的简单说SemiAnalysis做的一件事是。 [00:10:17]
开源基准测试与 Blackwell 性能
Dylan Patel：我们有一批工程师在做开源基准测试覆盖所有开源AI模型和所有硬件这个项目挺厉害的我这边有好几位工程师但我们跟行业合作非常紧密我们从Op。enAIMicrosoftAmazonGoogle，Coreweave，Nebius。Cruzo这些公司拿到了超过5000万美元的硬件捐赠你能想到的主要云厂商基本都给我们捐了硬件Oracle也捐了我们就在这些硬件上跑基。准测试我们现在有8种不同的GPU包括各种H100，H200，Blackwell还有AMD的各种GPU另外我们还有Google的TPU。和Amazon的Trainium我们做的事情是每天用最新版本的软件跑基准测试为什么是每天因为每天晚上都可能发布新的CUDA版本PyT。orch版本驱动更新或者推力引擎VRM Scalene的新版本等等所以我们每晚都在整条曲线上跑覆盖从追求最快Token速度到追求最优。性价比的各种场景我们每天都跑这是一套自动化的基准测试套件黄仁勋最初发布Blackwell的时候声称会有25倍的提升当时没人信他对吧那。是黄仁勋他擅长营销就连我们当时也觉得好吧我们比大多数人更看好我们根据跑过的模拟认为大概能有15到20倍的提升因为我们有性能模拟器但随。着我们把这个叫InferenceX的推理基准测试做起来我们发现哇在DeepSeek V3上Blackwell在曲线的某个点上比Hop。per快了30倍然后就有了后面的事我一拿到结果就给他发了邮件这些结果会自动发布到开源GitHub上这是个开源协作项目NVIDIA的人。也参与了他们知道但我特意跟他强调了一下我给他发邮件说嘿黄仁勋你在2024年发布Blackwell的时候说25倍所有人都喷你这是当时喷。你的人连我也喷了我说不可能25倍大概15到20倍还有很多人说不不不也就三倍我们当时已经算很看好的了但是黄仁勋我错了你是在藏拙实际是3。0倍然后他就拿这个去用了我当时不知道他会怎么用只是从几个客户那里听说Meta有人告诉我他们开了个会黄仁勋拿这个当证据证明他没有在数字。上藏拙因为他当时在讲下一代芯片总之这些事就这么发生了我完全没想到他会在台上讲另外在InferenceX项目里我们还做了一个腰带长得像。WWE冠军腰带上面写着Inference King我们把这个腰带发给了所有合作方发给了合作方发给了NVIDIA发给了AMD还发给了S。GLVLM这些帮我们做基准测试的人还有捐赠硬件的人毕竟这是个开源项目我每年花几百万美元在工程师工资上其他人花几百万在硬件上捐给我们或。者花几百万在工程师工资上捐给这个开源项目我把这个腰带发给他们然后黄仁勋在幻灯片上展示了这个腰带他举着他旁边是我们的图表他在幻灯片上讲。了五分钟说Dylan说我藏拙但我没有我们的性能就是最好的那一刻真的太超现实了他讲我们的时间比讲其他任何人都长。 [00:13:24]
Chris Gannatti：唯一被提到差不多多的是OpenClaw它现在确实风靡全球所以那真是个不可思议的时刻对Dylan你刚才提到了几件事我觉得很有意思的是你。提到了开源现在可能稍微转向一些最近的发展还有市场方面一直有关于一些开源模型和闭源模型在实际推理效率上的讨论而且直到今天还有很多投资者。在质疑这一切的ROI就在过去一两周我记得有个Bloomberg的经济学家谈到很多AI项目在一些公司里可能正在失败我知道你强调过你们公。司是怎么广泛使用AI的真的在让员工大量使用Token然后你刚才也提到你们在招人所以我很好奇你怎么看这种终端需求以及这种终端需求确实在。推动我们看到的这场大规模建设而这场建设充满了各种制约因素至少在过去一个月里除了最近几天市场的变化这些因素一直在推高很多相关主题的股票。对我想说几点当你去看这个核心问题就是ROI公司从AI里赚到足够多的钱了吗这能持续吗。 [00:14:31]
Dylan Patel：用AI的人真的从中获得价值了吗这是很多人心里的大问题我去看去想这个问题的时候有几个角度可以拆解首先Anthropic的自由现金流是正。的他们在Q2是盈利的即使在4月他们4月结账时也是盈利的自由现金流是正的5月自由现金流是正的也是盈利的6月看起来也会是这样虽然还没完全。结账但至少三个月里有两个月他们是自由现金流为正并且盈利的他们的经常性收入已经突破了500亿美元AR他们做得非常好但我觉得这只是硬币的。一面就是Anthropic在印钱显然还有很多公司没在印钱但他们在接近了OpenAI的收入随着Codex采用率增长也开始起飞其他产品也。是所以这些公司都在变得更赚钱Anthropic毛利率非常高超过70%但最终你刚才也暗示了人们开始关注的硬币另一面是那些在AI上花钱的。公司呢至少在SemiAnalysis我们之前的情况是我喜欢管它叫ARS不是AR年度经常性收入是年度经常性支出在Claude Code。真正起飞之前也就是去年11月我们的年度经常性支出还不到10万美元当时我们给每个人订了ChatTPT的200美元套餐差不多就是这样如果。有人想要XAI或Ccloud我们也会给但标配就是每人一个OpenAI 200美元订阅这就是去年11月的状态我觉得那时候我们已经算很前。沿了但后来Claude Code开始爆发随着Cloud Open 4.5 4.6这些版本出来到1月底我们的R2年度经常性支出已经冲到。400万美元了就是因为大家都在用Claude Code我想说清楚一点我们的员工支出里有超过三分之一是花在AI上而且这还不算其他开销到。年底这个比例可能会变成一半一半取决于Methos和其他模型出来之后能变得多好这个支出量非常大那问题来了ROI怎么样我觉得回报巨大因为。我们能做出产品能卖出更多东西公司里每个人的效率都提高了所以我能看到ROI但我觉得很多公司在问如果我有个很厉害的开发者年薪30万美元甚。至更高那他在AI上的花费对好的开发者来说已经开始接近1比1了对非开发者来说花费范围可能低一些但至少在SemiAnalysis我们很多。花钱最多的人反而是不会写代码的他们就是告诉模型自己想要什么然后反复迭代最后就拿到了想要的东西所以你看到人均支出在飙升很多公司现在理所。当然的在问我们全年的AI预算Q1 Q2就已经花光了现在怎么办问题是我们要砍AI支出还是砍别的地方很多公司说也许我们得放慢AI上的花费。但我看到很多公司开始砍别的地方了他们在砍以前用的其他SaaS产品说我们可以增长更快那就这么干他们说在AI上花钱没问题暂时承受一下I一。直在变便宜即使采用率在飙升我六个月前做的事现在用AI做便宜多了当然我现在用AI做的事比六个月前广泛的多大家的做法各不相同有些人甚至在裁员工而不是砍AI。 [00:17:37]
Chris Gannatti：也有人在收紧AI支出但这些公司在生产力提升和能做出什么东西方面会被源源甩在后面明白了那有一种可以缓解增量成本的办法就是选便宜一些有时。候不那么聪明的模型不一定总用最前沿的我听到的一些说法还非常早期但我好奇的是像你们这样的公司会不会在某个节点决定有些场景用DeepSe。qVis这类模型更合适而需要更高智能的任务才去用那些更贵的模型这是不是你们考量的一部分我觉得对一些人来说这绝对是考量的一部分而且你得把AI的工作负载分成两类。 [00:18:14]
Dylan Patel：一类是把AI集成到我已经有的流程里比如客户发来一份文件我检查它有没有XYZ问题我把文件丢给模型模型检查完就结束了这种情况下我只需要达。到某个质量水平就行达到之后我就可以不再追求模型更强而是等着更新更便宜的模型出来或者等成本效率提升来降低成本我们看到2A模型的成本每年。大约能降低60倍你锁定一个质量水平一年后达到同样水平的成本就变成了1 60分之一大家之前被DeepSeek吓到因为它比GPD4便宜了。600倍这其实是在GPD4发布大约两年后所以是360倍60乘60是360倍结果它实际上便宜了600倍所以这个曲线上的某个点不管是每年。便宜60倍还是每年便宜90倍大概就在这个范围内但DeepSeek V3对比GPD4两年内成本降到了1%你往后看差不多就是这个量级所以。如果你有一个工作流把AI集成进去那你的做法就是先达到一个质量水平然后再追求更便宜另一类工作是AI助手我觉得这里其实有点误解你不需要如。果我在做日常工作让模型帮我做这个帮我找那个帮我弄清楚某件事成本优化并不是去用一个更便宜的模型成本优化往往是去用最新的模型因为最新的模。型比如Claude 4.6 Opus可能要花10万个token来完成一个任务而且可能需要几个来回我跟他反复对话所以它可能耗费10万个。token和我10分钟的时间但Quad 4.8 Opus可能只需要四分之一的token25000个而且可能只需要一个来回就搞定了所以。成本其实更低因为生成的token数量更少我花的时间也更少所以当我观察一个开发者或者一个做智力工作的人降低成本的途径其实不是用更便宜的。模型而是把那些以前需要跟模型反复拉扯才能完成的任务交给越来越新的模型现在它可能只需要一次迭代或者一次性就能完成整个工作流它可以用更少。的token完成所以我们看到从4.6 Opus到4.7 Opus我的成本实际上下降了一周然后又飙升回去了因为大家用的越来越多那为什么。成本会飙升回去呢因为大家需要适应新的工作流他们会想好我之前做的工作已经完成了让我做更多的事所以成本又上去了同样的当4.7升级到4.8。时成本也下降了大概一周到一周半然后成本又飙升回去了因为大家意识到对我现在能做更多工作了所以你必须把生产力和成本放在一起衡量当它是一个。AI助手时Token效率真的非常重要这也是为什么Anthropic一直能打败OpenAI因为他们的模型比OpenAI的模型Token。效率更高实际上OpenAI的模型在一些前沿科学前沿数学前沿编程的边缘案例上经常能完成Anthropic模型做不了的任务但是他们花费的。时间可能是三倍消耗的token是四倍因此成本高得多而且人和AI之间的反馈循环也没那么快这最终导致在客户感知上他的表现反而更差因为你跟。模型说去做这个任务然后你回来检查任务是否完成这是一回事但另一种情况是你说我有四个小时来做这个任务那么是让模型调用一次自己干四个小时还。是跟模型来回交互四次哪种方式做得更好事实证明当有人在回路中这种反馈循环时Anthropic实际上要快得多好得多因为它token效率更。高所以这也是我们仍然主要使用Anthropic的主要原因有些任务大家确实会用OpenAI而且通常是那些可以让它跑一整夜的任务大家会交。给OpenAI的Codex但大多数任务大家还是用Claude Code所以关于模型和token效率一个很有意思的点是成本这东西有点难。以拆开来说有些任务是你锁定模型质量然后等着模型变便宜。 [00:22:11]
AI 使用、Token 经济学与存储超级周期
Chris Gannatti：而另一些任务实际上你只想要最聪明的模型因为它反而更便宜Dylan我有点好奇想听听你的看法把话题稍微转到硬件这边我知道今年早些时候你们。有一期newsletter如果听众还没发现的话我已经是你们多年的忠实读者了里面有一篇文章讲到了存储存储通常是有周期的大概18到24个。月往上走然后18到24个月往下走我们都知道这个规律但现在感觉好像所有东西都缺货只要你是做数据中心相关组件的问题已经不是你能不能拿到货。而是你得等多久因为现在这个世道你几乎拿不到任何组件以你纵观硬件领域的经验来看像存储这种过去40年来一直是大宗商品跟着周期起起落落的东西。 [00:23:02]
Dylan Patel：你觉得接下来会发生什么变化对我不是说以后就没有周期了我觉得周期肯定还会有显然我们现在处在一个超级周期里上升势头非常猛将来也一定会有下。行而且下行也会很惨烈但即便下行谷底跟谷底比增长依然很大所以我觉得现在存储和其他组件真正值得关注的地方是正在发生的阶段性变化过去的上行。周期终端市场可能增长50%对于存储这种定价弹性大的大宗商品市场来说相关股票可能涨个两三倍但我们现在看到的不是增长50%而是过去几年里。总支出已经翻倍了而且还会再翻倍总支出翻倍之后再看不同终端市场的弹性存储的价格已经涨了大概四倍接下来在产能增长之外还会再涨个两三倍所以。这些股票在回落之前涨势会非常疯狂我觉得存储真正让人兴奋的地方在于它不只是一个终端市场的问题不光是市场在暴涨而是它本身就是一个弹性很大。的商品定价对终端市场需求极其敏感真正有意思的是我们在2024年O1出来的时候就写过OpenEye发布了O1这是第一个Reasonin。g模型它催生了一波新的Reasoning模型热潮OpenEye，Anthropic。DeepSeek还有很多其他公司都在利用这个方向让模型去做长周期的agent任务我们当时注意到O1一出来工作负载立刻发生了巨大变化你。看以前我们做对话的时候你跟XTPT聊天发一个prompt可能是50个词也可能是500个词你发过去它给你一个回复这个比例下上下文长度大。概是几千假设上下文长度是2000这意味着你跑inference的时候每生成一个token就要把所有权重读进芯片把所有上下文读进芯片处。理一个token然后再循环你要反复读取所有token上下文和权重上下文这部分就叫kvcash它建立了这些Token之间的关系有意思的。是当你跑模型Inference的时候在权重这一侧不管上下文长度是1000还是10万你都得把所有权重读一遍推理场景下的内存强度在权重这。边是一样的但在KVCash这边也就是上下文这边你读入1000个Token和读入10万个Token内存需求是天壤之别尽管计算量大致相同。因为有了KVCash在内存上的缓存机制你的计算成本不会飙升但内存成本会飙升所以我们在OE的报告中重点提到2024年12月我们就谈过s。caling loss预训链的scaling loss正在让位给reasoning的scaling lossOE是一个巨大的接约变化。我们当时就说KV cash会因为reasoning而爆炸式增长所以内存会是最大的赢家我们在24年12月就提出了这个观点25年又多次强。调我们对内存非常看好但真正关键的我想是26年1月我们写了那份报告当时大家觉得内存已经涨了50%是不是到周期顶部了还要不要继续我们那份。报告基本就是在说不不不我觉得你们没搞懂未来三年内存产能每年只增长20%30%但需求却在翻倍再翻倍所以最终会发生什么内存价格会持续飙升。那些对价格弹性承受力较弱或者无法适应这种价格弹性的内存用户会被挤出市场智能手机笔记本电脑因为成本涨得太厉害会被挤出市场这些需求全都会。让位给AI这意味着价格只能一直涨一直涨一直涨直到挤出效应发生因为产能增长根本不够所以我们当时的观点是内存处于短缺状态而且不是短期短缺。是会持续好几年的短缺我们看到的情况是从去年Q1到今年Q1再到现在的Q2内存表现一直非常强劲一直在飙升中间也有过因为某些随机原因单日跌。个7%8%的时候但整体走势就是一路向上我们觉得这不是投资建议但我们认为它还会继续涨因为价格还在继续往上走我们目前看到一些中国的中低端。手机厂商比如小米出货量已经下降了40%但高端市场还没受到冲击明年iPhone必须涨价MacBook必须涨价现在如果MacBook和i。Phone涨个100美元市场还不会调整太多但内存会越来越贵直到AI的需求被满足为止这意味着智能手机价格不是只涨100美元而是得涨几百。美元最终会达到一个均衡点AI拿到它需要的需求而移动端和消费硬件被压到足够低的水平但显然人们迟早还是需要新手机和新电脑所以还是会买我们。必须达到一个新的均衡因为内存终端市场的产能增长不够快把视角扩展到整个生态真正重要的是很多不同组件都处于短缺状态谁的定价有弹性谁没有举。个例子TSMC的定价就没有弹性他们是一家很好的公司对客户很公平长期合作他们会说我们涨价5% 10%内存厂商呢他们处于大宗商品市场他们。让现货市场和合约市场的供需平衡来真正调节价格所以你会看到价格翻两倍三倍将来某一天你也会看到价格腰斩因为内存本身不配拥有85%的利润率。对吧虽然现在正往那个方向走我们现在还没到85%90%的毛利率但会到的然后从那个高点又会腰斩回落到70%多甚至更低所以我们会看到内存的。这种震荡在TSMC你看不到这么大的震荡在其他领域比如ASML你也看不到价格上这么大的震荡他们是做设备的但生态里不同环节的震荡方式会不。一样取决于两点一是AI的终端需求有多少能传导到他们身上供应链的不同环节每花一美元在AI上可能只有一美分落到某个产品上但可能有五美分落。到另一个产品上所以在这个终端市场里内存跟其他东西的情况显然不一样所以基础设施供应链里不同终端市场受益程度不一样需求端是这样但除此之外。还得看市场本身的格局是垄断或寡头吗还是竞争非常激烈的大市场是定价比较稳定靠长期协议的那种还是更像大宗商品市场价格完全由供需决定所有这。些因素共同决定了某个终端市场会怎么走不管是内存还是现在大家开始讨论短缺的MLCC或者PCB钻头PCB铜箔各种五花八门的零部件你上网一。看到处都在说这个是下一个短缺那个是下一个短缺你会看到各种各样的说法但真正重要的是实际的需求传导有多少这个终端市场是在翻倍增长还是只涨。了50%还是翻了4倍基于市场结构价格又能涨多少这些才是真正决定基础设施供应链走向的东西如果用你这个框架来看感觉每年市场都会突然意识到。 [00:30:01]
强化学习与 Agent 工作流推高 CPU 需求
Chris Gannatti：你说的某一种潜在短缺今年早些时候OpenClaw在各大网站爆火让大家突然看到了AI Agent的世界和各种可能性用你刚才说的框架我很。想听听你对CPU市场的看法在AI头三年里我几乎没听人提过CPU这个词但今年CPU这个词到处都是对对CPU这边有意思的是我们在去年11月。
Dylan Patel：给客户的机构研究里就开始大量讨论这个话题了因为当时OpenAI和Anthropic已经开始跟AmazonGoogle Microso。ft这些公司谈交易要把他们数据中心里所有的CPU都租下来然后从去年年底到今年CPU需求一直在急剧攀升原因是什么我们先说原因以前主要靠。算力和网络但随着预训练转向强化学习聊天室的推理变成了Agentic的工作流CPU的需求一下子就上来了为什么预训练是把整个互联网的数据。集都喂给模型去训练而强化学习是模型自己生成一些合成数据或者生成一个推理链然后放到一个环境里去验证这个环境可能是跑代码的单元测试可能是。一个模拟网站的沙箱也可能是一个模拟工程系统或其他平台的沙箱比如网站购物网站之类的总之是你在互联网上会用到的某种东西也可能是编译代码这。些环境都需要大量的CPU而以前的预训链处理Token本身并不需要太多CPU需要CPU的是环境验证这一步好我生成了这些Token现在它。们有效吗把它们放到Python或CBN一期里会怎样或者放到一个网站里比如我想买个东西电商场景也好别的也好作为一个agent工作流我在。不停地测试这些东西这需要大量CPU反过来看现在做实时推理的时候如果是聊天就是我说一句他回一句结束我可能再多问几个问题但也就这样了但现。在我们说的是Agentic工作流模型在做工具调用模型会说好我去搜一下这个然后我去数据库里查一下这个我去问问Python解释器我写小段。代码来验证一下我的工作我写点代码编译一下然后部署出去这些Agentic流程最终会需要越来越多的CPU因为他们必须跟真实世界交互人跟模。型交互是一回事我告诉模型一件事模型给我一个回复我读了然后复制粘贴到别的地方去用但模型自己去跟互联网世界交互就是另一回事了在这个过程中。会有更多的计算在循环里更多的AI在循环里抱歉是更多的CPU在循环里来回传递答案所以不管是强化学习还是agentic工作流都需要大量C。PU那么现在实际发生了什么因为好我们需要大量CPU但先按我们之前的框架来评估一下对吧市场结构是什么样的好市场里有几家有Intel和A。MD现在ARM也推出了CPU所以ARM的股价涨疯了因为市场里来了一个看起来很有竞争力的新玩家然后还有Amazon他们是这个领域的领头。羊但Microsoft和Google也在发布自己内部研发的CPU接着NVIDIA也在发布自己的CPU所以市场里有很多不同的竞争者但说。实话直到两年前整个市场还都是Intel和AMD的天下现在Amazon已经拿下了不小的份额Nvidia和ARM也开始拿到更多份额但最终。市场端发生的是Intel其实能提价AMD其实也能提价所以他们两家都提了价他们的需求显然也大幅增长了Amazon则能从CPU上赚取惊人。的利润因为他们不是制造CPU来卖而是制造CPU来租所以他们的Graviton CPU租的特别火而且他们大幅增加了订单Nvidia以前。只把CPU和他们的GPU捆绑销售现在也开始单独卖CPU了就是Vera他们给出的指引是200亿美元CPU收入对Media来说这其实不算。什么也就是几个百分点不我开玩笑的我觉得当你去看其他公司比如IntelIMDARM Amazon。 [00:33:56]
Chris Gannatti：看谁能拿到IaaS收入而不只是销售收入这里面正在发生巨大的变化Dylan顺着这个话题关于CPU我听到的一些讨论是用于agent的CP。U在某些方面跟以前的CPU不太一样我记得听黄仁勋说过或暗示过Vera CPU的核心针对Agentic活动做了更多优化然后还有很多关于。GPU和CPU比例的讨论这显然也点明了CPU需求和用量的方向你能不能就这两个话题多给我们讲讲因为我觉得这个概念在宏观上大家很容易理解。但其中有些技术细节可能被忽略了我不确定这到底是营销话术还是确有其事说到agentic工作流CPU的使用方式差别很大有些agentic工作流是这样的模型在跑。 [00:34:45]
Dylan Patel：然后我把所有token的响应发给某个CPU工作流接着我就等着CPU去完成一些操作然后再把结果发回给模型模型继续工作问题在于第一跑模型。的计算资源在等CPU的时候会不会闲置有些情况下会有些不会在会闲置的情况下跑模型的计算资源就干等着CPU的响应这时候CPU的架构就需要。非常不一样基本概念就是你是想要更多核心还是想要更快的核心CPU架构里有个规律简单说就是如果你把CPU核心做的大一倍也就是芯片上的核心。数少一半你的单核性能并不会翻倍单核性能可能只提升50%当然这里面有很多工程细节这个取舍没那么简单但极度简化来看可以这么理解所以如果我。看NVIDIA的Vera CPU它的核心数不到100个但这些核心比AMD的核心更快AMD的旗舰CPU有256个核心所以核心数量差距很。大但NVIDIA的核心更快不过也没快到两倍对吧它没有比AMD的CPU核心快两倍所以大家在设计上就在做这种取舍有些工作负载里挨算力必须。停下来等CPU那你就得想管它呢就算核心数少一半每个核心只快50%整体CPU性能是变低了但单核性能更高这样我就不用老等着CPU核心了我。不需要那种超级并行的任务我要的是这个任务现在就给我跑完所以当AI算力在空转等待的时候我就想要最快的单核宁可牺牲多核性能这是一类age。ntic工作流另一类agentic工作流呢就是说我平时怎么用cloud还有我们团队怎么用cloud我们一年在cloud上花1100万。美元按IRS口径算那是什么情况我在调用cloudcloud在处理一堆token但它不是只服务我一个人它把几十万用户一起做P处理对吧所。有算力混在一起跑所以当它把响应返回给我等着我去执行的时候不管是等我这个人还是等某个CPU核心去执行这都没关系因为算力还在跑只是不在跑。我的任务在跑别人的所以如果CPU慢一点但数量多得多那就是另一种任务类型了还有一种情况是这是AI在主动使用还是说用的是AI生成出来的东。西你把AI生成的东西拿去部署有意思的是你看全球GitHub提交量跟去年比翻了好几倍不是那种GitHub总提交量涨了10%或50%是翻。了好几倍这意味着什么意味着全世界有大量代码在被生成出来而且很多代码真的被部署了当然很多代码是垃圾但确实有大量代码在部署部署之后这些代。码就跑在CPU上而且就是普通代码可能就是个网页爬虫可能是个分析引擎也可能是业务流程自动化这些不一定需要跑在超快的CPU核心上跑在性价。比高的核心上就行所以你看这个光谱NVIDIA造了性能最高的CPU核心但不一定适合所有场景反观AMD和Amazon它们的核心数多得多几。百个但单核性能更低这就形成了一个取舍ARM也在这个光谱上那你在光谱上选哪个位置有些工作负载确实需要Vera有些则需要Graviton。或者AMD的CPU我不会说这事很简单至于你提到的另一个问题比例问题CPU需求在上升这是无可争议的我们去年底在机构研究里最先提出这一点。今年1月又在newsletter里讲了自我们发布之后一些CPU股票暴涨ARM翻了好几倍Intel也翻了好几倍AMD暴涨这些股票都涨疯。了但现在卖方那边他们其实根本不懂技术就开始瞎编了把CPU对GPU的比例或者说CPU对AI算力的比例编得越来越离谱编到CPU比AI算力。还占优势的程度这是错的再强调一下你看一块Blackwell满血版Blackwell大概5万多美元一颗如果是1比1的比例CPU大概50。00美元一颗那算下来如果要卖3000亿或5000亿美元的Blackwell对应的CPU销售额也就300亿或500亿美元这也是大家开始。忽略的另一个点没错这个终端市场在暴涨但大部分钱还是流向了AI算力和内存这个市场之前被低估了现在定价更合理了我觉得大家需要认识到CPU。的需求不会一直涨涨到超过AI ASIC这更像是一次波正基本上23 24 25年这几年卖了几百万颗AI芯片但CPU卖的很少现在CPU需。求突然爆发本来比例不该这么低应该更高才对大家现在在补课所以我得买一堆CPU去补齐之前买的所有算力同时还要覆盖现在正在买的算力可一旦我。把之前买的那些AI芯片的CPU欠账补完了这部分需求就没了我已经把历史欠账补上了现在就只剩增量部分了你想假设一个比例比如1比2一颗CP。U配两颗GPU每颗GPU假设卖5万美元每颗CPU卖5000美元那每花10万美元买GPU才花5000美元买CPU这对CPU的增长来说市。场格局其实没那么好当然对CPU来说还是很好比以前强太多了但反过来看如果我过去三年卖了1000万颗GPU和AIEC它们基本都没配CPU。那这5000美元一块的CPU就有一个巨大的补涨空间我们现在经历的正是这种巨大的补涨同时配比也上移了再加上历史欠账在集中回补所以你看到。需求非常夸张但它会慢慢消化然后进入一个稳态我们正处在CPU的一个小周期里这个背景补充的太好了非常有帮助。 [00:40:11]
网络、铜与 CPO 的上量时间
Chris Gannatti：那我们接下来聊聊网络往技术战的另一块走我觉得这块引起了很多投资者的关注尤其是他们深入研究光通信供应链和一些瓶颈之后我们看到一些估计说。供封装光学可能讨论的很多但真正部署大概要到2028左右或者20272028年你怎么看这个就是大家常说的能用铜的地方用铜必须用光的地方。用光这种从光到铜的过渡而且黄仁勋在Computex上也讲了很多其他很多讨论也把像Marvell这样的公司推到了聚光灯下关于光通信以及。未来两年数据中心在网络架构方面会怎么演变你还有什么补充的想法吗我觉得趋势挺明显的随着模型越来越大我们怎么跨模型运行。 [00:41:02]
Dylan Patel：怎么训练模型光通信站里有很多不同的领域比如电信光通信像Ciena这样的公司长得很猛他们周围的很多供应链公司也是再看数据通信芯片到芯片。的互联这里面有铜的领域现在也有光的领域这些都在暴涨因为网络内容的增速比其他任何部分都快按百分比算网络在AI芯片相关支出里的占比会从不。到10%涨到10%以上等到了CPU时代网络占比还会更高能到20%30%所以网络内容会有一个巨大的提升但另一方面CPU对行业来说是一次。巨大的节约式变化现在大家都认识到CPU了但我觉得人们现在有点过于兴奋了目前大家对CPU有点太激动了在我看来它不会在27年到来真正大规。模上量做scale up供封装光学要到28年底29年才是真正的爬坡期这里面问题很多主要是制造问题如果今天就能以好的成本部署那太好了所。有人都会用但它真的很难制造产能不够良率不行芯片也还没真正为此设计好要把这东西做起来非常复杂非常难所以大家会尽可能长时间的留在同的方案。上这意味着Rubin全是同GPU上的Feynman也还是同Feynman是Rubin Ultra之后NVIDIA的下一代GPU而我们。连Rubin都还没开始发货所以Rubin才刚开始出货我们还有好几代芯片才会在GPU上看到共封装光学交换机上的共封装光学会来得早一些比。GPU或ASIC上的早但说到底就算没有CPU随着集群规模变大每颗GPU需要的光模块也会更多或者需要更多有源电缆之类的东西所以我们看到。的是一个很大的动态变化实际上我们周一刚在Seminal Analysis给机构研究订阅用户发了一份报告讲的是一个局部时机的问题不是说。整个终端市场显然技术上我们认同CPU一定会发生我们推这个观点也很久了我们也认同铜会逐渐被替代但在中期来看我们其实非常看好铜也非常看好。非CPU的光通信反而对CPU有点看空因为我们看到下游某些芯片的延迟比如Feynman不会全面采用CPU还有其他类似的情况像Anfin。o这种做背板连接器和线缆的铜连接公司未来几年的表现会远超之前的预期因为我们之前以为CPU会更快上量但现在它推迟了供应链里就是会发生这。种事但归根结底光通信这块如果你今天闭上眼睛五年后再睁开它的规模会大得多这里面有些已经反映在股价里了有些还没有我觉得存在一些局部错位但。这其实也是我们做研究以及和你们一起在做的工作的一部分怎么去给这些东西负权重对吧怎么去权衡哪些是利好CPU光通信的哪些是利好非CPU光。通信的对吧传统光模块和铜蓝之间怎么选因为铜蓝其实还有很长的路要走铜蓝行业正在发生很多创新再把CPU往后推对吧我为什么要用CPU因为归。根结底集成光学比用电传输贵太多了除非我用电传输时不加中继器或光模块就传不了多远所以这里存在一种权衡和连续谱CPU肯定会来但看起来时间。点要往后推一推了Dylan我们大概还有时间聊最后一个大话题。 [00:44:20]
Chris Gannatti：我们聊了模型GPUCPU内存网络如果不提一下每个数据中心里那头房间里的大象就有点说不过去了也就是电从哪里来以及怎么把电变成可用的形式。我知道你在newsletter里写过直流电和交流电这些内容理论上当你看到超大规模云厂商砸这么多钱建数据中心甚至可能把发电厂建在圆区里。走表后模式我们该怎么理解电力需求以及电网供电和非电网供电的区别我知道这个话题很大但我觉得不提一下实在说不过去对。
Dylan Patel：要我说数据中心的增长非常猛今年我们在部署20GW的数据中心明年这个数字会涨到50GW或者说涨50%抱歉是50%50GW30GW然后后。年会到50GW数据中心容量的增长是巨大的这里面有很多局部错位需要人们去处理要我说能源是最大的问题之一另一个是政治因素第三是建设本身建。数据中心拿许可做申报都挺难的政治上有人在试图阻止但归根结底最主要的制约因素还是能源那么现在是什么情况能源可以拆成几块来看对吧有发电也。就是我从哪里产生电子有输电也就是我怎么把电子从发电的地方送到数据中心然后是变电因为输过来的电其形态是芯片没法直接用的芯片需要用另一种。形态的电这个变电的流程是什么样的我觉得这三块里都有非常值得看好的方面输电这一侧是最难乐观的因为建更多输电容量在监管和政治上困难重重而。且地方公用事业垄断的运作方式也很麻烦他们建一条输电线路成本要摊销给所有用户而不是单个用户输电这块存在各种奇怪的错位所以建更多电网容量。在输电层面挺难的但发电和变电这两块很有意思发电方面显然电网上的发电量在增加同时还有一个大转变就是为数据中心就地发电我们预测过几年数据。中心新增电力里会有一半是就地发电而不是靠外部电网所以表后模式正在飙升我们从数据中心和能源模型里的表后追踪器也能看到这一点我提过我们团。队有位同事他在哈萨克斯坦建过发电厂现在负责我们的能源模型叫Ally它一直在追踪我们也在搭建整个电网的模型包括每一个发电资产每一个输电。资产所有负载资产以及所有表后项目有意思的是我们看到表后这块出现了巨大的繁荣在许可和监管方面也遇到了不少阻力比如有人不想批准空气排放许。可或者有人不允许把天然气管道修到厂区类似这样的事情我们在Oracle的一个数据中心项目上就看到过有很多不同层面的情况在发生但最终的结。果是表后模式正在飙升其中很大一部分是用天然气很多是G-Venova三菱或西门子的双联合循环燃气机组除此之外还有各种不同类型的能源对吧。有网附式发动机有工业燃气轮机有各种柴油机还有火车发动机有人拿火车发动机船用发动机卡车发动机把它们改造成数据中心的发电设备我们看到那里。正在涌现一大波创新不是说我们没有工业产能对吧美国每年能造几百万台工业用的网附式发动机就是那种烧油转动的机器把这些发动机从烧柴油改成烧。天然气技术上很简单就算继续烧柴油也没问题然后你给它接上一个电动机反过来驱动它就能发电了这样你就可以大规模的发电我们看到有超过十几瓦的。数据中心会用这类技术来建对吧把柴油卡车发动机改成烧天然气的这在生产环节就能做非常简单然后反过来驱动电动机把他们部署到数据中心现场一个。数据中心后面摆上几百台这种设备再从汽修店雇一批人因为这些设备需要维护对吧他们就整天围着这些柴油机转做保养你还需要一些缓冲这样当某台机。器停机时你可以去修好它让它继续运转保证最大功率输出当然中间还需要一些电池因为你不想让数据中心负载的波动把发动机搞坏所以这背后有一整条。表后发电的供应链这很令人兴奋但除此之外大概两年后太阳能加储能的成本会比天然气还低当然太阳能加储能的供应链现在还有难度而且这取决于你想。要多高的可靠性如果你的电池只够撑过一晚那成本更低但如果你需要电池能撑过三个晚上呢因为可能连下两天雨你想要几个九的可靠性但太阳能加储能。的成本正在以惊人的速度下降这得益于中国强大的制造能力还有一些补贴在某个时间点用太阳能加储能的方案会更便宜然后你还有太空数据中心对吧那。里连电池都不需要你把设备放到太空配上太阳能板就行了所以你有一整套连续的发电方案从把柴油机改成燃气机或者用联合循环机组一直到干脆把芯片。送到太空里去这是一整个连续的光谱这里面有很多钱可以赚有很多有意思的动态可以玩这也是为什么实际上Semi-Analysis最大的数据集。和研究板块你可能以为是半导体其实是数据中心和能源是数据中心工业和能源我们内部叫它DEI团队数据中心能源工业的缩写算是个文字梗内部标签。就是DEI团队Jeremy是那个团队的负责人这名字是他起的总之数据中心能源和工业这其实是我们最大的研究板块因为我们在追踪每一个数据中。心和每一座发电厂所以当我们发现某个延迟或者某件事正在发生或者某个公司下个季度会有多少数据中心上线这些是业内其他任何人都做不到的这也是。为什么这是我们最大的板块之一而且所有人都对这个感兴趣对吧Google想知道Meta能部署多少Meta想知道OpenAI能部署多少同时。所有这些公司都在盯着供应链的能力看谁手里有产能然后所有的投资者也在盯着所以这是我们最大的数据集但我想说这个市场非常分散对吧像存储就三。家主要厂商很简单像加速器也就那么几家像半导体晶圆制造设备也只有几家但在这个领域供应链里有几百家公司都在制造各种奇奇怪怪的小部件有几十。家公司在建数据中心这里面有几十家公司都在尝试各种方向有的是做独立发电商有的是做表后发电有的是提供某种电池服务各种玩法都有这条供应链非。常复杂但同时也充满活力说到底我觉得现在有大量创新在发生所以数据中心会继续是某种瓶颈但也不会一直是瓶颈就看你能疯到什么程度就像我刚才说。的你可以直接把卡车发动机拿来改装雇一群机械师就这么把场站跑起来这肯定不是最优解很多人会说这也太离谱了可靠性能行吗搞起来会很烦吧但确实。有人在这么做而且能跑通过程很折腾但能跑通一路到另一个极端把芯片射到太空去过程也很折腾实现起来非常难但也能跑通所以数据中心这个问题是有。解的不管你是走最脏的路子还是直接上太空而供应链的其他环节就没这么多解法了我觉得这就是这个市场如此有活力的原因你会看到很多人起起落落然。后我想还有另一块刚才说的是发电和输电侧但变电侧也很关键对吧你怎么把电从它产生的地方传输过来的形态变成芯片想要的那种电这里面也有一整条。供应链在运转涉及IGBT 碳化硅各种MOSFET 氮化针MOSFET各种名字都有比如我们从12伏转到54伏再转到800伏直流的时候变。电这条供应链会怎么变固态变压器在创新又会带来什么这个领域里所有这些事情都在同时发生还有UPS不间断电源电池备份超级电容以及其他各种用。来平滑电力的手段把左边那种脏的波动的电变成右边需要的超干净的电而且右边的用电本身也是波动的怎么去匹配整条变电pipeline非常非常。令人兴奋我们上周刚发了一篇关于800伏的播客最近也跟机构订阅客户聊到NVIDIA那边出现了一些延迟他们把800伏从Kyber里拿掉了。Rubin Ultra Kyber不再搭载800伏了这对供应链意味着什么就是整个时间线会往后推一点Dylan 我这边要好好谢谢你。 [00:52:58]
数据中心电力与供应链瓶颈
Chris Gannatti：如果按章节来算这是我们第一次请Dylan来上节目但肯定不会是最后一次因为信息量实在太大了而且就像他刚才反复说的整个技术战从上到下一切都在不断变化要跟上真的很难。 [00:53:11]
Dylan Patel：但正如他所说他们有90个人在做这件事我还想说一点这条供应链简直疯狂到离谱我们经常聊那些大块头内存 CPU 数据中心这些但当你真正往供。应链深处钻的时候会发现局部的小瓶颈非常多而且很分散比如有几个月我们一直在聊PCB钻头就是给PCB钻孔用的那种钻头还有PCB上用的铜箔。这种很偏门的东西供应链里全是这种不起眼的小环节而且都会出现供需错配做这些东西的公司遍布全球可能在台湾上市可能在日本上市可能在韩国上市。也可能在世界各地对投资者来说这些并不是那么容易接触到所以我觉得我们这次合作我们这种工作方式最让人兴奋的地方在于我们能对正在发生的事情。产生一些影响能大量讨论这些供应链的扰动而且在我刚才讲的那个框架。 [00:54:03]
Chris Gannatti：以及我们想要覆盖的整个版图里这些都非常有意思所以很期待以后多来上节目也期待我们其他的合作绝对最后我还得说一句这是给我们合规团队听的本。播客中表达的观点和意见来自WisdomTree且可能随时变化本播客中呈现的任何内容均不构成预测研究也不构成投资或税务建议本播客中的信。息和意见不构成对任何证券的推荐要约或买卖邀请听众依赖这些信息需自行承担风险请记住过往表现不代表未来结果感谢大家今天抽出时间我们期待未来再见保重。