目录
- 速度成为 AI 推理的核心战场 [00:00:00 - 00:10:00]
- 多种芯片并存才是健康生态 [00:10:00 - 00:20:00]
- AI 处理器与 CPU 的协同系统 [00:20:00 - 00:30:00]
- 从十年坚持到成功上市 [00:30:00 - 00:40:00]
- 推理速度与模型安全 [00:40:00 - 00:50:00]
- 大芯片进入真实业务 [00:50:00 - 00:56:31]
速度成为 AI 推理的核心战场
# #646.Cerebras CEO：CUDA绝非护城河
目录
- 速度成为 AI 推理的核心战场 [00:00:00 - 00:10:02]
速度成为 AI 推理的核心战场
Matt Turck：欢迎收听跨国串门计划,这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音,为您呈现全球顶尖的AI财经。健康与科技领域精品内容。我是主播伊凯,一位热衷于AI领域的产品经理,很荣幸能为您搭建这座跨越语言障碍的桥梁。接下来让我为您简单介绍，本期我们克隆的这档节目，本期我们克隆的是知名科技播客 The Mad Podcast with Matt Turks 在2026年7月的一期深度对谈，主持人是知名投资人Matt Turk 嘉宾是Cerebras的联合创始人兼CEO Andrew Feldman Cerebras造出了计算史上最大的芯片 并且刚刚完成了半导体行业，有史以来规模最大的IPO Andrew本人也是一位在芯片领域，摸爬滚打多年的连续创业者，这期节目没有停留在那些商业头条新闻上，而是从芯片最底层的原理聊起，深入探讨了为什么在AI进入大规模应用后，推理速度成了新的核心战场，以及GPU架构在快速推理上，为什么存在根本性的瓶颈 [00:00:54]
Andrew Feldman：那我们就一起来听听这期的完整对话，这是计算机行业历史上，造出来的最大芯片，它比GPU大58倍，对AI来说，芯片越大，处理信息就越快，你拿到答案的时间也就越短，做AI工作，大芯片毫无疑问是最佳路线，推理这件事没有护城河，在云端从GPU切到我们，只需要敲8下键盘，我们解决了一个计算史上，没人解决过的问题，在2020年就交付了，但没人在乎，没人在乎，没人买，也没人关心，所有人都说我们疯了，说这根本行不通，于是我们又造了下一代，大家好，我是Matt Turk [00:01:21]
Matt Turck：欢迎收听Matt Podcast 今天请到的嘉宾是 Andrew Feldman Cerebras的联合创始人兼CEO 他们造出了计算史上最大的芯片，而且刚刚完成了半导体行业，有史以来规模最大的IPO Andrew最近到处都在聊那些头条新闻，什么跟OpenAI超过200亿美元的合作 iPo之类的，但我们今天聊点不一样的，我们从什么是晶圆开始，一步步往上聊，为什么GPU做快速推理这么吃力，那三种没人提的短缺是什么，在没人想要这种芯片的十年里，它们是怎么熬过来的，还有为什么Andrew认为 CUDA对NVIDIA来说，已经不再是护城河了，如果你想真正搞懂当下的芯片格局，以及AI推理，在规层面到底是怎么运作的，这期节目就是为你准备的，请享受这场跟Andrew Feldman的精彩对话 我觉得一个有意思的切入点，是聊聊速度，速度是不是已经成了今天AI领域最核心的话题，对我觉得事情是这样的 [00:02:55]
Andrew Feldman：很长一段时间里，爱更像是个新鲜玩意儿，对吧，就像个客厅戏法，很酷，但没什么用，大概在2025年年中的时候，情况变了 AI变得足够聪明，人们开始真正用它了，要知道我们是通过训练来制造AI 但通过推理来使用它，突然间大家都想用了，一旦你想用它，一旦它变得有生产力，速度就重要了，对吧，生成token越快，生产力就越高，所以话题就从其他所有事情，转向了怎么让推理更快，怎么更快地吐出token [00:03:05]
Matt Turck：因为更快的token 就是更有生产力的token 我们能在更短时间里做更多事，它也就更有价值，对那速度到底指什么，是Token生成速度，还是任务完成时间，正确的衡量指标是什么，正确的指标是每秒每用户令牌数，就是从你收到第一个Token开始，一直到回答里最后一个Token的整个速度
Andrew Feldman：这不仅适用于聊天提问，也适用于Agent流程，对吧，如果是那种多轮循环的任务，等待时间会被放大，所以你真正需要的是快如闪电的响应 [00:04:09]
Matt Turck：让AI感觉像是在实时互动，你能跟它真正对话起来，所以这算是AI的宽带时刻，我觉得没错，这个类比很贴切，你想想Netflix 对吧
Andrew Feldman：以前网速慢的时候 Netflix是用信封寄DVD的，你会收到装在信封里的DVD 后来网速变快了，他们并没有在寄DVD这件事上变得更高效，而是直接变成了一家电影制片厂，对吧，速度让他们变成了完全不同的东西，速度在普遍意义上就是这样，对AI尤其如此，它打开了一个全新的领域，让你能用完全不同的方式使用AI 你会用的更久，来的更频繁，也会去解决更难的问题，对
Matt Turck：所以这本质上是个用户体验问题，对吧，就是没人愿意等那几秒钟，没错，慢速搜索的市场有多大，拨号上网的市场有多大，答案是0 你会等一个网页加载多久，你会等8秒吗，没人会等，完全一样，对，所以再也不会有人开着笔记本电脑，干等着agent跑完了，没错，看着他跑啊跑啊跑，我觉得那不是人们想要的，好，很好，我想聊聊当下芯片行业的格局，帮大家理清思路，也看看你们处在什么位置，以前基本上是一个芯片包打天下的概念，现在显然正在发生巨变，有你们，有Grak 有GPU 有人用Tranium 有人用GPU 帮我们对比一下，谁做什么，用在什么地方 [00:05:11]
Andrew Feldman：我觉得以前确实是一个芯片包打天下，那就是CPU 对吧，后来出现了斜处理器，用来做独立显卡，随着AI工作负载变得有意思起来，我们就把芯片越来越聚焦到这种特定的工作负载上，今天有几家公司在做传统GPU NVIDIA和AMD做的是非常标准的GPU 还有一批公司，那些超大规模云厂商会自己做一些部件，比如TPU TPU是Google的 TPU是Google的 Trainium是AWS的，然后还有像Cerebrus 这样的一批公司，我们是先驱之一，从零开始设计芯片，只为AI优化，不做别的，我们不在超大规模云厂商内部 也不是为某一家云厂商的问题，或某一个实验室的问题，做优化，我们是在为一系列AI问题，造芯片 [00:06:55]
Matt Turck：所有思考都围绕着，怎么加速AI 这大概就是延续到今天的格局，对还有更专用的，对吧，比如边缘计算专门为Transformer开发的那些也叫ASIC [00:07:03]
Andrew Feldman：你能解释一下这个词是什么意思吗 ASIC就是专用集成电路这个词，现在的含义范围很广，它意味着你做了一系列选择，从通用走向了更窄的一类问题求解，你在架构上做了一些取舍，让它在某些事情上强得多，但在另一些事情上弱得多，对吧，这是整个行业里大家都会做的选择，比如TPU就做了这类选择，它不能处理图形，非常擅长矩阵乘法，但在数学里，其他很多运算上就不太擅长 GPU也一样，我们都做了不同的取舍，现在正在量产的有NVIDIA和AMD 还有一批比如Google的TPU Adops的Training 马上要出来的有Maya 这是微软的芯片，还有我们Cerebras
Matt Turck：另外还有一个Grak 被NVIDIA收购了，对说到通用芯片和专用芯片，有件挺有意思的事，你们和你们的CTO在Grak被收购时，还庆祝了一下，那是怎么回事，是不是意味着NVIDIA终于承认，你们一直以来的路线是对的，对我觉得NVIDIA最持久的护城河之一，就是让大家觉得GPU什么都能干，做AIO它就够了 [00:08:07]
Andrew Feldman：但他们花200亿美元收购Grak 以及他们做这个决定的结构和速度，让所有人都看清了，事实并非如此 GPU架构做不了快速推理，而这个市场很大，增长也很快，而我们当时是这里面最快，规模也最大的，我们的销售额是Gras的10倍以上，他们花了200亿美元，买了行业第二，所以那天是个好日子
Matt Turck：确实是个好日子，那最近OpenAI和Broadcom 宣布的Halloween芯片OpenAI 也是你们的大客户，这在这个格局里算什么，算那种高度专用的ASIC吗，对就像Grass
Andrew Feldman：因为它是用来做推理的，没错 Hallopinio这个芯片已经酝酿很久了，它和Broadcom的合作宣布，是在OpenAI跟我们达成交易之前，别忘了，我们签了一笔大单，这算是硅谷历史上最大的交易之一，金额超过200亿美元，我觉得他们对芯片的需求是个无底洞，而且OpenAI有一点，我认为是行业里做得最好的，就是他们敢于正视那条指数级增长曲线，不怕它预示着什么，别人可能得被迫去签一些很糟糕的合同来抢产能，而OpenAI预见到了这一点，他们提前签下了内存算力的大单，跟我们跟别人都签了，他们在理解指数曲线外推意味着什么，这件事上真的很有远见，而这条曲线就是AI的使用量 [00:09:11]
多种芯片并存才是健康生态
# #646.Cerebras CEO：CUDA绝非护城河
目录
- 多种芯片并存才是健康生态 [00:09:58 - 00:20:01]
多种芯片并存才是健康生态
Andrew Feldman：而这条曲线就是AI的使用量，对吧，它的增长速度简直不可思议，整个行业都在追着需求跑，通常情况是反过来的，往往是大家先把东西造出来，希望需求会来，但在我们这行，所有人都在追赶人们现在就想做的事，更别提未来可能想做的事了
Matt Turck：我们稍微展开聊聊这个话题太有意思了，先把GPU推理和ASIC这个话题聊完，从你的角度看，这种局面会是永久的吗，我们会一直处在这种多种芯片并存的 [00:10:22]
Andrew Feldman：环境里，对多种芯片并存的环境，才是一个健康的生态，对吧，我觉得没人会说，当年4816的环境是健康的，有20年时间，那里只有两个玩家，而且你注意到没有，当新的工作负载出现时，比如手机负载，它跟PC很像，但要求低功耗和电池驱动，结果那两家都输了 Intel份额是0 AMD份额也是0 而一家之前没人听过的公司，成了全球最大的计算设备销售商，就是ARM 健康的生态就是会有很多不同的方式去解决问题
Matt Turck：中国在这整个局面里是什么位置，比如华为在给深度球锁工芯片，一个全战式的中国AI工厂会不会崛起，这事是真的在发生还是被夸大了 [00:11:15]
Andrew Feldman：我不确定这种分化是真实存在的，我认为他们是产业上的对手，他们做了一些很有意思的投资，他们在电力和电网上的投资，而这恰恰是美国的一个真正弱点，你在法国有核电，结果证明这是相当便宜和清洁的电力，但在中国，他们对电网投入巨大，他们在芯片上是落后的，但他们的下一步策略是开源模型，他们做出了一些非常出色的模型，虽然不如GPT Anthropic 或Google的Gemini 但已经非常好了，我觉得他们没有美国那样的芯片限制
Matt Turck：但在其他领域有领先优势，特别是在电力方面，而这正是我们建数据中心最需要的东西，明白了，那中国在Cerberus的战略里是什么角色，我们不卖给他们，是出于地缘政治原因，商业原因，还是监管原因，有监管原因，也有一些地缘政治原因，好，那本地AI和本地芯片有机会吗 Nemedia之前宣布过，要给Windows电脑专门造芯片，这是用来做推理的吗，你们觉得这应不应该成为，多种芯片生态的一部分，对我觉得你看应用和云生态，是怎么发展起来的，就明白了 [00:12:05]
Andrew Feldman：能在手机或笔记本上做的事，当然应该在上面做，但手机和笔记本能拿到的，真实算力是有限的，因为它们基本都靠电池供电，所以你会想尽量在离数据，最近的地方多做一些事，但现实是，大多数情况下真要上重算力,你还是得去云端,去数据中心。AI也完全会是这条路,我们会在手机和笔记本上做很多工作, 但真正的大伙还是得去数据中心,这也是我们的重点。我们的重点就是数据中心,算力免费。
Matt Turck：很好,你刚才提到需求有多强,尤其是生产环境的需求, 那我得问一个绕不开的问题，关于市场均衡，到底有没有泡沫，我们最近都看到了 6月初市场闪崩了一下 1.5万亿美元市值蒸发 NVIDIA我记得那天跌掉了3000亿，当然48小时内就修复了，所以市场对这个概念，似乎非常敏感，也许说的好听点，这基本就是你刚才说的意思，听起来你相当坚定的站在另一边，好，知道这个就好，我觉得如果你花大量时间，盯着公开市场 [00:13:21]
Andrew Feldman：天天看涨跌，那你看错地方了，公开市场投资那些最厉害的思想家，他们传下来的智慧是，短期看公开市场是投票机，看谁最受欢迎，但长期看它是称重机，看谁创造了最多的价值，谁最有分量，所以我们作为一家上市公司能做的，就是不去看每天的波动，而是专注做好几件事，打造真正出色的技术，赢得新客户，让现有客户满意，确保他们买的更多，每周都比上周更好，所以我觉得 [00:14:01]
Matt Turck：每天的涨跌不在我们掌控之中，那只是投票而已，对，那也许让我来唱个反调，聊聊需求端，看起来大量需求来自那些大实验室，而他们本身是靠风险投资，私募股权对冲基金，或者不管你怎么叫，主权投资者来融资的，有没有一种担心，就是芯片需求来自这些实验室，而他们资金可能有点，人为撑起来的味道，再加上这里那里几圈交易，转来转去，你不觉得有一次脆弱吗，这跟我们实际看到的情况不太一样，显然我们从OpenAI那边，有巨大的需求
Andrew Feldman：但我们还有好几十个其他客户，也在试图下非常大的订单，从历史上看，泡沫是供给跑到了需求前面，对吧，就像90年代我们大建电信基础设施，光纤铺下去好几年后才用得上，结果过了6到8年，确实全用上了，但当时是一种只要你建，就会有人来用的心态，而AI现在不一样的地方在于，我们都在拼命追赶，我们在努力更快的建数据中心，在努力扩大供给，扩产能，去满足今天，已经存在的需求，而且现在全世界，只有很小一部分人在用 AI离发挥它全部潜力，还差得远，我们就已经有点，被算力压得喘不过气了，对内存的需求，也压得我们喘不过气，这是GPU 一个真正的软肋，但我们没有这个问题，整个生态里 [00:15:18]
Matt Turck：到处是瓶颈，这感觉不像泡沫，你们真的去核实过这一点吗，因为这太有意思了，对吧，瓶颈好像一直在转移，那大家听说的内存短缺，现在到底是什么问题，目前有三个主要瓶颈 [00:16:12]
Andrew Feldman：第一个是所有GPU和除我们之外的，所有ASIC都用一种叫DRAM的内存，具体是一种叫HBM的品类，这种内存全球只有三家公司生产 SK 海力士 Samsung和美光就三家，而且他们全卖光了，这是头号问题，我们不用这种内存，卖光了的意思是，跟所有硬件问题一样
Matt Turck：要增加供给的唯一办法就是建新工厂，建更多工厂，所以GPU甚至现在连CPU都面临这个巨大的问题，你拿不到这种内存
Andrew Feldman：由于我们的架构选择，我们不用它，第二个瓶颈是台积电的一道工艺，叫COS 它用硅做基板 NVIDIA和AMD等公司就用这个当主板，把芯片和内存芯片放在上面，比传统主板效率更高，这道工艺也卖光了，严重受限，我们不用它，第三个限制是台积电的，三纳米工厂产能 [00:17:05]
Matt Turck：这是最先进的工厂，用最前沿的技术，我们的芯片是五纳米，所以我们不用三纳米技术，所以，这太有意思了，那我问个外行问题，这个三纳米工厂是什么意思
Andrew Feldman：是有一座工厂专门做这个，没错，他们建工厂，工厂在硅片上刻出晶体管，晶体管之间有一定的间距，间距越小，每平方毫米能放的晶体管就越多，每平方毫米能做的事也就越多，所以计算机行业造芯片的历史，就是不断把晶体管越做越密，越靠越近的过程，对，以前我们做到过16纳米间距，后来到10纳米 7纳米 5纳米 3纳米，现在已经在研发2纳米和1.8纳米了，目前GPU世界的主流还是3纳米，工厂那边拥堵的厉害
Matt Turck：工厂里用的设备完全不一样吧，对设备不一样，我们用的是5纳米工厂，这是我们这次转向的关键，对，你可以记一下，这是计算机行业历史上造出的最大芯片 [00:18:22]
Andrew Feldman：比GPU大58倍，内存带宽高出两三千倍，对 AI来说芯片越大，处理信息越快，你拿到答案的时间就越短，当然你不会想在笔记本
Matt Turck：手机或者其他很多设备里，塞一块更大的芯片，但做AI工作，大芯片绝对是最佳路线，好太有意思了，行我待会儿想深入聊聊这个，不过先把刚才的话题收个尾，你提到了三个瓶颈，对话里也几次说到CPU 好像CPU短缺也成了一个趋势，是这样吗，第一这是真的吗，第二是什么原因造成的，智能体AI的世界里
Andrew Feldman：AI不只是给你答案，它会主动发起行动，比如去访问一个网站，从网站上抓取数据带回来，再执行下一步操作，这些动作都是由CPU来完成的，随着AI越来越擅长做事，越来越擅长发出指令去调用各种操作，我们用的CPU就越来越多，这推高了CPU的消耗量，也拉动了CPU的需求，所以这股对CPU的巨大需求，正是由AI驱动的，在我们这样的机器和GPU上，跑智能体任务，然后让CPU去执行动作，去访问网站 [00:19:13]
Matt Turck：点个墨西哥卷，找一条信息，从存储里调出来，所有这些活儿都是CPU在干，包括在你们这样的系统里，对，就是这样的系统
AI 处理器与 CPU 的协同系统
# #646.Cerebras CEO：CUDA绝非护城河
目录
- AI 处理器与 CPU 的协同系统 [00:19:59 - 00:30:02]
AI 处理器与 CPU 的协同系统
Matt Turck：就是这样的系统，有意思，那这意味着什么，你们有自己的芯片，旁边还有CPU
Andrew Feldman：这些就组成一个系统，意味着在做AI 尤其是智能体AI的时候 AI处理器就像大脑 CPU就像身体，它们在数字世界里执行动作，在AI的指挥下干活 AI跑在加速器上，跑在服务器系统上，所以我们做的AI工作越多，智能体任务越多，对CPU的调用就越多 CPU的需求自然就爆了 [00:20:05]
Matt Turck：而CPU也面临同样的内存短缺，这些数据表明，它们面临的情况完全一样，没错，好我们待会再回到产品上，先聊聊你和你的经历，让大家有点背景，你刚刚完成了一场非常精彩的IPO 实际堪称完美，我知道这背后有点，所谓实际完美，其实就是先熬十年糟糕的实际，然后你就有了完美的数据，非常到位，你们从十多年前就开始做这个了，做大芯片聚焦推理 2016年 2016年现在回头看，当然完全说得通，毕竟这种技术需要这么长时间来打磨，但当时的愿景是什么 2016年我猜大概是ImageNet之后四年，深度学习已经是个热门话题了，那时候全是VN 全是，革命，所以我们不认为把最新最酷的模型
Andrew Feldman：直接嵌进电路里是对的，那是个错误，我们是世界上最快的Transformer处理器，而我们的架构在Transformer出现之前，就定下来了，对吧，在扩散模型出现之前，我们的架构，也已经是世界上，最快的扩散模型处理器了，你要做的是，抓住这些技术的底层基础，这样当市场转向时，你也能同样擅长，不然的话 [00:21:23]
Matt Turck：因为寿命会很短，回到刚才那个ASIC的问题，所以别人就是这么做的，他们把模型架构，直接做进芯片里，有些人是这样，有些人是从历史来看，这是个结构性的错误，是个结构性的错误，所以你们是在用，那个Brony Horizontal平台，跑各种模型，你得去想，底层的计算到底是什么，所有这些工作的底层计算，都是稀疏线性代数，对，只要你能加速这个，那不管模型开发者发明出什么，你都能让它跑得更快，这就是我们的思路，对你们是2016年起步的，之前你有一家公司卖给了AMD 从那段经历里，你学到了哪些东西，带到了Cerebrus 我觉得教训很多，也很深刻，怎么说呢，经验大概就是犯过错误，然后从中学习的另一个名字，对吧
Andrew Feldman：我们团队在过去25年里，造过几十款芯片，在芯片制造这个领域，经验的回报是巨大的，我们在C Micro 造过一种不一样的计算机，那种计算机，针对低功耗做了优化，针对的工作负载，也和AI完全不同，比如网页浏览之类的，但最根本的东西，你作为计算机架构师，要问的那些问题，始终是一样的，我能做什么，让这东西跑得更快，这东西的量够不够大，值不值得去做，这就是我们问的两个问题，我们该为它专门做一个部件吗，我们该吗，我们能做些什么，来造一款专门为AI优化的芯片 I的量会不会大到，能撑起一门生意，这些就是我们2016年问自己的问题，而事情的另一面，是GPU这东西 为图形处理优化了20年，一直在往显示器上推像素，它突然就能在一个新世界里大放异彩，这难道不奇怪吗，这难道不是纯属巧合，我们后来相信 GPU并不是适合AI的架构，它只是比CPU强而已，而我们能造出一种架构，速度会快得多，功耗更低，还能把成本打下来，这是你们的旅程 [00:23:37]
Matt Turck：所以Cerebrus起步非常早，然后我们就在沙漠里待了很久，在沙漠里游荡了很久，对能不能带我们稍微回顾一下，那几年你知道，很多创始人，尤其是Nantipia C的创始人，会听这期节目，所以首先问题出在哪儿，是市场推广的问题，还是技术本身不行，然后你们团队是怎么应对的，你要稳住团队，稳住投资人，还要继续融资 [00:24:03]
Andrew Feldman：而当时你大概还没有拿到你想要的，能证明自己的数据，一开始我们很坦诚的跟风头说，我们要去攻克一个非常难的问题，我们不想做那种，只比GPU好一点点的东西，我们的想法，我们的策略是，你永远不可能靠好一点点，去打败NVIDIA这样伟大的公司，他们会用更低的价格买下一切，他们能施加定价压力，他们还能捆绑销售，正确的策略是去做工程上极其困难，但性能要好得多的东西，好上10倍 15倍 20倍 30倍 50倍，但要做到这一点，所有常规的显而易见的路径都走不通了，别人都已经试过了，所以我们观察到推理速度的关键在于内存，而内存有两种，一种是DRAM也就是HBM 它能存很多东西，但还有另一种内存叫SRAM 它快得不可思议，但单位面积能存的东西很少，在图形领域，大家一直都用DROM 用HBM 而AI的工作负载是完全不同的，做图形处理时，你把数据搬到GPU上，然后花很长时间处理，最后把结果送出去，所以数据搬运加计算的总时间里，计算占大头，但在AI推理里，情况正好相反，你要搬海量的数据，把所有模型权重从内存搬到计算单元，只做一次计算生成下一个词，然后马上要再来一遍，所以所有时间都花在数据搬运上了，这就是为什么GPU很难快起来，所以我们发现，如果选择用SRAM的策略，我们就能更快，但接下来我们必须克服SRAM的缺点 它存不了太多东西，这就把我们引向了解决方案，如果我们能造出一个，比历史上任何芯片都大得多的部件，对吧，像餐盘那么大，我们就能把它塞满SRAM 这样既能得到SRAM速度快的优势，又能克服它存不了太多东西的弱点，这就把我们引向了晶圆级这个策略 [00:26:17]
Matt Turck：这块芯片是用一整片晶圆做的，从台积电出来就是一片，你给定义一下什么是晶圆，晶圆，所有芯片都是从晶圆上切下来的
Andrew Feldman：晶圆是一块圆形的硅片，直径300毫米，芯片制造的过程，就像你妈妈用饼干模具一样，把芯片一个个压出来，在我们之前史上最大的芯片是800平方毫米，准确说是840平方毫米，而我们是46000平方毫米，所以我们必须发明各种新技术，才能造出这么大的芯片，而且一旦造出来，你还得发明给它供电，散热的方法，没有现成的供应商等着你，对，对吧，因为你做出来的东西，跟以往任何东西都不一样，这花了好几年时间，这是个深科技难题，以前从来没人解决过，我们有过一段18个月的时期，每个月烧掉800万美元，却造不出来
Matt Turck：所以如果你也是深科技创始人，一个月800万，是啊，为什么花这么多钱，是什么原因，能帮我们理解这类公司吗，因为大家都觉得难的地方，我们很快就解决了 [00:27:40]
Andrew Feldman：而那些别人根本不知道的地方，因为他们从来没真正做过，结果才是真正的难关，我跟别人讲，想象一下第一支要去攀登珠峰的队伍，他们在大本营，跟一支刚失败的队伍一起喝茶，那支失败的队伍说，爬到一半有个地方难得不可思议，我们过不去，好你的队伍往上爬，一路登顶，然后回来，他们又在一起喝茶，登顶的队伍凑过去，跟没登顶的队伍说，中间那个地方，其实不是最难的，因为从来没人越过它，从来没人越过某些关卡，所以他们连该怕什么都不知道，我们现在知道了，那是一个叫封装的步骤，就是怎么把晶圆固定到主板上，怎么给它供电，怎么散热，以前从来没人做过，在那18个月里，我们从几乎零基础 做到了世界顶尖，我们靠的是一次又一次的尝试，用好的工程方法，对每一次失败都做时效分析，所以我们每次失败的方式都不一样，一次又一次，我们也跟董事会说了，我们花了六周跟董事会沟通，对，这就是我们的策略，从来没人做过，这就是我们要做的，我们得发明新材料，发明新技术，最后我们造出来的东西，别人合作伙伴也能做，但在2019年8月，我们宣布解决了这个难题，我和我的联合创始人，第一次成功的时候，他就放在一个小小的实验室里，我们简直不敢相信，我们是这棵树上，最早让它跑起来的几个人，我们就盯着它看，看服务器运行，跟看油漆变干一样无聊 [00:28:46]
Matt Turck：但我们五个人就站在那里，盯着这台机器，不敢相信它真的能工作，我们把它做成了，那个时刻跟后来敲钟相比，是更重大的时刻，还是完全不同的体验，从情感上来说，情感上完全是两回事，那是我们把自己的想法做成了，我觉得尤其是对深科技创始人来说 [00:29:35]
Andrew Feldman：你脑子里总有个小小的声音
从十年坚持到成功上市
# #646.Cerebras CEO：CUDA绝非护城河
目录
- 从十年坚持到成功上市 [00:29:59 - 00:40:00]
从十年坚持到成功上市
Andrew Feldman：你脑子里总有个小小的声音，这东西说不定是垃圾，没错说不定我们其实疯了，就是这样，说不定会失败，说不定根本行不通，说不定我没时间了，说不定钱要烧完了，各种说不定，而硬币的另一面是喜悦，这是我联合创始人的想法，他们的想法在世界上变成了现实，这是件非常了不起的事，当一个人的想法有了物理形态，就是这种感觉，再下一步，当你看到别人的工作建立在你的想法之上，那时候你就知道自己是真的热爱做基础设施，所以后来我们去敲钟，今年5月14号上市，是史上最大的半导体IPO 我们做了一件不太寻常的事，我们邀请了所有从一开始就跟着我们的工程师，所有在这九年里跟我们一起走过来的人 还有他们的家人，我们一起敲了钟，一起站上了舞台，那是一种不一样的骄傲，我们是一起做成这件事的，而且我们居然没死掉，创业公司就是这样乱七八糟的，对吧，别人不会跟你说这些，但我们躲过了很多坑犯过很多错，但躲过了那些致命的，一路走到了一个成功的阶段，让我们有机会去追求，下一个层次的成功，对吧 iPo就是这样，它不是终点，而是你到了一个平台，可以在公开市场去追逐新的成功，我得承认 [00:30:54]
Matt Turck：那感觉确实挺好的，太棒了，太棒了，谢谢你分享这些，那我们再稍微深入聊聊，产品和技术方面的事，造更大的芯片，有一个大家可能会想到的取舍，就是故障模式，如果你在一个大晶圆上，有很多小芯片，大概可以把问题隔离开，但如果你只有一整块大的，那所有东西就会同时失效，你刚才很仔细地问到了故障模式，我们发明了一种技术 [00:31:29]
Andrew Feldman：芯片上有大约100万个，完全相同的小单元，如果其中一个坏了，我们可以把它关掉，然后用一个冗余的单元顶上，继续运行，所以如果你想做这么大的芯片，就必须在计算机的架构层面想清楚，怎么处理故障 GPU的故障率其实非常高，你们肯定聊过这个早期失效的比例，大的惊人，他们会一直出问题，有很扎实的数据 Facebook发过一篇论文，讲的就是大型机群里会碰到多少故障，而我们还能做一些别的事，因为我们把所有算力都集中在一个地方，就可以投入更多资源去散热，所以我们在AI系统里率先搞了水冷散热，让芯片运行温度比GPU低得多，电子设备的故障模式，核心就是运行温度更低，我们就更可靠 这是一个优势，但话说回来，我们得自己发明散热技术，毕竟芯片有这么大，所以我觉得我们有一种系统思维，你要做一件大事，就得做取舍，必须想出一套架构，能支持冗余和修复，得把架构每个方面的利弊都考虑清楚，这样才能做出不一样的新东西，我想再强调一下 [00:32:50]
Matt Turck：确保大家听完这期节目，能有一个清晰的收获，你能不能给我解释一下，不用把我当五岁小孩就当十五岁吧，为什么这比GPU快，根本原因是什么 GPU在什么情况下又特别快 [00:33:12]
Andrew Feldman：推理时生成token的方式，就是它更快的原因，在推理过程中，要生成一个词，我们的回答就是，一整串词可能是代码，也可能是像素
Matt Turck：但我们就叫它词吧，模型的权重会从内存，搬到计算单元，进行一次计算，然后生成那个词，这是指预填充和解码，这两个阶段吗，这两个阶段都包括，好你要不要解释一下，什么是预填充，什么是解码，好推理所需的计算，有两个步骤，比如你在ChatGPT里输入，请解释一下
Andrew Feldman：这个村子在二战前的历史模型，看到你的问题后会发生两件事，第一步处理你的提示词，这是第一步，第二步生成你的回答，生成回答的方式就叫解码，解码是顺序执行的，而处理你的提示词，我们叫预填充是可以并行处理的，可以同时处理很多个，但你拿到回答的速度取决于解码的速度，解码是一步一步按顺序来的，这一点没法改变，具体每一步怎么做呢，就是把权重，也就是模型的智能，从内存搬到计算单元，来生成一个词，你进行一次计算，得到一个词，然后这个词又被用来生成下一个词，这时权重又得从内存搬过去，所以这个过程，就是不断把权重从内存搬到计算单元，那权重有多大呢 拿一个小模型来说，比如一个700亿参数的模型，它的权重大概相当于 100部高清电影的大小，也就是说为了生成一个词，你得把100部高清电影，从内存搬到计算单元，然后生成下一个词，又得再搬一次，而你想得到一个好的回答，大概要生成1000个词，这个过程就得重复1000次 HBM慢就慢在这个环节，恰恰是这个环节，而正是这个环节，因为我们把所有权重都放在SRAM里，所以速度极快，在这里 [00:34:56]
Matt Turck：把权重搬到计算单元的速度，大概要快2500倍，比用HBM的GPU快2500倍，对，这就是我们能做到这件事的核心，也是它快这么多的原因，太有意思了，你觉得在这个高速AI的世界里，模型本身是不是也需要大幅进化，还是说这只是个，这是个问题，不我不这么认为 [00:35:31]
Andrew Feldman：因为要记住，有两件事在同时发生，第一，我们希望模型变得更聪明，第二，让模型变聪明的方法之一，就是强化学习，而强化学习是在训练过程中使用推理的，所以你在训练中做推理的速度越快，你的训练速度就越快
Matt Turck：这对你们来说是一个市场吗，对，这也是我们的一个市场，所以你们不只是做，事实上我们既做强化学习，也做传统的训练，不是为最大的模型，最大的实验室服务，而是面向下一个梯队，做预训练，纯粹的预训练，预训练微调，全套都做，所以在某些方面，预训练和后训练，也就是强化学习，还有一些给其他实验室做的预训练，在什么工作上，用你们还是不如用别的方案好 GPU在训练上有些挑战，只有很小一部分社区解决了 GPU是一块很小的芯片，而训练需要的计算量非常大 [00:36:20]
Andrew Feldman：训练里最复杂的部分之一，就是把计算拆开，分散到多个GPU上，这叫分布式计算，这以前一直是超算领域的事，非常难，不光是因为把问题拆开，让很多人一起做，本身就很难，更关键的是，他们得不停的共享信息，而共享信息这件事，就是他们当初要收购Malenix的原因，他们需要掌控一个互联结构，让所有信息在上面共享，才能得出结果，把一个大的矩阵乘法，一个大的计算拆开，叫张量模型并行，你把张量拆开，分散出去，全世界最顶尖的实验室擅长这个，但其他人都不行，我们做训练的时候，不需要这样跑，我们跑的叫模型数据并行，数据并行非常简单，所以能让那些很优秀的团队，快速测试训练想法 我们因此更好用，也更快，因为我们让他们能用一种，简单的多的方法，我们来聊聊agent的世界 [00:37:53]
Matt Turck：也许先从推理开始，我记得看过一篇博客，你们很明确的说过，推理并不总是所有问题的正确解法，你怎么看这个，它在这个格局里处在什么位置，推理是一种技术 [00:38:02]
Andrew Feldman：有点像你上八年级的时候，写论文要打好几版草稿，单次生成，就是你写一个查询，得到一个答案，理解推理最简单的方式就是，你要打好几版草稿，它会拆解问题，分布解决，再把各部分合起来，检查结果，改进结果，最后给你一个答案，所以这会消耗更多算力，如果你的计算机很慢，那就不只是烦人了，速度可能会慢到没法用，现在最好的模型，不管是国内的还是中国的，不管是OpenAI, Anthropic还是Gemini 还是任何一个中国模型，全都转向了推理这条路，但这意味着推理阶段要用更多算力，这对我们是巨大的优势，因为我们快GPU的慢会被叠加放大，而我们的速度优势会变得更大
Matt Turck：所以这对我们来说是天大的利好，我们认为这会是这些模型，目前运行方式的一个根本特征，会一直持续下去，你还写过关于验证的内容，以及A证的瓶颈，到底是推理不够好，不够聪明，还是验证本身有问题，对我觉得验证问题，有点像护栏问题，你写完两三个答案草稿之后，会想确认它没有出错，这就是验证步骤 [00:39:09]
Andrew Feldman：你可以用另一个模型来做，也可以用不同的方式，像现有模型问一个类似的问题，这些都是对结果，做压力测试的方法，护栏也可以用同样的方式运作，你要审查，不管是用模型还是用其他技术，通过评分机制，确保这个问题没有越界，这个答案不是在教人制造生物武器
推理速度与模型安全
# #646.Cerebras CEO：CUDA绝非护城河
目录
- 推理速度与模型安全 [00:39:56 - 00:50:00]
推理速度与模型安全
Andrew Feldman：这个答案不是在教人制造生物武器，或者调用了需要上报FBI的信息，所有这些都要消耗计算时间，所以不管你是想通过推理来改进，还是在跑护栏，速度快就意味着，你能用更少的时间拿到结果，那你觉得世界在往哪个方向走
Matt Turck：是一堆更小的模型跑得更快，做更多验证，还是一个超大模型，我觉得这两者是协同工作的，大模型产出答案，然后你想再核实一下数据，在新闻行业 [00:40:17]
Andrew Feldman：以前写文章会有事实核查员，对吧，会有人去确认，回到那个还有记者核查数据的年代，就像事实核查员，那是一份工作，每一条说法都会被独立核实，这就是另一个模型，主模型写了文章，然后一个小模型去核查部分答案，我觉得这是一条非常好的路，多模态在你们的世界里，对更大的模型来说处在什么位置，我们刚宣布在Google的一个多模态模型上，我们是全球最快的，我觉得事实是几乎没有不带图表和图形的纯文本了，你要理解文本，就必须能理解插图图形图表，这是最基础也最容易的部分，然后你还得能同时生成这两者，再进一步要理解图像，我觉得新模型在这方面已经非常强了 显然接下来就是视频，因为视频就是一系列图像的集合 [00:41:23]
Matt Turck：但这目前需要极其庞大的算力，这也是为什么顶尖实验室，暂时把它搁在一边，计算密集到难以想象，好我们来聊聊Cerebrus的业务，你们显然是芯片制造商和供应商，同时也是云服务商，数据中心提供商，这几个部分是怎么划分的，我们做的是算力，这台计算机专门为AI优化，是全球最快的AI计算机，如果你有自己的数据中心
Andrew Feldman：我们会卖硬件给你，部署在你的数据中心里，如果你没有数据中心，想按月或按年租用，我们也有自己的数据中心，你可以通过我们的数据中心和云，来租用我们的设备，这样我们既能服务AI原生公司，也能覆盖大型企业和政府，那目前，一万，去年是五五开，上个季度大概是七三开，硬件销售占大头，今年可能会回到五五开，随着我们跟OpenAI的合作继续推进，可能会变成三七开，三成是本地部署硬件，七成是云服务
Matt Turck：好我们聊聊OpenAI这笔交易，毕竟这算是一个历史性的里程碑事件，它提供高达750兆瓦的电力，这个指标挺有意思的，因为你们是芯片供应商，但这里谈的是电力 [00:42:35]
Andrew Feldman：这是不是一种简化的说法，对是一种简化说法，目前的情况是，我们之前没聊到，这其实属于相邻供应链的问题，我们经历过内存短缺，也经历过COS封装工艺，和3纳米产能的短缺，现在行业里另一个限制因素，是数据中心的可用性，这对所有人来说都是瓶颈，这也是为什么Anthropic跟伊朗签了一笔很大很贵的交易，就是为了数据中心容量，我们跟OpenAI的合作也是因为数据中心容量是限制条件，数据中心的衡量标准就是兆瓦，这笔交易是760兆瓦 2026年先交付250兆瓦签的是多年租约 2027年再增加250兆瓦，也是多年租约
Matt Turck：2028年再增加一批，同样是多年租约，是你们帮他们建数据中心，还是你们提供芯片放进数据中心，我们帮他们建数据中心，我们提供的是完整的云解决方案，他们通过API连接我们就行，你刚才提到2026年是马上就能交付吗，我也想我现在就在找数据中心 [00:43:36]
Andrew Feldman：我下一个会就是跟数据中心供应商开，我们在欧洲有很多动作，尤其是在北欧，是因为那里离电力资源更近吗，对因为那里有低成本的电力，不是清洁能源 [00:44:00]
Matt Turck：就是低成本电力和低成本冷却液，在推理业务里数据中心的位置重要吗，重要，有一种额外的延迟叫传输延迟，就是从赫尔辛基到纽约
Andrew Feldman：光在光纤里跑的速度，如果你的客户在纽约数据中心，在赫尔辛基，你就得把这个算进去，通常传输速度大概是光速的三分之二，你肯定希望数据中心
Matt Turck：跟用户在同一个认知平台上，这是OpenAI的交易，你们跟AWS也有一笔很令人兴奋的合作，是一种联合芯片方案，没错，就是你之前提到的捷偶方案，用他们的Tranium芯片
Andrew Feldman：做预填充处理可并行化的步骤，所以是Tranium 对Tranium做预填充，我们的芯片做解码，这样你就能得到更多极快的Token 这对我们来说是比好生意
Matt Turck：也能缓解他们数据中心的压力，这些都是在AWS数据中心里的部署，对很有意思，聊这个行业就会发现灵活性太重要了，就像你说的，需要芯片就买芯片，需要数据中心就建数据中心，大家都在从不同供应商那里采购，来减少依赖，我觉得这也是我们从传统硬件供应商，转向同时提供数据中心服务的原因之一 [00:45:05]
Andrew Feldman：客户要的是快速的token 只要能让他们更容易获得快速token 我们什么都愿意做，对有些客户来说，是把设备放在他们自己的数据中心，对另一些客户来说，就是通过API直接把流量指向我们，我们再把快速token
Matt Turck：像消防水龙头一样喷回去，对我想了解一下你们的业务边界，从哪里开始到哪里为止，你们目前提供客户端版本吗，比如我想跑Kimi 我知道你们有Kiwi Gemma和Tospe 这些模型的惊人数据，我就不一一列举了，但你们不把这些作为服务来运营，还是说你们也做，我们做的，你们做，所以你们有一个服务
Andrew Feldman：是在跟BaseTents和Fireworks竞争，对我们有一个按需服务，你可以来我们网站预定一个月，我记得你甚至可以买Kimi或GLM 这类模型的Token包，很多客户先来这边试用，觉得不错，然后就转到我们的专属服务，租几百台机器，一租就是一年两年三年四年 [00:46:20]
Matt Turck：一旦他们在实际工作中验证了收益，通常他们会做A或B测试，不意外，大家都喜欢更快的速度，所以这更像是一个测试环境，这是一个完整的环境，你可以直接去用，就在cerebros.ai去玩玩看，有意思，但这可能又会变成，另一个大的认知领域，好那你们有芯片，有数据中心，还有跑推理的客户端业务，我们来聊聊护城河，大家都知道NVIDIA有CUDA 这是被广泛讨论的护城河，你们的对等物是什么，我不认为CUDA是护城河，这个我们可以展开聊聊
Andrew Feldman：好，我觉得两年前，每个最先进的模型，都是在库达流程里训练的，而现在 Gemini不用库达训练 Anthropic的Claude 不用库达训练 OpenEye用库达训练，所以在一两年时间里，他们在训练最先进模型这块，丢掉了70%的份额，因为Gemini是在TPU上训练的，效果非常好 Anthropic是在X-ray上训练的，不是HCL 所以护城河的故事还在，但数据清楚地表明，这条护城河在收窄，在推理领域根本没有护城河，从GPU切到我们，在云上只需要敲8个键，就8个键，就这样把你的流量从GPU API转到我们这边，所以CUDA在我们行业的创建过程中确实极其重要 它让图形处理器变得比图形处理器本身更通用，但从23、24、25年来看，它作为持久护城河的能力，已经大大折扣了 [00:48:17]
Matt Turck：你们有一整套生态策略，当你思考自己的护城河时，在这个行业里，如果有什么护城河能暂时稳住的话，你可以构建一整个生态，是这样吗，对
Andrew Feldman：我们建了一个生态，我觉得我们的护城河来自一个事实，凭借我们的架构，我们在做别人做不到的事，这不是说他们多花钱就能解决，也不是说他们用GPU多付钱就能做到，如果你想要快，用GPU就是做不到，我们试过，行不通，所以我们就在这个方向上，建立我们的优势
Matt Turck：这也是我们为客户创造价值的方式，我想聊聊供应链，我们提到过别人的供应链限制，你们的供应链限制是什么，你们是台积电的客户吗，我们是台积电的客户，我们合作非常紧密 [00:49:05]
Andrew Feldman：他们也是我们的投资方，一直是特别好的合作伙伴，我给你讲个不寻常的故事 2017年我们去了台积电，当时公司总共就30个人左右，我们8月份到的，台湾的夏天太可怕了，千万别8月去台湾，太折磨人了，不是说今天这里有多好，这边也才90度，你都不好意思说，对但那边湿度太高了，你还得穿西装，我们见了台积电的领导层，我们说，我们这家小布店公司，相信能解决一个，历史上没人解决过的问题，这是我们想对你们，芯片制造方式做的改动，来让这件事成为可能，他们想了想
大芯片进入真实业务
# #646.Cerebras CEO：CUDA绝非护城河
目录
- 大芯片进入真实业务 [00:49:59 - 00:56:31]
大芯片进入真实业务
Andrew Feldman：他们想了想，然后说我们同意一起干，就在那次会议上，就在那次会议上，就在那次会议上，不是让我们回去等一个月，就在会上，是他们早有准备，还是他们反应特别快，首先那位销售，已经把决策层都召集齐了，其次，我们的方案特别好，能让他们发挥自己的长处，也不需要他们做特别大的改动，但确实需要他们，做出实质性的改变，我觉得他们，看到了这件事足够大胆，在做这件事的过程中，他们自己也能学到东西，而且他们也清楚，在大芯片上表现更好，所以有准备的头脑，愿意承担一定风险，一家大公司做出大胆的思考，这些加在一起，太有意思了 真的很有意思 [00:50:53]
Matt Turck：大公司就是这么赢的，对吧，这种事有多罕见，简直非同寻常，那接下来发生了什么，像这种会议里做出的决定，到真正落地一般要多久，感觉快得有点不可思议，两年
Andrew Feldman：两年，芯片制造的过程要难得多，而且大多数时候，你的第一代芯片都不会成功，现在有很多创业公司，其中一些团队里有非常聪明的人，但他们的第一代芯片大概率不会拿到订单，谷歌的TPU他们网罗了业界最顶尖的一批人，第一代芯片没成，第二代第三代也没成，第四代才真正好用，现在他们已经出到第八代了，是一款非常出色的芯片 OAWS的Anaprinter团队，第一代芯片不错，第二第三代就非常好了，这需要时间，所以我们造了一款芯片，交付了，这其实也回到了，你之前问过的一个问题，我们解决了一个，计算史上没人解决过的难题，在2020年交付了，但根本没人在意，没人关心，没人买，也没人在乎 我们当时的反应就是，天哪，之前所有人都说我们疯了，说这绝对搞不成，现在它搞成了，结果根本没人想用，于是我们又造了下一代，第一代我们一年 [00:52:02]
Matt Turck：大概只卖了几台，没人想要，是因为市场还没准备好，还是因为产品本身不够好，没人想要，是因为那时候AI只是个爱好，就是这样，谁会在乎你的爱好，跑得特别快呢
Andrew Feldman：只有当它进入生产环境，当你每天都得用它的时候，你才会在乎快不快，所以我们又造了一代，那一代我们卖了大概三五百台，对
Matt Turck：然后我们造了第三代，卖了几万台，对太厉害了，是啊，是不是很有意思，那回到供应链的话题，你们需要考虑产地多元化吗
Andrew Feldman：很难摆脱对台积电的依赖，芯片太难做了，实际上你在设计芯片的时候，有一部分设计，就是针对那家工厂的规则来做的，所以你不能把给台积电的设计，直接拿到别家去用，因为你大量的工作，都是在确保你的设计，符合他们的规则，据我所知，历史上可能只有一两个例外，每一代芯片，通常都只在一家工厂生产，所以我们下一代芯片，也还是会和台积电合作，对，我觉得，某种程度上，我们的供应链有很多环节，但我们会把芯片，从台积电运回美国，我们在美国做封装，在美国做组装，我们的制造环节在美国完成，然后从美国发货，我觉得像我们这样，高速增长的时候，会遇到各种常见的供应链挑战 比如供应商搞砸了一批货，或者货物卡在海关，供应链上可能出问题的地方，多得难以置信，但我们每天都在处理这些问题 [00:53:42]
Matt Turck：而且我们的制造产能，正在指数级增长，所以这方面业务正在恢复，太不可思议了，最后我们稍微跳出来，看一个更大的问题，你对这一切的未来走向，最靠谱的猜测是什么，当然AI领域未来几年，谁也说不准，但就未来一两年来看呢，有些事我们是确定的，我们知道你今天正在用的模型，不管是GPT-5还是GPT-6
Andrew Feldman：都会是你用过的最差的模型，你现在觉得它多厉害，六个月后就会觉得它又无聊又落后，这太让人兴奋了，我观察我们年轻工程师，使用AI的方式，和我自己用的方式非常不一样，这是一个很有趣的阶段，你可以向团队里的年轻人学习，他们用AI的方式完全不同，我觉得做仪表盘这类业务，还有AI对SaaS的冲击，对大多数公司来说，这种破坏可能是无法修复的，你可以直接对你的AI说，帮我做一个像Salesforce一样的工具 30秒后你就有了一个能用的工具，这简直难以置信，以前那些因为要跨越公司内部组织壁垒，而变得很困难的事情，现在都变了 比如你想知道公司里表现最好的人，他们上一次拿到期权增发是什么时候，还有多少留人效力，剩下也就是按今天的股价算，他们还有多少没归属的股票，这以前要跨五个系统，你得去workday查，得去你的股票系统查，对，你得去你的车里，你在车里，这些他都做不到，而这正是CEO想要的，对，我那些核心人才的留存率，到底有多少，对，我以前还自己写过一些小工具，来算这个，天哪，我还弄了个小应用带着，还有Spark 对吧，你直接就能用，这故事太精彩了 [00:55:13]
Matt Turck：能听你聊这些，真的非常棒，真是一段了不起的旅程，未来也让人特别期待，非常感谢你，我学到了很多，这次访谈太棒了，谢谢你 Andrew 谢谢你邀请我上节目，真的很感激，大家好，我是Matt Turk 感谢收听本期Matt Podcast 如果你喜欢这期节目，还没订阅的话，希望你能考虑订阅一下，或者在你收看收听这期节目的平台上，给我们留个好评或评论，我们会非常感激，这对我们做好播客，请到厉害的嘉宾，真的很有帮助，谢谢，下期节目再见