目录
- 从推理市场谈到 Etched 的创业起点 [00:00:00 - 00:10:00]
- 低电压推理与内存瓶颈 [00:10:00 - 00:20:00]
- ChatGPT 前后的架构赌注 [00:20:00 - 00:30:00]
- 招募半导体老兵与团队协作 [00:30:00 - 00:40:00]
- 芯片验证、软件栈与研发节奏 [00:40:00 - 00:50:00]
- 从单芯片走向整机柜系统 [00:50:00 - 01:00:00]
- 客户合同、台积电合作与融资信任 [01:00:00 - 01:10:00]
- 产品迭代、组织文化与竞争边界 [01:10:00 - 01:20:00]
- 让推理成本下降的长期愿景 [01:20:00 - 01:22:34]
从推理市场谈到 Etched 的创业起点
一凯：欢迎收听跨国串门计划。这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI财经。健康与科技领域精品内容。我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁，接下来让我为您简单介绍本期我们克隆的这档节目，本期我们克隆的是知名商业与投资播客，Invest Like the Best，在2026年6月的一期深度对谈，主持人与嘉宾Gavin Guberty和Robert Watson坦诚交流，Gavin和Robert是AI芯片公司，Etched的联合创始人，两人从哈佛退学，在短短几年内筹集了8亿美元，试图打造比行业巨头，更高效的推理硬件，这一期他们主要围绕，创业历程 技术路线选择，以及如何构建一家，能持续产出顶尖产品的公司，这些话题展开，那我们就一起走进这期完整的对话。 [00:01:14]
Gavin Uberti：我们知道Inference会是全球最大的市场，谁产出的token最多，谁就会是全球最有价值的公司。
Robert Wachen：有人辞职了，对，真的有人直接说，这问题无解，然后。
Patrick O'Shaughnessy：祝你们好运。
Robert Wachen：你得脑子有点问题，才会加入我们公司，你得说服家人搬到圣河赛，加入一家半导体公司，老板是两个，现在24岁的年轻人，要跟全球最大的公司对着干，而且他们拿出的设计方案，不是说好个10%，而是要好10倍，我们需要1亿美元，才能干成这事，如果做成了，我们觉得这可能会是，有史以来。
Gavin Uberti：最重要的公司之一，你坐在那个时刻，心里想，天哪，我们根本付不起这个钱，然后我就开始看，回哈佛复学有多难，好了各位，Gavin，距离我们上次聊，大概有三年了，这太疯狂了，当时。 [00:02:02]
Patrick O'Shaughnessy：我只是被你们的故事，和你们要造的东西，深深吸引，那会儿我对Chip了解不多，我正在考虑投资你们公司，所以我给所有，我能想到的，能给我点意见的人，打了电话，当时基本上。
Gavin Uberti：共识是这类公司不是年轻人能建起来的，半导体行业最好的公司，都是由四五十岁的人创立的，他们有整个职业生涯的经验，踩过所有的坑，做过，流骗过很多chip，两个21岁的年轻人是不可能做成这件事的，就是行不通，这其实指向了一个主题，就是没人相信我们，现在情况显然变了很多，你只要在公司里走走，跟选择来这里工作的人聊聊就知道。
Patrick O'Shaughnessy：但在早期感觉这就是你们必须直面的事情，那是一种什么感觉，面对一群行业老牌巨头，整个行业的人，投资人，还有其他所有人，都不相信你们，这种经历在你们身上锻造出了什么，让你们用现在这种方式来建公司，它带来了什么影响。 [00:03:03]
Gavin Uberti：我觉得要认为自己能造出，比以往所有AIchip都更好的chip。
Robert Wachen：并且用比以往快得多的速度，建起一家公司来做这件事，是需要一定程度的天真的，我们就有这种天真，有很多次我们会说。
Patrick O'Shaughnessy：为什么这不可能。
Robert Wachen：然后真的去深挖，结果发现，所有人的答案都极度局限于，一套已经不再成立的约束条件里，现实是，整个半导体和数据中心行业，都建立在缓冲之上，我这么说是什么意思呢，就是技术站的每一层，从EDA工具到电源模块，到电路板，再到chip设计和标准单元，所有东西都是为通用目的而建的，不只是为了数据中心，还包括物联网边缘设备等等，当你有一个非常具体的用力，真正想为它做设计时，你就可以大幅改变这些约束条件，我举个非常简单的例子，不只是我们在这么做，你非常在意的一件事是chip的时钟速度，它跟系统的吞吐量成正比，当你为不同的时序做sign off，确定流片后chip实际能跑在什么时钟速度时，有一个叫工艺角的概念，也就是在什么温度下你能跑在这个时钟速度，很多EDA工具的默认配置，是假设你的chip会在零度以下的环境运行，我不知道你怎么想，但我从没见过哪个AI数据中心里面放冰块的，所以我们可以非常确定，我们的chip不需要在零摄氏度时全速运行，事实上，它们基本上永远不会在80摄氏度以下运行，仅仅知道这是一个无关紧要的约束条件，我们就能在整个系统里做出大量改动，这是个很简单的例子，但还有很多其他的，这里提升20%，那里提升50%，这里翻个两倍，这些叠加起来。 [00:04:48]
Gavin Uberti：就能形成一个在Inference上，好得多的系统，我觉得你会遇到两类人，一类人纯粹凭经验判断，觉得年轻创始人声称，能在性能上打败全球最大的公司，这不可能，你说什么都没用，但还有另一类人，他们当然也怀疑，但愿意花时间，下功夫去验证，发现这事其实可行，比如我们最早的支持者之一，Mark Ross，Mark是位很有声望的半导体专家，曾担任Cypress Semiconductor的CTO，那家公司以90亿美元出售，我们见他时，还只是几个窝在宿舍里的学生，我们跟他说，想不想一起做Inference硬件，我们觉得能比英伟达快很多，Mark的反应是，不行 这行不通，但如果想说服他，就写份白皮书，做个功能仿真出来给他看，于是熬了很多个长夜之后，我们回去找Mark，说这是仿真结果，你怎么看，他看了，说这能跑通，但要开这样一家公司，需要大笔资金，至少300万美元才能启动，后来我们融到了500万，之后又融了更多，他再次感到意外，但也更深入参与进来，先是当顾问，然后是兼职顾问，随着看到越来越多的开发进展，最终成了我们的全职CTO，我觉得总的来说，这种差距本身就是一道很强的筛选，有些人只想证明自己是对的，不管事实如何，另一些人则非常求真，会说行我怀疑，但我会亲自把数字过一遍。 [00:06:21]
Patrick O'Shaughnessy：如果我能搞清楚这为什么可行。
Gavin Uberti：那我们就动手做。
Patrick O'Shaughnessy：你们在具体技术路线上下的注，构建这套系统的方式，我非常感兴趣，因为现在有太多人在做这件事，想造出能在大规模inference上，表现更好的新chip，整个行业都在关注大家做新AIchip，是采用的不同研究方法和架构思路，我想请你们先讲讲，这东西是什么，能做什么，但也许更有意思，更重要的是，你们经历了怎样的过程，来决定压住哪些方向，发明哪些技术，以及这些选择，跟市场上其他玩家的做法，有什么一统，对。
Gavin Uberti：我觉得可以从产品说起，我们不只是造一颗chip，而是在做一套完整的inference解决方案，这意味着一个机柜，chip给chip供电的方式，承载chip的电路板，chip之间通信的interconnect，以及大规模量产这些机柜的能力，说到底，生产即产品，我们思考自己优势的来源，Inference有两个关键环节，Pre，Fill和Decode，我们针对这两个环节各有一套核心技术，Pre-Fill是读入大量文本，Decode则是利用这些数据生成输出Token，跑Pre-Fill的时候，你的主要任务不是预测token，文本你已经知道了，你的任务是把模型的记忆，也就是我们说的kvcache，调整到正确状态，然后用这个kvcache去跑decode，所以我们常做的是pd desegregation，也就是prefill和decode分离，用一组服务器集群跑prefill，然后把那些模型记忆，那些kvcache转移到decode集群，再用那个集群去生成后续的token，所以有点像装弹然后开火，用最简单的话来理解的话，对没错。 [00:08:07]
Robert Wachen：就是让模型记住该记的东西，然后用这些东西去执行任务，通常人们对这个市场的看法，有点偷懒，会问你是prefilled chip，还是decode chip，如果是decode chip，你是HBM chip，还是SRAM chip，是3D DRAM chip，用光学还是通懒，我们刚开始做这件事的时候，只想搞清楚。
Patrick O'Shaughnessy：为什么那些极其聪明的人。
Robert Wachen：会往这些不同方向走，我们认真研究过各种架构，比如用一堆DDR内存加共享内存池，或者用先进封装来突破shoreline的限制，我们也研究过能不能把内存带堆在计算带上面，在这个过程中，我们意识到天下没有免费的午餐，每个选择都有取舍，比如3D DRAM，有散热问题，供应链问题，要搞定hybrid bonding，还要搞定flops，这样一来你就成了decode chip，所以我们把prefill和decode两侧的方案都过了一遍，在这个过程中我们发现有几个设计空间，因为从未在AIchip上做过，所以几乎没人认真探索过，我们问自己，到底哪些指标才是真正最重要的，在prefill这边，关键是flops和flop密度，人们常把flops当成一个宣传数字来谈，但实际上，你应该关心的是跑真实负载时，实际拿到的flops，有个概念叫MFU，也就是模型flops，利用率意思是广告里标的，每单位峰值flops，你实际能用到几成，在GPU上根据负载不同，通常只能拿到20%到50%，而且可以证明你不可能跑到100%，因为有散热瓶颈，当你提高Flops利用率时，就会有更多晶体管在开关，功耗会上升，芯片会自我调节，实际上会降低时钟频率来防止过热，我们在研究Inference时就想，如果我们想要多得多的Flops，因为我们想跑高得多的吞吐量，那在考虑往芯片里加Flops之前。 [00:10:01]
低电压推理与内存瓶颈
Robert Wachen：那在考虑往芯片里加Flops之前，我们首先得解决散热问题，如果我只是往今天的GPU，或其他AIchip里加更多flaps，我其实拿不到更多性能，因为它会直接热降频，本质上这背后的核心概念，是登纳德缩放定律，也就是电压与功耗成二次方关系，所以如果我把电压翻倍，功耗会变成四倍，如果我把电压减半，功耗会降到四分之一，于是我们问自己，我们怎么能让运行电压比GPU更低，我们跟很多人聊过这个，我们退学后飞到硅谷，基本上问了几十位半导体行业的人，问遍了各种不同的chip公司，他们是怎么做的，我们得到的回答是，做不到，你没法在比GPU更低的电压下运行，这让我们非常不满意，因为有很多不同行业的chip，就是在比GPU更低的电压下运行的，你看，比特币矿机的运行电压不到GPU的四分之一，所以这在物理上显然是可行的，问题在于，GPU架构是否存在某些问题，导致它无法在这些电压下运行，我们花了很长时间研究这个问题，最终创造出了一种，在低得多的电压下运行的新机制，一种我们称之为，Low Voltage Inference的新型供电方式，而且我们认为，未来所有的AIchip，都会是低电压chip，它们必须在同样的硅面积里，塞进多得多的flops，并且在低得多的电压下运行，而不发生热降频，以上就是prefill的情况，对于deco来说，这完全是一场内存游戏，内存带宽越大。 [00:11:30]
Gavin Uberti：你加载模型就越快，加载KVCash就越快，每个用户每秒能服务的token就越多，我们认为人们在这里问错了，问题大家经常问，你的chip上有多少内存带宽，你应该问的是，你的整个scale up集群，有多少内存带宽，我们做到的是，在我们互联中加入了多的多，多的多的带宽，并且实现了低的多的chip，到chip延迟，这让我们能够以高的多的速度，去服务模型，因为你可以把整个scale UP集群的，SRAM和HBM当作一个统一的池来用，这是我们第二个关键的技术赌注，我们称之为cluster scale memory，而在今天的GPU上，集群内存带宽的利用率往往非常差，因为从一个GPU跳到另一个GPU的时间极长，举个例子，在Blackwell chip上，点对点可能需要大约4000纳秒，这意味着，如果你去搞一个八路张量并行的设置，你每个用户每秒Token数的提升，会远远远远低于8倍，我们做的是构建了，自己完全定制的互联协议站，我们把第二层以太网以上的，所有东西都拿掉，全部从头定制，这样我们也能实现，好得多好得多的延迟和带宽，我们可以把这个延迟，砍掉超过5倍，这让我们能更有效的，利用其他Chip的内存，随着你扩大世界规模，每个Token的耗时，就会成比例的下降，这其实并不奇怪，因为这些架构，都是在CHAT-CPT出现之前构建的。 [00:13:00]
Robert Wachen：所以如果我们想为现代工作负载，造一个chip，它看起来会非常不一样，我们组织flops的方式，我们划分电压域的方式，我们设计电源层的方式，都会看起来截然不同，我们做封装的方式会截然不同，我们做板机设计的方式也会不同，然后在decode这边，我们连接一切的方式也会非常不同，我们现在正在推出，第一代这种low voltage inference技术，它的运行电压不到其他任何AIchip的一半。
Gavin Uberti：如果你把视角拉到最远。
Patrick O'Shaughnessy：这件事为什么这么重要，比如为什么实现高得多的吞吐量，低得多的单token成本，更好的每瓦token数，所有这些大家会越来越多谈论的指标，为什么这么重要，每个人都知道，现在供给端是个大问题，把眼光放到十年这个尺度上，为什么这会是技术世界的瓶颈。
Robert Wachen：我觉得归根结底是生产力的问题，我们正处在文明史上一个极其有趣的时刻，真正的AI出现了，不是科幻小说那种，而是这些模型能解决，大多数人都解决不了的问题，它会带来新的科学发现，带来及时的医疗服务和及时教育，现在的问题就变成了，同一时间能让多少人用上它，同一时间能有多少产品，来提供这些服务，还有完成不同任务的速度，所以说到wall clock time，如果我们有一个agent，能在某个模型质量水平上运行，用Inference Time Compute，花一年时间解决某个任务，那如果你的Decode的速度能快很多，就能把时间压缩到一个月，这样一来科学创新的速度和技术的实际普及速度都会大大加快，第二部分是并发，今天让十亿人同时使用这些模型根本不可能，最终有些人的体验会被降级，有些人的模型会变慢，有些人干脆就访问不到硬件，几年后会有巨型模型服务数十亿用户，我们现在还处在AI的非常早期，付费用户在全球也就几百万，也就是说全球人口里只有千分之一的人，真正在用这些东西，所以如果你想服务超大规模，很多事情都会改变，其中一个就是芯片之间的通信数量，大家通常是在训练这个语境下考虑这个问题的，你有那些巨大的训练集群，比如Colossus，有超过十万个GPU全部联网在一起，而Inference这边，今天大家通常觉得它就是个8芯片集群，或者最多把NVL72当作scale up的范围，但很快，这就会变成几千个芯片，几万个芯片。在这种规模下要获得最高性能，数据从一个芯片传到另一个芯片的时间，这个基本操作的重要性远比现在大家认为的要大得多。所以当我们考虑为这种系统优化内存带宽时，你必须考虑这些芯片之间能多快的通信，因为如果他们只能跟自己快速通信，跟其他芯片通信很慢，那你就不可能真正以每秒一万两万个token的速度，去服务巨型模型，所以我们需要在整个技术战上，从电力从晶圆到瓦特从晶体管到token。 [00:16:07]
Gavin Uberti：都建立起好几个数量级的基础设施，才能真正把这些东西带给世界，而且我觉得，如果你看看其他大多数商品，比如iPhone，他们已经达到了那种规模经济，结果就是，花更多钱，也买不到更好的iPhone，不管你是亿万富翁，还是普通美国人，你买的都是同一款手机，但Token还不是这样，我们还处在非常早期的阶段，通用系统相对较小的那种，还在像文艺复兴时期，做螺丝钉那样，手工打造这些Token，我希望能生活在一个Token制造，也拥有像制造iPhone，汽车或其他任何东西那样的，规模经济的世界，我觉得这是让一大群人，都能用上最好质量模型的，一个巨大解锁，我认为规模经济，让资本主义变得非常公平，我觉得这能让你，把同样的产品，送到很多很多人手里，然后你就能在，单个scale up集群上，服务多得多的用户。
Robert Wachen：这也能让你在，token服务上更接近那个点，对，而且有些产品，如果太慢，根本就没法用，所以如果你想服务编程模型，并且希望人们真的去用它们，你就必须达到一定的每秒s token数，那么问题就是，在维持那个单token速度的前提下，我能同时服务多少用户，你基本上可以决定，要么把世界上的一大群人拒之门外，要么让每个人的体验都变差，所以从根本上说，你必须找到办法去推动这条曲线向外扩展。 [00:17:31]
Patrick O'Shaughnessy：这就是为什么对新硬件的需求如此迫切。
Robert Wachen：我想花点时间退后一步。
Patrick O'Shaughnessy：听听你们俩的故事，你们是怎么想到这个点子和创办这家公司的，然后再聊聊构建它的过程。
Gavin Uberti：因为我觉得通过这个过程。
Patrick O'Shaughnessy：我们就能理解你们为公司本身构建的这个系统，它将能够为后续几代像这样的产品提供动力。
Gavin Uberti：去迎接我们即将面对的那个疯狂的inference未来，要不从你开始吧，想从多早讲起都行，但我好奇的是，你的个人故事。 [00:18:04]
Patrick O'Shaughnessy：其实是我最早从你们俩那里听到的东西，那是很多年前了，当时真的让我很震撼，我最感兴趣的，最终还是你来做这件事的动机，对我来说。
Robert Wachen：得从高中说起，我人生中有些阶段特别倒霉，也有些阶段特别幸运，高中就是比较难熬的一段，高二快结束的时候，我在一场武术比赛里受了伤。
Patrick O'Shaughnessy：第二天不知道为什么就走不了路了。
Robert Wachen：我以为是底卡关节出了什么问题，我去做了理疗，做了各种扫描，医生都查不出原因，最后他们做核磁共振的时候，在我背上发现了一个大肿块，告诉我是肿瘤，古埃四期，当时说我存活率不到30%，接下来是两年疯狂的化疗，手术，重新学走路，经历过这种事，它会彻底改变你对人生体验的认知，让你看清什么才是真正重要的，你也会问自己，如果有机会活下去，你要做什么，要想撑过这种事，你心里得有个盼头，我一直知道，如果我能挺过来，一定要做一件影响力很大的事，我花了几年时间，才想清楚那到底是什么，与此同时，我上了大学，认识了一群做很酷技术的人，我对AI模型产生了极大的热情，尤其是GPT-3出来之后，我当时就想，哇 这是第一个能说人话的模型，这些东西会变得非常聪明，后来GPT-4出来的时候，有了GPT-4V，这是第一个能上传图片的模型，我就翻我的相册，找到了一张确诊前拍的，背上有种块的照片，我说 嘿 插GPT，假装你是个专家医生，有个病人来了，说他背上有这么个肿块，可能是什么，他立刻就说，这可能是肿瘤，你应该马上去做核磁共振，去看医生，我当时就愣在那了，这之前可是花了六个月才查出来，我花了六个月，而这个功能昨天还没有，今天就有了，我拿去给我爸妈看，然后收到一条通知说，您今天的图片额度用完了。 [00:20:00]
ChatGPT 前后的架构赌注
Robert Wachen：您今天的图片额度用完了，需要升级专业版，我当时想，天哪，这东西会改变一切，而且很明显，我们根本没有足够的基础设施来支撑它，能真正加速把这项技术规模化，带给世界的事，其实没几件可做，做模型方面已经有太多聪明人了，晶圆厂那边好像又够不着，但硬件这块，看起来全是在ChatGPT出现之前设计的，每一块GPU，每一块TPU，每一块用来跑这些模型的AIchip，本质上都是在ChatGPT之前造的，只是后来被改装来跑现在的模型，未来一定会出现一整波全新的架构，还有什么比把这东西带给所有人更让人兴奋的事呢，同一时间我还有一个完全不同的视角，我当时在运营一个叫Prod的创业孵化器，孵化了不少公司，最早的一批里有Cursor和Anisphere，后来合并了，还有Murker，Etched也是从这里出来的，还有其他几家，那时候是2022年，随着模型越来越聪明，我发现所有这些公司，都在把容来的钱全烧在算力上，我自己做项目的时候也意识到，天哪，我想做的所有产品，光Inference，一年就要花掉几千万美元，这根本撑不住，每家软件公司的成本结构都变了，每增加一个用户，COGS不再是零了，会变得很高，而且完全取决于Inference，以后每家公司的运营成本，也会是Inference，因为大家会越来越多的用Coding Agent，所以从根本上说，Inference会变得极其重要，感觉我们正走在一条十年的路上，Inference会变成世界上最大的市场，这么一想，十年后会有这些巨型项目，而数据中心里的一切，今天都还没被设计出来，我们应该挑一个方向扎进去做，大概就是这么开始的，Gavin，我很想听你再往前讲讲，大概高中早期。 [00:21:50]
Gavin Uberti：甚至更早，说说你时间线上那些最关键的节点，最终是怎么让你有雄心，从哈佛退学来创办这家公司的，我的第一份工作是在一家，叫Schnorr的公司做Curnels开发，那时候我17岁，17岁签不了有法律效率的合同，所以他们没让我签传统的保密协议，而是把我叫到一边坐下说。 [00:22:13]
Patrick O'Shaughnessy：Gavin 这些信息别往外说，Exnor是少数几家觉得。
Gavin Uberti：这笔交易划算的公司之一，我在那做Curnels开发，后来也在其他几家公司，做过类似的事，Exnor被Alphabet以2亿收购了，在Octo也做了同样的事，它们被英伟达以几亿美元收购了，但做这种Kernels开发，你会意识到数学部分其实相对简单，但要实现高速decode，真正重要的是数据搬运，你做的几乎所有工作都是在优化数据，怎么在单个chip内部或多个chip之间移动。
Patrick O'Shaughnessy：这就是为什么我们做了这个Cluster Gang Scale Memory技术。
Gavin Uberti：我们把那个延迟降得非常非常低，你可以做更多的数据搬运，结果就是生成每个后续token的速度快了很多，也就能做出Ralph说的那些疯狂的事，比如一个月干完一年的活，未来还能更多。 [00:23:03]
Patrick O'Shaughnessy：能聊聊你们高中参加并赢得的那些比赛里，那种很明显的竞争动力吗。
Gavin Uberti：我们参加过几个，比如我那时候在FTC机器人比赛里很活跃，而且我很幸运有个非常有天赋的搭档，Sanford，有很长一段时间，我们是在一个传统的校队里，大概20个人一起合作，就是那种典型的First Tech Challenge，目标是造一台能拿最高分的机器人，还有其他一堆要求，在First比赛里，他们很强调跟其他队伍合作，做好文档记录，还有去激励别人，也来做同样的事，但Sanford和我决定，不走这条路，我们就是要赢，除了造出得分最高的机器人，我们什么都不做，做一个两人的团队，两人团队，而不是二十人的团队，我们比比赛里几乎所有队伍都小得多，我们当时想，如果我们专攻一点，如果我们要去做这件事，把比赛赢下来，我们就不需要靠文档，质量或者外联来晋级，我们就是要赢，然后我们就这么做了，我们分出来，组了个两人的队伍，造了台机器人，并且决定每三个月，就重新设计一次，我们也确实这么干了，而且我们当时一度创下了，这项比赛的最高分世界纪录，在软件开发方面，我们的OPR排名是世界第三，那真是一台很棒的机器，从这段经历里，我能提炼出什么。 [00:24:22]
Patrick O'Shaughnessy：来类比你们现在创建。
Gavin Uberti：Edge的这家公司的方式，当你在思考，怎么去做这样一个，完整的机架级产品时，有几个关键的想法，其中之一就是速度，速度赢是靠交付产品，你不可能靠最好的外联，或最好的沟通去赢，赢是靠做出最好的产品。
Patrick O'Shaughnessy：你们选择了零沟通，没错，就像我才意识到，这跟机器人比赛，那会一模一样，在商业上赢，有很多种方式。
Gavin Uberti：但我们宁愿专注于，打造最好的产品，同样我们觉得，用更少的人也能做到，如果你愿意只专注于产品，产品 产品，并且不停的并行推进，你不需要像大公司那样，有两万人，用少得多的人，也能做出世界上最好的产品，有句话说，最好的零件就是没有零件，我觉得对我们来说。 [00:25:13]
Robert Wachen：最好的供应商就是没有供应商，我们想尽可能垂直整合整个产品，这既是为了获得更高的性能，也让我们能走得更快，所以从chip到电路板，到冷板，到互联，甚至到生产环节，我们都想尽可能在内部完成，我们实际上，我觉得我们是目前唯一一家，既自己造chip，又自己造整机架的创业公司，而且我们是同时推进所有这些事的，几年前，我们上一次公开露面的时候，那时我们刚开始组建机架团队，我们把Brian Loyler请了过来，英伟达所有的HGX和DGX系统都是他造的，那大概占他们80%的收入，我们说我们要同时造机架，实际上在CHIP回来之前，我们的机架就已经迭代了好几个版本，在CHIP回来之前，我们做了热测试CHIP，上面的热点分布跟我们预计的真CHIP一模一样，这样我们就可以造冷板，给他们加压直到爆掉来测试，我们的CHIP带着冷板回来之后，一次都没漏过，因为我们早就验证好了，没错，我们在台湾有个工厂，那边有几十个人，我们在办公室里复制了一堆测试站，我们这层楼有个两兆瓦的数据中心，我们搞的是24乘7的开发周期，大家分白班和夜班，就为了让硬件能尽快跑起来，就是这种极致的垂直整合，和极致的并行排期，才能让产品以快得多的速度推向市场，想想早期团队的搭建。 [00:26:38]
Patrick O'Shaughnessy：以及你们两个年轻人。
Robert Wachen：创办这家公司需要什么。
Gavin Uberti：外面有很多非常有才华的年轻创业者，可能很久以来第一次做这么大范围，这么大规模的事。
Patrick O'Shaughnessy：他们大概都能从你们的经验里学到东西，就是怎么让那些非常资深，有才华的人加入你们。
Gavin Uberti：哪怕他们已经在那些大公司里工作了很久，如果你把这当成一门课来教，比如当你年轻没经验又天真的时候。 [00:27:06]
Robert Wachen：怎么招到顶尖人才，教学大纲会什么，我们的人才理念挺两极化的，起点是我们所谓的传奇人物，当我们试图解决一个极其困难的技术问题，做一件没人做过的事时，我们需要找到全世界最顶尖的那个人，很多时候世界第一，世界第十和世界第一百的人，在能不能真正解决问题上，差距是巨大的，我们搞了一套叫基于项目的招聘的系统，我们把所有行业里所有人遇到过的，最难的技术问题全部列出来，看时间线，谁是从零到一的那个人，谁是名义上的负责人，谁又是真正干活的人，我们尽可能多的找人聊，然后持续跟踪，你会惊讶的发现，第一次聊完就说好的人其实很少，但聊到第二十次之后，说好的人多的惊人，你真的得持续跟进，当某个真正是世界顶尖的人，跟你说不的时候。
Gavin Uberti：那其实是在说，嘿 等你再拿下几个里程碑，再来找我，我觉得最有说服力的事，就是我们放出大胆的说法，然后一次又一次的兑现，这真的能激发信念。 [00:28:12]
Robert Wachen：当我们决定要做整机柜，而不只是芯片的时候，我们就在看历史上真正大规模出货的机柜级系统有多少，而且要达到我们要解决的那种功率密度，我们就说如果能挥一下魔杖，全世界最理想的人选长什么样，我们想的是如果能找到一个人，他在英伟达起步，一手搭建了整个机柜团队，经历过所有不同代际的产品，学到了各种东西，但依然很拼，依然懂创业公司文化，同时又见过大规模，那就是最完美的人选，于是我们把英伟达，内部所有跟机柜级产品，相关的团队全部列出来，找到了三个，我们觉得可能符合条件的人，我们跟他们都聊了，其中两个已经退休了，还有一个本来打算在英伟达，再做一代产品就退休，他叫Brian，后来我们说服他加入了，Brian在英伟达创立了，HGX和DGX团队，内部分业务，占了英伟达收入的大头，一个季度就是几百亿美元，另外那两位最后成了我们的投资人，顺便说一下，但当你拥有这样的人时，他就是知道好事什么样，因为他亲眼见过，我们跟Brian聊的时候，有太多次他指着我们说，这是我花了几十亿美元才学到的教训，几十亿美元的教训，这直接帮我们省掉了无数试错周期，你把Brian这样的人和Sanford这样的人搭配在一起。 [00:29:31]
Patrick O'Shaughnessy：你们给他们起名字了吗。
Robert Wachen：Brian是传奇人物，那Sanford算什么，对 我们的说法是，肩上有chip，才能把chip装进数据中心，Sanford和我在高中时，是世界机器人冠军，他当时正在读大四，几年前我们给他打电话说，嘿 你能来看看我们在做什么吗，我们在平台这边需要一些帮助，他来了一个星期，我们说 你能在这周内，把冷板做出来吗，你要是去问任何一个热工程师，他们都会觉得你太天真了。 [00:30:00]
招募半导体老兵与团队协作
Robert Wachen：他们都会觉得你太天真了，这些东西通常要几个月才能做出来，而且说实话 确实需要几个月，但如果你全身心投入，并且相信这件事是可能的，一周之内是可以取得实质性进展的，他真就在一周内搭出了一个装置，帮我排除了一个相当关键的，功率问题上的风险，你把这两种人放在一起，他们就能做出了不起的事，而且这两者缺一不可，你需要那些极度自屈。
Patrick O'Shaughnessy：不断追问为什么。
Robert Wachen：不知道哪里有坑，所以感冒巨大风险的人，也需要那些见过大规模，但依然保持着创业公司拼劲的人，来一路引导他们，这其实就是传奇人物。
Gavin Uberti：加上那种原生的，带点天真的，第一性原理师的人才，但关键不只是公司里，同时有这两种人，而是他们在真正一起协作，没错，如果看这个人才漏斗。
Patrick O'Shaughnessy：关于你们的招聘能力提升了多少，以及为什么这些指标在持续变好，还有什么有意思的可以分享吗，有一件挺让人意外的事，我倒希望自己是在刻意反其道而行，但这其实是一种自我筛选，就是说，如果你是那种偏机会主义的人。 [00:31:03]
Gavin Uberti：哪家公司热门就去哪家，而不是真正去做禁制调查，那你就不会来我们这工作，这也是我有点担心的一点，随着我们越来越多的公布产品和规格，如果我们不够小心。
Robert Wachen：可能会慢慢失去这种筛选效果，你得有点风才愿意加入我们公司，你想想看，你是个很厉害的工程师，收入不错，在别处拿的是流动性好，可预期的报酬，然后你说服家人搬到圣河塞，住进这个半导体公司的住房项目公寓，公司有两个现在才24岁的人管着，产品还没出来，要跟全球最大的公司竞争，处在史上供应最紧张的环境里，而且我们做的设计，不是号称好10%，是好10倍，愿意来的人肯定哪里不太正常，这里的人就是脑回路不一样，他们不是想证明不相信的人错了，而是想证明相信的人对了，他们把这事当成自己的事，找到这样的人真的很有意思，而且说实话，公司的这种特质本身，就很容易筛掉，不是这类的人，Rob，我们最早聊的时候，我问起Sohu。 [00:32:06]
Patrick O'Shaughnessy：就是你们第一款产品的名字。
Gavin Uberti：你说我们可以详细聊，但我首先要知道的是，我们真正专注的是，造一台机器，能规模化的，以最高质量水平，最高效的生产出这些东西，以及后续迭代，我们想打造的是这家公司，或者说公司本身就是那台，能持续产出这个产品，以及后续产品的机器，所以我想聊聊公司的几个原则或基石，你之前提到过一些，比如速度垂直整合，这些话题现在更热门了，并行化也许我们也该聊聊，但我特别感兴趣的是。
Patrick O'Shaughnessy：你们愿意冒巨大风险去提速这件事，不如讲讲你最喜欢的一个故事，说说为什么这是你们的理念，它让你们做到了哪些。
Gavin Uberti：其他公司可能没做到的事，这样的故事有不少，但我最喜欢的一个是，有段时间我们快tape out芯片了，突然发现有一家供应商的进度，严重落后，我们面前有两个很糟糕的选择，一是继续用这家供应商，把我们的时间线往后推，差不多一年，二是换供应商，从头开始，同样也要推迟一年，两个都不是好选项，所以我们只能去找第三个选项，我们了解到他们团队全在班加罗尔，是真正在做执行的人，于是我们派了十几名顶尖工程师，飞到地球另一端的班加罗尔，一待就是六个月，我也去了，我个人在班加罗尔住了四个半月，每天早上我们穿过班加罗尔，拥挤嘈杂的街道走进办公室，我们是最早到的人，我们开发了各种各样的工具，比如审计大量提交的代码，也构建了一堆工具来进一步提速，确保我们在现场，就能立刻做出正确的设计决策，不用来回等12个小时，当场就能排版，然后凌晨一点。 [00:33:50]
Robert Wachen：我们再穿过空荡荡的班加罗尔街道走回去，第二天再来一遍，我们在美国还有一大半团队，我们两边各跑12小时，做接力交接，实现了24小时不间断开发，每天早上8点和晚上8点，所有人上Zoom，共享所有数据，然后说，等我醒来的时候，这个必须做完，我们必须把这块芯片搞出来，那段时间极其紧张，与此同时，我们看到，其他跟我们在同一阶段，用同一家供应商的芯片，最终拖了好几年，到今天还没出来，甚至到今天都还没tape out，把产品推向市场。 [00:34:28]
Gavin Uberti：就需要这种极致的紧迫感，把这件事做好的关键是什么，这已经成了一种常见说法，主要是因为伊朗，好像他的特殊技能，以及其他想模仿他的人，也想做到的，就是找出那个最关键的约束条件，然后亲自把全部精力砸进去。
Patrick O'Shaughnessy：有点像你们飞去班加罗尔的做法，这似乎是你们业务的核心心跳，也是任何想做这种垂直整合的，企业的核心心跳，把这件事做好的关键是什么，你们从中学到了什么，对我来说。 [00:35:03]
Gavin Uberti：我觉得有两个关键技巧，第一，你不可能一个人造芯片，这必须是一个团队问题，你最重要的工作，是找到优秀的人跟你一起干，找到那些愿意被激励，被点燃，去做这种疯狂事情的人，去跟大家说。
Patrick O'Shaughnessy：把你们的生活连根拔起六个月，甚至有一次是12个月。
Gavin Uberti：我们提前派了一个人过去，这要求真的很高，确实很酷，但我们很幸运，团队成员都是冲着对的事情来的，第二件大事，是能非常快速的做决策，最糟糕的情况，就是工厂或供应商在等你拍板，结果整个进度就卡住了，这种事经常发生，哪怕是很小的事，所以把人派过去，给他们很大的授权，告诉他们，做出合理的判断就行，偶尔犯错没关系，我宁愿大多数时候判断正确，并且立刻给出答案，也不愿意每次都等那个完美的回复，速度就是一切，那花钱换速度呢，这种边做边学的做法，现在变得特别有意思，随着科技界从软件重新转向硬件，我们过去把大量边做边学的机会，外包到了海外，自己在美国这边，基本上只当出点子的人，显然这个趋势正在逆转。 [00:36:13]
Patrick O'Shaughnessy：而你们也采用了这种学习方式，想让自己置身于，那个迭代学习的循环里，而这其中一部分，就是愿意花钱，愿意承担资金上的风险，能聊聊这个吗。
Robert Wachen：我觉得有句话说得很好，最大的风险就是不承担风险，我们这边的情况非常类似，这个领域每天有超过10亿美元的收入，其中很大一部分来自inference，所以我们每推迟一天出货，就等于把大量机会白白扔在桌上，因此只要你能看到非常明确的投资回报，花钱的意愿就应该极高，我们有个概念叫预取，意思就是当你在等一件事完成，并且知道一旦完成就要接着做其他事的时候，能不能想办法把整个时间表并行起来，举个例子，我们知道我们的chip会在某个日期回来，我们希望所有不需要chip就能做的事，都在chip到之前全部做完，这要花很多钱，对吧，这意味着我们要提前把整个软件站都建好，意味着我们真的把机柜运到了客户的数据中心，里面没有我们的chip，但所有网络，所有CPU，所有存储都配好了，这样我们就能在chip回来之前，把所有数据中心软件都跑通，意味着我们拿了700多块FPGA，把整个全光照尺寸的chip，放到一个FPGA集群上，在上面用我们完整的inference站，跑通了十几个不同的模型，全是在chip回来之前，意味着我们做了一个热模拟chip，来模仿我们chip的散热特性，并据此提前做好了冷板，意味着我们整条产线都准备好了，意味着我们做了很多板电路板，意味着整个产品在chip回来之前，就已经准备就绪，这就是他能带给你的东西，有另一家非常有名的AIchip公司，从拿到硅片到在机柜里跑通，Inference，花了十个月，这是他们向投资人公开宣布的，在当时是件很大的事，而我们只用了40天，原因就是当chip回来的时候，一切都变得很平淡了，软件已经写好了，机柜已经就位了，产线已经打好了，我们就只是冲冲冲冲冲，把所有东西拼起来，当然不可能面面俱到，过程中会做一些微调，然后就搞定了。 [00:38:21]
Gavin Uberti：不过在那个具体案例里，这确实是很重要的一部分，但我觉得轮班也起了很大作用，我们当时真的搞了白班和夜班，有团队成员早上十点来，干到差不多半夜走，另一批人半夜来，早上十点走，全天24小时连轴转，才做到了那40天，公司一半以上的人，都住在办公室旁边，所以做这种事会容易一些。
Patrick O'Shaughnessy：你们付钱让他们这么干，对吧，额外付钱，现在还这样吗，对，看不见的手很管用，反正对我来说也挺好。
Gavin Uberti：我们俩都在那，我想退一大步，聊聊更宏观的生态系统，供应端的短缺程度，全球体系和供应链中暴露的风险，已经成了华尔街日报，每天的头版新闻，那些人们关注，投资未知兴奋的股票，想想，存储芯片股，五年前还是些无聊，大宗商品化，没人关注的东西，现在却成了全球关注的焦点，如果让你来评估一下。 [00:39:18]
Patrick O'Shaughnessy：因为你们一直在其中建设，要让这类东西成为，可能所需要的，这个全球互联的供应链，就随便聊聊，什么让你害怕，什么运转的不错，什么需要改变，你希望通过你们的构建方式，去改变什么，就谈谈你对当前，这个局面的评估吧。
Gavin Uberti：我觉得供应链故事里，最被低估的一点是，这些东西几乎没有一样，是你买完就不用再跟供应商打交道了，你必须去合作，我认为在chip领域，无论是跟台积电，还是跟存储供应商，要想成功，合作是最重要的一环，特别是台积电。
Patrick O'Shaughnessy：人们不理解它为什么这么有价值，你看它的技术。 [00:40:00]
芯片验证、软件栈与研发节奏
Gavin Uberti：你看它的技术，确实是世界顶尖，但对我来说，真正的价值全在服务上，台积电的客户服务，比我见过的任何其他行业，任何其他公司，都要好得多得多，是那种，如果你说。
Patrick O'Shaughnessy：你们做这个改动能提高良率，你就可以去给他们提建议，他们会自己出钱去跑实验。
Gavin Uberti：在我们的例子里，就是去看能不能真的拿到更高的良率，当我们发现我们是对的，实验成功了，他们就把整条产线都改过来，这种事在大多数行业根本不会发生，如果我去一家钢铁厂说。
Patrick O'Shaughnessy：嘿 我想让你们改一下刚才的成分。
Robert Wachen：他们会说滚蛋 台积电不会。
Patrick O'Shaughnessy：这就是为什么他们是第一，为什么他们会赢。
Robert Wachen：有一个特别关键的因素是电力供应和通电时间，问题是你需要的电力越多，短缺就越严重，这其实跟chip集群很像。
Patrick O'Shaughnessy：比如为什么Colossus对Blackwell的收费是。
Robert Wachen：每小时12美元，因为他们是唯一能让你一次性买到2万块的地方，对吧。
Patrick O'Shaughnessy：为什么500兆瓦的数据中心这么难找。
Robert Wachen：原因完全一样，我们需要思考的是，怎么从每兆瓦里炸出更多算力，大家现在都在从整个技术战力找办法，不管是优化PUE，还是用全新的硬件，来提升每兆瓦的token产出，去解决这个问题，但根本问题在于盖新楼本身就很难，从100兆瓦扩到一级瓦，比从一级瓦扩到十级瓦，十级瓦扩到一百级瓦要容易得多，我们现在正在逼近这些时间线上可能做到的极限，所以很多人在努力扩大数据中心的规模，同时也在努力向外扩展。 [00:41:35]
Gavin Uberti：我觉得这种系统有意思的地方在于它能替代什么，如果我把这样一个机架跟一组Blackwell，或者Rubin，或者未来要出的什么东西相比，我该怎么理解，因为这不光是功耗的问题，还有物理空间，就像你说的，Cerebras在最近的财报电话会上也提到，现在的问题是，根本没地方放这些系统，我该怎么理解，它在算力上代表或替代了什么。 [00:42:02]
Robert Wachen：客户在部署模型时，一般是这么想的，当我建一个数据中心，或一个集群时，不是抽象的说，我喜欢这些chip，功耗是这样那样的，而是我有一个真实的生产负载药服务，为了让我的产品有用，我需要达到一定的服务速度，有些产品要求极快，有些可以很慢，不管速度是多少，这就是我的要求，问题在于在给定的功耗下，我能保证这个速度服务多少用户，换句话说，在同等交互性下，我的吞吐量是多少，GPU以前达不到很多其他类型Chip的速度，比如那些全SRAM的Chip，能做到每秒几千个token，这催生了很多让人兴奋的新用力，现在有一波全新的AIchip，我们也是其中之一，都能达到这种速度，接下来的问题是，在达到这个速度的前提下，你能同时服务多少用户，进而如果我有一个100兆瓦的数据中心，我能同时跑多少个软件agent，所以当人们做这种评估时，我们的硬件通常能在给定的交互性水平下，给你带来一个数量级的并发提升，这直接转化为每瓦token数，每美元token数，也就是人们在规模化服务这些巨型MOE模型时，真正关心的所有指标，现在有那些很出名的交互性曲线。 [00:43:19]
Gavin Uberti：对吧，虽然没多少人公开发布，但你能看到一条Blackwell的曲线，也能看到A和B的曲线，比Blackwell稍差一点，但这家公司市值依然有8000亿美元，那么如果把这条曲线往外推，不是只推一点点，而是大幅外推，会带来什么影响，最让你兴奋的是，这能实现什么，我想去解决一些最难的问题，而且想用短的多的时间去解决，有些东西在我成长过程中，我不确定自己有生之年，能不能看到，比如单位消没猜想，我们大学时聊过的一个问题，我当时不确定，这辈子能看到它被证明，结果这个证明，是由一个AI模型完成的，而且花了很长时间，但如果你能让同一个模型，跑快十倍，就能缩短取得这些突破的时间，数学里还有大量类似的问题，我担心要花一百年，一千年才能证明，你要么用一个聪明得多的模型，要么让同等智能的模型，跑得快得多，就能把时间压缩，我就能亲眼看到，看到这些突破被做出来，真的太酷了。 [00:44:25]
Robert Wachen：我超级期待，看到更多这样的事情发生，我觉得大家太习惯，用很短的时间尺度，去想任务和应用了，比如聊天快乐，50%是挺好，但算不上颠覆，等这些agent的时间，跨度越来越长，模型能力越来越强，你会看到那种需要算好几个月的大规模工作，我们是用walk-lock time来想这件事的，你去跟实验室里做预训练的研究员聊，他们会告诉你walk-lock time往往是最重要的事之一，walk-lock time的意思就是从你启动一次训练到跑完，真正拿到数据的时间，如果你能把这段时间从六个月缩到两个月，你就能做更多轮迭代，大家也会为了缩短walk-lock time去改模型架构，我们看用力也是类似的逻辑，超低延迟decode，最让人兴奋的地方，就是长周期任务的wall clock time，会大幅缩短，一个原本要算一年的任务，现在一个月缩到三天，三天缩到七小时，以此类推，这件事我觉得真的很难内化，因为模型的能力才刚刚够到能做这些，几个月前Cursor公布说，他们让一群编程agent从零开始，在一周内写出了一个完整的浏览器，我当时觉得太疯狂了，而这很快就能在一小时内完成，以后会有大量这类事情，靠海量并行agent，一起攻一个任务来实现。 [00:45:43]
Gavin Uberti：这些系统的终极限制是什么，这纯粹是个物理问题吗，理论上我们还能快多少便宜多少，你怎么看，空间还很大，就像那句话说的，底层还有巨大的空间，你看英伟达产品的chip间延迟，从一个chip到另一个chip要4000纳秒，我们能做的比这好得多，数学极限是多少，是光速，可以做到区区几纳秒，比如2、3纳秒，而现在是4000，现在是4000，底层空间真的非常大，功耗效率也是一样，没错，我们把电压降这么多，已经省了大量能耗，但还可以更低，可以低得多，这非常难，但往20年30年后看，我觉得这是必然的，规模效应，集群scale也是同理，很长一段时间里，8个chip就是最大的scale，英伟达有NVL72，把规模拉到了NVL72，但你可以做的大得多得多，你看晶圆厂，一栋400亿美元的单体建筑，里面只跑着寥寥几条产线，未来的巨型机群也可以是这样，400亿，1000亿美元的一座巨型token工厂，服务一个或少数几个模型，面向海量用户，去实现同样的规模效应，同一个模型，巨量的人在用，你提到kernel工程是你第一份工作，这玩意从以前没人听说过，到现在到处都在讲它有多重要，能从裸金属里多榨出一点性能，那什么时候这件事也会被AI完全接手，人类还是最好的Kernel工程师吗，他们是在AI辅助下做吗，人在设计这些东西的链条里还会留多久，什么时候会彻底不需要人，今天完全是混合模式，最好的Kernel仍然是人跟AI协作写出来的，而且任何AI模型都是由这些基础原语构成的，比如矩阵乘法，卷积chip间通信，集合通信，让这些操作互相重叠，跑得极快，影响巨大，Kernel设计师的工作，就是去搞清楚，哪里可以重叠，怎么分配内存，怎么验证，如果出了传输问题，重传不会卡住整条流水线，这些都很难，但每做一次优化，模型性能可能就提升3%，4%，而且你可以做很多次，我们设计软件站的时候，想的是POC会往哪走，三年前，做软件大概有两条路，一条是大力投入图编译器，这些东西性能不算高，但开箱即用，不需要人进来调所有Kernel，我们选了相反的方向，我们是Kernel优先编程，这意味着很长一段时间里，它确实不是开箱即用的，但如果你是Kernel专家，你能榨出极高的性能，关键在于，现在编程模型越来越好，他们正在承担越来越多的Kernel生成工作，等模型继续变聪明，最终会全部接手，他们会超越人类，所以我们要为未来的世界去构建，即便是今天，我们设计profiling工具，或调试站的时候，更多想的是模型会怎么用这些工具，而不是人会怎么用，我们内部有时会跑实验。 [00:48:44]
Robert Wachen：我们让Codex仅凭我们的文档，就从零开始把GPT-OSS跑起来了，完全靠自己，哇，我记得他一晚上就搞定了，我们经常琢磨选择战场这件事，意思就是确保把精力压在正确的赌注上，因为不管你选做什么，都得付出巨大努力，我们一开始就明确决定，不去做任意图编译器，不去支持任意PyTorch，不去支持任意CUDA，不去支持任意ONX图，我们设想的世界，是真正重要的模型，不超过100个，而且从底层数学角度看，它们都非常相似，我们要用物理原理去构建基础单元，尽可能把它们加速到极致，同时让最顶尖的客户，能直接接触硬件，想怎么用就怎么用，这省掉了我们大量造编译器的时间，也让我们拿到了高得多的性能，有意思的是，我们刚起步时，很多人都对这个想法嗤之以鼻，唯一认真对待我们的人，都在高频交易领域，因为他们也讨厌编译器，全都自己写Kernel，后来有几十个高频交易的人，加入了我们团队，就是因为他们看到了同样的理念。 [00:49:49]
Gavin Uberti：垂直整合的边界在哪里，你怎么知道该在哪里划线，我先从这个角度切入，聊聊更宏观的市场，现在的大环境很有意思，绝大多数AIchip都被极少数客户买走了。 [00:50:02]
从单芯片走向整机柜系统
Gavin Uberti：绝大多数AIchip都被极少数客户买走了，而这些客户里，很多人自己也在尝试设计自己的AIchip，OpenAI发布了Telpanel，这个局面很微妙，世界上最值钱的东西，好像都绕不开那几家chip制造商，和那几家chip买家，他们看起来都在做，或者盘算着做对方的事，然后还有另一种情况，这些东西进了数据中心，你又有了Neo Cloud Inference服务商，以及技术战力的其他环节，还有模型开发商和模型提供商，我可以想象这样一种局面。
Patrick O'Shaughnessy：因为你们有最好的硬件，所以你们也去设计模型，也去建数据中心，等于溢出了你们当前的垂直领域，所以你怎么考虑业务的边界，该划在哪里。
Gavin Uberti：我们有句话叫生产机产品归根结底，我们清楚Inference，会是世界上最大的市场。
Robert Wachen：谁生产的Token最多，谁就会成为世界上最有价值的公司，所以我们所有的决策都围绕一个问题，怎么把最多的Token产能上线，一部分是做出真正好的产品，吞吐量高得多，延迟低得多，这样我们每造一个Chip，就能让更多Token上线，另一部分是，除非为了达到巨大规模非做不可，否则我们不去碰技术战的其他环节，有些事我们确实做了，因为不上规模不行，比如做整机柜，而不是只做Chip，比如做CM模式，而不是JDM模式，但有些事目前对我们来说就是噪音，比如我们现在不会自己去建数据中心，那并不能帮我们增加产能，总的来说，我们的客户其实在主动调配电力和迁移集群，就为了把我们的chip跑起来，因为吞吐量实在太高了，如果哪一天其他环节成了瓶颈，我们绝对会去整合，但现实是。 [00:51:46]
Gavin Uberti：我们眼下只专注于让尽可能多的token上线，我觉得这又回到了规模效应上，在技术站的某些环节，规模效应巨大，另一些则没有，比如设计模型，规模效应就非常大，chip制造也一样，但如果你去想，机柜里的某个小金属零件，就没有同样的效应，我们认为天然的边界，在底部chip这一侧，以及顶部的模型层，中间这段空白，我们会全部填上。 [00:52:14]
Robert Wachen：几周前有个人，在帮一家前沿公司，做下一代AIchip，他想挖我们的一位架构师，结果这人反而被我们的架构师来了个反杀，开始反向招募他，不到一周我们就把他招进来了，我在敲定offer那会出去散步，问他你在那边负责这么重要的项目。
Patrick O'Shaughnessy：为什么决定过来。
Robert Wachen：他的回答特别有意思，他说这个产品赢不赢，对我的公司来说根本不知命，对谷歌的TPU来说收入靠的是搜索，TPU失败了谷歌也不会倒，没错Meteor失败了，Meta不会倒，Maya失败了，微软不会倒，Hallopinio失败了，OpenAI也不会倒，说到底，这是我们的产品，全世界最好的chip，是由一家只做chip的公司造出来的，这完全在意料之中，那就是英伟达，对吧，对我们来说，让尽可能多的token产能上线，是生死攸关的事，这也会吸引一批人才，吸引供应商和客户的支持，他们看待这件事的投入程度，和我们是一样的，看原始flops数据，你把苹果实验室，或者那些超大规模云厂上。 [00:53:20]
Gavin Uberti：用作的chip拿来比，比如F8xF8的flops密度，全都低于Blackwell B300，这很合理，因为他们不需要去冒那个险，只要做出一个差不多的产品，不用交英伟达的税就行了。
Patrick O'Shaughnessy：我在想你们构建这套方案的过程，本质上是在解决一连串极难的挑战，有没有哪一次是最难克服的。
Gavin Uberti：我们在设计chip的时候，搭了一个非常非常大的FPGA集群，来验证整个chip的工作空间，FPGA是数字实体，你可以测数字逻辑，但测不了模拟逻辑，结果chip回来之后，我们发现attention和适配环节开始出问题，结果不对，我们意识到等等，跨时中域的反压逻辑出了问题，这会导致chip产出错误结果，而且这个问题非常非常难解决，我们发现只有一个办法能搞定，必须把chip上的两个时钟信号，对齐到50匹秒以内，这相当于50万亿分之一秒，我们要把信号对齐到这么小的力度，还要在每颗chip上每秒做20一次，很多人都说这不可能，有人直接辞职了，他们就是觉得这个问题无解。 [00:54:26]
Patrick O'Shaughnessy：说祝你们好运，遇到这种问题，第一步是。
Gavin Uberti：好我们先假设问题可解，那怎么解，首先我们意识到，必须找到一种方法，能把时钟向位移动一匹秒，10匹秒，然后我们有了一个想法，如果有两个时钟，它们之间只差一点点呢，我们发现，如果能测出向位差，再用一个漂移机制，去等那个刚刚好的时间窗口，让那一匹苗始终对齐，就能极其可靠的做到这一点，然后把相位锁定在需要的位置，我们可以保证，这种事再也不会发生，大家对这个方案居然能跑通，而且效果这么好，多少有点震惊，但我们确实把它做出来了，花了多长时间，大概两周，那是黑暗的两周，非常吓人的两周，但这种事发生的时候，恰恰是最需要投入精力的时候。 [00:55:16]
Patrick O'Shaughnessy：当你觉得一切都没希望的时候，反而是最难去行动的时候，但你越早解决这个问题，就能越早回到正轨，去扩大生产，商量。
Gavin Uberti：我觉得我们的故事里，很大一部分就是。
Robert Wachen：像Gavin说的，先假设它是可能的，假设在一颗chip上，塞进多的多的flops是可能的，假设做出chip间，延迟低得多的系统是可能的，假设创建一个共享内存池，带宽高得多的方案是可能的，那该怎么做，很多时候我们做实验，几十个实验全失败，但我们只需要一个成功就行，有好几次，Gavin在chip，bring up阶段冲在最前面，我记得做了大概30个，不同的板机实验，其中三个成功了，这三个的价值比黄金还重，这也是别人常来跟我说的，Gavin，你的实验几乎没一个成功的，我会说，我只需要走运一次，我追问这些故事。 [00:56:09]
Gavin Uberti：有一个想法是，关于公司历史上那些困难时刻，融资的能力。
Patrick O'Shaughnessy：我想你们刚开始的时候，知道自己需要钱，但不知道最终需要融到，花掉这么大一笔钱，来构建这套方案，而且你们之前没融过资，这些都是全新的东西，对吧，确实有那么一些时刻，非常非常难，因为我在场，我亲眼看到了，有些时候融资极其困难，而如果没有那笔钱。
Gavin Uberti：公司就不存在，会死掉，像很多伟大的故事一样，有无数次濒死时刻，但钱这件事，在这个新世界里不一样，这不是软件，不是只需要一点点钱，也许你可以讲讲，早期融资真正最难的部分。
Patrick O'Shaughnessy：在你们还没有东西可以展示，没有让人惊艳的性能数据之前，只有你们两个人再讲一个想法，聊聊早期融资的困难吧，那段经历真的挺硬核的。 [00:57:01]
Gavin Uberti：我们经历过一些非常紧张的时刻。
Robert Wachen：让我想起大概是，2024年初，在我们融A轮之前，当时我们已经把架构做得差不多了，设计也推进了不少，我们知道这个chip的架构是成立的，必须把它造出来，后面还有很多工作要做，我们准备进入所谓的物理设计阶段，我们需要跟一家物理设计供应商签协议，这至少要花4000万到5000万美元，然后我们意识到随着模型越来越大，那些巨型MOE模型不断涌现，我们不光要造chip，还得搭建整个集群，我们要做板卡，要做interconnect，要做冷板，要搞定所有网络和配套的东西，这需要的钱，远远超过我们银行里那1500万美元。
Gavin Uberti：那时候你会觉得，天哪，太吓人了，你坐在那里想，完蛋了，我们根本负担不起，我甚至开始琢磨，回哈佛复学有多难，在23年底，我们搞了一份memo。
Robert Wachen：我们花了大概100个小时在上面，因为我们完全不知道，当我们开口要那么多钱的时候，别人凭什么相信我们，那份memo有30页，技术性极强，非常深入，涵盖了我们所有需要构建的东西，所有要达成的里程碑，市场会怎么演变，各种信用力，每个token的成本，还有各种建模分析，然后我们去找投资人聊，硅谷所有主流投资机构，当场就聚了，他们的反应就是，好吧，两个刚离开哈佛的小孩，没留片过，没有测试CHIP，INFERENCE，这个市场谁知道能不能做大，一切都会是训练为主，模型还在幻觉，这整件事可能就是个泡沫，当时半导体领域，最大的A轮融资，大概也就4000万到5000万美元，我们看着账单算了一下，觉得接下来12个月要花1亿美元，如果我们真想干成这件事，真想把规模做起来，达到我们说的那种性能，这就是个极度烧钱的事，我们到底要怎么搞定，我们启动这个过程的一个关键思路是，问自己最省钱的办法是什么，我们决定如果我几乎不拿工资，只吃泡面。 [00:59:03]
Gavin Uberti：那我们基本上就只花，那1100次流片的眼膜费用，这样大概3000万美元就能搞定，一个低得离谱的数字，后来我们还真找到了一个债权方，愿意借钱给我们，勉强跨过那个吃泡面造chip的门槛，从那里开始，我觉得就是先催化出一系列进展，然后一步步推进，再搞一件事，再搞一件事，再搞一件事，对，所以当时的情况是，如果我们真想建这家公司。
Robert Wachen：就不能半途而废，我们不会去做个测试chip，然后耗上好几年，眼睁睁看着整个AI市场爆发，而我们本可以做出产品，要做就做到底，我们必须想办法，高到一亿美元，我记得Gavin和我，深夜坐在Cupertino的办公室里，互相看着对方，心想，这里能不能砍五十万，那里能不能省十万，我们能说服大家，多久不拿工资，然后我们意识到，见鬼，这笔账根本算不平，我们真的得解决这个问题，有那么几周。 [01:00:00]
客户合同、台积电合作与融资信任
Robert Wachen：有那么几周，你基本进入了生存模式，给每一个，可能认识投资人的人打电话，跟他们说，我们需要一亿美元来做这件事，如果做成了，我们觉得这可能会成为，有史以来最重要的公司之一，你认识谁愿意下一个大胆的赌注，愿意相信我们吗，这是所有信息，我们完全透明，这是我们的团队，都是很棒的人，我们一直超级努力，用创纪录的时间做了这些事，但前面还有一百件事要做，你想加入吗，然后雪球开始滚起来了，这里拿到一百万，那里拿到两百万，你就想，好吧，这个月不会没钱了，再拿到一张500万美元的支票，一张1000万美元的支票，你就想，好吧，也许我可以买那些FPGA了，雪球越滚越大，我们非常幸运，最终把这一切拼到了一起，我们开了一次董事会，我给大家看电子表格，上面显示1.03亿美元，都是些软承诺，我们互相看了看，说我们接了，那就是我们的A轮，幸运的是，从那以后融资容易多了，我们后来又融了差不多五六轮，其中很多轮都是那些老投资人，加倍三倍的追加，这让我们能这么快进入市场，如果不是当初那么激进，这个基价根本不可能做出来。 [01:01:15]
Gavin Uberti：我还觉得供应商这边也值得一点掌声，对台积电愿意跟我们合作，是在我们融到那一亿美元之前，在事情还非常非常悬的时候，Synapse甚至让我们以极其优惠的条件，拿到了他们的一些仿真器，可以分很多年付款，对 基本上就是一笔大贷款，要让合作伙伴拿出这么大的信任，你才能做成这件事，但我觉得，当你带着一支非常强的团队出现时，所有支持你的人，都不纯粹是为了财务回报，他们是真的相信。
Patrick O'Shaughnessy：你觉得台积电为什么会相信，哦 这个故事很精彩，在你加入之前，有一次半导体行业大会，我是最年轻的半导体CEO之一。
Gavin Uberti：我觉得这算是个新鲜事，他们请我去发言，我到了会场，发现我是唯一一个，40岁以下的演讲者，也是唯一一个30岁以下的人，我当时才22岁，我就上台讲了，会后有个演讲者晚宴，纯属运气，我正好坐在一位台积电的，资深VP旁边，晚宴规格很高，Arm的前CEO也在，非常讲究，所有人都穿着西装，我就跟这位VP坐在一起，结果发现，我们俩大学学的都是数学，然后我们拿了张纸，开始非常详细的讨论，现代AI模型到底是怎么工作的，深入到逐个Tensor的层面，他完全能听懂，接着我们就聊，怎么才能非常高效的，跑这些模型。 [01:02:39]
Patrick O'Shaughnessy：为什么低电压，是让这一切运转起来的，关键技术，第二天我收到台积电的邮件，说Gavin，我想跟Edge的合作，想办法促成这件事，从那以后。
Gavin Uberti：他一直是我们非常好的合作伙伴，想想有些老生常谈的说法，挺有意思的，当然我得打破一下第四面墙，我是H的大额投资人，参与这件事很久了。 [01:03:04]
Patrick O'Shaughnessy：我对你们俩的评价非常高，所以我在这次对话里，是带着巨大偏见的，我尽量问一些更宏观，更有意思的问题，也可能是对你们在做的事的质疑。
Gavin Uberti：我们会继续这样问，但我觉得特别有意思的是，你读投资类的书，所有人都会引用那个概念，就是逆向且正确，这个象限能赚到所有的钱，听起来很美好，但逆向意味着，其他所有人都觉得你是个傻子，所以当你走出去，从每一个人那里得到的，都是立刻的拒绝，在你成为共识之前，待在那个象限里，是种很奇妙的体验。
Patrick O'Shaughnessy：我想问一下你当时是什么感觉，我特别好奇，挺有意思的，当时那是我开出的第一张支票，而且金额比其他投资大很多，这么说吧。
Gavin Uberti：我当时并不是数学专家，也不是半导体专家，更不是AI专家，所以这更多是基于，相信这个市场可能极其巨大。 [01:04:03]
Patrick O'Shaughnessy：你们对未来会是什么样，做出了非常非常清晰的判断，并且以一种非常硬核的方式。
Gavin Uberti：把公司定位好，去攻克这些点。
Patrick O'Shaughnessy：然后就是你们两个人，以及我对你们的感觉。
Gavin Uberti：这是我们2023年，还是什么时候做出投资决定的，主要原因，但当时那确实是我最大的一笔投资，我觉得你刚才说的，关于天真的道理，既适用于投资，也适用于创办一家半导体创业公司，那就是我不知道自己不知道什么，当我打电话给专家时，他们基本都说这很蠢，他们用非常合乎逻辑的方式。
Patrick O'Shaughnessy：列出了为什么这事做不成，为什么，这是一个概率极低的赌注，我从中学到的一点就是，你有时候必须无视基础概率，如果你完全按基础概率去投资，那你应该去做点别的。
Gavin Uberti：而不是干我们这行，总可以买指数基金吗，对，总有指数基金可以买，没错，所以这事对我来说，其实从来都不吓人，我觉得主要原因，可能就是我不懂，我不懂的东西太多了。 [01:05:07]
Patrick O'Shaughnessy：如果我对你们做的事，和其中的难度了解的更多，我可能就不会投了，我不知道这说明了什么，比如作为一个投资人，变得更成熟了，也许我不想懂得太多。
Robert Wachen：想保留一些那种有意义的天真，我也不知道，我觉得很多传统的半导体基金，错过了所有的AIchip公司，对所有的AIchip公司，而所有的编程专家，也错过了所有的编程公司，我觉得很难意识到，约束条件已经变了，当你看了20年的tape out，见过那么多次，第一次第二次第三次尝试都失败，甚至连一个工作负载，都跑不起来的时候，你会完全忘记，现在的EDA工具已经好太多了，FPGA现在也有了，以前是没有的，还有今天你能做的各种验证，以前根本不可能，所以我觉得对我们来说，相信我们的人基本分两类，要么他们就是单纯相信这个市场和这个团队，要么他们自己今天就在用极其硬核的技术造chip，比如高频交易公司，他们会真的审计所有东西，从微架构RTL到板机设计，项目进度和软件战，我们会跟他们那边十个自己造chip的人坐在一起，他们问的问题详细到让我们怀疑，他们是不是打算自己来造这个chip。 [01:06:24]
Gavin Uberti：真的就是这两类人，如果你处在中间地带，你就是理解不了，在投资圈，大家经常聊差异化认知，就是你看到或相信一些，别人没看到的东西，对吧，这种认知差距就是机会所在，对，我投H大概有五次了吧，每次投的时候筹码都越来越大，所以确实会一次比一次更让人紧张。
Patrick O'Shaughnessy：而且因为你们在市场上一向很低调，我觉得外界很容易轻视你们，当筹码越来越大时，那些轻视的声音就更难入耳了，所以我确实认为，当你看到的东西和外界的声音截然不同时，这种认知差就等于机会，最后我想说，你们和团队解决那些看似不可能的问题，所积累下来的能力。 [01:07:09]
Gavin Uberti：是一家公司能拥有的最有趣的特质之一，这就像个二元选择，有的公司能做到，有的做不到，我也觉得这是老员工的一大优势，有些新来的人吓得要死，看到这种情况，而那些老员工也就待了整整两年而已，开始在战壕里抽雪茄了，又来一个，对。
Robert Wachen：这里绝对有一种想办法搞定的心态，你在这里是因为你默认这事是可能的，所以我们不能说它不可能，所有问题都是可以解决的，我们就是会一直干，直到把它搞明白，我有个特别喜欢的故事，有个在硅谷验证领域算是个传奇人物，后来加入了我们团队，当时我们正在做晶圆测试的早期阶段，你知道芯片从晶圆厂出来时，是整片晶圆，然后有个叫探针卡的东西，在切割晶圆之前，通过探针点连接到晶圆上，发送电信号来测试哪些芯片是好的，哪些是坏的，这样我把晶圆切成一个个芯片后，就可以只封装那些好的，我们测试第一片晶圆时，大概是凌晨两三点，因为我们是跟台湾的台积电在电话上操作，屏幕上显示着晶圆全是灰色的，每个芯片都是灰色，然后当你开始跑测试图形时，那些方块应该变成绿色或红色，结果它们全变红了，我们当时就想，完了，这太糟糕了，大家都说，兄弟们，深呼吸，他往后一靠，说谜题开始了，你就得有这种态度。 [01:08:36]
Gavin Uberti：是的，你会走出去，凝视深渊，你会看到可怕的东西，然后我们会解决它们。
Patrick O'Shaughnessy：你们是什么时候看到第一个绿色方块的，那天之后，一天之内，但在那个当下，你会觉得。
Robert Wachen：我为这个付出了好几年，我赌上了身家性命，我让家人也把所有东西都压上去了，然后他全是红的，这太吓人了，但就有那么一种人，就是沉迷于那种感觉，感受恐惧，然后解决它。 [01:09:03]
Gavin Uberti：我们很幸运，这里有很多这样的人，如果把过去这几年积累的所有这些实战经验，用来展望第二代第三代，以及更远的产品，基于你学到的一切，你在做法上最大的不同会是什么。
Robert Wachen：就是从概念层面来说，基于第一次的经验，你下一次会怎么去着手设计和生产，我们花了不少时间，才找到那些我们认为对扩展Inference，真正重要的核心要素，早期我们尝试了很多东西，从把不同模型编译到FPGA上的编译器，到把权重烧入进硅片，再到拆分HBM KV Cache和权重，等等各种不同的方案，我们经历了很多轮的学习，才最终意识到，从根本上讲，如果你想运行世界上大部分的Token，你需要做三件事，你需要造一个在给定功耗预算下，拥有最多flops的芯片，你需要造一个芯片间延迟最低的芯片，也就是要构建我能做到的最大的scale up网络。 [01:10:04]
产品迭代、组织文化与竞争边界
Robert Wachen：也就是要构建我能做到的最大的scale up网络，然后你需要尽可能多的生产它，我觉得在我们到目前为止的前半段旅程里，我们学会了前两点，这很大程度上影响了我们的设计，也影响了我们未来在low voltage inference，cluster scale memory上的压住，但生产这部分，在过去一年里变得极其明显，如果你今天就能供货，人们部署这些东西的意愿有多强烈，你知道最好的能力就是可用性，如果我现在有一千个芯片，马上就会有人用，我们需要造的芯片，不仅仅是比之前的产品好得多，而且必须能在多几瓦的规模上供货，我们需要能造出一款产品，从极限上讲，能达到每月几瓦级的生产能力，当我们思考这一点时，我们在下一代产品上做的很多设计决策。
Patrick O'Shaughnessy：你们已经看到了。
Robert Wachen：核心就是简单，去掉大量部件，反复尝试组装和拆解，学习如何在生产中做到最快，周期最短，确保它可靠可维护，并且能在超大规模下生产。 [01:11:02]
Patrick O'Shaughnessy：那生态里其他你们控制不了的问题呢，比如台积电先进纳米制成的产能，或者HBM4内存的供应，就是那种所有人都在抢稀缺产能的情况，当你们想尽可能多的生产时。
Robert Wachen：怎么面对这些现实，全球部署算力最多的人，确实会有点把供应看成零和博弈，某个特定纳米节点，某个特定晶圆场，能产出的晶圆就那么多，内存的产量也是有限的。
Patrick O'Shaughnessy：这其实也是为什么我们第一代产品。
Robert Wachen：选了一条跟Rubens不同的供应链，我们在4纳米，Rubens在3纳米，我们用的HBM也跟Rubens不一样，诸如此类，所以这其实不是零和，而是正和，多就是多，我们跟大规模部署的人聊的时候，往往不是在一级瓦，GPU和一级瓦，我们的芯片之间二选一，而是总共两级瓦，我觉得在设计决策阶段，就尽早考虑供应链，这一点怎么强调都不过分，因为如果你有性能最强的产品，却造不出来，那你就只是个播客话题了，这也是垂直整合的另一大重点，当然像芯片和内存这些，你还是得去找合作伙伴。 [01:12:08]
Gavin Uberti：但其他大部分东西，也都是需求极高的组件，你自己造的越多，就能在世界现有产能之上，做出更多东西，这不是在抢别人的供应，而是在额外增加，非常非常多的供应，我觉得这就是赢的方式，我突然意识到，我们完全没聊模型本身，这有点不可思议，毕竟模型才是所有需求的源头，关于模型未来的演进，根据目前看到的情况。
Patrick O'Shaughnessy：你们有什么有意思的看法吗，我其实更好奇，你们这些思考硬件的人，觉得硬件会怎么影响，模型未来的走向。
Gavin Uberti：我们深信的一个核心观点是，机器思考的方式跟人不一样，你看飞机，飞机就不是像鸟那样飞的，机械装置的工作原理，往往跟生物体截然不同，同样的道理，对人来说，神经元存储数据和加载记忆的成本很低，做数学运算则相对昂贵，而芯片恰恰相反，一般来说，芯片读取数据的成本很高，做数学运算却很便宜，而且随着时间退移，你会发现数学运算变便宜的速度，比内存变便宜的速度更快，这是由所有DRAM器件的根本性限制决定的，所以你应该去想，我怎么让我的模型用上巨量的算力，比如我同时跑很多个副本会怎样，我激活海量的专家会怎样，我有那种大到需要同时在多个服务器机架上，运行的巨型专家会怎样，我觉得这才是构建下一代智能模型的方式，上下文也是，现在有很多工作聚焦在非常高效的推理上，比如不全量加载上下文到内存里，大多数情况下，我觉得这很有道理，但如果你想构建一个超级智能。 [01:13:52]
Patrick O'Shaughnessy：它为什么不能去查看，十亿个token的上下文，为什么不能花巨量算力，去极快的读完所有这些内容，我很希望能跟一台机器对话，它能把有史以来写过的每一本书，都放在短期记忆里随时调取。 [01:14:08]
Gavin Uberti：我觉得我们最终会走到那一步，走到现在做不到的程度，当前模型领域的一个主题，是聚焦在所谓的动态性上。
Robert Wachen：这种能力指的是，在做注意力计算时，可以按每个token，或每个用户来控制计算量和内存消耗，同时芯片内部还能动态的，实时的把数据发给其他芯片，去处理不同MOE模型的特定运算，根本原因在于，随着我们不断扩展上下温长度，扩大模型规模，增加每个用户的计算量，我们一直在寻找更高效的方式，所以就像Robert说的，首先是混合专家架构，也就是不一定每个Token，都要用到所有参数，但也许还有更细的层面，甚至在Token级别，我们可以说，这个Token需要这段上下文，另一个Token可以共享那段内存，这样就不用承担那么高的内存开销，也许某个Token特别重要，我们就该投入更多算力，给它更长的上下文，所以能真正加速这类高度动态计算的硬件极其重要，你可以想象在那些架构出现之前设计的现有硬件，跑这些运算会有很大的开销，结果就是你陷入很糟糕的境地，要么硬件跑这种动态计算效率低下，导致根本跑不好，要么就只能用那种非常粗放的架构，对很多需要不同计算量的token都施加同样的蛮力，关于未来我有两个问题。 [01:15:31]
Patrick O'Shaughnessy：我们聊了很多你们已经做出来的东西，以及是怎么做出来的，第一个问题是人们可能会开始用这些系统的新方式，底层技术更长的运行时间诸如此类，当Inference变得便宜的多快的多，更容易获取总供给更多质量也更好，你们觉得人们会用这些能力去做什么，是你们俩觉得最有趣最兴奋的，对None Brown发过一条很火的推文，说随着这些模型的时间跨度越来越长，他们可以完成比如需要六个月的任务，但往往没有足够时间，去评估这么长周期的任务，因为到那时候，新模型已经出来了，你会更想去评估新模型。 [01:16:14]
Gavin Uberti：而用我们做的，Cluster Scale Memory这类技术，你可以把那个六个月的任务，跑得快得多，不过还有第二层，我跟Nam聊过这个，他现在也是我们的天使投资人，他说不光是时间问题，还涉及参与这件事的人，或agent的数量，如果你想评估，一个人能不能造出火箭，你会发现答案是不能，没有哪个人能独自造出火箭，你得组建一个团队，我相信agent也是一样的道理，如果你问一个agent，能不能去开发出某种疯狂的未来软件，你大概率需要一个非常大的团队，也许是十个，也许是一百万个，你需要有极其庞大的cluster，规模memory，让每个token的时间极短，同时需要海量的flops来驱动整个舰队，我说的未来一点，我坚信全球正在走向inference。 [01:17:02]
Robert Wachen：占全球GDP大头的时代，这可能需要超过十年，但它一定会发生，现在我们衡量社会生产力，用的是人均GDP，但到那时候，它看起来会更像是，每兆瓦Agent数，或者每几瓦Agent数，既然在谈未来，我认为今年是劳动力，以人类为主的倒数第二年，我觉得到2027年，你会看到做知识工作的，Agent数量超过人类，这会非常有意思，你可以想象这样一个世界，对一个国家来说，大部分能源最终都流向做Inference的数据中心，而这些数据中心的能效，基本上决定了他们能有多少agent，进而决定了他们的劳动力规模有多大，所以你会看到就像Gavin说的，现在我们是一个agent，或者5到10个agent的团队，花几天时间做小组项目，他们很聪明，所以能做出挺酷的东西，但这还达不到文明级别，当一个国家可以拥有10亿个并发agent，就像10亿劳动力，7×24小时不间断的，同时做同一件事会发生什么，这简直难以想象。 [01:18:06]
Gavin Uberti：这将是人类有史以来，最大规模的技术扩散，我也觉得，当你有这么巨大的需求时，规模经济效应就有来了，拿人来说，我有一个大脑，但我不会同时用到整个大脑，只有一部分在活跃，健康的大脑就是这么工作的，毛易模型也差不多，在MOE模型上，任意时刻任意token，只会用到一小部分参数，但是如果一块硬件上有大量用户，你就可以把这个大脑，切分成许多不同的专家，分布到许多不同的服务器上，跑海量的吞吐，这样流量会分成很多块，每个时刻都有很多流量，在用大脑的各个部分，同时每个思考的成本，每个token的成本也会大幅降低，所以我觉得最终会出现这种，巨大的规模化分布式的大脑，它的形态就是一个大型数据中心，里面有一堆chip，海量flops，以及庞大的scale up interconnect。 [01:19:04]
Patrick O'Shaughnessy：你觉得我们会看到，单个数据中心价值，一万亿美元吗，绝对会，这只是时间问题，这就好比问，你会看到十亿，一百亿，还是一千亿美元的晶圆厂，规模经济不会停在，四百亿美元，是晶圆厂的魔法数字，这个点上不会的，你投入的钱越多，晶圆的成本就会持续下降，同样的道理，也适用于生产钢铁的工厂，或者生产Token的工厂，一个非常聪明的外星人来到地球，想请你们俩各自讲讲，你们正在做的这件事，机会到底该怎么看，你们会怎么跟他说，我会说思考极其有价值。
Gavin Uberti：世界上每一家公司都靠思考运转，我们正进入一个非常独特的时刻，机器已经可以思考的，几乎和最强的人类一样，好 很快会一样好，再之后会更好，建造这些机器会是一个巨大的机会，但更重要的是。 [01:20:00]
让推理成本下降的长期愿景
Gavin Uberti：但更重要的是，随着需求越来越高，运行这种思考的方式，会变得非常非常不同，现在有一个独特的窗口，可以去构建一套新的解决方案，一条新的路线图，来解决如何在一个巨大的scale up集群上。
Robert Wachen：同时为十亿人运行未来的千万亿参数模型，我们正处在一个智能的新时代，生产智能的成本，比智能本身的价值低太多了，所以未来很多年，甚至几十年，这些Token都会处于供不应求的状态，基本上任何能产出Token的Chip，或系统都会极其有价值，你应该在Token的供应链上找一个环节，从模型训练，一直到我们做的Silicon，这类底层投入时间，去推动前沿，而且坦白说，未来最大的公司，很可能就是那些，产出全球大部分Token供应，并掌控这条供应链大部分环节的公司。
Gavin Uberti：更重要的是，要有人去构建那种系统，当你把越来越多的chip拼在一起时，成本反而会下降，你希望它扩展的方式，不是我想提供10倍的token，就买10倍的服务器，必须是一种新的方案，当我想提供10倍的token时，能通过我们的集群级内存技术，获得规模效应，这样我就不用为这些token，收10倍的钱。 [01:21:15]
Patrick O'Shaughnessy：你们正在构建的未来，真是令人无比兴奋，上次跟Gavin聊的时候。
Robert Wachen：我问了他那个传统的收尾问题，所以这次我来问你，别人为你做过的，最善意的一件事，是什么，在我治疗癌症期间，有一个重大的决定要做，医生来找我，说是时候，由你来决定了，你想做手术，还是做放疗，利弊是这样的，如果做手术，你活下来的概率更高，但你要做好，永远无法再走路的准备，如果做放疗，你以后还能走路，但活下来的概率，就没那么高，你可能会死，你想怎么办，那时我16岁，我父母说，这个决定，你得自己做，我想了很久，最后决定做手术，我做了手术，做肿瘤切除时，他们会做一个叫坏死分析的东西，就是检查所有不同的细胞，看这个细胞是死的还是活的，因为如果有一堆活的癌细胞，那就有麻烦了，他们检查完说，通常要达到98% 99%的坏死率，我们才能说你没事了，你没达到那个标准，应该去做放疗，而当时世界上只有几台机器，能做我需要的那种放疗，其中一台在波士顿，我坐着轮椅，需要搬到波士顿去住好几个月，我的父母都决定放下手头的一切，搬过来陪我一起住，我永远感激他们，说得真好。 [01:22:32]
Patrick O'Shaughnessy：谢谢你们。
Robert Wachen：这场对话太棒了。