目录
- AI基础设施泡沫之问 [00:00:00 - 00:10:00]
- Nebius四层产品架构 [00:10:00 - 00:20:00]
- 容量价格与客户价值 [00:20:00 - 00:30:00]
- 托管推理与模型迭代 [00:30:00 - 00:40:00]
- 主权AI、应用层与NVIDIA关系 [00:40:00 - 00:50:00]
- 社区、太空算力与长期威胁 [00:50:00 - 00:58:38]
AI基础设施泡沫之问
一凯:欢迎收听跨国串门儿计划,这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音,为您呈现全球顶尖的AI、财经、健康与科技领域精品内容。我是主播一凯,一位热衷于AI领域的产品经理,很荣幸能为您搭建这座跨越语言障碍的桥梁,接下来让我为您简单介绍本期我们克隆的这档节目,并分享几句非常精彩的原话,本期我们克隆的是知名创投播客20VC在2026年6月的一起深度对谈,主持人Harry Stebbings与Nebius联合创始人Roman Chernin 一起拆解AI基础设施的底层逻辑 Roman所在的Nebius是全球增长最快的AI基础设施公司之一,正与超大规模云服务商正面竞争,在节目里他有几句话让我印象很深,我们玩的是资本密集型游戏,竞争对手是全球资本最雄厚的公司,我们今年的资本支出计划是200亿到250亿美元,而我们的对手那些超大规模云服务商,规模是我们的八倍,对Nebius这家公司来说,最大的威胁是世界会变得过于集中,就像鲨鱼一样,你得一直游动才能活着,对吧,所以我们必须动起来,这些话背后有着很长的故事。接下来就让我们一起走进这期完整的对话,我们玩的是资本密集型游戏,竞争对手是全球资本最雄厚的公司,我们今年的资本支出计划是200亿到250亿美元,而我们的对手。 [00:01:34]
Harry Stebbings:那些超大规模云服务商规模是我们的八倍 AI基础设施竞赛已经打响,资本支出规模前所未有,处于这场竞赛中心的就是Nebius。今天我请到了Nebius的联合创始人,这家公司市值已经攀升到660亿美元 正在与全球最大的超大规模云服务商正面交锋。
Roman Chernin:未来六个月资本帮不上忙,六个月太短了,你有什么就用什么,得活下去,对Nebius这家公司来说,最大的威胁是世界会变得过于集中。 [00:02:11]
Harry Stebbings:今天我们来揭开AI基础设施的泡沫,以及更多,就像鲨鱼一样,你得一直游动才能活着,对吧,所以我们必须动起来,非常高兴请到Roman Chernin。谁能跟NVIDIA抗衡,准备好了吗,Roman 我太期待这次对话了,兄弟,我觉得Nebius是过去几年里,我们看到的最不可思议,最令人难以置信的故事之一,而且天哪,未来几年该有多激动人心,所以非常感谢你同意来上节目。
Roman Chernin:对,谢谢你邀请我,很高兴。
Harry Stebbings:来,我想先问一个很多人都在想的问题,那就是,我们现在处在AI基础设施的哪个节点,很多人看到资金涌入就说,这是泡沫,也有很多人说,这才刚开始,你怎么看,我们现在是不是处在 AI基础设施的泡沫时刻。
Roman Chernin:不,我不认为这是泡沫。,怎么说呢,先定义一下泡沫,我相不相信,我们需要几十倍,甚至几百倍的投入来建设,我绝对相信,我可能有偏见,如果我不信,我大概也不会干这一行,所以我觉得我们正处在,这个了不起的时刻的开端 Jensen把它叫做有用的AI 我们才刚刚开始真正的普及,老实说在那么多应用场景里,我们可能只有一个场景跑通了,而这个跑通的场景编程,大家都在谈编程,也就是几个月前才真正开始好用,所以我们得把视角拉远一点,我们距离第一个真正规模化跑通的,应用场景才过去几个月,我们开始看到它在各处落地,我觉得显然我们还会看到,很多很多更多的应用场景,也会看到更广泛的普及,我觉得我们现在看到的,如果你去看世界上任何一家公司,也许除了那些跑得最快的创业公司,录节目前我们还在聊,谁动作够快,谁不够快,对吧,也许有一些例外,但如果你去看今天世界上任何一家公司,去看那里的AI普及程度,你会发现他们刚开始在1%的业务量里,在1%的场景里用AI 所以你去看任何一家大公司,哪怕技术相当先进,你都会发现他们才刚刚起步,我由此得出的结论是,我们才刚刚开始,而且就算你不信Musk说的那些,关于未来太空之类的话。 [00:04:22]
Harry Stebbings:单从实际来看,从企业普及的角度看,这都只是第一步,我们看法完全一致,但如果我只是说,我同意你说的每一点,这对话就太无聊了,在你刚才说编程这六个月到十二个月开始好用之后,我想问你一个问题,有一种观点认为,我们会转向开源模型,本地部署,因为对某些企业来说,成本负担太重了,我们很快就会看到这种转变发生,如果真是这样,这对OpenAI和Anthropic这样的提供商是打击,对Nebius也是。 [00:05:10]
Roman Chernin:为什么这种看法是错的,首先我觉得这不是未来的事,现在已经在发生了,我们看到很多例子,当我们的客户或者产品开发者达到一定规模时,他们就会开始想办法改善经济效益,或者加速增长,这时候很多人就会开始关注替代模型,今天最好的构建方式,显然是用OpenAI、Anthropic、Google 这些优秀提供商的前沿模型,因为他们确实能给你提供世界上最好的能力,但当你把用例跑通了,开始看到用户增长,看到客户数据循环跑起来之后,你也许能找到更便宜,甚至不是更便宜,而是质量更高,更高效的方式来服务同一个用例,你可能不需要世界上最好的通用模型,而是可以创建一个专门模型,在你的特定场景下效果反而更好,这时候你就需要,或者可以考虑从前沿闭源模型,转向开源模型,这些模型最重要的特点不只是开源,而是它们可调可训练,你可以拿过来做后训练,创建一个专门模型,在你的特定场景下可能效果更好,这是我们在全球,在各种用例里都看到的现象,但这为什么会伤害 Anthropic、OpenAI呢,因为实际上,他们又去攻克下一个前沿了,回到我们刚才聊的,还有太多没解决的任务,或者那些不一定受预算限制的任务,每次我们找到更高效解决某个任务的方法,就像一年前DeepSeek那样,现在也还在持续发生,我们就会在同一时间去解决更复杂的任务,我觉得这是一个持续的过程,你总是在推动前沿,总是有更复杂的任务,等着你去解决,当你搞定了这些任务,就可以往下走,降低价格或者提升质量,但我们还有太多没解决的任务 Anthropic、OpenAI 和其他所有前沿模型。 [00:07:34]
Harry Stebbings:还有大把没触及的时间窗口,没触及的市场,它们还在继续指数级增长,你信这个吗,这些公司很多都估值到万亿美元了,可以说是被市场定价到完美状态,如果他们创造的价值不断被侵蚀,他们得不停的从一个价值点跳到下一个价值点,而开源在身后不断蚕食,那你就得不停的找到大量新问题啊,兄弟,这日子可不好过,。
Roman Chernin:其实大多数人的担忧恰恰相反,大家担心的是,我们能不能有足够强大的开源生态,和足够强大的专门模型环境,来撑起这个基础,我觉得我们现在还处在,采用的极早期阶段,还有太多没解决的问题,这说到底是个总蛋糕,有多大的问题,我觉得未来有足够的空间,去解决那么多任务,这块蛋糕足够大,既容得下前沿能力,也容得下针对特定场景,高度调优的模型,以及我们可以在,他们之上构建的,所有这些开源或专门模型,来获得经济效益和性能优势,当我们明确知道自己需要什么的时候,你刚才说每次模型变便宜,会不会伤害业务,我最喜欢讲的一个小故事是,大概15个月前,就是那个Deep Seek时刻,你还记得吧,我记得Nebius股价一周跌了40%左右,大概是2025年2月还是3月,但有意思的是就在同一周,我们可能经历了市场最好的一周销售业绩,市场上的人在担心行业要下行,像Nebius这样的基础设施公司,不再被需要了,因为AI变得这么便宜,可能是泡沫,但与此同时,我们却迎来了公司历史上最好的商业周,那时候我们还处在比较早期的阶段,但那周就是公司历史上最好的商业周,因为太多人发现,他们可以用DeepSeek在生产环境中跑推理,经济账算得过来了,同一时间Cursor也开始增长,我记得他们是最早一批。 [00:09:22]
Nebius四层产品架构
Roman Chernin:我记得他们是最早一批,真正受益于针对编程等场景调优,这些模型的公司,每次智能变得更便宜,同一单位智能的成本下降,我们不会减少消耗,反而会增加消耗,因为我们可以用同样的预算,去解决更复杂的任务,或者终于可以让那些,我们知道技术上可行,但之前经济账算不过来,没法规模化的任务变得经济可行,所以我觉得观察这种经济性改善,带来的变化是很有意思的。
Harry Stebbings:说到Jevons悖论,生产越多反而带来越多需求,那你今天在哪些方面推进的还不够快,你希望能更快一些,所有地方都想更快。 [00:10:37]
Roman Chernin:我们思考怎么建公司的时候,会从四个维度来看,第一个维度是容量,就是我们部署了多少兆瓦,多少极瓦,多少GPU 我们是基础设施公司,必须够大,如果不够大,没人需要我们存在,所以这是物理世界的扩张,团队做得非常出色,但永远不够,你总想跑得尽可能快,现实世界有很多复杂因素,有时候会拖慢你的速度,要启动一个新数据中心,你得走完整个供应链,搞定监管,还有火灾供水,现实世界里会发生的一切,对吧,这是一个维度,另一个维度是产品,你得跑得够快,才能承接市场上新出现的,负载类型和新客户,想想看我们行业在AI这条路上,最早是从那些,自己建模型的公司开始的。对吧,像OpenAI 超大规模云服务商,大型实验室这些,他们作为基础设施客户,需要的基本上就是,算力纯粹的原始基础设施,我们看到市场上有很多,这种大型裸金属交易,我们也做,但这只是我们构建的第一层,就是规模化物理基础设施,像Meta 微软这样的客户,在我们这里可以大规模消费,这是第一层,第二层我们叫多租户云,它仍然面向重研发的团队,但现在我们面对的是,成百上千个团队,他们不想碰物理基础设施,想要托管基础设施,就是云服务里经典的IS 你有存储计算,网络在一个好的环境里,虚拟化带API 可观测性安全,所有正常团队期望云该有的东西,你登录进去。集群就给你配好了,你可以开始训练,或者需要的话跑推理,自己管理应用或工作流,但基础设施的是平台,帮你搞定,对吧,所以如果第一层是用兆瓦来对话的,你看那些公告,谁跟Meta、微软或OpenAI牵了大胆,大家谈的都是兆瓦,交付的是兆瓦级的算力,到了托管云这一层,大家谈的就是GPU小时了,因为这是你卖的核心单位,是你在计算上花的有效时长,在存储和配套服务,但你买的还是托管计算,再往上一层,我们在做的是托管推理。这时候人们不想再按GPU小时来思考了,不想去琢磨B200跟H200跟B300哪个更适合特定负载,。他们不想自己管理VLM或SGLM,自己部署,做各种优化。在这一层,我们的产品叫Nebius Token Factory,是一个托管推理平台。这又对应一类新客户,主要是我们称之为垂直AI公司或企业的那群人,他们是真正做产品的人,不自己做模型,而是在模型之上构建产品,这正好回应你刚才说的专用非前沿模型,当他们需要从Anthropic切换出来,或者想多样化使用的模型时,所以这又是我们提供的一种新语义,或者说客户需要的一种新实体,现在大家谈的是token 你不是为GPU小时付费,而是消费token 可以构建应用,不用去想低层的集群,这就是我们现在所处的位置,但我觉得这也不是终点。因为现在人们开始构建agent应用 agent工作流,当你构建一个端到端的agent时,你可能根本不用去想具体用哪个模型,也不用去想具体要生成多少token 你只希望端到端的任务能被高效执行,并产出预期结果,这时候平台能施展的魔法就是替你思考,这次调用用哪个模型更好,需要上更聪明的模型吗,或者在同样的推理预算下,你可以请求两个更轻量的模型,拿到不那么聪明的token 然后让一个裁判模型来选最佳结果,或者该用多大的上下文窗口等等,所以下一层就是开发者,可能根本不用去想具体的token类型,而是只考虑端到端的任务执行。所以第四层就是open router直接竞品了,我们想在这一层做的事情,其实跟我们在下面几层做的是一样的,就是打造一个优化引擎,你可以用各种开源或者合适的工具,去构建你的agent 但当你需要规模化的时候,你就会开始考虑经济性,开始考虑可靠性,也就是可重复的执行,这时候它就不只是一个,模型选择的问题,也不只是结果好坏的问题,而是一个系统问题,你需要让它可靠,需要让它可重复,还需要让它在经济上可行,这大概就是Nebulous 能创造价值的地方,方式也一样,我们不会告诉人们怎么去构建他们的应用,我们只是说,好,如果你想让这个模型,以这样的经济性为你工作。我们可以帮你优化,同样的,如果你想让这个agent端到端底,以这个预算,这个质量运行,也许我们也能帮你优化,再说一次,这只是为了明确一下,这算是一种有点推测性的想法,关于下一步会是什么,不是说我们现在已经有了。 [00:16:14]
Harry Stebbings:而是我们看到客户在往这个方向演进,我们认为我们可以在这里打造下一层产品,我很喜欢这个思路,这些我都记下来了,我想顺着你提的四个支柱聊一下,你第一个说的是算力容量,如果你今天的容量是现在的十倍,会有什么不同,能一夜之间卖光吗,好问题一夜之间卖光不会,但我们肯定有这个需求。
Roman Chernin:我觉得对我们来说,关键问题不是有没有需求,而是怎么去构建需求组合,因为这个市场上的客户太多了,你可以在他们之间做平衡,再回到产品的四个层次来说,你可以卖裸金属,可以卖托管基础设施,可以卖推理服务,未来也许还能卖一些新的产品层,我觉得我们在努力做的,就是构建一个相当多元化的客户组合,我们相信往技术站的上层走,我们能为客户创造的价值,就越大,而且实际上,越往上走,我们能服务的客户群体,也越大,因为在裸金属层面,全世界可能只有十几个客户,能跟你合作,在托管基础设施层面,有几百个,在推理层面,有几千个。 [00:17:00]
Harry Stebbings:到了agent层面,会有几万个新的开发者,来构建应用,对吧,好,关于客户组合这一点,在容量方面,我非常认同,你肯定希望自己足够大,有存在感,但又不能大到业务完全依赖他们,带着这种微妙的认知,你对来自Meta或微软,这类客户的收入集中度,觉得多少是可以接受的,这个问题问得很好。
Roman Chernin:我得说这是我们业务的核心问题,不单是Nebius 而是整个产品类别都是如此,我们一直公开的跟投资者和客户讲,我们相信Nebius的长期战略,是服务尽可能多元化的客户组合,所以我们尽全力去跟很多客户合作,我们构建这个平台,实际上如果你只服务全世界那十几个,像Meta和微软这种级别的客户,他们技术极其先进,拥有自己完整的软件站,他们基本上只需要物理基础设施,他们会把自己所有的东西都带过来,部署在你的基础设施上,然后运行,对吧,你能在物理基础设施之上,给他们提供的额外价值非常非常少,顺便说一句,要满足他们对物理基础设施的需求,本身就是一个很大的挑战,因为你可以想象他们要求非常高。而且他们需要的是世界上规模最大的基础设施,所以有时候人们说这是大宗商品,但在那个规模上,它真的不是任何东西到了真正的大规模,都不是大宗商品了,但回到你的问题,能合作的这类客户群体其实很小,而且你也不一定需要全套的软件站来服务他们,所以我们从Nebius成立的第一天起,就有意的构建这个软件站,因为我们觉得这对我们更有利,如果我想说的对世界更有情怀一点,那就是需要有公司能支持客户,不只是在物理基础设施这一层,而是能做的更多,为了业务的长期安全。 [00:19:08]
Harry Stebbings:你难道不是必须构建全站吗,否则你就会变成这些巨头的算力供应商。
容量价格与客户价值
Harry Stebbings:否则你就会变成这些巨头的算力供应商,这当然能赚很多钱,对,但你的业务会极度集中,而且非常垂直。
Roman Chernin:对我觉得是这样,再说一次,我们不知道世界最终会走向何方,在一个需求无限的世界里,你也许可以长期甚至中期的,靠卖这种整租模式的合同维持下去,但是比如说,当来自客户来自需求端的竞争越多,你就有资格挑剔,甚至可以选择跟哪些客户合作,去跟那些更认可我们平台价值的客户合作,世界上有各种各样的客户,有的更在意价格,有的更在意质量,有的则真的想要一个更先进的平台。 [00:20:07]
Harry Stebbings:因为他们想集中精力在自己的平台或产品上,不想在这方面花时间,在聊第二层产品之前,还是先回到容量这个话题上,现在容量供应这么紧缺,如果你把价格翻一倍,需求会有什么变化吗,这问题挺难的,我们其实刚提过价,就在提了30% 对就几个月前。
Roman Chernin:但我们供应端怎么说呢,管道压力还是挺大的,而且说实话,我们也不太清楚,那个平衡点到底在哪,我告诉你为什么,这不光是我们想多赚点钱,趁着短缺,让大家多付点,某种程度上,这确实管用,大家需要算力来搞建设,但这里有一个临界点,尤其是在训练阶段,不那么明显,因为训练算是一次性成本,但如果你相信,我们正在转向推理,而推理是服务客户的成本,那就会有一个经济账,算不过来的点,我们客户的产品经济模型,如果成立,他们就能增长,我们也能跟着一起增长,这不单纯是个供需关系,价格完全弹性的事,价格在某种程度上是有弹性的,但我们也想做有意义的事,想认真考虑客户到底需要什么,而且顺便说一句,这不光是GPU小时的成本。你做的所有优化,我们称之为TCO 也就是总拥有成本,这也是我们为什么在构建软件平台的部分原因,抱歉,我又绕回产品了,你想聊容量,但大家太执着于容量了,容量当然重要,但大家太执着于容量的名义价格了,你可以给GPU定价3美元 4美元 5美元,但根据不同的使用场景和平台质量,给客户带来的实际成本结果,可能完全不同,它能跑多久,有效不间断运行时间是多少,如果谈推理,你能提取多少Token 我们看到所有这些优化正在发生,能把Token的价格改变一个数量级,大家天天在聊某块GPU的成本,但如果你在模型层面做对了,价格能差好几倍,这些都应该作为一个系统协同工作。而不是说,如果你只谈原始基础设施,那你能动的就只有价格,但如果你构建了平台,给客户提供高水平的服务。 [00:23:00]
Harry Stebbings:那你就能从中获取更多的经济效益,而不仅仅是从基础设施的成本结构里扣,对吧,那如果我们聊到第二层,从容量 GPU小时,稍微转向产品本身,也就是多租户这一块,在这个环节里,你问自己最主要的问题是什么,如果说在第一层容量那里,问题是我们的收入集中度有多高,那在这一层价值里,核心问题是什么,客户需要什么,这很正常,你跟很多产品创始人聊,问题都一样,说到底客户需要什么。
Roman Chernin:客户的需求在怎么演变,需求在往哪里走,我们看到整个行业在从训练转向推理,从单纯使用模型转向构建引擎,从主要是AI实验室消耗算力转向企业开始入场,如果我们想保持相关性,就得一直跟着这些变化走,这就是我们在产品层面问自己的核心问题,客户需要什么,以及Nebius是什么,我们需要创造的价值是什么,因为我们毕竟是一家小公司,不可能什么都做,我们必须非常精准的找到自己能比别人做得更好的地方,以及基于客户演变的趋势,我们应该聚焦的价值点在哪里,在客户需求的变化里。
Harry Stebbings:有哪些是你看到了但公开讨论的比较少的,客户需求在发生哪些变化,是你觉得公开讨论里很少提到的,大家都在说从训练转向推理。 [00:24:35]
Roman Chernin:我觉得这只是一个非常宏观的看法,因为这种转向实际上意味着,人们在构建具体的产品,在这些产品里,他们有自己的一套经济模型,有自己的增长轨迹,不是说同一块GPU换个用途就完了,我觉得这会带来全新的要求,你需要构建自己的推理平台,你不仅要帮客户跑推理,还要帮他们解决模型从哪来的问题,所有人都在拿开源模型做微调或者做RL 那我们怎么帮他们,然后当他们跑起来之后,会生成大量数据,我们怎么帮客户,在他们已经跑着应用,跑着推理的时候,去收集数据,创造数据,然后用这些数据去改进他们跑的模型或者应用,所以这就像大家常说的飞轮效应。你跑推理,生成数据,你可以观察这些数据,然后改进你跑的模型,持续提升最终产品的质量,所以我觉得这里面有很多环节,既有系统层面的,也有AI魔法层面的,如果你愿意这么叫的话,对我来说最迷人的地方在于,我们看到构建的门槛在降低,我们看到越来越多的客户,也就是构建者进入市场,他们不一定是AI研究员,也不一定是推理工程师,像Nebius这样的公司能创造的价值,其实就是降低构建AI产品和AI应用的门槛,让他们真正能用起来,并且把基础设施的所有复杂性,爱的一些复杂性都从开发者眼前隐藏掉,比如怎么调模型,怎么优化推理。这些本身也是研究密集性领域,就让人们专注于自己的客户和用例。 [00:26:36]
Harry Stebbings:顺便说一句,就像他们在云服务上,对待Anthropic和OpenAI那样,你提到了差异化这个词,我和我的合伙人,之前讨论过一件事,是我们必须讨论的,它就在这些层级里面,你已经详细谈过产品构建,以及在产能之上,构建产品的重要性,当人们拿你和其他NEO Cloud的对比时,比如拿你和CoreRave毕业,你们都跑GPU 都有NVIDIA的关系,都有Matter这个客户,区别在哪,我不喜欢跟别人比较,我们构建的原则是全站,我们称之为全站整合。
Roman Chernin:你可以把它想成,全站向下和全站向上,全站向下是指,我们深入物理世界,我们建数据中心,我们造机架和服务器,我们搭平台,当你掌控这些下游的东西时,你就能更快行动,能挤出更多成本,为客户提供经济上,更可行的方案,然后你上游的垂直整合,就是我们刚才聊的产品层面,以及你怎么跟随客户的需求,和客户群体,不被那一小部分,只需要基础设施的人限制住,而是真正去服务企业和产品公司,在他们需要我们的地方,接住他们,我觉得这就是我们的不同之处,至于这种不同怎么体现出来,要我说就是业务集中度更低,客户组合更多元,我们相信长期来看。这对进入企业市场是更好的定位,我们相信最终大量需求会来自企业,当然现在我们大部分业务,还是跟AI原生公司打交道,但我们面前有一个巨大的经济体,一个巨大的企业市场,那些现有的公司,总得有人去服务他们,他们不会买裸算力,他们需要平台,需要工具,需要我们尊重他们的遗留系统,能跟他们更复杂的环境对接,他们不敏捷,有数据要迁移,有系统要集成,这才是大器具。 [00:28:17]
Harry Stebbings:我觉得我们来说,这就是主要的前进方向,你提到四层架构里的第三层,是托管推理,对于不了解的人,你怎么看这一层,会怎么跟他们解释,对非常简单,你构建好了你的产品,不管是在哪写的代码,我其实是用OpenAI的,也是个程序员,够用了,你用OpenAI做出了很棒的产品。
Roman Chernin:把应用场景跑通了,开始增长,势头也很好,唯一的问题可能是,你的利润空间不够,或者你想更激进的,用数据去调模型的行为,但在封闭生态里,你做不到,于是你上网一查,发现有很多优秀的开源模型,在基准测试上已经接近OpenAI了,你就想太好了,成本能降到十分之一,推理更便宜,我还能微调这些模型,把我的数据用上,产品会更好,增长会更快,于是你就去Hugging Face 把权重下载下来,再找个推理引擎来跑,比如VLMs GLM之类的。 [00:29:19]
托管推理与模型迭代
Roman Chernin:比如VLMs GLM之类的,结果发现跑不通,因为要真正拿到你期望的价值,你得做各种优化,得用正确的方式去部署,你不只是在一台机器上,一块GPU上跑token 你的产品规模很大,已经在用几十万张GPU了,你需要全套的编排,缓存,可观测性,客户会问你,这东西到底怎么运作的,等等等等,而且顺便说一句,这些你在OpenAI上本来都有,因为那是现成的生产服务,用OpenAI的时候,你根本不用想基础设施的事,订阅你需要的套餐,按最终结果付费就行了,所以这时候你就需要Token Factory这样的产品 Token Factory提供的是开源模型,或专用模型的托管推理服务,你可以直接跑现成的开源模型。也可以自己微调模型,部署你自己的权重,剩下的所有事情我们帮你搞定,我们会用上各种优化技术,帮你把经济账算好,服务是可靠的。 [00:30:52]
Harry Stebbings:你也不用操心下一批几百张GPU去哪找,诸如此类,它就是一项服务,一种托管服务 Token Factory上面跑着60个开源模型,你之前也说过通过优化能把推理成本最多砍掉70% 我能问个笨问题吗,你们到底是怎么让一个Token变便宜的,对,这也不是什么魔法,你拿一个模型。 [00:31:04]
Roman Chernin:某个基线模型,然后可以针对你特定的场景去做优化,比如你可以做模型蒸馏,做出一个更小的模型,但质量保持不变,你可以做推测解码,可以优化缓存等等等等,所以你是拿着这个模型,基于它构建出一个系统,在你特定的场景里,按照你的需求去跑,同时把经济性优化到最好,而且顺便说一句,我觉得客户用Token Factory 这类托管平台,还有一个重要原因,就是模型本身在不停变化,每周每个月都在变,比如今天可能minimax3发布了,还有Nemotron Ultra也宣布发布了,这种事每隔几周就会发生,每次新模型出来,它在某些基准测试上可能更好,在其他基准上可能不一定,你需要有灵活性,你需要有人支持你去实验。去为你的场景采用最新最好的模型,每次新模型一上线就能用上,像我们这样的平台,其实就是帮你把所有那些切换模型,做基准对比的脏活累活都抽象掉了,这样你就能确保自己始终站在前沿,每次有什么新东西出来,它都会出现在平台上,你可以去测试,如果对你的场景效果更好,你就可以切换过去,整个过程对你来说是平滑透明的,模型开发的这种速度能持续下去吗。 [00:32:23]
Harry Stebbings:你刚才说每隔几周,我斗胆纠正一下,我觉得是每隔几天就有新的出来,这种速度能持续吗,五年后我们还能看到这种迭代频率吗,这个我不知道,很有可能我们会继续看到。
Roman Chernin:大量细分模型不断涌现和改进,我也说不好,不过我还是相信,我们离那堵墙还很远,模型能力的提升还会持续发生,我觉得我们还会看到,更多新的模态和专用模型,进入赛场,我们现在聊的都是这些前沿大语言模型,但还有一整个生命科学模型,机器人模型,世界模型,视频模型,图像模型的世界,他们也都有自己的应用场景,而且我们看到越来越多,针对特定场景的小型专用模型出现,优化的非常极致,就在今天早上,我跟以色列这边一个团队聊,他们在做网络安全防御的基础模型,专门为构建网络防御agent 而优化的模型,他们也不是从零开始,他们会拿一些开源的基础模型。然后针对这个特定场景去训练,在质量和延迟上,做到网络安全防御场景,所需的那种优化,我觉得这种趋势会持续下去,我们会看到大量专用模型,不管是后训练出来的,还是其他方式,他们仍然需要优化的推理服务,和优化的基础设施,来支撑才能让客户真正用起来,我想问一下。 [00:34:06]
Harry Stebbings:回到Token Factory 关于Token成本和Token用量,你看到了什么,别人讨论的还不够多的东西,最近有什么让你感到意外的事吗,其实我觉得,大家说的都差不多。
Roman Chernin:就是增长有多快,我们看到一些公司的增长轨迹,像Anthropic Cursor Cognition Encoding 现在也开始在其他垂直领域看到了,比如医疗金融的一些用例,我觉得这确实挺惊人的,有意思的是,看那些非AI原生创业公司,是怎么动的,我举例子,我们有个客户是Revolut 刚开始合作的时候,他们大概99%的推理预算,都花在币源模型上,花在OpenAI上,他们开始尝试跑一些用例,但有些用例从经济上跑不通,就是说他们没法真正替代人工,或者没法在他们想做的那些场景里增强人的能力,于是他们开始转向开源模型,但切换速度并不快,因为他们得花时间在公司内部搭建一整套引擎。他们首先聚焦的是评估,我觉得这一点被很多人低估了,建立一个用于改进和实验的基础引擎有多重要,你得作为一家公司一个团队,搞清楚什么对你是好的,因为你搞定了一个用例,它跑通了,但之后你想换模型,你怎么知道不会把质量搞砸,你需要有指标,需要有一个阀门机制,需要为AI开发建立一套CI-CD流程,我觉得我们看到的是像Revolut这样的客户,他们需要做这些基础性投入,去理解怎么演进模型,怎么安全地把它们集成到生产流程里,但一旦他们解决了这些基础问题,增长就开始指数级爆发了,我不会低估这些客户在搭建好,能让他们快速交付的系统之后,增长速度能有多快。这是我们在很多客户身上看到的,他们都有这种,你可以叫它基础性投入,一个冷启动问题,就是怎么开始交付,但一旦解决了,增长就指数级了,他们可以用不同的模型,可以在公司内部构建更多产品等等,我觉得这一点从外面看的时候,你会觉得,他们没怎么增长,起步慢,花时间,但如果一家公司有很强的团队,他们建好这个基础,然后就开始指数级增长,我觉得我们会看到,企业端出现大量爆发式增长,在数字化的云源深的公司里,像Revolut Shopify Process Booking.com这些,当他们解决这个冷启动问题,建好一套交付系统之后。 [00:36:31]
Harry Stebbings:他们的AI采用率会疯涨,你觉得三年后Revolute 付给你们的钱会多多少,我不知道,我不知道,我不想谈这个,但我可以说,总体上。 [00:37:19]
Roman Chernin:我觉得他们的增长是倍数级的,我们都看到那些AI公司报告 IR增长,对吧,对他们来说,不是RR是他们的预算,但我认为最先进的公司,他们的AI预算,而且不是那种假的,或者说不是假的,就是那种token堆量的竞赛,我们看到的是,他们在生产负载里怎么做的,他们的增长速度,跟那些AI原生公司报告的 AI消费增长。
Harry Stebbings:跟他们的IRR增速是一样的,所以像Revelo这样的公司,他们也在走同样的指数级增长轨迹,我经常反驳那些说,开源会对最大的模型提供商,构成真正威胁的人,因为我说,听着大企业要的是可靠性,安全性,最重要的是省市,他们不想在底层架构,和各种乱七八糟的东西上捣鼓,你现在告诉我的意思是,你们能提供所有这些,让他们可以从那些提供商那里抽身,获得更便宜更好的体验,因为你们把管道工的事都做了,对吧,对,但我想再说一遍。
Roman Chernin:我的重点不是避怨模型,用开怨模型的话,问题不在于可靠不可靠,像Nebius这样的公司要做的,就是让你用替代模型的时候,不用去想那些底层管道的事,但我觉得核心还是能力,避原模型,比如那些前沿模型,确实很强,而且会越来越强,能解决很多,我们现在还解决不了的问题,而且我们想解决的用例这么多样,市场上一定会有最聪明的模型,最快的模型,还有介于两者之间,够聪明也够便宜的模型,你作为客户只需要为每个具体任务,挑选合适的token来源就行,再回到agent那一层,也许以后根本不需要客户自己去选该调用哪个模型,会有一个引擎知道所有模型的能力,就像你现在去OpenAI做研究。你不会去想需要跑多少轮循环,不会去想什么时候该跳LM 什么时候该去搜索,也不会去想现在该用哪个prompt 这些都在后台自动发生,你只需要给一个任务,有一个推理引擎来决定怎么执行,然后你拿到结果,我觉得很多企业用例,很多agent的任务都会用这种方式解决,到那时候不是你作为关注客户需求的开发者。 [00:39:34]
主权AI、应用层与NVIDIA关系
Roman Chernin:到那时候不是你作为关注客户需求的开发者,去编排这些token和模型,然后我们就需要所有模型,最聪明的来处理最复杂的智能任务,最快的来做快速迭代,这还没算上各种模态,以及未来物理AI世界需要的东西,所以我的观点还是,会有足够多的需求,来支撑不同的模型,我们作为基础设施公司要做的,就是尽我们所能,让开发者能舒服地使用模型,提供的所有这些机会和能力,因为你说的很对。
Harry Stebbings:这不只是模型能力的问题,还要让它们跑起来,优化好稳定可靠,而不是让人去折腾底层管道,看看现在模型的爆发和专业化,就像你说的,会有多少模型被造出来,覆盖不同用例的深度,但遗憾的是,有一点很清楚,欧洲在模型建设方面,远远落后于美国和中国,你觉得一个国家。 [00:40:32]
Roman Chernin:拥有自己的主权模型有多重要,看起来世界是分裂的,我们可能不喜欢这样,但我觉得让世界大部分地区,都能用上足够好的基础模型,这很重要,在欧洲或者至少在我们这一代,我们应该想想,怎么让这里拥有足够的能力,过去几年我们谈了很多,关于主权 AI议程这些话题,但我觉得太多讨论都集中在,兆瓦数和电力上,而不是我们有什么样的建设者,兆瓦数会来的,我们在Nebius一直说的是,只要有需求,我们就会建基础设施,像我们这样的公司都会建,而需求来自建设者,我觉得我们这里需要关注的,是有更多像 Lovable,Black Forest Labs,Mistral 这样的好公司,我们有足够的人投资研究。有足够的人投资产品,然后他们就会创造足够的需求,再次形成飞轮,让我们在需要的时候,有足够好的模型。 [00:41:53]
Harry Stebbings:所以我觉得这才是,我们应该关心的事,今天最有意思的投资领域是哪里,我给你四个选项,基础设施,横向模型,垂直模型,应用层。 [00:42:02]
Roman Chernin:我们做的就是基础设施,所以我们对这个领域挺满意的,我觉得在当前这个世界,这是个好位置,虽然从某种程度上说,我们建的可能是最容易的部分,不是说它不复杂,执行起来确实很复杂,但我们大致知道需要什么,客户也帮我们理解需要什么,但我觉得这个行业最了不起的人,是那些敢于去打造终端用户产品的人,他们实际上推动了这里大部分的增长,那些承担真正风险的人,就是那种做出来的东西。
Harry Stebbings:人们到底需不需要的真正风险,我觉得他们才是我们这趟AI旅程里的英雄,说到AI旅程的英雄,我做节目之前会去跟一些人聊,你刚才也提到,我很幸运采访过一些大人物,我去跟其中一些人聊的时候,反复出现的一个话题,就是跟NVIDIA的关系,如果一方权力比另一方大的多,这种关系还算婚姻吗,你怎么看跟NVIDIA关系里的权力动态,毕竟他们手握这么大的权力,我们看这件事的方式很简单,我们就是把自己该建的东西建好,把产品做好。
Roman Chernin:把我们的故事讲清楚,剩下的自然会跟上,我觉得最让人着迷的一点是 NVIDIA在很大程度上,仍然是一家工程师驱动的公司,在我看来,想赢得NVIDIA的尊重,最好的办法就是,当然他们可能有不同看法,但如果NVIDIA的工程师,尊重你的工程师,你们就有了一个很好的关系基础,可以这么说,我觉得我们一次又一次,证明了自己清楚在做什么,而且我们有一支很强的工程团队,他们看到了也尊重这一点,我们在很多层面都有工程师,对工程师的交流,硬件层面,软件层面,推理,平台层面都有 NVIDIA的工程师对你评价越高,就越能促成更好的关系和合作,当然我们这么想也可能是错的,但这就是我们看到的,我们能做的事。我们就是专注于保持理性,专注于长期价值,这听起来有点虚,大家都这么说,但说到底。 [00:44:24]
Harry Stebbings:把你该干的活干好就完了,对吧,我打算把这期标题就写成 Roman 把你该干的活干好就完了,不然我们还能做什么呢,我们处在这种竞赛里,只能尽最大努力,把自己的工作做好,我觉得就是这样,对,把你该干的活干好就完了,我知道这很好笑,我喜欢这个说法,不过话说回来,在今天这个环境下,把你该干的活干好,最难的部分是什么,四个维度,建规模,建产品,服务客户,其实规模跟产品,这两个维度,我们刚才聊过了。
Roman Chernin:第三个是客户,我们做的是现场业务,我们常说,云是售后生意,你卖的时候,卖的是一个承诺,然后你得让客户满意,去接触客户,覆盖客户,建立一支强大的客户工程团队,也就是面向客户的工程团队 FDE团队,这是第三个维度,去跟客户聊,确保他们了解你,你也了解他们,这是第三个维度,第四个最无聊,但也最让人兴奋的是资本,我们玩的是资本密集型游戏,而我们的竞争对手。 [00:45:13]
Harry Stebbings:是全球资本最雄厚的公司,如果给你无限预算,你会怎么做,建得更快,这个答案很简单,什么建得更快,数据中心,然后把GPU填进去。
Roman Chernin:就是建得更快,我们今年的资本支出计划是 2025亿美元,我们的竞争对手,那些超大规模云服务商,支出是我们的十倍八倍,如果我有十倍的资金,我就会建更多数据中心,更快的把GPU填进去,服务更多客户,这又回到我们开头说的,如果我有十倍的供给,我会怎么做,我会跑得更快。 [00:46:04]
Harry Stebbings:Gavin Baker说过一个观点,我觉得很有道理,他说审批,监管和数据中心建设的延迟,其实反而帮了忙,因为如果今天允许你建十倍的数据中心。
Roman Chernin:反而会造成供给过剩,这其实是个很好的问题,我们的投资人有时候也会问,最大的瓶颈是什么,最大的瓶颈还是那句话,什么都是瓶颈,但你需要从时间跨度的角度来看这件事,在接下来的六个月里,资本帮不上忙,六个月太短了,你有什么就用什么,你得交付,然后在接下来的12个月里,你可以加速一些事情,但这更多还是受限于产能,在12个月的时间范围内,我们可以通过资本或执行来加速一些事情,但到了24个月,你绝对可以解锁很多东西,还有一点很重要,要理解我们不是在建一个数据中心,我们建的是一个组合,一个产能组合,我们拥有的执行能力越强。资本越多就越能并行推进,我们可以解锁更多,这就是我们做事的方式,我们先锁定电力和土地,然后建数据中心,再把GPU填进去,每一个后续阶段都需要更多资本,但我们会尽可能提前推进,确保进入下一阶段时,电力已经锁定了,等我们有足够资本部署GPU的时候,数据中心已经建好并运行了,所以这是分阶段的投资,不同时间跨度下,瓶颈也不同,所以很明显,如果你有更多资本,你就能跑得更快,不是在6个月内,而是在18个月 24个月内肯定可以,我能问一下吗,关于数据中心的建设。 [00:47:36]
Harry Stebbings:我们看到公众对AI的抵触情绪,越来越强 Eric Schmidt在台上被虚,不是因为内容,而是因为AI这个维度,我们也看到公众对数据中心的反感,我记得大概有40%的项目,在规划和审批阶段就通不过了,你们内部是怎么看待和思考这个问题的,这就是我们得面对的现实环境。 [00:48:21]
Roman Chernin:所以这件事有两面,一面是我们作为企业,怎么务实看待,就是我刚才说的,我们把它当成一个项目组合来看,我们要确保项目是超额覆盖的,可以这么说,就算某个数据中心延期了,我们照样能给客户交付足够的算力,而且大多数客户,不会被锁死在某个物理位置上,这毕竟是云,我们可以在不同地方建设,然后把工作负载,调度到我们有容量的地方,这是务实的一面,另一面是我们明显看到,社区和地方当局,要求我们这样的公司,跟他们紧密合作,去解释,去展示我们在做什么,去回应他们的顾虑,去解决这些问题,这就是现实,你可以类比一下 Uber刚开始扩张的时候,很多地方也有抵触,对吧。大家说这是怎么回事,新东西来了,发展太快了,我们没料到会这么快,等等,我觉得你只能去沟通去解释这是你责任的一部分,去跟这些新社区打交道去合作,他们开始依赖你,他们有顾虑,有时候他们只是不够了解,有时候他们的顾虑是合理的,你可以去解决,都一样,做好你的工作。 [00:49:41]
社区、太空算力与长期威胁
Roman Chernin:等等,我觉得你只能去沟通去解释这是你责任的一部分,去跟这些新社区打交道去合作,他们开始依赖你,他们有顾虑,有时候他们只是不够了解,有时候他们的顾虑是合理的,你可以去解决,都一样,做好你的工作。你觉得你们到目前为止做得怎么样?我们骨子里永远觉得自己做的还不够,我觉得在我们开始建设的地方,我们确实取得了不少进展,历史上我们在欧洲经验更多,现在我们中期新建的容量,大概有70% 75%在美国,所以我们在美国当地建立了很多一线团队,去跟那些本地社区沟通。
Harry Stebbings:我们尽力做到最好,是的我们永远需要做得更好,但我们在推进,再帮我理清一个问题,我们刚才聊太空的时候笑了,在地球上建数据中心,物流上已经非常难了,在太空建数据中心呢,我热爱技术,我是个乐观主义者,我希望这想法是不是太疯了,我觉得我们现在看到的一切都挺疯的,不,我的看法很简单。 [00:50:33]
Roman Chernin:现在有那么多聪明人在努力,让它变成现实,所以大概率,我可能没那么悲观,不会说我们三年内,在太空建的会比地球上还多,我不知道会怎样,我的态度是,我足够谦逊,看到这么多聪明人,在试图解决这个任务,把算力带到太空,我有什么理由,不相信它会实现呢,当然还有很多挑战,还有很多事情要搞清楚,但如果有人三年前跟我们说,我们会建Multi-gigawatt级别的数据中心,会建成大规模互联的计算机群,你会信吗,我当时是不会这么想的。
Harry Stebbings:而现在我们就在这里,这已经成了日常,我想跟你来个快问快答,我说一句简短的话,你给我你的即时反应,今天还不存在。 [00:51:38]
Roman Chernin:但你觉得五年后会非常普遍的工作是什么,有一件事显然在发生,就是我们在把开发者这个身份民主化,对吧,现在每个人都可以成为开发者,我说的成为开发者,是指把想法转化成某种数字资产,我希望这里我们必须保持乐观,我希望这种人人都能构建的民主化,会打开很多我们甚至现在还想象不到的机会,当我们让数百万数千万新人拥有这种能力,能轻松地把自己的想法变成实际可用的东西,我们会看到大量新业务,大量新想法就这样诞生,他们会创造出很多我们现在根本想不到的新工作,这就像是这种构建民主化的第二层效应,另外有挑战也需要改变的一点,我觉得这既是风险也是机会,就是教育会怎么变。因为现在当每个人都能接触到智能,你绝对不需要他们去死记硬背事实了,所有知识都触手可及,那你怎么真正训练人去思考,当他们不需要想那么多的时候,怎么教人持续的改变,很多职业不会稳定,你怎么帮助人们,在不断变化的环境中,找到自己,并且真正去思考。 [00:52:44]
Harry Stebbings:去不断学习新概念,我觉得这里面有大量新机会,但也带来了很多风险,你提到你有两个十几岁的女儿,你会给她们什么建议,她们大概十年后就要进入职场了。 [00:53:08]
Roman Chernin:你会怎么建议她们,不,我直接跟她们说,我觉得有两样东西会很重要,我不知道具体需要什么,但我确定有两样东西一定需要,一个是能够带着同理心去跟人沟通,就是理解人跟人交流有共情能力,第二个是创造力,所有跟艺术相关的东西,我希望艺术在某种程度上会一直存在,所以我十年前以为最重要的硬技能,那时候我觉得他们最该学的是数学和工程,现在我已经完全不这么想了,而且我挺高兴的,他们现在在软技能方面比我小时候强多了,再说一遍,能跟人沟通,理解人,对人共情,再加上有创造力,有想法,愿意尝试新东西。
Harry Stebbings:我觉得这两样,如果你能帮孩子培养起来,十年后他们一定会很抢手,怎么教创造力确实是个问题,不过我完全同意,你来把这句话说完 Nebius最大的威胁不是竞争,而是,而是整体的整合,对,我觉得Nebius 作为一门生意最大的威胁。 [00:54:10]
Roman Chernin:是世界变得过于整合了,就像我们聊过的,我们尽量做到多元化,去解决不同客户的问题,在不同层面,服务不同的客户,如果最后这个世界变成,我也不知道,三五个超级模型,超级公司,超级帝国,掌控一切,那Nebius 或者像我们这样的公司,唯一的价值可能就是,帮他们在物理层上,服务他们的需求,所以我觉得,整体来说,整合是我们最大的威胁,世界越民主化,越多元化,我们作为一门生意,就越被需要,你觉得那种情况会发生吗。
Harry Stebbings:我们现在看到的是,价值越来越集中在少数玩家手里,跟多元化正好相反,我希望不会发生,从生意的角度,我觉得对我们来说更好。 [00:55:15]
Roman Chernin:对我们作为人来说也更好,你和我这个世界,能在不同方面,保持相当多元的状态,我在这方面是乐观的,我觉得有太多人,想独立去创造点什么,有太多人想去尝试,去做出新东西,这本身就会自然地产生一种推力,自然地让世界更加多元。
Harry Stebbings:所以希望我们能保持住这种状态,倒数第二个问题 Leo Ashenbrand 现在是个很有名的投资人,有一大群追随者,他最近披露了一笔,对他来说很大的持仓,买了公司5.3%的股份,好像占他投资组合的15% 你们内部怎么看,是那种好样的Leo的感觉吗。
Roman Chernin:我不会说我们没注意到,显然大家都注意到了,股价也涨了,当时是个大新闻,我还是觉得,我们把它看作是,对我们做的事情的一种认可,你得到这种认可之后,会跟自己说,好吧,这些人给了你信任,相信你能执行到位,我反复在说,我们做的是一门售后生意,每次我们签下一笔单子,每次有人投资我们,他们都是在给我们信任和机会去交付,那就回去干活,把东西交付出来,我觉得我们处在这样一个市场里,情绪化也很强,你必须让自己脚踏实地,记住所有这些增长。 [00:56:15]
Harry Stebbings:所有这些客户给你的信任,都是交付的机会,回去干活,你真是太以色列了,美国人可能会说,对冲,你就说不行,我觉得这方面,我更像俄罗斯人。
Roman Chernin:俄罗斯人总是知道,事情得看得非常无时,而且你知道,俄罗斯人总是那种表情,总觉得会出什么事,你得做好准备,所以不,我觉得这真的是很重要的一部分,也来自我们的CEO兼创始人卡迪,你每天醒来就是新客户,新的一天你得交付,没有什么是有保证的,你必须专注于工作,我知道团队为了让事情运转,付出了多少努力,每一天的投入有多关键,市场变化又有多快,要保持相关性,你就得用同样的速度继续前进,或者努力跟上市场的步伐,再说,我觉得说句浪漫点的话,我们其实可以多庆祝一下,但就是没时间,趁这个机会,我真的想对团队说声辛苦了,我觉得我们庆祝的不够。我觉得我们保持不松懈是对的,但我们可以多庆祝一点,多给团队一些尊重,认可他们做了多少事情,这一路不容易,现在也不容易,以后也不会容易,但是对不能停,我们不能停,就像鲨鱼一样,动起来才算活着,对吧,那个很有名的说法,所以我们必须一直动,说到这儿。 [00:58:02]
Harry Stebbings:我真的非常感谢你来参加节目,也谢谢你忍受我这些东拉西扯的问题,你太棒了 Roman 真的非常感谢,谢谢你,也谢谢你花时间跟我聊。