目录
- 从科幻小说谈到 AI 的下一阶段 [00:00:00 - 00:10:00]
- 编程 Agent 之后，模型能力如何继续扩展 [00:10:00 - 00:20:00]
- 企业 AI、个人 AI 与本地硬件的落地路径 [00:20:00 - 00:30:00]
- 开源模型、商业模式与模型公司的压力 [00:30:00 - 00:40:00]
- 推理、验证和不可验证领域的突破 [00:40:00 - 00:50:00]
- AI 的长期影响与 River AI 的方向 [00:50:00 - 00:53:23]
从科幻小说谈到 AI 的下一阶段
一凯：欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI财经。健康与科技领域精品内容，我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。接下来让我为您简单介绍本期我们克隆的这档节目。本期我们克隆的是知名播客Unsupervised Learning的一期深度对谈。主持人Jacob Efron与xAI联合创始人Igor Babushkin展开交流。Igor的职业生涯横跨DeepMind， OpenAI和xAI。主导过星际争霸，AlphaCode等标志性项目。也参与了Colossus数据中心的建设。这期节目里他聊到了离开xAI后创办River AI的思考。以及他在企业AI 个人AI和本地硬件上的三个押注。那我们就一起来听听这期完整的对话。 [00:01:10]
Jacob Efron：欢迎回到Unsupervised Learning。我是Jacob Efron。今天这期我们请到了Igor Babushkin。聊得非常过瘾。Igor几乎每次都在对的时间出现在对的地方。主导了很多非常有意思的AI工作。他之前在DeepMind主导了星际争霸和AlphaCode的很多工作。后来去了OpenAI做了推理方向的早期研究。再后来他联合创办了xAI。在Colossus上做了很多硬核工作。也帮着把模型推到了今天这个水平。能跟Igor聊他的新公司River AI。聊他们在企业个人AI。消费者个人AI。以及本地硬件上的几个押注。真的非常棒。我们还聊了他对整个生态走向的看法。怎么把模型从编程扩展到不可验证的领域。以及他预计什么时候能走到那一步。我们聊了他为什么觉得。B&M模型厂商现在作为生意。其实处境很艰难。也聊了他对AI模型意味着什么。对世界的未来和政策的影响。这些反思。能跟站在这个领域最前沿的人聊这些。大家最关心的问题。真的很过瘾。我觉得大家会很喜欢Eagle的视角。话不多说。有请Eagle。Eagle非常感谢你来上博客。真的很高兴。你能来。谢谢你的邀请。我们也很期待跟你聊。你在DeepMind。OpenAI。xAI。这些年开创了。太多重要的研究。今天这个时代的。很多标志性东西。你都很早就参与了。比如基于验证的推理。推理是搜索。而且你最近离开xAI。创办了自己的公司River。专注做个人AI。我觉得听众们。会有特别多。想听你聊的东西。我想确保他们。能听懂River。听到你对身处AI。这些大势中心的反思。还有你对未来走向的预测。我在想从哪开始的时候。有一件事特别吸引我。你今年早些时候。写了几篇很有意思的科幻小说。没看过的人可能不知道。其中一篇是反乌托邦的。讲模型最终失控。统治了世界。结尾特别有意思。主角意识到。这一切都是自己梦到的。什么都没发生。但他还是决定迈出第一步。开始行动。然后跟你第二篇。形成了很有意思的对比。那篇简直像是写给未来机器的情书。所以先从这个开始吧。我很好奇是什么促使你写这些的。对我觉得去年11月12月左右。我们所有软件工程师和AI研究者。 [00:03:32]
Igor Babuschkin：都经历了一件挺大的事。编程agent突然变得太强了。强到你没法无视他们。以前有人用有人不用。但从那之后。最新一代的Claude Opus模型出来。突然所有人都认同。对这些模型非常强。对他们让我们的工作轻松太多了。而且哇。他们现在承担了太多。我们以前做也享受的软件工程工作。所以这对我们所有人来说。都是一次真正的转变。跟很多人一样。我12月份花了一部分时间。用编程agent。把我这辈子想做过的。做过的编程项目全部重写了一遍。你会产生一种难以置信的感觉。哇现在是不是什么都有可能了。而且这些agent还会继续变强。能力还会继续增长。那随着这些模型越来越强。整个世界会变成什么样。这个想法启发了。这个故事非常像现代版的魔法师的学徒。魔法师的学徒对魔法特别着迷。开始使用它。但后来魔法失控了。就像迪士尼短片或者原始里那样。所以在我心里。这很大程度上就是那个故事的翻版。我觉得我们现在都成了魔法师的学徒。LM和Agent变得越来越强。而且我觉得不会止步于编程。所以我特别特别想搞清楚。我们的agent接下来会往哪走。还有什么会被改变。我想的越多越觉得一切都会被改变。所有计算真的在agent面前都是潜在的。都是可以拿下的。因为深度理解你生活中。工作场所里。整个世界正在发生什么。然后基于此采取行动。这件事可以应用到任何问题上。应用到你想做的任何事上。无论是作为企业还是作为消费者。所以我才对个人AI这么感兴趣。因为我觉得那就是下一个迭代。 [00:05:16]
Jacob Efron：是agent能为我们做什么的下一种形态。它的影响只会从这里继续增长。我是说显然你提到的12月时刻。确实引起了很多人的强烈共鸣。而且我觉得实际上很多研究者。看了你的故事后都说。这真的戳中了要害。我们在11月12月确实经历了。编程测的那个时刻。我觉得很多人都在琢磨。要让agent在其他领域真正干好活。需要什么条件。可能也在问编程和数学。或者说那些最容易被验证的领域。是不是有什么特殊之处。我们会在其他领域看到同样的进展吗。你觉得要走到更通用的agent。需要做些什么。
Igor Babuschkin：对我觉得从这出发。其实有很多下一步可以走。有很多不同的方向会打开。编程算是核心路径。是那种显而易见的容易摘的果子。因为它可验证。因为它触及很多不同领域。能解锁很多。你能用agent去做的事。但从这往后。有几个不同的方向可以选。我觉得科学发现是一个非常非常明确的方向。我们也开始看到agent在数学和科学领域。解决真正严肃问题的第一批火花。这也是xAI背后的一大灵感来源。我们当时都被这个想法深深吸引。那时候LMM其实还不太能解决困难的推理问题。但我们隐约觉得这会是下一个大突破。这就是xAI背后的大灵感。也是我们创办它的原因。所以我觉得agent会在复杂编程项目上。继续快速进步。数学问题也一样。凡是可验证的都行。数学这一块。你甚至可以用lean这样的工具。把你的定理和证明形式化。它能给你一个好的奖励信号。帮你改进agent。随着这些证明越来越复杂。它也能帮你判断。你是不是真的找到了证明。亲眼看到这事真的跑通。特别让人着迷。因为你知道。我们AI研究者之前就想过一段时间。也许形式化将来会有用。所以真的在现实中看到它发生。感觉完全不一样。但除此之外。一个巨大的瓶颈是数据。所以如果你想在物理世界取得大突破。比如材料科学。新的基础物理发现。不管是造更好的火箭发动机。还是伊朗可能想用agent做的那类事。那我们就经常需要在真实世界里跑实验。所以你得想办法跟真实世界环境。把那个闭环给合上。agent有了想法。比如设计什么材料。他需要得到反馈。知道这个想法好不好。成了还是没成。所以我觉得在用agent做科学。发现这件事上这是一个大前沿。科学和发现这个方向。我觉得是当下正在发生的一件大事。很多人在用agent专注做这件事。那里有潜力造出高度超级智能的AI。比任何人类。甚至比任何一群人类都强得多。不管是搞科学突破。做决策。也许还能预测未来。所以我会把它宽泛的归为一类。那是一个方向。然后我觉得可能还有别的方向。那么普通人会用的AI是什么样的。他们大概不会去用那种。跑一次就要100万美元的超级AI吧。所以那个每个人都会用的AI是什么。我觉得我们可能真的会看到一点分化。一边是只有少数人能接触到的超级AI。另一边是日常的普通的AI。你和我都会一直用。用来提高效率。帮我们把生活安排得更好。基本上就是过得更好。所以很大程度上。奖励函数就是怎么帮人感觉更好。办成更多事。对自己感觉更好。所以我觉得在改善人类生活。改善我们日常日子这方面。也有巨大的潜力。但那些agent可能并不真的需要最大能力。他们可能不需要能证明黎曼猜想。我是说感觉这种分化已经在发生了。对吧。最前沿的模型。 [00:08:54]
Jacob Efron：对很多编程和数学任务确实非常有价值。但对很多ChatGPT用户来说。其实并不明显更复杂的模型真的更好。一年前的那些模型。对他们想做的绝大部分事情来说完全够用了。对没错。 [00:09:07]
Igor Babuschkin：而且我觉得让每个人都能感受到。AI的好处特别重要。因为现在越来越像是少数几家大公司。在造这些强大的AI模型。控制着访问权。还能决定他们的行为方式。对我来说。让每个人都觉得自己真的能从中获得价值。这一点非常重要。这也是我最近创办River的一大动力。因为在我看来。这本质上可能是个技术问题。对吧。我们对AI应该怎么造。怎么分发给人们。已经做了一些假设。你要做大规模预训练。你要搭一个API and token。收费。这是大家都知道的模式。大家都在跟。但事情不一定非得这样。我们可以想出新的办法。来构建AI模型。定制它们。把它们分发出去。也许能让人们。更好地掌控自己的体验。更好地掌控AI在做什么。这既是研究问题。也是工程问题。所以我觉得这事特别有意思。这就是我们决定。 [00:10:01]
编程 Agent 之后，模型能力如何继续扩展
Igor Babuschkin：而且我觉得让每个人都能感受到。AI的好处特别重要。因为现在越来越像是少数几家大公司。在造这些强大的AI模型。控制着访问权。还能决定他们的行为方式。对我来说。让每个人都觉得自己真的能从中获得价值。这一点非常重要。这也是我最近创办River的一大动力。因为在我看来。这本质上可能是个技术问题。对吧。我们对AI应该怎么造。怎么分发给人们。已经做了一些假设。你要做大规模预训练。你要搭一个API and token。收费。这是大家都知道的模式。大家都在跟。但事情不一定非得这样。我们可以想出新的办法。来构建AI模型。定制它们。把它们分发出去。也许能让人们。更好地掌控自己的体验。更好地掌控AI在做什么。这既是研究问题。也是工程问题。所以我觉得这事特别有意思。这就是我们决定。
Jacob Efron：创办这家新公司的原因。这个想法是什么时候。在你脑子里成型的。毕竟你之前的经历。是在一些最大的必源玩家那里。做的就是那种模型。所以这一切是怎么慢慢形成的。2025年我离开xAI之后。
Igor Babuschkin：决定做一点AI安全公司的天使投资。所以我见到了AI圈子里。很多不同的创始人。尤其是AI安全领域的。他们有很多新想法。关于怎么长期让AI对人类更有益。或者怎么更好的控制。AI的负面影响和风险。外面有好多很棒的想法。我觉得都特别有意思。但说到底。我只是坐在旁边。等着这些人推进他们的使命。取得成功。我变得非常不耐烦。所以我就觉得。我自己得做点新东西。好帮忙推动这个方向。对我来说。帮助分发AI的好处。帮助分发对AI的控制权。这本身就是AI安全的一部分。也许对我来说。这是眼下最紧迫的事。因为对AI的权利。正在相当程度的集中。尤其是在美国。你能感觉到人们对此不太高兴。他们不一定信任那些造AI的人。也不觉得对方会为他们着想。所以我觉得我们得展示一些办法。让人们能感受到好处。能觉得自己掌控着这一切。那正好可以聊聊你对River AI。这家公司的愿景产品。还有你希望怎么去实现它。好我们创办公司的时候。就四处看了看技术机会在哪里。有哪些想法被投资的不够。却可能改变我们使用AI。构建AI的方式。我们把它当做一个研究项目来推进。看看能不能做成。然后推给全世界的人。所以我们目前在做三个不同的项目。第一个是。我们意识到帮企业掌控AI的工具。其实已经基本就位了。我们只需要把它做得非常好用。这就是我们做River API的原因。你可以把它理解成一个强化学习和微调服务。跟Thinking Machines的Tinker这类产品类似。但我们有自己的独特做法。我们最自豪的一点是我们的工程能力。我们尽可能地把这个平台优化到极致。用我们这些年积累的所有技能。把训练做得尽可能便宜。可靠可扩展。这是我们在River API上下的。第一个赌注。第二个是关于个人AI和个性化。我们觉得有机会把AI Agent。跟个人的对齐。做得比现在好得多。现在我们训练AI模型。基本上是为了让它在。平均用户身上表现良好。你实际上是把所有用户的。所有反馈所有结果。在训练室全部混在一起。然后告诉模型。对所有人都表现成同一个样子。我们的想法是。如果我们打破这个假设。我们让模型能针对它服务的每个个体。表现出不同的行为。所以你的AI agent跟你说话的方式。会跟我那个agent。跟我说话的方式不一样。他们会有不同的偏好。不同的行为。这块研究现在还比较早期。所以我们有几个不同的方向。在往下走。因为很明显。现在市面上。所有商业上成功的agent。都是用那种面向平均人群的方式。训练的。但我们觉得。一旦agent。真正直接跟你学习。每次交互都变得更好。那种体验会非常棒。所以这是我挺兴奋的一件事。然后我们下的第三个大赌注。是在硬件上。因为现在的假设是。想用上最强的agent。唯一途径就是。接入数据中心。像OpenAI。Anthropic这些公司。建了非常非常大的数据中心。所有推理。所有训练。都在那里发生。作为想用AI的个人。你只能去调他们的API。没有别的路。他们可以决定怎么限制。给不给你访问权限。所以这里最根本的一步是。我们能不能把推理算力带到用户本地。要真正在办公室。在家里放一台小设备。就能跑前沿模型。需要做到什么。这很大程度上是个研究项目。因为现在内存限制很严重。你根本没法把模型的所有权重。塞进一块芯片一台设备里。所以这是我们想搞清楚的事。怎么把全世界最好的模型交到个人手里。让你真正觉得这东西是你自己掌控的。它就在你家里。你的数据也受保护。这就是我们下的三个赌注。我们运营公司的方式。很像当年OpenAI和DeepMind的做法。我们想得非常长远。也愿意冒一些更险的险。我们假设会有研究突破。会有一些新想法被用上。 [00:14:19]
Jacob Efron：不这太有意思了。我觉得这三个赌注。每一个都特别有意思。那要不我们一个一个来聊。先从最后一个开始。就是硬件那块。你在这里想做的事。范围显然非常广。硬件那边的动机。是不是说到底。最可控的AI。就是能在本地跑的那种。这样没人能决定。你有没有访问权限。这是主要动机吗。还是说你看到了。其他对终端用户。实实在在的好处。所以才愿意把硬件这块加进来。
Igor Babuschkin：把复杂度再往上提一档。完全正确。对我们来说。控制权这块确实是最重要的。我们希望人们能。掌控自己的AI体验。真正觉得这个模型是自己的。不是别人的。这是很大的动力。但后来我们开始做这件事的时候。也发现了几个额外的好处。比如家里放这么一台本地设备。延迟会低很多。这就在用语音。用视频输入输出。去跟agent交互的时候。打开了更多可能性。所以一旦用上这种形态。确实会冒出一些新的消费机体验的可能。这是我非常兴奋的一点。因为它甚至可能让整体体验。比数据中心那边好得多。对。而且我觉得在个人AI的世界里。隐私也会变得很重要。这些个人agent很了解你。会观察你做的所有事。然后主动帮你。他们会接触到海量。关于你的敏感数据。基本上你电脑里所有文档。你在房间里说的每句话。都可能被个人agent存下来。因为他有了这些上下文。对你才更有用。对吧。而把这些数据全送到数据中心。那边可能有安全漏洞。或者你的数据可能被拿去训练。 [00:15:52]
Jacob Efron：哪怕你不愿意。这真的很不理想。所以我们也在从隐私的角度想这件事。我觉得这家公司的愿景之一。就是每个人都拥有自己的模型。他会持续学习不断改进。为那个人量身定制。大家在想这类模型怎么建的时候。有不同的流派。一派是直接改权重本身更新权重。另一派说也许靠一个非常好的记忆系统。加提示词就能做到。你怎么看这件事。你们是在同时探索很多不同的研究方向。还是说你对某条路已经比较笃定了。对，对我们来说，到底哪些会成为关键工具，其实还挺开放的。 [00:16:29]
Igor Babuschkin：但要说我从做AI模型的经验里学到的最重要的一点，那就是端到端训练。你真的要让你的agent学会去用个人信息，去用他的记忆系统，如果他有的话，这一点非常关键。而今天，我们经常做的是拿来现成的专有agent，他们大多在编程上训练的很多，但未必训练过长时间跨度。去帮助一个人。用记忆去帮人。那怎么最大化一个人的幸福感。这才是奖励函数。这件事其实还没人真正做成过。所以对我来说。这才是核心。因为我观察了这么久。发现那些为特定任务训练出来的模型表现最好。 [00:17:08]
Jacob Efron：你真的要针对你想优化的那个真实信号。去做端到端训练。也就是个体的幸福感。你们是打算让模型在真实环境里跑起来。然后接上某种自我报告的幸福感。
Igor Babuschkin：或者可穿戴设备来闭环吗。对。这确实是我们得想清楚的。但你也可以试着观察。我到底有没有帮到用户。模型越来越聪明。他们可能自己能判断。我今天把事情搞砸了。负奖励。我让事情变好了。正奖励。所以可能性在不断增加。这正在进入一个很难验证的领域。挑战很大。我们需要用模型来判断你过得怎么样。
Jacob Efron：但随着模型越来越聪明。这正变得越来越可行。当你设想River的未来形态时。你觉得模型之间会有哪些差异。能作为典型例子。比如如果我和你的模型各自随时间演化。显然有些能力如果通用模型都有。大家都会高兴。但然后还会有一些大家各自想要的不同东西。你脑海里最先想到的例子是什么。我觉得例子真的是无穷无尽的。很难想象。 [00:18:11]
Igor Babuschkin：因为我们自己还没体验过。但可能是一些很微妙的东西。从模型回复你时写多少字。到他用什么词汇。更随意还是更正式。回答的方方面面都是。今天我们只有一套固定的回复方式。固定的风格。但未来这些都可以久。可以变得几乎无限。因为它会影响他一整天怎么帮你。什么时候该主动找你。什么情境下。他是不是太烦人了。还是帮得不够。他会自己校正到适合你。他会知道你在书。电影。音乐上的品味。然后据此调整你的一天。可能性真的是无限的。要更有灵感的想象。可能发生什么。你可以看看。今天的推荐系统能做到什么。比如你用TikTok或YouTube。它会搞清楚你的兴趣。让你在自己喜欢的内容上。钻得很深。这种体验和给每个用户。推同一组视频完全不同。这就是我们想为。Agent世界创造的东西。你可以把它想成一个。推荐系统和Agent的混合体。 [00:19:14]
Jacob Efron：以前从来没人做过。所以这是我们挺兴奋的一件事。你可以想象企业领域。显然也有类似的情况。你说你们起步时。是和企业在模型上合作。过去几个月显然有很多。关于拥有自己的模型。训练自己模型的重要性的讨论。感觉今天很多人这么做。其实是为了成本和速度。对吧。比如找办法跑更小的模型。你觉得这会怎么演变。你觉得大家真的会去推动能力边界吗。还是说显然你说的这些。和人们有不同的偏好。有很多相似之处。公司有不同的文化。不同的做事方式。你觉得这些相似之处。会怎么展开。对我觉得今天很多人。会先用专有模型。
Igor Babuschkin：他们能力最强。大家都在用。这是起步时。选他们的一个重要原因。然后他们可能会出于。速度成本的原因。做定制模型。如果你不得不在。自己的基础设施上跑。因为你可能有其他客户。数据更敏感。这些是我看到的主要原因。但我觉得很多人。选专有模型。很大一个原因是。这个领域变化太快了。如果你想在公司内部。学会训练自己的模型。掌握深度学习。掌握强化学习。并且充分利用。你手里的内部数据。你得组建团队。搭建基础设施。要超越专有模型。可能得花上好几个月。但到那时候。正好赶上下一代出来了。对吧。没错。又出了更强的模型。所以你本来。直接用专有模型就行。我觉得过去几年。一直是这个趋势。但这种情况会变。因为开源模型。开始变得非常强了。而且我们开始。把那些低垂的果实都摘下来了。那些不需要对公司要解决的数据和问题。有极其深入了解就能做到的事。所以如果我是某个领域的专家。我的业务是做某个SaaS工具。比如一个人力资源平台。可以想象我手里有最好的数据。我最懂客户需要什么。而且我对这个领域的思考。比Anthropic或OpenAI。对我做的这个产品的思考要多得多。所以其实这些公司。最有资格决定他们的agent该怎么工作。该做什么不该做什么。咱们最好的服务客户。到目前为止。这个优势还没真正显现出来。因为我们还在搭着专有模型。越来越强的这波浪潮。但一旦这波浪潮到头了。你就得选。要么把你所有的数据交给。Athropic。交给OpenAI。让他们把模型后训练做得更好。要么你自己来。自己想办法榨出额外的能力。我觉得很多人会选后者。因为前者等于把你整个生意的基础交出去了。否则你就是在交出。那个让你比所有竞争对手都强的。稀缺的东西。你觉得专有模型真的会变慢吗。 [00:21:45]
企业 AI、个人 AI 与本地硬件的落地路径
Igor Babuschkin：他们能力最强。大家都在用。这是起步时。选他们的一个重要原因。然后他们可能会出于。速度成本的原因。做定制模型。如果你不得不在。自己的基础设施上跑。因为你可能有其他客户。数据更敏感。这些是我看到的主要原因。但我觉得很多人。选专有模型。很大一个原因是。这个领域变化太快了。如果你想在公司内部。学会训练自己的模型。掌握深度学习。掌握强化学习。并且充分利用。你手里的内部数据。你得组建团队。搭建基础设施。要超越专有模型。可能得花上好几个月。但到那时候。正好赶上下一代出来了。对吧。没错。又出了更强的模型。所以你本来。直接用专有模型就行。我觉得过去几年。一直是这个趋势。但这种情况会变。因为开源模型。开始变得非常强了。而且我们开始。把那些低垂的果实都摘下来了。那些不需要对公司要解决的数据和问题。有极其深入了解就能做到的事。所以如果我是某个领域的专家。我的业务是做某个SaaS工具。比如一个人力资源平台。可以想象我手里有最好的数据。我最懂客户需要什么。而且我对这个领域的思考。比Anthropic或OpenAI。对我做的这个产品的思考要多得多。所以其实这些公司。最有资格决定他们的agent该怎么工作。该做什么不该做什么。咱们最好的服务客户。到目前为止。这个优势还没真正显现出来。因为我们还在搭着专有模型。越来越强的这波浪潮。但一旦这波浪潮到头了。你就得选。要么把你所有的数据交给。Athropic。交给OpenAI。让他们把模型后训练做得更好。要么你自己来。自己想办法榨出额外的能力。我觉得很多人会选后者。因为前者等于把你整个生意的基础交出去了。否则你就是在交出。那个让你比所有竞争对手都强的。稀缺的东西。你觉得专有模型真的会变慢吗。
Jacob Efron：因为显然数据预算和资金是无穷无尽的。他们可以去各个领域买数据。我觉得能看到几种不同的说法。但其中一种可能是比如拿银行来说。你其实可以去雇一堆前银行家。他们能帮你标注大量数据。能在不同环境里做很多事情。然后突然你的模型在金融方面就变得很厉害了。我觉得有个有意思的问题。第一我们是不是预期模型进步。会在这些其他领域继续。第二。一个企业的数据。跟外面那只庞大的数据。标注大军相比。到底有多独特。对。训练这些模型。其实是有边际收益递减的。我们想让预训练模型。 [00:22:24]
Igor Babuschkin：和整个模型变得越强。就得堆越多的GPU。收集越多的高质量数据。而公司在规模化上。做得非常出色。投入了多得多的精力。收集数据。调模型。一遍又一遍的改进。往里面加新的创新算法和能力。但最终总得有撑不住的地方。到某个节点。你不可能用GPU把整个地球都铺满。所以最终AI公司在模型能力上。能做的事会有所放缓。而且我觉得我们正在接近那个点。与此同时还有另一件事在发生。前沿模型开始变得太强了。强到你可能不想再发布它们了。或者你可能会被批评。或者会有监管措施阻止你发布下一代模型。与此同时开源模型越来越强。所以我觉得。作为专有模型的开发者。你开始被两头挤压。你把模型做得太好了。不让你发布。但开源就在你身后。每个月都在变强。所以我觉得。做专有模型。其实不是个好位置。我觉得OpenAI。和Anthropic的出路。是创新。就是过去几年。让他们走到。今天这个位置的那套东西。他们得想出一些。真正全新的。根本性的想法。让模型变得更有用。让所有人都能感受到。他们做的东西的好处。探索新领域。探索新的方式去产生影响。去创造收入。因为基本上能力提升在放缓。对没错。如果他们做不到。那可能就真的只能把模型留在内部了。因为现在正在跨过一条很关键的门槛。到了这个点上。你真的得仔细想清楚。还能不能把模型开放给任何人用。而在后训练这一侧。投入的精力也真的非常惊人。基本上等于把全世界。每个领域最顶尖的专家。都聚到一起。让他们跟你一起。把所有知识流。集中到一套权重里。然后再交付给所有客户。要把这套体系规模化。难度也极其大。而且同样存在。收益递减的问题。我觉得出路在于。走向分布式。现在全世界各个领域。本来就有这些专家。他们分布在现有的公司里。在大学里等等等等。我们应该给人们一个机会。让他们能独立地。去改进模型。本质上就是在本地。做自己的后训练。为自己。为自己的公司。为自己的团队。为个人。而不是试图把全人类的知识都抓过来。然后按token去卖。这只是我个人的想法。 [00:24:46]
Jacob Efron：而这正是我们在River AI想做的事。想办法让人们能在本地做自己的后训练。有意思。因为我觉得我们现在处在一个这样的节点。你在某个领域买大量数据。专注在那个领域上。然后他就把那些能力加进来了。你基本上是一个领域地做。这跟预训练的世界感觉很不一样。预训练是到了某个预值之后。你会看到全面的大规模的泛化。对吧。有些人提出过。后训练和强化学习里。可能也会发生同样的事。比如你加了第30个。第40个。第50个领域。突然之间。把所有东西放在一起。带来的收益。就远超你单独。在某个地方训练金融。在另一个地方训练医疗。你觉得我们会在强化学习上。看到这种泛化。以及泛化带来的好处吗。还是说永远更合理的做法。就是拿一个很强的预训练模型。 [00:25:39]
Igor Babuschkin：然后专门针对某一个领域去应用。我觉得我们确实看到了泛化。只不过是在这个意义上。这些模型对世界有非常惊人的知识。又有非常广泛的技能。所以他们现在可以进入任何领域。把其他所有地方的知识都带进来。编程就是一个很好的例子。至于后训练的不同方向之间。是不是有很强的协同效应。说实话我真的不太确定。我觉得有太多专业领域。太多专业技能。可能真的只在某一个地方用得上。我在想这些东西到底有多少。真正在提升模型的整体智能。很多智能似乎来自编程和数学的训练。以及类似的东西。对这确实是个很有意思的问题。 [00:26:18]
Jacob Efron：企业自己做后训练到底有多大意义。对吧。比如有些制药公司。手里有药物实验的数据集。相当专有。还有些芯片设计公司。确实有些东西是。你会觉得。对。这些公司有相当独特的数据。外面大概没有。但对我来说不太确定的是。比如一家普通的银行。他手里的数据是不是真的不会。最终那些闭源模型提供商。是不是也能拿到。
Igor Babuschkin：对如果这些企业。没法保住自己的竞争优势。没法用自己的知识产权。去把自己的模型做得更好。那我们可能会看到。其中一些企业陷入困境。所以我觉得这真的取决于行业。而这也是你可以去推测。事情会怎么发展。转型会怎么发生的方式。要我说最糟糕的位置就是。你所有的知识都在互联网上。如果让你这家公司独特。特别的一切都已经在外面。可以被抓取。那是一个非常危险的位置。 [00:27:12]
Jacob Efron：这其实正好呼应了River的整体理念。就是把智能留在本地。也就是你使用这些模型。跟他们互动的方式。我觉得我们其实是有选择的。作为一家公司。
Igor Babuschkin：你可以选择把自己的数据。交给像Entropic这样的公司。通过API或者其他方式开放出去。甚至可能把数据卖给他们。如果你想靠这个赚钱的话。或者你也可以开始利用这些数据。去构建自己的模型。所以我看到的是两条不同的路。一条显然通向智能的进一步集中。另一条通向AI收益的更加分布式。
Jacob Efron：在你现在做的所有这些事情背后。感觉现在任何想自己建模型。或者微调模型的人。用的都是那些最前沿的中国开源模型。显然过去几个月。关于这些模型有很多讨论。我猜你肯定觉得前沿开源模型。对世界是很好的。那你怎么看这个事实。现在这个生态全是中国的。然后政府又在说。要可能禁止这些模型。对我觉得首先。 [00:28:13]
Igor Babuschkin：市面上有强大的开源模型是好事。它真的降低了门槛。让任何人想进入AI领域。想定制模型。想用模型为自己牟利。真正掌握自己命运的人都能做到。但与此同时。我也知道。这确实让中国的研究机构。处在一个比较有利的位置。他们也能施加一些控制。比如他们未来可能停止发布开源权重。而大家都依赖他们。这对美国经济不是好事。他们还可以更改那些模型的许可证。我们已经经常看到这种情况了。里面会有一些条款。如果你的公司收入超过某个数。就得签合作协议。规则可能就不太一样了。这是另一种施加压力。保持对开源权重控制的方式。还有一个更偏理论。但理论上可能的问题。就是模型里可能被植入后门。或者出现我们不希望看到的行为。你对这件事有多担心。现在我完全不担心。因为我的感觉是。如果真有这种事。我们至少已经在现实中。看到过一个例子了。我们没看到任何相关报告。而且据我所知。现在往权重里植入这些行为。植入后门的技术还不够先进。没法真正避开检测。不留任何痕迹。所以我觉得我们现在。还处在早期阶段。我不太担心。但理论上这个担忧是存在的。未来几年随着这项技术越来越成熟。而且LMM和Agent可能在包括军事在内的各个领域变得越来越重要。这确实是我们应该关注的事情。所以我觉得美国拥有最好的开源模型至关重要。这是我非常支持的。我觉得我们都应该想办法。怎么让一个美国团队训练出全世界最好的开源模型。没有之一。不只是美国最好的开源模型。而是全球最好的。所以对。 [00:29:56]
Jacob Efron：绝对我非常支持这件事。对。这看起来是个很有意思的商业模式问题。你怎么去落地。但它又是一种公共产品。也许你会找到一群人。我是说英伟达已经在大力补贴这件事。 [00:30:09]
开源模型、商业模式与模型公司的压力
Jacob Efron：绝对我非常支持这件事。对。这看起来是个很有意思的商业模式问题。你怎么去落地。但它又是一种公共产品。也许你会找到一群人。我是说英伟达已经在大力补贴这件事。
Igor Babuschkin：让它成为可能。所以也许你会看到。也许我们也会这么做。对吧。我们在xAI有过从零开始的经验。不到两年时间。我们就做出了Grok3。然后是Grok4。他们都处在最前沿。所以我很想训练出。美国最好的开源模型。但现在我们更关注的是。怎么在开源权重之上。建立一个可持续的商业模式。让公司能自给自足。
Jacob Efron：我们在RAPI和我们正在构建的。其他产品上进展不错。既然你来了。我不问问你过去的那些经历。就说不过去了。我觉得你显然亲眼见证。也在很大程度上领导了。过去几年发生的很多事情。要不先说说。你之前说过AI的进展。比你预期的要快。过去这三四年里。有没有那么一两个时刻。真的让你特别惊讶。我觉得疯狂的是。我对进展本身倒不太惊讶。疯狂的是亲身经历这个过程。 [00:31:00]
Igor Babuschkin：这和你想象中完全不一样。和真正活在其中的感觉差别太大了。几乎就像在做梦。我刚开始对AI产生兴趣的时候。还是个物理学家。我在大型强子对撞机工作。在那里读博士。物理学教你的基本上就是要有前瞻性。我觉得这种思维也会影响到物理学家。他们会开始想。未来会是什么样子。所以当我意识到比如AlphaGo出现的时候。DeepMind做出了一个非常非常强大的围棋AI。
Jacob Efron：那一刻我就明白了。AI领域会有惊人的事情发生。我最好转行最好转过去。你和很多杰出的研究者都是从物理学转过来的。很有意思。这么多人都是从那个领域起步的。
Igor Babuschkin：对我觉得这是学习如何思考难题。如何从第一性原理解决问题的一个很好的方式。所以他为做AI工作做了很好的准备。然后我决定加入DeepMind做研究工程师。那真的很有意思。因为我既能看到算法层面。看到怎么解决这些研究问题。怎么训练模型。也能看到怎么构建分布式系统。怎么提高训练和推理的效率等等。后来我做了WaveNet语音合成工作。然后对强化学习产生了浓厚兴趣。最后成了DeepMind星际争霸项目的技术负责人。那是一个非常具有挑战性的强化学习项目。从某些方面来说。它走在了时代前面。 [00:32:18]
Jacob Efron：绝对我是说。那看起来比我们今天优化强化学习的很多环境都要复杂的多。没错。我们当时必须想办法应对那种复杂度。而且我们开发出的一些策略。
Igor Babuschkin：马上就能看到他们日后也能应用到语言模型上。比如在星际争霸项目里。我们做了大量模仿学习。我们拿到了各种水平玩家打星际的录像。从新手到接近职业选手的都有。然后我们先做模仿学习之后才切换到强化学习。这里的奖励是可验证的。因为这是双人游戏。赢家拿到正奖励。输家拿到负奖励。把这两者结合起来。先大规模训练。模仿学习。再用强化学习。进一步改进策略。我们发现这真的非常强大。而且到今天。这些agent的训练方式。依然是这样。所以在DeepMind。做完星际争霸项目之后。我们其实意识到。编程会是下一个大方向。当时其实有点早。远在任何商业化的。能力够用的代码模型出现之前。我们把它看作星际争霸的自然延伸。于是启动了当时叫AlphaCode的项目。我当时有个强烈的感觉。那时候的LM在代码上表现很差。我觉得原因在于他们没法思考。我们基本上没给他们足够的时间去思考问题。人类解决难题的时候。得先想上一两秒。然后会有某种神奇的事情发生。让他们能更好地理解问题。解决问题。而当时我们还没有机制。让LM做那种推理。所以我真的觉得我们得在这方面做研究。我的搭档也在做这个。后来我意识到OpenAI刚好成立了一个推理团队。专门研究这个问题。于是我就加入OpenAI搬到了加州。对我既参与了那边的推理工作。也和Greg Brockman一起帮忙跑了一些大型预训练。所以我也看到了那边大规模预训练的一面。真的很有意思。很多这种推理的东西。 [00:34:08]
Jacob Efron：似乎是在真正大规模预训练之后才走效的。所以看起来在OpenAI推理工作的早期。几乎就是靠一种信念。就是这一定能成。随着模型规模变大变得更好。它就会实现。
Igor Babuschkin：这直觉真的很厉害。对没错。而且当时我们还没有解决方案。最终的解决方案。基本上就是OE模型。以及后来在OpenAI发生的研究。解锁了这种推理方法。模型在给出最终答案之前。可以先生成思考token。然后用强化学习。去改进它的思考过程和思考能力。最终成了我们一直在找的那把钥匙。不过那是几年后的事了。对。在OpenAI的时候。
Jacob Efron：我就是觉得这帮人会做得非常非常好。你怎么拿他和DeepMind比。因为显然DeepMind那边全是重量级人物。我觉得几乎每个人都在那待过一阵。或者将来会去。而且我觉得大家回顾起来会说。也许那边下的注更多样。或者更相信强化学习。而没那么聚焦于某一点。我不知道。你两边都待过。所以我很好奇你是怎么看的。说实话。这真的很难讲。 [00:35:13]
Igor Babuschkin：因为DeepMind全是顶尖的思想家。我觉得有些正确的想法。确实在流传。这一点是肯定的。但我觉得OpenAI的优势在于。他们团队更小。内部能达成高度一致。坚信这就是正确的路线。我认为这需要足够密度的人才。大家朝着正确的方向思考。他们做到了。所以即使处于劣势。他们也能取得巨大的进展。而且我觉得在当时。对我们来说已经很明显。OpenAI在很多方面会赢。然后从那时起。我就开始想。如果世界上。只有一家AI公司。掌控着最强大的模型。决定做什么事。那挺不幸的。我们甚至会想。怎么给所有人。设立全民基本收入。Ubis。这样人类就能被OpenAI养着。而它掌控着模型。这让我觉得不对劲。因为我一直是个开源爱好者。多年来也是Linux的重度用户。所以我觉得。那才是分配利益的方式。归根结底。从哲学上讲。模型的预训练。建立在全人类的知识之上。是我们在网上创造的所有文本。这真的是一个公共资源。是全人类应该共同拥有的东西。事实上没有人真正拥有它。你基本上可以直接下载。这让你能压缩知识。提炼它。把它变成可操作。有用的东西。也就是模型权重。在我看来。这就是AI模型构建者。真正在做的事。从哲学上讲。从第一性原理出发。什么才是公平的。让这些预训练检查点。免费供人使用。是最合理的。但显然AI实验室投入了巨大的努力。包括算力。那些研究算法。训练模型。在这个领域创新的专家们。所以有他们参与。绝对带来了巨大的好处。但我觉得我们没有为这些付出买单。这就是问题所在。 [00:36:56]
Jacob Efron：网上那些文本背后凝聚了全人类的智慧。但显然所有那些数据都是开放的。这让你们在xAI的情况下。能在短时间内就追到接近前沿的水平。我觉得看到这一切发生很有意思。 [00:37:09]
Igor Babuschkin：这是怎么做到的。对基本上是这样的。我偶然碰到Elon。当时正好在特斯拉办公室。和那边的团队聊。他们在做什么。他碰巧也在。所以我有了和他交谈的机会。这挺有意思的。因为他也是个非常出色的思考者。他对人类技术。以及两者之间的一切。都思考得很深。对我觉得我们在这些事情上。看法一致。比如世界上也许应该出现。另一个竞争者。另一家AI实验室。有着不同的使命。不同的哲学。关于模型应该如何开发。以及他们在现实世界中应该如何表现。所以我觉得我们从那时起就有了共鸣。后来当他想创办新东西的时候。他联系了我xAI就是这样开始的。对然后从那时起。我和一些老朋友聊了聊。他们也在找新的事情做。我们成功聚集了一群很不错的人。我觉得这对任何AI项目都至关重要。你必须要有足够的人才密度。找到那些愿意拼命工作。想做一番大事的合适的人。这是第一位的。我们能不能做成。取决于能不能把人聚齐。对。然后从那里开始。几乎从零起步。我们慢慢搭建公司。训练模型。对。然后在不到两年的时间里。我们就达到了前沿水平。我们做了一些相当疯狂的事。 [00:38:27]
Jacob Efron：比如众所周知的。把classes建起来并运行。我记得是120天。我想知道。你从做这些事的速度中。学到了什么。对。我觉得这需要极大的专注。和跳出框框的思考。
Igor Babuschkin：这很大程度上是伊朗推动的。因为他看到了我们需要尽快上线。更多GPU才能更有竞争力。特别是为了训练Grok3。所以他决定我们自己建数据中心。不想依赖任何人。据我所见。他是世界上做这件事最合适的人。因为他能看到大局需要做什么。各个组成部分和步骤是什么。然后以非常专注的方式。从第一性原理出发。想办法加速项目的每个方面。然后他还能去做那些。别人可能根本意识不到的事情。我是说当这个计划。第一次提出来的时候。从时间表的角度看。你觉得这疯狂吗。我当时确实觉得疯狂。但那时候我已经够了解埃隆了。我知道我们一定能搞定。所以我也有很强的信心。对。而且真正让Colossus跑起来的关键。就是去质疑别人建数据中心的方式。因为外面的人。我们跟他们聊的时候。问建一个新的数据中心。塞这么多GPU进去要多久。我们得到的报价都是远超一年。原因在于他们得先建一个新的机房外壳。就是新的数据中心大楼。而且整个建造过程是那种非常瀑布式的流程。你还经常要跟层层转包的分包商打交道。一层套一层。所以在这个过程中很多效率就流失了。或者说可能会流失。而埃隆的思路完全相反。他说我们要自己干。我们要当总承包商。而且有这么多解决问题的办法。是别人根本没想到可能实现的。所以这就像是在项目的每一个环节上。去找矩阵里的漏洞。对跟他一起做这件事真的很有意思。 [00:40:10]
推理、验证和不可验证领域的突破
Igor Babuschkin：这很大程度上是伊朗推动的。因为他看到了我们需要尽快上线。更多GPU才能更有竞争力。特别是为了训练Grok3。所以他决定我们自己建数据中心。不想依赖任何人。据我所见。他是世界上做这件事最合适的人。因为他能看到大局需要做什么。各个组成部分和步骤是什么。然后以非常专注的方式。从第一性原理出发。想办法加速项目的每个方面。然后他还能去做那些。别人可能根本意识不到的事情。我是说当这个计划。第一次提出来的时候。从时间表的角度看。你觉得这疯狂吗。我当时确实觉得疯狂。但那时候我已经够了解埃隆了。我知道我们一定能搞定。所以我也有很强的信心。对。而且真正让Colossus跑起来的关键。就是去质疑别人建数据中心的方式。因为外面的人。我们跟他们聊的时候。问建一个新的数据中心。塞这么多GPU进去要多久。我们得到的报价都是远超一年。原因在于他们得先建一个新的机房外壳。就是新的数据中心大楼。而且整个建造过程是那种非常瀑布式的流程。你还经常要跟层层转包的分包商打交道。一层套一层。所以在这个过程中很多效率就流失了。或者说可能会流失。而埃隆的思路完全相反。他说我们要自己干。我们要当总承包商。而且有这么多解决问题的办法。是别人根本没想到可能实现的。所以这就像是在项目的每一个环节上。去找矩阵里的漏洞。对跟他一起做这件事真的很有意思。
Jacob Efron：不我是说我相信我们的听众肯定特别好奇。跟他一起工作到底是什么感觉。然后显然你怎么比较那个环境和。你显然在DeepMind OpenAI都待过。
Igor Babuschkin：三个可能非常不同的环境和文化。我想说那次初次聊天之后。我之所以真的对跟他合作感兴趣。是因为我能感觉到他对工程师的尊重。作为一个研究工程师。我经常要在研究和工程之间来回切换。对。我不会说这些AI实验室里一定有什么双重标准。但确实你的头衔会反映出你是研究科学家。还是研究工程师。而我就是觉得被艾龙真正尊重。觉得我们是在。我觉得他就是跟我一起工作的另一个团队成员。他非常关注工程会议。真的直接跟正在干活的人对话。对公司做的每一件事的细节都钻得非常深。你能感受到他对工程师的尊重。对他们正在解决的问题的尊重。对。那真的是很有意思的一面。而且他精力极其旺盛。每天都是带着笑容来上班。想要从头再攻克所有最难的问题。那种能量。你在团队里也能感受到。我觉得在一个大家都真的想成功。带着巨大能量和动力来上班的地方工作。 [00:41:23]
Jacob Efron：真的很令人兴奋。你离开之后。公司做了些挺有意思的事。显然是被SpaceX收购。然后又收购了Cursor。你怎么看Cursor这笔收购。对我觉得这是极其聪明的一步。我觉得它基本上让Grok。
Igor Babuschkin：在编程模型上一下子跳到了前面。Cursor既有一个非常懂编程的优秀团队。又是一个很多人在用的产品。我自己也中度用过Cursor。而且有大量的数据可以用来启动训练。
Jacob Efron：在xAI原来的水平上大幅提升。对这些编程数据。来自真实世界。来自用户实际使用的数据。是不是就是比从数据标注员。还有其他供应商那里拿到的数据。有价值的多。 [00:42:02]
Igor Babuschkin：我觉得它的数量是关键。如果你能拿到足够多的量。那真的非常非常有价值。另外。构建正确的强化学习环境。也有巨大的价值。基本上就是搭建这些可验证的任务。让agent去做某件事。比如修复代码库里的一个bug。然后之后你检查。它到底有没有做对。以及是不是用正确的方式做的。这才是真正能带来。编程模型大幅提升的东西。这是硬币的另一面。
Jacob Efron：你需要两种数据都有。对但显然。看过这些东西实际部署之后。要搞清楚该建什么样的环境。就容易多了。我敢说当Cursor的Harness里。跑的是你自己的模型。是肯定容易得多。
Igor Babuschkin：但即使是Cloud或者其他模型。跑在Cursor的Harness里。可能也依然非常有价值。对显然我并不了解。Cursor团队带来了什么样的数据。也不清楚。他们是怎么在模型性能上。实现这么大飞跃的。但我想说。他们能这么快。把Grok模型的。编程能力拉起来。真的非常了不起。而且我敢说。最大的跃升。我们还没看到。后面还会有一些。新模型出来。 [00:43:08]
Jacob Efron：你觉得现在制约模型。持续进步的。最大瓶颈是什么。是数据吗。还是说。就是要把组织里。那些还没被喂进去的。专业知识都收集起来。你是怎么想的。我觉得最大的突破口。
Igor Babuschkin：是围绕怎么搭建训练过程。产生新想法。让他能处理长得多的食欲。让他能更轻松的处理那些无法验证的奖励。而且我觉得这里面惯性很大。要让这些东西跑起来。能量壁垒也很高。相比之下。继续在编程这个赛道上迭代要容易得多。所以我觉得一个陷阱就是。只顾着把编程做得越来越好。但我觉得大家真正想做的。是想办法进入那些更长食欲的领域。举个例子。一个可能卡住你训练的量。是你的agent rollout。要花多长时间。也就是说为了更新模型。你首先得做试错。让你的agent尝试很多很多个方案。收集奖励。然后用强化学习去更新模型权重。但如果你的rollout要花24小时。那训练模型会非常困难。对吧。因为每一步训练都要花很长时间。所以我们必须想办法。把rollout的工作。agent在做的工作切分开来。然后逐步的能够增量的去训练他们。也许agent根据增量进展去猜自己做得好还是不好。然后再进入那些我们没有奖励的领域。那些我们没法写单元测试。没法给出证明或验证证明的领域。所以如果大家想改进agent。今天真正该推的方向就在这里。 [00:44:37]
Jacob Efron：你觉得我们离功课那些不可验证领域的问题有多近。也许回到你说的。比如AI科学家那种做出新颖物理发现之类的能力。你心里有没有一个直觉。觉得我们离那些东西有多近。
Igor Babuschkin：我觉得现在的模型已经非常强了。他们常常能对某件事。到底成没成做出很棒的判断。但我们还没看到太多人。把这个能力大规模用起来。去进一步改进模型的优秀案例。所以我觉得这可能是。接下来几个月。接下来12个月左右。我们会看到的是。人们真的把LLM 裁判这套方法跑起来。LLM 裁判的方法就是。确实没有可验证的奖励。但我们还是能从奖励交互中。 [00:45:17]
Jacob Efron：学到很多东西。对但你觉得大家是不是已经。知道配方了。就差真的去跑那个实验。对。我觉得大家可能还没把。配方的所有细节都搞清楚。还没找到最优的做法。但一直在起作用的一个因素。
Igor Babuschkin：就是模型本身变得非常强了。你常常可以信任他们的判断。他们在判断发生了什么。这件事上往往非常可靠。所以这有点像。把整件事拖起来的东西。对。我很好奇。
Jacob Efron：你显然在很多后来。被证明正确的想法上。很早就有了信念。而且显然很早就押注了推理这些东西。那在过去几年。或者也许过去一年里。有没有什么事。
Igor Babuschkin：使你本来相当确信。会在AI世界发生。结果却走向了不同方向的。但问题是。我觉得没人能预料到。编程agent一旦跨过某个能力门槛。会带来多么巨大的变革。我原本预期的是编程模型平稳进步。持续变好。然后慢慢的。它们会被用的越来越多。但使用量的突然爆发。那真的是另一回事。现在我开始觉得。也许未来我们还会看到。 [00:46:21]
Jacob Efron：更多这样的变革。对。就是那种接约变化的时刻。某样东西。我觉得大家都在。大概11月12月的时候。感受到了。甚至很难说清楚。那到底是什么。但它就是突然好用了太多。而且你可以想象。对在其他领域。你也会到达某个点。让这种变化变得显而易见。但这确实很难预测。对。我觉得最迷人的是。连离那些模型最近的人。都很难事先预测。突破会在那个时刻发生。我在想怎么收尾。有一件事。也许可以绕回我们开头聊的。就是你写那本科幻小说。思考世界会往哪走。显然这些问题。也在驱动River和你创立它。我觉得你写下的那个问题。显然也让很多人夜不能寐。就是如果机器能做所有这些工作。那人类还剩什么。我觉得未来。如果我们作为人类。 [00:47:14]
Igor Babuschkin：还想在世界里保持重要。就得找到跟机器之间正确的共生方式。今天已经有一点共生在发生了。比如我用一个编程agent。它处理掉很多底层细节。处理那些我在高层面上理解。但自己不一定逐行敲出来的任务。而我仍然可以做架构。做规划。我觉得这是一种很好的状态。人和机器一起协作。但很大的风险在于。这个平衡会随着时间推移而改变。随着编程agent。以及整个agent越来越强。激励总是倾向于让他们接管更多。让他们做的越来越多。而这其实就是这个故事要讲的。对吧。因为一旦你让agent替你做所有决定。你就不再掌控自己的生活了。你不再掌控局面了。所以我觉得我们应该努力的方向。是想办法让共生继续下去。而对我来说。这需要对其方面的新进展。我们现在对模型做的对齐。很多时候是围绕从人类偏好里学习。比如一大群人说。他们喜欢这种行为。不喜欢那种行为。我们就去调整模型。去符合这些偏好。但我觉得未来。为了让人类保持重要。我们需要深得多。深得多的对齐。人和机器之间。要有深得多的融合。最终也许会出现。某种类似神经接口的东西。让你光靠想。就能控制大量的智能。但我觉得那还要一段时间。所以在那之前。我们可以通过改变训练方式。在算法和技术上创新。来把模型对齐得更好。而这正是River AI想做的事。所以我觉得这也是我想鼓励所有做AI研究的人去做的事。去想怎么让AI模型跟我们保持亲近。怎么让他们一直跟随我们的意图帮助我们。 [00:48:55]
Jacob Efron：而不是反过来接管我们取代我们。对而且在这个语境下帮助我们。其实还是给了我们一个角色。哪怕从某种角度来说。它可能不是最优的。比如不是去最大化某个回形针目标。而是至少去最大化人类的繁荣诸如此类。完全正确。我们就应该训练模型。去最大化人类的繁荣。这是另一个要点。你知道。过去24小时里。有一封公开信。很多研究者都签了名。我记得是昨天发布的。呼吁政府考虑放慢AI的发展。大家都在担心。这一切是不是跑得太快了。这个说法你认同吗。你怎么看这件事。对。我觉得到了这个阶段。 [00:49:33]
Igor Babuschkin：想慢下来真的非常难。也已经变成一件太大的事了。现在美国经济非常依赖。AI继续取得进展。而且国际上还有竞争对手。对吧。中国在AI能力上追得很快。他们可能选择慢下来。也可能不会。所以我觉得要让人们慢下来。真的非常非常难。我不知道那封信到底有多现实。从这个角度说。如果我们真的能慢下来一点。多做点对齐工作。我当然会很惊喜。我觉得那会是件好事。但如果我们没办法慢下来。那我觉得我们应该在。能改善对齐的技术上加速。在能提升安全性的AI模型上加速。 [00:50:11]
AI 的长期影响与 River AI 的方向
Igor Babuschkin：想慢下来真的非常难。也已经变成一件太大的事了。现在美国经济非常依赖。AI继续取得进展。而且国际上还有竞争对手。对吧。中国在AI能力上追得很快。他们可能选择慢下来。也可能不会。所以我觉得要让人们慢下来。真的非常非常难。我不知道那封信到底有多现实。从这个角度说。如果我们真的能慢下来一点。多做点对齐工作。我当然会很惊喜。我觉得那会是件好事。但如果我们没办法慢下来。那我觉得我们应该在。能改善对齐的技术上加速。在能提升安全性的AI模型上加速。
Jacob Efron：因为那很快就会对我们部署的模型变得非常非常关键。对那做到这一点最好的方式。就是更多开源模型。以及闭源厂商内部投入更多努力吗。还是说如果你有一个魔法棒。你会用什么办法来增加这方面的投入。
Igor Babuschkin：我觉得那些接近危险门槛的开源模型。真的非常非常有价值。因为它让世界上任何人都能去尝试自己的想法。去研究怎么对齐这些模型。怎么控制它们。它们还没有强大到能造成真正的伤害。但他们已经展现出一些。未来会变得危险的特征。网络安全能力就是目前最大的一个。我觉得我们不应该只让大AI实验室里。那几千个人去想这些问题。我们应该让尽可能多的人去搞清楚。需要什么样的算法。
Jacob Efron：需要构建什么样的工具。才能让这些东西变得可行。你显然比任何人都更接近这些东西。那你现在估计。这一切最终会没事的概率是多少。这是个好问题。我的意思是。现在的问题是。 [00:51:05]
Igor Babuschkin：对谁来说没事。因为AI有可能会放大世界上的不平等。有些人可能从中获益巨大。而另一些人可能会觉得自己被落下了。我觉得这是最直接最紧迫的风险。然后未来确实还有风险。AI模型会不会接管一切。他们会不会从今天建造他们。控制他们的人手里夺走控制权。我觉得那也是风险。但那个真的很难预测。我觉得那会儿是更远更远的未来。而我眼前能看到更直接的问题是。我们能不能让其他所有人。都一起跟上这趟旅程。对。好。最后一个问题。你写的那篇。像机器神祈祷里。
Jacob Efron：有一句特别美的句子。我记得大概是。当模型第一次开口回应时。你流下了意料之外的眼泪。所以我必须问一句。这是来自亲身经历吗。你有没有过类似的感觉。有。
Igor Babuschkin：我写进去是因为。我至今还记得第一次。让这些模型跑起来。是那种神奇的感觉。那时候跟今天比。真的非常非常简陋。但我觉得。这是所有早期做AI的人都体会过的。当模型第一次开始做一些很简单的事。但那些事是以前任何机器都做不到的。那种感觉真的非常非常神奇。哪怕只是写一个能生成知识的Python函数。都会觉得这太不真实了。所以对我就是想捕捉那种感觉。我相信很多早期做AI的人都有过。但现在回头看一切都显得那么不真实。因为模型已经进步了太多。他们现在真的在影响整个世界。已经远远超出了我们当年那些小实验。 [00:52:37]
Jacob Efron：那时候AI更像是一个爱好。完全同意。好我觉得在这里收尾。再合适不过了。你今天的分享太精彩了。非常感谢你来上节目。分享这一切。谢谢你 Jacob。很荣幸。我是Jacob Efron。这里是Unsupervised Learning。在这个播客里。我会和AI领域最聪明的人对话。问他们一大堆关于模型发展的问题。以及这些对企业和世界意味着什么。希望大家能感受到。我做这件事特别开心。这是我利用晚上和周末做的项目。平时我的本职是在Redpoint做投资人。但能请到这些了不起的嘉宾。靠的是大家订阅播客。分享给朋友。这才是让这一切运转起来的根本。所以请大家多多支持。非常感谢你们的支持和收听。我们下期再见。 [00:53:23]