#模型时代# 前 xAI联合创始人 Igor Babuschkin：一味把 Coding做得更好，可能成为下一阶段模型训练的陷阱

众所周知，xAI（现在SpaceX）很少有人出来做访谈，之前有一个印度小哥聊完第二天就离职了。所以，前xAI的人能出来聊也很难得了。这是上周末，River AI联合创始人兼 CEO、xAI前联合创始人 Igor Babuschkin做客 Redpoint投资人 Jacob Effron主持的播客 Unsupervised Learning的一期记录。

Babuschkin的经历串起了过去十年的几条重要 AI技术路线。他原本在大型强子对撞机从事物理研究，随后进入 DeepMind，参与 WaveNet，担任《星际争霸》项目的技术负责人，并发起 AlphaCode项目；此后加入 OpenAI的推理团队，也参与过大规模预训练。2023年，他与埃隆·马斯克 Elon Musk等人共同创办 xAI，并参与建设 Colossus数据中心。离开 xAI后，他先成立了关注 AI安全的投资机构，2026年又创办 River AI。

一、编码智能体越过能力阈值后，使用方式发生了突变

1、2025年底，软件工程师开始普遍感到工作方式已经改变

Babuschkin把转折点放在 2025年 11月至 12月。当时新一代 Claude Opus等模型把编码智能体推到了足以改变工作方式的水平。编码智能体的英文常写作 Coding Agent。此前，有些工程师使用 AI编程，有些人仍然不用；从那时开始，越来越多工程师接受了一个事实：智能体既能显著提高效率，也开始接手大量工程师过去亲自完成、并从中获得乐趣的工作。

他自己在 12月重新做了一遍许多曾经想做或做过的编程项目。个人能够完成的事情突然增多，模型继续进步后，人类在工作中的位置也会随之变化。

这段经历促使他写了两篇关于 AI未来的小说。其中一篇借用了“魔法师的学徒”的结构：人类掌握了强大工具，却逐渐失去对工具的控制。另一篇写给未来的机器，保留了他第一次看到模型完成简单任务时的惊异。…

他认为，今天的软件工程师正在集体成为“魔法师的学徒”。

2、代码和数学率先突破，因为它们能给强化学习提供明确奖励

代码是智能体最自然的起点。程序能否运行、单元测试是否通过、漏洞是否修复，都可以转化为清楚的反馈。数学也有类似条件。借助 Lean等形式化证明工具，定理和证明可以被机器检查；训练系统由此能够判断答案是否成立，并据此更新模型。

这类任务被称为可验证领域，英文是 verifiable domains。强化学习需要模型多次尝试，再根据结果获得正负奖励。验证器越可靠，模型越容易从尝试中学到有效策略。

Babuschkin预计，复杂软件项目、数学证明和一部分科学问题仍会快速进步。他同时提醒，**一味把 Coding做得越来越好，可能成为下一阶段训练路线上的陷阱。**这条路反馈清楚，工程积累也较丰富，继续投入相对容易；影响范围更广的任务，往往缺少同样便宜而可靠的验证器。

3、科学发现需要把模型的试错环路接到现实世界

材料科学、基础物理和火箭发动机设计都不能只在文本里完成。模型提出一种新材料或新结构后，必须通过仿真、实验或实物测试取得反馈。实验可能昂贵、缓慢，还会受到设备和测量误差影响。

科学智能体必须在提出方案后，从仿真或现实实验中取得结果，再据此调整下一轮方案。Babuschkin把这种与物理世界相连的完整反馈闭环视为当前的重要前沿。

4、最强 AI与日常个人 AI可能走向两条产品路线

高成本的超级 AI可能在科学发现、预测和复杂决策上超过任何个人，甚至超过人类团队。Babuschkin用了一个假设来说明这种分化：普通人不会每天调用一种单次运行可能花费 100万美元的超级 AI。

日常个人 AI不需要证明黎曼猜想。它更需要理解一个人的处境，帮助他安排工作和生活，并根据长期结果调整行为。评价标准接近“是否真正帮到用户，以及是否改善了用户的状态”。这类目标贴近人的生活，也难以被精确计算。

主持人从普通用户的使用感受补充了一点：不少 ChatGPT用户并不觉得最复杂的新模型与一年前的模型存在决定性差异，因为旧模型已经足够完成他们的主要任务。日常 AI的改进重点可能逐渐转向成本、个人化和长期协助，最高智力不再是唯一指标。

二、River AI的三项下注：训练服务、个人化和本地硬件

1、让更多人获得 AI的收益与控制权，也是一项安全问题

Babuschkin 2025年离开 xAI后，曾投资一批从事 AI安全的创业者。接触的方案越多，他越不愿只等待别人推进，于是决定重新创业。

他担心的近期问题是，能力与控制权不断集中到少数大型实验室。当前的主流路径是先完成大规模预训练，再由模型公司托管服务，通过应用程序接口 API按 token收费。API是外部产品调用模型的接口，token则是模型处理文本和计费时使用的基本单位。模型公司可以决定用户能访问哪些能力，以及模型遵循什么规则。River想验证另一种技术与分发方式，让个人和企业能够塑造自己使用的模型。

公司目前并行推进三个方向。Babuschkin希望沿用早期 OpenAI和 DeepMind的研究方式，保持长期视角，也允许团队承担风险较高、短期结果不确定的研究项目。

2、River API：让企业用自己的数据改造基础模型

River API位于训练层，提供强化学习与微调服务。Thinking Machines推出的 Tinker是一个同类参照。这个品类的基本工作方式是：企业先取得一个能力较强的开放基础模型，再用自己的数据和反馈塑造模型。

Babuschkin强调的差异主要在工程效率，包括训练成本、可靠性和扩展能力。River也希望先通过这项服务形成收入，再支撑周期更长的个性化和硬件研究。

3、个人 AI：打破“为平均用户训练一个模型”的默认假设

现有商用模型会汇总大量用户反馈，再训练出一套面向总体人群的行为方式。同一个模型通常以相近的风格服务每个人。

River希望模型可以直接从个人互动中学习。不同用户的智能体可以采用不同语气、词汇和回答长度；它还要学习何时主动提醒、何时保持安静，以及一个人对书籍、电影、音乐和日程安排的偏好。

个人智能体每次交互后都应更了解服务对象，不能只在上下文窗口里临时读取几条用户资料。

4、本地硬件：把推理算力放到家庭或办公室

River的第三项下注是本地 AI硬件，希望用一台放在家庭或办公室的小型设备运行强模型。模型权重是训练后形成的内部参数。当前的主要困难是内存容量，大模型的全部权重难以装进单个芯片或小型设备。

本地运行首先解决控制权问题。用户拥有设备和模型，不会完全依赖数据中心的访问政策。它还可能降低延迟，让实时语音、视频输入和视频输出获得更连贯的体验。

隐私是另一个直接需求。真正有用的个人智能体可能读取电脑中的文件，听到房间里的对话，并长期保存个人活动。如果所有信息都持续传往远端数据中心，数据泄露、二次训练和权限管理都会成为问题。本地计算可以减少离开设备的敏感数据。

三、个人化不能只靠“记忆”，模型还要学会使用记忆

1、权重更新与外部记忆可以并存，关键是端到端训练

个人化模型有两条常见路线。一条路线修改模型权重，让偏好进入模型内部；另一条路线保留通用模型，通过外部记忆和提示词提供个人信息。Babuschkin对具体组合保持开放，但认为系统必须围绕最终任务接受端到端训练。端到端训练的英文是 end-to-end training，训练范围覆盖读取个人信息、调用记忆、采取行动和评价结果的完整链路。

仅仅给现成模型接上一套记忆数据库，无法保证它知道何时检索、怎样理解，以及如何把信息转化成合适的行动。模型还要在训练中学会使用这些记忆。

2、“让用户更幸福”是一个方向性目标，目前还没有成熟的奖励函数

主持人追问，个人 AI是否会接入用户自报的幸福感，甚至读取可穿戴设备，以此形成训练闭环。Babuschkin没有给出确定方案。他提出一种可能：能力更强的模型或许能够回顾当天的行动，判断自己改善了用户处境，还是把事情弄得更糟，再生成正负奖励。

这仍属于不可验证领域。人的幸福感缺少统一尺度，短期满意也不等于长期受益。Babuschkin谈论的是研究设想，River尚未把它实现为产品能力。

3、未来的个人智能体可能是推荐系统与 Agent的结合

TikTok和 YouTube的推荐系统会从持续行为中识别兴趣，不同用户看到的内容差异显著。个人智能体需要获得类似的适应能力，同时还要执行任务和主动协助。

这种系统的个人化范围会超过内容推荐。它要学习回答的详细程度、交流风格和主动介入的时机，也要根据用户目标安排一天的活动。个人偏好由此进入智能体的决策过程，不再只改变界面上的推荐列表。

四、企业为什么会训练自己的模型

1、今天的企业自训模型，主要为了成本、速度与隐私

企业通常先调用闭源模型，因为它们的通用能力最强，也省去了建设训练团队和基础设施的成本。企业选择小模型或自有模型，现实动机通常是降低推理成本、提高响应速度，或让敏感数据留在自己的基础设施内。

自训模型长期受到一个时间差限制。企业可能需要几个月组建团队、掌握深度学习与强化学习、建设训练系统；等到内部模型追上原有闭源模型，闭源实验室已经发布了更强的一代产品。持续调用 API因而成为较稳妥的选择。

2、通用能力若进步放缓，企业内部的数据与判断会抬升价值

Babuschkin预计，上述时间差会缩小。开放模型正在接近前沿能力，通用模型在不了解企业内部业务的条件下，能够取得的低成本改进也在逐渐减少。

一家做人力资源软件的公司，更清楚客户如何使用产品、哪些操作会造成问题，以及智能体该遵守哪些业务规则。制药企业的试验数据、芯片公司的设计资料，具有更明显的独占性。此时，企业可以把数据交给 OpenAI或 Anthropic，甚至将数据出售给模型公司；也可以在开放模型上自行训练，把内部知识保留为竞争资产。

主持人提出了一个反例。模型公司可以聘请前银行从业者制作金融数据，一家普通银行掌握的信息未必具有足够的独占性。Babuschkin接受这个行业差异：如果一家公司的关键知识已经公开在互联网上，或能够被外部专家轻易复制，模型公司和竞争者都有机会获得，原有优势会更加脆弱。企业只有拥有独占数据，并能把它转化为训练反馈，自训模型的回报才会更明确。

3、闭源实验室可能同时受到能力成本、发布限制和开放模型追赶的挤压

Babuschkin认为，预训练具有边际收益递减特征。模型越强，需要聚合的 GPU越多，高质量数据也越难获得。他用一句形象的话概括算力边界：**“你不可能用 GPU覆盖整个地球。”**算力与数据投入无法无限扩张，能力提升最终会放慢。

闭源实验室还面对发布边界。模型能力过强后，公司可能基于安全考虑保留权重或限制访问，也可能受到监管约束；与此同时，开放模型继续逼近。由此形成的商业压力是：前沿模型越昂贵，公开销售越谨慎；稍弱的开放模型却足以覆盖越来越多的实际任务。

他认为 OpenAI、Anthropic等公司仍可以通过基础研究找到新增长点，例如进入新的任务领域，或发明更有用的训练和产品方式。这个判断建立在一项预测上：单纯依靠同一路线扩大模型，带来的能力差距会逐步缩小。

4、后训练可能从集中吸收全世界专家，转向分布式改进

大型实验室当前会聘请不同领域的专家制作数据和评价答案，再把这些知识汇入同一组模型权重。这是一项庞大而昂贵的组织工程，也会出现边际收益递减。

Babuschkin倾向于让分散在企业和大学里的专家自行改进模型。基础模型提供通用知识，具体组织在本地完成后训练。后训练的英文是 post-training，指基础模型完成预训练后接受的微调、强化学习和行为调整。River API的商业机会来自这一分工。

5、把几十个强化学习领域叠加起来，未必会重现预训练的泛化效果

预训练扩大到一定规模后，模型会在许多任务上同时进步。主持人由此追问：如果模型依次接受金融、医疗等几十个领域的强化学习，会不会也出现跨领域能力突然同步提高？

Babuschkin没有给出肯定判断。通用模型已经能把广泛的世界知识带进新领域，代码和数学训练似乎也贡献了较多通用推理能力；大量专业技能只在狭窄场景中使用。他怀疑这些技能汇入同一个模型后，未必能像预训练那样产生明显的跨领域协同。

五、Babuschkin对中国开放模型的判断：能力供给与供应依赖同时存在

1、开放模型降低了企业训练与个人控制 AI的门槛

对希望微调模型、建设自主产品的团队而言，开放权重提供了较低的起点。开发者可以检查、部署和改造模型，River设想的本地训练与本地推理也以此为基础。

Babuschkin指出，节目播出时最强的一批开放权重模型主要来自中国实验室。这会形成新的供应依赖。模型提供方可以停止发布新权重，也可以修改许可证；部分许可证已经根据企业收入规模设置不同条款，达到门槛后需要另行合作。

2、后门风险在理论上存在，当前尚未成为他的主要担忧

权重中植入隐藏行为或后门在技术上具有可能性。Babuschkin的判断依据有两点：公开渠道尚未出现得到确认的真实案例；按照现有技术，植入后门通常会留下可检测的痕迹。因此，他现阶段没有把它列为主要风险。

随着模型进入更多关键系统，相关检测仍需提前准备。他给出的观察期是未来两年左右。智能体若获得更强的网络安全和行动能力，权重安全的重要性也会上升。

他主张美国团队应训练出全球最强的开放模型，不能只满足于“美国最强”。River未来不排除参与；公司当前的优先任务仍是找到开放权重之上的可持续商业模式。

六、从《星际争霸》、AlphaCode到 xAI：几次关键判断如何形成

1、AlphaGo让一名物理学博士决定转入 AI

Babuschkin最初在大型强子对撞机从事物理研究。AlphaGo出现后，他意识到 AI会带来远超单一棋类游戏的变化，于是加入 DeepMind，担任研究工程师。

这个角色横跨算法与系统工程。他先参与 WaveNet文本转语音，随后进入强化学习，担任《星际争霸》StarCraft项目的技术负责人。复杂的实时战略游戏要求模型处理长时间任务、部分可见信息和大量动作，比许多当代强化学习环境更加复杂。

2、《星际争霸》已经形成了今天训练智能体的基本组合

团队先收集从新手到接近职业选手的大量对战回放，让模型通过模仿学习掌握基本行为；随后进入强化学习阶段，以比赛胜负提供可验证奖励，继续优化策略。

Babuschkin认为，这一组合至今仍在智能体训练中发挥作用。模仿数据把模型带到合理起点，强化学习再通过试错提高表现。

3、AlphaCode源于一个直觉：早期语言模型不会为难题留出思考时间

《星际争霸》项目之后，他把代码视为强化学习的自然延伸，并发起 AlphaCode。早期语言模型在编程上表现不佳，他认为原因之一是模型直接输出答案，缺少类似人类解难题时的内部思考过程。

为了研究推理，他加入 OpenAI新成立的推理团队，并与格雷格·布罗克曼 Greg Brockman等人参与大规模预训练。团队当时还没有完整解法。几年后，o1所采用的路线允许模型在给出最终答案前生成一段内部推理内容。这些内容由一组“思考 token”组成，再通过强化学习改善推理过程，回应了当年的问题。

谈及 DeepMind与早期 OpenAI的差异，他没有把结果归因于单一算法。DeepMind聚集了大量优秀研究者，也存在不少正确想法；OpenAI当时团队更小，处在追赶位置，却更容易围绕一条路线形成一致判断和投入强度。人才密度、共同信念和资源集中共同发挥了作用。

4、创办 xAI的起点，是他对单一实验室掌握最强模型的担忧

在 OpenAI工作时，他已开始担心最强 AI由一家公司控制。作为长期使用 Linux的开源支持者，他倾向于让更多人获得模型能力。

他提出了一个带有个人价值立场的理由：预训练吸收了互联网上大量人类知识，这些文本来自全社会；模型实验室确实投入了算力、算法和组织劳动，但原始知识同样没有被充分计价。因此，他认为预训练检查点适合以更开放的方式发布。这是他的规范性主张，行业并未就此形成共识。

他回忆，当时团队甚至讨论过一种极端未来：OpenAI控制最强模型，再通过全民基本收入让社会分享收益。全民基本收入的英文缩写是 UBI。这个设想没有消除他的疑虑，因为资源分配仍然建立在单一机构掌握模型的前提上。

Babuschkin后来在 Tesla办公室偶遇马斯克。两人谈到 AI竞争、模型控制和产品理念，发现彼此判断接近。马斯克决定创办新公司后联系了他，xAI由此组建。Babuschkin随后邀请旧同事加入。他认为，从零开始建设实验室，首要条件是聚集一批愿意高强度合作、能力互补的研究与工程人才。

5、Colossus的 120天，来自对数据中心建设流程的重新拆解

xAI希望快速扩大训练规模，却从传统供应商处得到超过一年的建设周期。马斯克决定自建数据中心，并让公司直接承担总承包角色。

传统项目常采用瀑布式流程，还要经过多层分包。多层分包会拉长沟通和执行链路，也会降低效率。xAI把项目拆成具体环节，逐项追问哪些行业惯例可以绕开，哪些任务可以并行，最终在约 120天内让 Colossus上线。

Babuschkin最初也觉得这一期限近乎疯狂，但此前的合作让他相信马斯克会推动团队完成。他把这段经验概括为高度聚焦、从第一性原理拆解步骤，以及尽量减少外部依赖。

6、他对马斯克工作方式的评价集中在工程细节与组织能量

Babuschkin说，自己愿意与马斯克合作，一个原因是对方尊重工程师。马斯克会直接参加工程会议，与实际执行者讨论细节；在他感受中，马斯克更像参与解决问题的团队成员，不只承担管理者角色。

他还提到，马斯克会向组织传递高强度工作的能量。这段描述来自 Babuschkin的个人合作经验，不能代表 xAI所有员工对公司文化的评价。

7、谈及 Cursor与 SpaceXAI的合作，他看重团队、产品入口和真实使用数据

主持人先提到 xAI已并入 SpaceX，随后询问 Cursor与 SpaceXAI的结合会怎样改变 Grok的编码能力。Babuschkin认为这是一项聪明的安排。Cursor团队熟悉代码任务，产品拥有大量真实用户；庞大的使用量可能帮助训练方理解开发者在现实中遇到的问题。

真实使用数据还需要与强化学习环境结合。训练者可以构造“修复代码库中的一个漏洞”等任务，再检查修复是否成功、实现方式是否符合要求。前者提供真实任务分布，后者提供可验证训练信号。

Babuschkin明确说明，自己已经离开 xAI，并不了解 Cursor究竟带来了哪些内部数据，也不知道 Grok编码能力提高的具体训练配方。他的分析来自过去的模型训练经验。

七、模型进步的主要瓶颈，正在转向长时程任务和不可验证奖励

1、一次任务执行 24小时，强化学习的更新速度会急剧下降

强化学习通常需要让智能体完成多次尝试，收集奖励，再更新权重。rollout是其中一轮完整的任务尝试，从模型接到任务开始，一直持续到任务结束。若一次 rollout需要 24小时，每轮模型更新都要等待更久，试验成本也会随之上升。

可能的方向是把长期任务切成能够观察中间进展的片段。系统不必等到最终结果才评价，可以根据阶段性成果分配奖励，并逐步训练智能体处理更长的任务。怎样可靠评价中间进展，仍是训练者需要解决的问题。

2、大语言模型评审可能补上不可验证领域的反馈

写作、管理、长期研究和个人协助往往没有单元测试，也没有形式化证明。一个思路是让更强的模型担任评审，判断行动质量，再把结果转化为奖励。这种方法的英文常写作 LLM-as-a-Judge，其中 LLM指大语言模型。

Babuschkin认为，前沿模型已经能对不少复杂结果作出有价值的判断。他目前还没有看到这套方法被大规模用于继续提升模型，也不认为训练配方的全部细节已经解决。他预计，未来几个月到一年可能出现更完整的实践。

3、Coding Agent的普及提醒他，能力可能突然跨过使用阈值

他原本预计代码模型会逐步改善，使用率随之缓慢提高。2025年底出现的却是一次明显跳变：能力达到某个水平后，大量工程师在短时间内改变了工作方式。

这让他开始考虑，科学、个人助理和其他专业工作也可能出现类似时刻。研究人员可以观察模型指标，却难以提前判断哪一代产品会让真实用户集体改变行为。

4、人机协作的风险，在于人会持续把更多决策交给能力更强的智能体

当前的编码协作仍保留了清楚的分工：智能体处理底层实现，人负责架构和规划。随着智能体变强，把更多工作交给机器具有直接的效率激励，分工边界会持续移动。

Babuschkin担心，一旦智能体替用户做出大部分决定，人会逐渐失去对生活和工作的实际控制。他由此把个人化与对齐联系起来。现行对齐常以群体偏好为目标，训练模型接受多数评价者喜欢的行为；个人 AI则需要深入理解具体用户的目标，并在长期互动中保持一致。

他也提到 Neuralink一类脑机接口可能在遥远未来让人直接控制大量机器智能。现阶段更现实的路径仍是改进训练算法，使模型贴近用户意图，并保留人在决策回路中的位置。

5、全球协调减速的可行性有限，对齐与安全研究需要加速

节目临近结束时，主持人提到一封呼吁政府考虑放缓 AI的公开信。Babuschkin赞成多争取一些时间研究对齐，但认为协调减速相当困难。AI已与美国经济和公司投资深度绑定，国际竞争者也未必同步行动。

若整体速度无法下降，他主张增加对齐与安全研究。接近危险能力阈值、又尚未强到可以造成严重现实伤害的开放模型，尤其适合让更多研究者测试控制与防御方法。网络安全能力是他认为需要重点观察的领域。

主持人最后询问“这一切顺利收场的概率”。Babuschkin没有给出数字，而是先区分“对谁顺利”。近期更明确的风险是 AI扩大不平等：少数人获得巨大收益，其他人感觉被抛在后面。更远期还存在模型夺走控制权的可能，但当前难以可靠预测。

他随后回忆，早期模型即使只会写一个生成质数的 Python函数，也让研究者觉得近乎不可思议。如今模型已经影响整个世界。那种最初的惊异仍在，技术实验则已经变成经济、组织和个人生活中的真实选择。