#模型时代# 红杉播客：大模型的记忆系统应该是什么样子的？RAG不是最终答案。

最近对数据思考的比较多，所以继昨天发的Datebricks之后，再来一期初创公司的。

这期笔记自Sequoia Capital播客Training Data。主持人Sonya Huang和Shaun Maguire对话Engram联合创始人Dan Biderman（CEO）和Jessy Lin。Engram自称neolab，专攻AI的记忆与持续学习。同日Engram宣布从隐身模式出发，融资9800万美金，估值6亿美金，投资方包括General Catalyst、Kleiner Perkins、Sequoia，天使投资人包括OpenAI联合创始人Andrej Karpathy和Wiz CEO Assaf Rappaport。团队仅13人，已与Microsoft、Notion、Harvey达成合作。

Dan Biderman做记忆研究的起点是试图让失忆的祖母记住关于自己和兄弟姐妹的小事实。他后来在哥伦比亚大学理论神经科学中心读了博士，在Stanford跟随机器学习领域最具影响力的学者之一Chris Ré做博后。Chris Ré同时也是Engram的联合创始人。

Dan引用以色列认知心理学家Amos Tversky的名句定位自己的研究：“My colleagues，they study artificial intelligence；me，I study natural stupidity。”他的同事研究人工智能，他研究的是人类天生的愚蠢。

有人做过实验，把模型的事实知识剥离，只留“纯核心”能力，结果模型变得极不自然，连基本概念都不知道了。Jessy Lin的解释是：内化的事实是推理链往前走的积木，每一步都要暂停检索的话推理链就走不远。比如，把一篇关于Taylor Swift的维基百科词条送进70B参数的Llama模型，产生的KV缓存大约占GPU上80GB的高带宽内存HBM。而这个模型的全部权重，编码了“整个互联网”的知识，只有100GB。…

所以，梯度下降在信息压缩效率上碾压KV缓存，把知识训进权重才是正确方向。

一、问题：AI是“天才陌生人”，每次对话从零开始

1、瓶颈已经从智力转移到记忆

今天的大模型足够聪明。Jessy Lin的判断是，让模型变得更有用的瓶颈已经不在原始智力上，而在对新上下文的理解能力上。一个新任务、一个特定的工作场景、一家公司独有的流程，这些东西怎么像预训练和后训练那样深深写进模型权重？

这就是Engram所说的“always training”：不把世界分成预训练和后训练两个阶段，让模型持续地从新信息中学习。他们把memory和continual learning视为同一枚硬币的两面，前者是学到什么，后者是怎么持续地学。

2、外部记忆的两个结构性问题

现在业界的主流做法是context engineering，把大量上下文塞进提示词窗口，或者用RAG从外部检索文档。Dan Biderman承认这些工具有用，但他指出了两个结构性问题。

成本是第一个。每个人每天产生的token量很快就会达到数千万级别，不断重读和检索这些内容的推理开销巨大。

深度是第二个。外部记忆本质上是“便签纸”。人类记笔记有用，但第二天回到工作中，脑子里总会留下前一天的某种直觉、某种判断的痕迹。今天的AI缺少这个环节，所有的“记忆”都停留在test time的即兴发挥。

3、一个现实检验

Dan Biderman提了一个思想实验：如果你今天辞职，全力用所有前沿模型的API来给自己打造一个个性化AI助手，只靠context engineering，你能做的事极其有限。你还不如等下一版模型出来。

这说明当前的范式有天花板。Engram要改变的正是这个现状：你花在和模型互动上的时间越多，它在你关心的领域上表现就越好。

二、为什么RAG不够用：一笔KV缓存的账和一个根本缺陷

1、100倍token缩减怎么来的

Dan Biderman给出了一个具体对比。关于人员、团队、组织架构、优先级这类信息，你在任何单一文档里都找不到，除非公司有极其严格的文档制度把所有东西都写下来。最好的前沿模型需要消耗10万个token才能拼凑出答案，而经过训练的模型可以在100个token内直接回答。

两个数量级的差距，光是省去巨型system prompt和反复检索就能带来。

2、KV缓存的一笔荒谬账

Dan Biderman算了一笔账：一篇关于Taylor Swift的维基百科词条，只有几十KB的文本。但当它被送进一个70B参数的Llama模型时，产生的KV缓存大约占GPU上80GB的高带宽内存HBM。

而这个70B模型的全部权重呢？大约100GB。这100GB的权重通过梯度下降训练，在某种意义上记住了整个互联网。

“We have this proof of existence that gradient descent can pack a lot of information in very few numbers。”梯度下降有能力把大量信息压进极少的数字里，这已经被证明是可能的。而KV缓存却把几十KB的文章膨胀成了80GB的“脑状态”。

如果能把那80GB的KV缓存通过离线计算压缩到千分之一，加载速度、运行效率和表征保真度都会发生质变。

3、检索系统的根本缺陷不在存储，在寻址

Dan Biderman和Jessy Lin都指出了RAG的一个深层局限：问题不在于怎么存数据，而在于怎么查。很多时候模型根本不知道该搜什么。

你的同事在做某个研究方向，模型如果真正内化了团队的知识，可能会在你没问的情况下主动联想到一个相关方向，提醒你注意。这种关联只能发生在权重里，因为它不是“你让我搜什么我就搜什么”的检索逻辑。

尤其是当前主流的检索方式还停留在关键词搜索阶段，因为关键词搜索在RL训练中最容易扩展，也最不依赖embedding基础设施。知道该搜什么，本身就是一种需要内化到权重里的直觉。

4、缓存也解决不了

主持人Sonya Huang追问：caching难道不能解决重复查询的问题吗？Jessy Lin回应说缓存确实能解决一部分，但如果你永远只做检索，就无法在已有知识上构建新的联想。你问我搜A我搜A，但权重里的知识可以在没有查询指令的情况下，自动在不同信息之间建立关联。

一个能主动联想，一个只能被动响应。这是“内化到权重”和“存在缓存里”的根本区别。

5、酒店房间号还是家门密码？

当被追问“到底什么该内化、什么该外部化”时，Dan Biderman用了一个直觉类比：一年前住过的酒店房间号需要记在你的神经组织里吗？不需要，写下来就好。但当前家门密码大概值得印在脑子里，至少未来几年内是有用的。

他坦承这在知识工作和产品场景中仍然是未解问题。他们尽量少用启发式规则来过滤训练数据。人类每天刷TikTok、接触大量垃圾信息，大脑仍然能学到东西而不会完全跑偏，模型也应该有同样的鲁棒性。

三、为什么知识必须训进权重：事实、技能与bitter lesson

1、剥离事实记忆的模型会变“怪”

学界有一种声音认为，模型死记硬背“法国首都是巴黎”这类事实是浪费容量，不如让模型只学概念和技能，事实全部外部检索。

Jessy Lin对此的判断是：你没法真正把事实学习和技能学习分开。有人做过实验，把模型的事实知识剥离，只留“纯核心”能力。结果模型变得极不自然，连基本的东西都不知道了。

原因在于模型的思考过程需要调用基础事实来推进下一步推理。如果每一步都要暂停去检索基本概念，推理链就走不远。内化的事实是构建更复杂、更抽象思考的积木。

2、深度学习的特殊之处：数据库和算法被搅成了一团

Dan Biderman提供了一个框架来理解这件事。在传统计算机科学里，数据库和算法是两门独立的课程。数据库负责存储和查询事实，算法负责高效地处理信息。深度学习的特殊之处在于，它把这两件事搅在了一起，存储和计算在同一组权重里完成。

这也是为什么Anthropic的可解释性团队这么重要。他们在做的事情，本质上就是试图把被混在一起的东西重新拆解开来。

Dan Biderman观察到，AI在经济中的落地过程实际上是这两者在重新分离。企业有自己的上下文和数据，小心翼翼地管理；通用模型是一个对这些上下文完全陌生的“外人”，在企业数据上运行。但他强调，这两者需要周期性地再次融合，把企业的事实和细节混入模型权重。真正要解决的问题是什么值得记住、什么可以放在外面。

3、人类记忆的有损性恰恰是它的优势

Jessy Lin引用了人类记忆的有损特性：智能的一部分功能就是压缩重要的信息、丢弃不重要的。学术界的benchmarks却在考察模型能否记住非洲某个国家某座桥的长度，这既不是模型应该分配容量的事，也不是人类大脑会记住的事。

真正的问题是如何判断什么值得记住。

4、Bitter lesson的重新解读：把compute烧在新上下文上

主持人Shaun Maguire问了一个尖锐的问题：memory会不会随着更多数据、更多compute自然涌现，根本不需要独立的架构或方法？

Dan Biderman没有反驳bitter lesson，反而把它接了过来，换了一个方向。他说Engram和任何人一样信bitter lesson，但bitter lesson的真正含义应该是“想想怎么烧更多compute，怎么把它烧在你还没见过的新上下文上”。Engram没有赌通用人工智能的方向会改变，他们只是认为compute应该被分配到企业和个人的私有上下文上，而不是全部堆在通用预训练上。

他们团队此前参与过state space模型家族的研究，试图用次二次开销处理超长上下文。结论是所有这些方法最终都在accuracy和memory之间做trade-off，没有免费午餐。一些中国顶级模型已经在用受state space启发的层，但Dan在实践中发现accuracy总会打折。所以Engram选择了另一条路：与其改架构，不如用现有的transformer加adapter，把更多compute投入到训练本身。

四、怎么做：Adapter微调、离线消化与持续训练

1、Adapter微调，不动底层模型

Engram的技术路径是adapter fine-tuning，在基础模型之上挂载轻量级可训练参数，包括LoRA、prefix tuning、稀疏架构等多种方案，不改变底层模型本身。

关键约束是需要white-box access，也就是拿到模型权重。对开源模型可以直接操作，只要是transformer架构就行。对闭源模型需要和拥有权重的公司合作。

2、从原始数据到训练信号的转化

难题不只是怎么训，还有拿什么训。怎么把一堆原始文档、一段用户对话、一轮反馈转化成有效的训练信号？Engram同时使用SFT、RL和on-policy distillation，把这些工具拼成一个持续学习的流水线。

Dan Biderman补充了一个关键点：Engram的模型并不赌工具会消失。外部工具和检索系统始终存在，但哪些知识需要内化、哪些可以外部化，这才是真正的难题。而且很多公司有自己独特的工具和流程，前沿模型训练时用的是通用的bash CLI，怎么让模型理解一家公司特有的工具链？这本身就是一个独立的问题。

3、做梦的启发：给模型一个“消化”的阶段

Dan Biderman从神经科学角度提出了一个类比：人类做梦时会对白天的经历做某种离线处理。我们在梦里看东西、和自己对话、在各种情境中实验自己能做什么、不能做什么，尤其在社交场景中。

Engram受到了宽泛的启发。他们给模型一个退出实时交互的阶段，让模型回过头来消化之前的经验，在一个环境里自己实验它的可操作空间，测试它知道什么、能处理多极端的情况。

这不是在模仿做梦的生理机制，而是在补上一个当前AI系统缺失的环节。现在所有事情都发生在test time，模型看到上下文就即时推理。即时推理的天花板比想象中低，而且沿途会犯错。怎么把这些经历消化回模型权重，让它下次做得更好、走得更远？这是Engram认为最关键的缺失环节。

4、数学奥赛的思想实验：训练碾压策展

Dan Biderman举了一个例子来说明训练的威力。假设OpenAI要在一周内赢一场数学奥林匹克竞赛，他们会怎么做？是精心整理一份数学教材目录、让人标注哪些章节要读？还是收集数据、合成训练集、启动一个训练任务、五六天后看效果？

对训练过模型的人来说不需要多解释。训练是跨idea、跨能力整合的优越方式，其内在包含了某种“魔法”。这种魔法目前只被应用在数学、代码、网络安全这些高风险领域。Engram的赌注是同样的魔法可以被交到更多人手里。

5、为什么从团队开始

Engram目前先做workspace层面，因为团队的信息更有纪律性，积累了多年的文档和工作流，数据量和质量更适合训练。Dan Biderman同时明确表示，个人层面同样是他们的目标，每个人的电脑和手机最终都是Engram技术的适用场景。

当下信息的大矿藏在于团队协作的知识工作中。团队先行只是路径选择，不是终局判断。

五、为什么前沿实验室做不了这件事

1、前沿实验室的P0是通用人工智能，记忆只是产品层的事

Dan Biderman直言：对于前沿实验室来说，第一优先级就是做出通用人工智能。更多预训练、更大模型、更多数据、更多RL、更多推理时算力。所有的支出和顶级人才都集中在这里。

他们当然也在思考记忆和持续学习，但目前更多是产品层面的努力。Dan Biderman认为这个问题配得上独立的、全力以赴的关注，而且需要新的研究突破。DeepMind CEO 德米斯·哈萨比斯在2026年4月的Sequoia AI Ascent活动上明确表态：持续学习还没被攻克，这个领域需要新的突破。

2、私有数据、冲突偏好与模糊信号

Jessy Lin指出了前沿实验室范式的结构性盲区。他们的训练流水线建立在干净的监督信号和明确的奖励函数之上：清晰的代码测试、标准的数学题验证。但现实世界中大量任务是模糊的，什么算“好”并没有客观标准。

更重要的是，很多企业和个人想让模型学的东西，要么是私有的，永远不会出现在公开训练数据集里；要么是互相冲突的，A公司的做法和B公司完全不同。这些场景天然就和“一个越来越大的通用模型”的路径不兼容。

3、需要新的基础设施和研发-产品一体化

Jessy Lin列举了实现这个愿景需要改变的三件事。一是新的研究突破。二是新的训练基础设施，为每个人训练小模型，而非一次大规模训练跑出一个通用模型。三是研发和产品的深度融合。

现在前沿实验室的模式是：研究团队训好模型，扔给产品团队，产品团队在上面做context engineering包装新功能。但在模型持续训练的世界里，用户提供的输入和模型的训练信号是紧密绑定的，研发和产品之间需要更紧密的循环。

六、未来图景：每个人都有自己的模型

1、记忆的ChatGPT时刻：你的实习生真的变聪明了

主持人问什么会是记忆领域的ChatGPT时刻。Jessy Lin回答：当你给一个AI“实习生”教东西，它随时间推移真的在变好，和昨天不一样。所有人都在等这个证明。无论context engineering做得多精巧，目前都没到这个效果。

而且还有质量维度的窗口期。当前模型对很多定制化任务还不够好，Engram认为会持续存在一个三到六个月的领先窗口：前沿模型还没覆盖到的边缘场景，轻量级的持续学习可以提前填上。

2、记忆钱包：技能是否可以跟着你走？

主持人Shaun Maguire提出了一个概念：既然可能每人都有一个“token wallet”跨产品使用，那会不会也有一个“memory wallet”在不同产品和公司之间跟着你走？

Jessy Lin的看法是需要边界。她自己用ChatGPT时就不希望它把个人场景和工作场景的记忆混在一起。“你上周训了个GPU模型”然后它就推荐你看表格工具，完全不搭。用户需要对记忆有控制权。

Dan Biderman则描绘了一个更远的愿景：你在一家公司工作，产生的所有IP留在公司，但你学到的技能、发明的方法可以经过“脱敏”后带到下一份工作。人类在生物层面已经在这么做了，靠的是NDA和职业伦理。如果能在数字世界实现同样的事，会推动每个人更深入地在工作和生活中应用AI，并因此获益。

3、Engram的终极定位：数据平面的神经接口

Dan Biderman在播客最后用一个来自神经科学的类比收尾。在大脑中，记忆和空间导航使用的是同一组神经回路，海马体中负责表征空间地标的细胞同时也负责情景记忆。

他设想Engram成为数据平面的LLM接口，角色类似于Databricks和Oracle在传统数据领域做的事，但本质不同。Engram构建的是神经记忆，由个性化的模型承载。可能有数亿个这样的模型，每一个都是对某个组织或个人的文件系统的“脑状态”表征，而非文件系统本身的镜像。这种表征更高效、更具关联性。

花絮：语言为什么在计算机上超越了视觉？

播客最后半段有一个有趣的跑题讨论。主持人Shaun Maguire承认自己在2018-2020年低估了LLM的发展，因为他有根深蒂固的视觉偏见，2012年AlexNet之后视觉主导了AI领域六年。

他提出了一个自称“crackpot theory”的假说：在生物体中，视觉相对于语言有巨大的信息论优势。大脑通过眼睛处理光学信号的比特率比通过耳朵处理声波的比特率高出几个数量级，而且视觉信号在到达大脑前还有大量光学层面的预处理。但在计算机上，一切都是电子信号处理，视觉和语言被拉到了同一个起跑线上。这相当于“削弱了视觉的先天优势，抬升了语言的地位”。而transformer恰好是一个更适合语言的架构。

Dan Biderman作为神经科学家，没有直接评价这个理论的对错，而是转向了一个实用角度：人类大脑中分配给视觉的皮层面积，也就是枕叶，大概多于负责语言的颞叶，但他坦言需要查证。“No man I'm externalizing。I'm a big RAG believer in my personal lifestyle。”我在个人生活中可是坚定的RAG信徒。全场笑了。

他补充了一个更实际的观点：人类坐在电脑前读文档、写备忘录，这些都不是我们进化出来要做的事。我们的大脑没有为此布线。但让LLM替我们做这些事照样有用。对于知识工作而言，文本就够了。

另一个技术观察：在训练视觉语言模型时，语言部分往往会主导视觉部分的表现。两种模态的融合还有大量空间可以挖掘。

Q1：Engram和RAG的关系是什么？是替代还是互补？

Dan Biderman和Jessy Lin都明确说这是一个未解问题。Engram的模型始终假设外部工具和检索会存在。但他们认为RAG有一个根本局限：它只能做“你让我搜什么我搜什么”，无法在没有查询指令的情况下主动建立知识间的关联。这种关联能力只能发生在权重里。短期来看，把组织知识训入权重可以大幅减少推理时的token消耗，Engram声称可达100倍，这对成本已经成为企业AI部署痛点的当下有直接吸引力。

Q2：事实记忆和技能学习能不能分开处理？

Jessy Lin的回答是不能。有人尝试过把事实从模型中剥离只留“纯核心”能力，结果模型变得极不自然。Dan Biderman用一个框架解释了为什么：传统CS把数据库和算法分成两门课，深度学习把它们搅在了一起。现在AI落地的过程其实是两者在重新分离，企业数据在外面，通用模型在里面。但他们认为需要周期性地让两者重新融合。关键在于判断什么值得内化到权重、什么可以留在外面查。

Q3：为什么记忆和持续学习不能只靠前沿实验室的下一个版本来解决？

前沿实验室的P0是通用人工智能，记忆和持续学习目前只是产品层的事。更重要的是，企业想让模型学的东西大多是私有的或互相冲突的，这和“一个越来越大的通用模型”的路径不兼容。Jessy Lin还指出，前沿实验室的训练流水线依赖干净的监督信号和明确的奖励函数，但现实世界中大量任务是模糊的，什么算“好”没有客观标准。这需要不同的研究方法、不同的训练基础设施、以及研发和产品更紧密的融合。

视频见http://t.cn/AXSZLDud

http://t.cn/AXSj6fLh锚点：我们距离可再生能源时代还有多远？| 袁岚峰图片陈海生：传统能源主要的发电的方式就是火力发电，然后通过输电、配电，然后到用户，这是一个单向的输送的方式。它的运作方式是“源随荷动”，负荷一动，我来控制火电的发电量，跟负荷形成一个动态的平衡，保持我们的电压，长期以来是这么个运转方式。但是，随着可再生能源大规模发展，或者我们能源结构的发展，在发电端装了大量的光伏、风电，都是间歇性、不稳定的；在用户端也装了很多分布式的光伏、分散式的风电，发电端和用户端都不稳定了。同时随着我们经济社会的发展，用户的波动性就越强。所以说，如果再没有一个灵活的调节能源在里面，那整个电力系统的安全性、经济性就没法保障。所以说在这种情况下，就需要一个主要的手段，我们叫关键支撑技术，那么新型储能就出现了。

图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片袁岚峰：我看您在演讲里面说，可再生能源要经历几个阶段。最初是可再生能源补贴，然后是可再生能源平价，然后到可再生能源加上储能平价。只有到了最后这个阶段，人类的可再生能源时代才会真正到来。那现在算是到什么阶段了？

图片图片陈海生：可再生能源平价已经实现。可再生能源 + 储能平价还没有完全实现，（还处于）过渡的阶段。因为我们讲能源革命，可再生能源把化石能源替代，从电力角度来讲，要实现两个目标：一个目标就是功能要能替代，第二个价格要能基本上替代。那么功能替代，我们可再生能源现在能够提供充足的电能了，还不能提供可控的电能，所以说要可再生能源 + 储能。第二个就是价格上的替代。价格如果高很多，老百姓也不接受，然后我们的工业体系、国家的竞争力也受到影响。所以说它的价格要接近，我们就常讲的要平价上网。那么现在我们的阶段，就是风能、光伏都已经实现了平价上网，储能的价格也是快速地下降，你看我们的锂电池价格下降了很多，能量密度包括这个寿命、效率都有很好的发展。所以说，应该讲指日可待。我相信在“十五五”，2030年之前可以实现。…

图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片图片2026年，正值“十五五”开局。在不久前闭幕的全国两会上，一个首次写入政府工作报告的提法备受关注——未来能源，它与量子科技、具身智能、脑机接口、6G并列，成为国家培育发展的未来产业之一。

图片

什么是未来能源？它跟新能源相比，最大的区别就是多了储能。

光伏、光热、风电等的能量总额完全足以支撑人类使用，但它们远不像传统能源那样连续、可调。如果不能把新能源产生的电用掉，它就会造成电网崩溃。只有通过储能削峰填谷，我们才有望建成以新能源为基础的社会。

大家都知道中国在新能源发电领域世界领先，但其实中国在储能领域的领先程度甚至更大。中国储能究竟是经过怎样史诗般的发展历程？未来储能技术和产业将走向何方？今天，我们就来访问一位储能领域的战略科学家，中国科学院工程热物理研究所所长、中国能源研究会储能专业委员会主任陈海生博士。

图片《锚点》节目中国科学技术大学科技传播系副主任袁岚峰对话中国科学院工程热物理研究所陈海生所长，东方卫视2026年3月18日播出。本片为精彩片段之三，25分钟的全片可见于上海广播电视台“看看新闻”网站（http://t.cn/AXaXBE7X）、app以及视频号。

■ 锚点节目在哔哩哔哩上线了！

2025年1月1日，我和上海广播电视台合作的科学家对话节目《锚点》在东方卫视开播，每周三22:00播出。经常有朋友问全片回放在哪里看，以前唯一可看的地方是上海广播电视台的“看看新闻”网站，在其中搜“锚点”就可以看到。从11月5日开始，锚点节目在哔哩哔哩上线了！欢迎大家关注新开的“东方卫视锚点”账号，欢迎大家在B站观看锚点全片，在“东方卫视锚点”账号或者我的账号“袁岚峰”或者B站纪录片频道都可以看到。真科学，真对话，欢迎大家来到锚点！

火山引擎前几天开的年度大会，全场爆满，一座难求。

不只是客户要来商谈业务、同行要来打探「敌情」，整个AI行业的参与者，也都不愿错过字节旗下模型矩阵的「上新日」：

Coding和Agent能力都有长足进步的Seed 2.1，首次实现4K分辨率的Seedance 2.0，即将发布的新一代顶级视频模型Seedance 2.5，值得期待的图片模型Seedream 5.0 Pro，支持多模态生成的音频模型SeedAudio 1.0⋯⋯

硅基滚烫，群模闪耀。

IDC每半年都会发布一次中国MaaS市场的统计报告，从2024年开始，火山引擎的调用量就占到了接近半壁江山，排名稳在第一。

这不是重点，重点在于，随着各家大厂反应过来并相继入局，MaaS赛道的拥挤必然分摊火山引擎的独大优势，这是最基础的数学规律。

但情况恰好相反，在IDC发布的2025年全年报告里，火山引擎在中国MaaS市场的调用量竟然还在涨，从2024年的46.4%，攀升到了49.5%⋯⋯

要知道，这个49.5%还建立在两个不利条件之上：

第一，统计口径只限于云厂商对外部客户提供的公有云服务，并不包括自有业务，也就是字节系产品的Token消耗，不算在内，换句话说，豆包遥遥领先的用户规模，甚至被剔出去了；

第二，统计时限截止于2025年，我们都知道，改写视频大模型历史进程的Seedance 2.0，是在今年年初才发布的，这个消耗大户，也没有机会体现在IDC的报告里。

这就很让人感到窒息了。

我想说的是，字节把最重要的旗舰模型版本都放在了火山引擎的活动上发布，这说明以MaaS平台为「Token经济」的贸易港，成了一种共识。

「Token经济」这个概念并不新鲜，AI公司——尤其是最近一年以来——特别热衷于谈论它，虽然解释起来未必能为己用，但确实可以服务于「在电梯里做俯卧撑」的叙事，上升即繁荣。

不过「Token经济」之于云厂商，就更接近于底层的商业逻辑了，Token的意义，本质上是一套全新的计费单位，站在历史的周期来看，它一点儿都不陌生。…

工业时代的Token，是「千瓦时」，高速传输的电力，为大规模生产行为赋予了高度的确定性，整个现代文明，都依赖用电量这个资源消耗的尺度，富足的城市，一定灯火通明。

数字时代的Token，是「字节」，从桌面带宽到移动流量，所有的信息交换，都被度量为KB、MB、GB等字节单位，由此滋生了覆盖全球的光纤和卫星，以及连接数十亿人口的通信运营商。

那么在可以预见的AI时代，Token又将撑起怎样的经济体系？

火山引擎披露了几个关键数据，大多数人会被日均180万亿次的Token调用量所惊讶，相比豆包大模型刚刚诞生的两年前增长了足有1500倍，但还有一个实际意义更加震动的数字，更值得关注：

在火山引擎的服务对象中，年均消耗1万亿Token的企业，超过了200家。

头部大户的高消耗，是不意外的，但扩大到200家则意味着，对于Token的用量需求，以及千万级的财务预算，必然下沉到了细分市场的非互联网赛道，比如传媒、金融、汽车等等，这才是火山引擎更大的机遇。

超过50个品牌的汽车、8成以上的系统重要性银行、9成以上的头部券商、所有的C9高校、Top 10手机公司里的9家⋯⋯有一个算一个，全在火山引擎上消费Token。

作为先后经历了桌面互联网和移动互联网两轮完整周期的老登，我们都还记得对于流量的敏感，无论是「图多杀猫」的警告，还是「30块5MB」的流量包，这种必然走过的历程，通向的终点一定是「脱敏」，就像现在不会有人还会出门在外就把蜂窝网络关掉，以免跑出不知情的账单。

眼下被玩成各种热梗的Token消耗段子，一定只是切换商业逻辑的过渡产物，而火山引擎为各个行业提供的动能转化，尤其是强调Token调用规模的计算方式，都是在指向那个明确的终局思维：

相比单纯评估Token消耗量，更应关注Token消耗真正转化为可量化的业务成果，这就离不开新一代云计算基础设施。

这个画面，就很像十九世纪末期的电气化，各个工厂、车间、矿山全都优先配套电力能源，哪里能够稳定供电，哪里就能成为新的工业中心。

#模型时代# Databricks CTO：AI的瓶颈不是智能不够，是上下文不够，所以要重建AI基础设施

一期很硬核，甚至有点枯燥的笔记。

Latent Space播客2026年6月25日的一期，嘉宾是Databricks联合创始人兼CTO Matei Zaharia和联合创始人Reynold Xin。录制时间在Data + AI Summit 2026期间（6月15日至18日，旧金山Moscone Center），现场到场约3万人，全球参与超10万人。Databricks目前服务超过2万家企业，覆盖70%的财富500强，2025年12月Series L轮估值约1340亿美元。

这次Summit的主线：CEO Ali Ghodsi在keynote上说，AI的瓶颈不是智能不够，而是上下文不够。模型已经足够聪明，但智能体在企业里干活时拿不到正确的数据、花费失控、安全没保障、换模型换工具很痛苦。围绕这个判断，Databricks发布了一组产品：Omnigent解决智能体的管理和安全问题，LTAP让事务数据对分析引擎和智能体立即可见，Lakehouse//RT把查询延迟压到毫秒级。这期对谈里Matei和Reynold展开讲了其中两个最核心的方向。

Omnigent的核心是一个统一API，和LangChain、CrewAI等编排框架不在同一层：无论底层跑的是Claude Code、Codex还是自定义智能体，对外都是"消息和文件进，文本流和工具调用出"，换harness只需改YAML里一行。

Databricks内部有工程师让一个智能体debug问题，结果它自己读了大量日志文件，一个session花了500美元。这催生了Omnigent的有状态花费控制：可以给子智能体设5美元上限，超了必须找人批准。

LTAP的突破来自一个意外的原型：Reynold和团队争论了很久能否把Postgres的行存数据改写成Parquet列存格式，一个工程师直接做了个原型证明可行，发现存储层闲置CPU足够做转码，而且转码后数据压缩率更高，写入对象存储反而更快。…

一、Omnigent：编码智能体和企业智能体面对的是同一组问题

智能体要用上企业的上下文，第一道关卡是：谁来管这些智能体？现在的工程师通常同时开着四五个AI助手：用Claude Code写架构、用Codex快速生成代码、用Gemini搜东西。每个助手都在自己的窗口里，互相不知道对方在干什么，工程师在它们之间来回复制粘贴。历史记录各管各的，安全策略各管各的，花了多少钱也看不到全貌。这些AI助手，业界统一叫harness，意思是"把裸模型套上缰绳、变成能干活的智能体"的那套软件，Claude Code、Codex、Cursor都是一个harness。Omnigent要做的事情，就是在所有这些harness之上再加一层统一管理。Databricks把这一层叫meta-harness，字面意思就是"管harness的harness"。

1、两条线索汇合到同一个产品

Matei说Omnigent的起点有两条独立线索。第一条来自内部开发：Databricks有5000多名工程师，他们的开发基础设施团队做了一个叫Isaac的工具，本质是Claude Code和Codex的封装。但最厉害的工程师们不满足于此，开始自己搭多智能体工作流、自己做UI。第二条来自对外产品：Matei联合带领的研究团队在做数据科学智能体Genie，同时还有大量客户项目和内部工具智能体。这些智能体全都撞上了相同的问题：每隔几个月就要换模型和harness，智能体的工作记录不能分享、没有历史、不能搜索，缺少协作层。

一开始有人觉得把编码智能体和自定义智能体放在同一个框架里很奇怪，但Matei认为它们面对的基础设施问题完全相同。

2、统一接口是核心，不是又一个技术栈

Omnigent的设计核心是一套统一接口，Databricks叫它Common API。不管底下跑的是Claude Code还是Codex，对上面来说都长一个样：往里送消息或文件，出来的是文本流或工具调用，也可以随时取消当前任务。这套接口可以封装Claude Code、Codex、Pi、OpenAI SDK等各种底层harness。Matei说Omnigent不试图成为一个完整技术栈，你可以在它的服务端之上接自己的界面。

Reynold的切身体验印证了这个需求：他有一周从早到晚在用编码智能体，开车去看医生时还把笔记本电脑连着手机热点放在副驾，遇到红灯就看屏幕，因为本地的工作进程不能断开。他写了一份愿望清单给团队，包括"不会关闭的云沙盒""能渲染Markdown文件""能SSH进去看日志"。最后团队几乎全部实现了。

3、开源是因为网络效应，不是慈善

Databricks选择在Apache 2.0下开源Omnigent，逻辑和当年开源Spark一样：这个层如果封闭，别人做一个开放版本，长远一定赢。开源的好处是社区会写集成插件，比如有人已经加了Kubernetes运行支持、多种云沙盒接入。发布第一周就有约400个合并请求，Matei估计一半不是他的团队写的。Omnigent在6月13日开源（Alpha版），Data + AI Summit 2026正式发布托管Beta版。

4、每个工程师都做出了自己的最优工具，但没人能和队友共享

Databricks内部出现了至少五六个不同团队各自搭建的智能体框架，功能大同小异。工程师们的反馈是："我做的东西对我自己来说好用极了，但队友没法用，因为没有共享服务器。"这就是为什么Omnigent有server组件，内置身份验证和安全控制。很多外部团队也遇到同样的问题：原型跑通了，但安全团队不允许智能体连接到关键数据源。

二、智能体安全：静态的"允许/禁止"不够用

统一管理层搭好了，接下来的问题是怎么控制。Ali keynote里的四个关键词之一就是Control。

1、安全与可用性的核心矛盾需要上下文感知来化解

Matei花了大量时间和内部开发者、安全团队、管理层以及客户交流。他发现现有的编码智能体安全机制太粗糙：只有"允许使用这个工具模式"或"禁止"两种选择。但实际场景远比二选一复杂。

他举了一个例子：智能体应该能读取机密文档吗？应该能从NPM安装新包吗？应该能向公司网站发布内容吗？如果你做的就是网站代码，当然应该允许发布。但如果一个智能体同时做了这三件事，它可能读了机密文档、被恶意指令劫持（业界叫prompt注入，指攻击者在文档或网页里藏入指令让智能体执行），然后通过发布功能泄露数据。每一项单独看都合理，组合起来就是安全事故。

2、有状态策略的具体运作方式

Omnigent的解决方案叫"上下文策略"，即contextual policies，系统持续追踪session状态。策略不再是"能不能推送到营销站点"这种静态开关，而是"如果这个session刚安装了一个发布不到一天的NPM包，或者读取了大量机密文档，那就不允许推送"。这需要在session级别记录状态。

策略层的设计也做了抽象：底层事件可能非常琐碎，比如智能体通过MCP协议（让大模型调用外部工具的标准接口）连接Google Drive，光API调用就有60种，哪些会把文档分享到外网、哪些不会，逐个判断很烦。Omnigent的做法是加一层映射库，把琐碎的底层调用翻译成"读取了机密文件""发布到外网"这样的高层事件，策略只需要基于高层事件来写。这也是开源的理由之一：社区可以贡献映射库，Databricks和客户都能直接用。

3、花费控制是安全问题的延伸

因为策略引擎追踪session状态，自然可以追踪花费。Matei说他亲身经历过让一个智能体去debug问题，结果它决定读大量日志文件、烧了很多token，一个session花了500美元。现在可以设定规则："启动一个子智能体做这件事，预算上限5美元，超了必须找我批准。"

这不只是CTO个人的焦虑。Matei说他和一些咨询公司聊过，它们有10万名员工在给客户写代码，如果每人每月多花1000美元在编码智能体上，公司层面就是一笔吓人的账单。Databricks自己的策略是不限额度，但用自家产品分析trace数据，有专门团队做优化和异常检测。他们还从trace分析中发现了有趣的洞察，比如哪些模型在Rust上表现更好、哪些在TypeScript上更好。

4、Panther收购补齐事件处理能力

Databricks在Summit上宣布收购AI安全运营平台Panther，这是其第三笔安全收购（之前还有Antimatter和SiftD.ai）。Matei在对谈中提到Panther和Omnigent的策略层有关联：Panther做的是基于Python的实时事件处理，和Omnigent的策略引擎在思路上类似，都是把低层事件映射为高层决策。

作为CTO，Matei说自己"特别偏执但时间特别少"。他不想坐在那里审批"你要执行这个20行bash脚本吗？是/否"，也不想因为装了个奇怪的NPM包上了新闻头条。所以他在安全和易用之间反复权衡，目标是"尽可能安全，尽可能不烦人"。

三、LTAP：数据库工程圣杯的新解法

管理和安全这一层搭好之后，下一步是数据本身：智能体要干活，得拿到数据。这就回到了Databricks的老本行：数据基础设施。

1、CDC为什么是数据工程师的噩梦

Reynold先铺了一个背景：数据库世界分成两半。一半是OLTP，即事务处理数据库，比如Postgres、MySQL、Oracle，处理的是查找特定行、更新特定行这类操作。另一半是OLAP，即分析处理，要做的是"按门店算营收""预测未来销售"这类聚合计算。当数据量超过简单规模，在OLTP数据库上跑分析查询会把数据库压垮，所以需要把数据复制到分析系统。

连接这两个世界的标准做法叫CDC，全称Change Data Capture，读取数据库的增量日志，在分析侧重建状态。CDC是现代数据基础设施最无聊但最关键的操作之一，Reynold说它应该叫"持续数据腐败"（Continuous Data Corruption），因为OLTP侧一旦改了数据表结构（数据库术语叫schema，比如加一列、改字段类型），CDC管道就可能处理不了，凌晨三点数据工程师就会被叫醒。Reynold开玩笑说有公司光靠做CDC就做到了50亿美元市值。

Reynold在keynote上问台下观众谁喜欢自己的CDC管道，举手的只有两三个人。

2、HTAP为什么是圣杯但从未成功

Reynold说"用一个数据库同时处理事务和分析"是每个数据库工程师都梦想过的事，但实际做出来的HTAP系统全是妥协。问题有两个：Postgres有庞大的生态，Spark也有庞大的生态，如果做一个新系统，两边的生态都用不上，只能搞一个更小的专有API，结果是两头都差。而且要在一个引擎里同时做好两种工作负载，性能上几乎不可能不互相拖累。

3、LTAP只统一存储层，不统一查询引擎

LTAP（Lake Transactional/Analytical Processing）是Databricks在2026年6月16日发布的架构。核心思路是：不在查询引擎层面合并（那是HTAP的路），只在存储层统一。Postgres数据库的数据直接以列式格式（Delta/Iceberg）写入开放数据湖，分析引擎可以立即读取，不需要任何管道。事务和分析各用各的计算引擎，各自独立扩展，互不干扰。

Reynold的总结：Postgres还是做事务，Databricks的Lakehouse还是做分析（Lakehouse是Databricks的核心产品，把数据湖的低成本存储和数据仓库的查询能力合在一起），只是底下的存储变成了同一份数据。

4、一个工程师的原型终结了长达数周的争论

理解这个突破需要知道一个背景：事务数据库通常按行存储数据，一行就是一条完整记录（比如一笔订单的所有字段），适合逐条读写。分析引擎则按列存储，同一个字段的所有值放在一起（比如把所有订单的金额排成一列），适合大规模聚合计算。两种格式各有擅长，过去需要CDC管道来做转换。

Reynold和Ali Ghodsi（Databricks CEO）花了很多时间争论一个技术问题：基于收购而来的serverless Postgres技术（原Neon公司）构建的Lakebase，之前把数据以Postgres原生的行存格式写入云端对象存储，能不能改成列存格式？两人来回辩论了很多轮会议，从第一性原理分析可行性。

结果一个工程师直接做了原型：存储层的缓存服务有大量闲置CPU，可以用来做行存到列存的转码。而且转码后数据压缩率大幅提高，往S3写入反而更快。没有性能开销，没有额外成本，因为CPU本来就闲着。争论就此结束。

Matei说这类事不需要启动项目、写设计文档、走正式流程。"你如果搭好了环境让人可以直接试，比写十页分析文档有用得多。"

5、智能体需要理解数据库里在发生什么，不只是看遥测数据

Matei说自己一开始对"LTAP对智能体有用"这个定位持保留态度。但在Summit晚宴上，一位澳大利亚客户告诉他：他们有很多服务日志，发现SLA下降时想用智能体调查原因，但智能体只能看到产品遥测数据，看不到数据库里实际的订单和用户行为。如果智能体能直接查询事务数据库里的业务数据，能力会提升一个量级。

另一个场景来自Matei自身经验：出过数据库事故时，工程师说"我不能在上面跑大查询，因为会让数据库雪上加霜"。LTAP解决了这个问题，因为分析查询跑在一组独立机器上，不会影响正在服务业务的事务数据库。

四、Dream Engine：用十年的查询痕迹造新引擎

LTAP解决了"数据在不在"的问题，但数据在了之后，查询够不够快是另一道坎。智能体不像人类可以等几秒看报表，它们需要毫秒级响应才能嵌入实时工作流。这就是Databricks重写分析引擎的动机。

1、所有主流分析引擎都有十年历史，都在打补丁

Reynold指出一个事实：市面上有合理用户基础的分析数据库引擎几乎都有约十年历史。它们最初都是为某个细分场景设计的，随着成功不断扩展野心，支持新场景的最快方式是在原有架构上"hack"，十年有机演化下来就变成了一堆技术债。Databricks自己也不例外。

很少有公司敢说"从头来过"。这里面有一个经典的风险，计算机科学里叫"第二系统综合征"，英文是Second System Syndrome：你做了第一个成功的系统，第二个几乎注定失败，因为你以为自己什么都懂了，目标设得太大，最后要么做不完，要么做出来的不比原来好。

2、用机器学习模型代替人类直觉选算法

这个新引擎内部代号Reyden（取自Reynold名字的谐音），团队戏称为"Reynold's Dream Engine"。对外发布时产品名叫Lakehouse//RT（RT代表Real-Time，实时）。三个名字指的是同一个东西。

Reyden团队换了一种造数据库的方式。传统做法是读学术论文、了解最新算法和数据结构，拼在一起看效果。问题是论文里表现好的算法可能在70%的工作负载上好用，但在另外30%上反而更差。

他们的做法是先造一个"工厂"。Databricks有十年的查询trace数据，团队统计为千万亿级数据点。他们用这些数据训练了一个机器学习模型（不是LLM，是传统ML模型），这个模型可以快速预测任何算法和数据结构的组合在任何查询类型上的表现。基于这个模型，他们在实现阶段就能选出对实际工作负载最有效的算法，在运行时也能动态分派最合适的执行路径。

3、性能维度的复杂度远超想象

Matei说影响数据库引擎性能的特征可能有上百万个。除了常见的规模、吞吐、延迟之外，还包括：数据的稀疏度、同一数据被访问的频率、不同值的数量（影响聚合操作的内存消耗和哈希表设计）、字符串是ASCII还是包含Unicode（如果字符串足够密集，比如只有256种取值，可以用数组查找代替哈希表）。很多结论是反直觉的，你以为会很好用的算法在实际工作负载上可能表现平平。

对外产品名叫Lakehouse//RT，Beta版已发布。基准测试显示可以在每秒处理12000次查询的负载下做到亚100毫秒延迟，小数据集上低至10毫秒。

五、开放格式、竞争策略与创新文化

前面四章讲的是Databricks在做什么。这一章swyx追问的是：为什么是你们能做？竞争对手也在做类似的事，Databricks凭什么跑在前面？

1、Databricks和Snowflake：同时起步、方向相反

两家公司创立时间相近，都把计算和存储拆开、分别放在云上独立扩展（业界叫存算分离），都上了云。最大的分叉点是开放性。Databricks从来没有专有数据格式，从Parquet起步，演进到Delta和Iceberg。Snowflake一开始选择了专有存储，优化最有价值的结构化数据，服务管理层和财务人员的快速查询。

Databricks起家靠的是Spark，一个开源的大规模数据处理引擎，由Databricks几位创始人在UC Berkeley读博时开发。Spark的强项是把海量数据分散到成百上千台机器上并行处理，适合批量数据摄入和复杂计算。数据存在开放格式里，下游谁都可以读。曾经两家互相列为合作伙伴：用Databricks做摄入和计算，用Snowflake做SQL查询和可视化。后来客户开始问"为什么我需要另一个东西"，两家各自进入了对方领地。

Matei认为从上游（大规模摄入+开放格式）向下游扩展比反过来容易，因为已经有了数据和生态。而企业客户如果IT系统已经存在三十年，经历过被Oracle锁定的痛苦，在选技术底座时会优先考虑开放格式。

Reynold补充了一个细节：Snowflake有一位联合创始人写过一篇博客叫"Choosing Open Wisely"，核心观点是反对开放格式。Reynold说开放数据格式在五六年前还有争议，现在已经成为企业共识。

2、企业客户和科技公司客户有三个核心区别

Reynold提到，如果你只服务过科技公司客户，做企业市场时会遇到认知盲区。三个关键差异：一是治理和合规，存在了三十年的企业有大量遗留系统和监管要求。二是采购流程完全不同，利益相关方多得多。三是科技公司的人会说"我自己能做"，而传统企业客户的态度是"我永远不想做这种事，我是零售商，不想因为某个流式管道出故障而业务中断"。

Matei补充了另一面：很多企业客户是各自领域的深度专家，他们造飞机、设计药物，只想要一座桥连接到数据世界，永远不想学数据库。

3、创新文化的核心是"不用请示，直接做"

Matei和Reynold都强调，在公司规模扩大到5000多名工程师之后，保持创新速度的关键是：雇到顶尖的人、赋予他们权力、创始人自己待在一线。Matei说很多重大产品（包括Omnigent和LTAP的关键原型）都是先有人做出可工作的东西，再来讨论要不要正式立项，而不是先写设计文档再开工。

Reynold的原则是：和正在造东西的团队保持"第一名字基础"的紧密联系，确保他们在和真实客户打交道。他的第一个问题永远是"你的目标客户是谁？你和他们在互发短信吗？"

Reynold举了Clean Room的例子来说明这个原则。Clean Room是Databricks的数据安全共享产品，最初只为两个客户而做。行业里有人说过拟合一两个客户风险很大，但Reynold认为过拟合的风险远小于另一个方向的风险：什么都做，最后一个客户都没有。先让产品在一两个真实场景里跑通，再从那里扩展。

公司层面也刻意控制产品线宽度。尽管规模庞大，Databricks发布的产品数量不多，追求统一API、统一语义、统一数据副本。每次只增加一个能力：先加了存储（Delta Lake），再加了SQL，再加了机器学习平台，每次做好再往前走。

4、"这家公司值一万亿"

swyx在节目尾声提到了一段Databricks早期故事。Ben Horowitz（a16z联合创始人）在Databricks还很早期时做过一个判断：有人提议以100亿美元的价格卖掉公司，Horowitz说"这家公司应该值一万亿，你们在贱卖"。swyx说Horowitz不会对每家公司都这么说，从早期就看到了Databricks的无限跑道。Matei回应："We're lucky to have Ben."

六、Mosaic和模型训练：不做通用前沿模型，做专用组件

Databricks的能力扩展清单里，模型训练是和数据基础设施并行的另一条线。Ali keynote里的第四个关键词Choice，指的就是企业应该能选择最合适的模型，而不是被锁定在某一家。收购Mosaic AI是这条线的起点。

1、从训练系统优化到开源LLM，再到战略转向

Mosaic AI被Databricks收购时最知名的是早期开源LLM（如MPT-7B），实际上更早是做训练系统优化的，有世界上最快的图像模型训练栈。加入Databricks后发布了DBRX，规模做到了Llama 3以上。但团队最终决定：通用前沿模型的竞争本质上是砸算力、拼规模，而模型发布者会越来越多。Databricks要聚焦的是"有了聪明模型之后怎么让它有用"。

2、专用模型在高频场景下碾压通用模型

Matei举了文档解析的例子。把PDF或Word文档扔给Claude或GPT这类前沿模型，效果"几乎对了但有些地方错"，而且每页要消耗大量token，成本极高。Databricks团队做了一个专用视觉模型，接收页面图像，输出结构化JSON，准确率更高，成本大约是前沿模型的百分之一。做这个模型的研究员来自DeepMind，是Adept的联合创始人之一，也是最早做LLM规模化训练的人。

编码智能体内部也在用专用子智能体。Matei提到了advisor model的思路：Harvey用开源工作模型配前沿advisor模型，在质量和成本上都打败了单用前沿模型。Matei在UC Berkeley的一个学生比Harvey更早发了advisor models的论文。

3、RL微调正在变容易，但还没到主流门槛

Matei认为模型定制会越来越简单。原因是三个趋势在汇合：基座模型越来越聪明，所以RL时生成的trace质量更高；RL本身就是从自己过去的trace中学习；合成数据生成现在好用得多。他们内部的pipeline用开源模型既生成训练环境又训练模型自身，在特定任务上能打败Opus和GPT 5.5。

问题是现在做这些还需要专业LLM研究员。什么时候普通人也能描述一个任务、灌入数据就能训出好用的模型？Matei认为这只是时间问题，但目前还没跨过主流门槛。Databricks在向部分客户提供RL微调服务，也有面向自助用户的AI Runtime，提供GPU集群和配套训练软件栈。