- Atlas 的新视角预测 [00:00:00 - 00:10:00]
- 从 Marble 到 Atlas：统一生成与重建 [00:10:00 - 00:20:00]
- 空间智能的创作控制与数据规模 [00:20:00 - 00:30:00]
- 世界模型、机器人与真实世界数据 [00:30:00 - 00:40:00]
- 动态世界、可编辑性与 AI 完全性 [00:40:00 - 00:42:55]
Atlas 的新视角预测
- 在通往空间智能的路上,生成真正具备空间上下文,落 [00:00:00 - 00:09:59]
Martin Casado：在通往空间智能的路上,生成真正具备空间上下文,落到实处的像素。这就是Atlas迈出的非常艰难的一步。 好,Atlas是我们新一代的世界模型，它有三个基本能力，它可以生成、重建以及模拟这个世界，在这当中包含了几个不同的主要功能，它有非常出色的相机条件生成能力，所以你可以输入一张图片再加上相机轨迹，去引导这个模型，让它按照你想要的任何视角生成视频帧，它非常擅长吸收3D重建，你可以输入一帧或者多到100帧现实世界的视角画面，用它们来重建现实世界，这种重建既可以是穿梭在这个空间里的全新视频，也可以是该空间的显式3D重建，最后它还可以用来做模拟，针对这一点我们展示了那些超酷的子弹时间视频，在网上吸引了很多关注，另外还有机器人模拟，什么是子弹时间视频，子弹时间视频这个出自黑客帝国，第一部黑客帝国电影里有个著名的镜头 Neo好像要倒下去，记得那个那个镜头里它像是要倒下去，画面是慢动作，镜头在飞速移动，绕着整整转了一圈，他们当时拍那个镜头的做法，就是围了一圈大概几百台相机，它在影棚里往后倒的时候，他们用几百台相机，在绿幕前对着那个角度拍，然后用这几百上千台相机，做出了黑客帝国里那个著名的镜头，但现在用Atlas 我们最少只要三台相机就能做到，不需要影棚拍摄，不需要绿幕，也不需要昂贵的校准，我们真的只要把三台iPhone架在三脚架上，用来拍一段正在发生的事情，比如有人投篮，有人把草莓扔进牛奶碗里，然后光靠这三段iPhone视频，我们就能重新构图，想象一下让时间静止，在牛奶溅起的一瞬间让镜头飞过去，拍出这种令人惊艳的时间定格画面，我们只用几台相机就能做到 你能用最简单的话概括一下Atlas是做什么的吗，比如输入什么输出什么，好，Atlas最核心的原则之一，最根本的一点就是它做的是新视角预测，这是一个非常基础的原语，我们觉得非常让人兴奋，是基础模型里前所未有的全新原语，对吧，我们知道大语言模型是建立在 Next Token Prediction之上的，我们也看到视频模型是建立在 Next Frame Prediction之上的，而Atlas做的其实是新视角预测，对吧，只要给出某个场景的几个视角，或者对这个场景的描述，这些就会进入我们所谓的空间上下文，隐式地描述出我们想探讨的，到底是一个怎样的世界，然后你可以在时空中的任意一点，放置一台虚拟相机 Atlas就能理解从时空中的那个位置看过去，世界应该是什么样子 Ben现在市面上有无数的视频模型 都声称自己是世界模型，都声称能做新视角，你能更具体地梳理一下，这和之前出现的无数模型，到底有什么不同吗，对我觉得Justin刚才提到的，空间上下文这一点，在这里非常重要，现在有很多视频模型，很多视频模型其实是靠单图输入，或者首尾帧插值一举成名的，现在我们开始看到一些模型，能用20 30 50张图片，做这种全方位的参考，但Atlas的关键在于，你输入给它的每一帧，其实都有某种具有空间依据的意义，所以它不只是一张，让模型随心所欲去理解的图片，你也不用在文本prompt里去跟它较劲，好让它做出某种特定的效果，在Atlas里，每张图片其实都关联着一个三维相机位姿，这意味着你可以以极高的精度，来完成重建任务，对吧，所以如果我们有这个房间的四个视角，每个角落各一个，你可以把它们输入给模型 然后完全复刻出你在房间里看到的一切，它不会去瞎猜，另一个角落里有什么，比如物体之间的关联，它只会精准复现你给它的东西，而且你也可以在创作或想象的层面上这么做，如果你从不同的AI生成内容，或现实场景中取两张照片，你完全可以摆放并编排它们，构建出这种带有明确意图的运镜穿梭，完全有你放置内容的精确位置，以及相机要看哪里和怎么移动来决定，我觉得这非常不一样，不像现在的视频模型那样，往往像拉老虎机一样，只能靠那种更高维度的文本控制，一次又一次的反复去抽，这只是传统视频模型，显而易见的大号放大版，还是说它是一种全新的架构，我觉得它是一个挺新的东西，原因有这么几个，我们聊到的其中一点是，它在同一个模型里，同时做生成和重建 就像Ben说的，这东西可以接收这个房间的几个视角，然后把你看到的这个房间里的一切精准重建出来，而在历史上，重建在计算机视觉里，一直是一个独立的子领域，有它自己专门的任务，有自己专门的模型，而生成则是所有文本，所有文生视频模型真正擅长的，就像过去几年我们看到的所有大型扩散模型那样，那些模型在创意应用上非常棒，我想想象一个以前从未存在过的东西，但现在有了Atlas 我们第一次把视觉智能的这两个不同部分，融合到了一个模型里，让它能在同一个架构下同时做3D重建和生成，为了做到这一点，我们必须做出几项改变，一是我们必须从一开始，就把它做成多模态的，所以这东西原生支持文本，支持图像，支持视频，它也原生支持，把相机位姿 作为模型的原生输入，我觉得在预训练阶段以前，从来没有人这么做过，而且它把3D 作为自己原生支持的一种模态，所以这东西从一开始，就被设计成了原生多模态，我觉得其他人，都没有做到这种程度，不好意思，我对这个领域不是特别了解，你说的3D是指像深度图，还是模型，还是指这是什么意思，好我们目前采用的表述形式，是深度图，所以现在你有一帧画面，里面有一台虚拟相机，标出了它在3D空间里的位置，那个相机位置和相机参数，就是模型的原生输入，然后附带在那个相机位置上的，你可以有RGB图像，来告诉你空间中的那个位置长什么样，也可以有一张深度图，来告诉你那个位置，在3D空间中的空间结构，这样一来，文本图像视频 3D相机，就成了多模态输入 [00:05:56]
李飞飞：他把这些模态全都结合在一起处理，我想补充一点，因为我觉得Justin刚才说的，其实太重要了 Ben说的也很重要，但这一点常常被低估，这是我们第一次把像素生成，和像素重建统一了起来，在计算机视觉的世界里，这个领域已经存在了半个多世纪，我坐在这里，在这个领域待了几十年，我都数不清有多少篇博士论文，是专门研究重建或新视角合成问题的，而且传统上，我们这个领域有好几个赛道，你去参加一个计算机视觉会议，有像素生成赛道，有识别赛道，还有3D重建赛道，而这是一个非常优雅的模型，它通过锚定视点并进行视点估计，把重建和生成这两个问题，结合并统一了起来，这真是无比强大，你能，我们能不能退一步，然后也许你先梳理一下 [00:06:50]
Martin Casado：你们刚创立公司的时候，我记得你说过，你们想做空间智能，对吧，而现在我们有了，这个新模型感觉，我是说作为一个外行，我觉得它非常通用，我们有下一个预测，而这个是下一个，新视角预测，新视角预测，对吧，对，所以你能拿到一个视角，或一组视角，然后得到一个新视角，你能不能勾勒一下，这怎么就成了迈向空间智能这个通用问题的重要一步，也许可以先从描述什么是空间智能开始，空间智能最终必须让我们既能生成空间的内容 [00:07:44]
李飞飞：能在其中推理，还能在其中进行编辑和交互，现在我们可以争论它是3D还是4D 归根结底加上时间维度它是4D 但哪怕仅仅是3D 这些也是人们必须要做，或者空间智能必须去支持的基础任务，然后我们再说，有了它，你就能渲染，能模拟，能规划动作，但要做到这些，一个要解决的基本问题，就是理解空间的几何结构和物理规律，而我确实认为 Atlas是向前迈出的重要一步，因为现在对于每一帧，你都能生成和估计出一项重要的信息，也就是相机位姿，那是关于空间几何最关键的信息 而且它能带来我们在模型的下游看到的那些涌现行为，我们已经在播客里展示过了，所以在通往空间智能的道路上，生成像素确实是一个早期步骤，这我们在无数的模型里都已经见过了，但是生成真正具备空间语境和依据的像素，绝对是另一个重大步骤，而这正是Atlas迈出的非常艰难的一步, 我们肯定还有, 我们完全可以在这里继续往下走, 对吧?比如还有时间, 这个第四维度它会引入动态, 而且还会有更高保真度的空间模拟与刻画,
Martin Casado：所以这是空间智能路线图的一部分。太好了, 我是说, 我肯定很想深入聊聊它的发展方向, 但首先, [00:09:50]
从 Marble 到 Atlas：统一生成与重建
- 也许我们先聊聊是怎么走到这一步的 [00:10:00 - 00:20:00]
Martin Casado：也许我们先聊聊是怎么走到这一步的。World Labs成立多久，两年，两年半，两年半对，那你们其实之前就发布过模型，那为什么不直接一步到位做Atlas呢，问得好，它太神奇了对吧 Justin的团队需要很多芯片，是的要把这东西真正做大，需要大量的GPU 去年我们发布了Marble世界模型，那是我们推出的第一个大型主力世界模型，它支持着我们目前的Marble产品 Marble真的很酷 Marble可以接收图像，可以接收视频，可以接收文本提示词，并用这些来生成3D世界，但Marble和Atlas之间最大的区别之一，恰恰就在于输出模态到底是什么 Marble当时其实非常聚焦于，把高斯泼溅作为输出表征 所以无论你输入什么，它都会输出一个，以高斯泼溅形式表现的3D世界，高斯泼溅非常有用，对吧，它们非常不错，很容易渲染，在移动设备和VR设备上都能高效渲染，它们可以与其他游戏引擎，仿真引擎互操作，高斯泼溅有很多优点，但我认为这在之前的Marble模型里，算是一种瓶颈，所以我们在Atlas上，做的是稍微重新设计了一下，我们意识到，我们需要更早地分流这些模态，让所有这些模态，在模型里，以一种更统一的方式协同工作，所以现在到了Atlas 最基本的机缘，就不再是一个高斯泼溅世界了，就像我们说的，最基本的机缘是新视角预测，它可以生成RGB帧，可以生成3D 当你需要的时候，我们也可以用它们生成，漂亮的高斯泼溅世界，但当我们不需要的时候，就没必要把输出卡死在，高斯泼溅这个瓶颈上了 为了搞清楚这些不同表征，各自的优缺点，确实付出了很多心血，对这是其中一方面，另一方面就是，你得一步步往上扩展规模，对吧，你得一步一步往上做，做更小的实验更小的模型，去建立起对什么能行，什么能扩展的信心，要是你能立刻知道什么东西能扩展，那你直接做就是了，但我们刚创办公司的时候，外界的环境跟现在大不一样，当时根本没有空间智能的scaling law 没错，我们创办公司那会儿，整个环境大不一样，技术也处在完全不同的阶段，我们对它的走向有很多雄心，但也经历了几次迭代，才最终敲定了这种，我们觉得确实可行的形式，觉得就是它了，这个方向是能扩展开来的 Ben作为NeRF的创造者，你做了很多3D和重建方面的工作，对我来说有了多个视角 就能真正弄出一个3D的东西，这并不是那么显而易见的，但你整个人生基本都在做，最终弄出一个3D的东西这件事，我们对它的走向有很多雄心，但也经历了几次迭代，才最终敲定了这种，我们觉得确实可行的形式，觉得就是它了，这个方向是能扩展开来的，所以能不能稍微聊聊，这中间的那一步，所以能不能稍微聊聊，这中间的那一步，好，就像你说的，我职业生涯花了很多很多年，绝大部分时间，其实都在研究，怎么从图像生成3D 这其实也是我们在公司，早期经常讨论的问题，这到底会不会是，生成3D的正确路径，对吧，我们是要合成多个视角，再由此构建3D吗，还是说我们要尝试，直接生成3D 这个领域里，一直有很多不确定性，大家不知道哪种方法会胜出，或者哪种能在早期，占得最大的先机，但我确实有很强的信念，主要是看到了 我几乎称之为暴力扩展的威力，那是在非常非常初期的，微小规模上的扩展，不是真正的模型扩展，而是过去三年，我们看到的稠密重建的扩展，基本上我们发布了，为什么是稠密重建，叫稠密，对稠密，因为我知道后面要聊到系数，我想确保大家能明白，什么是稠密，什么是系数，好的，我觉得即便在商业化和业务层面上，这也是从底层，把3D重建技术，做成产品的一大难点，对吧，大家往往不太，平常大家会觉得，我拍了这个物体的三张照片，或者这个房间的六张照片，我看这些照片，脑子里能想出，它们是怎么拼在一起的，我能脑补出来，但这种纯靠数据驱动的鲜艳，和那种硬算出来的，稠密重建之间，其实从来就没能真正调和过，而我们在稠密重建里做的事，其实更像是科学或医学成像，你基本上必须要求 我想要重建里出现的每一个角落，都至少得有三四个视角拍到它，如果你想想看，哪怕只是这个房间，麦克风底下，桌子底下，每一处缝隙角落，植物叶片之间，要真正拍出一套，能覆盖每一个角落的照片，你得绕着房间走，这是一件非常繁琐，极度费力的事情，我想你们都见过，我到处跑着去采集各个地方，对于受过良好训练的人来说，可能需要几分钟，但如果你随便给一个普通消费者，甚至是一个，第一次尝试干这个的专业人士，一台普通的手机或采集设备，他们大概得花一个小时，我见过有人，第一次尝试扫描多房间的环境，花了两个小时在里面走来走去，才拿到足够的覆盖率，那真的是个非常非常繁琐，且耗时费力的循环，所以我们说稠密的时候，那是真叫稠密，就像这个房间，我得拍大概100张照片，极多的照片 对吧，要拍下这个房间，我需要100 200甚至300张照片，而我们想做的，是把它降到大概三张，三张，对吧，我们说的是，减少50到100倍，到了这种量级，关于什么样的拍摄素材，能用来做重建的逻辑，就彻底被颠覆了，你可以回过头，用已有的现成图像，可以用网上的素材，甚至用那些，直接把场景建出来，你可以用随手拍的视频，发掘出大量过去，我们根本不认为，能拿来做重建的素材，回头把它们变成，生动的3D 在做Atlas的过程中，我们一直在反复尝试这种事情，对吧，比如拿旧素材来说，我把自己以前拍的一大堆，根本见不出来的旧素材，放进系统，然后差不多第一次看到了重建结果，或者拿我以前拍的素材 [00:15:22]
李飞飞：扔掉95%的照片，去脑补出以前，用NeRF或高斯泼溅，这类传统重建，根本不可能得到的视角，官网上那些demo里，有个大家没怎么注意到的地方，就是斯坦福那个，对，那个demo里Ben展示了大概在3到25张，张图片之间就能把整个斯坦福的主方院重建出来，但关键在于我们展示时必须用鸟看视角，可输入的每一张照片都是Ben站在地面上，从地面角度拍的，你看到的所有东西都是生成的，但又完全遵循重建的规律，这太神奇了，这里就是生成和重建需要相互结合的地方 [00:16:06]
Martin Casado：要从根本上解决这个问题，因为按照Ben刚才说的那种经典重建逻辑，之所以需要那么多视角，是因为需要多张图像，要在3D空间里对这个点做三角测量，得从多个视角看到它，这意味着在传统版本里，这是必须的，反过来说，凡是在这些视角里没拍到的东西，比如在任何一个输入视角里都不可见的像素，在3D重建里就会变成一个空洞，因为从本质上讲，如果某个东西在输入视角里没出现，你就必须靠想象来填补这些空白，而这根本上就是一个生成过程，所以哪怕就在这个房间里，就算我们让Ben拿着单反放开拍，拍上几百个视角的画面，哪怕是全世界做这种，稠密采集最顶尖的专家，也依然会漏掉一些角落，比如他不可能拍到所有麦克风的底部，或者所有桌子的底下，或者所有椅子腿之间的缝隙，无论你拍了多少个视角 总归会漏掉一些东西，这就需要在模型里，把生成作为另一种机制，因为你不可能把所有东西都拍全，所以模型必须具备，一定的生成能力去脑补，根据目前看到的内容，先对能看清的做三角测量，再去填补那些，不可避免没拍到的空白，对，而且这里面有个特别酷的地方 LLM早就深刻理解这一点了，对吧，前几年差不多一直在打，这种上下文之战，当时大家都在说，我们做到了128 256 到512 再到100万，对吧，现在大家在很实在的层面上，都理解了，当你用代码模型的时候，把上下文长度拉到最高，是有价值的，这是个难题，大家对此都有感觉，但在图像和视频模型这边，根本没有人，以同样有章法的方式，去推这个方向，根本没人去试着，把一段长达一小时的视频，放进去，大海捞针般，去检索第30 37分钟某一帧的画面 而在重建生成这边，其实是完全一样的事情，重建其实就是带有超长上下文的生成，你往里面塞了大量的东西，对吧，这才是真正建立这种连续体，把这两件事连接起来的途径，像Atlas能够做到的，这是我们以前用Marble永远做不到的事 Marble有个根本的阻碍，就是说实话，你根本塞不进超过几张的图片，但用Atlas 我真的可以拿一组64张照片的素材，做出一整套房子的漫游穿梭效果，所有东西都有据可依，要么是看到的，要么是快看到的，要么是根据没看到的部分，稍微推断出来的，但你能拿到的，是我把自己以前拍一套多房间房子，用的2000张照片，直接砍到大概三四十张输入，而漫游看起来基本上一模一样，这在以前是完全无法想象的，而这一切都得益于构建了这种，可以平滑扩展的上下文窗口，你可以把东西一股脑塞进去 那理解的方式是不是这样，吸收的部分是你实际拍下的照片，然后Atlas作为模型，生成剩下的所有视角，接着再用传统的重建技术，大概可以这么理解吗，还是，某种意义上来说，对是的，我是说这就是Atlas的妙处，无论你有多少张输入，哪怕只有单一视角，你几乎都可以把Atlas 当做这个渲染引擎，去生成你想要的 [00:19:36]
空间智能的创作控制与数据规模
- 去生成你想要的 [00:19:59 - 00:30:01]
Martin Casado：去生成你想要的，任何其他东西，对吧，你可以在里面漫游，就像一个虚拟摄像机，对没错，你完全可以说，好我这里有一张照片，我想那儿那儿，还有那儿的照片，你可以生成几张这样的，然后组织出一段稠密的漫游穿梭，你可以按顺序一步步做，因为它是一个自回归模型，这完全取决于，你在生成的过程中，你可以交互式的挑选，要把什么加进上下文里，对吧，让我大开眼界的是，听着，我脑子里的理解模型非常简单，我有四张照片，然后我得让模型在它们之间做推断，而且当你掌控视角时，它还得严丝合缝，它必须是3D的，因为我总觉得这些扩散模型，在视觉上很棒，但并不精确，我都不知道，这算不算一个问题，怎么能做到，让整个房间严丝合缝的，它是怎么保持3D一致性的，单纯是因为数据量大吗，还是 部分原因是，对扩展假说的信念，对吧，你懂的，全凭信念，顺便问一句，不过我必须得问，你们刚开始，做这事的时候，就知道它一定能成吗，我当时挺有把握的，好吧，什么，你确定能成，我觉得我们三个人，对Scaling Law都有十足的信念，这一点我觉得我们确实有 [00:20:53]
李飞飞：我确实觉得具体的架构选择和数据配比，才是魔鬼所在的细节，我看着Justin和他的团队，从我们真不知道这要花多久，到好像有点苗头了，再到哇这真能成，因为之前没有人做成过，但我觉得那两个假说，一个是scaling law假说，另一个是新视点预测，这两件事 [00:21:16]
Martin Casado：我们很早就有坚定的信念，所以我觉得，我当时非常坚信它能成，但我没把握能成得这么好，这么快，我是觉得，我们有可能把这个做出来，用全新的架构和全新的范式，去预训练一个新模型，第一轮预训练就能跑通，这本身就不可思议，所以我当时觉得，可能得把那个预训练周期，多转上几轮，才能达到我们想要的质量水平，那这种架构路线的扩展，我们差不多走到头了吗，我们需要另一次突破，还是说，不不，我们才刚起步，真的吗，是的，在不改变架构的情况下，对，我觉得我们基本上才刚起步，我觉得我们基本上才刚起步，眼下主要受限于算力，对吧，就像菲菲常说的，数据非常重要，但凡事都有瓶颈，我觉得继续扩展这套东西的主要瓶颈，其实是训练算力 对吧，在研发过程中，我们训练了一系列模型，我们在博客文章里，稍微提过这事，我们训练了几个模型，算是沿着扩展阶梯，爬了最初几档，每次我们把模型做大，每次训练更久，每次用上更多芯片，效果都会明显变好，我们在博客里展示的那个模型，显然是我们训练过，最大最好的一个，但限制它的并不是规模，或者数据之类的，纯粹是因为我们当时 [00:22:39]
李飞飞：有个发布截止日期，所以倒推出来在那之前，能负担得起多少训练量，不过这里有个内部小故事，对吧 Justin和团队当时，从比较小的模型，迅到稍大一点的，做着这些路线图规划，然后在夏天初夏的某一天，那时候的模型，甚至还不是现在Atlas的尺寸，是个更小的模型，然后Ben把数据，未尽视点生成，还记得那张著名的桌子吗，就是NERF论文，和好多论文里的花园桌子，那天半夜我收到一条Slack 我是说我们都看到了Ben发来的slack
Martin Casado：我们的视角直接从桌子底下穿过去了，旁边还有个足球，对还有个足球，那个足球是模型涌现出来的，还是原图里就有
李飞飞：它本来就在是真实存在的，对吧，好吧，那天早上我们三个人面面相觑，说成了就是这个，我们要把这个做出来 [00:23:53]
Martin Casado：我们五秒钟之内就做了决定，因为这种效果，之前根本没人见过 Ben 你能更具体地讲讲应用场景吗 World Labs之前一直有很多创作者用户，他们用来做比如一致性，不管是2D图像电影，还是3D和游戏等等，那你能不能讲讲，这怎么拓展了用户，或者怎么满足现有用户的需求，然后我们其实还可以聊聊机器人，行没问题，其实这事还挺有意思的，我们之前看到大家用Marble的一种主要方式，正好就契合了这个新视角预测的用户 Marble是你们上一代产品，不好意思，对Marble是我们上一款产品，大家会拿那款产品，放一张图进去，拿到一个高斯泼溅格式的完整3D场景，从几个不同视角截几张图就走人，对吧，我们就觉得其实我们可以直接生成这些图，那都是数据问题，对吧，所以我觉得这里面有挺多画质损耗的 他们会觉得泼溅的效果还可以更好看，我们就想，那要是我们直接用生成式方法，去对那些视点建模，同时保留一模一样的控制方式呢，所以我觉得，光是视角合成这个核心能力，在学术界就已经是一个，研究了很久的问题，但在做这种非常稠密的采集，这个意义上，生成式视角合成，其实是一个相对挺新的课题，而且我们看到，很多人在创意工作流里，大家走的是多阶段流程，对吧，我觉得没有任何一个人，只靠一个单一的大模型，甚至连C-Lens之类的都不算，就能搞定全流程任务，大家会有一堆分镜和情绪板，这些图是从他们最喜欢的，一批图像模型里挑出来的，然后他们会转到不同的视频工具里，把这些拼成关键帧，之后再去剪辑和后期，所以当时我们看到Marble 有这么一个算不上主流，但非常具体的用户，就是提供一种踏实感，让你能把生成的内容 锚定在某种3D一致的世界里，我跟各种图像模型较过劲，让他们给我一间房子的不同视角，每次只要一看就会发现，东西变位置了，它不稳定，我觉得哪怕只是这么一颗，小小的用户种子，其实也释放出一个信号，这里是有价值的，而且在表象之下，几十年来大家早就习惯了，持久化的3D状态，在虚拟世界里，模拟自己在现实里会做的事，有一个舞台，有道具，上面摆着各种元素，不管是为了拍电影，做节目，拍宣传片，还是搭建游戏环境，这种带状态和持久性，对大家理解空间推理，以及随时间演变一个环境来说，太关键了，大家思考是不是那种转瞬即逝的逻辑，生成一个东西，再生成一个东西，然后扔掉，只留着文本prompt 大家是想搭建这么一套资产库，按那种方式去构建一个世界，所以我们想提供的，还是借助空间上下文机制这些东西 我们想提供那种程度的控制力和精准度，以及接入不同模态输入的能力，从带未知的图像起步，但往后我们想让大家，对自己看到的场景里的元素，有更多控制权，包括编辑，交互等等，我觉得这不仅能在，我们已经看到的那些领域，解锁更多用户，还能拓展到任何大家，想对需要建造的现实空间，做虚拟复刻，或者做前期构想的地方，对吧，比如建筑和施工，我之前跟一个，做展会展位的人聊过，对吧，世界上有太多，你平时想不到，但需要制造出来的东西，而这里面的每一件，基本都要经历一段，相当费劲的虚拟设计阶段，而在那个流程里，进入3D软件的那部分，目前算是最费力最费人工的环节之一，比如根据口头意见，草图，或者从创意总监，设计总监，建筑师，那里拿到的一些非常粗略的东西，去修改3D设计 把这些意见再映射回3D表征里，大概就占了95%的工作量，对吧，开个会拿到反馈，回去就得改上一整个星期，对，这纯粹是因为我们的软件，到现在差不多有几十年历史了，它从来没有变得像玩乐高，做陶艺，用手操作，或者拿铅笔画草图那么直观，而这正是AI真正能帮大家，在流程中释放巨大价值的地方，不管是创意类应用，还是偏工业设计之类的事情，这真的很激励我去，把我们的模型做成不同的版本，来满足这部分人的需求，对我能理解他怎么帮到创意人群，因为Marble之前就是干这个的，也能理解这怎么延伸到，设计或建筑之类的领域，但菲菲，你们收购了一家机器人公司，所以这就没那么成问题，我们两周前才聊过这事，我知道，但我看不太出来 [00:27:40]
李飞飞：特别是在Atlas的语境下，这怎么跟机器人联系起来，所以能不能麻烦你，给大家梳理一下，好，其实Atlas是拼图里，非常关键的一块，我们收购的这家公司，以前叫Synix 他们的核心技术是什么呢，目前他们的核心技术是一套，从real to sim 再到sim to real的系统，在机器人领域，这意味着什么呢，你想训练机械臂，让他学会怎么布线，比方说在工业环境里，你首先需要一大堆数据来训练机器人策略，让他学会做布线这一套动作，然后你要评估这个机器人策略做得好不好，最后再把机器人部署到布线环境里，为了做训练 Genesis这家公司，也就是我们现在的机器人团队，以前做的事情跟Ben刚才说的一模一样，就是稠密重建 你拍下一处场景的照片，然后去尝试重建那个环境，这个过程极其痛苦，耗时很长，非常费人工，而且它严重拖慢了，机器人仿真的迭代速度，也就是real to sim这块，对吧，所以Atlas真的是，面向那个环节的下一代技术，而且这绝不仅仅是，针对机器人布线之类的场景，我们应该把视野放宽，认识到目前机器人领域最大的难题，其实是数据，以后迟早会变成芯片，但目前先这样 [00:29:23]
世界模型、机器人与真实世界数据
- 但目前先这样 [00:29:59 - 00:40:02]
李飞飞：但目前先这样，怎么说，就是数据问题，因为要去收集机器人，在真实世界中作业的数据太难了，而且你不仅得收集，比如布线或洗碗之类场景的数据，还有一个非常重要的步骤，叫随机化，也就是你必须针对同一个环境，把各种条件随机化，这样电线就不仅能往这边弯，也能往另一边弯，或者盒子的尺寸、颜色、盖子，可以各不相同，出现在场景的不同位置，所以除了从互联网获取的其他数据之外，你必须通过Real-to-Sim这个过程，来拿到足够多的这类数据，那这个Real-to-Sim的步骤 Atlas确实能帮上大忙，这也仅仅是第一步，也就是用现有技术，满足机器人的需求 因为我们目前还没有一个，足够稳健，能直接用在机器人上的，前沿基座模型，但Atlas是一个全模态模型，一个多模态模型，它能接收不同类型的输入，并生成不同类型的输出，你完全可以想象，下一步就是Atlas接收动态数据，那就能真正开始打通动作规划，机器人技术与Atlas输出之间的鸿沟，所以这都在路线图上，你刚才是不是想说什么，对我刚才想说 [00:30:53]
Martin Casado：训练机器人策略这件事，跟我们之前见过的，几乎所有其他AI应用相比，都有本质上的不同，那就是如果你是在生成一段代码，生成一张图片，或者生成一段视频，模型从根本上说，是在创造一个制品，而关于这种制品，你可以去网上或者别的地方，收集到大量的现成样本，对吧，你想生成图片，外面有大量的图片，你想生成视频，外面有大量的视频，你想生成代码库，外面也有大量的代码库供你学习，但机器人策略是完全不同的东西，它产出的不是一个静态的东西，它是一个要走进真实世界，采取行动，努力去达成目标的策略，而这个世界的反应，并不总是符合你的预期，对吧，意料之外的事情总会发生，所以机器人策略，本质上就是一个，在真实世界里跟现实互动，面对各种突发状况的agent 其中很关键的一部分就是 这些策略在训练期间，必须接触到部署过程中，可能出问题的每一种情况，这就是为什么仿真，对机器人来说至关重要，对吧，那针对这个，有两个切入角度，一个是那种传统的仿真，你可以打开你常用的物理引擎，作为人类设计者去发挥创意，想象在完成这项任务时，可能会发生的所有情况，然后尝试写出明确的代码，把它们全部建模出来，这是一个角度，而且在代码agent的加持下，这个方向其实也会变得非常强大，但还有另一个角度，就是尝试做更多数据驱动的仿真，对吧，比如我们能不能训练一个模型，让它能理解环境，理解世界，会对动作做出怎样的反应，而且有时候，可能还会做出出人意料的反应，那我们能不能用尽可能多的数据，去训练这些神经仿真器，然后把这些学出来的神经仿真器 作为训练机器人策略的仿真试验场，这是Atlas一个非常有意思的未来方向，但还不止于此，对吧，一旦你有了这个学出来的仿真器，他在脑子里基本上就已经理解了这个世界，理解了世界会对动作做出怎样的反应，那为什么仿真器本身不能直接变成规划器呢，对，对吧，这就是我们围绕世界模型，及其通用性所持的核心论点，一个模型要想生成世界，模拟世界，理解它们在不同场景下的样貌，就必须掌握一些核心的东西，而理解世界对某种动作会做出什么反应，跟想象出我需要采取什么动作，才能让世界产生特定反应，这两者是高度相关的，我收到了一个反馈，顺便恭喜你们发布，评价是压倒性的好评，我觉得这可能是，今年最重磅的模型发布了，我听到的全都是赞美，不过我发短信 问过一位这个领域的专家，问他觉得怎么样，他说东西很棒，非常棒，太神了，但还需要更多动态效果，所以看来至少在机器人领域是这样，但总的来说，能拥有一个会动起来的世界，其实挺理想的，那能不能多聊聊这方面，以及你们方便分享，同时觉得值得探讨的其他未来方向，好啊，动态效果显然是必然会有的，我们已经有雏形阶段的动态了，其实我们已经有这种雏形动态了，我觉得大家可能还没太注意到这点，我们在博客里确实没怎么强调，但之前的Marble世界模型，从根本上就是完全静态的，那个模型根本就处理不了任何动态，这从模型架构训练方式上就写死了，整个东西本质上就是静态的，做完Marble之后，我们就知道这是个大问题，而且在Atlas里就已经把它解决了，对吧，对 Atlas架构从根本上就已经支持动态了 Atlas的训练数据本质上就包含动态，如果你仔细看我们发出来的几个视频，其实里面就有，我看到了，水波，有一点点，对，水波，水里的波浪，对，比如有些例子里，水面有波浪，还有几个，生成的俯瞰视角里，有小汽车在开来开去，所以这个模型里，其实已经有动态了，不过顺便问一句，如果要从多个视角，做三维重建，动态效果在我看来，好像非常棘手，确实棘手，对吧，所以这两者是，有冲突，还是说，没有,其实我们在这里的一个核心论点是,如果要做好最根本的三维重建,你其实希望完全没有动态。你会希望在时间完全静止的状态下,对场景的精确视角进行建模,但这其实正是我们之前Marble方案的一个痛点,对吧? 在那种做法下,你可以试着去找完全静态的数据,但那很难scale,也很难拿到更多。而我们意识到的事情是，哪怕我最终要的是静态输出，最好的获取方式，反而是让模型去接触动态数据，对吧，就是把你手头能拿到的动态内容，静态内容尽可能多的喂给模型，让模型自己去搞清楚，怎么把动态部分剥离出去，所以尤其是在，哦有意思，所以在Atlas的预训练里，它其实在预训练阶段，就已经看过大量的动态内容了，然后我们针对这个checkpoint 针对这次发布做的post-training 就更多地聚焦在静态内容上，更多地关注空间上的移动，而不是时间上的变化，但是我很确定这个预训练checkpoint 本身就已经包含很多潜在的动态能力了，而这正是我们接下来要大幅改进的方向 那Ben这意思是说，我们以后会有四维视频吗，你可以走进去到处逛逛，我是觉得，你看他们脸上的笑容就知道了，所以，所以我其实能看出来，哪怕你们现在就停下来，只去把规模做大，速度做快，效果做更好，几乎就能撑起一整个行业了，这感觉像是一个，非常底层的通用基建，哪怕你们不做别的，但在单纯把规模做大、速度做快之外，针对你们专注的应用方向，也就是更多，偏向内容创作和三维这块，还有哪些东西，是让你们感到兴奋的，对，我非常期待把那种，多模态的能力推向更深，我觉得不同的控制模式在这一步太关键了，我觉得这一点被严重低估了，尤其是在学术界，大家没意识到给这些模型加上控制条件，把里面的潜能激发出来有多关键 [00:36:49]
李飞飞：说实话，这种动态与静态的对立就是，我甚至不确定我有没有听懂那些，用大白话来解释，就是不同的可编辑性，我觉得可编辑性才是这里的关键，对 [00:37:40]
Martin Casado：我们已经在单图模型里看到了这种能力，而且从今年开始，视频模型也开始解锁这方面的能力了，也就是能实现多轮交互，或者真正直观的理解，比如我想要这个人这个物体，以及发生这件事，然后把这些全部融合成一个整体，不需要对系统做大量的繁琐手动操作，他自己就能理解，目前前沿的图像模型，在编辑方面差不多已经达到这个水平了，对吧，但我们还没看到，它同样强劲地延伸到视频领域，进而延伸到世界模型里，对吧，我们在这些实时模型里，看到过一些挺像玩具的例子，比如我输入一句话，就会出现一只恐龙之类的，但我想把它提升到，真正工业级的强度，把它做出来，因为这里的门道在于，你得加入控制机制，同时又不能牺牲模型的质量，否则它基本上就只是个小把戏而已，你想，如果你给了它们更多调节旋钮，但质量却下降了，没人会认真考虑 把它们正在用的前沿顶尖视频模型，换成你的模型，所以我觉得这其实就是一场博弈，我们怎么既能保持，当前模型产出所立下的高标准，又能加上大家会找我们要的各种有意思的东西，比如想和场景互动，控制布局，控制我们看到的物体的特征和内容，或者控制时间，对吧，而且我觉得这是一个能打开大量，非常有趣的产品和界面工作的维度，你加入的复杂度越深，丰富度越高，就越能让你真正去思考，如何几乎从零开始重新设计，人们在计算机里，与这种带状态的3D世界交互的方式，这其实就是终极目标，也就是获得构建那种系统所需的全部能力，太棒了，关于新功能，你还有什么想补充的，让你兴奋，但又不仅仅是更大更好的东西吗，我觉得对我来说 [00:38:47]
李飞飞：我们回到智能的第一性原理吧，在涉及到空间和物理空间时，智能绝不是呆呆坐在那里，只看着某样东西或者解读某样东西，对吧，它其实是在看体验与交互之间完成闭环，所以光是想着顺着那个阶梯往上走，就正如Ben刚才说的，我觉得这里有个很有意思的概念 [00:39:38]
动态世界、可编辑性与 AI 完全性
- 我觉得这里有个很有意思的概念 [00:39:59 - 00:42:55]
李飞飞：我觉得这里有个很有意思的概念，就是AI 完全这个概念
Martin Casado：你之前听过这个吗，听过我听过，大家，对顺便说一句，我听说AI 完全是在LLM语境下聊的，没错，也就是你基本上必须得是最聪明的大语言模型，才能回答最聪明的大语言模型需要回答的问题，或者说你必须解决通用人工智能，不，它基本上是对应了图灵完备，对吧，它的意思就是，在经典复杂度理论里，如果我可以把这一类里的任何问题，都约划到那一个问题上，那么一个任务就是图灵完备的，对对对对对对对对 3-SAT就是最好的例子，对吧，你可以把任何NP难问题约划到3-SAT 所以你就能用3-SAT来解任何问题，对就是这样，对对，关于AI 完全的宽泛定义，差不多是存在这样一个基本原语，它是一个AI任务 但如果能在最广泛的普世性上把它解决掉，就能解决所有的，它就能解决任何智能问题，在大语言模型里的经典例子，就是Next Token Prediction 它是AI 完全的，因为我可以用有个经典例子，我想是来自Illia 就是有一本悬疑小说，模型必须读完整本悬疑小说，而这本悬疑小说的最后一句话是，凶手是谁，然后预测下一个token 所以你基本上可以把任何形式的智能任务，都用它来表述，所以很显然，大家认为Next Token Prediction是AI 完全的，对，但我觉得我们现在开始意识到一件事 Ben今天早些时候也聊过这个，就是新视角预测，我们在Atlas里的这个原语，尤其是生成式的新视角预测 这也是AI 完全的，对吧，而且因为我可以输入类似这样的东西，你可以放一整部电影 把电影的所有帧都放进去，然后凶手走出来，接着你就能准确预测走出来的是谁，一点没错，没错，不仅如此，我还可以说，我想要构建一个世界 [00:41:52]
李飞飞：在这个世界里，Martin正在黑板上写黎曼猜想的证明，然后镜头转到了下一块白板上，他就解开了那个谜团，所以，好，从进化的角度来看，对吧，新视角预测正是进化通过让动物移动而必须解决的问题，对，大自然给了动物眼睛，但大自然没有给树木眼睛，眼睛，为什么，因为当你移动时，你会看到一个新的视点，而这就是，不管你叫它AI 完全还是智能完全，所以我们非常坚信，下一视点预测就相当于Next Token Prediction
Martin Casado：太棒了，那说到这儿，祝贺你们各位完成了一次非凡的模型发布，我们对未来要发布的模型非常期待，也感谢你们的到来，谢谢，对非常感谢 [00:42:43]