目录
- 从深度学习低谷到现代AI前沿 [00:00:00 - 00:10:00]
- AlexNet带来的计算机视觉转折 [00:10:00 - 00:20:00]
- 自动驾驶的感知与现实挑战 [00:20:00 - 00:30:00]
- 从自动驾驶到计算机使用Agent [00:30:00 - 00:40:00]
- 多模态模型与机器人应用 [00:40:00 - 00:50:00]
- 软件工程正在被Agent重塑 [00:50:00 - 01:00:00]
- 预测系统与预测市场 [01:00:00 - 01:10:00]
- AI如何预测未来与中国模型崛起 [01:10:00 - 01:20:00]
- 开源模型、成本与AI商业化 [01:20:00 - 01:30:00]
- 未来技能与AI时代的适应力 [01:30:00 - 01:32:56]
从深度学习低谷到现代AI前沿
一凯：欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI、财经、健康与科技领域精品内容。我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁。接下来让我为您简单介绍本期我们克隆的这档节目。本期我们克隆的是知名播客Basil Chatha的一期深度对谈， 主持人Basil与嘉宾Russ Salakhutdinov展开交流。Rus是卡内基梅隆大学教授， 曾师从AI教父Geoff Hinton参与过苹果自动驾驶项目， 并在Meta超级智能实验室工作。 如今创办了预测未来的AI公司Sooth Labs。这期节目主要围绕AI行业的现状与未来展开，包括模型同质化，开源竞争，机器人技术，以及预测系统等话题，那我们就一起来听听这期完整的对话，麦肯锡 [00:00:54]
Russ Salakhutdinov：麦肯锡为什么存在波士顿咨询，这些都是大机构，他们全都应该被取代，人们说通用人工智能还有两年，而真正在这些实验室前沿实验室工作的人，我认识很多，他们基本上都在说，我们不会在两年内实现通用人工智能 很多人基本上在说，天哪 OpenAI搞出了一种新架构，他们觉得通用人工智能已经搞定了，这绝对不是真的，架构还是一样的，这家公司的CEO是杨植麟，他是我在卡内基梅隆的学生，他是我认识的最聪明的人之一，中国有很强的人才，他们现在也有资源，所以我觉得他们能和美国竞争，所以如果我是一家公司的CEO 我比竞争对手对未来看得更清楚，我就会赢，所以你觉得所有的大语言模型，基本上都是同质化的商品，我觉得它们会变成商品，目前只有一个例子 [00:01:11]
Basil Chatha：就是 Roomba 现在还没有其他例子能证明机器人是有用的 2005年神经网络还是个笑话，是支持向量机之后的第三选择，那时候Russ Salakhutdinov在金融行业工作，但一次偶然的相遇，她在多伦多街上撞见了Geoff Hinton Hinton把她拉进办公室，她走出来的时候就开始攻读深度学习方向的博士，那时候深度学习这个词都还没出现，如果你不熟悉Geoff Hinton 他被广泛认为是AI教父，所以他身处这一切的中心 20年后Russ基本上什么都做过了，他把自己的创业公司卖给了苹果，他参与了苹果秘密的自动驾驶项目Titan 他成了卡内基梅隆的教授，而且他刚离开Meta超级智能实验室，创办了Sooth Labs 这家公司刚融了5000万美元，要做能预测未来的AI 这期节目Russ告诉我，前沿实验室都在造同质化的商品，真正在造通用人工智能的人并不觉得通用人工智能还有两年就到了，他解释了为什么Cursor和你认识的一半创业公司 其实都跑在中国的开源模型上，为什么Kimi的CEO杨植麟是他最聪明的博士生之一，为什么世界上唯一有用的机器人还是Roomba 以及为什么AI应该取代麦肯锡、贝恩和波士顿咨询，我们开始吧，你基本上从现代AI一开始就身处中心了，我想在聊你现在做的事之前，先简单回顾一下这段历程，首先，你为什么在2000年代中期，决定读机器学习的博士，你当时看到的方向是什么，这是个很好的问题 [00:02:51]
Russ Salakhutdinov：我的故事有点不寻常，因为我对AI一直很感兴趣，我2000年代初，在多伦多大学开始读硕士，我读完硕士之后，就离开去了银行业，我在金融行业待了一年，然后几乎是靠运气，我开始读博士，那时候我和Geoff Hinton一起工作，我读硕士的时候，他就在带我，我当时不确定要不要读博士，但后来有一次我在街上走，撞见了Geoff Hinton 他基本上就说，我有个特别棒的想法，就是这些模型，这些深度学习模型，你可以学习多层的表征，诸如此类，然后他就把我拽到他的办公室，开始给我看他一直在做的东西，我觉得那对我太有启发了，我基本上就说，我能来跟你一起读这个方向的博士吗，然后他就你知道把事情办成了，他说行啊，你申请一下博士项目，来跟我一起干吧 所以我就从2005 2006年开始读博士，那时候我觉得深度学习还非常早期，还不清楚它到底能不能成，这些神经网络当时很被人看不起，因为那时候大家看的是，统计机器学习有理论，有更严谨的东西，神经网络一直被视为，这些就是非线性系统，人们只是去优化它，但根本不理解里面到底在发生什么，对吧，但也就是那时候，一些早期的深度学习模型，被训练出来了，我跟着Jeff读完了博士，然后去了MIT做博士后，诸如此类，然后剩下的就是历史了，基本上，对，但为什么神经网络，让你那么兴奋，他跟你说了什么，让你觉得那么有意思，对 Jeff有一种，我觉得他就是，他的那种兴奋感说服了我，让我觉得这会是一个，很有意思的博士课题，一个值得我去读博士的，有趣方向，对，这也是其中一部分 因为我觉得那时候，你知道大家又，神经网络那时候被看不起，大家说对，这种系统已经存在20年了，从来没成功过，当时它是所有方法里的第三选择，像支持向量机这类方法，背后有更严谨，更有数学支撑的模型，但Jeff是最早证明，学习这些堆叠系统，学习这些深层系统的人之一，对吧，他确实能给你带来，他有一个数学上的论证，那是非常漂亮的数学，证明了这些模型，能改进某个东西，它叫变分下界，我觉得很让人兴奋，因为我能看到这东西，未来有巨大的潜力 [00:05:09]
Basil Chatha：那它当时兴奋的应用场景是什么，或者你兴奋的是什么，还是说更多就是，哦这数学真漂亮，不不不，对，所以数学漂亮是第一位，因为第一次
Russ Salakhutdinov：你能真正说，好吧，这些模型背后有数学严谨性，不像之前，人们就是在训练神经网络，总有点像是，有优化，你做优化，但没有理解，没有跟统计机器学习建立联系，我是说，有一些，但没那么严谨，对吧，而且这个领域，一直被人看不起，你大概得问杨立坤，杨立坤搞这些模型，搞了很久，但早期他的工作，从来得不到认可，因为就是不太行，对吧，因为规模太小，而且你知道，早期出现的一个，有意思的东西，是生成模型的一撇，那时候我们在，生成手写数字图像，就是MNIST 那是2000年代中期，是2000年代中期，对，那是早期少数几次，能证明这些深度模型，有个东西叫深度信念网络，然后我们再做深度波尔兹曼基 是能生成这些，好看的手写数字的模型，就是MNIST的数字，对吧，它证明了，嘿，这些模型能超越单层，能学习多层的表征，这基本上让很多人兴奋，既因为背后的数学，也因为他们展现了潜力，而且他们跟社区里，其他人做的东西足够不同 [00:06:55]
Basil Chatha：那时候2005年 2010年，就是一小群人在搞这些模型，在推进这些模型，那你什么时候博士毕业的 2009年博士毕业，好，然后你去MIT做博士后，做博士后 [00:07:16]
Russ Salakhutdinov：对，我跟Josh Tenenbaum做博士后，他是一位非常棒的教授，也是我非常好的同事 Josh在看深度学习模型，但也在看非参数贝耶斯模型那一类，我是说Josh是认知神经科学家，认知科学家，所以在MIT待着很棒 MIT也有很多很强的计算机视觉的人，所以那是一段很好的经历
Basil Chatha：然后我回到多伦多当教员，对，所以什么时候看起来，对你对生成数字非常兴奋，那很有意思，但后来好像AlexNet出来之后
Russ Salakhutdinov：大家的焦点基本上都转到图像分类上去了，而不是生成，所以早期发生的是，如果你拿，那时候我们还没有GPU 如果你在Memnix的这种数据集上，训练多层神经网络，那类老玩具数据集CIFAR 你永远打不过像支持向量机这样的对手方法，而这些生成模型展现了潜力，如果你真的去学这些生成模型，然后把它们转成判别模型，也就是分类系统，它们实际上会好得多，所以这个想法是，学习怎么生成图像，基本上就给了我们，做分类所需要的表征，然后ImageNet竞赛之后 AlexNet之后，人们意识到，卷积神经网络确实管用，它们管用，而且效果非常好 AlexNet之后，人们真的转向了，这些判别模型，因为那，你知道，它们解决了，我觉得AlexNet解决了，视觉的一个关键问题，对吧，什么问题 就是ImageNet竞赛，那是100万张图像，非常多样，过去两三年里，伯克利、牛津、MIT那些巨型实验室都在搞，他们有很多博士和计算机视觉的人参与，我觉得Alex是第一个证明能把性能提升50%的模型，你可以想象Alex Krzyzewski、Ilya Satskever和Geoff Hinton三个人，他们建了一个相当简单的卷积网络，但他们把它规模化了，而且是第一批在GPU上规模化的人，他们证明了这模型，能比之前所有人，做得提升50% 而且他们做到的程度是，一开始有很多怀疑，人们不敢相信，你知道，这很惊人，对吧，你看到结果时会说，对，不可能是真的，好的不像真的，所以人们花了几个月去验证，然后说，好吧，这是真的，对，所以你，所以AlexNet出来的时候，你在场 AlexNet出来的时候，我在场 没错，我从博士后回到多伦多，然后就是，那时候，你怀疑过吗 [00:09:55]
AlexNet带来的计算机视觉转折
Russ Salakhutdinov：你怀疑过吗，没有，我对结果不怀疑，我知道JF在搞这个，所以你知道 Alex Krzyzewski 做得非常好的一件事是，他在早期版本的GPU上，优化了一些计算，那需要非常强的工程能力，才能做到，因为规模，那是早期规模，真正带来巨大成功的，关键点之一，有意思，所以对，那就是计算机视觉的转折点，那是计算机视觉研究者的转折点，从那时起，谷歌所有主要实验室和学术界
Basil Chatha：基本上都开始转向深度学习，那你之前专注的是什么，比如在AlexNet出现之前，你的研究专注在什么方向，然后它出来之后，你的研究有没有转变，你是不是变得特别兴奋 [00:10:32]
Russ Salakhutdinov：我的研究嘛，我从来没看过，我是说，我一直在看视觉和生成模型，我觉得我的研究，你知道，我不是AlexNet团队的一员，因为那是一个相当强的工程活，我的研究在AlexNet之后开始转变，因为我在多伦多的实验室，一直在看的其中一个方向，是早期的标题生成，所以一旦我们开始看到这些模型，其实相当不错，我们就开始研究那种，给一张图模型生成对应描述的模型，这是早期的方向之一，我记得跟一些计算机视觉的人聊过，那时候分类和检测是主流，但很多计算机视觉的人说，其实我想要一个系统，我给他看一张图，我不想只是说，这张图里有一辆车，那边站着一个人，我其实想让系统，给我描述整个场景，我想让系统看着图，像人一样告诉我，这是日落 这里有片漂亮的海滩，有人在沙滩上走，然后就像直接告诉我，这是什么，这笔跑一个分类器说，这里有人吗，有还是没有，这里有车吗，有还是没有，要理解的好得多，对吧，而那正是当时这个领域的样子，所以早期，循环神经网络，加上视觉系统，开始展现出进展，这就是我们在看的东西，因为我之前压根没想过，这能成为一件事，直到LM出来，对，当时人们有点，这是你知道，这是早期展现出，潜力的模型之一，然后很快，人们开始看注意力机制，我们有一篇论文叫，用视觉注意力生成图像，模型在描述场景的，不同部分时，会关注不同的物体，所以这是早期的版本，我是说，他们从来没跑得特别好，因为规模都很小，对吧，然后与此同时，我的实验室也在看图像生成，早期的图像生成 我们有一篇论文，一个学生，跟另一个学生一起做那种，能生成小图像，小图像块的模型，我给你描述一下，这就像反过来，给定图像，你生成标题，但然后我们开始问，如果我给你标题，我告诉你它是什么，你能给我生成一张图吗，然后有个好玩的故事，我们有一篇论文，是早期能生成那些图像的论文之一，它不算很好，不是很好的模型，再说一次，规模很小，我们没用GPU 但我们开始看到早期版本，比如，我可以告诉你，一架飞机在雨天下飞，然后我们试着生成一个，看起来像飞机，背景偏暗的东西，然后我们说，一架飞机在，不是在雨天下飞，而是在蓝天下飞，图像就完全变了，同一架飞机，但背景不一样了，所以这是早期系统之一 如果你看一张图和另一张图的像素分布，差别非常大，所以模型能生成非常不同的东西，哪怕标题几乎一模一样，只是把雨天换成蓝天，对吧，一个词变了，就会影响模型能生成的整个分布，然后那时候，我们开始想，我们能不能生成现实世界里，不存在的东西，因为我们想测试这些模型的泛化能力，所以你可以说，一辆校车停在街上，或者我们可以说一辆校车在天上飞，那模型能生成校车吗，模型能生成天空，让它看起来像在天上飞吗，对吧，所以这是这些系统的早期版本，然后你知道有争论，这个系统到底理不理解，它在做什么，还是不理解，然后Geoff Hinton是早期的推动者，他基本上说，看如果我生成一只坐在沙滩上喝啤酒的猫，模型真能做出来 那他到底理不理解他在生成什么，所以有争论，因为那些东西在现实世界里不存在，但如果模型能生成能幻觉出这些东西，那就说明它有理解。然后我们有个学生，Elman Masimov，他后来我想是纽约大学的博士生，但他有个很酷的想法，基本上他生成了一个马桶盖打开放在草地上的图像， 对吧，就是那种一个马桶放在草地上，在开阔的草地上，然后它真的能生成草，你能看到绿色，而且这些模型当时非常原始，我们生成出来的东西，就是白色的，看起来有点像马桶的东西，我们纯粹是闹着玩的，后来我在做演讲的时候，有人注意到，如果你去Google图片，搜草地上的马桶坐圈，居然真的有人拍过这样的照片，你去搜的话，排在前面的图里，就有一张是有人，把马桶坐圈放在草地上的照片，然后就有人说 那你的模型真的算生成吗，这图本来就已经存在了 Google都能做得比你的模型好，但有意思的是，过了几周，你再在Google图片里搜同样的问题，我们的图会排在所有其他图片前面，哦哇，对吧，你的意思是，它被Google收录了，它确实被Google收录了，原因是有很多人因为对生成感兴趣，会去点我们的图，而不是点那张真实照片 Google的排序系统逻辑就是，如果同一个关键词下，点这张图的人，比点那张图的人多，那这张图排名就上升，所以我们的图就排到了最顶上，我们还挺自豪的，这件事其实也说明，排序系统本身没有推理能力，它只是索引而已，对吧，对，那当时的数据标注是什么样的 [00:15:14]
Basil Chatha：你们是不是花了很多时间，让人去看图，然后用自然语言描述，没有，我觉得当时已经有几个数据集了，有一个叫Microsoft Coco的数据集，是大实验室标注好的 [00:16:00]
Russ Salakhutdinov：我们基本上就是直接拿来用，我自己从来没花时间标过数据，因为我是做机器学习的，机器学习的学生，一般不太愿意标数据，计算机视觉的学生，倒是会标的多一些，我们就靠其他实验室提供的数据集和图片，我们从来不标数据，我们主要是在构建算法，想办法识别，因为现在有个很有意思的现象，大家都不喜欢幻觉，模型一幻觉就觉得是坏事，但反过来，我们做计算机视觉的时候， 其实是希望模型能幻觉的， 我们希望模型能生成训练数据里没有的新东西， 如果它能生成训练数据之外的内容， 我们就认为这个模型有某种泛化能力。我记得当时有个争论， 我们在看生成对抗网络GAN这类模型， 想评估它们。你看GAN这些漂亮的模型， 能生成非常好看的图片， 但问题一直是它生成的这张图， 到底是真正生成的， 还是从训练集里挑了一张，稍微改了一下，因为你看，一个很好的生成模型，最简单的做法就是，直接从训练集里挑一张给你看，比如你让我生成马的图片，我去训练数据里挑一张马的图给你看，你作为用户一看，觉得这很好啊，这是真正的马，但其实毫无意义，所以我们当时就在测试，它能不能生成马的不同变体，能不能生成不同视角，不同背景，模型是不是真的理解了各个部分，然后你就会遇到这类问题，哪怕是在图像识别任务里，比如识别奶牛，早期版本识别奶牛做得很好，但如果你把奶牛放到海滩上，再问系统这是什么，模型就会开始把奶牛和船搞混，这有点像大家常举的例子 吉娃娃和一堆蓝莓马蜂，对对对就是那个例子，没错没错，这其中的一部分原因是，你平时看到的奶牛通常都在草地上，你很少在海滩上看到奶牛，对吧，所以如果我人为地，把奶牛放到海滩上，再问它，这是什么，它就会开始混淆，这就是早期的失败点之一，现在大家已经能处理这类问题了，现在的视觉系统，已经发展到非常好的程度 [00:17:59]
Basil Chatha：表现非常出色，甚至能跟人类准确率相比，对，那我们跳到2015年，你创办了一家公司，叫Perceptual Machines 对，那这个公司的起源是什么，所以我们基本上 [00:18:23]
Russ Salakhutdinov：这是挺有意思的，因为当时我不能说，但我和我的几个学生 Niti Sravastava和Charlie Tang 我们创办公司的时候，做的是检测系统，早期那时候，大家都在研究，你能多好的检测出，图像里的物体，然后有一阵子，系统开始好到，真的能做得不错了，对吧，之前，在AlexNet论文之后，分类开始能用了，大家开始转向检测，检测是那种挑战，我想看着一张图就能说，这里有五个人，他们在这个位置，这是一辆车，它在这个位置，然后我们开始和苹果合作，当时苹果也在看自动驾驶，想搭建强大的计算机视觉系统，我们就开始合作了，后来我们就把公司卖给了苹果，但有意思的是，当时很多工作用的是传统计算机视觉技术，而且很明显新一波深度学习模型 比传统计算机视觉能做的要好得多，对吧，那个新技术是什么，就是基于深度学习的，这些是像CNN那种，对就是CNN卷积神经网络，有很多层学习多层的表征，有特定的损失函数，检测损失函数，而传统计算机视觉技术是基于，好我们找一堆特征，手工设计这些特征，建一些线性模型，建支持向量机这种思路，然后这就像是一套很灰色的系统 [00:19:29]
自动驾驶的感知与现实挑战
Russ Salakhutdinov：而这些深度学习系统，卷积网络系统，开始好到，当你大规模训练他们的时候，他们的表现，比之前任何方法都强得多，对吧，然后我们就开始和苹果合作，展示了这项技术，比他们正在做的要好得多，所以对我们来说，去合作是合理的，我在苹果和团队待了三年，我们做的是自动驾驶，自动驾驶汽车，自动驾驶汽车，项目叫Project Titan 所以我们基本上是在搭感知站，早期版本的感知站，就是识别图像里的物体之类的，对吧，所以这挺酷的，非常酷的应用，当然它远不止这些，还有站的其他部分，但感知系统，最初的感知系统，是基于深度学习的，然后就是，对抱歉，没事没事，你说，对我刚想说
Basil Chatha：所以早期，自动驾驶汽车的关键解锁，就是，嘿，现在我们真的能识别，车前面发生了什么，然后我们可以用这个，来操控汽车，基本上是这样吗，完全正确，那为什么，抱歉，你说，不，你说你说，我刚想说，对，所以，看起来那段时间，大家对自动驾驶汽车，兴趣很大，然后好像有几年，它没什么进展，然后基本上，最近几年，事情又起来了，现在汽车，真的能完全自动驾驶了，所以是什么变了，我觉得当时的情况是，整个自动驾驶行业，是2015年 2016年起步的，对吧 [00:20:48]
Russ Salakhutdinov：然后随着感知，这类技术开始好用得多，发生的是，我们在一两年内，从零做到了80% 80%是什么呀，大概就是，你坐在车里，对吧，你能检测出大部分物体，能检测出车，能检测出行人，能检测出道路之类的，但然后你就开始，撞上边角案例了，对吧，一个著名的例子是谷歌的，因为他们是这个行业里，最早的高速公路上，有个袋子在飞，模型就把它识别成某个物体，不知道是什么，然后就在高速公路中间，猛踩刹车，对吧，还有一个例子，春末的时候，树上的植被开始长出来，感知系统看到那些枝叶，就会说，有个物体挡在我的路径上，我过不去，哪怕那只是一堆灌木丛，伸出来一点，所以我说从0到80%的意思是，基础的东西都有了，然后你开始撞上，这些边角案例施工，比如人们在路上放锥筒，或者什么东西，对吧 这就是让很多进展，停下来的原因，所以当时有很多兴奋，因为即使在早期，我觉得大家基本上都在说，好了，两年内我们就会有完全自动驾驶的车了，人们开始研究报道，卡车司机怎么办，出租车司机在未来两三年内怎么办，整个经济都要变了，对吧，所以大家的感觉，有点像我们现在对通用人工智能的感觉，人们说通用人工智能还有两年，而那些真正在实验室，在头部实验室工作的人，我认识不少，他们基本上都在说，我们不会在两年内实现通用人工智能 所以我觉得当年对自动驾驶的兴奋点在于，你看两年内我们到处都会有完全自动驾驶的车，后来开始冒出来的那些边角情况，是天气下雪还有各种类似的东西，对吧，而且感知只是其中一部分，然后是规划 你怎么去规划路线，对吧，比如说现在vimo已经找到了一种，稍微激进一点的驾驶方式，早期版本的那些车，你根本没法并入高速，因为安全限制太多了，所以你想并入高速的时候，别人就是不让你并，对吧，因为大家开车就是这样，你要是慢吞吞的，不够果断，就没人会让你，所以他们就是并不进去，只要有车在旁边，而人类的方式是，我就是要走，对吧，我后面的人必须得停下来，不然就得撞上，所以我们人类，就是这么适应的，对吧，但早期版本的系统做不到，所以他们就是不行，整个领域因此停滞了，大概四五年，主要就是因为这些边角情况和各种细微差别，对吧，即便到了今天 VMALL也还是这样，你今天依然能看到边角情况在发生，而且到今天，他们还在往更多城市扩张 但这个扩张非常慢，一部分原因是你必须有高精地图，你得精确知道道路结构是什么样 [00:24:11]
Basil Chatha：所有细节都得知道，所以不是说你有一个系统打开开关，它就能在任何地方跑，但特斯拉的FSD好像基本上哪都能跑，因为我租过，我开去过不同的城市
Russ Salakhutdinov：它就是能用，能用，能用，是的，但特斯拉的FSD 它是一个很不错的系统，但与此同时，自动驾驶这件事，做到99%的正确率是不够的，我觉得这是其中一个点挺有意思的，因为我认为这项技术能拯救很多生命，现在我在旧金山做VMW的时候，我觉得比坐Uber司机开的车更安全，我做过很多次了，我同意，但与此同时，也有一种说法是 99.9%就是不够好
Basil Chatha：因为一旦出了事故，你看Uber就出过一次事故，然后整个运营就全停了，对吧，那从2017 2018年到现在，是什么变了，那时候我们做到80% 现在到了99% 当然我们可能还有那0.9%要追，但是什么让这一切成为可能的，我觉得就是，大幅提升，我觉得就是数据，数据的收集
Russ Salakhutdinov：还有模型的持续改进，好，显然Waymo有激光雷达，所以他们看摄像头，他们在摄像头上，跑深度学习模型，有些架构可能变了，我们可能从CNN 卷积神经网络，转向了基于Transformer的架构，这里面有一些细微差别，这些是混合系统，而且特斯拉的FSD 我觉得仍然依赖CNN和Transformer 底层处理用CNN 高层处理用基于Transformer的架构 LMM就是基于那个的，我觉得就是，要训练这些模型，你需要大量数据，你需要大量边角情况，对吧，我觉得特斯拉就有很多，因为他们，就是有车到处跑，是的，没错，车到处跑，我觉得他们位置非常好，就因为他们拥有的数据量，另一方面，现在你看出租车这块，特斯拉在做的，就是造没有方向盘的汽车，那会是终极目标，对吧，现在你坐在你的特斯拉里，你还是得控制一些东西 你还是得坐在车里，你知道的，对，比如到最后，你开到停车场的时候，它有时候会出点小问题，对，对，所以它不是那种，不是那种，然后我不知道，卡车行业也是类似的，但与此同时，你还是得握着方向盘，问题是，我们什么时候，能到车里，没有方向盘的那一步，你就坐在车后坐 [00:26:18]
Basil Chatha：根本不用操心任何事，所以那还需要一些时间，但你知道的，对，你觉得会不会出现，类似iOS 对安卓那样的局面，就是其他所有想要做完全自动驾驶系统的公司
Russ Salakhutdinov：基本上会联合起来一起做，因为他们比特斯拉有更多的车，对这是个好问题我不知道，我觉得每家汽车制造商都在研究这个，但我猜谷歌的商业模式大概是，他们会把技术做出来，说实话谷歌唯一的问题在于，现在成本上还划不来，因为他们用了太多传感器，激光雷达什么都有，东西坏了你得维护，一出问题就得维护，所以现在的情况是，自动驾驶汽车比人开车还贵，对吧，但总有一天会打平的，然后，不过我真的觉得，未来所有的车都会是自动驾驶的，而且大概会有像谷歌或特斯拉这样的公司，谁把技术做出来，就会做成
Basil Chatha：能集成到任何其他车里的形式，明白了，我其实挺好奇，那个跑FSD的神经网络架构是什么样的，我不知道你了解多少，或者你可以猜猜看，好，我可以猜猜，我不知道FSD具体在做什么 [00:27:35]
Russ Salakhutdinov：但我猜他们用的是某种CNN加Transformer的架构，用CNN做底层处理，再加上某种Transformer架构，把一堆不同传感器的数据综合起来，我还猜很多公司，比如Vamo 他们做的是混合系统，大家通常以为深度学习系统就是图像进来，动作出去，比如方向盘该打多少之类的，确实有些公司，像Wave 我印象里在尝试这么做，但Vamo和更正经的公司做的是，他们把所有输入拿过来，先建一个环境的三维地图，他们精确知道车在哪，路是什么样，这些车在怎么移动，然后有一个叫规划模块的东西，规划器基本上每秒规划，再规划八次，它会判断，我该不该保持当前状态，如果要变道，该走哪条路径，该执行什么动作序列，所以差不多就是，传感器给你一个周围环境的三维表示 然后规划器在这个表示之上做决策，变道，要加速，看到红灯要停车，所有这些都发生在那层表示之上，明白了有意思，那他们是不是基本上有好几个解码器在协同工作，因为方向盘，油门转向灯，这些是怎么同步起来的，对对他们基本上有某种运动，叫什么来着MPC 就是那种预测控制系统，所有传感器数据进来，然后有一个策略告诉你，方向盘应该是什么配置，油门应该是什么配置，还有其他所有那些，所以本质上就是一个输出动作的策略，这些动作就是方向盘，油门或刹车的组合，我觉得最关键的部分是感知，所以才有激光雷达，特斯拉没有，因为特斯拉相信只用摄像头就够了，但特斯拉之前也在做，对我来说，我相信传感器越多越好，因为你能更好的观察周围世界 但激光雷达就是难看，你没法卖带激光雷达的车，特斯拉承担不起，因为看起来太丑了，对吧，所以他们激光雷达是不是也很贵，我不太清楚，激光雷达贵，价格在想，但还是贵，而且它是那种装在，车顶上转来转去的东西，没人会买这种车，我自己就绝不会买一辆，顶着一堆激光雷达的车，太难看了 [00:29:37]
从自动驾驶到计算机使用Agent
Russ Salakhutdinov：太难看了，对吧，所以特斯拉只能走纯视觉路线，这是唯一的路线，Waymo走了另一条路，Waymo基本上就是说，我们要把所有传感器都装上，因为这样能更精确地知道，周围有什么物体，对吧，我能确切告诉你，这里有一辆车，我不需要靠计算机视觉技术，去检测和理解，我知道有辆车，因为激光在周围反弹，告诉我东西在哪，所以当然，如果你的目标是，设计一辆出租车，就是那种过来接你，把你从A点送到B点的车，你大概不会在意，它上面顶着一堆东西，对吧，对，但如果我想自己拥有一辆车，我不想要那种，又贵又容易坏的东西，所以看这两种不同的观点
Basil Chatha：挺有意思的，一个是纯视觉路线，另一个是更依赖传感器的路线，对有意思，那Perceptual Labs之后，你回CMU当教授了，对，然后你加入了 Meta超级智能实验室，当初为什么加入 [00:30:41]
Russ Salakhutdinov：对，这是挺有意思的，因为我们在CMU做的一个项目，现在也还在继续做的，是我们所谓的计算机agent 顺便问一下那是哪一年，那是2022年，你加入Meta的时候，不是，我是2024年加入Meta的，好，所以你22年的时候，在CMU 对 2022年，我从2020年，就在CMU了，其实我从 09年就在CMU 但中间去了苹果，所以算是回到CMU 2022到2023年，我们开始研究这些 agent的系统 ChatchPT出来的时候，他当时能做的事，真的让人惊叹，所以我们开始，和一个学生合作，他叫J.Y. Koch 之前在谷歌，跟我还有另一位教授 Daniel Freed 一起做博士，我们开始研究，构建agent的系统，因为当时的想法是，如果有个agent能替你做事，那会很有意思 CMU当时有很多相关研究，我们关注的一个方向是多模态系统，因为我们一直在探索，怎么把图像文本和动作结合起来，所以我们建了一个叫Visual Web Arena的东西，是CMU的一群学生做的，这是早期系统之一，你给他一个任务，比如帮我在craigslist上找最便宜的iPhone 然后发个帖子，报价比要价低20美元，系统就得自己导航到相关网页，找到正确信息，比较一下情况，看哪个最便宜，哪个合适，然后发帖，它就是这样自主地去解决这些任务，我们建了一个模拟环境，模拟亚马逊，模拟craigslist 模拟reddit 配了一些任务，我记得大概有一千个任务，其中950个是我们自己设计的，我们开始搭建这个环境，开始构建这些agent系统，当时微软和meta都对我们感兴趣，我们去了微软 跟微软的人聊了， 他们非常兴奋， 同一时间我也开始跟Meta谈， Meta当时在开源他们的模型， 这对我们很有吸引力， 比如早期的Lama模型， 当时他们正在推出Lama2， Lama3， 完全开源给所有人用， Lama3是个很好的模型， 所以对我们来说， 如果他们什么都开源， 那去一个更大的实验室里构建这些agent系统， 是个很不错的环境， 因为他们有更多的算力， 更多的数据， 更好的训练基础设施。为什么他们做开源模型这件事，让你这么感兴趣，我觉得是因为在学术界，我的大多数学生都在用Lama3 哦明白了，还有Lama2 对吧，所以我们就想，如果我们去那边，他们构建一些agent系统，而且开源的话，对我们做学术的很有帮助，我们不受限制可以发表研究成果，我觉得这对我和学生都很有吸引力，所以我们真的加入了Meta 在Meta待了两年 对所以你们基本上是在，构建早期的计算机使用模型，没错，我们在构建早期的计算机使用模型，所以即使到现在，对，抱歉，你继续说，当时也有一个团队在做这个方向，我们算是合流了，一起想办法找合适的数据，因为做计算机使用，网页导航，你需要大量的grounding数据，你需要很多数据来教模型怎么点击，怎么操作，所以，对，现在这已经是个大生意了，感觉每个人都想构建RL环境，是的，确实如此，但现在有了Code Cloud 构建这些RL环境变得容易一些了，我是说，现在在我的实验室里，我们离开CMU之后，还在继续构建一些这类模型，我们建了一个叫Odysseus的环境，与其说是个环境，不如说是个任务集，我给你一些非常复杂的任务，人类要花几个小时才能解决 我们现在从之前那些比较简单的任务，推进到更复杂的，需要花很多小时的任务，我们管这个叫长周期任务，系统得自己去研究，找信息做合理的规划等等，对 [00:34:29]
Basil Chatha：那你们在构建这些计算机使用模型的时候，早期遇到的一些挑战是什么，因为即使现在，我觉得计算机使用模型，比如还在早期，确实还在早期，对
Russ Salakhutdinov：他们跟LM比起来，确实还不够经验，对，不，我觉得这正是它让人兴奋的地方，因为你知道，显然这些模型，这些计算机使用模型，有一个终端层面的东西，就是通过MCP这类协议，你可以用LLMM通过特定协议，跟某个网站或某个程序通信，然后我们就在那捣鼓，有时候行有时候不行，而且有个论点说，如果你能构建一个，能控制视觉界面的系统，不管是你的电脑，网站，还是任何视觉界面，因为人天生是视觉动物，所以这些模型就会更通用，现在的一个问题是，模型在grounding方面还不够好，比如点击正确的东西，因为要做的事情太多了，有时候他们在规划上会失败，所以即使是今天的前沿模型也是这样，另一方面他们正在接近一个程度，你给他们非常非常具体的任务 比如我的学生经常问的一个例子是，我博士要毕业了，我想做博士后，或者我想申请教职，好，哪些学校在招教职，截止日期是什么，他们招不招我这个方向，我应该提供什么信息，这其实不是一个很难的任务，但博士生要花好几天，对吧，就在那搜，斯坦福在招人，看这个网站说，是的，他们要招人，招什么方向，他们招机器人方向，不，他们不招机器学习，那可能不适合我，然后你想象一下，所以我们构建了这些任务，让模型去做，好，我在找教职，对吧，给我一个清单，去美国前25名的学校，看看他们在招谁，截止日期是什么，给我做一个Excel表格，把所有信息放进去，你给他精确的指令，告诉他要收集什么，而且为了防止他幻觉，要真的去网站上，核实信息是否正确 并且把标签页给我留着，这样如果我感兴趣，我可以自己去查看，对吧，因为有时候模型就会说，是的，你知道的，我做了，我做了，对吧，然后你说在哪呢，我不知道，抱歉，我其实没做，对，就是这样，就是这样，所以这些就是，计算机使用任务，因为它真的要求你去网上，打开那个东西，让我能实际看到，而不只是说斯坦福在招人，这个这个这个，而是你真的去打开链接，自己看那个链接，把标签页给我留着，这样我可以自己核实，所以他要求模型，真正去操作你的电脑，我们做这个的方式，实际上是，我们请了一堆人，给我们提供他们的历史记录，我们付钱请人，提供他们在电脑上做什么，用电脑干什么，这算是我们构建这些环境，这些数据集的灵感来源，现在还在早期阶段，因为我们还在试图理解，人们到底在用什么，一个比较成功的例子是OpenClaw 人们自己摸索出来，然后开放给用户，看大家想怎么用，人们想做的事情五花八门，有人想把LM接到音响系统上，然后搞各种事情，所以这就是那种情况，人们用电脑做很多不同的事情，但你很难确切知道他们想做什么，想自动化到什么程度，我可以给你举一个例子，有一家很棒的公司叫Utory 做网页导航，就是那种agent的系统，在网上到处跑，我记得有人跟我说，他们早期的用例之一是，人们买东西的时候，想找优惠券，比如我要买这双鞋，黑agent帮我找优惠券，找八折，谁在打八折卖这双鞋，他花了一个小时，然后回来说，嘿你可以在这家买这双鞋，用这个优惠券能打八折，嘿我要用这个产品，对，所以这不是什么安全攸关的事，因为也许有折扣，但如果我没找到 我也就好吧没事，但如果他找到了，反正我本来也要买，对反正我本来也要买，所以这些东西，你开始看到人们在哪里用 [00:38:31]
Basil Chatha：但还在早期，还在早期，而且他还不够稳健，不能让你直接把任务委派出去说，去做吧，然后比如我之前，在做计算机使用agent的时候，有一个用例是，我们跟一家公司合作，他们有一个在线课程市场，他们想要的是一个agent 他们大概有8000门课程，他们希望这个agent 能接收一份课程链接列表，然后真的去把课程上完，也就是说，他会去看教学视频，回答测验题，下载作业，他们这么做的原因，第一，他们基本上是想把素材都下载下来，这样就能把8000门课程的课程大纲标准化，因为这些课都是随便什么人做的，没有统一标准，这是第一点，第二，他们想截取课程的截图，用来生成一份无障碍报告 比如对于失聪的人来说，视频里需要有字幕，所以它到底符不符合这条规则，符不符合那条规则，对这些都很棒，我们试过用谷歌的计算机使用模型，但也许是我们没花够时间，反正就是感觉不够好，所以，对我觉得，基本上就是你说，对 [00:39:34]
Russ Salakhutdinov：我觉得现有的模型还没到那种程度，能让你放心的，依赖他们去完成这类任务
多模态模型与机器人应用
Russ Salakhutdinov：对，我觉得这些其实是挺难的任务，对吧，因为他既需要理解文本输入，比如HTML或者背后的什么东西，同时还需要非常好的grounding 对吧，就是理解网站上有什么，显示的是什么，所以这类多模态模型，其实还在发展中，我觉得他们会变得更好，会变得更好，而且现在也有一堆创业公司
Basil Chatha：在尝试做更好的多模态模型，但对，那你觉得是什么让他们变得更好，不只是更多的数据吧，还是说需要不同的架构，到底是什么，好问题，我觉得从2002年 [00:40:22]
Russ Salakhutdinov：我们开始做这些模型，到现在这个阶段，那真是天壤之别，对吧，现在的前沿模型，实际上你知道 GPT Gemini和Cloud 最新的这些模型，其实已经相当不错了，说不错是指性能提升非常显著，但还是没到能完全信任他们，直接丢个任务，让他们去做的程度，比如我可以跟你说，这是任务，去做吧，我知道一个有能力的人，会去把它做完，一个好的工程师，会去把它做完，但现有的模型，你还没法这么放心，对，对吧，所以人们在做harness 我觉得这还需要一点时间，但我觉得这是一个，挺有意思的研究方向，从研究的角度看，我们在试着理解，比如我们也做过一个分析，看前沿模型，到底在哪会失败，很多时候，比如GPT会很好的规划，要做什么，该怎么做，然后他就是不去做，或者就是，好了，我搞不定了，再比如OPUS 它会做很多调研，做着做着，就忘了重新规划，然后就迷失了，尤其是那些很长的任务，需要做很多不同的事情的时候，它就会忘记，或者干脆不规划，所以还是拿我们的Odysseus基准测试来说，最好的模型也就到60% 或者也许65% 而你需要的是99.9%以上的成功率，我才能放心地说，嘿去做吧，而且知道他们真的会去做，所以对还是有一些差距，对，另外还有一个有意思的工作，是关于用计算机使用agent 来控制你的手机，对，你知道比如我给出一些指令，跨应用操作，这里还有一个个性化的概念，如果agent很了解我，知道我的应用之间是互相关联的，这又是我们在尝试构建的东西，用来测试现有模型表现如何，我们有个叫iOS Benchmark的东西 它模拟iPhone和iPhone上的应用，它的概念是，如果是我的手机，比如我打Uber的时候，对吧，我可以打开Uber的地图，看我的餐什么时候到 [00:42:24]
Basil Chatha：然后我可以去我的银行应用里看看，嘿，他们扣款扣的对不对，对吧，那在手机上构建agent 和普通的桌面端，有什么不同，我觉得它们非常相似，动作机和不一样
Russ Salakhutdinov：比如一个场景里，你要滑动屏幕之类的，视觉上看起来不同，但本质上是一套系统，我觉得有时候，很多现有的计算机，使用基准测试，都是那种泛泛的东西，比如去某个系统，看个视频游戏，控制这个之类的，但对于手机，也许还有个人电脑，就有这种概念，我还是觉得，是个性化的概念，对吧，我的手机，你看，我有slack 有邮件，有银行应用，有航班信息，它们都是互相关联的，对吧，对，有个很好的例子，我觉得苹果那个例子，特别好，大概一年半前，他们讲超级智能的时候，不是讲那种苹果智能，而是真正打动我的那种，他们基本上就是说，一个简单的问题，我要问Siri 我该什么时候去机场接我妈，比如说今天旧金山机场，一个智能系统，基本上会翻你的邮件，找到你妈做的那趟航班，假设是某个航班，看这个航班 去机场，看航班是准点还是延误，对吧，如果延误一小时，估算航班什么时候落地，看你在哪，打开谷歌或者苹果地图，看看从你现在的位置到机场要多久，通常如果堵车的话，估算一下应该是什么时间，然后基本上给一个简单的答案，好了，你应该下午2点15分出门，然后还会说，航班本身没问题，但延误了一小时，另外当前路况是这样，但预计一小时后会更堵，因为这是交通规律，你能看出来，因为这是你要走的路，所以现在一个智能系统，你知道，一个笨系统基本上会说，哦对航班12点落地，邮件里就是这么写的，所以你自己算一下该什么时候到，对吧，而智能系统，你甚至都不用想这些，但这其实需要你，你知道打开邮件，搞清楚航班是什么时候，一旦你知道航班 你得去机场网站看航班是不是延误了，对吧，因为他们会列出来，还是准点真的准点吗，因为很多时候航班会延误，打开地图，看看路况怎么样 [00:44:36]
Basil Chatha：所以这其实给了他一种非常有意思的，你知道基础智能，对吧，对，有意思，你在Meta训练那种规模模型的时候，遇到过什么让你意外的事情吗，有一个有意思的发现
Russ Salakhutdinov：而且所有前沿实验室都一样，就是架构选择非常相似，跟最初的Transformer架构差不多，只是有一些细微差别，但主要的功夫在工程和数据上，基础设施，工程，和数据，就像GPT-3或GPT-4出来的时候，很多人基本上在说，天哪 OpenAI是不是搞出了新架构，他们是不是搞出了通用人工智能 搞出了一种，别人都不知道的新东西，这绝对不是真的，架构是一样的，都是基于Transformer的架构，一切都归结于数据，数据质量，工程基础设施，你知道，怎么做强化学习，推理系统的突破，算是一个亮点，但你看这些架构，其实相当标准，所以，你知道，显然有很多工作，在搞自我改进系统，这些都是，很迷人的系统，但其中很多，我想说的是，正在发生的事情，确实很迷人，但真正的驱动力 更多在基础设施和数据上，对 Claude Code实际工作的方式，很迷人，因为它几乎像一场游戏，我给你任务，我有代码库，我有单元测试，如果模型能通过，所有单元测试，我就给它奖励一，我用强化学习，来强化我，做的是正确的事，然后你能做的是，你基本上可以说，我要做的是，我自己手动引入一些，微妙的bug 通过组合之类的方式，然后那就是，另一个训练样本，现在我的agent 得去找出来，修掉它，如果它修好了，我有单元测试，这就像一场游戏，我跑一遍，拿到分数，我永远知道修没修好，所以它不像，网页agent 或电脑操作那样，有时候同一个问题，我能用很多，不同方式解决，有时候部分解，也可以，但在数学和编程，这类系统里，这就是为什么，我们看到很多进展，因为这些是我们所谓的 可验证领域，我给出一个任务，有一个明确的答案，我知道我答对了没有，对，所以，你觉得我们是不是，到了一个平台期，就是数据量对结果的提升，已经不像两年前那么明显了，但现在有意思的是，这个方向还在延续，就是你想办法生成合成数据，对吧，比如在编程里，你故意引入一些bug 人为制造的bug 然后让系统去修这些bug 然后系统就能，这样持续地自我改进，我觉得自我改进，这个点很有意思，因为你可以在系统里，引入一些扰动，然后试着去修复它，合成数据生成方面，也有很多工作，很多时候，你有多个模型，它们都生成数据，然后你把它清洗一下，过一遍过滤器，然后说，好，用这些数据来训练，所以这里面，有很多很多细微的差别，我觉得我不知道，我们是不是已经，完全达到了那种 缩放定律的，饱和点，就是我们可以说，到此为止了，因为我以前也判断错过，你知道，以前有人说，光靠规模走不了多远，但规模其实，带着你走了很远，对吧，我们到目前为止，所有的创新，都来自于数据的规模，对吧，还有这些，涌现出来的行为，当然，你还需要确保，如果你有很强的模型，你就可以从这些模型里，生成，合成数据，过滤一遍，然后这就变成了，你模型更干净的，训练数据，所以我不知道，我真的不知道，我确实看到多模态数据的吸引力，就是超越语言本身，你走向物理世界，这就是机器人应用正在发生的地方，巨神智能，除了语言之外，你还有视频，你有世界模型，你有这些其他丰富的数据来源，我有一个以前的学生，他现在是MIT的教授，叫Paul Liang 他一直在做多感官基础模型 比如说他现在在做构建嗅觉的模型，对吧，有意思，如果我有嗅觉，我能不能理解我闻到的是什么，对吧，还有触觉，如果我再摸一个东西，我能不能不用视觉就识别出来，比如我摸的是某种特定的材质，所以你可以想象，还有很多很多不同的领域，只是现在整个行业，都聚焦在图像和文本上，还有视频，因为像Facebook这样的公司，要生成图像，比如Gemini的一个成功案例，好像不是香蕉，而是，那个东西一开始 [00:48:37]
Basil Chatha：就把我们的生意给干掉了，对，就是我们当时在做虚拟试穿，给零售商做的那种，然后nano banana一出来，你基本上一个API调用，就能搞定同样的事，对没错 [00:49:10]
Russ Salakhutdinov：而且他一下子就变得特别火，因为你知道，我有个朋友，他爸70多岁了，就在用不是香蕉，把自己放到各种奇奇怪怪的场景里，然后发给家人朋友，然后大家就都在用，对吧，但是显然能做的远不止图像，对吧，还有视频，还有对物理世界的理解，而这就是机器人技术，必须面对的地方，对吧，我的意思是，自动驾驶算是其中一个方面，但当然，对企业来说 Claude Code是个很棒的产品，我自己在用，我所有的学生也都在用，我只要遇到一个bug 丢给Claude Code 它就会告诉我
软件工程正在被Agent重塑
Russ Salakhutdinov：哦，你装的不是最新版的Python 然后问我要不要帮你装，我就说，行装吧，然后它就pip install 那些我本来要花很多时间，敲的命令，它直接就帮你搞定了，对吧，对，那你对软件工程的未来怎么看
Basil Chatha：因为我认识的大部分工程师，他们说的都跟你一样，我听到最多的就是，我好几个月没写过一行代码了，确实如此，但与此同时，我觉得你还是需要对 [00:50:14]
Russ Salakhutdinov：软件工程和系统运作方式，有很好的理解，因为如果你真的要去调试，你得擅长这个，当然你也需要懂得怎么用AI工具，所以我觉得未来会是某种混合模式，但我不会建议大家说，别学编程了，或者彻底放弃编程，其实，这种说法也有它的道理，我读本科的时候，我们学汇编语言，嘿，这条指令，把这一位放到这里，再把这一位放到那里，然后，我也不知道，现在没人写汇编了，对吧，它已经完全，但与此同时，如果真有必要，我也能自己去把它搞明白，对吧，我觉得纯粹的软件工程，可能不会像以前那样，就是只做一个写代码的人，我觉得，那些有很强的机器学习，和统计功底，再加上很强的编程能力的人，才是未来有需求的，所以基本上，剩下的就是研究岗了，研究岗，或者研究工程师 就是那种你知道，工程纯工程，我的意思是，当然你会有很厉害的人，去做优化和各种事情，但那些既懂这些模型怎么运作，又有很强编程能力的人，我觉得他们会继续，会一直有需求 [00:51:21]
Basil Chatha：有意思，那你觉得，是不是可以说，现在大部分软件工程岗位，都不是这样的，那你觉得这些岗位会消失吗，这是个很难回答的问题，确实很难，我觉得有些岗位会留下来
Russ Salakhutdinov：但我现在在很多公司里，看到的情况是，以前可能需要10个程序员，现在只需要5个 4个或者3个，对吧，当然，这确实让整个事情，变得更高效了，这是肯定的，同时它也让我看到的，一些研究进展更快了，因为我可以给你举个例子，我的一个学生，他们在跑实验，发现编程agent极其有用，比如晚上出了什么事，实验失败了 agent可以去分析错误，然后说内存没设置好，我把内存调大，重新跑起来，对，这极其有用，因为如果它就那么干等着，你就白白浪费了，六七个钟头的GPU 对吧，所以，我昨晚其实就刚这么干过，对就是这样，所以现在这变得极其，我觉得这是个好问题，我不知道，现在有很多软件工程师，大家还是在找，很强的软件工程师，比如所有人，包括我现在公司里也一样 一直都有需求，比如我们招了一个人，他既是出色的工程师，又是很强的机器学习专家，所以这种人永远都会有需求，因为不是说，你跟他说去，把这个修一下，他去修完就完了，他会修完回来跟你说，我觉得你这么做不对，你应该换个方式，对吧，这种人会一直非常抢手，对，对，本质上就是有判断力的人，有判断力，懂机器学习和AI 同时编程又很强的人，对，没错，就是，对，所以这可能就引出了你，创办SUSE Labs的事，你能讲讲吗 SUSE的起源是什么，好，所以，你是离开了Meta 对，我离开了Meta 然后和几个联合创始人，一起创办了这家公司，其中一位是Yasser Sheikh 他以前是CMU的教授，我认识他很久了，他也在Meta待了十年 做了一些Oculus的工作，还有一些预测模型，比如预测人的行为之类的 Sooth Labs的初衷是，我们想构建一个预见系统，一个能预测未来事件的系统，或者至少给出估计，也就是我们所说的，对未来事件的校准概率，你可以想象这样一个系统，它把今天所有可得的信息，都拿进来，包括结构化数据，比如时间序列，像新闻，财报，或者失业率之类的，对吧，然后把它和非结构化数据，新闻环境里，正在发生的事情结合起来，对吧，不管是什么信息，都可以融合在一起，去尝试预测某些，未来事件发生的概率，我可以给你举个例子，也许是个玩具例子，我有一个学生，希望他没事，我拿他举例，他是个很棒的学生，是我最好的学生之一，他叫Martin Ma 他在做多模态相关的工作，我和另一位教授一起指导他 他在做多模态方面的研究，他12月份毕业，所以我在跟他聊接下来想做什么，我说，你看，我们在构建这种用于预测的agent系统，我们来问这样一个问题 CMU学生Martin Ma 会在2026年12月前毕业吗，系统就去找到他，然后说Martin MaCMU的博士生，在CMU待了4年，会在2026年12月前毕业，他把问题表述出来，创建一份合约，就像你在polymarket 或cash上做的那样，这就是要预测的事，这就是我们怎么来判定结果，这就是问题，然后模型进行推理，思考这个事件发生的概率是多少，最后得出答案是13% 13%基本上就是说，他在12月前毕业没戏，我当时就想，这挺意外的，为什么这么低，然后你去问系统，系统会给出推理过程，他找到了什么，背后的推理是什么，他基本上说 Martin还没开题，这确实是真的，他还没做论文开题报告，他本来打算几周之后做，然后系统又说，好吧，这没关系，很多学生都是后面才开题，然后他又说，而且系里新加了一个要求，所以他通过检索，找到了一份文件，说CMU 现在有一条规则，从开题日期，到答辩日期之间，至少要隔12个月，然后他就开始推理，基本上就是说，你还没开题，现在是5月，你想开题，然后6月答辩，但规则说了，时间至少要12个月，那就意味着，你答辩成功的概率，会大幅下降，所以我就去问Martin 你知道这条规则吗，这是他们新出的规定 CMU之所以这么做，是因为很多时候，学生开题之后，三个月就答辩了，但那不是本意，本意是让学生，把要做什么，打算怎么做讲清楚，然后委员会看着他们说 好，这就是你接下来，一年要做的事，也是你答辩要做的，这条规则就是为了，避免那种糊弄过去的情况，然后他说对，我知道这条规则，接着模型就会生成，我们所说的触发事件，或者说决策点，其中一个决策点，就是Martin拿到豁免，也就是说，接下来一个月里，有一定概率，你会拿到豁免，如果拿到豁免，这个事件成立，你答辩的概率，就会从13% 涨到大概80% 所以我就跟Martin说，你有没有想过申请豁免，他说对，我可能确实该去申请豁免，我说对，你确实应该，如果你想毕业，你最好去申请豁免，不然你毕不了业，对吧，这算是一个比较玩具式的例子，但你可以想象一个，能预测任何未来的系统 Anthropic今年会IPO吗 SpecX会在2030年之前上火星吗，任何这类问题 我们相信现在确实有预测者，有一种叫超级预测者的人，他们对某些领域有很深的了解，然后尝试估计未来事件的概率，当然没人能精确地说，某件事会不会发生，但你可以估计概率，校准过的估计，意思就是说，如果系统说70% 那么在100个概率，为70%的事件里，我们预期70个会发生 30个不会发生，对吧，这就是校准概率的含义，所以我们相信，在这个垂直领域里 I应该能比人做得好得多，而且我觉得，这会打开很多决策点，所以不只是结果本身，而是一串决策点的记录，比如某些事，你也许能影响，某些事你影响不了，就像Martin这个例子，他真的去申请了豁免，他基本上就是说，好，如果我要优化自己毕业这件事，那这些就是我必须做的事，对吧 而系统可以帮你找到，并给出建议，这有很多深远的影响，因为我觉得很多时候，我们的世界是高度互联的，地缘政治影响文化，文化又影响我们的运作方式，所有这些事，都是交织在一起的，而现在有了AI的力量，能实时处理多少数据，我觉得这会是下一个前沿，我们从一个超级有用的agent系统，进化到能基于今天掌握的所有信息，稍微更好的展望未来的系统，同时还要把它变成决策的一部分，所以如果我是一家公司的CEO 我比竞争对手对未来看得更清楚，那我就会赢，对 [00:58:06]
Basil Chatha：那为什么我不能直接在XTPT里，开一个深度研究任务，让他预测某件事呢，可以，你可以，但问题是，像恰奇PT这样的模型，首先
Russ Salakhutdinov：他们并没有真正把结构化数据考虑进去，他们处理数值，数据的能力很差，这是第一点，而且这些模型是被训练来预测下一个token的，对吧，他们本质上不是用来预测的，不是为预测而设计的，他们是很棒的基础模型，但你还需要做后训练，才能去调整，然后还有另一件事，让这个问题变得有点不一样，就是上下文累积，我依赖哪些信源，该用哪些信源，不该用哪些信源，哪些可信，哪些不可信，所以这确实需要，当然XTPD也能做到，比如我可以问他 Marty妈会在2027年毕业吗，然后他沿途给我这些决策点
Basil Chatha：那在你能够透露的范围内，这更多是一个模型训练的问题，还是一个Harness的问题，两者都有，好，你得训练自己的模型，因为训练本身成了关键一环 [00:59:36]
Russ Salakhutdinov：不只是让模型预测下一个token 而是真正去预测未来的结果，对吧，训练很重要，但Harness也一样，显然你也可以依赖现成的模型
预测系统与预测市场
Russ Salakhutdinov：其中一个有意思的点是，比如Grok能访问Twitter 其他模型都访问不了，而Twitter有时候是很好的新闻来源，对吧，所以如果你只靠ChatGPT 我觉得你永远会差一截，但就发现和检索相关内容的能力来说，而且你在搭建这些系统的时候，我觉得对企业来说，很多时候公司都有自己的私有数据，在不断积累，那你怎么去构建一个，也能利用内部数据的系统，所以，对，那你为什么选了这个方向来做，我觉得从宏观角度看，未来两年会是agent的时代，自我改进的agent 能去做研究的agent 能去做科学实验之类的agent 两年之后，我觉得会转向决策系统，我想为自己的未来做优化，比如我该怎么做，才能在两年后得到这份工作，对吧，我想要的是，所以这几乎就是一种个性化的概念，对企业来说 就是预测未来的概念，所以更像是，如果你有一个能预测未来的系统，当然你永远不可能完美预测未来，对吧，但如果能，它就像模糊的，但如果我能让它稍微精确一点，那我就能做决策了，所以不再是说 [01:00:52]
Basil Chatha：hey agent去帮我找东西，或者帮我做事，而是我该做什么决策，才能优化我未来的结果，对，那你有没有针对，特定类型的事件，来优化训练，因为我猜你做的事情，是对过去发生的事件，做某种回测，然后你用，这是个非常好的问题，而这恰恰是这个问题，最难的地方，因为回测，我可以回去做回测，发一堆论文，说看，我的模型更好 [01:01:07]
Russ Salakhutdinov：没人会信我，为什么，因为回测，永远有信息泄露，明白了，比如我给你举个例子，我们有一种方法，试图预测体育比赛的结果，对吧，我们搜索各种来源，限制只看2025年7月之前的数据，对吧，我们找到一篇维基百科文章，上面写着，截至2025年7月，对吧，它是其中一个来源，然后我们完美预测了，对，我们完美预测了比赛结果，我们觉得太棒了，我们的模型有效，但实际发生的是，有人去修改了这篇维基百科文章，把比赛结果写了进去，而时间戳还是原来的，所以模型拿到的数据，标注是2025年7月，里面却包含了2026年的数据，对吧，所以这就变成，好吧，对，我在回测里表现非常好，但这毫无意义，唯一的方法，这也是为什么 这类预测系统有意思，因为你没办法污染你的数据，没办法过拟合数据，唯一的方法就是，如果我做一个预测，我得等着看它到底对不对，这就是它变成一个，有挑战性的问题的原因，因为在Meta的时候，我记得有个例子，模型会针对某个编程问题生成答案，它连评论区也一起生成了，那本该是测试点，就是用来测模型的地方，但模型生成的评论精确的不像真的，评论会写Hey John 我觉得我们应该修一下这部分，对吧，然后你去看测试样例，测试样例里有同样的评论 Hey John 我觉得我们应该修一下这部分，所以发生的是，这个样例不知怎么出现在了网上，有人抓取了它，拿去训练，然后我们现在在测试，所以我们基本上是在拿训练数据做测试，对吧，这就是所谓的污染问题，这是个很大的问题，而且它不只是前沿模型的问题 因为还有个TX独角兽的例子，人们会说，你看如果我提示我的模型，它能生成这些TX独角兽，这真的是泛化能力，直到有人发现，网上有整整一个网页专门讲这个问题，上面有所有例子，所以你就，这几乎就像你在拿训练数据做测试，对吧，这不是真正的测试，但如果你要测试的是，还没发生的未来事件，你就没办法作弊，对吧，对，这就是真正的泛化，对吧，而这正是这个问题，很难的原因，因为它有时间维度，任何你能做的回测，好吧，对模型开发来说没问题，可以 [01:03:22]
Basil Chatha：但要真正测试它，你必须做前向测试，而且 Polymarket和Kalshi 就是某种方式，对，那我猜，这是不是意味着，你会用这个，来建自己的对冲基金，我觉得对冲基金
Russ Salakhutdinov：其实是个挺窄的应用，因为你知道，如果这套东西真能跑通，它在很多很多不同领域，都会有巨大潜力，从保险情报界，到金融预测之类的，所以，你有没有想过，你觉得它最适合，用在哪个具体行业，这个嘛，我觉得，我觉得，你知道，有好几个行业，我们还没具体去细看，你知道，我觉得显然金融这类地方，是个好例子，我觉得情报界，是个好例子，然后还有一堆，任何时候，我觉得你知道问题就在于，如果你足够准，你能比任何现有模型都做得更好，那应用场景就，就挺明显的对吧，比如从金融到情报到保险，就是我是说，有人跟我说现在保险定价，比如洛杉矶火灾的，保险定价 Polymarket上有Costi上也有 [01:04:10]
Basil Chatha：这比保险公司自己做的预测，要准得多，对没错，对这也是我想问你的另一个问题，就是你怎么看用你这套决策系统，而不是直接用Kalshi 或Polymarket上的结果，或者说那些概率 [01:05:02]
Russ Salakhutdinov：这是个很好的问题，我们发现群体预测，其实相当准，像Kalshi Polymarket 人们你知道，一个人的预测可能不太行，但当你有1000个人的时候，而且可能还有内幕人士，所以如果我们把内幕人士拿掉，假设没有内幕信息，显然如果有人有内幕信息，那你也没办法，对吧，比如我知道某件事一定会发生，那你知道我也做不了什么，但当你有了群体的力量，很多人都在押钱，那人们就会变得高效，对吧，你知道因为当我押钱的时候，我其实是觉得自己知道结果会是什么，或者至少我能估个大概，所以群体预测其实非常准，而且你知道它是最好的预测器之一，比如你看对选举或者体育赛事的预测，预测市场其实是个相当准的基准，非常好的基准，对吧 因为如果不是这样，人们就能从中赚钱，就会有套利机会，我觉得我们用AI能做得更好，我们能比预测市场，比人们现在做得更好，这是一个假设，因为你能获取的信息，你能处理的信息广度，永远比任何单个人能做得要大，对，但与此同时，想象一个系统，它对任何问题都能做到，跟群体一样好，甚至更好，对吧，对，就像 [01:06:10]
Basil Chatha：而且我猜你也能把PolyMarket的信息，作为输入，位进你的系统里，当然，在任何时间点，对，对，完全正确，但与此同时，想象一下，你几乎就像是在为任何问题
Russ Salakhutdinov：创造一个预测市场，对吧，现在预测市场，基本上是围绕人们想要的东西展开的，最热门的类别，我觉得是比特币和体育，对，可能还有政治，对，政治稍微少一点，但像比特币，人们想知道比特币会怎么样，然后人们想知道体育赛事会怎么样，就是这两类，然后你知道这些是好的，人们想要，但这些非常有限，你知道在试图预测事情会往哪走，经济会往哪走，什么会，而且预测市场不会告诉你背后的原因，对吧，所以你其实需要一个非常强的推理系统，它能告诉你为什么，你知道为什么70%概率这支队伍会赢那支队伍，为什么是这样，比如是谁，你知道，它是专家的聚合，是体育数据的聚合，比如他们过去的表现之类的，对吧，所以我觉得最终AI会，你知道，我喜欢把它想成，再说一次，可能这有点像我个人的偏见 但麦肯锡，麦肯锡为什么存在，波士顿咨询集团，这些都是大机构，你知道，他们都应该被AI取代，因为AI会给你好得多的信息，就像麦肯锡做这些事，他们说，公司想投这个东西，麦肯锡就去做报告，有分析师做研究什么的，他们来跟你说，嘿对，你成功的概率大概是80% 我觉得这是正确的决定，这是你应该做的，然后这个，这个，这个，这个，对吧，而这些都会被AI取代，大，大话，哇，我是说，这一切，我只是说，因为那些是巨大的，巨大的生意，对吧，所以那些是巨大的生意，但其中很大一部分会被取代，我觉得很大一部分，我是说，也许你会有一个人留在流程里，大概是这样，但没有理由不这样，我是说麦肯锡那些人，他们有一个前提 就是保险前提，比如说如果我是CEO 我要做一笔大投资，几十亿的投资，我雇麦肯锡，他们去做研究，然后告诉我这是对的事，如果我做了然后失败了，对吧，我去跟股东说，麦肯锡也说这是好事，对吧，所以那就是那些人扮演的角色，对吧，就像一份保险，但我不觉得他们的预测会更好 AI会做出好得多的预测，因为它能处理的信息量，一切就是能看向未来，远超人类，对，远超十个分析师，或者也许你需要一个分析师，跟AI一起工作，对，你知道，我是说，也许那就是情景，因为你可能还是需要一个人来，但是，就是协调事情，但对，没错，但我觉得所有这些，所以这就是那种，能预测未来的决策系统，会变得，这就是我的想法，再说一次 我可能错了，也许整个事情会崩掉，因为很多，你知道，我确实有很多观点，我一些最优秀的学生，基本上在说，我觉得这是个难题，行不通，对，那很好，你知道，我们等着瞧，我知道，也许这是个难题，也许它难到，但对我来说，预测市场，就是一个确认，靠群体的力量，它是目前，任何模型里，最好的预测，对，对吧，很难打败群体 [01:09:33]
AI如何预测未来与中国模型崛起
Russ Salakhutdinov：因为如果你能打败群体，你就能赚钱，你知道，就靠Kalshi和Polymarket 很难打败群体，不是说你有个系统说，好吧，我就能碾压，对吧，但他也指出，人类而且群体本身，是相当高效的，你知道，但我还是觉得 AI应该能做得更好，对，它能消费的信息量是巨大的，如果我能构建出，合适的系统去做这件事，我们等着瞧，这是个值得检验的有趣假设，所以，对当然，所以第一件事，我想听听
Basil Chatha：你对这些中国蒸馏模型的看法，我觉得很多人在聊这个，比如你对这些模型，对美国LM业务未来影响的想法，也许你知道前沿模型 [01:10:30]
Russ Salakhutdinov：所以我觉得中国出来的这些模型，其实是非常好的模型，我不知道他们是不是在蒸馏，我是说显然Anthropic 说他们在蒸馏，但我完全不知道，我确实知道，你知道一家叫Moonshot AI的公司吗，他们做了很多Kimi模型，这家公司的CEO是杨直林，他是我在CMU以前的学生，哦不错，他是我认识的最聪明的人之一，他以前是CMU的博士生，他是最顶尖的之一，所以中国有很强的人才，对吧，他们现在有资源了，所以我觉得他们能跟美国竞争，而且，而且他们把所有东西都开源了，这太疯狂了，而且他们，我觉得这对社区来说，我可以告诉你，我现在所有学生都在用Q-Devlin模型 Kimi DeepSeek 因为这些是做研究最好的模型，对，我是说，现在可能还有GLM 还有GLM GLM稍微贵一点，但它是做蒸馏 做研究这类事情的好模型，所以因为这些是开源模型，你能看到推理轨迹和所有东西，所以我觉得开源模型的策略，其实是个非常好的策略，因为首先，它给了学术界，也给了创业公司一个方式，去迭代这些模型，做微调，看看什么有效，什么无效，对吧，而且现在有了GLM 差距变得相当小了，所以它给了其他人机会去测试，去在此基础上构建，对吧，我其实很惊讶，美国没有一个好的开源模型策略，你知道 Lama是最后一个 Lama 3 Lama Lama 4 表现不太好，但Lama 3 是人们使用和依赖的 [01:11:35]
Basil Chatha：最后一批好的开源模型之一，而且现在还在依赖，但现在，我觉得这是一种可悲的状况，我对此有个假设，我的假设是，如果这些中国公司，实际上是在，征流Anthropic 和OpenAI的模型，他们不会在美国做，因为法律原因，而在中国，也许他们没那么在意，遵守美国法律，所以这可能是主要原因 [01:12:12]
Russ Salakhutdinov：这是我的猜测，我是说有可能，有可能，但再说一次，是的，如果他们是在开源，那这也给了，对，一大批创业公司和学术界的人，真正接触到这些模型
Basil Chatha：运行，开发，继续推进这项技术，对，那你觉得，这些开源模型，比如中国的开源模型，对美国产业，意味着什么，你觉得呢，你觉得产业
Russ Salakhutdinov：会怎么演变，我不知道，我不知道，因为我觉得，在某个时间点，会发生的是，我是说，有一些创业公司，资金非常充足，我觉得那些，本该产出，强大开源模型的，我们得拭目以待，对 Lama也是，我觉得Meta 现在把自己定位的，不一样了，我不觉得他们会，继续开源模型，所以这是个，可悲的状况，我觉得确实，美国的法律，和你能征留什么，这些方面更严格，但对我不知道，我不知道它会怎么演变，我是说，我觉得美国需要，更多创业公司，真正能，问题是这需要大量资本，对吧，而且不是，我们确切知道，需要做什么，它需要基础设施，资本和GPU 去构建一个开源的东西，但对，我不知道美国，是否需要做点什么，你知道，我绝对认为，美国需要对此，做点什么，对，因为就像我说的，你看所有知名的创业公司 他们都在做后训练，甚至Cursor 对吧，对，他们用Kimi 对，他们用Kimi 他们对模型做后训练，对吧，因为我是说，这是个好模型，然后你直接开始后训练，然后很多创业公司都在做同样的事，依赖QW DeepSeek Kimi GLM 做后训练，因为更便宜，比前沿模型便宜的多得多，而且如果我能后训练，我就能拥有这个模型，那就是我的模型，没人碰过它，它不是，你知道，人们觉得如果模型来自中国，那信息就会泄露，不，它是封闭的，只是权重而已，对吧，如果我能后训练，那就是我的模型，对，那为什么，对，哦抱歉，你说，而且如果基础模型已经足够好，有基础的知识，那我就能后训练，然后就很棒了，我是说 我听说做语音之类的创业公司 [01:14:51]
Basil Chatha：他们都依赖这些开源模型，做后训练，然后从中做出产品，对，我刚想问你，为什么美国有自己的开源模型很重要，如果中国的模型真的很好
Russ Salakhutdinov：那我们为什么还需要美国的开源，对，这是个好问题，我觉得有个前提是，我们其实不知道，想编程这类事，那没问题，但就通用知识来说，任何模型里多少，都会被注入一点偏见，对吧，所以如果你依赖，如果你的业务，整个业务都依赖，另一个国家产的，开源模型，对吧?对吧?就是有某些细微之处， 这些模型我跟一些人聊过， 他们说对， 我们知道这些模型在数学编程上都没问题， 编程这种事没有什么政治偏见或文化偏见， 对吧?数学也是一样的， 就是给你题目， 给你答案， 要么做对了， 要么没做对， 但更多是， 怎么说呢， 如果你用它来做创意写作， 或者做其他事情， 所以未来， 如果你要依赖它， 把它当做一个事实来源， 就像现在我已经不太，我确实还会用谷歌，但有时候你会去问 Cloud或Gemini 说Hey给我讲讲这个事件，然后他就告诉你了，对吧，我也懒得去核实，我就默认他说的是真的，所以这些偏见就可能渗进来，对吧，所以对我也不知道，对，是吧 [01:16:00]
Basil Chatha：对，对我还有一个问题，就是现在好像冒出来一大堆，这种强化学习环境公司，或者数据标注公司，遍地都是，你觉得这是个能长久做下去的业务吗，几年之后还会在吗
Russ Salakhutdinov：不我不觉得这是能长久做的业务，我是说做强化学习环境的人，做一个好的环境显然很重要，但就我现在看到的，尤其是在环境这块，现在模型能力变得这么强，做这些环境的成本只会越来越低，然后我不知道，我猜还是会有那么几个玩家，大玩家来提供环境和数据，因为你需要数据，而那些跟前沿实验室合作非常紧密的人，他们可能能活下来，但我不觉得这是个能长期持续的业务，对，尤其是因为你刚说到合成数据，对吧，合成数据，然后另外一点是，我觉得有些这类公司
Basil Chatha：现在正试图转向机器人领域，我猜其中很多都会转，对吧，像OpenAI Anthropic 在转向机器人，还是，不是那些做数据收集的，哦，明白了，对吧 [01:17:04]
Russ Salakhutdinov：就是那些开发数据，收集数据环境的人，他们在试着看，行，我们能不能进入物理世界，开始在物理世界里，为机器人应用收集数据，所以这些数据，收集公司会去适应，但显然，前沿实验室，在部署模型的时候，总会发现一些边缘情况，他们可能会去找，这些数据公司，说给我建个环境，给我造点数据，好把这些边缘情况修掉，但我也说不准，对，我不，我是说，数据无论如何，肯定都很重要，对物理AI来说，但我觉得可能，也就剩下几个玩家，对，好吧，但不会像，我是说，不会像现在这样，有这么多人，在做强化学习环境，我记得大概，两年前，大家觉得，行我们需要这些，因为我们可以，拿它来训练模型，现在这些东西，越来越便宜，可能就，而且现在，我不知道你有没有看到
Basil Chatha：你听说过 Handshake这家公司吗 Handshake是一个平台，很多本科生，用它来找工作，现在他们基本上，转型成给实验室卖数据了，所以这就成了一个，很诡异的反乌托邦式的事情，你本来是帮本科生找工作的，现在你基本上是在，让本科生去给实验室标注数据，而这些数据最终会取代，本科生本来想找的那些工作，有道理 [01:18:12]
Russ Salakhutdinov：对对，我觉得这确实有点像，对对对，我是说数据仍然高质量的，好数据仍然有价值，对吧，而且由人来收集的数据，高质量的数据，仍然有价值
Basil Chatha：所以他们大概就是在卖这个，因为，但我同意你的看法，这确实有点，有点诡异，对，那我下一个问题是关于SaaS的，好像很多人非常担心，基本上这就是SaaS的终结了
Russ Salakhutdinov：因为现在复制软件太容易了，你怎么看，这是个好问题，我不知道，好，我不知道，我觉得SaaS公司，软件公司需要去适应，而且很大程度上，取决于他们有多少互称和，客户关系，还有他们手上的一流软件，但我确实觉得，现在有了这些agent系统，编程系统 SaaS会受到冲击，对，你知道，这要看它怎么演变，我们见过比如Salesforce 过去两年跌了不少，对吧 ServiceSino也一样，这些SaaS类的公司，甚至Snowflake也是，所以我觉得他们必须创新，我觉得软件会变得很便宜，对，就是，有人说智能的成本，正在趋近于零，你同意吗，会归零吗，我不知道会不会完全归零，但会发生的是，如果你有像5.6 或者Mithras这样的模型，对吧，非常贵，现在基本上就归结为，每个Token的智能，也就是每个Token的成本 你的模型有多聪明 [01:19:59]
开源模型、成本与AI商业化
Russ Salakhutdinov：多高效，多便宜，本质上就是跟人比，跟人比，或者跟任何其他模型比，好，好，比如我之前跟，跟谁聊来着 LinkedIn的某个人聊，他们说，早期他们想用 8币或9币的模型，因为这些模型更便宜，对他们要做的事来说，那就够了，所以就有这种智能的概念，你显然想要聪明的模型，但成本是另一面，我想要智能，但我希望成本很低，所以显然推理这块，所有做推理芯片的人，他们都在说，我想给你聪明的token 但更便宜，所以我不知道成本，会不会真的降到接近零，这也是开源模型，开始上线的地方，对吧，因为他们说，我们很聪明，但成本只要十分之一，作为企业，我当然会用那个，也许它达不到Methros的水平，但对我做的事来说已经够好了 90%的效果 10%的成本，大概是这个意思，对没错，那对我来说就是很好的商业理由去用它，对吧，我为什么要用别的，所以我不觉得会归零，我觉得会越来越便宜 [01:20:54]
Basil Chatha：因为总有办法把这些模型，蒸馏成更小的模型，为什么前沿模型越来越贵，只是因为它们消耗更多算力吗，不是，因为我觉得有需求，所以就是他们想涨价，他们想涨价 [01:21:05]
Russ Salakhutdinov：因为有需求，而且你知道，之前也有过价格战，对吧，我见过这些例子 OpenAI说，这是我们的价格，然后两个月后，他们把价格砍掉五倍，为什么这么做，他们这么做是因为竞争，因为有更便宜的模型，可能一样好，可能稍微差一点，但便宜得多，所以关键在于，这就是效率发挥作用的地方，智能是一回事，效率是另一回事，所以对，这很残酷，因为如果我能用90%的效果，十分之一的成本干活，也许我就接受了，你懂吧，也许说得通，对，从经济上讲，经济上，我觉得一切最终都会归结到经济
Basil Chatha：对吧，因为不管什么更便宜，我就用什么，所以你觉得所有LLM 基本上都是商品，我觉得他们会变成商品，是的，对，我是说，这挺有意思的，因为早期LLM刚出来的时候，大家就是这么说的，但后来，你知道，各个实验室，一直在互相竞争，不断超越对方，不过现在看起来，大家基本上，又回到了那个观点
Russ Salakhutdinov：就是他们最终会，趋同到同一个东西上，对我觉得你知道，有些模型会稍微好一点，但现在一切都取决于产品，比如Codex CodeClock 就是很棒的产品，因为它能跟你的代码库，集成在一起，然后一旦它变得有粘性，你就会一直用它，对吧，就算别人加的稍微好一点，也没用，最后拼的就是产品，你有什么产品，用起来多方便，多便宜，对，没错 [01:22:22]
Basil Chatha：就是这样，行业里现在有什么，让你特别兴奋的事吗，可能是研究方面的，或者其他方面的，你觉得会带来，下一个，节约式变化的是什么，好问题，好问题，我不知道，我是说
Russ Salakhutdinov：现在有很多，关于自我改进，系统的研究，自我改进的 agent 自我改进，看起来挺有前景的，这些系统，还是这个概念，你有现成的模型，它生成一些数据，你过滤一下，用这些数据去训练，或者用我们说的，并行系统，你做rollout 做多次rollout 看看哪个解决了问题，然后拿那些，解决了问题的结果，当数据去改进系统，所以你知道，就是那种，能自我改进，一点点变好的AI 这是大家在关注的，一个方向，挺有意思的，我觉得决策和预测，会是另一个方向，然后第三个，我觉得是机器人，这算是我们现在缺失的一大块领域，这个领域以后可能会有大量投资，但它也是需要最长时间才能真正产出有意义成果的领域。说到机器人，你具体指的是人形机器人吗?不一定非得是人形，但有个事 有人跟我说过，哪些机器人被证明是有用的，就是那种真的有人在实际生活中用的，现在只有一个例子，就是Roomba 对吧，就是帮你打扫房子，现在没有第二个例子，一个机器人有用到，让我愿意花个五千块，让他帮我干活，对，对消费者来说，我猜，对吧，对消费者是这样，但对企业也一样，我是说确实有制造业之类的，但就算在那里也没有，你看亚马逊那些搬东西的机器人，全都是预设好的，所以那些不算是真正的机器人，更像是你知道，一个搬东西的系统，都是非常专门的，或者像装配机器人，都是非常专门的，对吧，不是那种，现在没有任何例子，不管是企业里，也许我不知道，也许有些企业有，但消费者和企业层面，都不是那种，嘿，这是特斯拉Optimus 他去组装汽车 替代100个工人，对，就是还没到那一步，对吧，所以这需要时间，我们现在最好的例子，就是自动驾驶汽车，算是真正在做，有意义事情的机器人，其他的还没有，你知道，我们看到一些例子，比如机器人做饭，或者做别的事，他们走来走去，但现在，这些都还没真正实现，所以我觉得，这个领域会有，大量的研发和投资，为什么，为什么它没有像LM 那样进展那么快，我觉得机器人领域，有个事你知道，我们看到过机器人做后空翻，跳舞，移动，上下楼梯，这些都很好，这是进步，但现在机器人最大的瓶颈之一是操作能力，就是真正去做有用的事情的能力，你知道吧，具体说是用手，用手，或者做任何类似的事，机器人能帮我清理厨房吗，机器人能帮我装洗碗机，洗好，再帮我拿出来吗，我的机器人 如果是在工厂里，他能去做一些不限的工作吗，或者同时做多个任务，而且做得可靠，不只是那种，你知道，大家展示的，他能分拣东西，但那都是非常非常，对，而且整个流程，都是被精心设计好的，都是些小步骤，但真正的操作能力，也就是实际完成 [01:25:47]
Basil Chatha：有意义任务的能力，还远远没到位，操作是现在最大的难题之一，对，还非常不成熟，那难在哪里呢，因为看起来，比如说自动驾驶，最大的突破，就是往里面砸海量数据 [01:26:08]
Russ Salakhutdinov：它自己就能搞定，为什么操作这块，不能直接照搬这个思路，对这个问题难就难在，我们没有好的硬件，没有通用的硬件，特斯拉自己造 Unity也自己造，大家都在各搞各的，这是第一点，第二点，造100万个机器人，去做数据采集，成本太高了，所以数据采集，操作这些，现在都还处在非常早期的阶段，明白了，所以现在很多公司正在转型，想说的是，我们可以让真人进工厂，戴上眼镜，然后让他们替机器人采集数据，对吧，也许这才是出路，但没人搞清楚，怎么高效地利用这些数据，对吧，对，而LLM不一样
Basil Chatha：LLM的数据都在网上，那是现成的，对吧，但机器人领域，根本没有互联网规模的数据，就是没有，对，也许这就是，为什么苹果现在想把摄像头，塞进AirPods里，戴在耳朵上，有可能，有可能，我不知道，对，好，那我最后一个问题，如果你现在还在上大学，你会学什么，好问题，我的看法肯定很偏颇，我觉得学STEM相关领域，仍然是正确的选择 [01:27:02]
Russ Salakhutdinov：我会学计算机科学，统计学 AI机器学习，当然还有工程，计算机工程这些方向，只要是STEM相关的，我觉得都会有用，所以你不同意
Basil Chatha：我们应该停止学计算机科学，这个说法，因为你可能看过 Twitter上那些图，斯坦福CS专业的学生数量，在过去两年下降了大概40% 你知道吗
Russ Salakhutdinov：我家孩子几年后也要申请大学了，我倒是希望这个趋势继续下去，因为这样计算机科学就好进多了，你看过去三年 AI席卷了CS领域，在CMU 我们过去五年的博士申请量简直暴涨，我们有1200个人申请博士，最后只录50个，而且这些人都是很强的，不是那种B等生C等生来凑数的，这些都是顶尖中的顶尖，对，顶尖中的顶尖，对吧，所以对于本科生，我不太确定，但我其实觉得，未来维护这些系统，改进这些系统，只会需要越来越多的，计算机科学家，你看看招聘市场，现在有大量的岗位空缺，如果整个行业都自动化了，连Anthropic都还在大量，招软件工程师，招ML研究工程师，对吧，所以我不知道，我知道有一种说法是 如果事情完全朝着某个方向发展 agent的系统会自己写代码什么的，那心理学，社会科学这类，需要一点人际互动的领域，需求可能会上升，但我不确定，我真的不确定 [01:28:48]
Basil Chatha：那你觉得，我觉得技术人才永远都会有需求，对，我同意，但也有人说，别学那些可以被验证的东西，可验证的，比如数学，可验证的，就像你说的 [01:29:01]
Russ Salakhutdinov：我们可以轻松启动强化学习，去训练它，给它答案，我的看法是，可能有点争议，对吧，就是数学，如果我拿数学来说，数学在高中和大学里，是一门非常好的学科，但如果你学的是那些抽象的，比如抽象代数，还有那些特别疯狂的东西，可能真的不太适用于现实世界，对吧，所以只有少数人，非常聪明的人，会留在这个领域，但学数学给你的是分析性思维，所以当你开始学计算机科学，学数据结构这些的时候，它给你的就是一种，非常分析性的思维方式，对我来说，这对我去做那个领域的研究，极其有用，对就是逻辑推理能力，没错，就是推理，数学就是
未来技能与AI时代的适应力
Russ Salakhutdinov：数学就是，我不会把纯数学，当成我的职业，对吧，因为我觉得它没那么吸引我，有人喜欢，我不喜欢，但我主修了计算机，科学和数学，我学数学的原因，是我觉得它能给我很强的，分析能力去思考，不管未来怎样，你总是要去适应，能适应的人就能站在高处，对吧
Basil Chatha：所以，对，所以，那你觉得五年后重要的技能，和五年前重要的技能是一样的吗，我觉得会变，变化，会来自AI的使用，对，所以我能看到，我能看到 [01:30:21]
Russ Salakhutdinov：我有个孩子现在上高中，他们基本上就在用VS Code CodeClock 建网站，做创业项目之类的，对吧，因为现在就能做到，所以那些有很强分析能力，同时又能用这些AI工具的人，对，能灵活切换，把两者都用好的人，会站在最顶端，对所以就是拼尽加上，就是你基本上能快速行动，你能快速行动，对我是说，这完全改变了，而且不用AI工具的人会被落下，你知道吗，我见过有些最聪明的人，我是说看看会很有意思，尤其是现在30多岁 40多岁的人，他们正处在这个快速转变中，你必须适应，所以你得知道，怎么用这些工具，让自己更高效，我觉得，我在我的博士生身上看到了，他们说，我的工作流程，在过去一年完全变了，对，现在我们和AI工具交互，我可以直接说，咱们做这个 做那个，以前写个代码要三天，现在一个小时就搞定了，所以如果只要一个小时，我就能真正推进我的事情，能利用这一点的人，他们前进的速度快得多 [01:31:30]
Basil Chatha：对然后我也看到很多人，他们觉得失去了自我认同，因为他们说，我整个职业生涯都在学，怎么当一个好程序员，现在我用20分钟就能做完，我学了20年的东西
Russ Salakhutdinov：所以对也有这一面，有有对这个，这个确实有点像，对有有学术界一样，因为有很多人做对话系统什么的，然后整个就完全变了，但变化是不可避免的，对吧，所以你就得你懂的，就得去适应，就是但这是个让人兴奋的，我觉得是让人兴奋的发展，我是说，它确实改变了，而且它赋能了，我是说，我也写代码，但现在我能高效太多了，对吧，我真的可以去，你懂的，我跟我学生做项目的时候，遇到某个包上，奇怪的报错，以前我得花好几天去查，因为我会去Google搜，我有这个报错怎么办，然后他就说，看这个，看这个，现在我可以直接问CodeClock 就说，你懂的，这是个报错，帮我搞定，怎么装这些东西，我根本不用去想，那不是我想花心思的地方，然后就是，对这样那样，直接到对的地方
Basil Chatha：我完全不用动脑子，对吧，对对太好了，我想问的问题就这些了，谢谢你留下来聊，太好了，太好了 Basil 谢谢你的邀请 [01:32:46]