E244｜端到端vs上下分层：机器人路径之争，正在转向？

Hello,大家好,欢迎收听硅谷101,我是红军

红军：Hello,大家好,欢迎收听硅谷101,我是红军。 [00:00:00]之前我反复在播客里有跟机器人的公司讨论一个问题,就是说我们能不能通过一个demo就判断一家机器人公司技术上的好坏。那很多人告诉我的答案是不能。原因在于大家并不知道在这个demo之前这些机器人公司有没有针对特定的环境去做适配。哪怕我们说只是在展出的前几天它到现场去采集一下环境数据可能都会对demo有很大的帮助所以如果对环境做了更多的优化机器人demo的效果就会更好而今天我们要聊的这家公司叫做苏度科技它就敢在一个完全没有训练的新环境中去做demo它的效果到底怎么样说到苏度在机器人的这条路上其实有一个绕不开的名字就是他的联合创始人苏浩教机器人看懂世界的ImageNet有他 [00:01:02]主流的机器人仿真器大多都和他的团队有渊源连硅谷最火的那几家机器人公司比如说像Physical Intelligence谷歌的DeepMind的机器人团队也都有他的学生和师弟师妹可以说他们是这条路上开山一派而他自己现在最想啃的也是机器人最难的那块骨头就是让机器人动手让机器人在开放世界动手有多难他的合伙人韩征是这么说的机器人如果是要对于物体去做操作的难度要高两到三个数量级另外我今年在跟很多机器人领域的人聊天的时候大家一直认为在现在的机器人的训练方法和实现路径上是没有收敛的那韩正他并没有站在硅谷主流的那一排路径上他认为在今年的下半年所有人都会重新回到他们现在正在走的这条路上我们有一个暴露 [00:02:01]

韩征：就是可能从今年的下半年开始上下分层的这种结构会重新再回到主流里边而且可能在之后大家选择的方案推到商业化里面去可能是最终的一个方法

红军：这期节目我们就来聊透三件事机器人的3D数据从哪里来SIM to REAL这条路到底能不能走通以及这场全球机器人竞赛各大头部玩家他们的技术路径是什么谁能真正地跑出来今天跟我在一起的嘉宾是苏度科技的联合创始人与CEO韩征哈喽韩总你好同学你好很高兴来到谷谷101的节目我看你们现在做机器人其实也是很火我看见新闻的消息是说投资人基本上很难抢到你们的投资份额因为现在其实做机器人的公司也非常的多我初步把它分成两层一层是造大脑的机器人以硅谷的派为代表的其实这类的公司在硅谷我觉得还蛮多的包括最近拿融资的估值140亿美元的Skilled [00:03:00]还有一块呢就是说造身体做人形跟做机器币的机器人公司这类机器人公司像马斯克的Optimus宇树包括Figure它算在哪一边我们待会可以再详细地聊一聊但是我觉得大家在初步看到一个机器人公司跟看到它的demo的时候其实很难分清楚这个机器人公司到底是做什么的对所以开始的时候您要不要简单给您的公司做一个定位看看我们速度在做机器人的那个环节

韩征：好的我们其实是大脑和本体都做其实也是现在很多的机器人公司都在强调的一点就是要全站要做整个的系统但整个的团队的背景其实是在将近十年以前吧就是开始往机器人以机器学习的方法来驱动机器人方向来做探索和尝试的时候主要都是以软件为主直到22年团队开始以商业化的方式来做准备的时候我们才开始正式地考虑自己来做硬件的本体当然也是因为 [00:04:00]很多年积累下来的经验就是如果自己不碰本体的话也很难把大脑的能力展现甚至说能够去做一些迭代和探索所以简单来讲的话我们是做全站

红军：如果我们要类比一家硅谷的大家现在已经比较熟悉名字的这些机器人公司你觉得你们做的这些环节跟哪一家机器人公司是更接近的还是说市场上没有对标者

韩征：我觉得硅谷的机器人公司不管是像Optimus还是上一代的Potion动力还是FigureVax的话其实都是本体加模型不过这几家公司呢在模型测的能力

红军：相对来说比Physical Intelligence包括Skilled的话要稍微没有那么专注所以你们现在核心最专注的方向是什么是模型的大脑层还是说操作的层面比如说我们刚刚提到的Optimus它是一个大家最经典的人形机器人它除了要做手部的这种操作它也要去做运动 [00:05:00]我看见你们的那个demo那个机器人它其实是带一个滚轮的机器人你的核心的控制是集中在手部环节的我并不是说一定说做人形就比做手不好因为我们之前的播客其实有讨论过零巧手是机器人可能是最后一功力更最难的一部分我想简单的还是来做一个定位上的区隔对我觉得做机器人的防弃手model做基础模型特别是做操作模型的大部分团队

韩征：其实都会类似于像我们以及Physical Intelligence这样的公司专注在像Gripper二指甲爪它对于物体的操作和能力先把它拉到一定能力的边界在有一些比如说像二指的夹爪不太好处理的情况之下再看能不能用多只手或者是零小手来做处理但人型机器人公司为了让大家感觉到像人我觉得这一波的风潮其实是在大概二年左右Optimus出来的时候大家对于伊拉马斯克给大家描绘的类人型机器人 [00:06:00]重新回到大家公众的视野其实起到了非常强的引导的作用但在我们看的话机器人里边要做的物体操作任务可能90%不一定需要零销售剩下的可能5%到10%的任务的话才真正需要多执手另外是不是双足和轮式现在机器人的下肢还不是特别的稳定一会儿我们可能也会提到像语术机器人和博神动力Figure Optimus现在对于环境的认知和感知其实还不是特别强以及它经常会出现跌倒的情况所以我们在现在这个阶段可能还是会把操作的任务和下肢灵巧的程度相对来说会结合一下但未来我们感觉可能还是会回归到同一条线上来未来的同一条线你指的是通用机器人对通用的机器人的构型它应该是一个带有足势或者是我们自己内部认为的话可能是一个轮足势的一个构型它在平地的时候的话 [00:07:00]可能会有稳定和高效的一个方式移动但是在比如说遇到一些特殊的地形的时候还是会像人或者是其他动物一样

红军：有双足或者是四足之间的某一种形态在移动对因为我觉得我们要看每一家公司做机器人他的思路有什么不一样可能要从他的整个的历史说起我知道你的联合创始人苏浩他是李飞飞的学生李飞飞当年成名之战是ImageNet他给上百万的图片做人工标注然后让机器第一次看这个足够多的世界苏浩他其实就是ImageNet的核心作者之一后来呢他把这个思路搬到了3D我觉得这个跟今天的苏杜整个的历史也是一脉相承的所以你可不可以简单跟大家介绍一下ImageNet他当年给机器看海量的带标签的图片这个当时在整个机器人业界它是一个什么样的意义为什么它会成为整个AI爆发的一个导火索

韩征：苏浩求学生涯里面的话其实一共有两个PhD其中大概有将近四年的时间的话 [00:08:02]他是在李飞飞老师当时在普林斯顿后来在斯坦福的实验室里面核心的项目就像您讲的实际上是做ImageNet大的项目他曾经跟我讲过飞飞对于整个ImageNet的推动和架构的话实际上是非常有远见的但核心总结来讲就是一个能够复现世界上典型物体的2D的图片和它的文字队用一个结构化的方法去描述这样的一个基础思想比如说我们在桌子上的杯子我们需要一系列的典型的图片去描述世界上几乎所有的杯子但是同样的款式的杯子那么一张或者两张图片可能就够了这个思想在2012年13年他的第二个PhD的导师就Leo Gibbous的在斯坦福德实验室里面开始的时候他也把这套思想带到了3D里面来所以他那个时候开始组建3D的大厨以及ShapeNet当然后去的时候还有一些非常关键的工作成果比如说像激光雷达 [00:09:00]以点云为表示的表征方法这个PointNet都是它的核心工作但回到3D大数据集ShapeNet的话其实它最大最大的挑战就在于相比于ImageNet你可以把互联网上面几乎所有的图片和它下面的文字描述和标题梳理清楚并且找到当时用亚马逊最早最早的话我记得应该是在普林斯顿的时候他们用Mechanical Turk以重包的方法的话去做标注但那3D的模型其实是非常非常欠缺的这其实是一个最大的挑战我理解李飞飞当年他的ImageNet为什么这么火

红军：是因为本质上他当时也是在用一个堆大规模的数据然后让机器识别其实有一点点像今天的Scaling Law只是在那个时间大家还没有意识到我可以用一个规模化的数据库去解决机器识别的问题他自己做了一个大规模的数据库我觉得在当年那个年代还是非常有创意 [00:10:00]有想法有远见的思想把这个思路搬到3D领域就是我能想象比如说你2D你刚刚提到我们要在一个图片里面去识别这个杯子它就是一个杯子我只需要一个表情3D的话就比如说我们今天在录音的这个办公室杯子放在一个桌子上然后桌子上还有手机录音笔首先是它的标注纬度会大很多但是你的文字标注它怎么去解决这种空间的物理关系甚至是力的反馈

韩征：我觉得这个事情听起来要难很多对这里边的工作其实要复杂很多所以愿意去做3D的大数据集的人相比于2D以及语言的大数据集的话要少很多很多3D呢其实在大数据集里边的话我们有一系列的工作第一个核心工作其实是所谓在Stanford第二个PhD期间的话核心工作之一就是ShapeNetShapeNet的话应该是有几十万个3D模型但实际上还远远没有达到像ImageNet [00:11:02]能够覆盖世界上所有物体的所有的模型ImageNet当时做到那么大规模

红军：他们收集了多少数据最后应该是有1400万张图片和文字的映射ShapeNet几个人的规模现在做到了几十万的3D数据对但是当时的一个约束就是

韩征：你要找到开源的可以用的3D模型但这些3D模型的话理论上它应该跟ImageNet类似它还是需要一个上千万级的物体集合能够把它整个的3D的集合包括刚才您提到还有很多比如像材质摩擦弹性的形变的参数包括我们现在做的椅子它其实轮子和椅子本身其实还是有很多的动力学的约束所以这个3D数据集Shapenet它只有基础的几何和基础的表面贴图我们大概能够预估到它的这些物体的材质因为比如说杯子大概的话就是玻璃塑料金属 [00:12:00]它会有一个范围但再往下一步的话同样的一个物体的话它可能会分不一样的parts和组件比如说我们拿到一个饮料瓶子会分成瓶身瓶盖围绕的这个label和标签有的时候的话你甚至需要标注瓶身上面哪个是它的瓶底这些其实是对于Path的标注但标到PathNet的时候就只有几万的物体了我们从之前的ShapeNet再去做一定的筛选去做标注因为这里面要涉及到大量的人工这时候就会对数据的标注的成本有非常高的一些要求但再进一步比如说对于这个瓶子它的瓶盖究竟是往左拧还是往右拧它拧动之后的话能不能够把它给拧下来这个就叫动力学约束的一些标注这个数据集叫Partnet Mobility现在为止如果我没有记错的话还是开源里面最大的带parts带动力学约束的开源数据集但这里面只有不到3000个物体带有标注的 [00:13:00]这其实对于几个方面包括像机器人的合成数据的训练生成像现在我们讲的视频生成里面带有连续的空间物理集结性的话其实都有很大的约束ShiftNet是从什么时候开始做的

红军：应该是在2013年14年的时候对我们说之前让机器去做3D数据的收集可能标注是一个很费时间成本的事情那现在因为我们在考虑大模型跟机器人的训练方法比如说我让他现在用Shapenet的这一套开源数据集去训练跟直接对着视频网站成千上万的开放世界的视频去训练因为他能拿到的数据是更多的然后那个视频里面也是有一致性的这些动作的它的核心区别点是什么呢我觉得这个核心区别在我们看来就是2D的图片和视频里面三维的信息有

韩征：但是不太全也不太准这其实也是在 [00:14:00]Solar当时在training的时候管线里面其中之一就是用Areal引擎和游行器引擎从3D的模型里面渲染大量的2D的视频和图片然后再反向来去做训练数据集但由于互联网上的数据当中太杂它的3D的信息其实并不是特别的精准如果你拿它用来做比如说像自动驾驶导航它可能对精度的要求没有太高比如说你只要求有一个大概10公分左右的精度是够用的但是对机器人的操作10厘米的误差是绝对不能忍受的

红军：像我们面前的这个路音机我们要把线缆插到对应的孔位里面去那么它的要求必须是在亚毫米金以内所以这个只有3D建模的3D的数据集可以做到

韩征：尤其是在机器人的操控方向对机器人不管是用哪一种方法但是对于我们做仿真Sim2Real的这条路我们是要求机器人对于物理环境里面的物体和环境

红军：对于几何有比较精准的理解 [00:15:01]

对于几何有比较精准的理解

红军：对于几何有比较精准的理解那么它对于几何的精度的理解就得到毫米级甚至压毫米级才可以所以现在ShapeNet它是一个开源的数据集还是说它有分层有一些开源有一些闭源ShapeNet、PowerNet、Mobility都是开源的数据集但我们自己内部用的肯定不是这些开源的数据集您觉得苏浩在做整个ShapeNet以后现在开始跟你们一起做速度机器人在这个中间沉淀下来的最核心的资产是什么这我觉得是一个特别好的问题走Sim2Real这条路

韩征：它有点像波音造飞机很难讲其中是发动机更重要还是说航电系统更重要还是说材料更重要它是一个比较复杂的系统工程所以怎么能够把搭这个复杂系统工程的团队给建起来我觉得这是我们团队的最核心的积累我们团队里边的小伙伴们在苏浩的实验室 [00:16:02]

红军：以及我们成立公司之后核心的这几个大组的负责人其实都在一起工作过七八年的时间哦了解人还有过去做这些事情的经验跟方法论这个是无可比拟的优势

韩征：对对对我觉得是的包括数据比如说我们在做仿真器其实大家能够想象到的市面上的核心的机器人的仿真器不管是像ISAC 摩托扣甚至说新创的一些公司

红军：都跟我们有千丝万缕的联系对我先跟听众解释一下SIM to Real这会是我们后面会反复提到的一个名词那它的意思直译就是说从仿真到现实它是让机器人先在电脑的这个模拟的虚拟世界中训练然后练成之后呢把学到的这件事情搬到真机上让它在物理世界里面也能用那大家注意啊重点其实不是说仿真这两个字而是搬的这个动作 [00:17:01]能不能直接把它搬到现实世界还灵不灵它是这条技术路径上最大的一个难题那英伟达的iSEC仿真平台就是这个路径最大的推手之一那与它相对的另一条路径呢就是跳过仿真直接用真实世界采集的数据来训练比如说让人去手把手地教然后机器照着学所以我听下来你们算是这个领域开山之派的这种感觉

韩征：我觉得一定程度上讲肯定是这样的比如说像巨神智能Embed AI的英文的提法应该是2019年苏浩跟很多北美的教授联合提出的一个有测评标准的新的研究领域像屈臣之能的这个翻译也是他的当时一起合作过的某一位教授回到国内去之后找他一起讨论和商量定的这样的一个描述但用机器学习的方法去做机器人控制 [00:18:00]我觉得他是跟Sergey他们应该是同一波在那个时候的话做探索的非常早所以你们公司成立是在什么时间苏度公司正式成立其实是在去年上半年但我们以一个商业化和半商业化开始组织是在2022年下半年开始的

红军：我记得苏浩其实是非常早就出来拿他这个ShipNet整个的一套思想他有在做跟机器人跟3D数据集的一系列的探索那个是在什么时间

韩征：应该是2012年13年他做这个决定是因为在ImageNet出来之后他自己有一个想法是要做一个类似于神经网络的架构但当时跟他配合的人没有那么多在ImageNet的挑战赛AlexNet横空出世之后对他的冲击我觉得是非常大的他觉得自己错过了可能是错过了一个非常重要的一个机会 [00:19:00]所以他自己就在思考下一站大的领域是什么所以他想把大数据级加神经网络的方法带到物理世界里面来所以在他拿到第一个PhD之后

红军：在Liu Gibes教授组开始搭建新的3D的learning的团队对好早这个中间我觉得不管是机器人还是我们说现在的AI它的技术已经经过了特别多轮的迭代了比如说深层式AI就是一家刚刚在录音前我们还有一段时间讨论过机器人界的历史为什么在前几年包括在12、13年那段时间甚至更早的一段时间大家投资机器人都是不赚钱甚至是一个失败的投资项目而且那个时候其实硅谷有非常多好的机器人项目像什么Covariant我觉得这是一个非常好的一个问题

韩征：我们其实也在创业初期受到了上一波大家对于这个问题的影响从12年、13年开始到15年、16年当时应该是我们叫Android之父 [00:20:00]Andy Rubin加入Google之后他负责了Google的X这个项目当时应该收购了非常多家的机器人的公司最知名的可能就是波顺动力后来又转手过很多次包括给SoapBank软银现在主要的控股股东可能是现代但也有像您刚才提到的像Workers Intrinsic现在还在Google里边Early Robotics它的硬件部门已经被关闭掉了但当时那波可能大家还是想用机器学习的方法往前去推进但当时的要素我觉得可能还不是特别全在2022年我和苏浩开始讨论他有这个想法去做机器人的底层操作模型的公司的时候我们当时讨论最多的一点是什么原因能够促使大家觉得现在的机遇跟大概七八年以前明显的不同当时我们的角色的核心原因之一就是达利的出现文生图 [00:21:00]对文生图的OpenAI的早期的模型它的核心就在于它让我们意识到3D的Shapenet Parsnet它只有几十万的模型但是图片实际上是有比如像ImageNet Coco这些它实际上是有上千万的它可以描述整个世界上的几乎所有的物体那么有没有一种方法能够把2D升为到3D来实际上是有机会的那么从一个普通的想法来讲就是在仿真器里面如果是要做一个Fantasy Model要重建整个世界的物体和环境的话

红军：理论上是开始可行的我们刚一直在提你们在走SIM to Real的路线你的SIM to Real的底层应该是一个我理解现在可以说是世界模型或者是3D的大模型

韩征：我觉得一定程度上是对的其实仿真在我们推动CPMN skill开始应该是在18年19年开始的时候相比于之前的可谓的有限元仿真 [00:22:01]比如说像飞行器和汽车制造里边我们要做流体力学仿真以前的机器人的时候你要做机械包括力学的仿真但当时的环境是我们只需要在一个大型的机器上面当中开一个环境让它跟真实的机器或者是飞行器也好车也好机器人也好的话尽可能的接近但新的机器人的仿真器的它的设计思路都不太一样它并不需要我们在一个大型的机器或者是一个大型机群里边无限去逼近一个真实的环境反而是用不一样的思路我们需要在比如说一张GPU上面的话怎么能够开出成百上千甚至上百万个定型的环境但我们的要求是不需要让它看起来非常的真实比如说它的分辨率真的你要去看这个仿真器里边在做训练的时候它的分辨率其实非常非常低 [00:23:00]但是它要求物理的一致性当中的话尽可能接近但并不需要无限的接近它一定是要在真实和效率之间做大量的取舍的设计所以你们选择了在这个仿真器里面更多的遵循

红军：整个世界的底层的物理法则牺牲观赏性跟分辨率对我们把经典牛顿力学包括这个物理仿真里边的很多人类总结这么多的公式都带入到仿真器里边来

韩征：但同时呢我们又给它大量的开放世界3D的物体环境任务的数据让机器人在里边做强化学习对所以你们现在seem to real的这条路线包括仿真器的设计

红军：我理解它所有的环境搭建都是为机器人服务的机器人对一件事情的理解你们可能是不局限于我要去拧一个矿泉水的瓶盖而是说我想让机器人做所有的他能看见的现实世界中的环境他都能操作 [00:24:00]我的理解是对的吗对简单来讲就是说我们想把人类和整个生物对于环境的理解交互物体的操作

韩征：几百万年的进化的过程放在放尘器里边来让机器人再经历完整的进化的过程数据从哪里来有几个方面第一就是我们刚才提到的物体比如说我们怎么能够建一个跟ImageNet一样的ShapeNet怎么能够把世界上典型的物体都能够用3D的表征在仿真器里面去做呈现

红军：我理解之前ShapeNet的那一部分已经开源了你们现在在做一个自己的ShapeNet对或者讲就是给机器人用的一个更加完整的高效的3D物体的数据机对然后你们这一部分是线彩的

韩征：现在大概有多少数据可以公开这个我们暂时没有办法正式对外透露但相比于ShapeNet以及开源的我们叫结构化数据机和非结构化数据机比如像ImageNet、ShapeNet [00:25:00]都是结构化数据机我们指的是说它是分类别每个类别里面的子类都有对应的标签还有一些是非结构化数据机比如3D里面其实也有非常大的数据机有一个叫Paul Allen做的Allen Institute他自己在主推的ObjectWars实际上是有上千万的数据机它其中之一的方法就是把GitHub上面所有的带有3D的文件的项目里面所有的文件都挖出来但那是一个非结构化的数据机里面可能大量的都是比如像游戏里面出现的人物的盔甲武器但您可以认为这些的3D的文件大量的重复的对于机器人做物体操作的话其实用处不仅很大所以我们自己要建物体的带结构化的数据机是非常关键的但它的挑战就在于说有很多物体是没有3D文件的当然2D到3D的生成实际上是非常有效的一个手段但现在迭代这么多年在过去取得突飞猛进的进展但现在还有一些 [00:26:01]是需要人工做建模标注和参与的你怎么评价你们公司的这一部分数据的质量

红军：就比如说普通好非常好这可能是几个不同的等级你觉得现在在机器人的训练中是用极高质量的数据更关键还是说我需要用更大规模的数据但是这个数据的质量可能没有那么高就是你怎么看这两者之间的权衡对我觉得这是一个特别好的问题我们也没有标准答案永远是在质量和规模之间要取得平衡

韩征：但规模是一定要达到一定程度的我就有一个朴素的判断就是你要把世界上的典型的物体它们之间的组合的环境和要去做的操作任务都有一个结构化的描述你不能只去列举其中的一种形态说我在找类似的100个和1000个10000个就能够累积到一个结构化的程度这几乎在机器学习的历史上 [00:27:00]不管是说2D的视觉还是像自然语言还是说自动驾驶里面其实都没有出现过所以3D里面其实也是类似的在仿真器里面我们要搭建的结构化的数据集是非常关键的但我们也清晰地知道不太需要无限制的准比如说单个饮料瓶子它的材质的具体描述包括它的表面标签上面文字的信息它的图片需不需要百分之百的还原其实是不需要的但究竟怎么取得这样的一个平衡的话实际上是每家可能都有不一样的理解OK所以你们的数据集算是一个什么样的质量我们对于结构化的理解的话应该是在所有的团队里面可能做得最好的但另外一点我们也知道结构化的下面我们还应该去补奶穴数据所以它有没有搭完呢肯定还没有比如说瓶子要怎么去拧这些对于动力学约束其实还是整个行业里边 [00:28:01]最欠缺的数据然后我们刚刚讲了SIM2REAL

红军：你们的这个仿真器跟大脑的这一部分我们说SIM2REAL后面的2REAL就是怎么把电脑模拟的世界放到现实的世界中因为传统大家来说机器人界有几派争议一个就是sim2real的这一派还有一个就是用real world data的这一派质疑sim2real的这一派就会认为我把simulation里面的东西放到现实世界中它的效果可能没有那么好你们其实也有机器人的本体然后也已经开始操作了可不可以讲一下你们的执行效果以及你看到的gap我觉得sim2real相比于主要以真机数据或者真世界数据采集

韩征：包括像Telops摇操作机器人包括WooMe以动作捕捉设备人去做物体的采集不管是比如像WooMe的这种夹爪还是说我穿全身动物服第三种比如说现在大家经常在讲的所谓的Ego-centric的数据我以第一人称视角去拍摄一些视频但这些方法相比于Symmetrail而言 [00:29:02]操作起来都会简单一些但它很难保证某一类操作任务开放世界的方法性这个指的是什么呢就是基础模型一般的描述是你给他一个任意物体就是不管是说在预训练还是后训练都没有出现过的他能够以一个非常高的成功率就能够去完成这个任务假如说是以这个维度而言的话我们觉得sim tutorial是跳不过去的因为真机操作动捕的方法ego的方法ego是什么意思就是以低人称视角去拍摄人用我们自己的手比如说去拿水杯包过去拧瓶盖但我们其实之前也稍微的提到一点就是这类的视频和图片它的几何的理解和精度当中可能是不太够的所以我们在仿真里边核心就是要重建这些物体和环境的3D光处的信息但是如果规模不够这个其实是很难体现出Simtorial的优势和能力的 [00:30:00]多大算一个规模

多大算一个规模

韩征：多大算一个规模这是一个很好的问题我觉得直到我们4月份其实放过一个结果就是我们叫速度R1速度R1实际上是我们去年11月份和12月份一个内部的一个结果在我们看来这可能是整个的机器人里边尝试用SimTurio路线里边能够做到ZeroShot的开放世界某一类任务能够把SimTurio Gap当中的话给填平的第一次好那我们接下来一起来看一下4月份的demo这个视频就是我们展示了连续一个小时我们可能试了100多个物体操作了200多次但这些物体其实都是在我们的训练数据里没有出现过的比如说物体失败之后我们也没有补后训练的数据所以它是一个对于物体通用的抓取第一次可以做到领样本的高成功率的结果我们会变换很多的光照环境和物体到一个小时结束的时候我们一共做了 [00:31:00]200多次物体抓放的操作240次抓放操作对单次对于这个物体做抓放的成功率是将近98%但是如果它第一次失败之后这个机器人还会用一个闭环控制的方法迅速地去调整他的策略就可以做到100%在这个结果发布之后整个的研究社区里边就有一派的声音就说

红军：我们肯定也是精心控制变量包括这些物体和环境是不是我们在训练里边没有见过大家对这个事情是有质疑的所以你们有控制变量跟在训练级里见过吗没有其实完全没有完全没有对我跟大家先简单解释一下因为大家可能看不到这个视频你们第一次demo的画面是一个机器人站在一个操作台前在去抓不同的物体然后这个物体呢包括像饮料的瓶子还有小零食每一种的物体在我看来它的形态包括这个瓶子它可能是一个椭圆形的也有可能是一个锥形的这可能对机器人的手 [00:32:00]他就要求他去抓不同的部位他才能把它抓成对还是很不一样的然后这个视频的时长是60分钟你们是连续拍摄对吗对是连续拍摄连续拍摄没有间断上面显示一共是240次抓取所以大家有质疑是说你们可能是看过这些数据但其实是没有是的所以我们当时就决定说要在公众的面前给大家做一次展示

韩征：所以在6月初的时候的话我们首先在维也纳举行的一块的大会上我们就首先把这个太极旋第一次带到了研究者的面前大概我们统计了一下在几天的会议里面可能有将近1000人左右来到我们的站台前面用他们自己各种各样随机的物体去做测试比如说参会的证件比如像手机耳机小玩偶来做测试昨天我们其实也刚刚从CVPR的会场回来我们也是搭建了一个展台然后让整个学术界和工业界当时以为我们这个视频可能是处理过的大家还是在一个 [00:33:00]非常随机的一个环境之下去做测试这在以前类似于这种的学术会议上是从来没有人能够做到这样的展示原因之一就在于它几乎没有给你时间去做准备比如说之前像他会在学术会议开始之前在旁边租一个Airbnb把自己的机器人放在那边去收集大量的数据可能要提前一个月进场做好处理之后

红军：重复去展示比如说做咖啡的任务已经是非常真话的所以它是有针对单个场景去做适配跟练习的它是肯定要的你们没有我们是不需要的

韩征：只不过这两者的区别之一就在于我们实际上更关注对于物体的基础操作比如说这种短的基础操作的高成功率是zero shot就是一次性抓取成功的单个动作

红军：我理解他做的是连续动作因为做咖啡是一个连续动作对他就相当于说要把这个连续动作 [00:34:00]让人去遥控这个机器人至少要出现过很多次

韩征：如果是他换一个咖啡机或者是同样的咖啡机换一个环境的话它的成功率肯定会要往下掉不少那这时候怎么做呢包括绝大多数的机器人模型公司

红军：都还要去再补充一定的数据去做拟合对做单个一次性抓取的任务跟做一个像甚至我们说很多林桥手公司他要做一个长达21步的这种长程任务就是复杂动作的拆解每一步都需要连续你觉得这两者之间哪个更难我觉得如果是真正做机器人的manipulation做操作的社区的话肯定认为ZeroShot

韩征：稳定的对于开放世界的基础物体的操作短操作的成功率其实更加核心和关键长程任务的复现也是非常核心和关键的部分但其实呢如果是你的短技能当中足够的稳定可靠 [00:35:00]它的泛化性足够高你其实是可以把短技能拼成各种各样的长程操作的这其实也就是Mani-Skill的整个核心的框架的大的思想所以我理解

红军：其实最难的部分是开放世界而不在于它是短还是长你只要在开放世界中短的能成功那么连续成长的它是一个迟早的问题对简单讲是这样但里边其实还有很多的核心工作比如说你要做短技能

韩征：串联成长技能其实也是一个类似于像思维链的方法其实在Chain of Source提出来大概在23年的时候其实也有一个同期的一个工作叫Chain of Source Predict Control就COTPC

红军：它其实就是专门处理短任务如何串联成长程任务的类似于斯文链的一个框架我看见你视频里面的展示这个机器人它是一个两个指头的抓夹因为我们知道在林乔手里面大家也分得很细就是你是两个指头的抓夹还是说你的手部有几十个关节然后你可以做一些复杂的动作比如说在手内转小球 [00:36:00]或者是穿针引线这种需要你非常精巧的操作这两个在训练方式上会有不一样吗还是说这个是你们下一步的目标其实零销售的话我们在二年二三年甚至在之前

韩征：我们都有很多研究的一些成果但一般在做机器人的manipulation操作的模型的时候大家一般会把这个问题稍微结构一下绝大多数的任务其实并不需要零销售的操作但林教授直到现在行业已经取得了非常多的进步的前提之下它的稳定性和可靠性其实还不是特别好包括它的成本其实都没法控制的特别优秀当然相比于早期像Shadowhand的可能几十万美金一只已经好了非常多但到现在为止因为我们自己用simulation可以知道对于物体的操作比如说像手内转魔方比如说盘核桃这些的确是需要多只手甚至有的时候它不一定是五只手穿针引线有的时候也不一定需要零教授它主要还是看成本 [00:37:00]穿针引线可以直接用机器工艺是不是对所以我觉得您这个提的特别的关键一点就是肯定零教授是最为通用的但是对于稳定性和可靠性以及一开始大家在做探索的时候降低变量的话零教授是一个选项但不是一个性价比最高的方法对因为今天我们录播客的时候

红军：其实我是第一次看这个demo我知道你有更远大的梦想就是你想实现更加开放世界的通用的机器人的操作但是我直接看到这个demo的感受是这跟几年前像Vicarious包括像Coviriant想做的东西非常的相似但是其实我也跟他们内部的人聊过他们当时没有办法做到这么稳定我看他们当时的那个demo场景是什么就是说我把一堆斯芙兰买到的女生的化妆品的小样什么唇膏啊就是各种小东西放到一个框里我就让这个机器人去抓取看他抓取的成功率其实当时 [00:38:00]他的那个成功率不是很高对然后我们也知道亚马逊他其实是收购了Covirant的核心创始团队我能想象这个场景基于仓库物流的分敛它已经是有超级多的工业应用场景了所以在商业化上虽然我知道你可能还会有一个更远的梦想你会考虑在一些垂直的应用场景开始去做一些商业化的部署吗对我觉得这是一个特别核心的商业化的思考我们的策略实际上是认为

韩征：机器人的各种各样的行业的应用有非常多作为我们自己一家公司第一是做过完大概有成千上万甚至上十万上百万不一样的机器人的应用应该是有每个垂类的应用最理解的这样的一个团队去做推动和参与那么我们自己在里面的定位是比如说我们刚才看到的抓物体包括之后我们在推出的一些技术操作技能应该把它排列组合的能力给到每一个想要拿它去亚马逊里边做各种各样的化妆品的分解的 [00:39:01]也可以做玩具分解也可以做零食分解同时它也可以拿到工厂里边去做零件的上下料组装也可以进到家里边比如说把我们吃完饭的桌子收拾干净我们希望我们能够做到的是一个底层基础短技能的稳定可靠的基础模型提供好API并且能够把这些基础技能拼成各种各样不一样的长程的任务但它的要求就在于大家有这样的想法搭成类似于像大语言模型里面的agent我们有一个新的描述叫adapt它其实是可以把我们对于比如说今天我要在会议室里面给我们再拿一杯咖啡我可能是要从旁边的屋子找到咖啡机按好那个按钮端杯子来中间还要经过两道门那么这个任务我们希望在任何的办公室里面都能够完成但它只需要用同样的一套逻辑就可以那么这一类的扫盲管它都叫机器人的上层应用这一类的上层应用 [00:40:01]我们就希望大家用我们的机器人的完整系统包括本体和底层模型搭出来这样类的应用的时候

红军：假如说我是上层的开发者我做的往会议室里面去送饮料的这样的一个应用可以在任何一个办公室都可以起作用对大家跟你买的是什么呢买的是一个机器人的本体加上模型

韩征：加上API的调用次数吗简单来讲是本体加我们的软件支持上层的应用实际上是开发者去做开发然后我们也可以帮大家去做二次的分发那么这个模式其实就回到我们怎么认为机器人的商业模式假如说从硬件的形态而言它更接近于汽车里边有大量的像电池电机它的计算单元相比于汽车而言它的体积会更小一些但是从结构上会比较接近但是从商业模式上而言我们一直内部认为它更像是智能手机会有公司去提供一个像iPhone [00:41:00]或者是像Android它有一个硬件加一个操作系统它有完整的SDK那么开发者就在上面去搭各种不一样的应用可以贴牌但更重要的是有人去做Uber有人去做Doordash比如说像国内就有人做美团有人做滴滴同时还有人会去做Instagram 小红书各种各样的应用我开始听到你这个商业模式的时候

红军：我本来想把它比喻成一个安卓手机但是我后来想了一下如果说你们是一个安卓操作系统的话还缩小了因为它的手机是可以自己制作的操作系统它只是买软件但是我理解其实你们现在卖机器人的整套的话你其实是需要硬软件一起卖的因为机器人的硬件跟软件它是一个操作的整体它很难说他买一个软件放在一个新的机器人上它能适配对

韩征：这其实还是可以echo一下您提的前面的一个问题就是说SIM2Rail的gap怎么搞核心的原因怎么能够去解的比较好就是你的硬件和软件 [00:42:00]要一起设计包括我们仿真器里面去仿的这台的机器人有两个要求第一个是仿真器里面也不是万能的我们可能有一些构型或者是某些的组件和原件现在还没有办法仿的特别特别的好或者是还没有来得及去做处理这时候我们就需要让这个机器人在做硬件选型和构型的时候用仿真器支持比较好的方法去做设计和搭建第二个就是硬件本身它也有各种各样差异和噪音即便是我们自己在设计同一款机器人的时候每台个体都有差异这是不可能百分之百填平的包括单独每一台机器在每一次上电的时候它的表现其实也都不太一样那么这时候就在仿真器里的话要对于这些噪音和差异做一定的仿真但这个前提都是你不能差别太大哦了解

红军：所以我理解SIM to real的这条路径就是它一定要跟机器人的本体 [00:43:00]是绑定在一起的对我们觉得是强绑定虽然在我们成立公司之前我们做开源的CBM and SQL包括像iSEG大家都在强调

韩征：我可以支持各种不一样的构型但我们想讲开源的这些方法都是研究的方法它其实是极度的简化了比如说像机器人里边导入到防震器里边它用的像有个叫URDF的格式那么它对于它的几何动力学约束都是做了一定的简化它其实不太会考虑到像电机的控制里边它的噪声它的响应曲线的尺质包括每次上电的时候的差别这些其实在研究界大家可能还没有办法去考虑到这么多的细节但是你要做一个稳定可靠可以解决Sympathetic Gap并且可以在开放世界里边

红军：有足够可靠稳定的能力的这样的一个机器人的时候你就要把它当成一个综合系统来考虑对所以靠跟硬件的整合它是一条解决Gap的路径还有其他的方式 [00:44:00]

韩征：比如说在软件层面的调控的解决路径吗对我觉得就是所有的方法都要有机的结合在一起比如说像数据的规模和它结构化的规模包括如何能够把它的仿真的效率拉得更高比如说我们用不用真实世界的数据去做训练的确也有比如说在仿真里面我们也会让机器人去看人去做操作的时候哪一种方法更加的高效我还是拿这个瓶盖举例子机器人的强化学习假如说是你要让他把瓶盖拧开你会发现机器人一开始他可能碰的都不是瓶盖他可能会碰饮料瓶的标签或者是饮料瓶的底部甚至往上稍微的推他一下但这些在早期强化学习的探索的话其实都是一些相对来说比较随机的探索但是你如果让他看一段人的操作的话比如说人在做平盖操作的时候是接近于这个平盖然后在附近去做了一些动作的时候那么他的强化学习的效率也会变高一些这些其实都是在 [00:45:00]强化学习框架的设计特别是model by CRL

特别是model by CRL

韩征：特别是model by CRL最难的其实就是在于

红军：这部分你怎么能够给反馈反馈设计的好甚至是说怎么能够把它批量自动化而且我觉得机器人手去拧瓶盖的难度跟你在仿真器里面让机器人自己运动的这个难度还是完全不一样的因为你那个手拧的不管是角度还是你控制的变量它差一厘米它的区别就非常大不用一厘米了几毫米对您刚才提到的这一点

韩征：其实是非常核心的一点仿真里边的强化学习和simulatorial其实已经在类似于像波动动力和语术这样的人性机器人和四足狗的Locomotion的控制已经得到了充分的验证而且比如说使用英伟达的iSEC其实里边的有一部分的强化学系引擎也是我们团队成员在早期贡献的大家都有些参与但机器人如果是要对于物体去做操作的难度

红军：要高两到三个数量级你说操作层面上 [00:46:00]就是明屏卡的这种包括跟桌子上的很多东西的一些交互这个很有意思因为我们上个月有一个线下的英文论坛当时呢正好是英伟达它有一个证明就是SyntuReal Scaling Law起效的这样的一个方式就是说我用SyntuReal可以在现实中真的去控制机器人的运动他们那个研究成果刚刚出来嘛然后我印象还很深我当时还在我们线下的活动上还问了这个英伟达的科学家我说你这个控制大运动听起来是已经可行了了但是控制零翘首这个是不是还是一个很关键的没有被解决的问题然后我觉得我今天跟你的这个聊天

韩征：好像正在找到这个问题的答案对我觉得我们之所以提这个难度要高2到3个数量级就是因为如果你只是需要关注自身的动作的话你其实不需要对世界有理解你不需要知道这个物体的形状不需要知道它的材质你也不需要知道我怎么能够移动到这个物体附近并且在接触到这个物体之后怎么去做适度的调整 [00:47:00]对于这个物体的操作而言它的难度就在于它首先要构建一个结构化的数据这个在Documotion比如说做姿态控制上是并没有这个问题它只需要关注机器本身是的第二它其实对于环境的理解和做所谓大家现在讲World Model其中有非常重要的一支就指的是机器人对于物理世界的理解和推理预测这些其实他们也不太需要

红军：所以你们的机器人是真的理解物理世界吗还是他只是说数据训练的多他不用管为什么他就直接输出就好了我们的这个模型相比于另外一派比如说Figure of Intelligence

韩征：主要在推的狭义的VLA就是以模仿人类动作这样一个端到端N2N的模型而言的话我们是要对于物理世界物体和环境以及它未来的变化要有强理解和强预测的它并不是一个黑盒的模型那么对于我们底层我们一定要知道我们的机器人在移动过程中 [00:48:00]包括开始跟物体接触前接触过程中

红军：它的每一个推理和判断包括它的未来的预测都是要有人知的才可以你刚提到你们的模型不是一个黑盒模型我们其实并不是它是可解释的

韩征：我们为什么要对物体去接触和操作为什么要去做调整其实都是可解释的比如说我们对这个杯子去抓一开始可能没有抓起来或者是拧这个瓶盖都没有拧动那么我们会大概知道它的下一个预测状态当中是什么样子但核心就是闭环控制当手接触到这个瓶盖的时候用两个手指用一个小的力量去拧的时候它没有拧动

红军：可能会出现两种情况一个是我需要继续去加大力还有一种方法可能某一个国家的它这个瓶盖的左旋和右旋那设计可能就不太一样了解然后我看你们那个demo是抓取物体吗抓取物体跟拧瓶盖我理解

韩征：它对机器人的操作上要求还是不一样的对还是不太一样我们其实是这样来定义的就Manskew在2020年左右 [00:49:01]开始推出的时候就是把机器人的底层的技术操作分成了一些类型包括它在过去的这五六年的时间到目前为止应该还是机器人做物体操作里边最大的一个挑战赛和benchmark里边的任务会分成比如说物体的抓放包括一些带有触觉的插线

红军：接插组装等等当中很多的任务大概有常见的比赛里边一般会设置十几种你刚刚提到了你们不是一个黑盒模型但是我理解现在硅谷最火的这些公司像Physical Intelligence, Gild他们做大脑就是纯做软件层模型层的这些公司我理解他们还是在尽可能地去搭一个黑盒的模型因为他还是在遵循现在这一轮的生成是AI崛起的一个范式就是说我对的数据量越大我的机器越智能我未来赌的是一个通用跟开放场景的智能的程度我之前也有跟一些做机器人的人聊就是为什么白盒模型这么多年没有起来就是因为人可以预测跟想到的情况是有穷尽的 [00:50:01]同时你很难去解决很多场景的contrcase的问题所以到底搭白盒还是搭黑盒你们是怎么想的以及未来的评估是怎么样的

韩征：我们是模型在预训练的过程中是有分层结构的就是说我们需要在预训练的时候的话让机器人知道他对于物体未来所在的环境里面要对于几何材质和他的运动学包括我做操作的时候预测是要有一定的推理和认知的但是最终在端测部署的时候我们也是一个端到端的模型分层对其实在预训练的时候预训练是大脑跟软件的哪一层比如说我们让机器人在我们的仿真器里边要对于这个物体知道它所在的几何位置包括对于它周边的物体之间的一些的材质的预估重量的预估它有没有知道它实际上是分屏盖和屏身的大概去操作的时候应该是像比如说逆时针旋转这些其实都是他有理解和推断的 [00:51:00]这一段是黑盒这一段相对来讲是一个以一个影视表达可以去描述的它大概在什么样的位置有些是显示表述有些是影视表述但比如说像硅谷和国内绝大多数的机器人公司在以模仿学学为主的这样的一套思路它其实是不太需要知道物体究竟在环境里边它准确的位置它也不太需要知道它的几何的信息比如说我们刚才讲的拧平盖他其实并没有一个推理是说我需要向逆时针的方向去做旋转他之所以这么做包括去接近都是因为在那个环境之下曾经有人是遥控这个机器人或者是用自己的动步符做了那样的动作他只是在纯粹的机械的去模仿他其实并没有特别强的理解所以你们在搭建理解的这一部分对我们是需要在预训练的过程中是有理解的但人类其实在对瓶子操作的时候我们其实并不会在脑子里边有一个推理过程 [00:52:01]说我这次拧这个瓶子的话我要用一个逆时针的一个策略去转顺时针转不动就是逆时针人类是很可变的对它是可变的但是它也有一些常识比如说我们每次去拧瓶子的时候我们一般都是逆时针去转因为这是一个常识已经是刻在了我们自己以前的肌肉操作里面去但假如说是小朋友第一次看自己去拧一个饮料瓶子的时候他会经历两个阶段第一呢是他假如说从来没有看过父母去做这个操作的时候他会先往左拧一下试一下再往右拧一下试一下它是一个随机的一个尝试但同时呢他又会去观测父母是怎么去做操作的他可能会有一些理论依据人在出生之后他带有一定的对于物体的操作的能力比如小朋友出生之后长大的过程中它对于所有的物体的话都会去抓抓摇摇拧一拧掰一掰去试一下的时候有些的运动的能力其实也是刻在人遗传的基因里面 [00:53:00]那么机器人我们实际上是要把整个进化的过程在仿真器里面再去附显一次你们会把人类的进化过程在仿真器里面附显一次其实是这样的这个太有意思了这个仿真器之所以当时组号起名字叫Sapien其实就是尤里赫拉利写的那本书Sapiens的映射它其实就是指的怎么让智人从人到人一个进化的过程但为什么我们选择这个模型的进化的策略跟另外一派说把数据堆构的策略最大一点的不同核心原因就在于机器人的数据堆构的方法跟自动驾驶包括二级图片视频包括自然语言一个最大的不同就是它没有足够多的数据自动驾驶可能是最接近的参与到这里面的自动驾驶的人非常非常多但是它的一个核心在于自动驾驶比如Tesla在可能十几年以前就开始卖它的车当时绝对没有现在的FSD虽然它当时给大家画饼说未来可能会有FSD [00:54:00]但实际上是有几百万的司机买了它的车

红军：在101的公路上面天天开所以它是会变的它不一定要只遵循一个范式我可以在数据不够的情况下用白盒加黑盒的模式搭等数据量够了我可以去改变我的技术

韩征：对但是机器人你是很难同一款机器在没有任何功能之前我卖500万台机器人到各个办公室家庭或者是工厂里边去并且旁边还有一个工人在遥控它去做各种各样的操作在我们的家里面我们很难想象我买了一台机器人我需要穿着一个动物服才能够去做西红柿炒鸡蛋这个我觉得基本上是很难这在说1X吗没有特质但这个模式实际上就在于说我们人类以公司方法去做组织的话我觉得像国内的公司已经做的是非常超前的可能已经能到百台甚至千台以上的规模但它离五百万台和一千万台并且能够进到每一个家庭 [00:55:03]每一个办公室就像特斯拉的车像是开到了世界上几乎所有的角落收集到各种各样的数据并且后面还有个司机天天帮他去标数据这些的要素在机器人里边可能都不成立所以它的能启动的方法就是像您刚才提到的因为大家提到SIM2Rail为什么一定是要推的一个方法是躲不过去的就是因为它能启动的数据实际上是需要一个百万甚至是千万级别在所有的开放环境里边都要把这个数据给收集全才可以的所以我理解

红军：这是你们用分层模型而不是硅谷主流的端到端的一个核心原因在现有整个业界机器人数据都远远达不到的情况下我们可以通过分层让机器人先跑起来先提高它在开放场景zero shot的操作能力然后你们的商业模式比如说你现在是卖给很多开发者当大家都开始用这些机器人 [00:56:02]其实后面你还要不要用一个新的方法去打你的训练范式是可以变的对稍微分享一些我们自己认为的一些小八卦Physical Intelligence在成立之前他们其实是在Google

韩征：包括Journalist这个其实是在Google Robotics里面工作的非常多的核心人员参与的那个时候的话大家可能都是做一个端到端的一个模型但再往前当时大家有一个默契就是有可能是底层的模型有一个稳定可靠的底层操作能力再向上实际上是有大家去做环境理解包括拆分成不一样的任务我怎么能够去那个咖啡机然后拿到两个杯子倒两杯咖啡中间还得过两道门但在大家二三年二四年先后开始搞公司的时候大家就选择了自己擅长和熟悉的套路所以他们可能就不再提分层但我们有一个暴露就是可能从今年的下半年开始上下分层的这种结构会重新再回到主流里边 [00:57:01]而且可能在之后大家选择的方案推到商业化里边去可能是最终的一个方法

红军：你可不可以简单一句话总结一下上下分层指的是哪个上下分层对比如说从冰箱里边拿一个瓶子把瓶盖拧开然后把我们面前的两杯水倒满那么上层实际上是说

韩征：我们现在杯子里面没有水了我要去重新倒水机器人实际上是要对于我们现在所在的这个环境要有理解哪边是冰箱里面有没有水我第一步应该去走到这个冰箱面前打开冰箱门拿到这个瓶子移动到这边把瓶盖拧开并且朝两个杯子里面分别去注入一定的水再把瓶盖给拧上这些呢是属于我们叫拆分步骤的做resonating的过程但是底层在我们的划分里边就是我如何去走到冰箱的面前把门给打开打开操作的这一层对抓住这个瓶子移动到这边把瓶盖拧开并且往杯子里边去倒水那么这些底层的每一步 [00:58:01]具体的对于物体的操作

红军：我们叫low level manipulation上层的这个high level的resonating和planning当中我觉得是可以分开的嗯嗯所以你觉得今年所有的硅谷公司都开始会做这种分层操作我觉得很难讲今年

韩征：但是这个会回到大家的视野里边来我觉得在最近几周的时间里我们在跟学术界工业界大家做现场展示和交流之后有些人已经意识到这可能是一个新的方向

红军：所以我理解现在硅谷的很多像我们说的Pi Generalist这些公司它还是在把操作的层面也是直接用大模型控制的但是现在能做出这个判断证明现在的控制并没有大家想象中那么好

韩征：跟成功率那么高我觉得是的仅代表我自己个人不一定是公司统一的想法就是我觉得Physical Intelligence和JerisGoogle等等这些机器人公司其实更擅长做上层的reasoning但是对于物体的操作的话靠少量的比如说几十万小时我觉得可能已经是现在操作的极限人类真实操作物体的数据远远没有办法达到 [00:59:01]对于物体的开放环境开放物体的稳定可靠的操作的能力

红军：我可不可以理解成上层是硅谷公司的优势下层涉及到操作层面因为你就一定要跟硬件相结合这就是中国公司的优势或者讲硅谷的机器人公司也好大厂也好

韩征：中国的模型大厂也好大量的巨声的公司也好我觉得可能都是像上层做reasoning的机会会更大一些当然还有很多巨声和机器人的公司他们挑某一到两个垂直的应用的场景可能就类似于像大模型它就做一种或两种的agent但是对于底层如何在随机的环境里面对于一个任意物体做某一类的操作我们认为必须是一个软硬件强结合的公司

红军：才能够达到但这家公司是不是只有中国公司能做到我觉得未必你们跟像宇树这样的公司核心区别是什么我觉得宇树是在机器人的硬件的量产能力就率先给市场 [01:00:02]交出了最好的答卷的一家公司

一家公司

红军：一家公司对2025年的出货量有5000多台然后我们对比一下特斯拉Figure这些美国的明星公司它可能只有150台左右对而且语术是把这些5000多台的设备当中真实地发到了用户的手里面在操作上跟大家关注的方向的不同点上呢语术对于物体操作可能才刚刚开始它主要是在大运动跟运动控制上对而且对于物体操作这个人性机器人是不是一个最稳定可靠的一个方法短期之内不一定未来可能是今年我看见最近有一个大热点是Skill的AI它的估值是冲到了140亿美元它最新的一轮融资是14亿美元头后估值是140亿到150亿美元七个月前它的估值才是45亿美元它其实就是做全身体的通用机器人的技术模型Skill the brain对比我们刚刚一直在讲的Physical Intelligence它也算是硅谷的做软件大脑的一个非常有代表性的公司 [01:01:00]它的估值也是56亿美元你对这家公司熟悉吗为什么它一下能拿到这么大的一笔融资

韩征：然后估值的规模在大范围的提升我觉得首先Physical Intelligence如果我没有记错的话它最新的估值也是在120亿到140亿美金之间不一定完全对外公开但他们也在做新的募资我觉得这几家公司包括Skill的Physical Intelligence包括Journalist都比较接近都做大脑对Skill的话比较特殊一点两位创始人Deepak和Abinav其实跟苏豪也做过很多的讨论他们以前是坚决不信仿真的但是在一开始募资的时候他们是拿机器人仿真作为他们主要募资的方向但实际上据我们了解做的业务可能偏敏感一些我觉得在做巨神技术模型美国这边第一梯队的话我觉得还是像Facebook Intelligence这样的团队包括Generalist以及还有一些创业的团队像华人的Sandy像Dyna其实都在做一些探索

红军：然后我们来看一下最近我看Figure AI [01:02:01]好像又被看好了因为之前它其实也是融资估值都很高我觉得有一段时间整个硅谷的投资人我听起来大家是对Figure是有所质疑的甚至也会质疑它放出来的demo你是不是后期剪辑过为什么最近大家又重新看好Figure了是因为它跟宝马的一个合作还是因为它的技术能力跟放出来的demo

韩征：有一个全新的提高我觉得这轮可能跟宝马的demo可能关系不大因为最近大家对它关注是在大概几周以前它开始做一个产线里边的物体的分解但在我们看的的确是比以前有些进步但在物体的操作放化性和环境的放化性上其实差别还比较远第一它里边出现了两类物体一个是一个在做实验的一个包裹但那个包裹其实形状几乎是一样的都是正方形的你是说它一天的直播对它后来持续了几天但如果是按照我们的要求的标准第一它的物体方法性其实不高 [01:03:01]因为一共只有两类物体一个是盒子一个是软性的包装而且颜色和重量几乎是一样的第二呢它的机器人所在的工作的环境一直是在他们自己公司里边搭建的那一条测试线里边并没有走出去很难所以如果是拿咬操做VLA的这条方法的话最大的约束和挑战就在于它对于光照和环境的变化都极其敏感一旦变化之后它的成功率会直线的下降

红军：所以大家对Figure还是有质疑的就觉得它的demo放出来还是简单的对但我觉得比以前已经好很多了洗碗机的那个是它的demo对吧洗碗机是它的demo但我们听说是花了很长时间拍一条对我听到的也是这样子的另外就是我看见今年还是有很多的机器人公司它在进入部署阶段的比如说马斯克就把Optimus要放到Freemont的工厂让他在工厂里面去做一些工作 [01:04:00]当然他自己也说了就是开始大家还是希望他能进家庭能真正干活的但是他说他现在放Optimus他其实主要也是为了训练数据而不是真正的让他干活我觉得特斯拉的人性机器人现在也是大家蛮关注的一个点的就是从一个专业的同行业创业者的角度

韩征：你会怎么去看他的部署在我们25年主力团队搬回到国内之前其实我们跟特斯拉的自动化团队有一些合作但是当时他们在自动化产线里边使用的自动化能够让机器人在里边去做任务的时候Optimus肯定是还没有能够满足那个条件当时应该只是在Optimus团队里边去做一些比如说像一个固定的位置当中去拿电池的这样的一个动作但Optimus我觉得是未来美国的机器人行业里边肯定是最大的退手因为它的硬件的核心和制造能力实际上是非常强模型的话我觉得按照Tesla和Elon Musk的风格 [01:05:01]可以等到这个行业有较为好的方案出现之后再去补可能也来得及但同时我们当时也听到Tesla里边可能有一派的声音是说Elon他自己当时也提过先造一系列的机器人让外界的人去做研发开发跟你们的思路有点像我觉得有点像但他的思路我觉得是跟现在很多做机器人硬件团队更像我不给你模型我给你很好用的硬件那么你自己去开发模型但我们实际上是想要给大家一个硬件同时有底层大家不太好对对对这部分

红军：对然后我看今天波士顿动力电动版的Atlas也在开始出货了这个是一个值得关注的点吗对我觉得这是一个特别关键一点我们自己内部定义的

韩征：最大最有潜力跟我们一起去推这个方向的可能就是波顺动力的电动版Atlas加上Google的DeemMind [01:06:00]如果大家去年看德米斯·哈萨比斯的一些采访包括他的纪录片以及一系列的动作的话我觉得他们对于物理世界AI的下注可能是在所有的大厂里面最坚决的一项只不过现在他可能还要分时间去兼顾Gemini跟Anthropic和OpenAI去做竞争的这样一波但我觉得去年有一个非常重要的信号第一呢他们已经把硬件的平台从原来的Aptronic和另外的一台机器换成了电动版的Atlas同时呢他从波顺动力的硬件部门把核心的几个人都挖到了D-Mind团队里边所以未来机器人行业里边假如说我们走的是硬件也是我们自己造软件底层模型也是我们自己搞那么Google会不会重复Android的方法再做一次对用不生动力的硬件包括现代集团在后面量产的能力的支持同时呢 [01:07:00]他们自己在仿真器在几年以前就收购了摩托客团队自己在做不断的改进他自己还有他自己的世界模型Genie 3这些对他有几乎无限的卡世界上最好的人才聚集在一起并且他是下了决心就是从公司相比于Answer BigOpenAIMeta国内的这些的大厂可能是唯一一个带团队的负责人

红军：在机器人上面如此的用心的他可能是未来最因为他硬件也有软件也有我觉得这个跟其他公司是完全不是在一个量级上的我们感觉他是坚定的相信SimTour的这条路的对我知道4号的团队跟DeepMind

韩征：可能也会有很多的交流应该你们也是对我们跟Google Robotics以前的交流合作非常非常的多甚至说那个团队里面有很多都是他的师弟师妹有一些核心人员是他曾经的PSG的学生包括派创始团队里边也有但我觉得DeepMind的这一波它会把核心的人才聚集在伦敦在英国模型团队和硬件团队聚集在一起这个事情我们觉得非常重要 [01:08:01]就跟当年Steve Jobs说

红军：做Apple的开发的时候有人问能不能去另外一个办公室能不能远程他坚决不同意我觉得是一样的所以在所有的机器人公司中你们最看好的是DeepMind加波士顿动力这个还是挺有意思的

韩征：对我觉得这可能跟大家想的都不太一样我觉得可能在接下来的两到三年里边从机器人的操作能力和综合能力上而言我们认为的最大竞争对手可能是DeepMind的家伙波士顿动力对因为波士顿动力

红军：大家知道最开始是谷歌收购了他们后来他们又全部卖给现代集团了所以他现在跟DeepMind之间关系是怎么样的他还有股权关系吗现在股权关系应该没有我如果没记错的话现代集团应该是

韩征：主要的控股股东然后剩下的软银应该还是保留了10%到20%但D-Mind这次一定会把博神动力再纳入到体系里面来但博神动力会把D-Mind

红军：作为它大脑模型的可能最重要的一个合作对 [01:09:00]那我们再说一下亚马逊因为亚马逊其实去年年底我听all in的播客他们说其实有一家公司非常值得关注就是亚马逊理由就是说亚马逊马上今年它的机器人的部署可能已经比它的员工还要多了因为他们其实是有仓库分敛的这些场景它天然是一个场景的应用方而且它也收购了Corriorant你会怎么看亚马逊在机器人上的布局我觉得亚马逊一直是在机器人里面投入最多的一家大公司但它的数量可能还是以

韩征：比如说像第一像仓储物流里面像做HV像Kiva很早就收购包括像各种各样的机械币的应用各种各样的人性机器公司比如像Agility Corriorant之前可能还有一些其他的公司都在里面去做尝试我觉得它会提供一定的场景但亚马逊最终要不然就是要把这些公司收购要不然就要自己去做我觉得Corrent也是当时把亚马逊作为核心的客户之一

红军：刚刚在聊硅谷 [01:10:01]跟中国的这些机器人公司它的发展过程中我基本上还可以总结就是整个硅谷它还是在更加看重机器人它的通用性泛化性包括它大脑层面上的这些进展因为我们看到市场上最高估值的公司全都是集中在这一块中国它有非常好的硬件的底子但是同时我也看到很多的公司开始可能也抱着说我们要去做机器人的通用性的这些想法但是最后它可能因为有商业化的压力它可能最后都退回到了单一场景就是你怎么去看这种立项很丰满最后大家回去做

韩征：垂直赛道的现象我的核心的推断还是跟前几轮比如说像做视觉大模型比如像当时的AS小龙包括后来做语言模型的科大逊飞等等类似吧如果是对于基础模型如何去构建没有一个特别清晰的想法只是想边做边试的话我觉得其实很难 [01:11:00]大家都会因为商业上的一些压力去做妥协但是对于我们团队而言我觉得也是分成两侧假如说我们对于基础模型如何去推进也是在摸索没有较为清晰的一个方向能够在未来的比如说当时启动的时候能够在12到24个月里面应该能够看到什么结果有判断的话我觉得我们也未必能够一直坚持这样的一个方式和方法所以你是看到了技术上通用的可能性我觉得是这个团队可能在过去的七八年的合作里面其实已经有了一些感觉和认知再把哪些要素补充在一起大家合作是比如说12到24个月的话就能够看到第一阶段的效果我觉得这个比较关键而并不是说我们把数据先做一些小模型先试一下是不是把数据堆到一定程度之后什么程度现在也不知道有可能是1000万小时有可能是1亿小时有可能是11小时说不定就做出来了我觉得说不定这三个字 [01:12:00]在我们团队里面几乎不太会出现但是对于其他的团队而言大家都是在探索那么会受到自己团队内部包括投资人和商业化的一些的压力

红军：就会选择一个锤类的场景这时候客户给大家的要求的时候就会导致跟你迅机模的这个思路肯定会有背离所以你们是怎么看到它能做成通用的可能性的

韩征：我觉得实际上是通过以前一系列的研究的工作能够感知到这个系统应该可以walk就是说在小规模上的能力的话已经起作用了只要在给整个搭建完整系统里面

红军：大家再齐心协力去试一下的话有可能能够得到初步的结论要做通用人工智能它是一条更远更长的路在这个中间怎么让自己的公司活下来你作为公司的CEO你会有这个压力存在吗我觉得我们肯定会有压力但相对而言还好一些我觉得机器人在这波趋势里面由于大模型的出现 [01:13:01]

韩征：包括infra的出现我们感觉会把它推到下一个阶段我们实际上是不会读某一个锤类场里哪个能够跑出来而是希望我们通过提供一个硬件加底层的模型让大家去试我们希望我们服务的1000个开发者里边有100个能够找到能够小批量去做部署的这样的一个应用的场景但另外900个人可能会有比较好的demo或者是研究的成果这100个人里边可能会有5个10个会做一个超级应用它可能会需要部署1万台甚至更多的机器人到不一样的场景里边去但究竟是从冰箱里边去给我们取饮料瓶倒水还是说在工厂里边去完成汽车的组装还是说比如像亚马逊这样的一个仓库和分解环境里边去抓斯芙兰的唇膏我们不会去赌某一个场景因为这个团队我觉得它的特质也并不是说到工厂里边去部署和集成测试 [01:14:01]整个的开发者社区里边包括集成商自动化团队各自都会有各自不一样的擅长我们希望就是做底层的

红军：新的工具链给大家现在把更多的钱投入到你们更有长远场景的研发上还是说把一部分的精力也投入到比如说针对开发者的软硬件一体的平台的分发上你觉得哪一个是你现在在负责的重心或者说你会怎么去做你的资源的分配

韩征：我们的核心是在提供一个可靠稳定的硬件加底层模型从一个抓的技能到三到五个比较常见的技能并且把它的组合的开发的工具做好让100个开发者能够在上面去做不一样的应用尝试这是我们在现在和接下来几年时间最核心的一个目标我们希望100个1000个开发者

红军：在上手能够出现 [01:15:01]我刚才描述的情况有些人可以找到一些有意思的应用场景

有意思的应用场景

红军：有意思的应用场景可以做批量的使用和部署也会支持你们技术团队去做大规模的研发上的投入对我们肯定会在这方面

韩征：是我们最核心的持续性的投入但是为了验证大家可以拿它去做行业里面的垂类应用我们肯定也会挑一到两个场景跟一到两个开发者紧密的配合把我们的开发工具已经要做好

红军：如果十年后回头来看你是希望速度科技被人记住的是说我们做出了一个通用机器人的产品还是说我们证明了SIM to real这条路是对的

韩征：我觉得SIM to real这条路是对的是副产物我们希望十年以后当大家回看今天的这个时间节点的时候会认为这可能是一个类似于像iPhone加iOS操作系统那个时候会有新的Uber有DD美团会有新的Dorax长出来我们希望大家用的硬件加底层的系统和软件至少有一部分是我们提供的 [01:16:02]

红军：一个非常有野心的梦想对的确是现在做通用应该要牺牲很多垂直的商业化机会吧我觉得是但我跟苏浩在一开始在商量的时候我们也觉得现在如果是做垂类的商业应用有的时候账是算不过来的但大家也在抢地盘就是有些产品一个机器人部署了它很难再换一个对一个机器人部署替代一定的人工

韩征：实际上你可能要花三到五个PhD的一个成本去维护对还是挺好的一条路径的对我觉得就是难但是可能最终是最有效的方法好今天非常精彩谢谢

红军：好谢谢好了这就是我们今天的节目大家会怎么看机器人的这场竞赛呢欢迎给我们写评论写留言播客的听众可以通过小宇宙苹果播客还有Spotify来收听订阅我们大家也可以在B站和YouTube上搜索硅谷101播客来看到我们的视频版本 [01:17:02]我们部分的文字稿也会收录在硅谷101的微信公众号上我是红军感谢大家的收听