目录
- 开场与嘉宾经历 [00:00:00 - 00:02:03]
- 为什么从机器人的大脑开始 [00:02:03 - 00:16:03]
- 预训练、模型与数据规模化 [00:16:03 - 01:07:30]
- 机器人大脑与本体的关系 [01:07:30 - 01:23:11]
- 创业、产业格局与汤晓鸥 [01:23:11 - 01:31:47]
- 结语 [01:31:47 - 01:53:05]
开场与嘉宾经历
张小珺:请不吝点赞订阅转发打赏支持明镜与点点栏目,谈了PhysicalIntelligence派的研究科学家科里一鸣,这是一家在硅谷做机器人大脑的备受瞩目的实验室,业内人士把他们比作机器人的OpenAI,那今天呢我要请的是一位在本土探索原生具身基座模型的公司,是由蚂蚁集团孵化的子公司蚂蚁灵波,目前刚发布了第二代的具身基础模型,我与他的首席科学家沈宇军聊了聊。如何从预训练开始,去一个机器人的底座,瓶颈是什么,机器人的GPT-1Moment,到底在哪里,大家也能从中感受一些,中美思路的融合与差异,那接下来就是我对。沈宇军的访谈,7.2026年,我们和AI共同进步。 [00:01:18]
沈宇军:我还是很坚信,具身一定会有自己的模型,就是这个观点,如果不变的情况下,那它的数据必须要支撑,它可以做自己的模型。
张小珺:如何把数据很好的scaleup,是一个至关重要的点,不及预期的有吗,不及预期数据,我觉得从现在行业来看,大脑可能是目前是落后于本体的,如果机器人有性格的话,你希望他是什么性格。我希望他是个J人,他好干活,对我觉得他核心还是要实用,哈喽已经先给观众朋友们打个招呼。 [00:02:05]
为什么从机器人的大脑开始
沈宇军:大家好我是沈宇军,现在是在蚂蚁灵波科技担任首席科学家,之前在清华然后后来到了港中文,对。
张小珺:讲讲你在具身智能上的一系列探索。
沈宇军:也是阴差阳错吧,然后当时我在清华读书的时候,刚好赶上大三,然后那个时候是商汤刚成立的时候,2014年底商汤成立嘛,然后我们大三要求是必须要有一个这个暑期的实习,然后当时商汤就正好在清华的东门门口,然后当时反正就去了跟AI相关的这个领域吧。在那个商汤一直干到大学毕业,然后就刚好去那个港中文汤老师里面去读了个书,然后去的时候其实也比较迷茫,因为当时AI虽然说比较火,但是也不知道自己到底喜欢做什么,然后就尝试了很多方向吧,然后像其实本来那个港中文吧,港中文比较擅长的。其实像这种检测分割啊分类啊,这个他们当时也是拿了比较多的冠军,但其实我个人对这个就是打榜啊,这个事情最后就看一个number这个事情,我坦白讲我自己不是非常感兴趣,对然后呢,那个时候刚好有一个技术火起来了,当时叫对抗生成网络。就是干,对对对,然后那个技术火起来之后呢,其实就很多人在这方面做探索,然后那个时候我对这个事情就感觉比较有意思,因为它是能真的能生成一张图,然后让大家去看,然后甚至于你可以去做一些简单的编辑什么。然后那个时候我就从,就是算是选择了说,我可能接下来要再做这个,可能是想要往这个生成模型这个方向去做,对,然后当时做的也是比较早,从17年开始就,就是做生成模型。然后可能坐着坐着,然后那个时候也是有一系列,比较火的工作出现,尤其是像stylegun,那个系列的时候,然后坐着坐着,因为我刚开始做生成,然后做生成。那个时候比较火的,可能就是一些图像编辑相关的东西,就是你怎么把它,按照你想要的方式去调整一下,比如说把你变得更漂亮一点之类的,然后但坐着坐着就会发现,好像坐的太下游了,然后就想把这个东西。 [00:04:18]
张小珺:看看能不能再往前做一做。
沈宇军:就是从编辑再往前做,那就是现在可能大家会讲的更多,就是叫预训练嘛,对那个时候其实还没有这个概念,说白了就是想训这个生成模型,对然后但是再训一训就会发现,好像这个东西完全有点不太,不太能受自己的控制。就是你除了,因为那个时候还没有说什么堆参数量啊,这些还没有这个相关的说法,然后就是感觉坐着坐着。
张小珺:也不知道怎么能让这个模型变得更好了。
沈宇军:然后就开始想说,那我再往前一步,就是从生成之前。
张小珺:那就是做表征嘛,然后可能就是这么一步一步的,从最开始对数字不感兴趣。
沈宇军:然后对生成内容感兴趣,然后再从编辑,然后再做到底层的训练,然后再从底层训练再往前做,做到表征学习,可能基本上一路就是这么过来的吧。 [00:05:09]
张小珺:什么时候发现。
沈宇军:GAN不能scale,这是一个挺有意思的故事啊,就是我们甚至于在,今年年初的时候,还在尝试,做最后一次尝试,还没死性,对就是哪怕是在Diffusion火了之后。然后后面有大家又开始,用自回归也去做一些这个生成,然后哪怕是这样的时候,我还是,就是我们团队还是坚持,做了一段时间干的SkillUp。
张小珺:然后怎么说呢。
沈宇军:其实是取得了一定的效果,就是我们前一阵子做的一个GAN模型会release出来,然后那个时候会发现,跟Diffusion比确实是在某些方面没那么好,但是也比之前的前几年的技术,其实还是要进步不少的,对就是说它还是有它的价值,但是它最大的问题。还是计算量的利用效率太少了,就是因为Diffusion毕竟它可以不断的,就是它可以迭代好多次,然后生成一张图,然后我们就觉得,那对于生成特别复杂的内容,尤其是你想要做这种视频的生成的时候,因为它就是里面的内容实在是太多了。然后可能干确实不一定是一个最好的选择了,然后所以可能我们会把我们在干上积累的一些技术,我感觉沉淀下来,然后release给公众之后,可能就也算是画上了一个句号吧,对不敢说圆满,但是应该也算是画上了一个句号,然后可能接下来也不太会在干的scrap上。再做过多的尝试了,但是往回说一点,就是说我觉得GAN本身是,就对抗生成网络嘛,它其实里面核心的一个技术,还是在对抗上,就是在如果你同时想要去两个模型。 [00:06:53]
张小珺:然后让他们两个都在互相迭代,然后彼此博弈的这个过程中,其实在这方面。
沈宇军:我们还是积累了一定的东西,然后这个技术本身,我觉得在抛开GAN本身不讲的话,之后应该还是会有用处的,对,只是可能不是在现在这些场景上,对,可能不一定是用在。这个图像生成这个领域了,你当时从博士毕业的时候,就在那个节点,当时商汤处于什么状态,多摩泰处于什么状态。 [00:07:19]
张小珺:对于商汤当时发展到什么样。
沈宇军:我印象不是很深了,然后可能像这种生成式的,就是生成内容的这个东西,当时还没有出现在商汤,这个整个业务的大的范围里面,其实我毕业的时候加入的是,我先去了字节跳动,当时字节跳动。倒是跟我做的东西很匹配,因为他是做抖音的,抖音本来就做内容,然后他当时需要做很多特效,我记得当时,就是用我读书期间做的一些工作,当时还带火了一些,比较有趣的应用。因为我是做图像编辑的,然后就是看能不能通过,一些AI的技术,比如说让你男生变成女生,然后变老变年轻,就看看有一些,就是当时应该会有一些玩法,说比如说看看你。 [00:08:03]
张小珺:20年后应该长什么样子,你70岁了应该长什么样子。
沈宇军:就类似的这种东西,对然后包括。
张小珺:怎么能够把一个人跟另一个人。
沈宇军:中间做一个完美的,就是比较连贯的那种转换,对当时就是有一些这样的玩法,是用起来了,在自己也可能待了,当时大概一年多吧,然后那个时候给我的感觉就是,大家每天都在想各种各样的创意。就是说。
张小珺:比如说今天又有一个,什么好玩的特效,我们希望它变成一个爆款,当时我就会感觉,确实还有很多自己想做,但是没做的东西嘛,那个时候刚好是。
沈宇军:2022年的时候,然后应该是,蚂蚁的技术研究院,在招人,这一波还没有爆发,ChatGPT,对,应该是在我。我来了蚂蚁之后的年底,才那个时候,也是震撼了一波,那个时候应该处于。
张小珺:像你们这种。
沈宇军:人工智能学生的一个迷茫期,算吗,因为你加入大公司,它其实主业不是干这个的,它都是在既有的产品上,去用人工智能技术赋能一下,对,总结的还是比较到位。相当于是做,这个计算机视觉这个领域,坦白讲,计算机视觉,过去十几年吧,我感觉第一波,可能是人脸识别,这个确实是一个。比较大的一个应用了,然后第二波,可能是特斯拉带火的,这个自动驾驶,对吧,然后就是它推出了,一个纯视觉方案,除此之外。 [00:09:23]
张小珺:好像还没有看到哪一个。
沈宇军:就是说视觉应用,然后被大规模的用起来,然后有一个,比较强的产业价值,好像还没有碰到,这么一个具体的场景,对。
张小珺:然后这也是为什么说。
沈宇军:我本来从视觉,现在想转到,就是当时24年,24年的时候,我就开始想去做这个,就是机器人这个事情,对,因为感觉。视觉可能是在数字世界,可能就是怎么说呢,它不是一个主要的,发挥作用的一个地方,用物质地不够,对,我是这么感觉的,对。但是在物理世界,离开视觉,机器人肯定是,没办法工作的,我觉得这是一个,对视觉的强依赖,然后所以说当时就开始想,24年的时候在蚂蚁。当时就在蚂蚁技术研究院,然后本来是想在研究院说,要不要做一个,就是往具身方向开始做一些探索,当时是有这么一个想法,对,然后刚好因为就是整个蚂蚁的大的,就是有一个比较大的一个规划。就是其实蚂蚁本身是做这个生活服务的,就是它做了很多这个数字世界的服务,大家听的比较多的,可能是金融相关,但其实蚂蚁做了很多,像这种医疗,对吧,然后说出行等等。这方面的服务,蚂蚁做了非常多,数字世界的生活服务相关的事情,然后从整个集团的层面来讲,说数字世界的服务,如果想再往进一步延伸,肯定是要往物理世界迁移,对。然后刚好24年底的时候,蚂蚁是正式宣布,说要成立了一家子公司,就是蚂蚁灵波科技,然后那个时候。 [00:11:07]
张小珺:我在研究院也刚好跟,就是当时的院长propose说,我也想要去做,具身智能相关的事情,然后就是不谋而合,然后就是当时也就是被,怎么说呢。
沈宇军:就是相当于调动到这个,灵波来,然后说一起去,我们既然要做,就不要说再当一个,研究型的机构来做了。
张小珺:而是说我们可能是,更加的直面这个行业,跟着行业一起成长,对所以说可能就是这么一个契机吧,然后就是来了灵波这里。
沈宇军:蚂蚁研究院当时是个多大的规模的组织啊,有不同一方向的研究院的探索是吧,对对对就是人工智能是它的一方面嘛,然后像它的这个隐私计算,因为就是安全是一个很重要的点嘛,我更多的理解是,这个东西像是一个一些探索性的东西,其实都会放在研究院来做当时。对。
张小珺:为什么决定成立一个子公司。 [00:12:01]
沈宇军:专门做具身智能,我其实觉得这是一个,吉他应该是做的一个,比较大的一个决心。
张小珺:我觉得如果是,还是把它当做研究机构的形式,去做的话,很有可能做一做,就脱离了这个行业,或者换句话说,就是研究员认为的,先进的技术。跟行业需要的先进技术,是会有gap的,对,所以我觉得这其实是一个,比较明智的一个选择,就是说既然要干,那我们就变成一个,真实的业务来干。而不是把它变成一个研究性质的,就是试验试错的一个团队去做,对,所以说就成立了这么一个公司。
沈宇军:你看你经历了三个组织,分别是字节,蚂蚁的研究部门,然后和现在的蚂蚁零波,这三个部门分别是,第一个是以前的一个产品公司,然后你要用AI技术去赋能它,第二个是一个研究驱动。第三个是跟产业结合的一个,类似于创业公司,是算创业公司吧,对,算是创业公司。
张小珺:你的感受是什么样的,在这三个组织中,然后你觉得现在的AI。 [00:13:03]
沈宇军:不管是产品也好,模型也好,它应该是用一个。
张小珺:什么样的组织方式。
沈宇军:去驱动它,从最开始,就是在字节那边,我其实也是做业务,然后来了,蚂蚁技术研究院之后,又刚好赶上,从没见过大模型。然后到大模型爆发,然后也受了一波冲击,然后那个时候就有点,不知道,其实很迷茫,就是研究到底。
张小珺:是什么样的东西。
沈宇军:是好的研究,就是你发了一篇论文,或者说你能拿到,比较多的引用量。
张小珺:是不是就代表你很成功。
沈宇军:就是我们到底能给这个,往小了说就是学术圈,对吧,往大了说就是这个行业,到底是带来什么,就是这个研究。
张小珺:是不是有价值,那个时候自己心里,是不是很清楚的。
沈宇军:然后再到现在的,蚂蚁零波这边,我这一次的感觉,其实是比较深的,我觉得它刚好是,两者的一个结合,就是说我们既想要去,做一些不一样的事情。然后这个不一样的事情呢,又能够直面真实的需求,对。 [00:14:04]
张小珺:然后为什么说。
沈宇军:现在可能这是一个比较好的机会,因为在这个,也是在做业务的过程中,但是现在机器人不是,因为技术还没有收敛,我觉得作为技术人,可能是在这个时候,能为这个行业去。或者说哪怕是探索一条,不正确的路。
张小珺:也是一种贡献嘛,对吧,反正就是说在这里面,技术不收敛的时候,我觉得是有比较多。
沈宇军:可以做的事情,所以在我看来,就是如果现在既想要做一些,比较大的事情,然后又不想要说,在一条完全没有创新的,然后就是纯是那种。
张小珺:怎么说。
沈宇军:一条确定的路上,就是只是说,把桩子打得更深,我觉得从这个角度来讲,我觉得具身反而是一个,比较好的机会,就是大家在这里面,既能有发挥的空间。然后又能做一些,对产业有价值的事情。
张小珺:你们刚创立的时候,刚过来是什么样的感受。 [00:15:00]
沈宇军:两个点,第一个点是,感觉自己还是太天真了,天真的原因是,因为24年的时候,我不是当时在研究院就propose,说想要做机器人,然后后面就发现。想做跟真的开始做,完全不一样,就是这个机器人,机器人这个赛道,有太多我不了解的东西了,就是可能当时,对视觉对模型这面会懂一点,但是真的说。比如说把一个模型用到机器人上。
张小珺:怎么去部署,怎么去调里面的通信什么。
沈宇军:我感觉有太多太多的技术战士,超出了我本来的认知,这是第一个感受,第二个感受呢,就是也很。
张小珺:怎么说呢。
沈宇军:就是在这个过程中,从最开始来了,灵波刚成立的时候,然后整个团队可能不到十个人,然后一点点的看着这个团队,就是不断的壮大起来,然后这个过程中,可能感觉这个。一边在学习,然后一边又跟着行业一起变化,感觉这种,这种感觉还比较奇妙,对,可能这两点感悟,可能会多一点吧,创立之初。 [00:16:04]
预训练、模型与数据规模化
张小珺:你们当时想明白,后面要怎么走了吗。
沈宇军:有些东西是很难判断的,但是我们创立之初,其实就明确了一个事情,就是我们希望能够,做一个,就是我们还是希望,做机器人的大脑这一层,这是我们当时。就已经明确下来的一个点。
张小珺:为什么不做本体。
沈宇军:是这样,我们最后是希望,先说我们的初衷,因为我们当时成立之初,是沿着整个麻衣集团的,就是普惠的想法,然后再加上,它生活服务的推广。对我们最后还是希望说,未来某一天,每家都会有一个机器人,对,然后但是这个机器人。
张小珺:是什么样子,其实谁也不知道,甚至于它是不是。
沈宇军:一定是同一个品牌,也不一定对吧,就像大家现在的手机也是无法把门的,对,但我们最后就是希望,每家最后都能有一个机器人,然后我们希望在,这个机器人里面跑的最后。都是零波的这个模型,或者说用的是零波的大脑,这是我们当时做的一个比较大的决定。 [00:17:08]
张小珺:我们也会做一些,像这种末端执行器啊,什么这些,因为现在整个的模型,还没有完全的收敛掉,未来本体的贵发展人什么样。
沈宇军:可能我们也不清楚,就像大家现在用手机,手机也不是一个固定的,就是品牌,就是说大家比如说都用苹果,或者说都用华为,也没有这样的一个说法,所以说在这个还没有。这个地方还没有明确答案的时候,我们明确的想法,就像刚刚说的是,我们要希望这个本体,都跑了一个灵波的大脑,这个事情,所以就是坚定的沿着这条路,先把它就是汤出来。先把它做得比较扎实,对这是我们整体的想法。
张小珺:你们团队现在是一个什么样的构成。
沈宇军:是一个更偏research驱动的一个团队吗,你看美国就有physicalintelligence,这样的组织,其实它的好处就像我刚刚说,因为行业技术还不收敛,所以说它有一些一定是要有research的成分的,就换句话说我们要不断的去探索,说智能的上限在哪里。但这个探索的本身其实就是一种research,但同时我们既然说成立之初,我们就以一个公司的形式,去运作这个组织,就是不想让这个research,太天马行空,就是我们还是希望,这个东西能够跟产业。 [00:18:28]
张小珺:有非常强的结合,所以相当于我们现在是,基本上是两手抓。
沈宇军:一手是想要去看,智能的上限在哪里,另一手就是抓落地,就是说这个东西,一定要把它放到,真实的场景应用里面去试,然后会发现,就是比如说哪里不行。反过来用这个步行的点,去重新反向去驱动,说我们下一步的模型迭代,应该往哪些方向走,因为模型还很早期,它可能有十个八个,这种需要迭代的方向,甚至可能更多。但是精力是有限的,你不可能说我全面开花。 [00:19:02]
张小珺:所以说有哪一个,或者说哪一个特点。
沈宇军:会先去开发这个事情,可能是反而是由行业,或者说由落地来决定的。
张小珺:你们从24年底成立。
沈宇军:然后每一年都分别做了那些事情,对这个就是说24年底成立的时候,其实那个时候第一步做的,就是先把我们到底要做什么,我们是谁,然后要做什么这个事情,先想清楚了,这是一个很关键的点。然后其实25年整个一年,我会觉得我们做了一个,比较大胆的一个决定,当时是从25年3月份的时候,就开始会意识到说,机器人可能不单纯是一个,就是怎么说,多么太理解的一个东西了。因为它毕竟要动,对吧,它跟环境有交互,那个时候其实就开始意识到,就是动态建模,或者说对,对这个时序上的这种建模,可能是对于机器人。往后发展,是一个至关重要的一个事情,对,那个时候其实还没有所谓的,叫WAM这个技术路线,就是这个世界动作模型,那个时候还没有这个概念出来,但那个时候我们就比较坚定的觉得说。机器人的往前走,一定要从视频里学习,而且从视频里学习,不是说把视频抽真,然后还是当成图像来看,就是真的要让他学会,失去的东西,那个时候是25年初就做了。这么一个比较大胆的决定,所以说经历了,基本上9个月的时间,然后在今年26年初的时候,其实我们,也是当时比较早的,应该是行业,可能是基本上。我感觉应该是最早,发布了,就是开完了一个,现在就大家叫世界动作模型,我们叫视觉动作模型,对就是VA,对当时是,我觉得这一波。应该是25年做的一个,比较大的一个决定,然后26年,今年又过了半年,然后今年我觉得,做的一个比较大的决定,就是在25年整个探索的过程中,我们发现了另外一个事情。就是很多时候我们,因为最开始机器人,我们也没有特别多的数据,然后所以很多的时候训练,是依赖着数字世界的模型去做的,然后就有点像把数字世界的模型。 [00:21:27]
张小珺:在物理世界加接成了一个agent,大概当时是这么做的,加了一个动作,对对对。
沈宇军:但是那个时候就意识到了,一个比较重要的问题,就是很多时候。
张小珺:数字世界的模型的开发的初衷,跟物理世界的需求,是不是很匹配的。
沈宇军:但你这个时候,你又没办法push他们去改,因为数字世界,有自己的一套逻辑,他们也有自己的应用场景,对比如说,可能从,就是视频生成。这个角度来说,就是他就会希望,这个生成的画质特别高,对吧,这是数字世界的需求,但是其实物理世界,你落实到机器人动作来看,其实这个东西。没有那么重要,对,但是你不能反向,去push他改模型,因为他们是有,自己的迭代节奏的,所以26年这一年,或者说这半年。我们做了一个,我觉得是一个比较大的决定,就是既然不能push他们去改,我们就全部基于物理世界的需求,重做一遍,重做一遍,对,就是从头来训。对从头来训,一点都没有用大语言模型,不语言模型是用的,我说跟视觉相关的所有的东西,我们就从头来了一遍,但是语言模型还要用是吧,对LLM是用的,对对对。因为那个的训练成本太高,而且那个我觉得,数字世界跟物理世界,好像也没有什么,就语言层面上,其实区别不大,只是说物理世界,可能更多的是靠语音交流。然后数字世界就打字,对,这个可能,我个人感觉,现在还没有到,就是我们还没在这个地方,看到明显的,直接应用大语言模型的一个短板。就是感觉用起来还比较OK,对,但是在视觉上,不管是理解还是生成,我们其实会感觉,数字世界的开发的,本来的就是motivation,和物理世界的需求。其实没有那么匹配的,对,这是可能26年,做的一个比较大的决定,25年可能还做了一件事情,我觉得也是一个,比较大的决定,可能就第一大决定。是我们就是觉得,要做视频上的建模,其实我觉得另一方面,还有一个比较大的决定,就是我们那个时候,是非常坚定的,要从传感器出发,就真实的传感器触发。去解决物理世界的问题的,因为这个事情是跟我,24年底刚来灵波的时候,我不是说那个时候,就太天真了,觉得这个事情,往机器人上迁移很简单,然后那个时候。其实我们尝试,最开始来的时候,就尝试着用很多,数字世界的算法,或者说之前开发过的,计算机视觉领域的一些模型,直接在机器人里用,然后用的时候才发现。落地跟之前的想象,完全不一样,因为在之前我做research,做的比较多,然后其实学术界,有一个不太好的一个,也不能叫不太好吧,或者说大家有一个。心照不宣的一个点,就是数据集都是比较干净的,就是相当于,你很少能从数据集里面。 [00:24:22]
张小珺:看到那种比较噪声,比较大的一个东西,但是在实际上应用,应用起来的时候,因为机器人,毕竟要在现实世界中跑,就会发现传感器的噪声。
沈宇军:其实是完全没有办法忽略的,对这个东西,跟你能拿到很干净的数据,是天然就是相悖的,所以说基于这个考虑,我们25年也是坚持要,就是说我们可能就要从,这个传感器的这个维度。开始做起,对传感器的维度就包括视觉,可能也包括触觉,对可能是这是整个,宁波现在整个,就是整个技术思路吧,两个比较大的技术主张,一个主张就是。我们可能要从。 [00:25:07]
张小珺:就是传感器开始做,然后我们会更多的,或者说大家现在更好理解,就叫所谓的空间智能,对,然后另一个比较大的主张就是。
沈宇军:可能我们要坚持从视频里学,而且要,可能就是为这个数字世界,就是为物理世界,原生的这个方式,重头学,对,可能是这两个是。我觉得比较大的主张。
张小珺:你们在25年9月,是不是外探大会,还有过一个炒菜的demo,这个demo跟你们当时的那条技术路线有关系吗。
沈宇军:那个其实炒菜是一个比较长程的任务了,对,然后当时是尝试着去做了一下,发现了很多软硬件上的问题,然后这也就促生了我们,更加坚定了说,我们一定要把大脑这个事情做实,因为如果没有一个比较好用的大脑的话。其实比如说,这上一次是炒菜嘛,对吧,然后如果我们想再拓展一个场景,复制成本实在是太高了,对,所以说可能有了那一次之后,我们更加坚定的说。我们要把大脑这个事情做好,我觉得有两类公司,有两类思路,一个是我就要软硬一体化,然后一起协同往前走,一个是我就彻底不做硬件了,我要把脑子做好。 [00:26:23]
张小珺:你们选的第二条路,为什么没有选第一条呢。
沈宇军:我们的初心就是做一个通用的脑子,所谓通用是因为我们有一个判断,是说这个行业需要的机器人,或者说他未来是可能进家庭,但中间可能还有一些,突避的这个阶段,我们是觉得,你很难说有一款机器人。真的适合所有的人物,或者说你哪怕到了进家庭,然后你可能每个家,对这个机器人,也有不同的需求,对吧,可能从任务角度出发,它就不是一个。可能一个通用的本体,就所有的事情,全都解决的一个场景,我觉得这个事情本身,可能短期内,是不太会实现的,对,所以说在这个方面。我们就还是说,既然我们的主业是做大脑,那我们就从大脑出发开始做。 [00:27:11]
张小珺:刚好我们其实也有一直,讲了一个技术主张,就是我们的大脑,从最开始定义,就是希望它跨本体,就是说希望它通用,这也是为什么,我们在训练过程中。可能就加入了,不同的本体的数据,我们希望我们的大脑,在预训练的过程中,就经历过这些本体,了解它们的特性,那么在后面。
沈宇军:可能说真的在某一个场景落地的时候,就可以快速的适应那个本体,对这也是我们,就是我们就是选择这条技术路线,也是跟当时,可能跟公司整体的一个最大的战略规划,就是说我们要做通用大脑,这个事情是符合的吧。通用就意味着是跨本体,通用除了跨本体之外,当然还可以,就是他还有跨任务跨场景,这些也是通用的一部分,对但是有些时候,我还是比较坚持说,可能本体跟场景是。没办法完全,完全解偶的,就是什么样的本体。 [00:28:06]
张小珺:适合什么样的场景。
沈宇军:可能从这个本体,从产品定义最开始,就已经决定了,有些事情适合他做,有些事情不适合他做,对,大家现在可能讲的通用,更多是会停留在。任务和场景这个方面,但我们就是把这个,硬件这个东西,也考虑进去,我们觉得通用,应该就是多一层,就是你本体上也要通用。
张小珺:你们26年,因为之前已经开源过四个模型,那是你们第一代大脑。
沈宇军:然后现在又要开源第二代的大脑,这次应该有六个模型,对这次是有六个模型,在这两代探索上。
张小珺:你们发生了什么样的变化。
沈宇军:第一代做了哪些事情,第二代做了哪些事情,其实从我刚刚说的,就是25年和26年,两个比较大的决定,其实是比较相关的,25年的时候,我们当时两个决定。一个是一定要从视频开始学,一个就是要做空间智能,就是说从传感器开始学。
张小珺:然后这也是为什么,就是从25年,我们那个25年做的。 [00:29:02]
沈宇军:或者说就是今年1月份,开源那四个模型,就是第一个就是深度,深度其实就是从传感器开始,就是希望这个机器人,对这个空间有更好的认知,就对距离有更好的认知,这是一个。从这个视频开始学,其实就催生了视频动作模型,还有一个这个世界模型,对就是说白了,就是一个能让它当这个防震器,然后另一个是能让它当执行器,你可以大概这么去理解,对。然后这是三个模型,然后再有一个就是VLA,VLA就是这个行业最主流的,然后能够真的说在场景里面,去把活干好的这么一个一条技术路线,对,所以说去年,今年年初开源的四个模型。就是这么个选择,这个模型训练多久,不同模型开发周期不一样,像我说的可能时间,就是开发的最长的,可能就是视频动作模型,那个基本上是经历了大半年的时间,才最终把所有的事情都摸清楚。像深度这个,因为我们之前做,就是在视觉上,其实本来就有一定的积累,所以说可能在那个方面,就是大概三个月,三四个月的样子,对就是每个模型。其实周期不太一样吧,这一代大脑能用到哪些场景本体,它能做什么呀,第一代大脑,当时我们应该是支持了九种构型,对然后那个时候,应该是做一些简单的,这个抓取任务吧。对,然后行业那个时候,做的比较多的,也都是这个方面的动作,对,然后一些抓取上,可能解决的比较好,我们在通过跟行业去交流。去接触落地的过程中,然后催生了这一代模型的,一个比较根本的一个变化。 [00:30:42]
张小珺:就是我们在真的想,把VLA落地的这个过程中。
沈宇军:我们会发现,有一个点,其实大家之前,都没有太关注过,就是之前,大家做的很多demo也好,还是基本上都是实验室环境,对吧。实验室环境也就是说,可能所有的操作,是在桌面上做的,但是我们这次试着想把它,在这个实际场景落地的时候,会发现机器人做很多动作,其实不是在固定高度做的,它可能需要。比如说你去架子上拿个东西,它需要抬手的,抬手的时候,这个时候就会,就是明显的突出一个。 [00:31:18]
张小珺:说实验室场景,跟真实落地场景的一个gap。
沈宇军:就是比如说头到底应不应该看,就是头到底要不要看,你手抬的那个地方,然后视角会不一样,而且甚至于有可能,头即使抬了也看不到,对吧,然后抬起手来。就是这里面就是说,那就是你的模型。
张小珺:到底能不能控制抬头,以及说在头部相机失效的时候,你能不能只用腕部相机。
沈宇军:或者说用其他的一些传感器,就把这个事情做了,这个事情在基模,就是说最开始的,第一版的模型预训练的时候,我们只支持了手臂的自由度,然后只支持了甲爪,然后就是没有头。没有其他的所有的东西,对,然后九种构型,就是做一些简单的,桌面上的一些操作任务。 [00:32:06]
张小珺:所以你要做抓取,你不能只考虑手,你还要考虑其他的部位,对,甚至于有些时候,假如说,因为你看最开始的,很多BLA的这个demo。是机器人是站在那不动的,甚至有一些。
沈宇军:大家做的展示出来的东西,可能都不一定是个人形,就是它可能只有两条手臂,就是实验室环境,基本上大家都是这么打的,就是把这个东西都可以setup好,但实际上落地的时候,就是我们不可能让机器人。就是那个点位点的那么准,就是你如果要,假如说你需要够的时候,手够不到。
张小珺:那你是不是要移动一下。
沈宇军:对,然后就是刚刚说。
张小珺:头是不是要抬一下。
沈宇军:然后有些时候,包括你视线到底在哪,对,然后你说抬,就是你抓东西,那够东西是要抬手嘛,对吧,那我如果想要从下面拿东西呢。你要弯腰,对,这些自由度,是我们之前第一版模型,完全没有考虑到,然后在这一版模型,就是说这次,就是相当于2.0的一个发布中。就会发现,我们在这个机器人,这个数据上,其实做了,就是比较大的一个升级,从九种构型,首先是升级到了20来的,20多。 [00:33:12]
张小珺:对,然后自由度是从原来的只有双臂,现在支持到带头,带腰。
沈宇军:带底盘,甚至带零销售,对,就是这个东西。
张小珺:怎么说呢。
沈宇军:这就是我觉得,我们刚才说抓两头嘛,一面是就是,就是上限的牵引,一面是抓落地,我觉得这个就是,落地的过程中,告诉我们。到底应该,就是模型迭代,有那么多方向,到底应该,什么是最重要的,对你迅模型来说,你最重要的,要做的事情。是要找到这样的数据,放到预训练里,对。
张小珺:你们这是一个。
沈宇军:多大的预训练规模呀,这个,我们这个应该是一个,3B基于,当时应该是基于,三点几B的一个模型去做的,对,然后数据量大概是。搞到了六万个小时,六万个小时,对第一代是两万个小时,然后这一代是升级到六万小时,但其实,这一代升级到六万小时,跟第一代的两万小时还不一样,因为我们整个数据管线。因为之前就是,最开始做的时候,感觉很多。 [00:34:11]
张小珺:什么样的数据是好的。
沈宇军:还没有完全的探索明白,然后经过了第一版模型的发布之后,把很多这方面的数据也重新清洗了一下,所以相当于第一次发布那个两万小时数据,落到这一次的可能就剩一万多了,对然后我们是在这样的一个更严格的管线上,把这个数据就是又做了一个量的一个累积。
张小珺:对然后差不多四倍应该是有的,对应该是上一版的四倍差不多吧,数据来源包括哪些,怎么收数据,收数据其实,你们是真机数据牌是吧。
沈宇军:对我们是以真机和,可能还有一些Ego的数据,Ego就是人戴着,头上戴个相机去做的那种。
张小珺:你们仿真数据要吗。
沈宇军:仿真我们可能会更多的,把它留在评测上,就是可能不太会用仿真的数据,去做模型的训练,仿真数据量是可以做的很大,但是数据除了说数量之外,其实数据有一个很关键的点,就是分布。分布就包括了说,比如说构型可能是一种分布,对吧,任务维度也是一个分布。 [00:35:17]
张小珺:我觉得仿真数据,他可能在他擅长的方面,他可以。
沈宇军:就是瞬间就可以生成,很大量的数据,这个事情是毋庸置疑的,但是从另一个角度说。
张小珺:怎么说呢。
沈宇军:他可能分布会相对,同质化会严重一点,就是他可能做的是,差不多类似的任务,就是他的那种,比如说,尤其是一些这种柔性的仿真,或者说。比如说你撕开一个塑料袋这种,其实对仿真来说,我感觉物理引擎还需要点时间,再去做一些迭代,迭代升级,可能那个时候仿真的数据用处会更大一点,但是对于仿真,现在比较好做的一些任务来说。比如说也是一些抓取,挪这种任务来说,其实从现在整个行业的发展来看,侦缉数据的成本也在逐步的下降。 [00:36:11]
张小珺:降了多少。
沈宇军:过去两年吧,我觉得至少得降了三倍不止,对我感觉是这样,因为从整个管理的,就是人员管理的这个逐渐成熟,然后机器也逐渐成熟,对吧,然后可能数据的需求也逐渐变多。就相当于数据也在量产,量产一定会降本的,对所以说从各个方面的一个成熟,我感觉是让真机数据的获取的渠道,以及这个渠道会变多,然后成本会变低,所以说可能这个,我觉得也代表了整个行业的一个。就是繁荣发展的一个趋势吧,对,有哪些类别的数据,准备数据上有什么knowhow吗,核心的是,就是你到底要下发什么样的任务,这是一个比较比较难的点,就是你怎么能让你的任务。尽可能的覆盖,我们刚刚说的所有的自由度,它有一定的通用性,对,就你不能说我这个数据里面,90%其实都没有用到头,只有10%用到了头,不是非常准确。我觉得可能举个更好的例子,就是说头部出现的,就是头部这个自由度出现的比例,跟可能腰部出现的比例,差距特别多,那可能会导致我们的模型,就更倾向于学头,然后不太会动腰。对大概是这么,就是直观上讲,可能是这么理解会好理解一点,对,然后另外一个knowhow,可能就是数据真的拿到之后。 [00:37:41]
张小珺:怎么样把它清洗好,这个链路是怎么样的,这个坑,其实我们也蹚了比较久,因为这里面有一个天然的困难点。
沈宇军:就是我们是做的是这种,跨本体的模型,每家本体的特性都是不一样的,所以很多数据处理的方式,可能是要跟本体,有比较强的关系的,就是不是说,真的说每家本体都可以用。一种数据链路就搬卷,处理掉,对你可以理解成,就是比如说,它的那个相机摆放的位置,可能就不一样,对吧,它的自由度的。这个关节的,比如说几个自由度的,连接方式也不一样,就是所谓的这种,configuration,就是这种机器配置的不同,其实对这个数据的处理上,带来了很大的难度。对,所以说可能我觉得,核心的knowhow,应该就是这两个吧。 [00:38:32]
张小珺:一个是怎么下发任务,以及数据真的拿到了之后,怎么把它处理得更干净,有观察到什么。
沈宇军:通用性好的任务吗,通用性好的,其实还是说,操作越简单的,它就通用性越好,就是因为这个事情,可能取决于操作员的能力了,因为你越复杂的任务。可能能够把这个任务完整,或者说丝滑做下来的,素材员就比较少,对因为如果他的动作,就是素材的过程中,这个动作假如说不丝滑,很有可能就导致,因为你是没办法。把它修丝滑的,就一条数据嘛,对因为那个成本就巨高了,对如果你不能把它修的丝滑的话,可能会导致你学出来的模型,就他就他以为这是一种正确的操作方式,对就可能最后模型在控机器人的时候,那个机器人也也也也非常卡。 [00:39:22]
张小珺:对就这个都是怎么说呢,就可能素材员这个行业也在。
沈宇军:也在进化,也在成长对。
张小珺:这是你们自己的素材员还是外包的公司。
沈宇军:都有对我们有,因为我们是,整个是一个比较,就是我们有那么多种构型,对,我们可能有一些合作伙伴,生态上的合作伙伴,尤其是数据测的。本体测的都有,然后我们可能会,拜托他们帮我们,就是一起去,把这个数据体系建立起来,然后同时有一些,比较难的任务,所以就是我们还保留了。一定的自己的,就是采集数据的这个能力,让,就至少我们先,把这个SOP先弄清楚,就是我们的人,先把这个东西做一遍,然后把它就是再去沟通给别人。 [00:40:09]
张小珺:然后说这个事情能不能帮我。
沈宇军:就是补一些什么样的数据,对,所以很多素材方面的坑,其实也是我们自己在,也是自己一点点的在烫,我听过一个说法,就是有一些错误数据,错误了再纠正的数据。也是好数据,对,那个可能跟真机强化,可能会有点关系吧,但是那种素材,其实也一样,就是你人要在旁边,就是相对看着他。然后你要知道他犯错了,然后你要在合适的时间,打断他,然后并给他一个正确的示范,这个是这样的,就是我们现在,因为为了落地,为了提高成功率。其实我们也,内部也,就是在这个,落地这个环节,其实也加入了,真机强化的这一部分,就是说怎么能够,让这个机器人从。可能本来模型,没有做的特别好,然后去纠正它,然后把这个模型变得更好,这个是有的,但是,但是这个东西可能就,更偏落地一点。可能我们没有在这个,开源的这个技术报告里面去体现。 [00:41:09]
张小珺:你们这次六个模型,它们之间的关系是什么样的。
沈宇军:这个其实是,我觉得这是一个,这一次我们做的一个,比较好的地方,我先大概讲一下关系吧,然后再说一下,为什么我觉得是,做的比较好的地方。首先第一天我们会搞了两个模型,一个是这个Vision,就是LimboVision,然后另外就是一个LinuxBotDepth的升级,对,这两个模型是因为我们上一版,就是在1.0那个版本的时候,做的Depth。其实是基于Deno去做的,对,当时我们是用的DenoV2,当我们的PretrainModel,然后DenoV2,其实也算是一种数字世界的模型吧,然后它可能更多的,它比较擅长的任务。就是那种语义的理解,对,但是其实我们发现,语义的理解的这种预训练课呢,因为在数字世界,就是你理解语义,其实就够了,很多时候。对吧,就是比如说知道这是一盆花,然后知道这是一只狗,这可能就够了,对,但是我们在发现,这个事情,就是这种语义级别的理解。跟真的说想要去理解空间,或者说理解距离,好像并不是天然那么吻合,所以说我们自己重新做了一遍,预训练,这次预训练就不再是,跟Deno不一样的是,我们是完全从几何的角度出发。去做的预训练建模,几何角度。 [00:42:31]
张小珺:怎么理解呢。
沈宇军:我觉得你可以,粗浅的列成点线面吧,就是说给你一张图,然后你先看有哪些,或者说就边缘,对就是我们是从边缘出发,去让这个模型,更好的去理解几何这个概念。然后因为几何,其实距离也是,就是它跟距离是比较相关的,对然后所以基于这样的一个,Viren,就是我们这次更新了底下的基模,然后会发现,就比之前用DenoV2去做的Depth要好。有一个比较大的提升,然后同时经过了半年的积累,其实我们的数据量又翻了几倍,所以说我们又把Depth基于我们自己的新的基模,以及更多的数据又迭代了一半,所以说有了一个更好的Depth,然后这次Depth,我觉得有几个比较有意思的例子。第一个是我当时看到的比较正经,就是一个厨房里那种,比较透明的那种水龙头,不是透明,就是反光的水龙头,然后把水打开了,然后可以看到,我们是可以清晰的看到水流的。就哪怕,清晰看到水流,对,就是因为这个事情,对于一个机器人,真的想执行一个任务来说,是很关键的,就是你必须要能看到水。假如说就是接水,你必须要先能看到水,你说的机器人看到水,对。 [00:43:56]
张小珺:就是你要看到水的位置,不是说看到水打没打,你要知道水流在哪里。 [00:44:02]
沈宇军:他之前看不到吗,之前应该是,之前他知道那个水流是开的,但是距离肯定是不准的,基于我们的Vision,训出来的这个depth,这是一个我觉得比较有意思的点,然后第二个点。我觉得更形象了,我其实比较喜欢拿这个例子,去做一个解释,我来可以解释一下。
张小珺:为什么语意理解。
沈宇军:数字世界的语意理解,跟物理世界的距离是不一样的,这是一个很有意思的例子,就是假如说阳台,然后有一个玻璃门,然后外面有一只猫,你会看到我们这次的Depth模型,是完全看不到那只猫的。因为它前面挡了一道玻璃,就相当于是,如果我们人在往前行走的时候,你就会先撞到玻璃,然后才有猫,所以说我们会试着,把那个玻璃门拉开,拉开的过程中。你就会看到那个Depth出来的,那个猫就逐渐地,从那个门后面出现了,因为玻璃被拉开了,然后就可以看到猫了,但是从语义的理解的角度,其实那个猫一直在。 [00:45:07]
张小珺:就数字世界,它只需要知道,那有个猫就好了,对,但是物理世界,你还需要知道,前面有一个门,对。它对位置的感知,在数字世界里是很弱的,对,因为它不至于说,我走一走会撞到,它没有这样的问题。
沈宇军:对,其实就是这,我觉得这是一个非常好的例子,就是你能看到,但你摸不到,能看到是语义理解,摸不到是空间感知,对。所以说这是我们第一天发布的,两个模型,就是Viren和Depth,对,然后他们两个关系,就是Viren是Depth的预训练,就是我们Depth之前用的预训练是Deno,现在我们没用Deno了。然后我们是自己搞了一套新的预训练,然后新的预训练,就是你可以理解成,它是对视觉本身的,一个很好的理解,这是预训练做的事情,然后Depth是它的下游,就是你从视觉感知。
张小珺:怎么变到空间感知。 [00:46:01]
沈宇军:对,就是相当于把从图像变成三维,大概是这么一个关系,那LLM跟他们有关系吗,没有,这个也不需要基于LLM对吧,对这个是完全,完全从视觉出发去做的训练。就是一直比较细确的讲,我们关注的这三个事,就是看得更清楚,想得更明白,干得更利索,就是机器人,我们是觉得就这么三个事,第一个是看得更清楚。对所以说,我们先解决的,看得更清楚的问题,然后看得更清楚,这个事情本身,是不需要语言的,就是纯视觉,视觉原生的。一个语训练,对,然后这是第一天要做的,然后第二天,我们其实发布了,这个VLA嘛,然后VLA做了个升级,然后我刚刚说。VLA这次的升级,可能主要是从,落地的角度,我们发现了一些问题。
张小珺:怎么把这个数据,变得质量更高,然后怎么让。
沈宇军:构型变得更多,然后支持的,支持的任务,可能变得更复杂,因为我们能支持,头腰这些东西之后,他可能能做的事情就变多了,对吧。对,然后,然后VLA这个事情,我觉得,可能对整个零波来说,它最大最大的价值,就是把数据要弄明白,而且把数据弄明白的是。从产业的视角,把产业需要的数据,或者说把落地需要的数据,弄明白,对,这是整个VLA这次的升级,然后刚才VLA讲的也比较多,所以像比如说。有一些模型公司,就是以research为主导的公司,它的数据可能会倾向于,真机和仿真数据混合来用,在你看来。 [00:47:34]
张小珺:是不是它离真摄场景是有距离的。
沈宇军:这个可能是不同公司选择的策略不一样,因为如果它做的,比如说它选择的场景,是仿真可以做的比较好的,那我觉得从仿真上拿数据,没有任何问题,对,然后但是我们。我们还是说,我们想要做通用的大脑,然后也是就跨本体跨任务,所以我们希望,它的能支持的任务,其实是越多越复杂越好,对所以说可能,现在对于这种通用任务来说。仿真可能的覆盖率,没有那么高,所以可能我们,没有选择仿真这条路,然后更多的可能,还是希望从真机出发去做,对,反正就是说。第一就是第一天的模型,我们解决了,看得更清楚的问题,然后第二天的模型,其实就是VLA,我们是解决了数据的问题,然后其实接下来的,刚才说了三个模型。还有三个模型,这三个模型,其实我更想放在一起说,就是一个是video,一个是word,然后还有一个就是,我们一直讲的va,或者说现在外面会讲wm。对就是我们,但我还是会以va来说。 [00:48:43]
张小珺:因为我们的命名是vm,对我们这三个东西,放在一起说。
沈宇军:然后这个地方,我记得callback一下,我们刚才说的一个点,就是我们在上一版1.0的时候发现,很多数字世界的模型的开发的动机,跟物理世界的需求是不匹配的,对,然后其实有几个明显能感受到不匹配的点。第一个,数字世界的,尤其是视频生成这一块,或者说大家现在比较喜欢讲这个世界模型,第一个点,数字世界在做这个视频生成之前,会做一个这个语义的压缩,会做一个视觉的压缩。因为它要求最后生成的,图像的质量要很高,对吧,然后它没办法做的话,它一定要先做一次压缩,但它这个压缩其实就是,或者说大家现在比较常用的,开源能拿到的压缩。它就是只做了一个单纯的压缩,这个压缩过程没有,就是这个压缩过程本身,对后面的学习,没有任何帮助,或者说没有任何联系,它就是单纯把一个,假如说就是把一个。假如说是100兆大小的东西,然后我先把它变成30兆,让它更好学,可以大概这么理解吧,然后我们这一次呢,是为了让机器人在后面的学习,就是理解,就是学习的过程中。能够更好的去理解语意和动作本身,所以说我们在训练这个压缩的,这个就是视觉压缩的这个模型的时候,我们就加入了语意和动作的对齐,就是说换句话说,这个压缩的,或者我们叫编码器也好,它在编码的过程中。就可以感知到一些语义信息,和动作信息,有了这样的一个编码器之后,它在后面基于这个编码器。 [00:50:33]
张小珺:编出来的那些个东西,再去学生成的时候,它就更好的能够把语义,跟动作这个东西,理解的更好,这是一个点。
沈宇军:然后第二个点,也是数字世界,跟物理世界不太一样的地方,其实数字世界不是很关心效率,因为举个例子,大家说现在比较常见的,就是文生视频,我给他一段话。然后他会给我一段视频,然后其实中间可能,比如说你生成一个30秒的视频,用户可以等30秒,或者说等10秒,等个20秒,那还是希望他能越来越快的,对你肯定是希望快。但是我的意思,他肯定是有可以等,然后等你整个视频一起生成完,但是机器人在执行的过程中,是没办法等的,它是及时的,对它一定要实时,一定是实时的。对然后所以说基于这个,它就会诞生两个点,第一个。 [00:51:28]
张小珺:你的模型效率是不是能做得更快。
沈宇军:这个其实从这个点上,对就是因为现在大家,可能用万象会用的比较多,然后万象其实是一个Dance的模型,就是它没有用,没有用MOE这种形式,就是比如说它是一个14B的模型,它在推理的时候激活就是14B。对,然后但是这个事情,我觉得对于后面的加速,你哪怕是后面的加速工作做得再好,你在模型本身激活上,其实没有一个,如果就是说从框架上不做加速的话,可能对后面的。就你能加速的比例其实是固定的,你没办法真的做到非常非常快,这是一个点,然后另外一个点是,就因为刚刚说的是实时的,所以它必须要,就是它必须要所谓的叫单向建模,你的历史是看不到未来的。未来可以看到历史,但是历史看不到未来,时间是单向流逝,对,但是因为数字世界,你说生成模型的时候,其实它可以是双向的,对吧。因为我,就是你是给他一段话,然后你等一会,你等的过程中,其实就相当于是,你那段话的开始跟结局,其实你都知道了,然后他给你一段完整的视频就好了。他不用说在这个过程中,只能往前走,这两个点,是物理世界对提出的一个,比较新的一个需求,但同时呢,也不是说提了新需求之后,它就这个东西会变得更难。但物理世界也有一些,可以被做一些取舍的东西,就是可以被舍弃一些东西,最核心的就是画质,因为数字世界,可能大家会要求高清嘛,然后要求对吧,帧率要高。然后这个东西看起来,欣赏起来才好,内容生成主要是这样。 [00:53:07]
张小珺:对其实不同生物之间的,那个视觉能看到多清晰。
沈宇军:是不一样的,但是它也可以在地球上生活,对所以嘛,就是物理世界,其实就是换句话说,你可以生成,有点马赛克,没有关系的。或者说就是画质不高,没关系的。
张小珺:然后因为什么。
沈宇军:因为我们还有摄像头,就是你生成的不高,但是你能看到,所以这个没关系的,对然后就是,就是基于刚才我说的,它有提出两个新的需求,但是又可以舍弃掉画质本身。所以说我们在这方面,又做了两个工作,一个就是我们说的video,我们也是把它开源出来,就是LimboVideo,本身就是一个,Moe架构,原生Moe架构的一个模型。它有一个,其实Moe这个事情,就是大家可能,听的会比较多,好像说,那就把一个dance的,变成一个不用每次都激活,我就是比如说。三个参数激活一个,就类似这种,不就好了吗,但其实真的想把Moe训明白,还是有难度的,因为在训练过程中,你要控制每一次的生成激活的比例,是它要均衡。就比如说你一共有,一共有30个参数,然后你每次都激活那10个,就有20个参数,就基本上不被激活到,这个事情是不可以接受的,因为如果是这样的话,其实跟10B的。或者说10个参数的,弹死模型就没有区别了,我们既然是想让它,就是想让它就是稀疏化,那你要让它稀疏的均匀。 [00:54:37]
张小珺:如何能让一个模型。
沈宇军:就是Moe的训练,就是均匀的把每个参数都,就是怎么说呢,以同样的概率被激活,然后把它训好,这个东西是,其实是一个技术问题,对它不是一个一元度问题。不是说我想让它少激活点,就激活点少激活点,对所以说我们在video上,就是因为我们自己从头去,把这个Moe这个东西,我觉得应该算是,先是堂通了吧,这个中间失败过没有。失败了很多次,应该是把,就是整个训,因为我们也想说,训一个,能有训练基模的能力,然后其实把整个基模训起来,整个info打起来。数据弄起来,其实这些都是一些,基本上可以理解成,是确定性球技,就是都知道,可能是没那么多经验,但你反正就是,就是做就好了。其中花的最大的一个部分,就是MOE,MOE应该至少光训MOE想训明白,可能就花了两个月的时间,两个月,对,然后就是不然的话,就你一直发现。他想就是他虽然叫MOE,但跟你最后期待的MOE是不一样的MOE,对,所以我说就是把MOE训好是一个能力问题,它不是一个态度问题,对,所以说,后来提升了哪些能力。其实失败了几次,中间失败,因为两个月我估计失败个几十次应该是有的,但失败它不是说你训到后面才失败,你训一训就会发现跟你想要的不一样,就是有些参数激活的不均匀不平衡,然后MOE这个事情,我觉得其实最后最最大的核心。就是怎么能够让你的这些个所谓的专家,被等概率的激活,然后这个里面可能就涉及到,从你这个训练的时候,这个lossfunction的一些选择,然后从你这个sampling的一些策略,或者说给他加一些政责之类的,就是加了各种各样的东西。然后现在是我们可以保证,MOE这个东西,基本上这个技术本身,可以稳定的训练,就哪怕说换一个框架,这个技术,因为MOE本身是个技术,西数化。这个应该是在这方面,应该是算是有了一个,比较大的一个提升,对,然后这是说一个技术点,然后另外一个技术点,就是说时间不能倒流这个事情,时间不能倒流。 [00:57:06]
张小珺:就是我们要求这个整个的attention,其实都是单向的,因为attention就是或者说数字世界,大家常用的模型基本上都是双向的,因为它要求画质,你双向肯定是,你中间的连接越多,其实你的计算就越大。
沈宇军:计算越大肯定效果就越好,这是一定的,但是我们想把它变成单向的,在这个地方应该是从1.0的时候,就希望想把它变成单向的,然后又花了可能在这个事情上,应该也是花了三四个月的时间,能够做到从头开始就单向训练。就是它还有另一种选择,其实可以说我先有一个双向的,然后把这个双向的变成单向的,这个过程中我们会发现,会有一个很大的问题,就是很多模型,预训练模型里面学到的一些知识,比如说就是对文字的一些理解。它其实是隐含在它的双向的,这个attention里面的,就是一些knowledge,是隐含在这里面的,对,然后你强行把它,变成单向的时候,单向这个事情是跑通了。但是那些knowledge,有些就遗忘了,就相当于预训练作废了,它作废的一个直观表现,就是你之前可以跟他说,100句话,每一句话他都给你,转移成一个比较好的视频。但是现在你可能。 [00:58:22]
张小珺:再跟他说100句话,可能只有20%30%的,能转移成好的视频,剩下的70句话,他已经不理解说的是什么。
沈宇军:因为那个知识被破坏了,对,所以说在把双向变单向这个事情上,我们也算是做了一个比较大的决定,果断的舍弃了双向变单向这个路线。
张小珺:从最开始设计的时候就是单向的,video这个工作解决了moe的问题,就是从头训练moe,然后我们就是我们具备了这种训练moe的能力。
沈宇军:然后word的那个工作其实证明了,我们也可以把单向的attention,这个训练这个事情也搞定了,然后把这些技术,最终我们全部应用到了,具身模型上,也就是诞生了我们最后,最后一天发布的那个模型。就是VA2.0,这个模型是最关键的对吧,对它是整个所有的技术拼到一起的,一个模型,一个集合它是,对它就是因为,就相当于那个video,是我们证明了MOE这个事情。就是我们先把这个路堂通了,然后word是把causalpretrain,这个事情堂通了,然后我们把这两个技术,融合在一起,再加上我刚才说,我们压缩的过程中,也做了一些改进。把这三个技术点放到一起,有了一个面向机器人,纯面向机器人控制的,一个原生的基模,这个基模从每一个参数,都是完全随机化开始训的,然后再包括这个,机器人本身采的一些数据。我刚才说VLA,不是我们搞了很多,真机的数据,我们把这些数据,都放到了这里面,然后去从头训练了一个,为了具身设计的一个机模,这个是我觉得可能是。这次发布里面,我们一直讲具身原声,具身原声一个概念,可能这就是,我觉得这个东西,就是我们想说的具身原声本身。 [01:00:18]
张小珺:我不知道在这六个模型里面,哪一部分会用到LLM。
沈宇军:有一种说法是说,就是LLM如果是大脑的话,其实机器人好多都在训练小脑。
张小珺:那你觉得你们这个具身原生的模型。
沈宇军:它到底是大脑还是小脑的部分,外面每个人对这个大小脑的定义是不一样的,在一些简单指令的执行上,灵波解决的更多是这个层面,比如说就你给他说一句话,然后他帮你把这个事做了,这种这个层面应该是灵波在做的,但是还有其实在这个之上。还有一个更加智能的一个部分,那一部分现在灵波还没有解,那一部分就是真的把,跟人的交互放在里面了,就是那个东西是需要很多思考,比如说,假如说就是,机器人今天就是一起床。然后机器人帮你拉开窗帘,他就知道帮你拉开窗帘,然后看到外面下雨了,他就要知道给你拿把伞,让你出门,对,这个层面的东西,我觉得应该在。更高的智能阶段,是需要做的,而那个阶段可能是。 [01:01:23]
张小珺:跟语言模型跟动态模型要解决的,其实我觉得跟数字世界。
沈宇军:可能就更相关了,对,但是如果单纯的,你跟他说,帮我拿一把伞,这种动作,我觉得林波现在解决的是,这一层面的问题。就是他不解决意图的来源问题,他只是解决意图的实现,他做一个动作,对。
张小珺:但是他的动作是简单的,他可以是一段连续的动作,但是,但是他为什么要做这个动作。
沈宇军:他不知道,对,就是他只管意图的实现,就是你有个想法,他帮你做了,但是他不会有,它不会产生自己的想法,它不会主动帮你去想。你要做什么,那一层面的交互,我觉得可能是更高阶的智能,灵波现在还没有做,这一层面的事情,因为你刚刚说第一代能抓取,第二代能做哪些动作,它有方化性吗。对第二代其实就是因为,我们有了这个刚刚说的,我觉得为了,就是相当于我们没有再,重新用数字世界的模型,基于数字的模型迭代,然后我们可能是为了具身,单纯设计了这么一个模型。就是因为有了这个,我觉得有几个比较大的,我觉得挺有意思的提升,第一个是,现在它能处理随机性,处理随机问题的能力要强很多。 [01:02:35]
张小珺:这个大概怎么理解呢。
沈宇军:比如说我们其实有一个demo,是跟人去打那种撞球。
张小珺:就是在那个例子里面,你会发现,它这个demo跟一般的。
沈宇军:就是大家做的demo就不太一样,然后因为它里面会有很强的随机性,你永远也不知道对面人打过来那个东西会在哪,对他就相当于不是说我把位置都定好,对我不是说把位置都打好,就是摆好就可以了,对他一定要是看到你打过来了,我们才能打。然后而且有一个很关键的点是,我们在整个过程中其实是只依赖了机器人自己的相机,就是没有在场地周围再放一圈相机,然后让相机去追踪那个东西的位置,不是靠这种方式实现的,完全是就是跟人一样,就是我就一双眼睛,然后我就看到那个东西。然后去做,对这个东西是处理随机性,然后另外一个是,那个回合非常快,就是因为人打嘛,就是他对实质性的要求就很高,他不是一个说,你如果机器人动得很慢。或者说你动一下卡一下,动一下卡一下,其实你是打不回去的,这是挺好玩的一个场景,对,所以我觉得这是一个点,然后另外一个再举一个例子,比如说。比如说就是,我们还是说整理桌面这个东西,就是大家看到的假如说就是一般都会说。 [01:03:53]
张小珺:假如说收纳玩具或者什么,基本上都是摆好了嘛,对吧。
沈宇军:然后我们现在是可以支持,假如说你就是说把这个桌面上的东西都拿掉,都收拾起来,然后我们现在是可以支持,你先拿一个狂随便撒上去,撒上去以后,然后不就那个,其实就就这本身就已经带了随机性。对不对,你中间还可以把一些东西再拿出来,他不是说就把现在有的这些弄好,就是收拾完就好了,你会发现你可以把它,捡进去那个东西再拿出来,随便摆一个地方,它还是会把它收进去。甚至于你可以跟它一起收拾,就是有一些东西可能,它还没收到,然后你先帮它收了,那对它来说它就不收了,其实我觉得这一点,也是一个比较大的一个进步,对这个东西就是。我们现在能够处理的随机性,应该比1.0版本那个模型,要在这方面要强很多,对,这是因为加了更多的数据,不是,这个东西就是因为,整个的模型的预训链不一样。你看到了模型,具有泛化性的这种迹象了吗,对,就是我觉得在这个,刚刚说的这种例子里面,就是任务的泛化,这不是说任务吧,就是位置上的泛化。这一点。 [01:05:07]
张小珺:我觉得现在应该是,有比较大的突破,它能够接受这种随机性,对,这意味着它不是只是通过一个RL,来做的反馈,对。
沈宇军:它不是一个固定的任务了,它是一个中间可能会有很多突发情况的一个人物,对这是一个,我觉得这是一个在这个方面,就是随机性,就是泛化性分很多很多维度,对我觉得在位置泛化上,应该现在可以说是解的会好一些了。然后但是我觉得现在我们这一版模型,可能对于这种任务上的泛化。
张小珺:任务上泛化怎么说呢。
沈宇军:我觉得就是就你能不能够直接,就是什么也不做,就直接给你一个新的任务,从来没见过,你就能做了,我觉得这个是一个,比较难的一个事情,然后我觉得这个维度。可能现在还没太做好,因为它,我觉得一个比较大的原因是,因为机器人的数据,还是不够多,就你见过的任务,还是不够多,你没办法通过。你见过的任务,排列组合,变成一个你没见过的任务,对,我觉得这个可能还是一个,即将要,就接下来可能要去,重点突破的一个点。那你需要他建这个任务,看几次他能学会呢,就是他的学习成本有降低吗,这一版应该是比上一版有,也就是我们的2.0会比1.0有,我觉得是在这方面也是有提升的,然后体现在两个方面,第一个方面是。我们1.0的时候,当时其实是做了这种评测嘛。 [01:06:36]
张小珺:当时的评测是每一个任务,要单独训一个模型,就相当于假设有100个任务,你就要训100个模型出来,就每个任务都要单独训一个后训练,然后再去测。
沈宇军:但这一把我们是可以把,假如说10个任务,我把这10个任务迅到一起测,相当于这10个任务,只用一个模型解决,这是一个方面的提升,然后另一个是,其实从这个数据量上来讲。后续链需要的数据量变少了,我们上一版应该基本上都在100条左右,然后现在应该是20条左右就可以了,对,然后当然你还是没办法做到说,一条甚至更少,对,我觉得那个可能要随着你。积膜的能力再进一步提升,可能我们再试图,把这个事情再做下去,对,但整体来说,这一点上应该是比1.0,也是有一个比较大的提升,对。 [01:07:30]
机器人大脑与本体的关系
张小珺:具身智能今天到什么阶段了。
沈宇军:你之前说还没有到GPT-1的时刻,今天呢,对。
张小珺:今天我还是觉得,也没有到这个阶段,就是具身智能本身,对,因为,为什么这么说,因为现在还没有看到一个。
沈宇军:比较好的能够做数据,skillup的方式,就哪怕是我们这次说的,比如说我们用了6万小时,对吧,现在有6万小时数据,但其实坦白讲,跟上一次比。还没有数量级的提升,而且这些数据,应该是远远不够的,我相信随着,现在这个行业素材的方式的,这种就是大家在做。 [01:08:12]
张小珺:各种ego相关的数据,我觉得应该是等,实现方式真的确定下来。
沈宇军:然后可以大规模铺开的时候,可能那个时候会看到GPT-1的时刻,所以瓶颈还在数据,对我觉得现在,就是因为跟GPT相比的话。
张小珺:我觉得应该还是在数据的,我们这次虽然也在讲,我们是模型的设计上,是具身原生,我们的模型设计都是特性,是为了具身设计的没错。
沈宇军:但是为了做预训练,就是具身原生的预训练,其实我们还是用了大量的,互联网数据在做的,然后互联网数据的量级,应该跟就是机器人的比,就是远大于。
张小珺:大于多少。
沈宇军:几倍于机器人,真机采集数据,应该差两个数量级吧,OK,大元模型能够skillup,是因为互联网数据已经ready了,对,所以说在这里面。虽然说我们架构上,已经做到具身原生了,但我觉得数据上还没有,所以可能当具身的数据本身,可以做SkillUp的时候,或者说能至少跟互联网,达到相同量级的时候,可能是我心目中的GPT-1的时刻。你估计还有多久,具体的时间可能就不好预估了。 [01:09:23]
张小珺:但是现在比之前的好处是,因为基建上来了。
沈宇军:模型的开发周期,跟GPT之前的那个时候不一样了,那个时候大家能有个万卡集群,就觉得很了不起了,就是至少从语言模型那一块,但现在美国的很多公司,在做语言模型的时候,基本上都是十万卡。甚至可能到更多,所以我说我觉得整个的,基建上来了之后,模型的开发效率也会比之前要快,所以说可能不一定说,原来的GBT-1到GBT-3.5,或者说叫ChatGBT,可能用了一段时间。然后可能现在从机器人的GBT-1出来,到机器人的ChatGBT出来,可能又不一定需要那么长时间了,因为配套的工具在成熟。 [01:10:07]
张小珺:你们的infra水平也跟着提升了是吗。
沈宇军:对因为我们开始要做预训练了,就是既然我们想去动到,原生基模这个东西,它需要的资源肯定比之前说,我只把它当做数字世界的一个下游去做,需要的资源要多得多。
张小珺:你们要做原生巨生的模型,这个BAT是什么时候下的。
沈宇军:当时纠结吗,其实不纠结,因为在发满1.0的时候,我们当时就意识到这个问题了,就是很多特性,我们当时是强行,在数字的模型上,魔改。强行魔改,然后发现很多东西,就是不work,就是你改的再fancy,它有一些缺点,还是会暴露出来,所以在1.0发布完之后,我们当时就做了决定。就是我们必须要具备,做底层,更底层模型训练的能力,算不算是一次bad,肯定算是一次bad,因为我们也不确定。 [01:11:09]
张小珺:这个东西是不是能成功,是不是能迅出来。
沈宇军:因为之前也没有人,有过这样的经历,但我觉得值得一读,因为在我们看来,如果数字世界的那条路,就是走不了特别长远的话,那这是一条必经的路,如果走不通。或者说如果不是我们走通,也会有人走通的。
张小珺:因为我觉得这可能是正确的路,有什么之前,怎么做都做不成的任务,到这次让你觉得,有一点惊讶的吗,你有什么Ahamoments吗。
沈宇军:其实我对于,刚刚说的那种,跟人一起打球这个事情,就比较惊讶,因为它真的是综合,体现了好多能力,就是你的执行也要快,然后你的这个随机性。或者说你的预判要好,对然后再加上,其实那个东西。 [01:12:02]
张小珺:我们可能一共也就采了,20条数据,我就说为了执行这个任务,在预训练之后,为了做这个任务,可能就采了20条数据,这个比较出乎你的意料,以前需要采多少数据。以前可能采多少数据,都不一定能做成,对因为就是,真的是不是能够让模型,把这个随机性,就是cover的比较好,我感觉之前我是没看到过。
沈宇军:有类似的东西出来,在做原生机器人脑子,这件事情上,有什么其他人的工作,可以借鉴吗,比如说硅谷一些frontierlab,他的工作有可借鉴性吗,我记得应该是generous的。他们就是说,因为他们的数据量,比我们要大得多,他们官方,或者说能查到的消息,公开消息,然后可能应该就是几十万小时,而现在可能都不知道。是不是可能有百万了,我不清楚,然后他们的数据管线什么的,这方面应该还是比我们要成熟的,他们更早的去动到了,pre-train这个方面,但是跟他们不一样的,或者说可能只是出发。说要用具身数据,做pre-train这个事情,是一样的,但是你要说,技术本身的借鉴,其实并没有,因为我们相信,一定要从视频生成。这个路线里面,去学到一些知识,所以说能够把视频生成,做到原生的,目前还没有看到。 [01:13:26]
张小珺:你怎么看generalist。
沈宇军:和physicalintelligence,他们的路线的区别,我觉得他们两个,更多的是,可能有一些最后的理念的一些不一样,因为Generals的更多,他是能接受有后训练的,他强调的是高效后训练。然后但是Pi好像更多强调的是ZeroShot,他更希望不要后训练,就是我什么都会,对所以从这个角度来讲,我觉得可能天然选择的路。
张小珺:可能就不一样,听起来Generals更实用一些,从我的感觉上可能是可以,但是但其实殊途同归,因为我觉得是这样。 [01:14:07]
沈宇军:这两个能力都必须具备,就是如果我们设想,未来有一天机器人,真能够进家庭,你可能希望他有两个点,第一个点是,他进到一个家庭之后,百分之八九十的活。他自己就能干了,百分之十到百分之二十,他干不了的,可能是你教他一下,他就会了,这两个我觉得都,都是需要的能力,对其实就是。incontextlearning,对然后,感觉这两个,其实不那么冲突,对但是,这是一个点,然后另外一个可能,他们两个技术理念。我个人会感觉有点不一样的是,Generalist可能还是在,他对Yumi,那个数据可能会比较,他理解的比较深入,玩的也比较好,然后那个PhysicalIntelligence,可能还是在。整机摇操上,他们应该是在这方面,做的比较扎实,对,从这个再往后看啊,就是因为现在,大家开始去讲,那个EgoCentric了嘛。就是而且再往后可能说,我觉得灵巧手这个东西,可能也会逐步的被提上日程,就是大家可能会越来越关注,说需要的更复杂的一些操作任务,那个时候可能假爪,就不能满足需求,可能一定要用灵巧手了。对可能在Ego的兴起,再加上灵巧手的不断的发展,很有可能,真机摇操和5米,两条数据的路线,可能都会发生一些变化,对就是可能,他们也要去迭代升级。但有可能最后,再往后发展发展,可能就合久必分,分久必合,可能他们也会慢慢,走向同一条路,这个谁知道呢,所以现在不同的路线的核心。 [01:15:48]
张小珺:是我怎么使用数据,或者我怎么获取数据。
沈宇军:这是一个很关键的点,对这肯定是一个很关键的点,对我现在是比较坚信的一点,尤其是我们这次,我觉得算是做了一个,比较好的一个开始,我还是很坚信,具身一定会有自己的模型。就是他为具身设计的模型,但是就是在这个观点,如果不变的情况下,那他的数据必须要支撑,他可以做自己的模型,所以数据是。 [01:16:15]
张小珺:如何把数据很好的scaleup。
沈宇军:是一个至关重要的点,对,我去年去上海外谈大会,他们为一个事情,真的不可开交,就是说到底,具身智能是一个独立于语言模型之外的,一个独立的学科呢。一个独立的发展方向呢,还是它是基于代语言模型的一个方向,有两派观点,一派认为我们是基于LM训练的,所以我们是成长在LM这个上面的一个支线,然后另一派就觉得我们一定是独立的。
张小珺:你是哪一派,我不能完全说是哪一派。
沈宇军:如果硬要选一个,我可能会选择后者,具身智能要解决的问题,跟语言模型,它其实是不冲突的,就是语言模型,更多的是让人听懂。
张小珺:这个指令到底是什么,让机身听懂指令是什么,但我觉得具身智能,更多需要解决的是,怎么把这个一件事情做好。 [01:17:06]
沈宇军:做好本身,是不需要再理解语言的,但是它的前一步,就是怎么把语言转译成,就是它的后面的一系列动作,就是第一步,可能是需要依赖语言模型,我会认为。具身会继续拿大语言模型,当一个比较好的入口,然后它会成长出自己的模型,它们两个中间可能只是一个,就是交互的层面,更好的当然是说,我们把语言系统,也内嵌到这个具身里面。但我感觉,短期内具身,要聚焦解决的问题不是那个,他还是要先解决。
张小珺:怎么把一个事情干明白这个点。
沈宇军:但干明白这个事情,我个人会觉得,对语言的依赖没有那么高,语言是第一个,招呼工具,换句话说如果不是语言,假如说一共就,一万个任务。然后你把这一万个任务,就编成固定的编码给他,可能也行,只是他没有办法在任务维度再泛化了,但语言模型本身可以在那个维度再泛化。 [01:18:17]
张小珺:它解决的是需求泛化的问题,我感觉,对,但是这个明显不是现在,现在这个阶段,具身智能的核心焦点,你觉得从24年底,就是你们开始做支家公司。然后到现在为止。
沈宇军:整个行业的突破,是在哪些方面,它的进步快吗,其实我觉得进步是,比我想象的要快得多,因为首先从硬件上,然后现在至少像语述啊,志愿啊。就是已经把这个量产啊,已经跑通了,应该是已经可以进入到量产阶段了,然后就相当于供应链,也随着这个行业发展也在成熟,这是一个点,然后从去年开始,大家是假抓。到今年开始,零销售公司已经层出不穷,然后已经有非常多的零销售公司出来,然后零销售的发展也是,就是我觉得可能也用不了太久,可能会变成,渐渐变成标配,渐渐。只能说,可能再给它一段时间,因为硬件毕竟有自己的发展周期,只是说大家已经不满于,不满足于甲转了,然后再加上就是传感器层面,现在有越来越多的,触觉相关的传感器。然后这些其实都是为了,就是零小手触觉,其实就是为了让机器人,做更复杂更精细的任务,对吧,这是从就本身硬件,或者说,对这个行业里面。硬件的发展来讲,我觉得是一个,比较让我惊叹的一个速度。 [01:19:48]
张小珺:他们是不是也都是一种。
沈宇军:数据获取方式,对,他们一定会考虑说,跟数据的关系,他更多的还是为了,模型的升级,我觉得还是,或者说你能够提供更多的。执行更多的任务,其实也是为了让模型,能学到更多的知识,对,然后这是硬件,硬件这个层面,然后另外还有一个层面,就是。从这个,落地的这个层面,因为现在已经可以看到,很多家都在去展示说,模型可以,比如说可以进工厂干活,像Figure还去展示了,这个物流分解。对吧,然后已经有越来越多的,开始去提机器人的落地,而且现在的落地,已经不再是通过,比如说一些传统的,控制方式落地,大家都在尝试。用模型去落地,我觉得这个也是一个,比我想象的要更快的,一个节奏,因为去年的时候,去年WIC的时候,7月份的时候,我感觉更多的还是在。showdemo,那个时候我记得,我记得之前有个说法,说什么,24年在倒咖啡,25年在叠衣服,反正一年有一个新的动作,然后大家在展示。但我感觉今年反而是,大家demo提的少了,都在提进场景了,对我觉得就是短短一年的时间,然后模型的,就是说软件侧的发展,也是突飞猛进,所以从这两个角度来讲。我是觉得这个行业。 [01:21:17]
张小珺:确实是在加速的,不急于期的有吗。
沈宇军:不急于期数据,我会这么理解,在大家尝试着,真的开始步入具身原生之前,对数据的,虽然大家都在喊,学数据,需要数据。但是数据,真实的情况是,如果你真的不需要,做一个基础模型,可能不需要那么多数据量,你到底需要多大的数据量,我觉得,我觉得应该是百万小时起步吧。就是能开始说,我这个整个模型里面,聚身的数据跟互联网数据,可能说大家相对平衡一点,然后我让他既能学到一些,通用的知识,又能学到一些操作相关的知识,对这是我觉得一个比较理想的状态。应该是在百万小时,起步,对,但是,在百万小时之前,我觉得应该会先有一个,十万小时的规模,而这十万个小时。是可以,就是就怎么说,它是完全拿来做,预训练的,预训练,不是说基于数字模型的训练,是具身原生的预训练,对。所以我觉得,不及预期的就是,在没有,可能就是过去一年,没有看到,具身原生的东西,真的出来,然后就是因为。没有这个东西出来,所以大家对数据量需求,其实没有想象中那么迫切,就是大家会讲说,我们都,大家都知道行业的公认,就是说可能数据,是一个很关键的东西。而且需要很大量,但是没有一个具体的。 [01:22:56]
张小珺:比如说你不迅疾模式,没有一个推动力,说让你马上一定要拿到,这么些数据的,所以我感觉数据的发展,其实还有一点。 [01:23:07]
沈宇军:我觉得不及预期,对这是我自己的看法,今年好像有一个现象。
创业、产业格局与汤晓鸥
张小珺:去年之前的这一波机器人公司,很多都是本体和模型一起做的,但是今年大家明显更看重大脑了,而且很多公司开始只做大脑,不做本体,你就为什么会发生这样的一个变化,感觉是两代机器人公司这种感觉,其实我感觉。
沈宇军:我感觉一个比较关键的点,就是一个本体很难,目前来讲一个本体很难通用,然后,但如果你不通用的话,你要一定要选准场景,这样做本体才有意义,就是你这个本体。相当于是为了场景专门设计的,因为专门设计,它可以有一些东西做强化,有一些东西做减配,因为最后落地的话,要讲的是成本,我们不可能拿一个,各方面的六边形战士。然后去做某一个具体的任务,这样的话它可能很多东西是超配的,成本一定是上升的。 [01:24:11]
张小珺:所以我觉得可能大家不讲本体的一个原因是,第一本体其实也有自己的门槛,你到底能不能有量产的能力。
沈宇军:这肯定是一个点,第二个就是本体的,你如果场景选不准,本体设计的一定是有问题的,但是场景现在我看来比较难,大家也不太敢说哪个场景,一定会跑得非常好,大家都在做尝试。但是可能确实比较难决定,说哪个场景最后就是先跑,最好的,所以我感觉可能有这方面的一个原因,然后再加上另一个点是,这是刚才我觉得对,从硬件的需求的角度出发,但另外一个点是。我觉得从现在行业来看,大脑可能是目前是落后于本体的,大脑的开发是落后于本体的,很多时候换句话说,现在就是今年的主要矛盾。 [01:25:14]
张小珺:应该是怎么让他先变得能把活干好。
沈宇军:然后,去年王兴建还说干活是一片荒漠,对,所以我觉得应该是还不能把活干好,所以说会有更多的人想要去试图解决这个问题,然后但我觉得,这个行业在,就尤其大脑跟。虽然说大脑跟本体,现在还是不能完全结合,但是我觉得就从这个发展来看,他们两个一定是交替上升的,就可能现在大脑是落后于本体的,但是因为随着,进来做大脑的人越来越多,可能这条路。就是或者说智能层,他会跑得会更快一点,然后可能某一天,他就超过了本体,那那个时候可能会,对本体提出新的需求,本体就会再去,可能在那个时候会有一批新的。由智能重新定义的本体公司,就是可能再往那个方向去发展,就是它可能不再从我们大家,之前理解的一些参数,再去看这个本体了,可能很多东西就是为了,就是更好了方便模型控制,去设计的。对我觉得可能那个时候,本体又会再发展一段时间,然后可能那个时候,本体又更强之后,又会催生说智能又不足了,我觉得一定是这么一个过程,所以上一代硬件,不一定能够迭代。适应下一代的模型,我觉得是至少我的判断,应该是这样的,然后硬件本身可能还好,但我觉得传感器应该是,现在的传感器应该是,还要再做进一步的升级,尤其是触觉相关的。其实我举个例子,比如说触觉,或者说之前大家对传感器,是有指标的,我必须要做。 [01:27:04]
张小珺:比如说我的精度达到多少,然后我的频率达到多少。
沈宇军:它有很多指标,但是会发现,很多时候做传感器,如果只做传感器本身,它可能会希望这些指标都好,但是有些时候又不能决定,可能又,你没办法真的满足。说所有的东西都很好,它一定要有取舍,那取什么舍什么,其实师们,我觉得这也是个问题,但是之前的取舍,可能大家会凭着,使用的这个过程中。比如说利益必须要准,那既然是你是触角传感器,你利益就要准,可能会先取这个,对吧,就是这可能是大家的一个,或者说不能叫共识吧,但反正就下意识都会这么想。但是有可能,这个东西在AI这个时代,模型可能最需要的,不一定是你利益要准。
张小珺:有可能是需要你反应够快,就是我可能对实质性要求,可能比那个更高。
沈宇军:这都是有可能的,所以说可能,如果说这个传感器再迭代升级,可能要从模型的需求出发,看我们要强化哪些指标,弱化哪些指标,就是还没有到说,模型可以定义它的时候。他们肯定会按照,传感器的发展,肯定会按照就是传统的理解,说我们去怎么去尽可能的优化,对我觉得这可能是一个,未来的趋势,有的是从硬件出发,有的是从软件出发。但是大家都想进入家庭,这个最好的场景里,可能现在其他的一些场景,还不够那么性感,对,是这样,就是可能还是2C,2C更性感一点。所以他现在需要做一个选择,我是从软件出发,还是从硬件出发。 [01:28:42]
张小珺:对,有的人从硬件出发,你们是从软件出发,对我们是从软件出发,沿着脑子往后坐,你觉得接下来几代会怎么迭代。
沈宇军:我觉得是这样,就是刚才我说的,我们这一把是做了。
张小珺:怎么说呢。
沈宇军:从物理特性上做了一些原生的设计,然后接下来,我觉得最大的就是。 [01:29:04]
张小珺:怎么能够从架构原生。
沈宇军:再往前再走一步,做到数据原生,数据原生解决了,刚刚我们说的泛化性有很多种,比如说本体构型的泛化性,然后我们现在能够做到位置的泛化性,但是接下来我们还要做任务的泛化性,任务的发现就严重的吃数据了。对,然后那一个更优雅的实现方式,能拿到更多的好的数据,然后以及把这个数据,真的比较好的送给模型,我觉得可能是下一版本,我们最重要的一个核心。
张小珺:意味着你要自己去做数据,才数据,可能会投入更多的资源,来做这个事情。
沈宇军:对或者说把数据的,素材的这个整个的标准,需要再做得更扎实一点,就是到底怎么样。
张小珺:采什么样的数据,怎么采,然后这个东西,到底是不是可以规模化复制。
沈宇军:可能这个是我们接下来,要关注的一个比较大的,现在有什么可能性,规模化复制吗,其实就是,大家现在讲的比较多,就是Ego,然后其实Ego的数据。我个人的看法是。 [01:30:12]
张小珺:它提出了一个,比较好SigWarp的一个方式,这一点是毋庸置疑的。
沈宇军:但是现在的问题是,只从Ego,假如说就只有头部的相机。
张小珺:拍下来的这个数据,到底能不能用,它对于之后。
沈宇军:假如说零销售真的发展起来,然后我们想要做,手部的一些精心化动作。
张小珺:有没有帮助。
沈宇军:这些东西还是未知的,我觉得Ego,应该是提出了一个采集理念,但这个采集理念,是要被打磨成一个,具体的一个产品,才能够就是,开始说部署下去。然后开始做起来,输采这个事情,对,我觉得这个理念,和从理念诞生。
张小珺:到一个理念的真正的实施,可能还是要点时间,所以说具身智能。
沈宇军:现在接下来要解决的,最重要的一件事情,还得是数据,对应该是数据的,就是可规模化的,然后可以被模型使用的数据,就是这个可以被模型使用,我觉得。可以被模型使用和可规模化,这两点本身就是一个平衡,因为模型可能希望数据越好越好,就是质量越高也好,含有的模态越多也好,这是模型的需求。 [01:31:22]
张小珺:但是规模化的就是,你的需求越高,我越不能规模化。
沈宇军:就变成定值了,就是我很难真的上量,那在质量和数量之间。
张小珺:怎么取一个平衡。
沈宇军:就是说我模型,哪些东西是可以舍弃的,这个东西可能现在还没有,太定义清楚。
张小珺:这个事情一旦定义清楚,我觉得后面的事情就会加速。
结语
沈宇军:你这是第一次创业,对创业有什么新的感受吗,对我来说两个第一次吧,第一次创业,对第一次创业含了两个部分,然后第一个部分是,我觉得第一次面向落地,这是第一次。然后第二次就是创业。 [01:32:07]
张小珺:就是换句话说,第一个第一次是业,第二个第一次是创。
沈宇军:对我觉得从落地的角度来讲,可能确实让我感悟比较深的,就是以前会更关注技术的领先性,现在会更关注技术的。
张小珺:哪一方面的领先性,就是技术还是要领先,但是是不是有价值的领先。
沈宇军:还是说只是技术人,就是拍脑子觉得,大家其实有很多东西都可以领先,你现在希望哪里领先,我现在肯定希望能支持的任务,越多越好,对,就是我会优先选择场景的。或者说场景和任务的,泛滑性这一方面,对,然后,这是第一个,第一个第一次,就是业的部分,然后再说一下。创的部分,我觉得,可能这个第一次,交互我的更多的,就是,就是人要学会,或者说创业要学会赌,创业一定是赌出来的。 [01:33:03]
张小珺:就怎么说呢,没有人知道,哪一个路一定是成功的。
沈宇军:然后资源又一定是有限的,所以,在有限的资源下,路径不确定的情况下,就是要赌,对,我觉得敢做决定,敢赌。这是我觉得很关键,很关键的一点。
张小珺:因为如果说一条,就是大家如果都知道,那条路是成功的,那为什么是你成功,就是如果那条路一定成功,大厂一定成功,对,这是百分之百的。就是有资,更有资源,更有人的地方一定会成功,对,然后但是,在路径未知的时候,如果犹豫不决。
沈宇军:很有可能最后就,什么都做不出来。
张小珺:这里面你们的大赌有哪些。
沈宇军:不做本体是一个大赌吗,对我觉得做,第一个是传感器是一个大赌,对,然后第二个就是原生是一个大赌,因为原生这个事情,很有可能做到最后,就发现没做出来。就是你训了半天,训了一年,花了好多资源,然后结果这模型就是不收敛,其实我觉得这是一场豪赌,就是做出,他没做出来有很多种可能,比如说就是思路错了。也有可能是技术还不成熟,可能再过个两年三年,重新再做这个事,可能就成了,就是说你太早的进入也不行,然后就是可能资源不够,也是一方面,就是说你本来只能做100块钱的事。但你非要做一个200块钱的事,你没有那么多资源,这些都是赌的一个。 [01:34:36]
张小珺:怎么说呢。
沈宇军:风险点所在吧,然后但是我觉得一旦是做成了,那种时候的成就感还是比较高的吧。
张小珺:蚂蚁对你们的期待要求是什么呀。
沈宇军:因为现在蚂蚁集团整个也是AIfirst,就是从这个大的战略上讲,其实我们也是想要突破智能的上限,对,然后只不过是AIfirst。
张小珺:它就包含两部分物理世界的AI和具身智能,就是数字世界的AI,我们可能就是承载了集团在物理世界,人工智能上限的这个使命。 [01:35:07]
沈宇军:这是一脉相承的,然后另外一个,我觉得还是说,马亦集团还是一个,以这个生活服务,数字世界的生活服务,为核心的一个公司,然后我觉得这一点。我们也是在。
张小珺:整个集团的延长线上,我们就是想弥补,或者说也不能叫弥补吧,应该说是补齐,从数字世界往物理世界迁移。
沈宇军:这条中间的这一部分,就是怎么把一个服务,真的执行起来,对可能是这两点,是我们跟集团最大的。
张小珺:怎么说呢。
沈宇军:我觉得是理念上的契合吧,对。
张小珺:马也对你们的管理是什么样的。
沈宇军:其实整体来讲,还是比较。
张小珺:还是比较按照,那个创业公司的方式,让我们去管的。
沈宇军:只是说我们的管理体制上,可能会更独立一点,就是可能跟一般,就是集团下边的一些BG相比,我们的,就是因为业务会相对独立一些,对,所以说管理起来可能也会独立一些。但整体的基建什么的都是共享的。 [01:36:15]
张小珺:对于你们的这几次豪赌,他们是什么反馈。
沈宇军:我觉得还是比较支持的吧,集团从上一次发布和这一次发布,集团都还比较支持,他们有说为什么我们不做本体,有说这种吗。
张小珺:其实也会,就是大家会有一些debate,但是。
沈宇军:我觉得集团这一点,是对灵波有充分的信任和尊重,因为我们可能更贴近行业本身,对所以说,这方面我们做的一些决定,就是集团肯定会,就是从他的视角,他肯定会给出他的一些建议。但最后可能双方还是会。
张小珺:在经过几轮交流之后,应该还是会达成一致的,你对于这次创业的最好的预期,和最坏的预期是什么。 [01:37:04]
沈宇军:最好的预期就是,我真的看到机器人进家庭了,然后进家庭的机器人,跑的是灵波的模型,这是我最好的预期,然后。
张小珺:最坏的预期,就是没做出来呗。
沈宇军:我觉得也没有什么更坏的预期了,对就是可能就是,就是可能某一次,某一次赌的过程中,可能赌错了,你是个赌心强的人吗,我还可以,这里面有哪个角色。是你力排众议必须要这么做的,我觉得具身原生这个事情,可能是我做了,其实是比较坚持要做,我觉得这一点,我还是从,上一次发布的过程中,感受到。就是我们数字世界那条路。 [01:38:02]
张小珺:就是沿着数字世界往后走,就是行不通,不想在他们的延长线上,对,所以我就非常坚持说,一定我们要做一个。
沈宇军:用物理世界的东西,就是从物理世界,土生土长出来的模型,对,这是我觉得可能,也是我这次觉得,比较有成就感的一件事情,对。好在就是,我不敢说它是一定被100%验证。
张小珺:但我觉得至少我们迈出了一步,这次模型的进展是符合你预期。
沈宇军:低于预期还是高于预期,其实是,其实是有点高于预期,因为你想嘛,我们讲原生这件事情,我们从,就是两大块,一个是视觉。就是刚才说,看得更清楚那块,我觉得我们已经,就这一部分,就是由原生,推动它往前走了一步,然后想得更明白,就是也是有。我刚刚说的,我们也是由原生,往前又退了一步,就是架构的原生,刚才说的,不管是时间的流逝也好,还是说推理效率也好等等,然后接下来还有一个干得更利索。我觉得干得更利索,可能就是下一个原生,就是数据原生,对因为我觉得数据做的,数据的能够更好的规模化之后,肯定是在任务的方向上,有更好的突破,对所以我觉得就是从。我们看得更清楚,想得更明白,干得更利索,这一点上,我们正好在经过了半年的时间之后,把前两点,都有原生这个概念,往前推了一步。我觉得这个是,我没想到会来得这么快,然后希望数据原生的部分。 [01:39:38]
张小珺:也能比我预期的来得要早,那我可能也会更开心,这样的话,我觉得真的就是,完全是物理世界。
沈宇军:有自己的一套,从模型到架构到数据,闭环的一套原生体系,现在各个不同领域的玩家,都很想抢夺,机器人大脑这个事情。 [01:40:01]
张小珺:有你们。
沈宇军:然后也有之前的那些机器人公司,他们也会着重的来做AI,然后又包括大厂,或者说模型公司,如果他们有精力的话,他们也会来做机器人的模型。
张小珺:你觉得你们的优势是什么呀,你觉得这个产业,竞争到最后的格局会是什么呀。
沈宇军:格局可能,我觉得可能跟大语言模型的格局差不多,可能会有大厂做得比较好,然后也会有两三家创业公司,做得比较好。
张小珺:你们属于大厂还是创业公司。
沈宇军:我觉得我们现在,可能跟创业公司会更近一点,对,然后。
张小珺:那我们确实位置比较特殊,我们属于一家,背靠大厂的创业公司,对,然后,这是一个,就是。
沈宇军:我觉得从智能层,应该大概就是这么一个格局,应该会有,大厂会有那么一两个玩家,然后创业公司会有两三个玩家,然后可能大家各自跑出各自的生态,这个生态就包括了数据的生态,本体的生态。场景的生态,就可能每家的模型。 [01:41:06]
张小珺:因为你有了生态之后。
沈宇军:你场景加本体可能就会给你,那个生态里面的数据,可能你的模型就会慢慢分化的,更适合那个生态。
张小珺:当然是可能最后大家都会,走到一个通用的生态,就是进家庭。
沈宇军:但是在那个之前,可能每家模型会有不一样的特性,比如说可能有一些模型,就适合做精巧的任务,有一些模型可能就适合做,就长程的任务,这个就不好说了。
张小珺:对但我觉得应该是,会是一个各有特色的,就是几家鼎立的这种一个格局,你对人型机器人这个构型有执念吗,你觉得未来进家庭的机器人。
沈宇军:会一定是人型机器人吗,我还是觉得就是,毕竟是从一个创业公司的角度来讲,我觉得我们一个阶段,解决一个最核心的问题,就好了,现在当下最核心的问题,就是智能不够。对,我觉得还没有到,就是混言话说,现在到底是轮式,还是足式,或者说它。 [01:42:04]
张小珺:构型应该长什么样,还不是现在的核心卡点,现在核心卡点,是智能不够,然后智能不够的核心卡点,是数据不够,对,所以怎么让数据。能够skillup是重点,对,然后当你智能有了以后。
沈宇军:你才开始能做,落地的尝试,你只有做落地的尝试之后,就产品才会迭代,产品迭代,应届才会跌的,就现在,就大家在争。就比如说,到底是足市还是轮市,他不管是足市还是轮市,他进家庭,我都不会让他进家庭的,那这个时候,你都没办法做这种userstudy,OK。我感觉是这样。
张小珺:你现在工作状态是什么样的。
沈宇军:这两天好一点,就是前一阵子,就在模型都处于,要出来没出来,那个阶段的时候,其实是比较紧张的,就是。
张小珺:但是现在,尤其是最近在那个发布完了之后。
沈宇军:然后整个人状态会相对,我觉得会轻松一些,然后接下来我应该会。 [01:43:05]
张小珺:怎么说呢。
沈宇军:可能再想一想下一步要,就是到底应该怎么去去做吧,就是再复盘一下,然后想一想。
张小珺:比如说数据到底怎么去。
沈宇军:跟模型更好的结合,这可能是这些方面会考虑的多一点。
张小珺:受到的市场反馈怎么样。
沈宇军:目前看应该还可以,对,然后尤其是技术社区里面,应该对我们做的这一套,还是比较白印的,对,我感觉是这样,然后如果是那个行业的话。我觉得需要再给行业一点时间,因为毕竟是刚发布,对,我觉得行业要试用过之后,可能才会拿到更多的反馈。
张小珺:你们现在驱动的核心指标是什么呀,是一些落地上的数据,还是模型智能上的一些数据。
沈宇军:我就是刚刚其实有提到,我们还是两头抓,就是我们一边要探索上限,然后一边要抓落地,这两个点,可能我们都会关注一些,我们一开始聊到了。 [01:44:10]
张小珺:你的那个学习经历,因为你是汤小欧老师的学生,你对汤老师有什么印象吗。
沈宇军:汤老师是个比较幽默的人,这是我对他最大的一个,印象,因为,那个,他讲话,因为他跟我一样,他也是东北人。然后我觉得,反正听他,听他讲话比较亲切吧,这是,这是一个点,然后另外一个点,就是我觉得,比较能快速地。从一个比较,一个乱续的,一个混沌当中,快速地抓到一个主要矛盾。
张小珺:有例子吗。
沈宇军:这个,就是毕业答辩的时候,因为他要,他要参与嘛,因为答辩很多时候,大家会问,比如你怎么做的呀,之类的。但是他当时,他问了我一个,可能跟,跟行业,或者说你这个东西,到底应该怎么用相关的问题,具体是啥呀,就是我当时做的那套。那个做图像编辑,视频编辑那套东西,而且上一代AI最大的痛点,就是它不好落地,就没有一个很好的场景,对。 [01:45:03]
张小珺:现在有人问你们,这个模型怎么用吗。
沈宇军:肯定啊,大家都就是,其实我觉得现在具身智能,它不像大语言模型,或者多模态模型那么好,那么好传播,因为离大家生活实在是太远了,就是我必须要有个机械臂。我才能知道你这东西好不好用,就是他现在更多还是给开发者的,我是这么理解的,对离受众最近的都是娱乐场景,对,这是最快可以感知的,对嘛所以我说他不是那么好传播,然后如果是开发者呢。他肯定会希望你告诉他这个东西怎么用好,因为毕竟我们这次,我们在发布所有的东西,基本上都是预训练,就是预训练要落地,还是要经过后训练呢,后训练本身是一个很难的事情,就是或者换句话说。他不是说就把数据采完,然后扔进去,简单调整一下参数就结束了,就是那如果效果不好,到底是没训好,还是数据没采好,还是模型就不好,怎么诊断问题。有了诊断之后怎么解,它是一个,我觉得是一个很难很难的事情,换句话说,我刚刚说它离大众比较远,其实是一样的点,就是因为它离大众比较远,所以。或者换句话说,就是因为它不是一个,直接能用的模型,怎么把它,让别人感知到,你这个模型真的好,是需要能力体现的,所以大家都会问。就这个东西,比如说怎么复现,然后我想让他做一个什么事,应该做哪些步骤之类的,还是会有很多这样的问题,我觉得你们那个玩桌式足球,那个如果能够,在现实场景里面。能够做一个,给大家互动的机器人的话,应该会挺多人愿意玩的,对,就是说换句话说,你做的越能直接被应用,它肯定是,就是大家的问题会越少。然后互动性会越强。 [01:47:08]
张小珺:你对于机器人的未来发展,还有什么其他的展望没有。
沈宇军:其实我就是希望,它能够离,大众更近一点,就是我希望,它也能够变成一个像,像那个语言一样,就是它出一个APP,然后每个人都能体验。那如果说之后真的说,就是机器人更普及了,家里都有能够,或者说一个比较简单的渠道,就能搞到一个机器人,去玩起来的话,我觉得那个时候,可能成就感会更多。因为现在就是,比如说我跟我爸妈去讲,说我做了一个什么东西,他们也听不懂,然后也没有体感,然后那如果有一天,能带一个东西直接给他,然后告诉他这是我做的。我觉得那个时候,可能成就感会,跟现在完全不是一个量级。
张小珺:我还有最后几个快问快答,一个全球范围内,你喜欢的食物。
沈宇军:日料。
张小珺:一个全球范围内,你喜欢的地点。 [01:48:02]
沈宇军:家。
张小珺:我们的嘉宾都会给,我们的观众朋友,推荐一本人生之书,你会推荐哪一本,人生之书。
沈宇军:笑傲江湖,我特别喜欢武侠,我从小就比较迷金庸的小说,然后我特别喜欢,但是每次,因为金庸小说,我都其实每部都看过很多遍,然后。但我每次推荐都会推荐,笑傲江湖,因为我觉得,我特别喜欢令狐冲里面那种,比较豁达的样子,对,就什么都不太在乎,那种心理状态。我非常非常喜欢。
张小珺:你是这样的人吗。
沈宇军:我希望成为这样的人。
张小珺:如果机器人有性格的话,你希望他是什么性格。
沈宇军:我希望他是个J人,他好干活,对,我觉得他核心还是要实用,对,我希望他是个J人,就换句话说,如果在提供情绪价值和干活之间。我会果断地选择干活。
张小珺:为啥不是提供情绪价值。 [01:49:02]
沈宇军:我可能觉得情绪价值应该由人来提供。
张小珺:你心目中影响机器人进程的几篇论文。
沈宇军:其实可能也不一定算是论文吧,我觉得像那个Generalist,他们现在已经不写论文,他们写blog,我觉得这种可能也算,对我觉得那个Generalist的那个Gen1,应该对我们是一个比较大的一个影响,就是它的数据的规模化。确实做得非常好,然后像Pi的工作应该也是非常好,再就是像那个GoogleDeepMind,他们那边的一些工作,我觉得做的也是比较好。
张小珺:我有时候在想,就是如果我们在中国,没有应用到中国的本土的,这个硬件优势的话会比较可惜,对。
沈宇军:我觉得会比较可惜的,但是硬件优势可能在,这一次的机器人的发展中,我觉得是会有不可磨灭的作用的,机器人还是说,你不管是怎么样的实现方式,一定依赖硬件,然后一定依赖传感器。我觉得从数据质量上,我之前一直讲说,我觉得是互联网红利的一个变现,或者说这个数据,是从互联网那个时代,积累下来的,但是具身相比互联网来说,我觉得它可能是一个。尤其是具身的数据,可能是一个空窗期,现在大家都是一样的,那我觉得可能,所以在收数据上,可能这个中国有优势,对我觉得这个是一个,非常非常大的优势。当然训模型的能力,基建那些肯定也是优势,但至少在数据这方面,我觉得中国一定是与美国跑得快的。 [01:50:43]
张小珺:那你们是应该利用这种优势呢。
沈宇军:是的,所以说我们其实也有比较多的,我们有自己的一个,所谓的叫数据联盟的一个,我们会有一些,比较好的数据的合作伙伴,然后可能也会跟他们一起说,看看怎么一起去。把这个数据做得更好,因为数据,你所有的规模化,都一定要有标准,所以从这个方面,我们是在积极地,试图利用这个行业的优势去做的。 [01:51:14]
张小珺:基于你当下的认知,一个关键的重要的bets是什么。
沈宇军:我觉得就是具身原生吧,我讲了很多,我觉得就是这个,我非常非常相信,具身要有自己的模型。
张小珺:好了,今天的节目就是这样,这里是商业访谈录,是一档由语言及世界工作室出品的深度访谈节目,你可以到公众号关注我们的工作室,获取更多的信息,我们的公众号是语言及世界,Language is world。我们希望和你一起从这里探索新的世界,也欢迎你在小宇宙的评论区,与我们有更多的互动。 [01:52:19]