146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

完整转录稿

Podcast 张小珺Jùn｜商业访谈录 2026-07-16 00:30
摘要

整体概括

本期访谈从柯丽一鸣的机器人研究与小说写作谈起，逐步讨论 Physical Intelligence（Pi）的技术路线、机器人领域的团队谱系、创业组织、智能体责任、人机关系以及未来想象。对话的核心不是把机器人当作单一产品，而是追问如何让机器人形成更通用的感知与行动能力，以及这种研究会如何改变团队协作、个人生活和人与机器的关系。

主要内容

1. 开场与嘉宾介绍

2. Hello大家好,我是小珺

Hello大家好,我是小珺。今天我们的嘉宾是硅谷机器人公司Physical Intelligence、Pi的研究员科利一鸣。Pi是一家专注于研究机器人大脑的明星创业公司,成立仅两年,头后估值已经超过了50亿美元,是这个赛道最受瞩目的独角兽之一。部分业界人士对它的期望是成为机器人领域的OpenAI。克里一鸣在派主要负责强化学习方向的研究，也是派的核心论文的作者之一，在科研之余呢，他也追求在工作和人文表达之间找到平衡，所以一余时间他也会写写小说，这让今天的聊天变得更有意思了，那节目中我们详细的聊了聊机器人的江湖，普系门派与主角们 全球的机器人团队都非常关注，派在机器人大脑上的开源工作，科里一鸣也详……

3. 机器人研究与小说写作

4. 如果真的有一天

如果真的有一天，机器人的这个技术，能够飞速发展的话，可能你现在需要拜托很多人，比如说修水管，这是一个美国社会，永恒的难题，修水管，你现在是需要依赖人的，但将来也可能是机器人来解决，甚至包括你现在做的很多项目，就是随着这个智能体的发展，以前可能是需要你拉一个人的团队，以后可能是拉一个人工智能，或者机器人的团队，甚至就像现在的我们去看，很多1000年前的原始社会，可能会觉得他们，生产力制造力没有那么发达，如果我们在1000年后再看的话，说不定他们看我们也是原始社会，他们那个时候每一个人，能够拥有的这个生产力，都相当于现在每一个国家，能够拥有的生产力，我觉得这个，可能独狼玩家会挺快乐的，那人和人的关……

5. 武侠、板寸与背包客

6. 你大学本科是心理学

你大学本科是心理学，我是心理学开始的，对我的大一，因为美国大学，它是可以换专业的嘛，我的大一的选择的专业，其实是心理学，在学过了一些心理学以后，感觉到了，第一学的东西非常有趣，第二我实在是不太适合，做心理学，为什么，我觉得有时候，人是有一些打破砂锅，问到底的这种性格，在我身上，如果在学心理学的过程中呢，就会有一种，这个玩意儿，他说的非常的有道理，但是如果我想打破砂锅，问到底的话，我也许可以做，但是很多年以后啊，或者说做一些别的事情，不够直接，可能我们对于就是解决问题，解决一个非常具体的问题，是有一种痴迷的，所以当时又去学了经济学，就是想要了解一下，自己生活的这个世界，但是最后转回了计算机，还是……

7. 所以就会想要花更多的心思

所以就会想要花更多的心思，去思考怎么保护自己，我觉得你的选择很有意思，因为有的人我觉得不安全，那我就不去就好了，那我就是安全的，我就在家里 那还是要去的，自己想干的事情，得找个方法把它实现，你的方法是我把我自己演示成男生，然后我就安全了，我觉得这是方法中的一种，可能是当时的 [00:30:11] 我觉得最轻松方便又好用的方法，你是怎么突然决定要出国留学的呀，你刚才也说你之前其实也是想着要考大学，突然转变了轨道 对这个我觉得就是人生中的，冥冥之中的一个很小的决定，因为当时在高中看来是有三条路嘛，第一条路就是升学，但是刚才也说了就是在我的同班同学面前，我觉得自己就是一个渣渣，就是一种不上不下，哎呀……

8. 草蛇灰线：个人经历与研究线索

9. 相对而言是最保守的

相对而言是最保守的，而美国是有一些保守，但是都到硅谷来了，大家好像又抛弃了，之前的那些旧的东西，在这里又开始开创新的东西，你看你成功从家里逃离出来了，你成功地离家万里之远，你得到你想要的了吗，我觉得在内心世界上，在离开的时候，并没有很大的目的性，说自己一定要拿到一个什么东西，是在路上才慢慢发现，自己要做的事情，并且我还是非常喜欢，现在自己投身的这个行业，和这份工作，也就是对技术是有信仰的吧，可以这么说，你为什么后来从经济学回到了计算机，去了人工智能，这个转变是怎么发生的，我觉得也是有很多巧合的因素，就命运是一条冥冥之中的线，我只能得到这个点，在当时大学的时候 在经济系读，然后就是觉得，做的事情……

10. 一问一答中对抗的

一问一答中对抗的，就搞明白了，就是我为什么这么相信，机器学习在机器人，因为传统方法中的这些，我觉得是太依赖 expert专家的这个东西，我们机器学习，我觉得一个很大的使命，就是让专家，从这个机器学习的 这个中间消失，就是机器可以自己学习，就这是一个使命，你的导师是那个Seed 对吧，对，你如果是一个，机器学习的信仰者，你为什么会进他的组呢，以及你是怎么开始 [00:50:14] 对机器学习，非常感兴趣，就是这种，对这种数据驱动的，机器学习，因为懒，因为这个事情，其实有点有意思，我觉得知其然，不知其所以然，是一个非常微妙的，一种状态，可能大家，有些人会，在有些，在有些问题上，大家也会想要，打破砂……

11. 机器人江湖、族谱与主角

12. 是做这个图像的

是做这个图像的，然后当时在Peter Abel手下，读博士后的时候，才转型，就我还挺欣赏，就是大家从一个领域，做了以后，就转型到另外一个领域，我觉得你能转过来，或者你想转过来，肯定是有很多你的想法，所以Sergei当时，应该是有很多想法，他就做了强化学习这些课件，其实当我开始，读博士的时候，我对于机器学习的很多，就是没有什么教材，都是看Sergey的视频，然后看他们的一些讨论，包括看他的论文，然后看他们组的一些对话，来学习的，然后Sergey他，后面也有他的合作者Chelsea 就Chelsea和Sergey 都是派的联合创始人，我觉得他们两个，都是对现代机器学习，到机器人应用，做出了非常多的……

13. 你才产出比较清晰的一条线

你才产出比较清晰的一条线，因为当时机器人动物，机器人比如说，不神的动力吧，他们做这个后空翻，是非常非常非常牛逼的，因为当时都没有人敢做，也没有人敢想，但是他们做出来的，但他们代价，是很多很多的工程师，不停地去挑适这个参数，去适配他们想做的这个任务，去做到他们想做的这个效果，你再做一个新的任务，你还是得有这么大的一个投入，才能把它做出来，而我觉得机器学习的算法，就是第一，是我们不要工程师来做，对吧，我们就是通过各种各样的设置，然后算法自己来做，你作为一个工程师，你的工作量就小了，比如说现在的这些，很多比较酷的，这些跑酷的这些视频，可能就工作量和那个年代，就不可同日而语了呀，然后第二个就是，一旦一……

14. 在现实生活中做这个事情

在现实生活中做这个事情，不断地去练习，通过练习归因，来让他变得更好，我觉得这个是有点像可能，之前会看一下奥运冠军的访谈，又看他们的训练，又来激励自己就觉得，就做一些，要想做好一件事情，尤其是这种动作性的事情，你确实就得适配，去搞出一个策略，它最适合你的这个机体，并且就不断地锻炼你的机体，让你就是刻出一个，肌肉记忆嘛，对人来说，对机器学习来说，我觉得其实就是一个，强化学习的过程，所以你是做了，这个筷子项目之后，才去转向了，强化学习把中心，对我就是从理论的，机器学习开始做，然后不太满足于理论，想做应用，然后做了应用以后，第一个算法，其实是一个模仿学习的，中数算法，只能在simulator里，在模拟……

15. 硅谷创业图谱

16. 因为他能在2022这个时间点

因为他能在2022这个时间点，做一个他都不是那么熟悉的，一个新的领域，因为他相信这个，我觉得这是非常有意思的一件事情，然后相对而言 1X的话我听说是，创始人其实是深耕了这个，机器人的这种电竞，因为他们是做省区的，省区的人形机器人，比较独特 然后Dyna的话，他的创始人是，因为这个丹娜创始人，她是相当于是认识的，她们是有一些创业的背景，也有一些技术的背景，我觉得如果用一个标签，去形容她们的话，可能她们是更强调商业部署落地的，当然我觉得，一个巨姐场景，比如说我们都看过她，那个叠衣服的场景，对，就比如说 我觉得如果看看她们，在2024 2025年期间，所发表出了一些东西的话，可以形容为就是，有没有可……

17. 他们做的比较成功的

他们做的比较成功的，比如说有多模态能力，比如说图像生成和图像修改，是现在大家都比较津津乐道，也会在日常中使用的，可能对他们来说，机器人也可以是这个模态的一部分，会给它这个模态提供一些空间感知，空间规划或者空间控制的一个能力，所以我觉得他们，也许我猜的他们在走机器人路径的时候，是更多是想着说，机器人如何成为这个多模态大模型的一个部分，而英伟达的话，江湖的笑话，就是英伟达做所有事情，都是为了外卡，所以他们有很多，就需要烧很多卡，才能完成的一些项目，比如说像世界模型，这样的项目，但是通过这个过往的经历，一次又一次的证明，有些时候，真的就是数据多了，卡多了，效果就上去了，所以大家也很期待，就是他们这样……

18. 每个模型都来在上面跑一跑

每个模型都来在上面跑一跑，跑马场，看看哪个马，赛马，谁是第一名，你是能够比较主观，比较客观清晰地看到，在这么一个事情上，一个确定的结果，而在机器人 谈论前沿比较难的，一个原因，就是因为这个，评估太难了，导致你很难，就是彻底地去评估它，就包括每一个公司，我相信内部都有一个，评估的一套东西，可能这些东西，就是你的注重点 他们注重点都不一定一样，但是退一步讲，我也觉得这个是，暂时的吧，我觉得最后做出来的，应该是不会，太担心这个事情，可能现在大家还在探索，怎么样做得更加的，鲁邦和宽泛 所以现在这个frontier 还是很难定义的，我觉得可以看到一些算法，可以看到一些算法的表现，就是怎么说呢，可能是，就……

19. Pi 的研究：π0、π0.5 与 π*0.6

20. 它差不多可以在一个任务上做的话

它差不多可以在一个任务上做的话 你就去收集它的体验数据，让它在真实世界中，去收集它的体验，把这个数据放回它的训练池中，它其实可以达到，比之前，比你之前那些固定数的数据，更好的效果 我觉得它对于，我们数据收集，是有相当大的，启示意义，什么叫体验数据，就是它自己，去做这件事情，收到的数据，就是平时我们，收这个真机数据的时候，是有一个手臂，比如说我家有个手臂，我就给你，卡在这个桌子上面 我简单就可以，通过摇操纵，去让它干一些事情，你收到数据的，其实是，就是这么一个机器，绑在这个桌子上，然后做了一个任务，它其实可以，不摇操纵，它可以，让它自己去，做，做了以后，它可以把这些数据，都收集起来，就是数据的来……

21. 我觉得这个可能

我觉得这个可能，跟我现在的思想就比较相符，因为这就是我们提的嘛，就是希望你在做任务的时候，考虑到你到底花了多久时间，去完成这个任务 这个任务完成度究竟是好不好，甚至包括，其实也有一些更加细分的，就是一个任务的成功和失败的定义，是我们就是有打磨过，就是想因为你一个人在做任务，或者要一个机器人做任务过程中，你是有很多隐含的含义，就到底怎么样去保证，你最后的打模型，能够完全的理解人的意思，我觉得也是一个，开放性的一个研究的课题，就是他做任务，真的是人想让他做的，这个任务，而这个派06星里面的，这个throughput 比较好玩的一点，就当时就是，其实是有个目标的，就是开箱之前，是有这个目标，就是我们……

22. 然后人家跟我说

然后人家跟我说，他们在用强化学习，做这个大语言模型，我就说，喜欢学习也很难搞的，你把这个特别难搞的A和特别难搞的B合到一起，你这能做成功吗，我完全不懂，然后到了19年20年，别人就做成功了，就说这个你看做得多好，当时就能够感觉到，问题是有一些不一样的吧，当时我从自然语言转换到了机器人，觉得第一自然语言里面，你可以生成很多文字，你怎么跟这个文字打分，怎么知道什么是你想要的文字，很难，所以当时觉得，自然语言做强化学习会很难，就是因为觉得这个打分太，太含糊了，不是那么的清晰，当然后来有很多，就随着更多数据级的出现，他们也不断地建立了新的标杆，所以他们这个，标准可能会，有那么一阵子，逐渐变得清晰的过程……

23. Pi 的组织与文化

24. 就是你们都是有一些股份

就是你们都是有一些股份，然后也是有一些stake 在这个公司里面，你是希望公司变得很好，其实有的时候，不是你的，就是氛围内的事情，你也会去想要去做好，然后同时，我们公司比较特殊的，因为是比较开放的，研究氛围，所以是，就我和另外一个人，会组织一下读书会啊，和一些交流会啊，就是可能，读书会，就比如说就是，比如说我们现在，想做一个项目，比如说这个派06星，派06星，其实是去过两次，这个读书会的，就首先一次，就是给大家讲一讲，我们现在 想要探索这个问题，这个问题，以前的人的发表，和东西，都做到什么地步了，然后我们觉得，它的应用，就是会有一两个人主讲，然后其他人可以问问题，或者会甚至质疑，都是可以的，就……

25. 放弃剑桥教职

26. 所以当时去了

所以当时去了，找教室的最后，就突然有些顿悟了吧，觉得我还得想一下，自己究竟想做什么样的研究，就之前呢，我可能会觉得，时机没有到，我应该先到一个地方去，仔细地思考，带一些学生，我非常期待将来有一天，也许真的会学术界，带一帮和我们这些人，想的完全不一样的人，我觉得这个是最值得，期待的一种发展和演化吧，但我没想到，就是这波来得还挺快的，就它已经让我感觉到，我得知道，我们现在的，这个新的这种前沿，能做到哪里，在做什么，我能怎么样去做它，所以当时就是比较突然的，就在毕业的时候，辞掉了这个教职的offer 就转身加入了派，是一个非常偶然的决定，可以这么说，我当时，我当时在毕业 CISUS Defense ……

27. 巴甫洛夫的狗

28. 让你们家宠物

让你们家宠物，做一个什么好事，就可能它做了一系列的事情，然后你最后给它一个奖赏，它其实是需要知道，就到底哪个事情是，这一次得到好奖赏的，一个决定性因素，这个也是，帕零六星是有一些探索的，就是你收集了这么多的，这个部署的数据，究竟哪一条部署数据里面的，哪一个步骤你做得好，让你整条数据，得到一个关键性的一个奖赏，你可以看到在帕零六星里面，我们可能比较强调了，这个SURPORT的一个速度和质量，所以从智能体的角度上来看 就是它做了很多事，做了不停地做了这么多次，然后我们设计这个算法，帮助他从这么多次经验中，找到就是，这条数据里面，其他都是垃圾，但这个地方是精华，你以后多做这个精华，所以这个归因，我觉……

29. 这个可能就是

这个可能就是，就是如果机器人，能做成这样，我们就觉得他做完了，他做的极端了，他像奥林匹克运动员那种表现，就已经超越人体极限了，这个是已经有动作质量，你有可能收到一条，质量不那么好的数据，可能就是为了拿这个杯子，先晃晃悠悠，晃晃悠悠再去拿，可能就没有那么好，所以这种动作质量，也是一个维度，同时我觉得，就是动作的覆盖度吧，就从一个数据集，就刚才可能讲的是，具体一两条数据，从一个数据集的，讲法上来说的话，你收了，拿水杯的这个任务，的那么多条数据，它的这个覆盖度，到底有多少，它有多少不同的场景，它有多互相之间的不同，就比如说刚才说的，饭花里的每一条维度，其实可能都是，你说数据的时候，就可以考虑到的，一……

30. 前沿展望

31. 而相对的

而相对的，我觉得他们，比我们来说，比较简单的部分，你看自动驾驶的话，它这个控制器的问题，其实是结果没有的呀，就是我在这个车子上面跑，可能现在还有，就跑一些雨雪天啊 这个道路泥泞啊，这种问题，是一个控制器的，一个底层控制问题，他们更多的问题，都是在决策方面，就是你下面要怎么开，同时他们的决策的空间，我觉得相对而言，复杂度要稍微小一些吧，不像你看我们在这个操纵系的，这个任务里面经常谈到的就是，我不仅要就是操纵这个，多关节的一个比较复杂的机械，必须完成一个任务，它要达到这个，我想它达到一个地方，这个就是一个操纵系的问题了，就是你可能就是载重以后，或者是摩擦力导致的，你可能不能完美地去，贴合你想要它造……

32. 中国

33. 我觉得这其实大家都在做

我觉得这其实大家都在做，只是因为缺少了，产业链制造业的这一环，可能，在做的过程中，它的迭代速度会变慢啊，或者有些事情，可能如果你做得更快，有更多就是，可供你驱使的机器，也会不一样，我觉得这个确实是，对迭代的，研究的迭代速度，肯定是会产生影响，但同时另外一方面，硬件毕竟不是一个解决的问题，就它是一个相对而言，可能没有软件那么严重的问题 因为现在你搭一个硬件，是可以搭起来的，你想它做一点有意义的事，很难，所以这是软件的最大的问题，而硬件的话，属于你搭起来，是可以搭起来，动也可以动，但是不是说，你已经把硬件做完了呀，就还是有发展的空间 我觉得这个其实，创新永远是威士数，你不知道有没有可能，它做出了一……

34. 机器人“种族

35. 它也许还没有到完全体

它也许还没有到完全体，它已经可以做一些事情，我就想办法，把这个事情给利用起来，来提升我的生产力，可以让我少干点活，我觉得这个，是我对于人类文明的偷懒，我甚至可以暴乱一下，是不是偷懒，就是人类文明，一个本质的追求，提升生产力和偷懒，是一个东西，然后其他的话 我觉得在很多时候，在我现在的工作中，是没有什么人文的存在，或者说因为我每天，讲的是一些，非常物理化的，科幻化的一个东西，我也会感觉，就是我会和一些，其他搞人文的，就是小说创作，艺术创作的一些朋友聊天，他们也会很好奇，问问这个机器人的进展，我也会很自己，作为一个用户的好奇吧，是不是有一天，我们创造出的这些智能体啊，它也能够进行，某种意义上来说超……

36. 没有写完的故事

37. 这个书中所描写的

这个书中所描写的，那个社会的那种，旧式贵族的打这个球呀，骑这个马呀，是一种更高贵的运动，在那个年代，他们可能会追求一些，我们现在不太认同的，就是价值观，什么是更好，什么是没有那么好，但我们现在，其实我觉得，也是有一种新的价值观，甚至我觉得，这个价值观，也只是一个，变化中的缩影，我觉得这是我的，人文主义的东西 在告诉我，虽然我是在工作中，这么热衷地，去优化生产力，虽然整个硅谷，它已经放弃了，什么对衣服，对穿着，的这些讲究，它讲究的是，什么效率，讲究的是，这个精简 [03:40:27] 讲究的是创造，它何尝不是，这个社会价值观的，一个部分，你小时候想离开家乡，想远离家乡，然后，我觉得是非常好奇，外……

关键 takeaway（要点）

  • Pi 的研究重点是让机器人获得更通用、更统一的感知与行动能力，而不只是堆叠单任务技能。
  • π0、π0.5 与 π*0.6 被放在能力、泛化和表现的连续问题中理解。
  • 强化学习、真实世界数据、rollout、后训练和模型架构需要协同设计。
  • 机器人研究的竞争也是人才、组织文化、开放程度和工程执行力的竞争。
  • 研究者的成长经历、阅读、写作和生活经验会影响其提出技术问题的方式。
  • 智能体可以减少部分协作成本，但权限、责任和信任仍需要人类确认。
  • 机器人自我制造、中国机器人发展和全球团队竞争构成访谈后半段的重要未来问题。
  • 技术进步仍处于持续探索中，很多关于机器人和人的故事尚未写完。

目录

开场与嘉宾介绍

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

Hello大家好,我是小珺

小珺：Hello大家好,我是小珺。今天我们的嘉宾是硅谷机器人公司Physical Intelligence、Pi的研究员科利一鸣。Pi是一家专注于研究机器人大脑的明星创业公司,成立仅两年,头后估值已经超过了50亿美元,是这个赛道最受瞩目的独角兽之一。部分业界人士对它的期望是成为机器人领域的OpenAI。克里一鸣在派主要负责强化学习方向的研究，也是派的核心论文的作者之一，在科研之余呢，他也追求在工作和人文表达之间找到平衡，所以一余时间他也会写写小说，这让今天的聊天变得更有意思了，那节目中我们详细的聊了聊机器人的江湖，普系门派与主角们 全球的机器人团队都非常关注，派在机器人大脑上的开源工作，科里一鸣也详细地阐述了，他们的研究思路与技术细节，从派0到派0.5 再到派0.6星，但由于我们这期节目的录制时间，相对比较早，所以尚且还没有囊括进，他们的最新模型派0.7 嘉宾关于这个工作的技术讲解呢，我会补充在show notes里，那接下来就是我对科里一鸣的访谈，期待2026年，我们和AI共同进步 [00:00:54]

柯丽一鸣：确实我们不做人性，因为他们要说做人性，我又不来了你知道吧，我其实一直很想做的就是，机器人可以造自己，我觉得这个是机器人发展的一个，可能会是一个里程碑吧，因为它就像一个种族，是有延续性的，是可以通过自我的一种繁殖，我觉得机器人能够组装造自己，就是一种繁殖的体现，第一篇是派0 它的关键词应该就是能力，第二篇是派0.5 它的关键词是泛化，然后最近的这篇是派0.6星，它的关键词是表现，你们公司其他人会很关注中国机器人的发展吗，我觉得都很关注，这是一个不可忽视的一个部分 [00:01:28]

小珺：我们今天的嘉宾是，硅谷机器人公司Physical Intelligence派的研究员K 科利一鸣，然后Physical Intelligence是一家，在硅谷机器人大脑的探索上，非常有名的一家公司，不过前两天我跟K聊天，发现他除了是一个researcher之外呢，他业余也是一个网文写手，那K你要不先来自己介绍一下自己 [00:02:08]

柯丽一鸣：大家好我是科利一鸣，平时朋友都叫我K 我呢每天平时的工作，是教机器人能够更快更好的去完成任务，然后业余的时间，我是非常喜欢人文啊艺术啊这些东西，写小说也是一种可能表达这种情绪的方法，很高兴今天能有这样一个机会，梳理一下自己在研究中的想法，和大家分享，你觉得做机器人和写小说，有什么共通之处，我觉得都是有一些创造力的需求的，比如说这个机器人，他现在完成很多任务还不够好，你需要想一些新的方法，而写小说呢，可能你真正想写的那个故事，还没有被写出来，你也是需要把它创造出来，很多时候需要一些，比较天马行空啊，这样的想法，另外呢也是有一种执行力吧，像我在做研究过程中 其实经常是有了一个想法以后，慢慢地把这个想法落地，中间需要一些工程这样的，写代码啊这样的事情，而写小说有的时候是有了一个命题，就为了让读者感受到这个命题，开始一个字一个字地在努力码，对我很好奇啊，你平时写什么小说，然后你在小说里有藏着一个，跟硅谷机器人公司内部的叙事，不一样的一个世界观吗，平时写的比较多的是科幻小说，这个也是我最爱读的小说分类之一，科幻小说的话，我觉得肯定是和我们现在生活的，这个硅谷现在所属这个时代，有一些关系，因为我在科幻小说中，比较痴迷的一些类型，都会涉及到两个命题吧，第一个是生产力变化以后，人们的生活是怎么改变的 第二个命题是，在和我们的社会风暴，很不一样的这种，未来啊，科幻的社会里面，人与人之间的关系，是怎么样的，因为我觉得，在第一个命题上面，可能和我的工作，会更相关一些吧，工作时候就经常会考虑到，我们做这些，人工智能的研究，做这个机器人，是一种自动化，如果你能够把很多，现在人做的事情，给自动化的，提升一下效率以后，人去做什么样的事情，是一个其实每天都会想的，一个命题，第二种呢，可能是我因为我觉得，人与人之间的关系，是一个自古永恒不变的话题，在写小说过程中，你可能也会去读别人的小说啊，也会和几千年前的这些，生活在不同世界的人，他们的一些思想产生过敏，我觉得应该是，有一些人性之类的东西，即使是在生产力大幅度变化的 未来科技社会也会流传下去，所以在AI这个时代，在机器人马上就要 [00:05:16]

小珺：进入我们的生活的这个时代，你觉得人会发生什么变化，人和人之间的关系，会发生什么变化，而且现在不是人和人之间的关系，还有人和机器人之间的关系，会发生什么变化，我觉得这是一个

柯丽一鸣：就是正在梳理中，还没有一个很确切的，结论的话题，因为一谈到人和人的关系，就是我是一个相对而言，比较内向的人，你可以从，从每一个人不同的研究风格中，稍微感受到一些，我觉得我的研究风格的话，很多时候是我先，想把自己埋在一个洞穴里面，先埋头苦思一会儿，但是为了不要变成一个闭门造车的人，你肯定还是要把头从这个土里拿出来，然后去到这样的场合，和别人去交流去碰撞一下思想，然后接下来真的定下来一个命题，以后去执行，这个执行我一直觉得，以前的话，我在PhD期间读博期间，是一个比较独狼的一个玩家，就是你有想法，你想要去实现的，就说干就干呗，中间遇到了什么问题，我们可以自己去上网去探索，去学习，我们可以通过提升自己的技能，组织一个比较小的队伍 去解决这个问题，而从读博毕业以后，加入到了这么一家初创公司，做机器人的巨神智能的大脑，一个比较深切的感受就是，有一些事情，是得在一个团队的协作中，才能完成，之前读博的一种项目，可能它的规模是比较小的，要解决的问题也是比较具体的，而现在为了要做成，这个通用的大脑，你是需要团队中，每个人都在自己，比较擅长的事情上发挥作用，所以是一种，就是为了完成一个任务，要大家齐心协力，这中间的很多，人与人之间的关系联系，会比我之前的那种，可能要紧密一些，同时我在想，如果生产力变化以后，因为最近硅谷不是有很多，这种Claude Code 可以自动帮你编程的，这种小工具，人与人之间的这个关系，好像又可以不用那么紧密了 因为有的时候，我与其是去问，这个我现在要做的这个项目，需要用到某一个模块，这个模块的负责人，我去直接跟他说一下，我们这个是怎么回事，问一下他可不可行，我干嘛不直接问，这个Claude Code呢，我可以通过就是，和这个AI的一个智能体的交流，把以前我需要和人交流的，这个方面给它拿掉了，就是减少了我对这个的依赖，甚至包括我们现在，很多自己的工作流程，也是一个人掌控着，三四个agent 然后让agent去干很多活，这个有一些改变了，团队写作的中间，人与人之间的关系，所以你在跟人沟通之前，会先去找Claude Code 没错，然后Claude Code成了，人和人中间的那个环节，没错，我觉得这个关系就是，我在构思一些小说的时候，是会受到这个关系的启发 比如说，一个是想法是说，现在在一个比较信息爆炸的时代，我觉得现在可能已经有人是这样的，信息爆炸的时代以后，以前你的很多讯息都是，我一个人去浏览，一个浩如烟海的互联网信息，但是有没有可能，就是我有一个小bot 就他可以把互联网上，所有的这些信息，就看得比我快，看得比我多，然后又了解我的喜好以后，全部揉碎了给我，在喂给我，同时呢，就是如果以后真的，大家都变成了默认的模式，就是由你的bot 去爬这个信息，去分解这个信息的话，可能以后没有这个bot 你就很难，在浩如烟海的互联网里面生存了，因为你这个人能够看到信息，就变得非常的有限，然后另外一种可能是，我觉得生产力的进步吧，我这个人，因为之前是独狼玩家嘛，所以会就畅想一些，就是非常适合独狼玩家的一些，生存方式，比如说像 田园木歌啊，就一个人的这种乡村生活啊，大家会在YouTube上，也会看一看这样的，类似的博种，我会畅想一下说，哎呀我这个将来，就到了一个远离人间的地方，去生活，然后这种生活，现在的话，叫我我肯定不敢去，我会觉得，要干好多事情，要脱离这个，现代社会的这种，基建的支持，去干这么多事情，因为人类，对我能做到这些事情吗，我这个烧水啊，弄饭啊，这些可能现在还有一些基建，但是家里这些家务啊，还有各种各样，就是我不想干的事情，我怎么能够在远离人间的方式下，把它干出来，会想到就是我们现在正在做机器人，比较近期一些的应用，可能就是说能够，把我不想做的事情给它做掉，但是以后更多的畅想是说，如果真的有一天 [00:09:12]

机器人研究与小说写作

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

如果真的有一天

柯丽一鸣：如果真的有一天，机器人的这个技术，能够飞速发展的话，可能你现在需要拜托很多人，比如说修水管，这是一个美国社会，永恒的难题，修水管，你现在是需要依赖人的，但将来也可能是机器人来解决，甚至包括你现在做的很多项目，就是随着这个智能体的发展，以前可能是需要你拉一个人的团队，以后可能是拉一个人工智能，或者机器人的团队，甚至就像现在的我们去看，很多1000年前的原始社会，可能会觉得他们，生产力制造力没有那么发达，如果我们在1000年后再看的话，说不定他们看我们也是原始社会，他们那个时候每一个人，能够拥有的这个生产力，都相当于现在每一个国家，能够拥有的生产力，我觉得这个，可能独狼玩家会挺快乐的，那人和人的关系，会变得更加的松散，我觉得是可以让，人和人之间的关系，变得更加松散 可能在原始社会，一个人在广袤的大自然里面，独自去狩猎生存的话，是比较难，而现在的话，找一个地方埋起来，好像把自己头埋起来，好像没有那么大的问题，但将来也许可能，在宇宙中你可以探索，你说不定可以，就是发现了一个小星球，你就直接在这个星球上面定居，你就可以搞很多机器人来帮你，在这个荒无人烟的星球上面，搞好基建，你可以建很多你想建的，你想建高楼大厦，你想造这个那个都可以成功 [00:10:53]

小珺：我觉得还蛮有意思的，所以脱离一切的外部的条件限制，你自己是希望能够回到洞穴里去的是吗，为什么呢，我觉得并不是完全是说 [00:11:21]

柯丽一鸣：彻底的活在洞穴之中，但是人对于自己的这个空间吧，是会有一些追求的，作为一个内向的人，我觉得我的回复能量的方式，其实是一个人静静，然后在一个硅谷，这么一个非常喧嚣，非常无时无刻都有新的讯息，涌入的一个环境里面，能够找一个空间去自己静静，其实比我以前的这种生活，是有一些难度的，所以可能对这个，找一个洞穴啊，稍微待一阵子，产生了一些向往，但我也认为就是，人还是社会性动物吧，在洞穴里待久了，可能像我这样的人

小珺：也会想要走出来再看一看，说到这个还挺有意思，我记得有一个老师，他说他对于他下一代的小孩，不和人谈恋爱了，只跟机器人谈恋爱，一点惊讶都没有 [00:12:12]

柯丽一鸣：现在你能接受这个事情吗，我觉得我还挺接受的，因为我是老二次元了，就我的生活中，是有不少这样的朋友，他们的生活方式，可能和老一辈的那种观念，是很不一样，但是因为他们一起，熟悉了很久的朋友，我甚至能够理解，就是他们做的这些，就是不想和人类谈恋爱的选择，或者他们自己，在社交方面的一些偏好，以及包括大家对纸片人，二次元的这种造物的喜爱，包括我自己也是有参与一些，就是这种二次元的，这个同好活动的，哪些文学作品，影视作品或者

小珺：各种各样的文艺作品，有对你的机器人的思考，有过帮助和影响吗，我觉得，一时半会儿很难指出，哪一个具体的作品 [00:13:04]

柯丽一鸣：但我们也许在谈话过程中会出几些别的，我都可以分享，但是我觉得现在有一些，或者说之前看到了一小类的文学作品，中描绘的这种人工智能的，毁灭世界的这个，这个命题让我觉得有一些，从现在的角度，以我有限的视角来看，会觉得不太可能吧，啊现在会走到这一步吗，所以会有一些反思，就是我们真的会，就是开发出一个智能体，然后不知道怎么的，它的可能诞生的使命，是帮助人类，但最后它的存在的，客观意义上却变成了，就是与人类，变成了一个对立的关系，我觉得现在的我是，很难想的，但是因为一直没有想通，为什么这个逻辑成立了，所以一直都在想，为什么这个逻辑不成立呢，我觉得以现在的，就是2026年，我们弄一个快照，看看现在的状况了 我会觉得，现在智能体，干的最坏的事情是什么，我知道好像前几天，有一个什么人，把很多的权限，给了一个智能体，让他帮自己清邮箱，结果这个智能体，得到了这个权限以后，就把他的邮箱全都删了，删的快差不多了，就他的命题，就是给这个智能体的任务，是得到了执行，但智能体的执行并没有和他真正想要的这个任务重合，我觉得这个问题是确实存在，但现在智能体得到的权限承担的责任，以及他能做的事都比较有限，就得到权限的话，很多时候大家都是会prompt 就是你现在不清楚的话，你先别慌着动，先跟人全认一下，然后他承担的责任，比如说我之前其实有攀岩去受伤，受伤的过程中，我就是到处求医问药，但美国这个社会的医疗 是有一些难的，这个时候我就会把我的一些，医疗的资讯，发给这个智能体，去让他给我解答，但是其实在这个解答过程中，我也不会真的就彻底的相信说，我也不可能说，这个AI跟我说什么，我就信什么对吧，我肯定还是要把它，带到一个人类专家的面前，去跟他确认，因为我不觉得，就是如果我真的，基于他的这个推荐，做了一个什么事的话，他是能够承担责任的，就承担责任这个方面，我觉得现在，他承担的责任还非常有限，而在这种，这种人类社会里面，就是谁能够承担责任，才会建立一个信任，我觉得这种信任，还是在演化的过程中，还没有到，我们就完全相信，一个智能体，给他那么多权限，然后最后是，他现在能做的事情，我觉得也比较有限，比如说我们机器人，我们有的时候，行业内部笑话，这个笑话可能，已经有一件过时了，这是大概三四年前，和一个快要毕业的同学，在聊天，我们就在吐槽说，我们每天都在做什么呢 就是让这个机器人，把一个红色的方块，放到一个蓝色的方块上，这不是三岁小孩，都会做的事情吗，我们天天就来这，花了五年时间，读了一个博士，然后教机器人，做的可能也许，或者还没有三岁小孩好，还不如师哥吧，人类的学习速度，是非常快，所以我觉得，这三点因素导致了，在我看现在的智能体，我是不太相信，它能够在现在这种节点上，做到跟人类的对立面 [00:15:59]

小珺：因为写小说和写网文，其实都要从信任世界，有很多的取材，很多是取材于生活，我没有看过你的小说，因为你不告诉我你的网名，但是我很好奇，您会把你在派的工作经历的，哪一个部分，作为素材提取出来，放到虚构的作品里去，我其实是一个，工作和生活分得相当开的一个人 [00:16:29]

柯丽一鸣：我觉得在派的工作经历，肯定是影响了我的思考，比如说你对技术发展到哪一步了，以及技术发展中的一些，就是courty 比如说比较特殊的一些东西，会有更多的一些思考，就比较具体的思考，而我的网文很多时候就天马行空，哎呀在网上保护好自己的身份以后，想写啥想写啥不是挺好的吗，所以能不能告诉我们的网民是什么，不行，救命啊马甲

小珺：马甲保护好，那我们接下来聊聊你的成长吧，因为我发现很多硅谷的人，都是从小受益于竞赛的一群人，我感觉这个还挺多见的，那么讲讲你的成长经历，你是通过竞赛改变命运的人吗，你能算这个类别吗，我觉得是 [00:17:22]

柯丽一鸣：而且当我在成长的过程中，有一些感触，但甚至都没有现在的感触，那么的深，我觉得我人生中，是有一些关键的节点，或多或少都受到了，我搞信息学竞赛，这个影响，其实我小时候，出生在安徽省，然后上学呢，是在安徽省的五湖市，这是一个可能，互联网上大家了解，它都是因为五湖起飞，这么一个网络用语，但它其实是一个城市，而这个城市呢，它就客观来说的话，它的教育资源，什么的可能和大城市啊，比如说上海啊，这样地方还是有一些差距，但是非常凑巧的是，我们这个城市有一个很优秀的 信息学的一个竞赛老师，他当时是在我们城市那边，做学生的时候，因为一些事故受了伤，然后失去了双手 所以这一个遭遇呢，让他最后在就业的时候，可能影响到了他，让他选择就是回到这个家乡，去当了一个计算机老师，但是因为他这个人非常的聪明，和优秀，所以他在，这个投身，计算机教育的过程中，就是他出力，他是江涛老师，我甚至跟他都没有，真正的面对面的交流过，但是我觉得，我是有从他的很多，这种贡献中受益的，就是他在我们那个城市，开设了比较系统的，竞赛的这种七次培养，什么意思呢，就是像我们小时候，会上那种奥数班嘛，就是在我们那个城市，其实是非常正规的，有信息学奥斯兰班，它就是个兴趣班，你家小宝宝几岁啊，我是八岁去学的这个东西，当时我们小孩子，也没有想太多，只是觉得可以玩电脑了，太高兴了，只要不要我去学一些 正儿八经的东西，让我去玩一些，不那么正儿八经的东西，我都是非常高兴的，所以在这个过程中，就无意之中打下了一些，后来就编程的基础，并且一步一步地，去走上了竞赛的道路，然后在成长过程中呢，我也是探索过，其他的职业发展的，比如说我大学，其实学的是心理学，最后又转成了经济学，你大学本科是心理学 [00:19:35]

武侠、板寸与背包客

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

你大学本科是心理学

柯丽一鸣：你大学本科是心理学，我是心理学开始的，对我的大一，因为美国大学，它是可以换专业的嘛，我的大一的选择的专业，其实是心理学，在学过了一些心理学以后，感觉到了，第一学的东西非常有趣，第二我实在是不太适合，做心理学，为什么，我觉得有时候，人是有一些打破砂锅，问到底的这种性格，在我身上，如果在学心理学的过程中呢，就会有一种，这个玩意儿，他说的非常的有道理，但是如果我想打破砂锅，问到底的话，我也许可以做，但是很多年以后啊，或者说做一些别的事情，不够直接，可能我们对于就是解决问题，解决一个非常具体的问题，是有一种痴迷的，所以当时又去学了经济学，就是想要了解一下，自己生活的这个世界，但是最后转回了计算机，还是那个原因，就是觉得这个，能够帮助我了解这个世界，但不能帮助我了解 我在这个世界中，想做些什么事情，所以最后还是转回了一个，相对而言更理工科的，这个计算机的这个道路，所以你整个大学，经历了两次换专业，对，然后在这个成长的过程中，能够探索其他的行业，再回到计算机，我觉得真的是因为，就是非常的感激，就是小时候有这些竞赛的这个辅助，竞赛对你性格影响大吗，其实不是很大，因为我搞竞赛的时候，还是那种比较优先的，因为小时候对我来说，只是一个兴趣版号而已，我们就是觉得，这个东西好好玩，因为刚开始学的时候，是学logo语言，它不是像现在这样，都是打文字，它是一个图形的一个界面，作为一个小学生，看到这么一个计算机，它可以画画，然后你就让它画，各种各样好好玩的画，当时就觉得非常的高兴，所以在竞赛的过程中，我对于计算机编程的体感 一直是非常快乐的，当时还有一本教材，是中学生学四语言，其实我，这可能是我这辈子，唯一就认真读完的，就编程教材，后来的话，都是网上现学现卖，因为在读这个教材过程中，作为一个小孩子，他接触编程，我觉得真的是有一种，就是思维会不太一样吧，就他会用讲故事方法，教你很多编程的原理，比如说地归啊，就是跟灯神去许愿，然后许了一个以后，让他再给你三个愿望，就我说这些东西，都非常的自然而然的，就能够融入到我的生活之中，把它有一些内化了，所以在这个层面上，就搞竞赛或者说，很早的去学习编程这件事情，对我的思维有一些影响，但可能是比较任务器无声的，我并没有感觉到，他对我的这种性格造成了一些，就是非常明显，非常突然的那种变化，你小时候是一个很乖的小孩，还是一个叛逆的小孩，是一个刚想起来很乖，但实际上很叛逆的小孩，有多叛逆啊 我都记得我，我小时候上小学的时候，第一天我爸妈不知道怎么想的，给我捡了一个板寸头，然后当时你知道小学生的话，你去一个小女生，然后留着一个板寸头，然后大家就会笑话你，我就记得上学学的第一天，我是哭着上学的，因为被大家嘲笑，而内心无法忍受，就是不知道该怎么处理，这种事情就哭了，可能是我小学哭得最惨的一次，然后当我小学毕业的时候，已经变成了学校里的大姐大，就是有什么想法，我们可以坐下来，坐着聊，聊不醒的话就把你打服，就是使用暴力不是一个很，很很很好的事情，只是在小学那个环境下，我感觉我，你能明显看到我的一些，性格上有一些那么一个不太服，的这种方面 [00:22:41]

小珺：你是怎么在小学那个环境里面，从一个第一天哭鼻子的小女孩，变成一个大姐大的，我知道别人都叫你柯姐对吧，对就是我朋友对我的称呼，从小学一直到高中都是这样 [00:23:26]

柯丽一鸣：我觉得可能，就是，学了动手，我觉得性格上有一些就是，路见不平一声吼的这种因素，在里面吧，会有一些对公平啊，正义啊这种事情的一种追求，然后也会去，在小学时候也会去想办法完成这种事情，比如说小学的时候会看到，有一些人在欺负别的人，我就会说你在干嘛，你不行我们就来打一打

小珺：你这样不行就会去，达到一种心中那种正义的状态，在你心中有什么是别人觉得，可以接受，但你觉得是触发了你，对这个世界不公平不正义的感知 [00:24:05]

柯丽一鸣：然后你要反抗呢，我觉得生活中，确实没有那么多事情，是绝对的公平，甚至公平的定义都很，模糊吧 可能不同的人有不同的想法，我只是一个，尽量在自己的力所能及的范围内，维持一种公平，有的时候，我觉得每个人也没有什么，权利去要求另外一个人，一定要按照他的想法去做，但是在这层之上，有什么东西是我觉得他还是比较有，普世价值的，可以这么去想的，我觉得 一方面是，一方面可能是，我觉得有些心痛吧，就是教育资源这个方面，当我出了国以后，会有一些感慨 就是我在国内受教育的这段过程中，其实是曾经觉得，我想上一下清华北大这样的学校，会想去考，但是因为我在安徽省，其实安徽省的话，是每一万个人里面，可能有三个人四个人，能够上到清华北大，我觉得我当时上的是竞赛班，在高中，然后也是从传统的升学道路里面，一步一步学出来的，我也不是一个特别优秀的那种，就是优秀到骨子里，就是真的非常热爱学习，花很多时间去学习的，我都是一个进在班里面，就是中等，我喜欢的事情就多学，不喜欢的事情就少学的那种学生，所以我知道我可能，就除非我转了性，然后特别用功，才有可能拼一拼，这个一万个人里面的三四个人，而当我出来以后会发现，其他一些的省份，可能确实有一些教育资源上的优势吧，比如说在大城市的话，可能会有，这个一万个人里面，有八十个人都能上清华北大 这种数字在安徽，是想都不敢想的，会觉得，是有一些资源分配上的事情，但是可能，在现在这个时间点上，更多的能够，想的是 如何通过创造更新的生产力，来，在某个层面上抹平这些公平吧，所以你觉得你不是，这种激烈教育的优胜者 我对我的同班，尤其是初中高中的，这些同班同学，抱一重高的敬意，我实在是没有办法，像他们这样的卷，因为我们是竞赛班，竞赛班上的大家，我觉得都非常的努力，都非常的知道，自己想要什么，不像我这种，从小就有点，虽然看着很乖，我是不会做一些，特别坏的事情，但是我也没有那么的乖，学习这个东西，我就学，我自己想学的就好了，所以在这种环境下，我觉得抱着这样心态，确实是没有办法和，这种特别优秀和专注的同学们相比，你小时候做最叛逆的一件事情是什么，最叛逆的事情，我觉得因为做叛逆的事情太多了，你是很难评出一个最叛逆的事情，前三吧前三名，前三名，其实我到高中的时候，又把我的头发剪成了板寸，因为当时就非常想去东南亚，去旅行看一看，然后觉得自己一个人 在东南亚可能不太安全，就把头发剪成了板寸，然后整个人打扮的，就是一个非常男孩子的样子，这样走在大街上，可能大家也会，就是该怎么说呢，就是去，可以这么总结吧，就是可能是在东南亚，背包的这段经历，相对而言是比较叛逆的，因为它是一个，没有明显的目的，也没有明显的目标，也不知道它对我的人生，有什么影响，但是就是非常的想做，但其实还比较幸运的是，就家里人也没有，那么的强烈的反对，他们只是觉得好奇怪，怎么做这个事情，保护好自己的安全，然后每天就是，不停地骚扰我说，就赶紧劝回来吧，劝回来，不要再搞这些奇怪的事情，你是高级去的东南亚，大概就是高二底，就当时其实，就是已经想着，要不要出国了，因为之前是在走，升学的这种高中，所以没有知道，自己是要出国的，就差不多是，一个很快的，一个思想上的转变 然后目标上的转变，然后稍微去执行了半年，然后突然就发现，自己还是有一点闲的时间，当时就想说要做点什么，就去了东南亚背包，因为之前非常的喜欢，有几本这个，印度的神话相关的小说，开始迷上了，这个印度的宗教的建筑，就想跑过去看一看，去了多久，去了大概两个星期，一个人去的吗，对，我一开始，但是我后面，我爸爸妈妈也来找我了，他们可能还是有点不太放心，所以你是为了去东南亚，所以把头发剪成板寸，为了自己安全，我觉得这个是，但其实头发剪成板寸，非常的方便，因为我之前在，在我成长的这个初中，高中的这个过程中，我的朋友们其实都知道，我是一个非常不修边幅的人，什么头发打理啊，梳头发，衣服的扣子啊，就是我到班上，上学到班上以后，就是班上有一些 [00:28:19]

小珺：跟我关系比较好的女同学，就会来帮我稍微打理一下仪表，因为实在是看不下去了，我在想你去东南亚，把头发剪成板寸，是不是潜在内心，是有一种不安全感的，很难描述 [00:29:06]

柯丽一鸣：但是因为会不自觉地认为，就是如果可以像一个，就是像一个外表，像男生的话，大家可能就没有那么多的，不好的想法，就可以提前保护自己 这样的想法，你觉得这种不安全感，它可能来自于哪里呢，我觉得社会中的认知，就是新闻啊，或者说很多，听到的事情 会让大家作为一个女生，觉得自己处境，会有一点点处在被，就是更可能受到侵害的这个位置上

小珺：所以就会想要花更多的心思

武侠、板寸与背包客

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

所以就会想要花更多的心思

小珺：所以就会想要花更多的心思，去思考怎么保护自己，我觉得你的选择很有意思，因为有的人我觉得不安全，那我就不去就好了，那我就是安全的，我就在家里

柯丽一鸣：那还是要去的，自己想干的事情，得找个方法把它实现，你的方法是我把我自己演示成男生，然后我就安全了，我觉得这是方法中的一种，可能是当时的 [00:30:11]

小珺：我觉得最轻松方便又好用的方法，你是怎么突然决定要出国留学的呀，你刚才也说你之前其实也是想着要考大学，突然转变了轨道

柯丽一鸣：对这个我觉得就是人生中的，冥冥之中的一个很小的决定，因为当时在高中看来是有三条路嘛，第一条路就是升学，但是刚才也说了就是在我的同班同学面前，我觉得自己就是一个渣渣，就是一种不上不下，哎呀叫我再，再花一点心思，去提升自己的成绩，对不起我真的做不到，就是，就是我没有办法做，我不相信不认同的事情，而学校的很多事情里面，有一部分我是真的，我不知道为什么要干这个事情，所以我提不起劲，提不起劲我就学不好，比如说当时我就学了一些，就可能我比较喜欢，像数学呀物理呀，这样的学科，我就觉得，我还是能够享受，这个学习的过程，剩下来有一些，像生物和化学，我相对而言就是弱一点，要背，对，然后到时就是成绩，就怎么都上不去嘛，然后学校的老师 或者同学或者家长，也会劝你说，好好加油，把这个短板给补了，你还可以冲一冲，我就想说，我为什么要加油，为什么要补这个短板，为什么要冲一冲，我不干了还不行，我不认同这个事情，所以当时有这个，思考在的话，我就很难，就是通过升学这个路去，上到像清华北大这样好的学校，然后还有一个契机是，当时，就是因为非常喜欢打游戏，就是非常叛逆嘛，就是人家在升学高中好好学习，我在升学高中，天天就是看小说打游戏，然后偶尔接触到了，一个叫雨雪的游戏，当时打的时候，每个人都有中二的年纪，当时打的时候，惊为天人觉得，哇我超喜欢古龙的小说，这个游戏非常完美地，诠释了就是古龙小说的一种互动式，应该是怎么样的，所以当时就非常崇拜，这个雨雪的创始人 Sofram Yi 然后当时因为崇拜他，所以又去了解了一下他的生平，发现他好像是清华大学的 我说这是第一次，我在一个比较叛逆的道路上走着走着，发现人家是正规科班出身的一个大神，我就那看来上清华北大，还是非常的有吸引力的，但是因为自己的这个水平，可能不太能够上上去，然后当时就想到走竞赛保送这条路，但是因为竞赛保送，当时保送还是去中科大这样的地方，中科大在我爸妈看来是非常好，一个好大学，并且离家特别近，在我看来是非常不好，因为它是一个好大学，但离家非常近，所以就，不能离家近，不能离家近，所以就想着说，想要去一些更远的地方，然后刚好当时了解到，是雨雪的创始人，他去了耶鲁去留学，我就想说我也可以，就是去留学吧，然后就跟家里人商量，然后就这么很偶然的，就突然一下在高二的，中间点转变成了，要不咱们去留学吧，因为我是一个古龙的粉丝嘛，所以他就是一种 一种想象中的一种，社会的一种剪影，而且因为这个剪影非常的纯粹，它有很多人的爱恨情仇，都定格在最浓的那一瞬间，所以在游玩这个故事场景的时候，会得到一种非常大的心理满足，这种游戏的受众会是男孩，这是我的偏见是吗，我不知道该不该叫它偏见，我觉得也许是，也许你把这个统计学揉碎了来看，说不定他的这个更多的玩家，确实是男玩家，但可能在我心里，并没有这种天生的，就是这个游戏就该是，什么性别的人去玩这种想法，他记中你的是什么呀，这个游戏，我觉得他柔和了几个，我非常感兴趣的元素，第一个是，他的美术风格，我觉得人是生来体验的，我觉得这是我对人文的 这些着迷的一个很重要的点，就是你是来体验很多不同的东西，它能够通过这个场景的设置，以色调和这些非常阴郁的，和你现在生活完全不一样的一个世界，快速地把你拉到一个，完全不同的一种可能性中，我觉得这个是非常吸引人的，就是人可能，就是寻求，就是很多人会寻求不同的体验，有些人喜欢做这个事，做那个事，我觉得就是游戏是其中的一种，非常快捷方便地把你拉到，平时你可以在游戏里面当一个，小卖铺，卖家是不是之前那个什么分手厨房，你还可以在游戏里经营餐馆，你可以体验很多不同的人生，所以我觉得这个是capture了一种，就如果我去成为一个武侠，是什么感觉，然后另外的话是，他的这个，哎呀谁不中二呢，都当时这种台词，就觉得哇好酷啊，这个台词就是 你还记得吗，不太记得清了，但我记得，也许有一些东西太羞耻了，因为已经忘记了，但是对这种，对这种，非常纯粹的情绪的碰撞 令我非常着迷，就是有一种，你背负着血海深处，你说我们在现代社会，你怎么会背负一个，就大部分人吧，怎么会背负一个血海深仇，这个就可以在游戏里体验，就当时因为，对喜欢这个游戏，不自觉地去靠近吧，就是可能潜意识里也有想过，将来有一天如果我呢，我创作一个自己的内容，会非常的开心，那看看别人这些，已经创作出，我非常喜欢的内容的人，之前的路径是怎么走的，我们也可以向他靠近一点 [00:35:11]

小珺：所以你没有想过，一个科学家的成长路径，是怎么发展，你也没有想过，一个企业家的成长路径，是怎么发展的，在构思的是，原来这个游戏制作人的，成长路径是怎么发展的，那你为什么，没有去做游戏呢，我觉得写小说

柯丽一鸣：是我创造的一种，宣泄的方式，而做现在这一行，人工智能，做研发，可能是对我这个人，追求效率的，一种体现吧，就是我骨子里，你看在大学中，换的这些专业，其实我觉得这些专业，都非常的有助于，写小说的内容，只是最后，自己发现，自己真正想做的，这种工作的成就感，有很大一部分来源于，就是我把一个，别人做不到的事情做到了，或者说别人做这个事情，我做得更好，这种思维，不好说是不是因为，在国内这种教育体系下，有一种还是有点竞争的，这种思维在里面，但确实是能从这种，想把事情做得更好

小珺：这件事里面得到回报，你到了美国以后，有发生什么变化，你有经历过文化冲击没有，我觉得有非常大的文化冲击，你的性格有发生，怎么样的塑造，我觉得 [00:36:31]

柯丽一鸣：有两点吧，第一是在之前生活的环境来看，比较的稳定，所以对周边的社会的人与人之间的关系，是太稳定了以后，你其实感觉不到它的存在，就是你是出了国以后，开始接触到了一个完全不同的社会，社会关系需要找你这个人，在这个社会中的定位，就开始重新思索，我以前好像不用做这个事情，我现在要做，就是我不太清楚这个人说话的时候，他有什么含义，因为以前你已经在那个社会里生活了很久，你就非常的自然而然，而现在到了一个完全全新的环境，不自觉地去调整，并且也使得你能够稍微，客观一些地审视之前所处的社会环境，和你这个性格，我觉得我对我性格的自我的认知，很多时候是到了不同的环境冲击下，才得以显现的，另外一部分是因为美国社会，还是一个比较注重 presentation 就是你如何去表达自己 我觉得核心一点可能是说，他们最终是想把这些孩子，培养成一个有领导力的一些人，就是他可以通过缠住他的梦想，来号召很多人，去和他一起完成梦想，这和创业者，这种企业家精神，是有一些不谋而合的，在我那个上的大学里面，是有很多这样相关的活动啊，还有包括课程里面的设置，都是在鼓励这件事情发生，而我当时作为一个非常内向的人，乍一到了这个环境以后，就有一种，哎，没办法了，只能多说点话了，要不然的话，真的不知道自己在干什么，就是不，就是经过这样的一个环境，所设置的这种关卡的，走动，开始真的变成比较，能跟别人说话的类型，如果你和高中的我说话，可能会发现我这个人就不爱说话，但是你和现在的我交流，我觉得我是在交流这方面，有了很大的提升 [00:37:38]

小珺：你有觉得，两个社会的文化的基础，有什么不一样吗，你刚才还觉得在之前的成长环境里，你能感受到很多的不公平，那你到了美国之后呢 [00:38:26]

柯丽一鸣：不公平依然存在，只不过，我觉得，中国社会之前经过，非常高速的发展，因为我后来还去英国留学 所以把中国美国英国，放在一个轴上面来看的话，会得到一个非常有意思的，一个感觉，就是中国社会，咱们父母那辈的人，可能会有很多的动荡，和机会和一些变革吧，就是大家有时候会开玩笑说，就是你往上数三倍，谁不是这个田里种地的人呢，是吧，然后美国社会呢，相对中国社会而言，我觉得是有一些些这种阶级古化的一些，因为毕竟是一个运行了200年的资本社会，很多时候这种资本的得利是比，作为一个人来得利要快一些，他们是有这种积累，而英国社会又是一个非常极端的，就我在英国社会的时候，就感觉到了这种社会，相对更加固化以后，造成的人们之间的关系，和你所处的这个社会阶层，和你的这个喜好品味的 一个非常大的影响，我觉得中国在这个轴上，可能是相对而言，在当时是最百花齐放的，那美国和英国呢，我觉得英国可能在这条轴上 相对而言是最保守的 [00:39:58]

草蛇灰线：个人经历与研究线索

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

相对而言是最保守的

柯丽一鸣：相对而言是最保守的，而美国是有一些保守，但是都到硅谷来了，大家好像又抛弃了，之前的那些旧的东西，在这里又开始开创新的东西，你看你成功从家里逃离出来了，你成功地离家万里之远，你得到你想要的了吗，我觉得在内心世界上，在离开的时候，并没有很大的目的性，说自己一定要拿到一个什么东西，是在路上才慢慢发现，自己要做的事情，并且我还是非常喜欢，现在自己投身的这个行业，和这份工作，也就是对技术是有信仰的吧，可以这么说，你为什么后来从经济学回到了计算机，去了人工智能，这个转变是怎么发生的，我觉得也是有很多巧合的因素，就命运是一条冥冥之中的线，我只能得到这个点，在当时大学的时候 在经济系读，然后就是觉得，做的事情虽然是，学的知识非常有意思，但是做的事情好像就是，把一些数字融合在一起，跑一跑报表这种分析 可能没有满足我，所以当时就是，是开始探索，就是在大学，能够做些什么别的事情，然后很巧合的是，大一的时候，去了一个实验室做研究，就坦白来说，当时的我完全，大一，对在大一的时候，去实验室做研究，大一就去实验室了，是的，很少见，对因为当时在美国，在我们那个学校非常流行，就是职业发展，就有一种，美国人的卷，就是你大一的时候，就会灵魂直问，你大学毕业后想干什么，赶紧想好，每天都要为这个东西做努力，所以当时大一就开始，参加一些什么职业的交流，就开始搞搞自己的简历，从大一就开始弄简历，我觉得我大一，好像是入学第二个月，就开始在网上到处去投简历，大一写啥呀，大一就是之前因为，就是搞竞赛，所以有竞赛同学，其实有一个竞赛同学，听我想法的，在我们高中过程中，他就做了一个小软件，还去卖钱，我当时也参与了，就帮助了他的这些开发，然后我们也拿了一些，就是小孩小家小闹的一些，就是钱让自己觉得 能从自己的技能中，获得一些回报，所以这些东西，都可以写在简历里，因为你是，就是想办法，向别人证明，就是你是一个，信得过的人，可以做很多事情，我觉得即使是现在的，就孩子们其实，也完全是有可能，就是比如说，之前欧巴尼亚，是有高中生，去发paper的这个先例，我觉得现在孩子们，完全是可能做到这点，所以当时的大一，我就去找到了，在我们学校的一个，计算机的组的实习，然后当时非常幸运地，遇到了成为我，就是学术路上，第一个导师的学姐，她叫李博，她后来毕业以后，去芝加哥大学当教授，现在也在硅谷，其实做创业公司，当时呢，她选中我的原因，我不太清楚具体的，但我猜想可能是因为，我是一个学经济学的，我挺喜欢博弈论这个东西，而当时她这个课题，是一个叫做 Adversary Machine Learning 就是敌对的机器学习，它是需要有一些 对抗了这个博弈论的思想，在里面，所以就通过我学的这个，比较嘈杂的这个东西，就跳到了，就是经过这个点的连接，跳到了一个，稍微不同的方向，然后当时在学姐指导下，就是比较幸运的，就写出了一篇paper 然后也得到了发表，所以我其实大二大三的时候，就因为有了这么一篇，就是第一作者的，这个论文发表，后面在博士申请的过程中，就得到了一些助力 [00:42:49]

小珺：博弈论吸引的是什么，你为什么对博弈论，非常感兴趣，然后又通过博弈论，去做人工智能，这个很有意思，这个连接点，感觉非常的微弱，但是它好像又存在 [00:43:14]

柯丽一鸣：我觉得就是粗暴一些的归类的话，博弈论中间可能经常会说，就是如果是两个人在玩游戏，他们是对抗的关系，那他们两个人都要做到自己范围内的最好，但是在互相对抗的过程中，他们可能达到了一个平衡，你可能可以通过一些事情来引导他们，他们的对抗过程中达到平衡是最优的，我觉得这个点，其实是很多经济现在这种市场竞争关系的一个诠释，就是你需要在市场中，大家都去卷，然后卷到最后，就会卷到一个，其实对整个社会发展，有益的一个平衡点，然后把这个思想，其实放到机器学习里面，它也是有应用的，当时差不多，应该是2016年左右，是对抗神经网络出现了，其实对抗神经网络，也是有非常多的，博弈论的元素在里面，它是需要有一个，就是生成的，可以一个评判的，他们俩就是互相在玩，这个游戏，生成的人就，打个不恰当的比方，就在做假钞 然后评判的人，就需要分辨，你做这个钞票，它究竟是真超还是假超，在这个过程中，最后可能会引导，这个生成的人，不断地去生成一个，越来越像真超的假超，而对抗的人，最后就是，当他们真的，完全无法分辨的时候，他就没办法，他就怎么靠猜，所以大家通过这个思想，就是在当时创造了一批，就是图像生成的技术，都是靠这个生成器，去生成一些，看上去像真实世界的假超，就是这种假照片，但是这个逐步对抗的过程中，这个照片就和真的照片没有差别，所以使得这个生成的照片，看上去更加的真实，所以这个博弈论我觉得应用 其实在机器学习中是非常的广，一直到今天，我觉得在机器学习的安全，和怎么样帮助机器的，不管是思考方式还是生成方式，更像人类 [00:45:01]

小珺：都是有挺广的应用的，你真正开始做人工智能的研究，除了本科做过一篇论文以外，是在博士了对吧，是的，你博士之后的学术路线，是怎么展开的，你的主线是什么

柯丽一鸣：我在博士期间也换了一些方向，因为当时第一篇论文发表的是，一个偏博弈论的这么一篇文章，所以在刚入学的时候，我以为我做的是，这个偏理论的积极学习，但是当时做着做着之后，就发现自己其实更喜欢做应用，所以后面就去做了机器人这么一个引用，在机器人过程中呢，我自己的研究路线其实是从模仿学习开始，然后最后做到了强化学习，这个模仿学习我感觉要形容的话，其实就是，就人家已经知道了怎么做一个事情，所以他给你提供了一个样例，你就想办法去超出这个样例来，这是模仿学习，但是随着模仿学习的研究的不断的深入，我就觉得有些不满足了，我觉得就是如果你永远只是在照抄别人的话，你其实不能够，现在也很经常讲不能够有创新啊，不能够有突破啊 所以就转入了强化学习，强化学习更强调的是，怎么样通过你自己的这个探索，去突破原来的这个表现 [00:46:21]

小珺：去把这个上限推得更高，我觉得这个其实也和性格，是有一点相贴切的，所以现在的我更多的是做强化学习，在你开始研究机器人的时候，当时的主流是什么样的呀

柯丽一鸣：你这个研究方向，是一个主流的，还是一个边缘的，我觉得在2017年，它是一个新兴，但博士很大众的一个方向，就是把机器学习 放到机器人上面，包括我自己去，找到的实验室的，和他的老师，他们都是更加偏向传统，这一派系的，因为机器人其实发展到现在 发展了几十年了，然后也有很多很成功的应用，比如说大家会笑话说，我们都让火箭上天，都可以在火星上开玩笑探索，这些都有用到很多机器人的技术，然后传统派系，在2017年左右，把传统派系更多讲究的是一个，路径规划和控制问题，其实这个我觉得是非常符合，我们人的一些直觉的，就是你做一个事情，你就先规划一下，我要做第一步第二步第三步分别是什么，然后把它们连在一起，形成一个完整的计划，计划了以后再由这个控制，去慢慢地给它执行，保证你在每一步上都不疏索，都能够贴切地完成，而在2017年呢，因为我是从机器学习开始起家的，所以我当时就在想说，其他有很多领域，都可以从数据中去学习，我能不能把机器人的这种聪明台，这也不是再靠我，去给它制定什么规矩，而是从数据中直接获得 这个想法呢，和我这个所处的这个传统，偏传统方法的一些实验室，就是是比较，比较小众的，在我们实验室，就是只有我一个人，做这种类似的方向，就你导师不是做这个的，我导师不是做这个的，我导师他，他是传统派系的一个，做路径规划，有很多工作，做控制，他是一个，怎么说呢，全站系的人物，就传统的机器人实验室，他是从卡莱基梅隆，那个派系出来的，他们就很强调说，你每个人都要，做全站，就是你要会造机器人，你要会知道，怎么把机器人搭在一起，这个机器人的一些，什么动力学分析，你也会做，然后你还会做对你规划，还会做这个控制，然后还会让他做一些事情，最后你在这条整个链条上面，你可以选一些，你比较喜欢的点去深入，他是很强调就是一个人，就是在一个最极端的情况下，是可以一个人完成几乎所有的任务的，所以他在培养学生的时候，也是照这个路子走，就我其实很感激 就他对我的这种培养，让我觉得我对机器人的上下游的一些事情，是有一些了解，就不说都深入吧，但至少就是差不多凑合是能用的，然后在他的实验室里做机器学习，我觉得他的态度也是非常有意思的，因为当时机器学习刚刚开始，就大家做的事情还非常的，就怎么说，就是比起传统机器人都能够上天了，你这个机器学习刚刚起步，做的什么任务，看上去其实也比较的幼稚吧，但是当时导师在交流的过程中，就是忌讳给我指出，就是很多现在做的这些任务，其实以前都有人有更好的方法解决，是这么解决的，你要去学习一下，你要在机器学习的这个，做的过程中，同时也就是知道，以前的人是怎么做这个方法的，就他给了我很好的这个台阶，让我去在他基础上去学习，同时他也会 就让我有一个比较开放的一个想法，就是我会把很多机器学习的想法带给他，然后告诉他，我觉得就不停地在这种，一问一答中对抗的 [00:49:50]

草蛇灰线：个人经历与研究线索

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

一问一答中对抗的

柯丽一鸣：一问一答中对抗的，就搞明白了，就是我为什么这么相信，机器学习在机器人，因为传统方法中的这些，我觉得是太依赖 expert专家的这个东西，我们机器学习，我觉得一个很大的使命，就是让专家，从这个机器学习的

小珺：这个中间消失，就是机器可以自己学习，就这是一个使命，你的导师是那个Seed 对吧，对，你如果是一个，机器学习的信仰者，你为什么会进他的组呢，以及你是怎么开始 [00:50:14]

柯丽一鸣：对机器学习，非常感兴趣，就是这种，对这种数据驱动的，机器学习，因为懒，因为这个事情，其实有点有意思，我觉得知其然，不知其所以然，是一个非常微妙的，一种状态，可能大家，有些人会，在有些，在有些问题上，大家也会想要，打破砂锅问到底，但是，在优化问题里面，大家都很想优化，我觉得性格上，是有一个想要更好，更强的一个部分的，在优化过程中，有一类优化问题，就是黑盒优化问题，就是你也别管，你也别问，它到底怎么样，就给了一个非常好的解，反正你只要知道，你如何设计一套系统，让它能提供一个，比较好的解，你不需要知道，这个系统最后是怎么运行的，其实这也是我觉得 2016 17年左右，就是自然语言系的，一个很大的争论，就是传统的自然语言，会使用，比如语义啊，结构啊，就是这种更贴近人，是怎么理解，语言是怎么运作的，就把语义分成，很多不同的部分，是需要很多专家，去了解，学会，然后再想办法 把它自动化，喂给机器，而后来的数据，驱动的话，就是完全，也不能说，就是没有受到，之前工作的影响，但确实它的运作方式，彻底的改变，变成了，从数据中直接学，中间的这些步骤都可以略掉，就变成了端到端，我觉得机器人，可能也是要走一下这样的路，那你为什么会进一个传统的组，没有选择呀，因为当时机器人不是一个，特别流行的一个选择，在2016 17年，其实机器人的发展历史的话，大概也就是50年，而且机器人是一个，非常非常烧钱的一个领域，当时我们的一个内部笑话，就是看隔壁一个非常牛逼的，自然预言的老师的组，他是耶金卓，他其实做了很多，就是common sense 就NLP的贡献，当时他们那个组 2017年就开始，做了很多数据集，然后说就从来没有人，烧这么多钱在数据集上 我就说数据集，烧了多少钱 20万美金 20万美金，我的天哪，你在这边买一个机器人，要多少钱，你知道吗，你这个机器人坏了以后，修了多少钱，你知道吗，所以多少，当时2017年，隔壁组有一个shadow hand 50万美金还是100万美金来着，然后修了以后，就大家自己，在大家现在让这些博士生宝宝，现在这个屋子里面，先想办法修好，不要把它翻厂，一翻厂就是十几万美金，就当时还有Barry Tan的也是，就是一个就多关，也不是多关节吧，就是一个三个指的一个，省区的一个手，当时是十几万美金一个，它坏了也是修起来，够强要半天，就当时的这种硬件的成本，和这个需要一些专家的，这个知识的支持，使得当时我觉得，机器人不是一个特别流行 [00:52:17]

小珺：然后人数也比较少，非常昂贵，对，当时都买什么硬件，当时逐渐开始有人买 Franca这个硬件，因为当时Franca 就是我们是相对而言，最便宜的，你现在这个时间点 [00:53:06]

柯丽一鸣：看Franca你也觉得好贵，怎么这个，我忘了当时，拿的价格是多少，但是反正就是几万美金，它就号称是最便宜的，现在还是有人用Franca 因为我知道之前Franca 被一家中国公司收购了，还挺唏嘘的，就是大家也不知道，以后Franca会不会，出了一个中国版，可能就几千美刀，说不定就可以了，因为现在很多，中国的硬件，应该都是在，就是一万美金左右，上下的价位吧

小珺：就是单纯从，手臂的角度上来说，其实还不到十年的时间，对吧，从你开始读博到现在，是的，你是哪一年读博的，我是17年入学的 17年入学，其实这里我们也讲到了，机器人历史，你们从你的视角来，给我们回顾一下，你说的这个过去 50年的机器人的历史，对我的视角可能不完整，就我就尽量复述一下，就是我感受到，或者我接触到的一些，比较有代表性的研究人员

柯丽一鸣：我觉得机器人的发展是，可能绕不开，第一个就是，卡纳基美工大学的一些发展，卡纳基美工大学是，有一个自己的，机器人研究所的，这个研究所大概是在 79年8几年的时候，开始建立，所以至今大概是 40多年的时间，当时就是他们开始研究了，怎么样让机器人，就通过感知去看，然后做一个决策去动，所以我觉得这个，看加动的这个结合，是从他们开始，就是慢慢地变得，非常的popular 就是非常流行起来，然后当时他们也发展出了，很多不同的分支，就不管是，就是让机器人，能够去决策以后，就把它放到真实的环境中，去做一些灾后救援，还有当时就是 2000年左右的，这个自动驾驶，当时CMU 凯莱金·梅隆大学，在这个里面一鸣惊人，就突然一下，就大家都觉得，自动驾驶可以开始做，就当时04.5年的，这个DARPA 就是国防部的，这个自动驾驶的比赛 刺激了后面很多的，自动驾驶公司的，大概06年那块的创立，我觉得这个也是非常，非常有激励的，然后后面的话呢，凯莱金·梅隆大学 我觉得有发展一些，就现在对我们最相关的话，可能是，就是，有一些机器学习的学者，也有一些操纵系的，就是manipulation 就是用手，就机械手去做一些事情的学者，也有一些是，就是研究如何，机器和人的生活中共存，其中可能比较有代表性的话，就操纵系，因为他是，算是我的祖师爷，所以对他的了解要多一些，他的名字叫Mac Mason 他现在是，还在互联网上活跃，他有一个个人的博客，会写一些，就是他对操纵系的看法，他其实最有名的一句话是，就是他觉得，我们现在强调的很多灵巧，他觉得是，不是从你这个手指，和你的硬件的关节构造，而是从你这个大脑，如何去操控，一个即使很简单的一个结构，也能做到一些很复杂的任务，他觉得灵巧的关键，不在于这个手本身，而在于大脑，我觉得我的研究，也有很多受到他的影响，因为我在博士级别，你就是筷子机器人，就是用一双筷子，做几乎所有的事情，是我当时的一种想法，然后他当时带出的学生，也就是我的导师 就是Sid Srinivasa 所以他，就Sid的话，他会做了很多路径规划，就也是做了很多，就是有一个什么，机器人酒保，就是你怎么样去拿一些，不同的就杯子呀，或者可乐，然后再把它递给人，这样的一些研究，然后除了这个派系以外，当时卡拉基梅隆发展，当时那个腿啊，和生物的这些机器人，是有很多人研究的，就是Matt Mason 祖师爷他还有另外一个弟子，叫桑贝，桑贝他做的就是一个生物狗，就是当时MIT Cheetah 就是他开始做，他在Matt Mason这里学，但他其实并没有，就做操纵系，他就去做一些，就是生物激励的一种形态，所以他就做了狗，他去MIT当教授以后，就做出了这个Mini Cheetah 这么一个非常有影响力的工作，可能说是，现代的这些机械狗的奠基人，然后其他以外，然后做腿的话，还有一个比较知名的学者，可能就是Mark Rebert 他是Matt Mason的同期，他去做了波士顿动力，也是先做狗，但是他走的这个路线，可能是传统派系的一个极致，因为当时他做之前的话，大家其实觉得，就很多事情是受到电机的限制，他就想做非常好的电机，能做大家想都不敢想的事情，他确实做到了，我觉得他做的这个，在忘了是什么年份了，但当时他作为，实际上第一个，就是能够红红翻的机器人，告诉大家这个事情，其实能做，影响了一批的学者，然后我觉得，所以你是CMU这个派系的对吧，我觉得虽然我不在CMU读博，但你可以看到就是我的学术族谱，是很多受到这边传统派系的影响的，然后在另外一边的话，我觉得派系上可能还有机器学习这个派系，因为机器学习的话，我也不清楚就是更早的事情 可能明斯基他是一个MIT的学者，他可以认为是现在机器学习的一个创始人，但是在我这个年代，当我开始学习的时候，我们进行学习的入门教材，都是看NGO NG 吴恩达他的在线的网课，这就是我大学时候，去了这个实验室，在融入智能里面，他们好像也属于两个派系，其实可能是的，但是对我来说，就是更早的事情，可能我都没有那么多的关注了，就在我看来，我能看到到的部分就是，我们就是1915年，开始做人工智能，那就是学姐就告诉你了，这是一个教材，先把这个教材读懂，搞会，就开始跟着吴恩达的网课去学习，然后伍文达的一个博士生，是Peter Abue 他是应该是最早的一个，把机器学习放到机器人，这个领域上的一个，比较先驱的教授，他现在是在博克利做教授，也是依然是一个火热的研究员，他现在应该也同时在亚马逊，担任一个 把他们这个研究部门的，一个领导的一个职务，然后Peter Abue他当时做了，好像是做了一个，就是会飞的这个飞行器，然后他有了搭载了这个机器学习的算法，因为他做的这个工作的年份比较早，我现在其实对他更多的了解是他后来的学生，就是Sergey Levine 他的工作，我觉得Peter和Sergey这两个人可以说是把强化学习，在机器学习中就是比较发扬光大的，因为他们的这个发表的数量非常的多，然后Sergey呢现在也是我在派的，算是我的汇报对象吧，他是创始人，对他是派的创始人，派的创始人，对他也负责了很多，我的派现在，做很多强化学习的工作，所以是和Sergei一起做的 Sergei当时在，就很有意思啊 Sergei他自己 PhD学的其实不是机器人，是Graphics 是做这个图像的 [00:59:07]

机器人江湖、族谱与主角

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

是做这个图像的

柯丽一鸣：是做这个图像的，然后当时在Peter Abel手下，读博士后的时候，才转型，就我还挺欣赏，就是大家从一个领域，做了以后，就转型到另外一个领域，我觉得你能转过来，或者你想转过来，肯定是有很多你的想法，所以Sergei当时，应该是有很多想法，他就做了强化学习这些课件，其实当我开始，读博士的时候，我对于机器学习的很多，就是没有什么教材，都是看Sergey的视频，然后看他们的一些讨论，包括看他的论文，然后看他们组的一些对话，来学习的，然后Sergey他，后面也有他的合作者Chelsea 就Chelsea和Sergey 都是派的联合创始人，我觉得他们两个，都是对现代机器学习，到机器人应用，做出了非常多的贡献，就不管是

小珺：就是学习的算法，还有包括就是硬件的设计，都是有很多贡献 Sergei和Charles 他们是什么共识关系，此前，如果我没有记错的话 [01:00:43]

柯丽一鸣：应该Sergei是Charles Sometimes Collaborator 或者slash办一个advisor 应该可能也许就是Charles的Postal 是和Sergei读的，然后他们后来一起创业了，做了派，对他们俩之间的学术关系非常好，就是我觉得他们俩非常的同频，在公司他们其实也是，经常在一起讨论问题，这两个人有意思吗，有什么有意思的观察没有 Sir G is a 科幻小说重度迷，我不知道就是别人读派的paper 有没有发现，就派很多paper上面，会有一个来自科幻小说的，一个引用，全都是Sir G写的，就他就会，他会会会会去思考这些事情，然后，有人说过他非常会写论文标题，是的，我觉得他是一个，讲故事非常强的教授，同时呢他，就是内部笑话，可能就是说 Sergei就像Sergei GPT一样，在这个人工智能切GPT出现之前 Berkley的人就已经用上了Sergei GPT 你的论文写的怎么样，把草稿就直接发给Sergei Sergei就给你了一个，就是超级polish 超级好的一个版本，返回给你，而且又快又好，就像切GPT的前身版，到只是切GPT出来了，它也不能和Sergei GPT 在论文修改方面相提并论，这是一个笑话吧，然后强碎的话，它是一个非常discipline 就非常，就每天他都会，四点钟洗床，然后去游泳，然后有一个小时，就他是一个，对自己的一个生活，我觉得非常有规划，非常inspiring 而且他是一个，我觉得有动物性直觉的，一个人，就是和他聊很多，就机器人的具体的，一些动作和表现，他有非常多的，就非常快的一个，就是说他觉得，这个事情是什么样的，然后这个里面，有非常多的这种，直觉性的推理，能够感受到，就是他对这些动作，任务有很深的认知，比如说呢，工作直觉性的推理，比如说，有一段时间里 乔西是负责管派的，这个数据收集的，他对数据收集，到底在收集什么样的数据，我觉得他有很深的理解，其实后面谈派灵的时候，也可以多说一些，派灵的很多任务，是有乔西在后面推动，就是他觉得能做，因为当时其实大家，是不知道能不能做的，所以他们俩是互补的吗，我觉得可以是，可以是什么认为的 [01:02:45]

小珺：他们的工作关系，这一派别还有其他人没有，刚才说了温达，以及他的演示，我觉得现在的机器学习，机器人其实挺百花齐放的，然后包括 [01:03:07]

柯丽一鸣：有另外一些派系，比如说就从飞飞，他带了很多学生，也投身了机器人的研究，比如说可能现在这个时间点上，大家比较看得见的有，朱宇可和金范，他们现在是在，都是飞飞的学生都在领导，毕业以后都，就遇可是当了教授，然后现在他们在领导，这个英伟达的Gear Lab 在英伟达就是主管，就如何做机器人，然后包括我觉得现在，其他就是华人学者，比较有名的，可能有宋舒染，还是我非常尊敬的，一位女学者，然后宋舒染，其实之前她做，他们有做这个，做这个Diffusion Policy 是舒染组出来的，然后ACT和这种Aloha 是Chelsea组出来的，我觉得这个都是，对现在的机器，学习机器人的形态，产生了重大影响的，里程碑式的paper 然后其他的，还有CMU派系，其实也有很多，现代的机器学习的人，我觉得可能，比较visible的，应该是两个人，一个是Dipak 还有一个是Abhinav 其实Abhinav是一个，资历比较老的教授，他是之前做，这个视觉出身，然后他有非常多，天马行空的想法，我跟他就之前，短暂的合作过一阵子，就几年前，我就感觉到他是一个，无法预测他下一秒会说什么，然后有的时候，我觉得他看的东西，就非常有创造性，比如说他其实很早之前，就想做一个就是自学习的，一个机器人，比如他当时做视觉就说了，就是视觉我们经常说，只能受到数据的限制，那咱们就做一个，就不要数据限制，我们就把它放到机器人上，让机器人去户外去各种收数据，这样不就可以打通，就我觉得他做的东西，是有一种，就是几乎野生般的说，就是将来最后，可能还真就是这个形态，这种感觉 然后包括它其实，就大家现在可能更熟悉 UMI 就是作为一个，机器人说数据的一个手段，其实很早之前就是 Abhinav也做过另外一个，就是叫做，我忘了它起的是什么名字，反正他当时就说，我们去亚马逊上，买一个五刀一个的东西，这个东西呢，就是一个，就是很长的一个杆，然后这个杆的末端，是一个小夹爪，然后你按这个杆，它就会夹爪，把它夹住，他说我们就是这个杆，去收这个数据，跟现在的优美，又一举同工之妙，然后当时 Deepak是后来加入CMU的 Deepak他其实之前，做过Curiosity 就是好奇心驱动的，强化学习，所以他其实我们在，谈他的这个，以前的工作的时候，更多是把他归类到，做强化学习很出名的，这个学者之一，然后Deepak和Apinam 现在是共同创造了 Skill的 [01:05:09]

小珺：也是硅谷非常，有影响力的，一家机器人公司，也是做巨神智能的大脑，他和你们一样，都是做大脑的，对，都是做大脑，创业公司，然后还有一些大公司，也在做大脑，对我觉得是，你很有意思啊，你是从前面这个，控制或者叫传统派别，跳到了这个，机器学习的派别，对吧，然后现在机器学习的派别

柯丽一鸣：似乎是硅谷这些，涌现出来的创新公司，更多的人，现在好像是主流，这一波最流行的是，机器学习机器人，但其实我觉得，这个博弈关系，肯定历史上，一直在发生变化，对吗，就是两派，你讲讲这个，我觉得历史上的，关系的话，就机器人其实，大家做了这么久，而且我相信，很多做机器人，都有信仰，就是什么东西，能让信仰成真，不同的世袭，都有不同的，大家叫hype吧，就是这一波，可能是机器学习，也是我们现在，投身的这一波，之前还有一些，做slam的，是包括我觉得，之前做自动驾驶，也是算，然而更多之前，还有planning control 做到极致 [01:06:21]

小珺：我觉得波生的动力，也是一个代表，就这些都是不同的，思想的膨胀，要将把这件事情做成，在你入学的那个时候，前面这一个派别，是占居更主导的力量，应该是 [01:07:01]

柯丽一鸣：我觉得当时去，当时去传统机器人的一些大会，比如说像IROS 或者ECRUSH这些会，发paper 发论文，就觉得大家做的跟我做都不一样，我们做的算比较小众的东西 那你有想过转过去吗，因为你导师就是做这个的，这倒没有吧，我觉得我相信，我做的东西，所以我做起来快乐，所以我相信，我们做的这个行业，即使导师，他会有的时候会，就是批评或者指出，还批评你什么呢 比如说，比如说，有一部分机器学习，当时就是还比较受限嘛，算法比较受限，他就在模拟器里，跑得比较多，他在真机上面，就不是很，能跑得起来，导师就说，那你们这样，就满足的话，是不行的，就不够好，你看我们传统的拍戏，所有都能上真机，你要把你们这个东西，放上真机，我觉得它是一种，就是指明了，就是发展的时候，该如何思考，到底怎么样有用，这件事情上面，走得比较早吧，因为可能，对当时还是一个，新兴的领域来说，如果去一个，专门研究新兴领域的时候，可能没有那么多的，去想落地，想怎么样表现好，这个事情，但是因为导师，是从传统派出身的，他们这些衡量指标，很多影响到了我，你们两个会有一些争执吗，经常会啊，因为，信仰不一样，信仰不一样，想法不一样，包括像我们这种，喜欢偷懒嘛，你看我做机器学习的 一个很大原因就是，如果一个事情，我不需要理解它的原理，我就能做出来，我还是做出来，对不对，老师就会觉得，这个不优雅，而且就是没有什么保障，我说优雅我们保证不了，当然保障，我们可以再多做一点研究，看看能不能给它再搞上保障，所以它是有一个本质性的，就是对于解决问题的，一个方法的喜好吧，我觉得我就是那种，黑猫白猫扎到老鼠，就是好猫的这一类，所以什么黑核优化，我说黑核优化非常好，你只要只要你能够，把你这个任务定义的非常好，咱们就黑核优化，老师会觉得，你这个利益的这个作用，这什么摩擦力的建模，你都不太懂，你怎么就在做这个任务，我说说不定这个任务，不需要你懂这些的，我们的目标就是让很多，不懂这些前置知识的人，都能把这个任务做成，就怎么样让这个信息的流动，变得更加的轻松，是我觉得我们的一个主旋律，所以你很大的一个驱动力，是实用 我觉得是使用，而且是一种信仰，就怎么把它做出来，我要在当下时间点，选一个我觉得，最有可能做出来的方法，我不太相信传统方法里面，我觉得就是，我们应该都能benefit 就是从传统方法中受益，但我不觉得就是，我们就用传统方法就够了，我觉得这个是，大家其实是比较有共识的，就是它如果把所有的问题，都抽象为一个，投入和产出制造曲线的话，传统方法是一个，你投入多少，你才产出比较清晰的一条线 [01:09:29]

机器人江湖、族谱与主角

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

你才产出比较清晰的一条线

柯丽一鸣：你才产出比较清晰的一条线，因为当时机器人动物，机器人比如说，不神的动力吧，他们做这个后空翻，是非常非常非常牛逼的，因为当时都没有人敢做，也没有人敢想，但是他们做出来的，但他们代价，是很多很多的工程师，不停地去挑适这个参数，去适配他们想做的这个任务，去做到他们想做的这个效果，你再做一个新的任务，你还是得有这么大的一个投入，才能把它做出来，而我觉得机器学习的算法，就是第一，是我们不要工程师来做，对吧，我们就是通过各种各样的设置，然后算法自己来做，你作为一个工程师，你的工作量就小了，比如说现在的这些，很多比较酷的，这些跑酷的这些视频，可能就工作量和那个年代，就不可同日而语了呀，然后第二个就是，一旦一些事情，就是需要更少的人力去做以后，我觉得就是交互，也会发生变化，怎么样让普通人都能够交互，比如说现在这种 AI智能体的发展 我觉得可能刚出现的时候，还是一种比较小众的，你要用，因为它有时候不好用，你要做一个专家，知道怎么去用，才能用得更好，我觉得机器人现在，也有点处在这个状态，就是很多时候，可能可以跑，但是你可能需要专家，来大概了解，它跑的一些问题是什么，然后提前做一些修正，才能跑得更好，但我觉得总体的发展趋势是，让一个普通人 [01:10:54]

小珺：也可以非常自然地，去和这个智能体交互，得到他想要的一个结果，我一个地方比较好奇，因为我觉得，在传统派别主导下的，机器人发展，当时吉大成的，一个构型好像是狗，这个是为什么呀，当然我相信他们肯定觉得，狗不是最终的那个构型，但为什么那个时候，之前大家都觉得，应该去做一只狗呢，这个我真的不知道，得问桑北 [01:11:13]

柯丽一鸣：但是我觉得，看到一个狗跑起来，我作为一个机器人的从业人员，我也觉得有非常的受到启发，而我觉得这一波，就是大概在17年到20年吧，因为我们的，在华大有很多不同的实验室，有隔壁实验室，他们是做狗做的很多的，就狗作为一个硬件平台，它的可获得性，相对而言还不错，其实我觉得可能比机械臂，还要好获得，为什么，就是操纵系的一个绕不开的难题，就是刚才导师说的这些问题，就是我不知道这个摩擦力，就其实每一个物体，它都有可能不同的摩擦力，这个话筒呀，我们自己的衣服呀，还有这些褶皱呀，就千千万万的事情，就很难去建模，然后如果用传统思想，去做的话，你都要建模 你不清楚你的行为，会有什么后果的话，你怎么能把这个问题解决，我觉得是传统的一个，比较大的思路，也是一种就是模型，就是叫物理模型，做的算法的一个思路，而狗的话，它的这个接触，更多的是一个顺势的，就是我这个腿，在这个地上跑，我就要碰一下，然后很多时候，它是不太需要你，详细的去搞明白，就是我的这个腿，在这个地上的摩擦里，所以我觉得这个问题的需求，就是狗可能需要，更少的这个物理知识，而操控器需要，更多的物理知识 [01:12:33]

小珺：所以造成了，就是操控器，做出来比较好的东西，相对而言，狗而言可能要少一些，我们刚刚讲了，这两个派别嘛，机器学习，什么时候开始占据主流的，是从哪一年，是这个转换点，你是什么，哪一年从本来，许愿是一个小边缘的，一个方向，然后变成相对大家，更运投资源，更关注的一个方向，我觉得，身在此山中 [01:13:07]

柯丽一鸣：很难讲清楚，但是，差不多就是，疫情那会儿吧，第二第三年的时候，我当时，刚加入实验室的时候，做了一些，比较偏理论的工作，然后也是在，模拟器中跑，所以导师就说，在模拟器中跑最好，有什么用呢，要上真机，我就大概在 18年的时候开始，就从头弄了一个机器人，就做了一个筷子机器人，是我买了这个组件组装，然后搭起来，然后给它写系统，给它写序列，我让它跑起来，后面还给它做了很多建模的工作，然后当时开始做这个，做的有一些成功了以后，就把这条路打通了，那实验室的人可能就能够，同学就是交流就能看到，就是说，如果有一个新的方法，它有可能成功，我们在做我们的问题的时候，就要去积极地去尝试，拥抱这种新方法，所以当时实验室里，其他人的项目，都或多或少，也不是说我直接参与，可能都给他们一些反馈，就是说实验室里，有一个人在做，这个喂食的项目，可能就是说，有些人他生活 不太能自理，我们怎么样，就是通过一个，机械的一个轮椅，他搭载了一个机械臂，他可以去给这个食物，来给你喂食，他们本来的这条流程，是非常传统的，就是你先搞明白，就是下面要吃一个果切，这个切了一半的果子，在哪里，它的路径是这样，我们路径规划过去，然后一个什么样的路径，把这个果切插到这个叉子上面，然后再一个什么样的路径，给它喂到这个人，就这一套思维比较传统，但是他们是有一些，可能一些限制的，比如说这个果切的位置在哪里，他们是依赖于这个计算机视觉的，后面他们就会想说，那机器学习在机器人上，可能可以做的话，我们可不可以把这一端，就不光是用一个，视觉别人训练好的神经网络，我们也积极地去尝试，就是让这个机器人自己去，机器学习一样去设置，就是去学习，或者发现一些更好的路径了，所以逐渐开始，我觉得大家也会讨论 [01:14:29]

小珺：就是应用到不同的问题上的可能性，逐渐开始就接受，你当时为什么会做一个筷子机器，为什么喜欢这个动作，当时，我，我忘了是怎么回事 [01:15:23]

柯丽一鸣：就是跟导师谈聊天的时候，就突然就发了一条暴论，就是说我用筷子能做90%的问题 90%是桌面的问题，还是什么问题，就是夹和放这种问题，我一直是，之前是有一些觉得，筷子好难，筷子只有两个指点，对，就是因为我觉得，用筷子能做的话，其实如果算法，在筷子上都能成功，那它说明在其他方法上，可能更容易的成功，就是要做，就做一个非常难成功的东西，把它做成功，我觉得剩下的，就可能就是一些工程问题，就是这种，做研究的思路，也是我自己比较喜欢的，就是你做一个非常难的问题，然后当时就是，就跟导师聊天，你也知道，我们这个派系，其实是非常相信，简单的机械手的，比较优雅，比较优雅，所以当时就，他打了一个赌，就是说，好像不是不二吧，就问他说，我想做一个自己的机器人，他就说，你想不想跟别人一起做这个，轮椅机器人，我就说 轮椅机器人虽然很好，但是，他们的这套系统已经写完了，这个系统太传统了，我觉得它不是很适合，我想做这个机器学习，我想自己弄一套东西，他说那要不你可以，自己从头搭一个，你想搭什么，对吧，然后我就看了一圈，我就说，我们要做一些操作非常难的，就是比如说之前，美国电影里面，其实是有什么筷子加苍蝇，这种就是对中国武术的，就是无限畅想，所以我导师他是一个印度人，他就说，搞一个这种，你能把它做出来，就可以毕业了，我说那就好，你就开始干，然后就从这个实验室的，这仓库里面捡了一个，就是别人其实之前用过，后面就没有什么人用的，一个机械的一个组装部件，然后我们就可以，自己自由组装，我其实很喜欢这种自由度，所以开始做起了筷子机械人，后来做到什么程度了，后来做到什么程度，我觉得应该，就比较有代表性的工作，有两点吧，就第一点是做模仿学习，就当时就是想办法，让这个块的机器人 做一些非常非常精细化的，模仿学习的任务，其实背后的，就是想法是这样的，就是机器学习，它是一个天生就带有，泛化性的一个，希望的一个东西，就是大家都说，如果机器学习在问题A上能成功，那它就能够比较无缝地，衔接到问题的二三四五六，但这个时候传统派的人，可能就会说，你的问题A解决了吗，你的问题A做到了什么效果，就是如果机器学习的终点是，一个什么都能做，但什么都做不好的机器人，这显然是不够的，所以我当时就想说，那我就先在问题A上面，把它做到极致，当时呢，我搭了一个机器人，不好意思，我们是手工搭的，也没有针对很深厚的硬件背景，所以它显然不是，就是按照传统的人来看的话，不是一个最好的机器人的形态，然后里面的很多这个力啊，还有调的，可能都没有调得特别好，我当时就说，如果我们用数据驱动的话，我就偏要在这上面做出来，因为我相信数据驱动，因为数据驱动 一个很大的一个验证点，就是当时我搭完以后，我就跟老板说了，这个东西一定能做出来，为什么呢，因为我虽然用这么一条，不是很准的一个机器人，但是如果我作为一个人，去遥操纵这个机器人的话，它再不准，我都能让它做到筷子加小球，这么一个，就是我们老板，他也不那么会用筷子，他自己用筷子，他都做不到这个，但我可以操纵了，这么一个不准确的机器人，去做到这件事情，我就跟他说，你看硬件已经搭完了，然后硬件你觉得不太好，有点嫌弃没关系，只要它的这个操纵算法，是和我一样聪明的操纵算法，它就应该能用这个筷子，去夹起这个小球，即使它的每一个关节上，都有一些，像蹭字不起的，乖乖的一个挑仓啊，或者一些back class 这种就不太准确的东西，所以当时就打了这个读以后，就第一篇工作，其实是2018年19年，就做出来了，可以用筷子去夹这个小球，虽然这个问题，这个做出来的方法，是有很多的 就模块化的东西，现在看来都有点过时了，比如说当时是需要有一个，外在的一个系统，去搞明白小球在哪，然后在这边，再极致性的去抓那个小球，现在可能都更加的断道断了，然后做完这个工作以后，就跟导师说，我觉得不够，因为我夹的还是慢了一点，毕竟我是咬操纵这个机器人，我就时时刻刻在调动，调整自己的动作，就我是在尽力的，就花费了好多的精力，去给机器人提供一个，非常高质量的数据，让他能够更好的学习，但这样的话太累了，我们懒人怎么能做这种事情呢，我们要让他自己去探索，去发现怎么样超越，我给他的这些数据，让他做得更好，所以后面的话，工作重心转到了强化学习，开始做了，让机器人去，在现实生活中做这个事情 [01:19:13]

机器人江湖、族谱与主角

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

在现实生活中做这个事情

柯丽一鸣：在现实生活中做这个事情，不断地去练习，通过练习归因，来让他变得更好，我觉得这个是有点像可能，之前会看一下奥运冠军的访谈，又看他们的训练，又来激励自己就觉得，就做一些，要想做好一件事情，尤其是这种动作性的事情，你确实就得适配，去搞出一个策略，它最适合你的这个机体，并且就不断地锻炼你的机体，让你就是刻出一个，肌肉记忆嘛，对人来说，对机器学习来说，我觉得其实就是一个，强化学习的过程，所以你是做了，这个筷子项目之后，才去转向了，强化学习把中心，对我就是从理论的，机器学习开始做，然后不太满足于理论，想做应用，然后做了应用以后，第一个算法，其实是一个模仿学习的，中数算法，只能在simulator里，在模拟器里跑一跑，然后后面不满意，做了真机，做了真机，开始做某某学习，做强化学习，最后这个强化学习的工作，其实可以，在空中有一个，非常会晃动的小球 人夹都有点难度，但是我可以用这个机械手，去给它夹住，因为它是一个，它还是可以夹一个玻璃球，这种准确度，就这种准确度，确实比一般的，机器学习的任务要求，已经高出很多了，我们后面还会再来聊，强化学习，我们现在先回来 [01:20:52]

小珺：讲讲继续讲讲 [01:21:08]

柯丽一鸣：他们互相之间有鄙视链，或者某种程度的，价值观的冲撞吗，体现是什么呢，我觉得鄙视链，我觉得大家可能或多或少，都是有一些觉得，你做你最相信的东西，别人的东西

小珺：你可能没那么相信，你相信的话，你就是做了，这种感觉，因为在今天，可能machine learning 已经变成了一个，相对来说共识了，我不知道在当时，他们真实的状态，是什么样的，以及你说

柯丽一鸣：机器学习和传统的这种方法，哪个是更优雅的呢，这个评判标准是什么呢，我觉得优雅是很主观的，在当时那个年代，我记得就是在我读播过程中，我们是从一个比较，比较新兴的一个分支，逐步变成了一个，大家比较愿意接受的一种算法，在当时是有一些质疑的声音，我觉得他们质疑其实也非常的正确，他们问的是一个基于事实的，比如说，你什么东西都能做，但什么东西都做不好，那么要这个算法的用处，是什么，这是一个，我觉得在当年，非常有意义的一个concern 就当时大家做很多东西，你往前看的时候，是不明白，往后看的时候，可能才发现能够，溯源到某些代表性的，或者有贡献的作品，而当你决定，下一步做什么的时候，你达到这个目的，我觉得我自己的研究吧，起码是有受到 这种思想的启发，就是我想让基金学习，在一个问题上，至少能做到极致，这样别人在，把它犯坏的过程中，可能会有一些比较简单，因为它可以从我的这个经验中，直接放到别的任务上，泛化和表现的冲突，还是最核心的一点吧，即使到今天，我觉得这个质疑，依然没有完全消失，甚至包括我们作为从业人员，也是在一直思考，一个传统的机器人的一个链条，在工厂，比如说造车，你要把这个，用一个很大的机械臂，把这个玻璃给放到这个车上去，这是一个传统，已经做得非常成熟的，成功率稳定性速度，都非常有保障的一个问题，你现在用细学习，拿到的这种算法和表现，和传统相比的话 可能暂时还没有人能够说，我们这个鲁邦性，是和传统那么一样的话，我觉得直到今天，都还是一个研究的，前沿性的一个问题，然后另外可能，当时我觉得还有一个，比较有意思的就是，我不知道你有没有听说过，一位学者叫吉坦治 Jetandra他是Berkeley的一个，做computer vision很有贡献的教授，他之前说了一个很有名的话，这个话太好玩了 Robotics is far too important to be left for robotists 就是说机器人太重要了，我们不能只让搞机器人的这帮人来搞，我们也得搞 这个话其实有很多不同的诠释方法，一个不太友善的诠释方法，可能是说机器人太重要了，这帮搞机器人都不行，我们上才能把它搞出来，但我觉得也有一个，比较友善的诠释方法，可能是要想把机器人搞出来，必须得有不同行业的人群测群力，我觉得这对当今的，机器人大模型发展，是有启示性的，比如说，我是一个比较传统的拍戏出身的，我可能很多会关注这个动作 机械本身，还有这个表现的精益求精，我也会做算法，但是在我的领域之外，有很多这种做这种视觉的人，他们有一些更多的，就是如何引入更多的数据 如何训练更多数据的经验，包括做这种大语言模型的人，他们有更多的大模型学业经验，我觉得机器人的成功，一定是一个各行各业都放到一起来，就是有软件算法，有不同的行业的训练，有大模型，然后也有硬件，甚至包括这种产业链，才有可能把机器人做出来，你说的这个传统派和，继续学习的派系，他们在美国的这个分布，是有聚集效应的吗，偶然性的是有一些的，因为西海岸这边，就是斯坦福伯克利，这个硅谷的，旁边的两家大学，都是有很多machine learning的，我觉得东海岸也是有，但是东海岸的传统派，可能更加的根深蒂固一些，就是从最早的派系发展，当然就是现在的，卡拉吉梅隆和MIT 这两所学校，他们有很多传统派的学者 也有很多就是新兴的学者，大概就是最近五年，找过去的，还有一个比较好玩的事情是，大家不管在哪做，好像最近这两年，都是在往硅谷这个地方跑，我有很多朋友啊，不管是在波士顿那边创业啊，或者说在那边当教授啊，他们很多人也在，其他的公司领了一些职位，而且这些公司的办公室都在硅谷，从一个边缘学派 [01:25:29]

小珺：到了一个现在更主流的学派，作为Machine Learning 我能理解大家都在往这边聚拢，那东海岸的那个传统派别，他们已经认为，就是信仰应该发生转变了，还是说我还坚持自己的信仰

柯丽一鸣：我觉得有两点吧，一点就是，我觉得很多人都在积极地拥抱和探索，就是相当于你本来，有一个工具箱可以做很多事情，现在别人告诉你，他们也有一套工具箱，而且很激动的一个工具箱，你不一定就是赞同他们说的，就是这工具箱有什么激动，然后现在你可能看到一些东西以后，你是愿意去转变，说这工具箱可能很激动，我们怎么把它探索实验起来，你有可能是做结合，也有可能换方向，也有可能就是，你又开放了一个新的方向，我觉得这个是，时时刻刻都在发生的，另外一边的话，我觉得传统派的人，其实他们，我觉得是有非常多的，这种专家的洞察，因为很多传统派的人，为了把他们的任务做好，都是经历过非常多的，就是硬件转换，或者说这些，就不同的工程的提炼，就是他们如果能够，在很多现有的项目中，分享一些见解的话，我觉得他们讲的都非常有道理，比如说昨天晚上 其实我还正在读一个博客，博客上面就在说了，这些电机的一些问题，然后这个博客的作者，也在莫我也感，就是他是一个，搞机器学习出身的 [01:27:00]

小珺：然后在研究电机，然后他也感谢了很多，传统派的一些教授，在CMU的教授，对他的一些指导，你看硅谷现在，还有很多新的公司，刚才你说了Skilled和Pi 这是两家在硅谷，创业做机器人大脑的公司，创业公司，然后还有另外一些创业公司，比如说Figure 比如说1X 比如说Dyna 能不能讲讲他们的创始人的来历，然后以及他们分属于哪些派别，他们的由来和历史，我只能分享一下，就我理解到的一些

柯丽一鸣：就是接触到的一些事情，我感觉像派和Skill的两家，都是有比较的浓厚的，就是学术人创业的这个标签，因为两家的创始人和联创，都是在学校当教授，而且有些是就是比较高产的教授，两家的口号也是有些类似，都是想做巨神智能的一个通用的大模型的大脑，然后在区别上来说呢，其实一方面我觉得在应用上面，派更多考虑是一个双臂操纵，就是还是想把操纵这么一个问题给解决，因为可能我觉得在派加入的学者，或者说都觉得就是之前在移动方面，取得了很多很好成果，我们现在应该想想怎么样在拿东西，放东西这个方面取得很好成果，因为你可以暴论，暴论就是，你如果能把pick and place 这么一个拿放的问题解决，你可以把整个生活中 所有的家务都干掉，你不就是抓放抓放吗，然后你可以抓这个东西，放那个东西，或者有一些路径轨迹的限制，但是这是一个，大类非常值得解决的问题，另外一方面，我觉得在skill的话，相对而言，他们有一些，更多的就是腿，人形和狗的一些探索，我觉得这个是相对而言更多的，他们的构型更完整一些，这倒不一定，因为现在人型机器人，如何装操控，其实是没有解决的一个问题，他们有很多，就是他们现在，能看到视频里的话，相对而言，他们在操纵的这个任务，都比较简单，然后他们更多的强调 就是一个移动性，我觉得并没有完整，因为现在我觉得并没有 converge 统一到一个好的一种构型，它又能做很好的移动，又能做很好的操控，所以大家各有侧重 然后其他的公司的话，我觉得就不得不提一提，就很早之前就在做人形的公司，我觉得其实特斯拉在2021还是2022年的，这些就是Elon Musk的一些话语，肯定是激励到了不少人，就是让大家当时的一些硬件人，就已经开始有这个热潮去做人形，然后Figure的话是，应该是2022年开创的一家人形机器人公司，然后它的founder就我所知的话，并没有一个技术背景，他是有之前成功创业的一些经历，我觉得是很有意思的一个人，因为他能在2022这个时间点 [01:29:25]

硅谷创业图谱

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

因为他能在2022这个时间点

柯丽一鸣：因为他能在2022这个时间点，做一个他都不是那么熟悉的，一个新的领域，因为他相信这个，我觉得这是非常有意思的一件事情，然后相对而言 1X的话我听说是，创始人其实是深耕了这个，机器人的这种电竞，因为他们是做省区的，省区的人形机器人，比较独特 然后Dyna的话，他的创始人是，因为这个丹娜创始人，她是相当于是认识的，她们是有一些创业的背景，也有一些技术的背景，我觉得如果用一个标签，去形容她们的话，可能她们是更强调商业部署落地的，当然我觉得，一个巨姐场景，比如说我们都看过她，那个叠衣服的场景，对，就比如说 我觉得如果看看她们，在2024 2025年期间，所发表出了一些东西的话，可以形容为就是，有没有可能就是机器学习，已经可以进加落低，并创造一些商业价值，同时这个商业价值，可能能给他们带来一些，就部署上的优势，就以后随着这个机器人，大模型的这个能力，越来越上，可能大家也会慢慢地，从研究端转到部署端，可能他们就是，部署端比较早的一类，然后其他的其实也有，因为当时，当时我觉得是 2023年到2015年，是井喷式的机器人创业吧，就不得不提 2023年初的这个皇甫军校，机器人的皇甫军校，应该还是谷歌的这个研究所，因为当时确实时间点非常有意思 2021还是2022年切GPT出来了，效果太好了，其实动摇了很多人的，这个想法，使得当时就是做什么东西 这个课题是有很大的一个变化的，然后包括谷歌当时，也是做了一个比较大的动作，就是把他们的机器人的部门，给就是变相的削减了一下，就是为了给他们做大模型，可能抽一点人过去，但这个其实也蛮影响，大家做机制的研究，所以很多人就趁这个机会出来，创业了，派的创始人，都是在谷歌之前做的，那Skill的话，其实他们两个创始人，之前是在Meta 是有研究员的职位的，然后Figure 1X 应该也吸纳了不少，从这一波里面出来的人，然后还有比较值得关注的，当时还有两家公司，也是从这一波里面出来，一个是叫Generalist AI 一个叫Sunday Robotics 这两家公司的一个，比较共通的点是，他们都相对其他公司，更多强调了用UMI 作为数据采集的一个手段 UMI的话呢是 是这两家公司的创始人，其实当年是在一个paper上，这个paper就是UMI这篇paper 他就说了我们可以做一些，设计好的一个爪子，人就可以抓着这个爪子，去自己生活的这个世界里面，采集各种各样的数据，然后并且证明了，这个DRAWs收到的数据，是可以迁移到，一个机器人的一个上面的，所以他们两家公司，不约而同的都，相比起其他公司，更加重视这方面的发展，然后我觉得可能 Generals AI就会稍微偏重，工业化场景应用一点，这是从他们发放的视频里推测的，然后可能桑对的话，他们发的视频就，更多的有一些，就是家用的，这个场景体现，甚至包括他们的这些机器人，也比较可爱的，就目前是 [01:32:31]

小珺：看到比较可爱的机器人，后面这几家公司，我们能理解是做硬件的公司吗，因为你们那两家是大脑公司，还有Google特斯拉，也是大脑公司，对吧，我觉得 [01:33:17]

柯丽一鸣：特斯拉我估计，它的硬件也不错，创业是一直在变的，所以很难用，今天的思维去想明天的事，但就现在这个快照来看的话，派肯定是更加注重大脑 我相信Skilled也注重大脑，但是Skilled 大家创业公司其实都比较神秘，也不知道他具体在做什么，然后特斯拉的话，大家一般谈起，还都会认为他的硬件是很强的，毕竟他有这么多的钱去烧，就机器人硬件的研发，不是一个很容易用的上手，不像软件，我觉得软件其实相比二元，反而是容易上手的东西，硬件的话，它的产业链，它的迭代速度，包括它里面的工程师 我觉得这个都不是一天而起的，特斯拉之前有造车的经历，造机器人方面，大家都觉得他肯定是有优势的 Figure也是一个造机器人 Figure 1X都是造人型机器人，可能区别就是Figure用的是，电机R1X用的是这种省区的方式 Generis和Sunday的话，我相信其实现在，就包括设计Dynar 就大家可能或多少都会开始设计，就是如何弄一个更好的硬件出来，但是你说造硬件到什么地步，可能没有一个能看得清的一个说法，之前不是有一个笑话，就是如果你是一个认认真真，真的想把事情干成的，机器学习的一个学者的话，你真得造自己的硬件，因为市面上没有一家，是真的拿来就能用，完美符合了你所想要的应用场景，软硬的议题，软硬议题我不知道，但硬件其实本身都没有，没有达到这个地方 硬件我们等会儿也会，着重来聊到，其实我觉得硬件，有一个我的，很简单的构想，就是到底有哪家公司，能给我一台，我可以把它，发到人家里去，我就有一个人，在后面遥控它，但它真的能把，我家里我想做的事情，都做到，而且它不坏，它很稳定，我觉得如果能到这一步，才是算，我觉得硬件的，第一个版本，才是真正出来的 [01:35:05]

小珺：我记得你上次跟我聊，还聊了好多，比如说，花衬衫 Oh my god 这是一个好好玩的梗，这个是波士顿动力的创始人Mark 他在我脑子变成了一些二次元的画像

柯丽一鸣：就是你们机器人行业的各个人物，对他其实是一个非常有个性的人，他现在你去见到他的话，他就是一个白发老头，穿这个花衬衫，他其实一直在公共场合，都是以花衬衫的形象出现，包括他给波士顿动力，后面的ANU所设计的这个队服，都是一个夏威夷花衬衫，这个来源其实是他在年轻的时候，据说谣传在当时那个年代，做研究啊，交流啊，还是一个比较严肃，正经，就是不可有丝毫懈怠的事情，所以当时他这个人呢，穿着一个衬衫什么的，还是一个反正，不太那么严肃的一个衣服，去参加这个会议，就被别人讲了，就别人说，你怎么可以穿这样的一个东西，有点不太尊重，然后他从此以后就，我就要穿这个，而且要推广，让大家都可以穿这个，所以他现在的形象，就是我觉得，他是有一个叛逆精神在身上的，是不是还有一个 非常飘逸的阿贝纳，刚才好像已经讲到了一些，就是阿贝纳，他思想非常的天马行空，他其实，他其实有影响，也有华人的学者，是他的学生，现在也成为了，比较知名的教授，王小龙，他现在在UCSD 做教授，他是阿贝纳的学生，阿贝纳当时是挺有意思的，他做的事情，就是感觉打一枪，然后你还没明白，这枪是什么意思，后面才发现，还真的有点意思，他就是一个天马行空的，就是你跟他，开会的时候，都不知道他下一句会说什么的这么一个人，会说什么让人很出乎意料的吗，对他的思维就像是一个点的，一个跳跃性的思维，这里面你有最崇拜的一个学者吗，我觉得我能够欣赏，大家的优点，但是我还是比较崇拜，什么游戏创作者和小说，写作人，这个只是生活，生活和工作分开，哪个是生活 我觉得人文，人文故事是生活，对工作是一种优化，是一种很纯粹的，就是把大家的好，给吸纳在一起的这种态度 [01:37:31]

小珺：你平时会跟，比如说大模型的研究员，有一些接触吗，你会觉得机器人的，里面的人和大模型的人，会有什么不一样，我觉得接触是肯定要接触的

柯丽一鸣：我也能越来越多的感受到，确实要想把机器人做成，是得在一个团队的环境里，是得吸纳大家的所长，有各行各业的人加入，才能把它做成功，而不同之处的话，我觉得，比如说，就这么讲吧，我们有个机器人，他收了一条数据，大模型的人，可能就会想说，咱们收个100万条，这样的数据怎么样，然后我们就可以，拿到一个数字，然后有这个数字以后，我们就会让这个数字，变得越来越好，然后作为一个，更多搞传统机器人，出身的人，我们可能会先想的就是，这条数据长什么样呀，我要来看一看，它的这个动作，它做这个东西，甚至包括它这个，当时的硬件条件，硬件环境的，这些设计，就是你能看到 就是相对而言，我觉得做传统机器人，出身机器学习的学者，会更多的在意，就是这种物理的动作，而大模型出身的学者呢，他们经常会比较飘逸的说，哎呀，现在这个信息 好像不够全，他们想要加一条进去，或者补一条进去，我觉得这个，可能是你做很多次机器人，你会习惯了，现在机器人的一些，感知的一些系统，而大模型的人可能，更多能跳出这个框架，去思考 [01:38:47]

小珺：我们现在要，什么样一个信息，才能把这件事做成，我们刚才说了，很多创业公司，其实硅谷的大厂，做机器人也很值得关注，比如说NVIDIA 比如说Google 是的，还有Tesla 他们的BAT 有什么不一样吗，我们其实刚才顺着，把每一个机器人公司的BAT 都有讲一遍 BAT我觉得，我不能替别人公司讲，我只能讲讲我自己的BAT 但是从你能观察到的，公开信息来说 [01:39:00]

柯丽一鸣：我觉得特斯拉是专业人行，它应该是人行，搞最激进的一家公司，因为就拿最简单的事情来举例，手，手这个事情呢，我在，我有我的相信嘛，我现在觉得手是一个，有了会非常好，但现在没有 也没有关系，不是必要的，但特斯拉他就，更加的强调说，我们要搞一个终极形态，我们一定要把，这个机器人的方方面面做得，都很人性上，他们是有很强烈的一个，人性的一个信仰的，而谷歌 我觉得他们因为，有自己的大模型 Jemini 他们做的比较成功的

硅谷创业图谱

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

他们做的比较成功的

柯丽一鸣：他们做的比较成功的，比如说有多模态能力，比如说图像生成和图像修改，是现在大家都比较津津乐道，也会在日常中使用的，可能对他们来说，机器人也可以是这个模态的一部分，会给它这个模态提供一些空间感知，空间规划或者空间控制的一个能力，所以我觉得他们，也许我猜的他们在走机器人路径的时候，是更多是想着说，机器人如何成为这个多模态大模型的一个部分，而英伟达的话，江湖的笑话，就是英伟达做所有事情，都是为了外卡，所以他们有很多，就需要烧很多卡，才能完成的一些项目，比如说像世界模型，这样的项目，但是通过这个过往的经历，一次又一次的证明，有些时候，真的就是数据多了，卡多了，效果就上去了，所以大家也很期待，就是他们这样做，能做出什么，就是可能一些，计算力更大的，一些更加，简单粗暴也是一种美，我觉得 但是其实做的时候，可能每个学生，也要发挥自己的一种，设计的长处，在英伟达做研究 [01:40:53]

小珺：会不会卡更重远，我当然是这么猜的啦 OK 在这种不同的重心和选择之下，哪个公司，它的不同的软硬件方案，是什么样的，我觉得硬件方案

柯丽一鸣：大家多少不会那么公开的讲，你只能从它的视频里推测，为什么这个是更保密的呀，我觉得硬件，其实我也不知道，但确实大家在公司工作，或多少都得 遵循公司的一些保密原则吧，硬件是更保密的，我觉得软件其实也很保密，派应该算是一个比较独特的地方，就是在这里我们还是有一些，学术界的影响，觉得要分享啊发表啊，也是你研究的一个部分，其他公司的话，就我目前的感知觉得，没有这么的开放吧，甚至包括派的办公室，也没有那么严的安保，就是有的时候就可以带一些，同行的朋友去看一看，跟大家介绍一下 就这种思想的碰撞，其他的公司我觉得，就在硬件上，我觉得人形和非人形，可能是一个比较直观的一个bet 比如说像特斯拉figure 1x 都是比较强烈的在bet人形的，但是你说他们做的，和其他人做的一个最大不同，可能就是有没有这个腿是一个，然后也有人认为是，就是你有了腿，因为你是个人形，而我们这个世界是为人，而设计的，对，所以你做出的人形机器人，它在这个世界里，一定是最自然的，通用性更好，对通用性更好，这是一些人的信仰 然后另外一些，就是非人形的信仰，我觉得其实可以分为两派吧，实用派，还有狂野派，你们是哪个，我个人是实用派，加狂野派，因为，可以展开说一下，就是实用派的话 其实我们会觉得，这个机器人，不一定非要是人形，它就能做很多事情了，对吧，而且人型的机器人的很多问题，也许别人可以解决，我们可以后面再跟上，我们现在觉得 现阶段最重要的问题之一，就是他的能力，他的表现，他的操控性的这个东西，他不需要一个人型，他就可以做，而且甚至，如果你做得好的话，你已经可以去，做这件事情了，在现实生活中去部署，做一些，所以我们 对人型在实用的角度上来觉得，在现阶段没有那么的有必要，而狂野派呢，这就海了去了呀，你看啊，我们这么多年，有车这个东西，车是有轮子的，自然界中，其实没有这么一个东西，但其实现在车上，或者大街上，或者全世界，那么多条公路，都是为了让车，能跑得更好，而设计的，这可能有一种信仰 是说如果真的是，一个有用的，一种形态的话，大家将来会，为了这个形态，去改变你所生存的，这个环境，比如说适配，我觉得这个是可以成立的，并且黄野派他们，为什么要有两只手，四只手好不好，三只手好不好，或者说你这个，下面这个轮子，你好多轮子都可以，就是它可以充分花花想想，去想，有没有可能，就是有一种，就是生物的，自然界的演化链，出过来的一个形态，它其实是最好的一个形态，然后你这个形态做了以后，因为机器人它是，可以换的，你的手换了可以换，我个人就是比较相信，也许就一个成熟的，机器人的形态，就是它的动态组装性，就有可能将来的机器人，他就随时随地 [01:43:38]

小珺：都可以把自己的身体的，一个部件给换掉，换成一个更适合的东西，就像它的工具一样，对，所以你的实用派，加狂野派是怎么回事，你想象中的构型，应该是什么样，现在想不了太多，现在就想把，现在这个构型表现做好，因为派是要追求，做通用大脑，对，那直觉来看，要做通用大脑，它就应该适配，一个更通用的构型，而人好像就是，那个最通用的构型，因为你刚才也说了，就是现实世界，各个东西都是，为人来设计的，那为什么你们要选择，是既要做一个通用大脑，又不选择一个人形呢，我觉得通用大脑的通用，大家可能有不同的诠释 [01:44:19]

柯丽一鸣：做一个具体的构型的通用功能，是通用的一种做法，而做很多构型都可以受益的一个大脑，是另外一种做法，而且也没有人说，就是你做很多构型都能受益的大脑，它就不能在人形上面做，只是 就是说你们希望，你们希望覆盖的构型更广阔，就不只是人，没错，就是派的模型，都是在不同形态的数据上面训练，并且可以在，不同形态的机器上面使用，只是现在可能，能看到的只是这么几个具体的构型，但其实没有放弃，就是说这个大脑，得在不同的机器上面，都能用起来，因为这个人操控的道理是一样，就是我作为一个人类，我去要操纵一个机械，我不管是开车，开挖掘机，或者是去操纵这个，这个腿怎么踢，或者说这个，一个机械手，他怎么去做这件事情，我都是由一个我的大脑 去操纵这么多不同的构型，我觉得这个才是通用大脑，最本质的一个定义，而不是说，就是我去做了一个人形的大脑，它就是通用大脑，那是不是，比如说做一个人形，在这个构型之下 [01:45:59]

小珺：做一个通用大脑，人形的相对任务，是更复杂的，你做完这个复杂任务，你可以放化到其他的形态更容易呢，我觉得任务的复杂性是，可以抽开好几个层面的，比如说人形它因为关节多 [01:46:13]

柯丽一鸣：所以你要同时控制这么多关节，是有一些难度，但是你做的具体的任务，任务的难度我觉得和人形，是可以完全不相关的，就像我之前说的，我们其实非常相信，一个任务比如说，就假设你要组装这个麦克风，这个步骤应该很多，你用人形来做，你用一个更加简单的双倍机器上来，做它都是完成一个很难的任务，我觉得在现阶段对我个人来说，完成这个很难的任务比你用什么构型 更重要甚至我个人，觉得你用简单的构型，做出了一个更复杂的，任务的话将来你再去控制人心，做这个应该会更简单因为你更复杂，的构型可以提供的功能，可能是更多的它的操控 虽然难但它的这个，灵活度这确实是有些关键上，灵活度的东西它可能更简单，所以如果我能用一个简单的构型，去做成一个非常复杂的任务，我觉得它将来能够迁移到人形的概率也是非常大，而像比如说Skilled 它做的通用大脑，是要匹配一个通用的人形对吗，其实我们并不理解它这么多的技术细节吧，只能是从它的视频里推，所以我觉得它们有很多，因为它们可能相对而言更靠近商业部署一侧，所以它们有一些移动的需求，所以它们可能现阶段就已经开始，做了一些人形和狗的东西，你看派其实，我们也有一些，最近的一些发布是说了，就是派有一些partner 就是有一些合作伙伴的机器人公司，就包括之前，也一直没有停止过，就是帮助合作伙伴的，这些机器人 不管是不是人形，还是什么其他的形态，用上我们的这个大模型，去做一些事情，因为现在我们管这些组织，都叫frontier lab 那你能不能讲讲 [01:48:01]

小珺：在机器人领域，你觉得，机器人的Frontier Lab的Frontier体现在哪里，哪些指标能够来，描述这个Frontier 我觉得前沿Frontier 方方面面

柯丽一鸣：咱们要走的路还挺长的，我觉得其中一个比较切身感受的，是 Evaluation 就是评估，这个问题其实我觉得NLP是走过这条路，自然语言他们当年就是生成了一段话，叫你来给他打分你怎么打分，也是一个不容易的事情，但是在机器人这边呢，就更加糟糕的一点就是，你还得在机器人上跑，你才能知道他做了一个什么事，你才能给他打分，就不光这个分有点难打，而且你还得受到这个机械，这个物理的限制，很多时候呢，就是只是一些变化什么的，可能你自己不知道，然后它就会影响，你的这个模型表现，我相信就是在最终的 成品那个阶段，应该是不太怕这些，细微的改变，或者说一些，比如说你要拿这个杯子，对不对，假设我们现在做这个任务，就是拿这个杯子，你把杯子放在这个桌子的，任何一个地方，是一种这个，这个扰乱它的一种方法，就看它是不是，每个地方都拿起来，你还要看这个不同的光照，你还要看不同的背景，你还要看这个桌子高度，甚至可能不是一个桌子，而是一个柱子，你能不能拿起来，或者这个杯子，才有自己的角度，就是有这些无穷尽的一些，就是初始条件，很有可能，就是都会影响到，你最终的表现，所以你在评估的过程中，你是希望能够，把这些东西都给评估出来，但现实生活中呢，你又，就你又，你又不一定能够，那么的好的掌控，所以评估现在是一个问题，评估的问题就直接导致了，你最前沿的一个认知，就不像其他的领域，它是有一个英雄榜一样的存在，就是我们现在发了一个，超级大的数据 每个模型都来在上面跑一跑 [01:49:59]

硅谷创业图谱

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

每个模型都来在上面跑一跑

柯丽一鸣：每个模型都来在上面跑一跑，跑马场，看看哪个马，赛马，谁是第一名，你是能够比较主观，比较客观清晰地看到，在这么一个事情上，一个确定的结果，而在机器人 谈论前沿比较难的，一个原因，就是因为这个，评估太难了，导致你很难，就是彻底地去评估它，就包括每一个公司，我相信内部都有一个，评估的一套东西，可能这些东西，就是你的注重点 他们注重点都不一定一样，但是退一步讲，我也觉得这个是，暂时的吧，我觉得最后做出来的，应该是不会，太担心这个事情，可能现在大家还在探索，怎么样做得更加的，鲁邦和宽泛 所以现在这个frontier 还是很难定义的，我觉得可以看到一些算法，可以看到一些算法的表现，就是怎么说呢，可能是，就是一个最核心的部分，大家都看见，然后随着它，向着更前沿的方向迈进以后，就变得越来越有一些乱，就需要你能从分乱中，找到一个清晰的线，然后你相信，然后你把这个图给夯实 夯实了以后，可能大家都有了一个共识，这样的话才会知道，这是一个，就是比较确定的东西，就有一种被动嘛，就感觉特别前沿的东西，你都没有办法去定义，因为不好说，就是谁谁在哪个，网站上面跑到了多少，因为这个是 [01:51:01]

小珺：所以这个是前沿，就没有这种东西来依据，所以现在其实，大家的方向是分散的，就是是都在，朝不同的方向在发展，不知道哪一条线，是那条大道，大家还没有统一到，那条大道上去

柯丽一鸣：我觉得确实在研究的角度，看问题的角度，想要做的任务上来说，是分散且百花齐放的，但我觉得在宏观上面来说，其实每个人的命题，都是类似的吧 如何让一个机械的成体，它在现实生活中，做一个任务，或者做很多任务，它的表现好，只是你这么宏大的一个命题，得有一个抓手开始做

小珺：每个人选的抓手，可能不太一样，我们绝对无法，人都没有机会去看过，一个机器人的完整的产线，能不能从你的内部视角，跟我们讲一讲，一台机器人是怎么诞生的，哦

柯丽一鸣：机器人是怎么诞生的，我觉得这个命题，还是可以讲到原子级别，但是我这个人的，工作的范围也是比较有限，我就从我认知的范围里，讲一讲，就是如果一个电机 已经被制造出来，那么我要做的事情，其实就是，因为电机它就是一个，会动的一个关节吧，可以这么理解，这个会动的关节，你就把它连在一起，它就成为一条机械臂，你看你人的手臂 其实是有非常多的关节，和更多细小的肌肉，而现在的机械人的这个形态，就是几个比较大的关节，可能比较流行的，就是六个关节，或者七个关节，组成了一条手臂，然后这条手臂就可能，差不多是按照你人的活动方式，来对照的，因为机械手基本都会有，一个大的一个肘关节，然后会有一个腕关节，然后包括有个肩关节，就这个都是比较通用的，你就把关节放在他想要的位置，然后做一些三粒甲硬件啊，或者金属件啊，或者磨成你想象的形状，把它们固定的组装起来，这样每个关节动的时候，剩下的就会跟着动，这就成为一条非常原始的机械臂，在机械臂能够组装到一起以后，你其实要为它写一些，就是系统和驱动的东西，比如说最低层次的话，其实都是通电啊或者气啊，就是你给它发了一个什么信号，然后它就会说这个信号，就会开始做一些动作，然后很平常的一种操控手段 就是用一个位置操控，所以我希望这个关节，现在是一个什么90度角，把它变成一个180度角，我就会发送这个，它需要在关节的层面，把上层发给它的这个讯号，转换成一个，它能够真正执行的这个东西，这个就是叫底层控制，然后再往上一层，你怎么决定，你要发什么样的这个位置讯号，这个很有可能就是需要，你有一个大脑，看到当前的这个任务，然后决定，为了做这个任务，我要在桌子上拿一个东西，我得先把手抬起来，它是要需要，理解这个人物，然后理解你的这个关节，然后去做一个，把这个肘关节，往上抬的这么一个决策，再发给这个机械的，这个关节，在关节内执行，执行以后就有，新的一个场景了，新的场景大脑就看了，我现在已经在住的上面了，我要做下面一步动作，的话可能就是往右，往左 我觉得这个，是一种两层式的，一个思想吧，就是有一个大脑，来做一些决策，做成了一个，你能听得懂，能执行，然后也能够比较方便，我们去做一些调试的一个东西，然后同时呢，它也有一个更底层的东西，去把它翻译成一个物理世界，更原始的一个东西，那接下来我们来讲讲，派的工作和你在派的工作 [01:54:17]

小珺：你刚才讲到机器人公司，其实现在各个公司的主线，和抓手是不一样的，能不能先纵览一下，派的主线和抓手是什么，好的

柯丽一鸣：我觉得要了解派的工作，可能一个比较好的方法，是看派的几篇主线发表，之所以说主线发表，是因为我们觉得，主线发表的这个命题 是可以推动整个领域往前进的，其中有三篇主线发表，现在第一篇是派0 它的关键词应该就是能力，第二篇是派0.5 它的关键词是泛化 然后最近的这篇是派0.6星，它的关键词是表现，就是在派灵刚开始做的时候，我觉得是大家都非常的激动，可以用，有了一个非常好的架构，然后可以用一个大模型的思路，去做机器人，但没人能知道做成什么样，也不知道能做成什么事，当时在2024年初派创立，就想做一些之前做不到的事情，但是具体要把这些，做不到的事情给做出来，就是派灵的这种旅程，因为其实派灵做了三个任务，第一个是大家可能比较熟悉的，就是叠衣服，我觉得我们应该是在2024年发表 2024年11月的叠衣服，是一个让人比较耳目一新，就之前从来没有看到过，这种级别的这个任务的表现，然后第二个是叠箱子，叠箱子叠只盒子，也是一个 哇这个东西真的能做吗，我们不知道，我们来做一做看，然后当时还有，当时还有第三个就是busting 就是去桌子上去抓拿放，然后但是你需要，就是前所未有的这个物体的多样性，却都能够处理得很好，所以这三个任务 当时是奠定了，我觉得是奠定了，就是大模型，能在这些前面想都不敢想的任务上，表现成什么样的一个基石，所以注重的是表现 然后第二个任务呢，派0.5 是泛化，泛化的意义，其实我觉得至今也是存在的，就是如果你大模型训练出来以后 一个机器学习的根本问题，就是这个所谓的 in domain和out of domain 就是你是一个数据内的和数据外的，如果你训练好了以后，只能在数据内的这个范围里表现得好，达到数据外里面就没有用的话，那你这个影响不就很有限吗，所以就很强调这个泛化，就假设你做了一个任务，它是在这个房子A里面收集的，你把它放到一个房子B 好像房子C 或者说你要探索，就是你要多少个房子 100个房子 1000个房子，你在这些房子里，都收好数据以后，你才能在第 101个房子里面，得到一个很好的效果，所以派0.5的，出身我觉得是，想要探索，就是我们的大模型，能不能够泛化，并且泛化的一些条件，是什么，同时当时，因为派0和派0.5之间，也是有一些，其他的发表，可以我们等会再说一下，就提升了大模型的一些，表达能力，和分层能力，使得它能够实现这样的一个泛化 所以当时我们是在很多Airbnb里面，收集了数据，到这些别人的家里，因为是走出去了，就不是我们控制的一个办公室的场景，不是谁控制的一个工厂的场景，而是真的就是杂乱无章的别人的家里面，去做了一些日常的任务，做了这么一个数据收集，并且研究就有了这些数据以后，到新的家里面表现会是什么样，当时一个比较令人振奋的一个点，其实是大概说了，应该我记得paper里写的，应该是有一百个家，然后你在试试，把这里面的这些家给去掉，你看你去到什么地步，它有增长，就是我们感觉，这个选项是放缓的，就是可能，你不需要真的在，世界上所有人的家里面，都收了数据以后，才能在他们家里面干活，你随时有一个数字，你可能收到那个以后，就可以了，就是我们觉得，这个是泛化比较令人振奋的，就是你in distribution 这个数据内 [01:57:51]

小珺：是有一个尺寸的，达到这个尺寸，其实或许就够了，派0.5的标题，好像很有趣，叫开放世界繁华模型，是的，这是Servi Polish过的标题吗 [01:58:42]

柯丽一鸣：标题其实大家，我怎么觉得 Charles是出了这个标题 Charles出的，对但是每一篇Favor 你看应该都有一个，科幻小说的一个引用，这都是Servi写的，派0和派0.5是什么 派0和派0.5的，科幻小说的引用，我不记得，这个只有Servi记得，然后后面到了派0.6 这也是一个我觉得，我们需要回答的问题吧，表现 就是又回到之前的这种，如果你做什么东西都可以，但做什么东西都半吊子，那么这个模型的用处究竟是什么，所以派0.6的出现，其实就是想回答，假设我们现在真的想做一点事情 就想把它做好，我们到底怎么样把它做好，所以是提升这个表现，而且派0.6 我觉得这也是，就是我参与非常高的一个项目，因为我们是强化训练的团队，这个是我们的第一篇工作，发表出来，强调了很多的方法上的简洁性，但是在最后的表现上，更多的是强调，如果有一个智能体，它差不多可以在一个任务上做的话 [01:59:35]

Pi 的研究：π0、π0.5 与 π*0.6

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

它差不多可以在一个任务上做的话

柯丽一鸣：它差不多可以在一个任务上做的话 你就去收集它的体验数据，让它在真实世界中，去收集它的体验，把这个数据放回它的训练池中，它其实可以达到，比之前，比你之前那些固定数的数据，更好的效果 我觉得它对于，我们数据收集，是有相当大的，启示意义，什么叫体验数据，就是它自己，去做这件事情，收到的数据，就是平时我们，收这个真机数据的时候，是有一个手臂，比如说我家有个手臂，我就给你，卡在这个桌子上面 我简单就可以，通过摇操纵，去让它干一些事情，你收到数据的，其实是，就是这么一个机器，绑在这个桌子上，然后做了一个任务，它其实可以，不摇操纵，它可以，让它自己去，做，做了以后，它可以把这些数据，都收集起来，就是数据的来源，其实可以很缓繁，我觉得之前，其实很多人会说，就是我们机器人领域，都靠人来要操纵的话，这个数据收集，又慢又不好，我觉得是可以，再提升一点 但确实是有，这么一个隐患，就是以后可能不能够，完全通过这种方式，收到所有想要的数据，我觉得经过派06 这篇项目以后，我们也有了很大的感触，觉得机器人自己的数据 也会可以非常的强，因为它的起点，是人给它设置的，但是如果要超越这个起点，还是得机器人在环境中去动作，包括我个人是比较 Bullish 就是比较暴论的坚信，就是将来机器人的价格，就是应该又便宜，然后又方便，很有可能，就是很多人，现在对于数据的一些，就是担忧，在时间的长河里，其实都不重要 因为你可以让机器人，这么多的机器人，在部署的过程中，收到数据都来为我所用，哦是吗 PyLinux是一个基础模型，这个新号的意思，是你把最后的那个成品 就是你的这些数据，放回了你的模型之中，但是真机收集数据，不是说很贵吗，如果，就是如果你可以自己，叫RuleOut 你不就相对便宜了吗，就是真机数据贵，我觉得分为好几个方面，对不对，一个是，你首先要有一个真机平台，然后你要把真机平台，放在人家家里，你还要维护这个真机平台，同时呢，你还要为了一个人，让这个人来做一些任务 同时还要跟这个人，做交流，还要做有些规划，就是一个非常复杂的，一个管理的一个问题，但我觉得，就是如果，机械的价格，降下来的话，就在这个过程中，我个人认为，现在的比较大的大头，其实是管这个人，去收到你想要的这个数据，但如果你可以把，就是数据的操纵员，这个给放在一边，而是换上你，已经训好的一个大模型，让大模型在这里跑，其实你数据的成本，应该是能降很多的 [02:02:14]

小珺：硬件也需要降低成本吗，硬件我觉得永远都是可以再便宜一点，现在比起五年前肯定是便宜了很多的，关于数据我也听说，就是错误数据其实是好数据

柯丽一鸣：就是错误之后再纠错的数据，我觉得这个是动作的一部分，还是踏实的一部分，就是这个思想其实是，大概是在最早的这个模仿学习里就有很多，模仿学习的一个，很严重的问题就是，就是积累的错误，就是可能每一步骤的微小错误，不断地放大以后，会让机器人到达一个，他完全没想过的，一个非常糟糕的情况，就是人收集数据中，不会碰到的情况，而一旦机器人，进入到这个情况以后，他有可能就不知道，该怎么样修正他的路线，去完成这个任务，这个技术问题，是有一整套的修复方法的 因此很多人收集数据的时候，都会很强调说，我们不光要收一个，完美的人的数据，同时也要收很多，就机器人进入到了，一个不好的情况以后，怎么样修复，怎么样继续去完成，这个任务的这种修正数据，确实修正数据 对于一个机器，大模型的表现很重要，但是再次强调就是，修正数据也可以通过，机器人自己跑来收，这就是强化学习的一个，比较本质性的东西，现在机器领域，关于数据问题 大家有人相信真机数据，有人相信仿真数据，你持有哪一派观点，黑猫白猫抓到老鼠，就是好猫，什么数据真的好用，就相信谁，而且是一个practically的好用，就比如说，最本源我是相信真机数据的 但确实我们要承认，真机数据的价格，在现在这个阶段，比起来数据要贵，但是如果你用，就假设你有个budget 你有一个10万美金，你用这10万美金，收多少真机数据，你用这个10万美金 收了多少，就是仿真器的数据，可能数字的量是不一样，因为budget是固定的，数字的量是不一样，但是另外一方面，就是数据的质量，数据的意义，数据谁能够让，你这个模型做得更好 我个人觉得，如果你只有仿真数据的话，你应该不太好，做有一些任务，如果你有数据，我觉得不光sim to real gap 甚至simuli的场景，很难的，比如说你要用仿真 去做一个叠衣服的仿真，这应该是，依然是一个半前沿问题，半前沿，是因为我现在没有看到，一家能够做得非常好，就是谁在仿真期里面，做好这个训练以后，加一点点正经数据，就能让他表现很好，我觉得现在不在这个地方，但是也有一些人认为，这是可以达成的，所以他们在积极推动这种前沿，所以是一个半前沿嘛，就是谁也不清楚，会不会两三年里，有人做了，真的把它做通了 它可能就是一个，非常强有力的一个，说出去的一种方法，但现在2026年的快照，你要是想做一些，跟软性柔性，衣服，摩擦力，还有这些就是 就是这种物理性质，非常复杂的东西，你在仿生器里面，其实你可能都没法，搞出这么一个仿生器来，所以你都没法，收这个数据，就是我觉得是要，非常强调，就是你到底能收到，什么样的数据，去思考 [02:05:35]

小珺：而不是只看，我们有1000万个小时的数据，我们怎么怎么样，很有可能，你这1000万小时数据，都是garbage 垃圾数据，那就没有什么用的，对于叠衣服这个场景，是不是真机数据更好用，那它是可以采集的

柯丽一鸣：就是你说的体验数据，我觉得现在相对而言，第一幅最简单粗暴，就是采真机数据，甚至包括，你看啊，就是我们都有开认模型的，就是我们开认模型，应该是也有一些，第一幅的能力在里头的，你也可以拿它去，作为一个数据的起点 [02:06:01]

小珺：都是可以的，但你要做的是一个通用大脑，而不是这样，就是实现一个场景任务的，因为场景任务，其实你做强化缺席就可以了，然后你通过采集真机数据，而且这个场景是相对固定的，是有限的，就是这是一套可行的流程，但它不是全部的，对，但是如果你的目标，是一个通用的大脑，那你需要的是，和现实世界相互的，所有的非结构化的数据，是你所需要的，那如果当你需要的是，一个这么大量，这么丰富的数据的时候，那你应该bet的是，真机数据还是仿真数据，还是某种混合体

柯丽一鸣：我觉得大家的目标是一致的，是想做一个，能在现实场景中，能在很多不同的场景中，做很多不同的任务，且表现都好的，一个智能体，但是要做到这个智能体，真的需要所谓所有的数据吗，就是尤其有一些数据，它的相关性是需要考证，是需要人去研究的，我觉得这个，就是希望在一个，美好的梦想世界里，肯定是所有数据都有用，所有数据都能有个，最适合它的使用方法，但现在我觉得现状来看，真机数据，目前我觉得是不太可取代的，就尤其是，你肯定能找到一些任务，它不需要真机数据，它就可以做得很好，这肯定是可以找到的，但是因为我们的目标，正是因为我们的目标，是要做到最后场景里的，所有任务，所以我觉得目前，政经数据还是不可取代的，在场景上，为什么你们做派灵的时候，选择的是叠衣服 叠箱子这项个场景，这个场景很酷，真的，这个场景，这有可放话性吗 OK 当时像，就是放话性，在派灵这个时间段，更多的是有这个 就清理桌面，这个任务来承担，因为泛滑性的话，清理桌面的这些道具，我们是有几百个，就是随便让他们去收啊，然后就换各种东西，就是发挥他们自己的，就是说数据的这些人，自己的想象力，去搞一些这个事情，然后当时我也参与了，负责这边的一些策略的设计，然后其他两个任务的话呢，首先是有泛滑性的，因为泛滑性，它也不是一个单一的标准，它是有很多不同的细节，其中在叠衣服这个任务上，你看啊，就是衣服它的状态，是千千万万的对不对，你这个衣服上多了一个折，那边衣服拐了一下，这其实都是一个不同的状态，你收到的状态，不管怎么样，还是一个有限的数字，你没有办法去覆盖，所有这些衣服可能的状态，但你如何保证，你还能把这个任务完成，其实已经开始需要一些放话性了，对吧，然后其次就是，你还有不同的衣服，对不对，这是一个红色的，那是一个绿色的，就这些不同的衣服，也是一种放话，甚至包括 就是后期我们在座的，这个派零六星里面的，这个更多衣服的，就开始叠不同种类的衣服，它是另外一条，泛化的一个标准，所以我不认为，这些任务没有泛化性，只是他们探索的泛化性，是不一样的一个东西，因为当时不知道，它能不能做出来，这些任务的一个原因，就是因为知道，叠衣服可能会遇到，各种各样，你不在数据里的一个情况，你觉得你能不能，就是做好它 你可这样想，就是前面这个衣服，不管它是什么衣服，我第一步，其实都是要摸到它，但是你怎么能保证，你的模型做到这个事，你还是得上证据看一下，它确实能够去开始跌 [02:09:20]

小珺：你刚才也说到，每个公司现在评估都是不一样的，作为派来说，你们的评估是什么样的，哪些指标来评估，你们还确保你们在你们的主航道上，我觉得指标又快又好

柯丽一鸣：肯定是abstractly抽象的说，就是我们的目标，但是评估要需要一个数字的话，你看派06星里面就提出了support 就是固定时间内的成功的量，我觉得这个可能

Pi 的研究：π0、π0.5 与 π*0.6

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

我觉得这个可能

柯丽一鸣：我觉得这个可能，跟我现在的思想就比较相符，因为这就是我们提的嘛，就是希望你在做任务的时候，考虑到你到底花了多久时间，去完成这个任务 这个任务完成度究竟是好不好，甚至包括，其实也有一些更加细分的，就是一个任务的成功和失败的定义，是我们就是有打磨过，就是想因为你一个人在做任务，或者要一个机器人做任务过程中，你是有很多隐含的含义，就到底怎么样去保证，你最后的打模型，能够完全的理解人的意思，我觉得也是一个，开放性的一个研究的课题，就是他做任务，真的是人想让他做的，这个任务，而这个派06星里面的，这个throughput 比较好玩的一点，就当时就是，其实是有个目标的，就是开箱之前，是有这个目标，就是我们的研究员，肯定是比不上，我们的数据说起员，在做这个任务上，因为数据说起员，他们非常喜欢，非常习惯了，用这个机器人，我们就问了，那我们能不能作为一个机器人，比这些数据数据演员，其实说的东西要快要好，最后我觉得是在，起码在第一步这个问问上，确实是clearly达成了，就是最后这个 机器人的表现是超越了，他一开始的这个人，即使是最好的数据数据演员的，这个起点，你觉得派的工作，其他工作还有什么值得讲的吗，派的研究 其实是业界公认，做得非常好的，我觉得中间有一些研究，也非常的有启发性，我觉得做研究这个事情，其实就是不停的，前浪派后浪，前浪死在沙盘上，但是你能够打一条浪出来，还是很有启发性，可以为后浪做很多贡献，比如说派，你看派0到派005中间，是有两篇，我觉得很有意思的工作，放出来的，一篇是这个FAST 它是在研究了，就是从一个大模型训练的，角度上来说，你现在要去预测一个动作，怎么样表达这个动作，就是动作有没有一个，很优化的表达空间，所以FAST这篇paper呢，就提出了 我们之前用的这些，这个扩散模型 Diffusion Policy 它们的表达，是这样的一种表达，但其实，它可以去学一种，表达动作的一个方法，然后发现，如果大模型，就是在这个空间里，做预测的话 它会有一些，性能上的提升啊，还有些方法性的保证啊，所以这种也是一个，非常重要的一种，基础性研究，然后另外一篇paper 当时是叫做 Hi Robot 就是，想的是人和这个，机器人的交互，就是人可能会说一个，预言去让机器人去完成，但机器人，如果只是一条到头，就彻底端到端的话，很有可能在一个长达十分钟的任务里，他会有些迷失，他不知道现在该干什么，所以HideRobot就是第一次开始，就是非常正式的说，这个应该是一个分层的，就是有一个比较高层次的，这个policy 他会去把你说的这个任务 转换成一个更加具体的，可执行的更短一些的小任务，然后再有这个比较低层次的执行端，就他们俩其实都是在同一个模型里，但是给这个模型进行了一个输出的分层 然后在派0.5到派0.6星中间，应该有不少发表，但因为当时我在忙着搞这个派0.6星，可能有一些疏漏的地方，我觉得现在回头来看，比较有意思的几个发表，分别有这个Olympics Olympics这个发表呢，是我们公司的一个，内部的一个好玩的活动，就是会不定期的 让研究员和数据收集的员，组成小队，去玩一个奥林匹克，就看谁能够操作机器人，去做一些很难，很难搞，很想都不敢想的一些任务，因为毕竟是人在操作嘛，其实这个可以非常大程度的去，推这个bondry 就是推你现在，不说什么大模型，你就让人来操作，他能够操作完成什么任务，能不能把你想到的所有任务都真的完成，因为你人手能完成的话，机器人能不能完成，我觉得这是一个非常好的一个活动，所以我们当时就从这个活动里诞生了，就是Olympic这边，这边paper也是有专门的负责人去思考，就是如何完成一些，之前别人提出过的，就是觉得对机器人非常难的，并且在用人操用数据完成了以后，再让我们的大模型去做，去学习，然后发现取得了，就是成功地完成了一些，大家之前觉得会非常难的一些动作，然后还有 你们完成了什么动作，这里面有什么好玩的，我觉得比较好玩，因为我这个人很喜欢，这个高精度的任务，就是拿出一个钥匙，然后就开这个锁，的这种任务，同时也是有一个什么，我觉得有个开门，开门这个任务，其实我就是，刚刚我们在做硬件，硬件的时候，我也是就是，头几个就是去，赶紧去尝试一下，硬件能做到什么地步的人，当时我就觉得，开门这玩意真的太难了，我在这好像搞了，二十多分钟，我才终于想明白，我怎么样用这个机器人，这个形态 去让他开出这个门来，但是这边他们就可以，做了以后发现，其实首先这个策略是可以优化的，并且这个策略优化，鬼火机器人是可以，成功地自主去完成的，这也是一个，我觉得就是说起来，好像也没那么难，但绝对没那么简单，的一个任务，然后派0.6星到现在的话，我们应该是正在一系列的，发表过程中吧，这个上次刚刚发了，叫做Partner 因为我们希望做成一个通用的大模型，它是可以在很多不同的场景，和不同的机器人上跑的，所以派也是有一些，和其他的机器人公司的合作的，在这个partner的这个release中，就谈到了我们和这个，一家叠衣服的公司 和一家这个打包的公司的合作，就是他们跑的其实都是我们训练的，或者说用我们的这种东西的一个大模型，在他们这个，更加接近商业落地的一个场景，就你看到就是我们公司，自己目前没有很多 就是商业落地的这个想法，但是其实有在帮助，其他已经在商业落地的机器人公司，去做他们的事情，也是在变相推动，我们的这个研究的前沿前进，并且我确实认同 就是这个partner的方法，是有在触碰了一些，机器人的本质问题吧，你看从我们开始，搞机器人研究的那个时代，哇你干啥事都是你要知道找谁，而且他会懂 你才能开始做，就是你写个软件，现在是分分钟的事情，你上网问一下切GPT 然后可能这个AI agent或者cloud 就我帮你写很多东西，就是你作为一个开发者，作为一个研究员，你有很多的 就已经做好的事情，可以供你驱使，而机器人之前，我觉得就是不管是硬件的造，还是软件想让他做一个，差不多像不像的东西，都是非常复杂的，我们可能是希望，在以后，就是你这个人，买了一个机器人，一个硬件的，一个乐高玩具，拼装以后，你可以直接插入，我们的大模型，它就可以做很多事情了，是希望把这个，从机器人从零开始做到 [02:16:29]

小珺：就是第一个sign 中间时间给缩短，我有一个问题啊，因为你提到，你们的硬件，有很多的partner 并不是说，硬件有很多partner 而是我们公司，和其他公司，有一些partner的合作

柯丽一鸣：那你们自己会做硬件吗，你们做的有多深啊，这个有一些内容不太方便透露，但是我们在派06星中，使用的这个硬件，其实是我们自己弄的一个硬件，它有优化一些，就是不管是稳定性啊，还是就是方便这个任务，比如说其实，你看就是大家现在批评夹爪，批评这个简单手机器人，就会说了，这个简单的手，你抓杯子，你不会把杯子抓破了吗 但我们为了做这个咖啡机，这个我们就把我们做这个机器人，它是一个可换的，带点可换的这种夹爪，为了做咖啡，你是需要一个另外一个夹爪，它其实成本都不高，然后换起来也很简单 但是你是有这种研发，然后你才会感觉到，就是什么是一个，比较本源的问题，什么是一个，其实很简单，就可以解决的问题，因为我问这个问题是，我知道有的机器人公司，他们为了 [02:17:47]

小珺：就是做一个，更通用的机器人，他会让他的硬件，为了软件优化 70%到80% 硬件会一直在，为软件去做优化，你们会这样做吗，我觉得硬件 [02:18:00]

柯丽一鸣：与其说是为软件优化，不如说是为最后的任务，和这个表现，和能做什么在优化，我觉得这个应该大家都在做吧，因为确实市面上没有一个，已经定型的

小珺：结束了的硬件的形态，可以停止这种优化，因此我觉得大家应该都在不停地，去干这件事情，有人说派在机器人领域，其实就是想要对标OpenAI 在大语言模型领域，如果这样对比的话，派现在发表到了派06星，你觉得它能对标GBT几啊，这个问题好难回答哦，因为我确实认同

柯丽一鸣：我觉得派的一部分的goal 是成为一个Robotics界的OpenAI 成为一个通用大模型的创造者，至于我们现在大模型，发展到哪里了 我觉得你讲的，就是你每天在这看，你就看到那些不好的东西，我每天看的都是说，这个表现没有很完美，那个表现也不行，我们要怎么把它搞得更好，这个是我比较，每天日常里会想的东西，或者说就是，本源的想一些，就是这个模型 是不是还有一些大的变革，才能达到，我真正想要的一个效果，所以我觉得，我们还没有到，没有到一，对，但我觉得我们在靠近了，你觉得什么时候能到GP第一，我觉得其实因为，起点不一样，就是NLP的起点，我在2017年，刚读博的时候，就短暂地做过一阵子的尿皮，哎呀当时可好笑了，你知道吗，我当时在想说，这个自然语言生成，感觉不太行呀，我这么训练出来的东西，天天就在那，就叫他写莎士比亚嘛，他就天天在那嘖嘖嘖，因为这是一个概率学上，最容易predict 就是人预测一个单词，他还不停地预测一个单词，就天天地跟我说嘖嘖嘖，我说这没用啊，这不行，然后人家跟我说 [02:19:19]

Pi 的研究：π0、π0.5 与 π*0.6

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

然后人家跟我说

柯丽一鸣：然后人家跟我说，他们在用强化学习，做这个大语言模型，我就说，喜欢学习也很难搞的，你把这个特别难搞的A和特别难搞的B合到一起，你这能做成功吗，我完全不懂，然后到了19年20年，别人就做成功了，就说这个你看做得多好，当时就能够感觉到，问题是有一些不一样的吧，当时我从自然语言转换到了机器人，觉得第一自然语言里面，你可以生成很多文字，你怎么跟这个文字打分，怎么知道什么是你想要的文字，很难，所以当时觉得，自然语言做强化学习会很难，就是因为觉得这个打分太，太含糊了，不是那么的清晰，当然后来有很多，就随着更多数据级的出现，他们也不断地建立了新的标杆，所以他们这个，标准可能会，有那么一阵子，逐渐变得清晰的过程，然而另外一方面，是觉得当时做机器人好玩，因为机器人可以做很多task 很多任务，这个任务都是，你可以，你可以拍脑袋想一个新的任务，然后让它做，我觉得这个乐趣是，机器人里面，一个非常tricky的点，因为自然语言很多时候，你可以用语言去描述，你想让他做的这个任务，对吧，你可以说，我今天有个问题给你，我想你给我写这个代码，然后你可以不断地去补充 就自然语言的这种，跟智能体交流，你想他做的事情，是什么事情，是一个非常天然的，一种交互方式，而机器人其实，我觉得在这个VLA model 出现之前，就没有很天然的这种方式，即使现在VLA model出现了，我们也是在探索，就是为什么，我是一开始，完全没有用过VLA Model 然后现在其实反而是，有一点欣赏VLA Model 就是因为，如果我跟这些Cloud Agent 提的很多要求，都是用语言来表述的，那是不是我跟机器人，也可以通过语言，来提这个要求，然后这个语言的要求，就会影响到，就是你在没有，那么多数据情况下，你可以完成一个具体任务，其实这是机器人的一个优势，我觉得在自然语言界 没有那么多数据情况下，完成一个具体自然语言任务，其实是有点难的，我们现在就相当于是，在数据量与对方这个业界，完全无法比拟的情况下，其实你已经做了很多东西出来了，所以我觉得这是一个非常有意思的点 [02:21:56]

小珺：如果我们往后推演一步，你看今天的大模型发展，这些模型公司慢慢都变成应用公司，因为大家发现模型是商品化的，它会慢慢的统一和统治化，所以最后大家构筑商业外的不同盒，互称盒都是通过一个不一样的应用，来进行选择，我觉得如果放到机器人这个领域来，是不是今天你们出发，可能是一个通用大脑，但慢慢，可能也会做成，不一样的产品形态，然后每个公司 [02:22:08]

柯丽一鸣：带的产品形态，是不一样的，我觉得也许会，我觉得大模型，现在是，依然有很多的竞争，在竞争中，刺激了很多的研发，刺激了大家，对一个更好大模型的追求，我不太确定，就是像 OpenAI的，对的这个产品，难道就不能拿来做，写代码了吗，以前也是可以的，我不知道他们现在，研发的来步，或者怎么样，只是最近，可能大家都是在用 Claude Code的这么一个 AI工具做代码，但是他们因为都是一个，多功能的大模型，我觉得没有任何事情，告诉我是他们，根本上做不了这个东西，只是你说的这种，就是产品形态，开始发生了一些分析，我觉得也许是可能的，但也许一种可能的形态就是，有一些人是专门做大脑，还有一些人他们专门做，就是这个场景的商业化，和为了这个场景的商业化，所做的很多事情，甚至他们最后也可以 插入这个别人公司的大脑，所以这是一种可能存在的形态，你觉得机器人会出现一个，独立于大语言模型的，独立的大脑吗 [02:23:29]

小珺：据我所知大部分的团队还是，在基于一个多摩泰模型上，去做后训练，做一个机器人大脑，你觉得一个独立大脑就是说，要专门的为机器人大脑去做，预训练中训练后训练

柯丽一鸣：它是一个自闭环的完整体系吗，我觉得是，有可能的，但同时可能也有一派人的认为，是说所有这些东西，都可以归到一个模型吧，而且这个模型还没有被创造出来，我觉得从这个角度上来说，确实就是如果有一天，就是有这么一个模型，它能拿到所有的，我们能想得到的模态，和做这些自动化上的，必要的任务，不管是预言沟通，图像编辑，什么视频生成，或者说机器人的操控，它也可以是一种可能性，那个时候也许，机器人也在旅行类里了，从你们内部看，现在看到 Scalning Law的迹象了没有，我觉得 Scalning Law 是一个非常 tricky的话题，因为Scalning也有很多，就像范化有很多，不同的衡量标准 Scalning也有很多，不同的衡量标准 就是每次，当我看到有一些，就是over simplify 就有点过度简化的，这种陈述的时候，我都是会有一点觉得，不够太细节，比如说Scalning 你看在Panel 5里面做的，就是你在，十个房子里面，收的数据，你到第11个房子里面，你能跑起来过，你的表现是在哪里，比起你说了100个房子以后，你再到这个房子里来，是不是有一些长进，那你再说1000个房子，会不会其实，提升就没有那么大，我觉得这可以看作是 scaling law的一种探索方法吧，就是我们要收多少个房子，才能够在下一个新房子里，取得一定的成果，同时你收过多少个房子以后，这个新成果可能就，提升就没有那么明显了 我觉得这个，在派05给我感觉是，它确实是可能，可以摸得到的，一个有限数据，可以达到的地方，但是我觉得，我们现在数据量，还是太少了，肯定还是要再激进一些，我觉得会好玩 你们的算力够吗，算力多吗，我觉得算力，算力够不够，是看你们这人，喜不喜欢干活，你们这人都特别喜欢，干活的话，算力永远不够，永远都可以有新的想法，想法新的时间，和创新的模型，你们那人卷不卷，我觉得大家，你从一个，工作时长的角度上来看的话，是很多，但其实这并不是，他强行要求你，在公司要待到什么点，而是还相对而言，比较自发的 就是今天在公司，吃完晚饭，又跟这个人，开始讨论起来，一个什么话题，就想往下再走一走，再看一看，所以有的时候，大家可能工作，还是挺长时间的，在那儿，甚至包括周末，也有不少人会去公司，也是相对而言 比较自发性的，就是觉得，下周想出任何一个结果，那今天就把时间跑好，或者说，就是突然来了一个想法，那就深夜聊天呗，聊，你们好像都是没有加班工资的，对吧，没有啊 [02:26:17]

小珺：你们一般早起晚起啊，你的typical day是什么样的，作为一个，嗨的研究员，每个人都不一样，其实，甚至包括有些人，他们住在南湾

柯丽一鸣：然后要来旧金山这个城里，他们每天来回开的时间，可能就三个小时的车，像我的话，我是比较夜猫子，所以我基本上，白天我就算起了，我可能不会在公司，我才会加点钱，工作一段时间 给自己一个洞穴的时间，然后差不多是中午过去，然后到了晚上，我要是兴致来了，可以干到非常晚，可能会干到晚上两三点啊，这种，才回家，一般是一两点回家，写了写了，睡前再干一会儿，对，然后，你们都不用打卡对吧，我们没有打卡这个东西，对甚至有些人，他可能家里有些事情啊，比如说其实这边有研究员，他们正在生小孩，他们就在家里，就是可以直接待很久 但大家也会，他也会有，就是继续他的工作，就是相对而言，是一种比较自由的氛围，让你决定，什么样的工作方式，是最适合你的，同时公司也可能，希望就是大家，变成了一个团队以后，可以拧到一起，发挥作用，那你们会有例会这种吗，最早是有的，就刚刚来公司的时候，这个例会，给我这个烟帽子，带来了非常大的困扰，因为例会是，每天早上十点钟到公司，大家轮流说一句话，自己在干什么，因为当时公司就有二十个人 但是当时我就跟CEO说，怎么十点这么早，我们能不能改到下午，然后他就很震惊地，看着我说，他们最早是八点，后面退到九点，然后退到了十点，怎么我还嫌十点也早，对，然后呢，后来的话随着公司，我觉得人数增加，这管理方法，可能是需要改变，所以现在的话，就没有这种，就是每天都有例会，只是有一些，就是研究的会 和每个课题，自己组织的一些会，现在多少人了，现在我的体感，可能是大概七十个人吧，体感，体感，因为我也没有，天天在那数，我们公司有多少人，你有几层楼啊，我们现在还在，我们最初的那栋楼里待着，这栋楼我觉得真的是，第一它是非常有创业氛围的，就是这栋楼，它比较的朴素，本来然后我们来了以后，就把所有的这个，硬件软件啊，都带进来了，但是另外一方面，就现在人实在有点太多了，这个楼里真的有点走不下，我们，这东西可以播吗，就是我们的会议室里面，有一个二氧化碳检测器，这二氧化碳检测器，在这个会议室里面 人超过大概三四个人以后，有的时候就会突然一下，跳成红色警戒，然后我们这个时候，就没办法，就会把这个门打开，然后接着干，说没该换办公室，确实大家都非常期待，能不能换到一个新的办公室 但在旧金山，在创业范围如此浓厚的情况下，没时间，我觉得挺难找到一个，非常适合我们这样公司的，一个办公室，因为我们也有一些硬件的，这个元素，我们也有自己的，办公室里是有机器人的，你还有一些什么，用电用网的一些需求，就是想到一个，非常合适的地方，没有那么简单，你们的组织和文化，是什么样的，我觉得现在还没有一个章程，去非常详细地规定它，但是可以看到，公司现在发展了，快有两年了，它是有一些自发性的，一些文化的因素在里面的，它整体而言，我虽然也没有在，其他创业公司待过，但感觉这个应该就是，我想象中的创业氛围了，你看这个，大家都比较踊跃的，去做一些，自己觉得非常重要的事情，然后同时，尽可能的，就毕竟创业嘛，就是你们都是有一些股份 [02:29:08]

Pi 的组织与文化

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

就是你们都是有一些股份

柯丽一鸣：就是你们都是有一些股份，然后也是有一些stake 在这个公司里面，你是希望公司变得很好，其实有的时候，不是你的，就是氛围内的事情，你也会去想要去做好，然后同时，我们公司比较特殊的，因为是比较开放的，研究氛围，所以是，就我和另外一个人，会组织一下读书会啊，和一些交流会啊，就是可能，读书会，就比如说就是，比如说我们现在，想做一个项目，比如说这个派06星，派06星，其实是去过两次，这个读书会的，就首先一次，就是给大家讲一讲，我们现在 想要探索这个问题，这个问题，以前的人的发表，和东西，都做到什么地步了，然后我们觉得，它的应用，就是会有一两个人主讲，然后其他人可以问问题，或者会甚至质疑，都是可以的，就是看怎么样，能让大家尽量的，在这个课题上，感到同样的激情，然后同时有几个人，主要去负责去做，然后做到后面快成熟之前，其实又上了一次读书会，给大家交流一下，现在做到这个地步了，你们觉得怎么样，然后有一些比较天马行空的读书会，比如说Cloud Agent出来了，然后就疯狂地就在读书会里面说，到底谁是我们公司，最能用Cloud Agent的人，赶紧让他上台讲一讲，就怎么用，然后大家就可以抄他的作业，就是这种风险，抄到什么，抄到什么，就是我确实在，我当时正在埋头，干一些别的事情，就没有怎么关注到，然后他们给我们介绍了一下，就他们怎么用这个Cloud Agent 我都听完以后，哇惊了，我就说哇这个，确实是生产力的飞跃式进步 就这大概最近两周，我就是把自己的，整个工作的这条流程都改了一下，就觉得哇现在，跟一年前也完全不一样的一种工作思路了，能工作到你之前工作的多少倍啊，你的一天的工作量，我觉得效果上来说，我觉得应该有三四倍吧，但是年周嘛，就是一个不停的打一枪，看看这个子弹落在了哪里，调整这个子弹 我觉得不是你疯狂地打枪，就能够打中什么东西，还是需要一些人的input 你们CEO的管理方式是什么样的 CEO的话是Carl Hausmann 他是 他其实在公司主管的方向，并不是那么的侧重研究，因为研究方面的事情，更多是由Sergey和Chelsea来负责，所以我和他打的交道并没有那么多，他管了一些公司的基础架构 你可以认为就是我们公司里面，有很大的一部分工作是研究，但也有很八十分的工作室，如何保障这个研究，能够高效快速地进行下去，卡尔是有，主要是很多负责在这个方面上 他就是Sam Altman 那个角色，类似于，可能也会，未来会做一些商业化，如果需要的话，他们怎么想的，其实我在2024年，就是刚刚他们开创了以后，就是说要不要去聊聊，我就问他们，你们现在做人形吗，你们现在要做什么商业化吗，我当时感受到，感受到的氛围就是，确实我们不做人形，因为他们要说做人形，我就不来了你知道吧，为什么，我很担心，就是不同背景的人去做人形，比如说现在人形公司的，做人形你就不来了，神奇，因为我觉得人形是一个，非常值得研究的问题，但绝对不是我现在，最想研究的问题，为什么，如果他们做人形，我就会担心，他们的研究重心，就变成了如何做一个更好的人型机器人，而我的研究中心就是做更好的任务，我个人是非常相信，不需要人型机器做是很好的任务的 而且不需要人型就能使用派的角度出发，更快地做出来，比如说你看现在叠衣服什么的，都是我们先做好了，叠衣服叠盒子，还不过现在做咖啡，都是你先做好了，他不需要人型他就可以做，而且我觉得有更多 非常多的任务都是可以，无形无形的任务等着我去做呢，我要是把时间和精力都花在了，就是怎么样让人机机器人跑得更好上来说，他不是我这个人的工作重点，就我觉得这是一个taste的问题 [02:33:32]

小珺：那如果让任务更通用，你未来的硬件是多样化的吗，还是它可以统一到一个硬件上，我觉得也可能是，我觉得现在我们作为一家通用大模型公司，比较考究的其实就是，它在不同的机械上的表现，它在不同的巨声的上面的表现，就是你不追求未来的世界，所谓的机器人就是人形机器人，那种统一的美感对吗，你觉得它随便都可以

柯丽一鸣：我这个人最喜欢的就是宠物机器人，我有一个朋友，他说他要创业，创这个宠物机器人，我一听可来劲，就恨不得，要不是因为，现在做的事情，也是很想做的事情，我还不如加入他呢，因为我就会觉得，就每个人，在机器人这个领域里面，都是有非常多，分杂的线的，有意思，宠物机器人，宠物机器人，你想做哪种宠物，什么宠物都想做，宠物实在是太可爱了，我觉得这是，人文的情绪价值 就是大家活在，这个世界上的一些意义，我觉得陪伴，是一个方向，说了很久派啊，你当时为什么加入派，当时，也是好促巧啊，因为我其实整个博士期间 一直坚定地以为，我要想去当教授，但是一直很害怕当教授，因为教授要写好多，这个什么 Founding Proposal 就是吸睛申请，我一听到这个Founding Proposal 我就觉得，我想解决问题，我不想考这些事情，可能这也是我的，还需要修炼的一个部分，但是当时切切皮皮，横空出世，我一排大腿决定，稳了，我现在可以去当教授了，我不怕了，我用切GPT帮我写这些，资金申请就可以了，但是 在我其实经历了，一整轮的教职面试，中间就有一些感触，很有意思，因为我之前的研究，其实没有很多大模型，我虽然做了很多机器学习 包括各种机器学习方法的研究，但我用的模型都比较小，这个跟我们实验室的氛围，和我们当时拿到的其他资源，也是有一定的关系，大家可能说，把这个任务做到就好，不要想太多，就是其他的事情，所以当时注重的点，没有那么多大模型 在教职申请的过程中，我也是以一个，更加偏向传统的一个故事，在史上找这个教职，然后能越来越感受到，大家对于这个大模型的热情，就包括我自己，其实也是非常大的好奇心，然后又因为非常巧合的，就是Sargey他有一个学生，就是Abechik 他毕业以后来到了华大，就是我就读的学校，并且成为了我的小老板 因为我们华大以前，没有一个真正意义上，就是专门做robotic learning for manipulation 这个话题的人，然后阿贝谢克一来一回，我就说，哎呀，我做的跟你做方向好近啊，我们一定要天天交流，然后我们就天天交流，然后顺便就是，就成为了，也算是半个他的学生嘛，可以，就一方面就是，他也会用founding 来支持我的项目，另外一方面我们的，我觉得我们的合作挺紧密，然后有很多相似的想法，就是跟我，跟我老板的交流完全不一样，老板更多的是像一个，就是干这种，对话网络里面的一个 critique 他就说了，你现在生成了这个东西，但是你要达到更好的标准才行，而阿比写跟我的合作方式的话，就更加的是我们俩，我有这个想法，我也有这个想法 我们把这个想法揉一揉，不行再生出了三四个，又有的新想法，哪种方式对研究更好，我觉得都有是最好的，我真的是黑猫白猫，抓到老鼠就是好猫，因为我觉得和我自己的导师，那么多年的合作，让我有一种求真的，就是非常强力的求真，就是包括大家在，我在看别人的paper 看别人发表的时候，也是会经常，比较喜欢打破纱布，弄到底的那种，甚至有时候，我就自己做一遍 看看是什么样子的，而Abbysheck 给我一种，他非常跳脱的一种，就创造力吧，就是确实之前想的时候，很多是我一个人想，在洞穴里面待了一阵子，但是如果要真的做成，我们得退一步，然后思考，然后到底发生什么紧，然后去 比较漫无目的地去漫想，我觉得这两者结合是很好的，但是因为当时Abbysheck 是Circuit的学生，然后Circuit在连创的时候，阿贝谢可能就跟他说了，就是，就是有这么一个人，他要毕业了 他是做这个的，然后Sargi就说，可以去聊聊，然后我本来也，没想去聊聊，因为我听说了，他要去创业，我说这好像，跟我没什么关系，但后来又转念一想，觉得Sargi 他毕竟是一个，学术界里，非常有影响力的教授，我去听一听，跟他第一次，就是真的面对面，就要深入地去交流一下，他到底在想什么，也挺好的，然后当时就是，去朋友家玩，在湾区玩的路上，顺便去派，就当时他们刚创立，一周内吧，我就去那边坐了一下，看了一下，我不知道那就是，那是个面试，他们没有人跟我说，这是个面试，我就很，就一种，有这个人在这做这个，挺有意思，你们在做什么，然后他们后来，给我的反馈是，就是他们是我觉得，就我，他们面试我的过程中，感受到了莫大的阻力，因为我不停地在问他们，你们在干什么，哦，哦你是这样的，是这样吗，对可能也是一种求知吧，所以当时我就特别好奇，我说你们在做这个 这个任务，是怎么想的呀，我来多了解一下，然后他们想的是，我们是来招你来辩试的，应该是我来问你们，怎么变成了你辩我们，但当时就，就是聊完了一下以后，觉得，就没有结束之前，肯定是有很多猜想，但没有一个能确定，然后聊过了以后，觉得这帮人还是挺求真的，我觉得，学术界有很多发表，有的时候会让我，这个实用主义派，觉得有一些无奈吧，就比如说，你要做一个问题，想把它做得更好，你会说之前做，做不更好的一个原因，是这个原因，所以我们就出了这个问题，有的时候它逻辑，不一定那么通顺，所以你可能不认为，这个原因，是为了自言自语说，对 有的paper是有一点，这个感觉的，当然也可能是，大家的想法不同，但是我肯定是希望，找一个和我的想法，比较贴切的，然后我觉得，当时和派对人交流，我觉得大家还是非常求证，所以就，他们就给了一个offer 然后我也很莫名其妙，我就觉得确实挺好的，非常感谢，但是我还是在找教职 offer有吸引力吗，我觉得是一个机会吧，我觉得offer具体的内容，并不是最重要的，对当时的我来说，这个offer代表的是，我能和一个已经曾经做过，非常多成功工作的一个团队，然后他们里面每个人，和我交通都非常，和我的交流沟通都挺愉快的，和他们去共事，到达一个新的平台 可以做很多不同的事情，这个才是offer 我觉得最重要的部分，所以当时去了 [02:39:56]

放弃剑桥教职

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

所以当时去了

柯丽一鸣：所以当时去了，找教室的最后，就突然有些顿悟了吧，觉得我还得想一下，自己究竟想做什么样的研究，就之前呢，我可能会觉得，时机没有到，我应该先到一个地方去，仔细地思考，带一些学生，我非常期待将来有一天，也许真的会学术界，带一帮和我们这些人，想的完全不一样的人，我觉得这个是最值得，期待的一种发展和演化吧，但我没想到，就是这波来得还挺快的，就它已经让我感觉到，我得知道，我们现在的，这个新的这种前沿，能做到哪里，在做什么，我能怎么样去做它，所以当时就是比较突然的，就在毕业的时候，辞掉了这个教职的offer 就转身加入了派，是一个非常偶然的决定，可以这么说，我当时，我当时在毕业 CISUS Defense 解课的时候，我老板都跟所有人宣布 他要去当教授了，你找了教职是吧，对对，我当时就是，其实非常想去建桥教职，已经拿到了，包括我自己 也是心里非常感谢，我觉得剑桥的人文的，这个属性，和我个性非常的贴合，我觉得在那里，就可以又做研究，又写小说，在这里的话，写小说就是，晚上睡不着，就要写两笔吧 那这个很有意思，你为什么在最后一课，词调剑桥来了派，这个和学术界的运作方式，和工业界运作方式，或多或少有一些关系，我在学术界，我觉得有一个，比较大的问题，其实是，你是学生来来走走，美国的学术界大概是五年，其实英国更短，三年，我当时就会想说，一个学生来，如果我想给他一个，放手去做 做一些比较开创性的工作，三年，他够不够，因为我当时，你可以看到，我是一个半道出家的博士生，我不像现在很多，非常优秀的这个本科生，他们本科就做了，非常多相关的研究，他们到，他们开始读博士的时候，我觉得都已经，非常了解自己的行业，我觉得如果我要去招学生的话，我会非常喜欢这种学生，但我也可能也会喜欢，一些就是敢于，就抛弃自己之前做的东西，去探索一个新的东西的学生，而只给他三年，只给他五年甚至，是不是会时间不够 然后一个学生来了，做了一个项目以后再走，可能你一个东西开了个头，我觉得这个，这种模式，在现在这个环境下，可能确实，不一定能做到，我想做的一个东西 同时呢，就是在工业界做的话，会有更多的，不管是算力，数据，还有硬件的支持，你可以看到机器人，它是一个非常多元化的，就比如说我做的时候，我做的其实，我PhD整个读了七年，第一年第二年，你可以认为，砍掉的话，跟我后面做的事情，也没什么关系，但确实我觉得，对我后面做的事情有帮助，然后我开始搞真机，就搞真机这个事情，就很麻烦，就是我从开始想搭机器人，到这个机器人，差不多能动，大概三个月的时候，是第一次，就是机器人差不多，整体都跑通了，然后六个月，才真正把摇操动这个玩意，给全部定下来，都是我一个人做的，很慢，在后续的，做的活的过程中，肯定也有，不可避免的，因为是个全站，就这个站哪里坏了，你得自己上，在学术界，这种相对而言，更加单打独斗，需要，需要比较大东西的东西，你就做不了，所以我觉得，这个是派相，是最大的吸引力，就是我其实没有，真的在一个 大公司的，齐心协力的，合作下去做，而我也确实承认，我觉得这是必要的 [02:43:17]

小珺：说到博士，我突然在想，博士是越快毕业越好吗，你看我读了七年，你问我这个问题，就是你说到七年，我在想这个问题，因为有人可能从第一天，就会想我要几年毕业

柯丽一鸣：我觉得跟性格，有很大的关系吧，我认识很快毕业的，也认识像我这样，我们华大的记录是九年，我刚进校第一天，我就认识了这个，在学校待了八年的人，他是第九年毕业的 但是我觉得，和自己生活状态有关系，我在读国求学期间，做的很多项目，我都非常喜欢，所以没有觉得，时间过得很慢，没有很焦虑，就为了毕业很焦虑 没有为毕业很焦虑，也没有觉得，就是我没有毕业，是个什么样的一个事情，就是可能，更多的是比较纯粹的，去想说，我现在做了一个问题，上一个问题，我学到了什么，下一个问题，我想做什么，是一个很灵贯，很快乐的一个过程，同时当时博士期间，单打独斗的项目，有个好，就是你想休息，就可以休息，不想干了，就可以干，就你可以卷到半夜，我就超级夜猫子，我当时就是，一般是中午下午开始干活，然后干到晚上四五点，因为可以免费停车，然后干完了，还能去一个 24小时的宁夜的炸鸡店，吃两口炸鸡，就非常快乐的一种生活，同时也可以就是，就觉得最近，好像做了一个角度，非常深入，但是就是思维很迷茫，我们去休息一下，我有一两个项目，其实都是我在，圣诞节度假的，就突然有一天，突然灵光一现，就觉得要做这个，就有很大的自由度，而我见到的很多，就是三年四年就毕业的博士生，他们确实可能比 刚进行了我来说的话，要非常更加明确，自己要想要做什么，我的话更多的是尝试换，一直到最近可以说，我的职业才真正的，有一些稳定下来 [02:44:58]

小珺：你觉得在派工作，和在Google工作的区别，可能会是什么样，他们都在做机器人大脑，而派的人，当然也是从Google出去的，我没有在Google的研究部门工作过 [02:45:07]

柯丽一鸣：我在那边做过软件的实习，当时我还是一个本科生嘛，去了Google以后，就觉得非常快乐，因为Google就像是，一堆软件工程师，为自己所搭的一个乐园，我是在Google那边，开始第一次学 怎么写TensorFlow 和就是大规模的，一些神经网络的学习，因为之前都是手搓，就是你会从头开始写一个，什么CNN怎么反推的，你会从头到尾都自己写，然后到了Google才发现，有这个别人做好的一个库，我就掉进这个库就行了 哇这么方便吗，我赶紧学下怎么弄的，所以我相信 Google是有一个工程师的，这种基因在里面，让我当时的，我对它就非常的喜欢，我觉得现在它还有体现，就是比如说，他们做的研究，他们做的多模态 他们做的这种TPU 这种架构，都是有着一种，工程师的优化的思想在里面，而在派的话，说到底它是一个创业公司，我可以非常轻松地，跟我想聊的人开始聊天，可以move fast 可能你昨天有个想法，今天说一说，明天就变成了一个项目，还有包括凯琳六星，它的这个中间有一段，就是突然一下非常大的转变，就是我们说我们要收E-Wall Data了 我们现在收的这个评测Data的量，是这个量，但是如果我们想要达到，我们想要的地方，可能需要这个量，怎么样很快地给它排查，达到这个效果，我觉得这个可能是，我们比Google 我想象中要做得快很多的地方，你说你现在的研究方向稳定下来，就是稳定到了强化学习，不一定是强化学习，而是做机器人，并且想怎么把机器人做得更好，而且是一个比较通用，与经历下来更好，这个是比较稳定的方向 强化学习只是这个阶段的，一种研究的重心，但我不觉得它是一个，定义你研究生涯的一个东西，你觉得强化学习，对于机器人来说意味着什么，它解决的是本质的问题吗，我觉得强化学习，是一个非常本质的一类问题，也就是说，一个人如何通过体验，变得更好，这个问题从，最传统教科书上来说，解释强化学习，其实就是解释，这个巴普洛夫的狗 这个狗它做了一个事情，你就给它一个奖励，它从此就知道，这个事情是个好事情，我要多做，就是通过这种奖励，和惩罚的方式，去让一个智能体，做一个对你来说，更好的一个动作 但强化学习呢，它在算法上来说，我觉得是有一些东西，我包括每天都会，就感觉它跟我这个人进化，就是人的自我的提升，和强化学习 是有很多关系的，就不管你是从，一个非常具体的一个动作，比如说你是一个，想象中的，你是一个，想要学习攀岩，或者游泳的一个人，然后你怎么样做得更好 你就是不断地去做这件事情，我觉得这个追求极致，是强化学习，一个非常强烈的一个因素，就是不停地去练，同时呢，强化学习其实还有一个，很重要的部分是探索，探索我觉得 它是可大可小的，可能是说，我这个肌肉，些微地往左移一下，我的表现，打网球的表现会更好，这是一种探索，也可以说是，我现在做的这个研究，我想怎么把这个机器人做好，我现在探索的是一个方向，我也可能将来会换一个方向 它也是一种探索，我觉得它是，不光是一个具体问题，具体场景，其实也是一个通向通用的一条路，比如说现在，我觉得大语言模型里面，应该有不少人都在使用 强化学习来帮助提升，他们的大语言模型，其实也是，有一个大语言模型的基础上，让他不停地去试，去看，去给反馈，如何从这个反馈中，得到更进一步的提高，是一个很整的命题，同时我觉得强化学习 具体的技术也有很多，是可以讲的部分，如果你有兴趣，我们也可以多深入一下，我觉得强化学习，是有几个模块的，就是每一个强化学习系统，都是把这些模块拼起来，其中一个模块，可能就是这个探索模块，就是如果你想要，做一件更好的事情，你得做一些，你以前没做的事情，你怎么样选一个，更有可能成功的事情，去探索，是探索模块，我觉得这个方面，其实咱们现在，做的不是特别多，但它是一个永恒的命题，就是你是选一个，小的改动，还是大的改动，包括你怎么改动，都是一个算法需要，我觉得在最后的，大模型态里面，它其实应该对于探索，是有一个非常清晰的想法，现在的大模型，可能还不具备，这样一个非常主动的，探索的一个能力，因为探索直接就影响到了，如果你选的好，你研究路线选的好，你可能做了这一个研究，就已经有很多 好的事情发生，如果你这个研究，很不幸地就是选到了一些，就是比较难搞的一些东西，那你比较做很多，它就极度地影响到了，你学习和进步的这个效率问题，所以是探索问题，然后第二个，我觉得强化学习，比较有意思的问题 就是归因，就可能你要，让你们家宠物 [02:49:56]

巴甫洛夫的狗

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

让你们家宠物

柯丽一鸣：让你们家宠物，做一个什么好事，就可能它做了一系列的事情，然后你最后给它一个奖赏，它其实是需要知道，就到底哪个事情是，这一次得到好奖赏的，一个决定性因素，这个也是，帕零六星是有一些探索的，就是你收集了这么多的，这个部署的数据，究竟哪一条部署数据里面的，哪一个步骤你做得好，让你整条数据，得到一个关键性的一个奖赏，你可以看到在帕零六星里面，我们可能比较强调了，这个SURPORT的一个速度和质量，所以从智能体的角度上来看 就是它做了很多事，做了不停地做了这么多次，然后我们设计这个算法，帮助他从这么多次经验中，找到就是，这条数据里面，其他都是垃圾，但这个地方是精华，你以后多做这个精华，所以这个归因，我觉得是强化学习的一个，就像人的这种总结反思一样，是一种，可以长期持有的能力，就不管是在微观上，这一步骤再做，改一下就会更好，还是宏观上来说，有这么一些策略 其实这个策略，是最好的，然后同时强化学习也有着，我觉得有一个本源性问题，是我们其实，教科书上不怎么讲的，就是这个问题的定义，你可以看到，在这个大语言模型里面，你要什么问题，你一般都用口述，给它抛出了一个问题，可以说你的这个问题，涵盖了很多它需要知道，就是你的这个问题，就定义了它这个任务，而在机器人界，目前还没有这种 清晰的一个联系，包括这个VLA模型，也只是开了一个头，说我想让你叠衣服，其实你可以千千万万，不同种方式叠衣服，对不对，你怎么知道，它要你叠衣服，到底是要叠成什么样子，在课本里强化学习，是要用一个奖励函数，去抓住这个东西，可能这个奖励函数，就设计成了一个，如果你真的按照他的意思，他就给你一个很高的奖赏，就给你一块肉，奖励你这个狗狗做得好，如果你做得不好，他就给你一个惩罚，但实际上设计，实用的来说，设计这个奖励函数，是非常难的，因为之前有人做过很多，就是在模拟器里，做强化学习，比如说用强化学习，去打这个超级玛利奥，你有一个分数对不对，优化这个分数就好了嘛，这是一个现成的奖励函数，但实际上即使是这样的情况下，他有可能会，我们就是说就是 abuse 就滥用这个奖励，他就发现了，有一个bug 就超级妈咪要一个bug 有了这个bug以后，强化学习就发现了，就疯狂做这个bug 他就会跳一个小人，然后直接通关了所有的关卡，并且束发奖励函数达到最大值，哎，我把奖励函数给你优化出来了，你以为还有什么可说的，我已经做到你想要我做的事情了，但实际上这个奖励函数，一开始设计的就不对，所以我觉得，强化学习的一个工作目标吧，也是一个很重要的事情，其实就是，把人想要他做的事情，和机器能够理解的，这种奖励函数，紧密地结合在一起，同时也希望这样一个设计，是可以泛滑 [02:52:23]

小珺：可以鲁邦的，谭姐也提到强化学习，需要奖励信号，但是很难写奖励函数，这个你们有什么发现吗，怎么能给一个人，无写清新的奖励函数，我觉得，就是在我看来

柯丽一鸣：它不是一个写奖励函数的问题，而是向智能体传达，你向它做什么的问题，奖励函数可能更多的是一种表现方式，比如说你看现在NLP 他们之前应该也有时候，我们探索过，就怎么给它写一个价值函数，就做了这个好 就是更高的分，做了那个不好，就是更低的分，但其实有一段时间，在自然语言中的前华学习，最有用的东西，就是可验证的一个任务，这个可验证的任务，是可以独立于一个 所谓奖励函数存在的，它就是一个，要你写编程，你这个编程能跑，能跑的话，他就是非常确定的知道他是好，我觉得是传递好坏，不一定需要奖励函数，而且我相信，就是传递好坏的这个任务的话 是需要一些，就是人的这种common sense 这种潜知识啊，或者说通用知识啊，同时也是一个，我觉得是一个非常flexible问题吧，就我个人比较相信，就是好的奖励函数，是可以因地制宜的，它也不一定是一个 [02:53:41]

小珺：奖励函数的一个形式，在存在，更多的就是，你给了这个模型的信息和表达，去让他理解，我前两天聊了一个嘉宾，他是做AF Map 他们核心想优化的就是

柯丽一鸣：模型的可验证性，这个会不会对，我觉得是，对我们是都有启发的，对因为机器人，他也有一个很好玩的问题，就是咱们也没有那么多的任务，是非常清晰的 说成功和失败，都非常简单跳出来，你可以，比如说就是这个杯子，放在另外一个桌子上，也许是的，但这也是一个非常限定的，就是你当到了一个限定的环境以后，你可能就比较容易写出这个降临函数，而你在一个非常通用的层面，你其实很难写出一个通用的函数，或者你的任务比较难，比如说像叠衣服这种任务，叠衣服叠得好不好，老师我都不怎么叠衣服，所以我在叠衣服的这个任务设计过程中，我就有一个比较清洁的，就是因为我从来不叠衣服，所以我可以很纯粹的，从机器人任务的角度来说，设计这个东西，但是设计出来的每个人观点，也是不一样的，你刚刚提到Chelsea 对于一些任务的设计，很有common sense 对我觉得它有，非常sharp的intuition 能不能举个例子，就比如说，叠衣服这个东西，是有很多不同的策略，对不对，你人来叠，你可以，对它从两边叠成这个，或者你也可以 就是四方方的叠，我是因为用语言，都很难描述，这不同的方式，是怎么在叠，但你可以想象，它有不同的叠法，那么哪些叠法，甚至包括这个叠法，好像机器人身上，哪一个是好的，我觉得有一些人，确实是能够 很快速的，直觉性的，搞明白，就这个，点跟，那个，点，是有，差距的，或者说，或者说像我们，会经常看一些，就是机器人，中间做的任务，就会去，就斩钉截铁，说这个任务，我觉得可以做，虽然看起来很难，我觉得Chelsea 有很强的这样的东西，或者说他也会觉得，就是这个数据好，这种直觉来源于什么，来源于对，我觉得思考是有的，然后理解也是有的，但是也有可能，就是和每个人，看问题的一些，看重的东西吧，你觉得VLA会是一个终极的架构吗，它会怎么演化在未来，我觉得这种interactive的方式，是可能可以的，尤其是在我天天成为了 Claude Code的重度用户以后，我以前是有一点怀疑的，我说我这个人比较内向，就没有那么喜欢说话，有很多事情是不是不用说话，表达会是更好的表达 而且包括说话有很多时候，比如说就是我想让，你帮我把我家的这个书房收拾一下，他没有办法capture我所有的意思，就是我可能说的是，你把垃圾掉一下呀，然后这份书柜就关起来，或者那样的一些，单纯用语言，无法捕捉到的重点，但是我发现了这些cloud agent 就改变了我对这种交互方式的想象，就是你是可以说话，他可能捕捉不了所有的重点，但你也可以用说话，给他提供更多的context 让他自己去搜索或者执行计划，就是说话确实是一个，非常强的逻辑思维和推理，而我也越来越觉得，逻辑思维推理，对机器人是很重要的，所以我觉得VLA中的L 还是有很大作用的，只是VLA现在的这个架构，可能还是比较原始的一个架构，它虽然有这个language 但它并没有很多的去探索，就是language和动作的 一些非常细微的事情，比如说language的层面，更多的都是给这个衣服，它也没有很详细的描述，说这个衣服叠的时候，你要用两只手，在这个步骤，怎么怎么样，我觉得这都是，未来的探索方向，就是可能，会有一些更加，就不光是，从输出端是动作，或者加一些video 或者加一些oxalate loss 在输入端，可能也会比它更多的context [02:57:17]

小珺：使它能像现在的大语言模型一样，就take in much context 我们刚刚其实也讨论了一点数据问题，我想继续就这个话题，再深入地讨论一下，你刚才说过，你们其实BATs 算是真机数据，是一部分，真机数据战很重要的一部分，那硅谷其他的这些Frontier Lab 他们在数据的选择上，有什么不一样吗，真机数据是一个共识吗

柯丽一鸣：我不太清楚别人，有没有共识或者是怎么想的，我只能从我接触到的信息来看的话，比较明显的，有一些人觉得，我们可以把这个模拟系列的东西 做得更好做得更有用，我觉得这也是一个非常值得探索的区域，可能如果他们现在，工作重点是这个的话，他们可能就对真机数据，相对上也没有那么看重了，或者说也有一些人觉得，我们就用一些，人手直接说的，像这种污秘的这种数据，就是人可以非常自然地，在自己生存的这个空间中，去说很多数据，而且它的效率，就速度可能比，你非要搞一个机器人，进他们家，然后再说，要轻松快一些，我觉得这也是，大家不同的想法吧，就是它有一个重点，但是可能因为，我是真机数据的信仰派，所以会觉得，以后肯定还是要真机数据，因为你都不数了，你可以收真机数据了，那为什么不用呢，所以我觉得对真机数据的，如何用了更好的研究，应该是不会停止的，你会觉得真机数据更实用，我觉得就不光是实用，而且是最后，当你真的做完了，这个问题的时候，你机器人真的，进到人家里以后，你就是会有很多，真机数据了呀 我相信这个是我们，共同想要的一个未来，所以这个未来里，就是会有很多，真机数据的，你觉得什么样的数据是好数据啊，现在这个定义也没有很，很统一，对我觉得它不是一个学术能够，清晰的解决的一个问题，我觉得，是有一些不同的维度的吧，比如说，这个数据它做的是什么，任务 你看啊如果我这个任务就是在空中，摔灰灰手，这可能就没有什么意思，但如果这个任务是跳舞或者说随着这个，这个胳膊要怎么去往动，它是一个更有意义的任务，所以我觉得这个，是维度之一 就是任务本身，或者说叠衣服啊，叠箱子啊，还是拿水杯，这都是不同的类别的任务，同时呢，就是在做任务过程中，我觉得是有一个，叫做动作的质量的，这个可能就是 [02:59:51]

巴甫洛夫的狗

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

这个可能就是

柯丽一鸣：这个可能就是，就是如果机器人，能做成这样，我们就觉得他做完了，他做的极端了，他像奥林匹克运动员那种表现，就已经超越人体极限了，这个是已经有动作质量，你有可能收到一条，质量不那么好的数据，可能就是为了拿这个杯子，先晃晃悠悠，晃晃悠悠再去拿，可能就没有那么好，所以这种动作质量，也是一个维度，同时我觉得，就是动作的覆盖度吧，就从一个数据集，就刚才可能讲的是，具体一两条数据，从一个数据集的，讲法上来说的话，你收了，拿水杯的这个任务，的那么多条数据，它的这个覆盖度，到底有多少，它有多少不同的场景，它有多互相之间的不同，就比如说刚才说的，饭花里的每一条维度，其实可能都是，你说数据的时候，就可以考虑到的，一个覆盖度的一个维度，然后最后我觉得，就是数据提供的是一种信息 如何能够在一团数据里，挖掘更多的信息，包括不限于就是，我收到了这个拿水杯的数据，我是怎么拿这个水杯的，这个水杯在哪，然后这个水杯长什么样，其实它都是一个，隐藏在里面的信息，如果我们有一些标签，在这些信息之上的话，我们也可以就这些标签，再进行一些学习 [03:00:53]

小珺：所以我觉得就是数据集，它的标签标注也是非常重要，有一种说法是说，通用大模型团队，更关心在基础能力层面，实现GeraShot 就是零样本的方化，也就是在没有见过，具体任务的情况下，它仍然能work 而不是说我这样，我见过这个数据我才知道，而机器人或应用导向的团队，往往更关注某个具体场景，具体本体，具体任务能跑通 [03:01:12]

柯丽一鸣：这两类需求本身，是完全不一样的，你同意这个观点吗，我觉得是相辅相成，就确实这两个工作的重心，可能乍一看没有什么关系，但我觉得互相之间是可以相辅相成，因为对，就是怎么抽象的说呢，就是我觉得机器人在研究方面，是有两个很大的主题的，一个就是它的表现究竟如何做到完满，还有一个就是，如何在一个全新未知的领域下，做出一个像模像样的东西，可能这就对应着，你刚才所说的，一个具体场景，场景下的优化，做到完满，和一个ZeroShot零样本，泛化到一个全新环境，而我在实际做的过程中呢，时常会感觉到，如果你能在一个场景中，做到完满，你可能可以在，其实更多的场景 都达到更好的效果，这些东西都会帮助你，做一个更高质量的模型，而更高质量的模型，它不只是在你这两个任务上，表现得更好，它在很多相关或者相似性的问题上，它也会表现得更好，就具体的任务表现得更好，是可以提升模型整体的能力的，对这个是我比较坚信的，在这样的一个过程中呢，你可以说就是，对具体任务的具体表现的研究，是可以使这个大模型的，整体研究受益，同时呢我觉得就大模型，在新的任务，新的环境下的表现，如果能够稳步提升到一个，差不多的情况的话，你也可以马上开始，用一些就是更具体的提升手段，我觉得这两个就是互相之间，左脚踩右脚，踩右脚看看能不能上天吧 [03:02:34]

小珺：这个是左脚和右脚，一个通用的能力，一个是具体的任务，对，你觉得哪个脚可能现在跑得快一点，我觉得，像在派这样的公司 [03:03:25]

柯丽一鸣：还是很均衡的在发展，因为它是一个，非常本源的一个研究型公司，它是希望把，研究路上的重要的问题都解决了，怎么提高这种激烈摄像能力，因为具体场景可能是通过强化学习，那激烈摄像能力呢，我觉得比较明显的一些回答，可能是像架构呀，架构研究，运训练研究是很重要的，同时数据也是很重要的，你可以看，比如说像这些具体场景的数据，其实也是能够提升，这些大模型的能力的，在架构上有人觉得，下一代架构可能是世界模型，我觉得现在世界模型，也没有一个说法说，它就一定长什么样，大家应该都是在探索，就不停地在探索，架构到底应该长什么样，我每次聊机器人，都觉得机器人还好早啊，觉得离我们真正想造的，这种新城大海，确实还有一些距离 但是能够每天，每个月都感到一些，稳步的提升，这种感觉，我觉得在做研究里，其实很难得的，你是哪一年加入的派啊，就是 25年 24年，派是24年3月创的，我是3月跟他们聊了，然后6月我毕业就去了，你觉得24年和25年，过去这两年，每一年在机器人领域，最重要的提升是什么呀，我不好说，在机器人领域的提升吧，我相信肯定有很多，其实很重要的工作，只是我现在不知道而已，很常见在研究中，只是我自己的体感的话，我确实觉得派的主要脉络，从能力泛化，到表现上来说，这条路，每次我们走的时候，都有一些新的发现，新的提升，是以前，是对一些我觉得领域，需要回答的关键问题，给了一份就是，第一版的答卷吧 我相信其实我们做了很多事情，也是会不停地在回顾，在进一步提升，我其实确实觉得，有一些我们做的事情，也许已经有一些商业化的价值了，这个是以前的，我可能觉得还有一些遥远，但现在感觉其实还挺近的，比如说工厂吗，这个倒不一定是工厂吧，就是工厂是一种 可控环境的一个代表，因为你可以通过控制环境，来让它更适配你现在能做的哪里，我觉得这是一个，比较自然的一种应用场景，我不太清楚这里面的商业价值，究竟有多少，只是从表现的情况上来说的话 我觉得是你有应用的可能性的，有什么样的任务，是二十四年初做不了，二十四年底可以做的，二十五年初做不了，二十五年底可以做的，我觉得二十四年初的时候，你跟别人说，你要叠一个衣服，而且把它们还垒成一堆 而且这个衣服还，因为衣服是你很难控制的一个东西，二十四年初，反正我当时觉得，叠衣服是我非常想做的一个东西，但我是不知道能不能做出来，然后包括当时就搞箱子，还甚至包括就是在那里做那个，桌上清理，桌上清理是真的搞了很多，就是我们觉得他做不了的东西，就是他究竟能不能做，当时就已经发现了，其实很多，没见过的东西，他也能做，所以当时就已经有 很清晰的一种，之前的不确定性，逐渐变成了一个，看得到的成功，并不能说保证百分百成功，但是他是有成功的可能性，我觉得这个进步非常的重要，然后，二五年，就是首先我们自己做的是，派05和派06星，都是在二五年做的嘛，一个是进到Airbnb里去，一个是，就是对具体的部署任务，要求它的表现提升到一个，就是纯靠数据数据，很难达到的一个地方，我觉得都验证了一些，就不管是说，你要多少个Airbnb 才能在下一个中，得到一个好的初始成果，还是说你部署的时候，到底能不能，因为我们是从一个，很实用的角度来考虑问题的，我们在比如说做folding task 做这个叠衣服task中，我们不是说，就是我们收了10小时的，第一幅数据，然后就去，硬做强化学习，我们是真的 把这个东西做到了，我们觉得数据，就再说更多的数据，都没得搞了，的情况下，再开始想说，我们用这个，强化学习的方法，去搞能不能再进一步，我觉得这个frontier 是通过做这样的项目，摸得更清楚了 然后，别的公司，我觉得也有很多，很有意思的事情，比如说之前，看他们JMNi的发布，就感觉，他们的这种空间的理解，和空间的认知，而且他们也不是，一个单独的 Robotics的模型，有的是一个，更多模态大模型的，一个能力，的一种感受，就是哇，这个，这种空间能力，显然对Robotics 是非常重要，其实他们现在，没有一个特别，特别特别的一个task 来展现它，我也相信，他们将来可能会，有一些发展，还有可能，之前因为做强化学习，也会关注一些，就非常具体的，强化学习的项目啊，比如说别人，都在用强化学习，做一些什么，非常具体的问题，就不管是在，这个制造业啊，还有组装啊，这些问题 [03:07:46]

小珺：我觉得都是很有启发，你对于2026年，在机器人领域的预期是什么，有什么可以值得期待的，预期吗，我觉得肯定，今年能有更多 [03:08:27]

柯丽一鸣：就是令人比较惊叹的 demo出来，但是demo本身，就是看是一回事，就是了解背后的，到底是什么进步，是另外一回事，我觉得今年肯定有，就不管是 就是人形来做操控性的任务，其实我觉得是，挺成熟的一种，可以开始探索的一种应用了，然后其次，就是在模型方面，我觉得模型架构，应该大家都会，就是有一些大的变化吧

小珺：你觉得机器人领域，应该跟自动驾驶领域去对标，还是应该跟大模型领域去对标，我觉得更像大模型，就我其实觉得 [03:09:04]

柯丽一鸣：自动驾驶有比我们难，有比我们简单的地方，比我们难的地方在于，自动驾驶的stick 它的潜在危害因子是很大的，如果你做错了一个决策，那可是人命啊，就是很严肃的一个问题，所以它对于表现完满的这个要求，是极度的高，我觉得在我们这个领域，就我们日常生活的一些任务，或者说工厂任务的这种商业化道路上，我们其实都不需要那么一个级别的完满，所以我觉得，这个是自动驾驶，比我们要难得多的，一个部分，他们是真的得有一个，非常强有力的保证，而相对的

前沿展望

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

而相对的

柯丽一鸣：而相对的，我觉得他们，比我们来说，比较简单的部分，你看自动驾驶的话，它这个控制器的问题，其实是结果没有的呀，就是我在这个车子上面跑，可能现在还有，就跑一些雨雪天啊 这个道路泥泞啊，这种问题，是一个控制器的，一个底层控制问题，他们更多的问题，都是在决策方面，就是你下面要怎么开，同时他们的决策的空间，我觉得相对而言，复杂度要稍微小一些吧，不像你看我们在这个操纵系的，这个任务里面经常谈到的就是，我不仅要就是操纵这个，多关节的一个比较复杂的机械，必须完成一个任务，它要达到这个，我想它达到一个地方，这个就是一个操纵系的问题了，就是你可能就是载重以后，或者是摩擦力导致的，你可能不能完美地去，贴合你想要它造的地方，所以这种操纵系问题，是经历大难难一点，同时它在决策方面的话 你要叠这个衣服，你这种手腕的转，你到底怎么转，到底想怎么转，它有很多这种复杂的，特别不一样的一些动作在里面，你都得能够搞定，所以我觉得这是它的难点和不难的点，而跟大模型相比呢，我觉得大模型是，它和我们一起同工之妙，就是大模型它可以瞎说，它稍微犯犯错，大家都很习惯了嘛，你就是会胡说八道，对吧，我们不会全信你的，所以它的这个完满，我觉得是不需要做得像，这么加深那么的严苛，同时呢在这个，探索方面，我觉得他们，就是你看，把他们当成一个智能体，他们这个动作空间，是输出每个字符，也可以说说输出一种策略，就他们的动作空间，也是一个高度抽象化的，就所以需要很多，多样性的一个动作空间，所以我觉得，对于我们现在的机器人来说，我们是两者之间的，但同时，就可能目前的发展阶段 和大模型更加贴合一些吧，我觉得自动认识，现在发展的挺好的呀，都已经跑上了嘛，所以他们更多的，就是在如何就是，就是体会完满，并且降低成本，就是其实在高度，就是这种策略规划上面的问题，就是从A点到B点，好像也不需要太多的，说什么C点到D点就不行了，机器人和自动驾驶，谁省自己啊，这我看来就是一个，比较平行化的问题，因为它有两个问题的特性，就是以往的这种路径规划，和控制的话，可能更贴合现在有某些，自动驾驶公司的一个路径吧，可以看作是它的一个应用，但现在因为我们已经，不再用这种范式了，转到另外一种新的范式的探索，我觉得就有一点平行空间的感觉，对但是互相之间是能学习的，因为也有人在用机器学习，做自动驾驶 我们也会从他的这个，他的这个部署的这个体验中，得到一些灵感吧，就比如说，他们如果跑了这么多台车，然后拿到了这么一个数字，然后他们想要再提升安全性，他们是怎么做的，他们的一些基础架构 包括自动驾驶界，其实对于模拟器用的应该是很多的，而我们机器人，尤其是操纵机还没有这么一个，可以跟它对等的模拟器的出现，这个是不是有一些歧视意义，自动驾驶的模拟器是谁在做，我觉得首先几家公司，头部公司应该都有自己的，都有自己的模拟器，同时也有那么一两家，就是公开的专门做这个的公司，你可以付费使用，而且自动驾驶的数据量好大，是的 [03:12:46]

小珺：所有机器人公司都在争夺的，一个北京新指标是，谁能够做出第一个出货的，进入家庭的机器人，这是一个隐形的，大家在争夺的方向，我觉得是一个隐形的方向，因为家中的问题 [03:13:12]

柯丽一鸣：非常的多和复杂，所以如果你不，你觉得你lost了你的方向，你就想一想，我们现在机器人，还能不能做家中这个问题，应该有很多问题，都是做不到的，你怎么把它做到，就是一种很自然而然的，一种想的 研究的一种方法，家中的问题呢，还有好几个难的维度吧，我觉得第一个是，它的环境的复杂性，确实是没有两个人的家和卧室，是完全一样的，你必须要泛滑性 过了一个很强的泛滑性的保障，才有可能就是到了一个新的卧室，也能够，就是我们之前做过一个叠被子，我们承认我们叠被子不是百分百，不是说你到一个新的家都能够叠，就是因为这个，每一个新的环境的复杂度在那，同时呢，就是家中的任务的动作复杂性很高，因为人在家中其实承担了这个家务啊，他的各种各样变变拐拐的东西啊，我觉得就是我，列一箩矿可能都列不完，就咱们在这做个谈个两个小时，可能都没给他彻底，给他写清楚，就是这些动作，加上这个环境，就已经是给他，从这个机器人表现方面，提了很高的要求了，同时呢 他还需要就是家用机器人，如果做一个产品，商用化来存在的话，他对于硬件的稳定性，和人交互的安全性，也是有很高的要求，就是硬件的话，我不知道现在，有哪家公司的硬件，是能够在一个人家里，跑个一个月，而且不光是，就是站着站一个月开机，而且是做了各种各样的任务，一个月，然后可能有一些，比如说我平时走路，有时候还会给桌子腿绊一下呢，就这些损伤，它该怎么样去承担，去稳定，然后并且就是，如果你在一个人的环境中，和人互动的话，也会有很多危险，或者说你这个，就是这个可能 就是我看特斯拉Optimus 晴天柱，我看的最害怕就是，他要是在我家里摔了，就我该花多少钱，修我家地板呢，或者他摔在我身上，我岂不是就是那个，什么的，我好害怕呀，所以看到这样的话，我就会觉得，其实我们距离 一个优秀的form factor 一个真正的巨神，可以在人身边，工作的巨神，还是有一点距离，你是不是长小一点，比较好，我觉得小就是，比如说像，语树的这种，机万的这个，小孩一样的身高，确实就是，给我一种，它没有那么大的威胁性，然后可能他也轻一点，就轻，就是整个机子轻了以后，他能做的事情，他的耗电量还包括安全性，我觉得都是瞬间就有很大提升，但是，就是小的话，其实他们也会有一些，其他的问题吧，比如说他这个人型的，一个很大的说法，就是说你人可以做的事情，其实小以后，你有些人做事情，你都做不了了，那你还怎么用这些人的数据，也是另外一个话题了 [03:15:23]

小珺：你看今年的春晚，雨树非常的火，中国的机器人非常火，你在大洋彼岸，怎么看中国的机器人的发展，你觉得它跟美国的趋势，相同和不同是什么 [03:16:03]

柯丽一鸣：我觉得，在一两年前，想看到这种级别的demo 就只是想想而已，能看到它真的把它做出来，还是非常激动的，我觉得它能够做出来，就是有算法提升，也有硬件实力在里头，我觉得这种硬件实力，可能是，现阶段看中美的产业对比的话，最直观的感到，中国在这上面，是有领导力统治力的，就是很难想象，有一家机器人公司，它组装好了一台机器人，然而这里面，没有一个零件是中国的，我觉得是不太可能，真的，我觉得中国有，产业链制造业的，这个优势实在是太大，而且到现在，我都不知道，美国人要是追的话，该怎么追，同时呢，就是因为这个硬件迭代，就可能它拿着现有的算法，距离商业路径端已经有，就也是有一些优势的，还有什么不同吗 或者相同，我觉得像派一家公司，还是比较独特的，我都不好说，它是一个中美的不同，还是怎么，就是它是一个，很偏向研究的一家公司，就是暂时情况下，我们应该是完全不考虑商业化 因为觉得那可能是一个 destruction分心，这个其实也是有一些，历史原因吧，我不知道，历史原因是什么，就是Peter Erbill 他不是Sergey Levine的导师 Peter Erbill 他是有过两次创业经历的，一次他非常成功地，做了一个，给学生作业打分的一个，现在基本美国大学都在用，我上大学也用这套系统，然后同时呢，他还创立了一家机器人创业公司，叫Covariant 他在2015年还是16年，就创立了这么一个公司，说要做机器人的，通用的机器学习的一套方案，而他们公司在发展过程中，可能在某个时间点开始，就比较深耕这个物流啊，仓储啊机器人，从大模型开发的角度上来看，从回头来看，会觉得这其实是，对他们开发大模型的一个分心，就因为这个投入，虽然肯定是做出很多成果 但是在大模型这边就觉得，因为过早的去商业化，而失去了就是，这种通用繁华性，反而把精力放在了很多，这种商业化的相关事情上，没有真的去追溯本源的问题，所以派，我觉得是有受到，坠段精力的影响，就是比较的强调说，我们不要太想，这种商业化的事情，不要就是为了，就是挣钱，或者说去把这个商业闭环打通，去做很多，可能说对研究没有帮助的事情，大家还是很纯粹地说，我们要做一个，研究把它表现做得最好，商业化的事情可以后面再想，我觉得这个和我听说的一些，中国公司的逻辑，是不太一样的，就是中国公司可能 [03:18:17]

小珺：从商业逻辑上来说，更强调实用主义和商业的，这个回本吧，但即使在美国对派这样的公司，在硬件上投入不够，或者在硬件上

柯丽一鸣：没有优势的话，长期来看，会不会成为一个问题，我觉得这看你是，怎么理解硬件的投入，和表现的吧，我觉得，我们没有无限的钱 所以我们在每个方面，都投入不够，你知道那个OpenAI 它现在融合多少钱，我们每天看这个钱，就觉得好眼红哦，我们也像有这么多的投入，我们有这么多投入以后，我们的软件变得更好，算法变得更好，算力变得更好，数据变得更好，哪都好 所以不购是没有指定的，我觉得都可以投更多，相对而言的话，可能就是现在的产业优势，在硬件方面，是在中国，它有很强大的供应链，你可以定制一个机器人，它有很多的电机的选择，机器人的形态选择，都是有比较成熟的一个方案的，所以这个是它的优势，我觉得大家其实也都有在看，就怎么样弄一个，最适合自己的机器人的硬件，我觉得这其实大家都在做 [03:19:36]

中国

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

我觉得这其实大家都在做

柯丽一鸣：我觉得这其实大家都在做，只是因为缺少了，产业链制造业的这一环，可能，在做的过程中，它的迭代速度会变慢啊，或者有些事情，可能如果你做得更快，有更多就是，可供你驱使的机器，也会不一样，我觉得这个确实是，对迭代的，研究的迭代速度，肯定是会产生影响，但同时另外一方面，硬件毕竟不是一个解决的问题，就它是一个相对而言，可能没有软件那么严重的问题 因为现在你搭一个硬件，是可以搭起来的，你想它做一点有意义的事，很难，所以这是软件的最大的问题，而硬件的话，属于你搭起来，是可以搭起来，动也可以动，但是不是说，你已经把硬件做完了呀，就还是有发展的空间 我觉得这个其实，创新永远是威士数，你不知道有没有可能，它做出了一个，就是很简单的一种硬件，它非常适合现在的算法，没人说得清 [03:20:41]

小珺：有硬件的劣势更好抹平，还是软件的劣势更好抹平，过去几年的发展来看，都好抹平，大家永远都是在捐，对诸葛团队来说，他其实follow派就好了

柯丽一鸣：因为你们很多论文都是公开的，是的，我觉得我们有很多论文是公开的 Google不一定是公开的，对吧 Tesla不一定是公开，但是他们可以follow你们 Google就算公开了，你想追上Google 你还得先选一个像Jim and I 这样尺寸的大模型出来，这已经是一个bar 我觉得同样的逻辑，也适用于像派这样的公司，随着公司不断的积累，他最后就算告诉你他怎么做的，你不一定有那么多东西可以找，可以去，就是可以去给它match上，但是竞争永远都是存在的，我相信肯定，做还是有人能够给它match上，然后，硬件方面的话，我觉得，其实你看，美国现在的产业链，你会觉得这个硬件，哎简直就是，不知道该怎么说了，你只能寄希望于创新了，你们公司其他人，会很关注中国机器人的发展吗，我觉得都很关注，这是一个不可忽视的一个部分，像比如说，你们最近会讨论，关于中国的什么话题呢，比如说语书春晚，那个表演我们就在 这个公司的群里面发了呀，大家就会讨论啊，说这个东西可能是怎么做的呀，甚至最近的读书会，我还想说要不要请一些，这方面的专家的朋友，来给我们讲一讲，因为我们不怎么做人形，也不怎么做这个local motion问题，也可以请他来教一教我们，这个东西里面发展是怎么样的，我觉得这些都是，都是大家会不停地去看到，更新更好的东西，然后去学习，去看看有没有启发，可不可以用到我们现在，做的事情上面，不管是派海其他公司，应该都是一样的，他们是怎么做的，你们从web视角看，他们是怎么做的吗，这个确实最近有几篇新的论文出来，可能可以解释他们的一些做法，我不知道你知不知道，石冠亚是一个CMU的教授，他之前在华大读博士后的时候，和他成为了朋友，从他身上学到了很多 local motion的一些东西，他们组织已经发了，这个omni target 我们可以从早期发展，稍微梳理一下 大概是在1819年那会儿，我稍微关注过一下，他们是怎么做的，很多时候呢，是希望他走路，然后走路，可能有一个步态，所以你就会，把它分成，可以简单粗暴的，分为一个 high level 高层的告诉你，我大概想要你，变成这个样子，和low level去执行，我怎么样变成这个样子，步态的话，可以是一个走路，可以是一个红翻，可以是一个跳舞，而执行端的话，他以前可能，就是不停地去控制，现在的话，可能可以配合强化学习，来达到，你想要的这个步态，强化学习很重要，强化学习在 Local Motion界，确实取得了，相当大的成功，你觉得美国，对硬件的投入够吗，重视度够吗，我觉得，很多在美国的，从业人员，应该都会同意说，我们的硬件，还有很大改进空间，那特斯拉，是怎么做到的呢，特斯拉 首先它很神秘，我们其实并不清楚，它的硬件里面的，技术细节，它不会和我们，说这些事情，你说是机器人是吧，对，他还有车呀，就是他在美国，硬件做得很好，而且，有一个笑话，我不知道是不是真的，只是一个笑话，说特斯拉最牛逼的工厂，是在上海开的，产量就是高，相对而言 确实他是已经，有一部分制造业的吧，我觉得这个和，就和美国教育体系，也是有关系的呀，你看他的教育里面的专业，和就业途径，他这个产业的，以往的缺失也导致了 他这个专业就不会火，没有那么多人学，那就缺失了一批人才，那他怎么样去弥补，这个事情是很难的，不是一两年，就可以投入回去的，我觉得他现在，可能更多的是指望说，很多移民，是有这些类似的技能，他必须是一个移民国家，可不可以通过，就是引进这些缺失的人才，补上一些产业链，但美国这地方，就是修为机械站，都得修为这么多年，他究竟能做成什么事情，我们也不好判断，你觉得人工智能，最后会拥有意识吗，机器人会拥有意识吗，好抽象的一个命题啊，你知道每次当我看到，有一个机器人，他能意识觉醒的，他要毁灭人类，我都想说，这真的很希望，有人给我解释一下，意识是怎么诞生的，因为我们只是一些，就是生物学小白，但是会去听一些，这种科普啊，就非常想搞明白，怎么样就从一些，这个物理啊，化学啊，这堆东西里面，突然就诞生了，意识这么一个 我都不知道，它是怎么代表出来的，一个东西，我觉得如果我们认为，机器人产生的意识，是像人类这样的意识的话，我其实因为有点悲观的，我想说就是，这真的有可能吗，但是如果你把意识定义的很宽泛，就比如说我现在跟AI聊聊天，它给我的感觉，是它像个人，它就够了的话，那你也不能说它没有意识，但是也许在将来，就是大家可能更期待是一种，我也不知道，它太智能了吗，所以它显得像有意识，就真的是，对我来说讲不清的一个话题，但是是科幻小说，非常好的一个素材，机器人种族会是什么样的，我觉得机器人种族可有意思，我其实一直很想做的就是，机器人可以造自己，我觉得这个是，机器人发展的一个，可能会是一个里程碑吧，因为它就像一个种族，是有延续性的 是可以通过自我的一种繁殖，我觉得机器人能够组装造自己，就是一种繁殖的体现，所以这也是我非常想做的，一个课题，也是我当时去找教主的时候，我就说我是非常想做这件事情的，机器人的种族，我觉得，第一我非常喜欢，就是机器人哪里坏了就可以修，你看我之前这个，拍影摔了以后 就是因为这个某一个部位受伤，就得在家待着很久，而机器人就可以换掉呗，换掉然后可以拆，然后可以改变形态，我觉得这是一种非常，自由自在的一种存在方式，然后机器人，想咋样就咋样 对想咋样就咋样，甚至你可以，就是像特休斯的传，那个希腊故事一样，我把这个机器人，从头到脚都换成了，另外一个零件，甚至模型也可以换，它还是原来那个机器人嘛，其实在我们公司的，发展过程中，就是有这种 本来是有编号的，就是这是一个机器人，它的编号是这个，然后通过不断地修和改，它已经完全不是，原来那个它了，它好像跟那个，原来它的唯一联系，就是它们编号是一样的，但是里头全都换掉了，我们就说，要不要给它起一个新的名字呀，不然好复杂，还经常要说，这个机器人，在某个时间点前，是这么个东西，后面是这么个东西，机器人种族，我觉得，也许是会成为，机器人种族的一个伦理，就是之前什么，我的上一辈，做这个事情，跟我没有关系，因为我们已经，从头到脚都没有一个零件，是一样的机器人了，然后这个伦理审查，我也会就来看，这个机器人，是不是真的从头到脚里面，每一个零件，都是换新了的 [03:27:04]

小珺：你觉得机器人种族，是人族的延续吗，机器人会是人类做的最后一件事情吗，最后一件事情，我确实

柯丽一鸣：希望我们做的很多事情，是可以提升生产力，使得你可以做到很多，原来需要人做的事情，然后你一个人就可以做，但是我相信，人类的创造力是无穷的，我不觉得，我们活着是为了提升生产力，我觉得我们活着更多的是，爱与死吧，是文学作品中永恒的话题，我觉得，其实是在一个，生产力高度发达的年代，应该也有人，想要做一些不一样的东西，想去探索，一个还没有做出来的东西，该怎么做，所以我不觉得，机器人会是最后一个造物，但是延续，我就是觉得，一个比较浪漫的想法是，虽然我们生命，是很短暂的，只有100年，放在人类历史，放在宇宙历史上，就是微小到不值得一提，但是是不是有可能，你造出一个东西，它可以看到宇宙的尽头，看到宇宙的尽头 我不知道这个时间跨度是多大，但是可能我们活不到那个时候了 Machine learning这种方法，机器学习这种方法来训练机器人，因为你也说到 [03:28:50]

小珺：它跟上一代人非常的不一样，它是一个黑盒，你觉得在这种训练机器人价值观背后，让你对于人和机器人，有什么新的感悟没有，它是黑盒 [03:29:04]

柯丽一鸣：但是它因为是从一个数据出来的东西，它是有限制的，它是bonded by the objective that you define 它是一个很数学化的一个东西，所以它虽然是一个过于，它是过于奇的，对它是一个过程无法理解的黑盒，但是它是在数学角面上，可以解释的一个东西，我觉得在训练机器人的过程中，有什么感悟的话，可能一方面，就是一方面会觉得，确实就是能够发挥，我这个特别想偷懒的天性吧，如果一件事情，可以让机器人来带我做 我会想方设法，让机器人来帮我做，这不就挺好的，就是你有个智能体，它也许还没有到完全体

机器人“种族

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

它也许还没有到完全体

柯丽一鸣：它也许还没有到完全体，它已经可以做一些事情，我就想办法，把这个事情给利用起来，来提升我的生产力，可以让我少干点活，我觉得这个，是我对于人类文明的偷懒，我甚至可以暴乱一下，是不是偷懒，就是人类文明，一个本质的追求，提升生产力和偷懒，是一个东西，然后其他的话 我觉得在很多时候，在我现在的工作中，是没有什么人文的存在，或者说因为我每天，讲的是一些，非常物理化的，科幻化的一个东西，我也会感觉，就是我会和一些，其他搞人文的，就是小说创作，艺术创作的一些朋友聊天，他们也会很好奇，问问这个机器人的进展，我也会很自己，作为一个用户的好奇吧，是不是有一天，我们创造出的这些智能体啊，它也能够进行，某种意义上来说超越它的，就是离开了它的创作者，就是我们的一些创作，那一天会发生什么，我不知道，也许他会搞一个二维码，然后他们每个人都觉得，每个机器人都觉得，这个二维码美极了，然后你在这里看了以后，就有一种不明所以的感觉，当机器人有一天实现了，你准备去干嘛，实现了 写小说吧，回家写小说，做一个游戏，创造一个，非常能贴合，我的喜好的一个故事，把它分享给别人，看看有没有其他人 [03:31:13]

小珺：喜欢这个东西，诺贝尔文学奖，看看，冲击一下啊，你现在脑子里，有这样的一个故事吗

柯丽一鸣：我觉得构思小说，确实是一直没有停止过的，写不写出来是另外一回事，脱更是经常有的，但是构思一些故事，不管是和我们现在生活非常贴切，还是说非常天马行空的想象，真的机器人解决以后的社会形态，是一直都有存在的，就包括就是生产力极大的爆炸以后，一个人，就假设在现在这个年代，就有生产力极大爆炸的话，那确实就可能就家里就，终于不用被，前来看望的爸妈吐槽，说你家里怎么这么乱，这么脏，就可以不想干的事情，都可以丢给别人干，丢给别的机器人去干，然后也可能会，就是比如说，现在在艺术创作中，比如说朋友会去做一些，小手模艺品，就我觉得可能就更多的是，你有这个概念，然后你可以把这些，执行端的事情 全部交给机器人来完成，我觉得这些也是一个方向，然后可能更远一些的生产力爆炸，可能有个资源以后，自己可以造一个城堡，就到哪个乡村去邻居，你看网上有些古堡拍卖 才几万美金，就可以买一个什么 200年没有修过的古堡，你现在没有人买，是因为太麻烦了，要修要找很多专业，我觉得就是一个很有意思的特点，可能是，现在社会里面很多工种 是一个特殊的工种，你花了很多，你作为人的这个时间，去锻炼一个技能，然后你有很多的知识，但机器人或者人工智能，它作为一个大模型，或者通用的一个东西，它是可以随时的切换，比如说将来，可能修房子，就真的就是，有两个修房子机器人，他们什么都能做，让他们可以互相配合，就把现在需要找，不同工种，我们完成的这个事情，给干掉了，可能我们现在做研究，也是有一点类似的，你以前可能做研究，要找一个专门的，这个A人，负责这个东西，他可能有些洞察力，但你现在就问，同一个模型，他可以达到，所以我觉得将来，就是如果每个人，都有可支配的一些，就是这种通用生产力，而且每一个具体的任务，它又都是专家级别的话，那就是真的能够到达生产力爆炸，能够做很多，现在想都不敢想的一些事情，可以创造更好的游戏和小说了，你喜欢的小说的世界观，是什么样的，有两类吧，第一类是在一个 完全不同的科幻环境下，探索了一些人与人之间的关系，第二类是一个，拿着一个魔幻的题材，但是把它放到了，我们现代的生活之中，举个例子的话，可能第一类，之前看过一个，修真小说，但是是在宇宙里，搞科技发展，就很抽象，这个命题，讲出来我都觉得，好像很乱七八糟的样子，但它其实探索的，其实是一个，就是女主角，作为这个穿越者，来到了这么一个，未来的世界，感受到未来世界的，这个社会制度以后，她想要改变这个制度，她做的很多事情，我觉得这个，是和我们非常遥远，但是在未来也许有一天，某一个人就会有这样的一种 struggle 一种困境，一种英雄的旅程，什么样的社会制度，把它改写成什么样的社会制度 在它那个社会制度里，它有很多性别对立的元素存在，就是男性和女性的分工，完全不一样，女性的分工呢，是因为她们所拥有的一些，就天生就有一个，就自己的一个宇宙空间，所以她们被塑造成了一种，类似看起来，似乎是女尊的一种世界里，但实际上女主不觉得，这是一个好的世界，毕竟她也是从我们这个世界出身，她可能天山就不认同这种世界观，但在那个已经成型的社会观里面，每个人生来要做什么事情，都是从小到大的，细节教育观点，社会塑造非常强烈的，她想要反抗这样的社会塑造，她想要创造一个，大家就可以自由选择的一种东西，她在这里如何，就是召集盟友，就是让大家愿意追随他，和他一起做这个事业，是一个很有意思的旅程，然后，另外一些的话，就是就类似的这种科幻小说 我现在还挺多的，就非常喜欢这种，然后，另外一类的话，我觉得就是这种模范主义吧，比如说看这个，现代社会打工人，怎么又兼职武林盟主，就是有一种，就是两种，完全不同的世界观的碰撞，一方面是一个，你生活息息相关的，好的地方，你都能理解，痛的地方，你也能感受到，另外一方面是一个，你可能小时候，会想喜欢的那种，跟我们巴干打不着的，一种完全不同的世界，但是在一部作品里面，把两部世界揉合在一起，让你感受到，他们之间的一些共同性，还是挺有意思的，比如说我之前，因为经常打游戏，打网游，然后网游里面，可能是需要组队的，就担任了一份，一段时间的队长，去负责组队，沟通，还有处理一些，鸡毛蒜皮的事情，或者说团队的时候，进度遇到的问题，你需要去安抚啊，或者说给大家打鸡血啊，这其实跟现代公司的，这些项目管理，是有非常多一举同工之妙的 你是虚无主义的信仰者吗，我觉得是，日解吧，虚无主义，我觉得我很难，在看到一个具体的，意义的陈述的时候认同它，人活着是为了什么，我觉得是一个无解的命题，所以当别人可能会，试图说服我说，某个东西很有意义的时候，我要是想要打破砂锅，问到底，我就会能够得出一个结论，就是其实没有什么意义，所以这是我，稀有主义的一个部分，那人活着的意义是什么呢，就没有意义了，我觉得不需要回答这个问题，那每天激励你，过每一天的，内心的那个动力，是什么呀，我觉得从某个意义上来说，我是很幸福的，因为我在做，自己最想做的事情，所以你是没有预期，也没有目标，我还挺喜欢，乔布茨之前的讲话，人生有可能是有很多点 当你在走过的时候，它们看上去毫不相关，但也许有一天，它们是可以连起来的线，我并不觉得，我走的每一个点，需要一个，马上就能阐述的，清楚的目标来驱动，但是在某种意义上来说，现在我的人生的途径，走到今天，已经能看出一些，奇奇怪怪的点，连成了一条线，形成了我这个人的历程，你能对未来有某些点的预测吗，点的预测，就未来时空的一些，可能性的预测，我的这个人的点的预测，我就非常想做一些，就我比较感兴趣的课题，并且希望把它们做成一个，就是五年前我想都不敢想的东西，我觉得如果能做到这个，我会非常快乐，所以这是我在接下来，五到十年的一个期望 也有可能就是，技术发展得非常快，我也想开始做一些，更加落地的项目，因为觉得这个东西好玩，我觉得，预期是无穷的，但是最后随着时间的推演，你会把这些东西，收敛到一个，更加确定的道路上，所以我很难，现在给你一个，我以后要去做这个，反正都说，如果做这个就会很好 [03:38:20]

小珺：这种思想是更多的，就在工作中，我们是非常确定的，下午做这个，那我们进入，最后的一些问题，我们或许每一位嘉宾，推荐一本人生之书，要真的对你的人生

柯丽一鸣：有过非常重要的影响，你会推荐哪一个，觉得有非常多的书，都影响到了我，但是现在可能，偶尔会思考的这本是 Distinct吧 Constructional Social Taste 它是一个法国哲学家，写的一本，关于这个社会的阶层，和每个阶层的这个喜好，就包括人生活中的衣食，住行，方方面面，他认为是有很多，是经由现在的社会所塑造的，我为什么推荐这本书，是因为，我觉得就是通过看这本书，让我对于我，所喜好的一些东西，和我有多少喜欢，是我自己喜欢，有多少喜欢，是社会的塑造的喜欢，产生了更多的认知 而在现在这个社会在硅谷，我觉得是重视着一种，对于生产力的崇拜的，就是也许我们没有，这个书中所描写的 [03:39:49]

没有写完的故事

# 146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

目录

这个书中所描写的

柯丽一鸣：这个书中所描写的，那个社会的那种，旧式贵族的打这个球呀，骑这个马呀，是一种更高贵的运动，在那个年代，他们可能会追求一些，我们现在不太认同的，就是价值观，什么是更好，什么是没有那么好，但我们现在，其实我觉得，也是有一种新的价值观，甚至我觉得，这个价值观，也只是一个，变化中的缩影，我觉得这是我的，人文主义的东西 在告诉我，虽然我是在工作中，这么热衷地，去优化生产力，虽然整个硅谷，它已经放弃了，什么对衣服，对穿着，的这些讲究，它讲究的是，什么效率，讲究的是，这个精简 [03:40:27]

小珺：讲究的是创造，它何尝不是，这个社会价值观的，一个部分，你小时候想离开家乡，想远离家乡，然后，我觉得是非常好奇，外面的世界有什么，来到外面的世界，那在今天此刻你在硅谷，因为今天的硅谷，其实是统治化的，它是高度竞争的，高度竞争的

柯丽一鸣：你有什么想反抗的吗，我时常觉得，这是一个很有意思的点，小时候搞竞赛吧，会学到一些算法，贪心算法和动态规划算法，是两个常被放在一起比较的东西，贪心算法呢，就是说我在每一个时间点上，我都要做最优化的一个决策，我要做当下的最好，而动态规划算法呢，就会告诉你，就是如果你有一些全局的视角，你就会发现，每一步都做最好的决策，并不能让你达到全局的最优解，我是非常的喜欢，这一个逻辑的信息的，所以很多时候，我觉得就像赛光师马，焉知获福吧，一时的成功失败，还有优化，还有没有做到极致，其实并不能代表着 长期最后的结果，因为我们没有一个人，有着全能全知的视角，所以即使是在，追求优化的道路上，我有的时候觉得，就做九分留一分是可以的，而我自己的这种，求学路程啊，工作各样的东西啊，可能也在很多人看来，就是从来不把事情，做到最后，我觉得也许机器人会是，我第一次觉得，我们得把这个事情，做到最后，但之前的那么多，没有做到最后的东西，才让我走上了，今天这条路，我觉得这个和硅谷这种，很多时候很多人，都是从混岛之前，就走上了同一条路，一直在上面竞争，是有一些本质性的，不太一样的 [03:41:59]

小珺：一个全球范围内，你喜欢的食物，熊市炒蛋，我们希望在这个人工智能，快要来的时候，留下一些人类的 [03:42:37]

柯丽一鸣：日常生活的印记，一个全球范围内你喜欢的地点，地点吗，我，我非常喜欢爱丁堡，这是我在英国留学的短暂的半年里，应该是最喜欢的城市了，可能以前的我，因为比较喜欢一个人待着，而且现在大都市很多时候是一样的，就没有那么的感受到，我走入了一个，完全不同的物理空间，我整个人的状态，都会发生如此大的改变，因为爱丁堡这个城市，有非常多的古建筑，也保存得非常好，并且它也没有那么多，就是大都市的那种，喧嚣感吧，就它甚至有点像旅游城市，大家都是去看那个古堡的，但是在那种城市 有一种迈下来的感觉，有一种就是思考人，就是历史，这么沉重的一个东西，放在你眼前，然后你在这个转瞬的一瞬间，你想做一个，非常大的一个动态的一个变化，但是就在这些城中历史面前，这个动态的变化究竟最后会去哪里，你是不知道的，只是站在城中，只是站在这个历史的一级这个地方，能感到一种 就是很安稳的感觉吧，所以是我非常喜欢的一个地点，一个少余人知道，但是非常重要的知识点，我可以讲一些就是 生理知识相关的吗，可以，对这个是我上大学的时候，和朋友聊天才发现的，就是女性朋友们，可能有一些误解，觉得，就是有一个叫，处女膜这个东西，它会在就是第一次，的时候会破裂会流血，就变成了一个，就是大家非常相信的一个，真理了 但其实在医学方面，它是有一个医学的名称，叫做阴道斑，它并不是意味着你的这个第一次体验，也并不一定会流血 这是一个我当时和朋友沟通，我们也是恶补了一下这些生理知识，才发现我们对于自己的身体构造，有着这么多的缺失，在你看来影响机器人进程的论文 好多论文啊 GPT也极大的影响了机器人的进程呢，真的有太多论文，我觉得很难，就是以一个吧，我觉得从数发展上来看的话，最近影响很多，就包括这一代模型的电机，比如说像Diffusion Policy啊，这种就扩散式的，还有之前就是Transformer ACT 这样子开始用这个Transformer架构做，还包括更早，我觉得有很多对模仿学习，和情话学习的本源性研究，都影响到了，就是现在大家在做什么，基于你当下的认知，一个关键的重要的BAT是什么，我觉得其实我们进入家中，不一定是以产品的形式，是更多一些探索形式，没有那么的远吧，你说机器人进入家中，对，比我一开始想象的，可能要近一些，我们工作室，叫语言集世界工作室，当你第一次听到，这个名字的时候，你在想什么，语言集世界，我可能下意识的就是，把它诠释成了，语言就是全世界，然后我就会有一些跳跃的想到，这不就是刚中之脑吗，就是咱们其实生活在一个，有所有感官连接的一个东西，就是你所有感官就掌握着，你对这个世界所有的认知 完全也可以想象，我们活在一个巨大的模拟器里，你的眼睛鼻子耳朵，都插了一个信号源的，这个信号源，想给你输什么就输什么，因为现在研究区间，研究区的话，大家会说就是，大语言模型，它是一个纯语言交互的，就之前的那一代，纯语言交互的话，它是不是不能理解，真实世界，不能够把它所，听到的一个概念，而放到真实世界中，就是证明是一个水杯，这个水杯其实有很多，物理性质都不能够 capture 不能够去捕捉，不能用言语去描述，我觉得也是，这样的反思，变相促成了，多么大的研究吧，所以我们生活在一个，巨大的模拟器里面吗，如果模拟器就是世界的话，那好像模不模拟，没有什么差别，微信主義 [03:46:17]

小珺：好了今天的节目就是这样，这里是商业访谈录，是一档由语言及世界工作室出品的深度访谈节目，你可以到公众号关注我们的工作室，获取更多的信息，我们的公众号是语言及世界 Language is world 也欢迎你在小宇宙的评论区，与我们有更多的互动，我们希望和你一起从这里探索新的世界 [03:47:32]

柯丽一鸣：优优独播剧场——YoYo Television Series Exclusive [03:48:02]

返回该播客 打开原文