目录
- 访谈：请不吝点赞订阅转发打赏支持明镜与点点栏目 [00:00:00 - 00:10:00]
- 访谈：你是INTJ [00:10:00 - 00:20:00]
- 访谈：我要把它摘下来 [00:20:00 - 00:30:00]
- 访谈：会比他们更理性一点 [00:30:00 - 00:40:00]
- 访谈：GitHub这个 [00:40:00 - 00:50:00]
- 访谈：我也能给它预测准 [00:50:00 - 01:00:00]
- 访谈：我们自己的一些数据 [01:00:00 - 01:10:00]
- 访谈：所以也就是说 [01:10:00 - 01:20:00]
- 访谈：就是牛顿公式 [01:20:00 - 01:30:00]
- 访谈：我其实一直在有意的训练自己 [01:30:00 - 01:40:00]
- 访谈：一个关键的重要的BAT是什么 [01:40:00 - 01:40:53]
访谈：请不吝点赞订阅转发打赏支持明镜与点点栏目
张小珺：请不吝点赞订阅转发打赏支持明镜与点点栏目，在还没有产品的时候，就能以估值数亿美金融资，当下资本涌入最活跃的方向是，世界模型和AutoResearch，AutoResearch又可以叫做AI for AI，我很好奇这个现象的现实与成因，那这期节目呢，我邀请了清华大学人工智能学院助理教授，上海期智研究院PI刘子鸣，他毕业于北大和MIT，是KAN 网络的一作，在今年三月份刚刚回国，到清华任教，同时参与创建公司，元环智能，他用太疯狂了，来形容这股新的资本潮，我们聊了聊，中美neo labs的兴起与成因，以及他所探索的一条，非典型的AI for AI叙事，那接下来就是，我对刘子鸣的访谈。 [00:01:16]
刘子鸣：对我是三月份回了国，然后大概是，四月底入职的清华，然后五月底开始，参与融资，然后这个过程，我的体感是，就太疯狂了，怎么说，但反正不管是，AI for Science，还是世界模型，还是这个AI for AI，我觉得都是一个，就一级市场，是一个非常，formal的一个状态，确实就是说，大家都在，这个相互打开消息，然后大家都，投项目的动作，就都非常的快。
张小珺：哈喽子明，先给听众朋友打个招呼吧，哈喽大家好，能不能先做一个简单的自我介绍，聊聊你的工作和你现在的一些状态。 [00:02:06]
刘子鸣：好的，对首先感谢小珺的邀请，然后我是刘子鸣，现在我是清华大学人工智能学院的助理教授，同时我们节目录制也是在上海期智研究院，也是在上海期智研究院担任建制PI，然后同时也是参与到了创业当中来，然后在元环智能担任这个首席科学家，然后我之前的经历呢，本科是在北大物理学院读的本科，然后后面去了MIT，接着是做这个AI和物理的交叉，之后短暂的在斯坦福做了半年的，这个脑科学家AI，然后我博士的导师比较有名，是这个Max Tegmark，他是从2012年就开始去宣传，这个AIforPhysics，然后包括20年底23年初，它也是最早的宣传，mechanisticinterpretability，就是机制科解释性，这个最近也是唐杰老师说，制服要投资百亿的，这样的一个方向，也是Anthropic在做的方向，这个我们是二年底，二三年初就开始，布局这样的一个事情，你是怎么从物理走到AI的，我觉得很多，包括姚顺宇，我觉得很多做物理的人，都会有这样的一个经历，就一开始做物理是觉得，物理它是一个很美的，在智力上非常challenging，就是非常困难的一个事情，所以就被物理这个学科所吸引，但是后面慢慢的就，感觉这好像不是，thepartyisover，这个也是高能里面经常说的一句话，就是说盛宴已过，就是感觉，就是给年轻人留下的那些问题，其实没有那么多了，但是AI呢，它是一个相反，是一个给我们这些小灯，有非常多机会的领域，然后我大概是，具体来说我是大二，那会儿应该是17年，我就是关注到了这个，KAN 网络，就是那个，Generative Adversarial Network，生成对抗网络，那个时候我就觉得，哇这个东西，特别中我的兴奋点，而且它好像，在数学上也没有那么难，它做的东西，就非常的fancy，然后那个时候，正好被理论物理，和实验物理双重毒打，那个时候就不知道，自己要做什么，因为理论物理，又非常的困难，也比不过姚顺宇，对姚声宇，bytheway，就是也是我们，一直以来的一个偶像吧，因为在本科期间，他就发了两篇，这个PRL的论文，你们是一级吗，他比我大一级，我在北大，他在清华，对对对，是的是的，所以一直就是，听说他的传说，然后实验物理那边，我也在想，OK那我理论做不行，那我去做做实验，然后发现实验，做起来就更差，就有点像那个，我不知道，奥威海默，还有杨振宁，好吧，我少在这里，给自己贴金了，就是我感觉到，就是我进了实验室，只会把这个事情变得更加的混乱，就我其实也参加过一些，实验物理的一些科研，比如说之前做过一个磁流体，结果搞得满手和满脸都是，然后后来我就觉得，那我好像也不太适合做实验，所以那个时候就是比较沮丧，就感觉理论物理跟实验物理，都不是我所擅长的，那接下来我要干什么，然后正好那个时候就，看到了干这样的一个东西，我就觉得，那这个东西非常中我的兴奋点，那我要开始做它，对，但可能一开始还是比较谨慎一点，就是觉得，我不想轻易的放弃自己的物理的这个背景，所以呢，一开始我们还是这个做AI for Physics比较多，一开始这个forphysics，主要做的是这个高能微向，就是highenergyphenomenology，这个其实和我们现在的一些，研究Physics of AI，就是所谓的AI的物理学，这个方法论其实是有挺多相似之处的，它既不是完全的理论，它也不是完全的实验，它是一种违向，它是一种能够嫁接理论跟实验的，这样一种桥梁。 [00:05:50]
张小珺：AI for Physics的本体，就是你服务对象是physics，但是你Physics of AI的服务对象是AI，服务对象是AI，OK，对是的，这个也是后面为什么，从17年做到22年，我做的都是AI for Physics，其实那个时候。 [00:06:04]
刘子鸣：我们就已经开始在谈，AI科学家，AI物理学家这样的一些概念，但是也是到了22年的这个时间点，就是恰得GPT出来了，我是觉得物理里面，没有那么多，像ChatGPT一样，那么sexy的东西，可以值得去做，所以我就把这个，AI跟物理的这个角色，给它换了一个位置，就是不再是这个，AI for Physics，而是physicsforAI，更具体的就是，Physics of AI。
张小珺：这个AI的物理学，就是我要用这种，物理学的这种方法论，用物理学的这种思想，去帮助我们，更好的去理解AI和设计AI，所以你本科就已经开始，接触一些AI的内容，你做了吗AI。
刘子鸣：对本科就开始做AI，我的第一个项目就是，拿KAN 网络去做，高能物理里面的一个任务，但是和很多人一样，第一个项目，就是很显然是不成功的，但是呢就是在这个过程中，我自学了很多AI的东西，然后在这个过程中，慢慢地就觉得，就还是学习AI，能够给我带来的这种愉悦吧，给我带来的这种成就感，是比物理要多很多的，所以我就学着学着学着，我就慢慢的就是，就是说我基本上，所有的时间都投在AI上面了，所以你到本科毕业的时候，是一个什么状态，我本科毕业的时候状态，那个时候我是发表了三篇，就是AI for Physics的文章，有两篇是就是和高能物理相关的，然后还有一篇是，可能算是physicsforAI吧，就是我们用量子里面的一些想法，去设计了一个更好的一个，海洋的一个东西，一个exampler，一个优化器，所以那个时候的状态，我觉得还是偏物理这边的，包括后面去申请，这个博士，MIT，对现在也是物理的这个项目，但是Max他就是，不拘一格降人才吧，就是说可能，整个MIT物理系除了他，可能还有MarieSzecic，就是另一个，做光学的一个老师，但是也是AF光学的一个老师，他们两个是非常好的好哥们，可能整个MIT，那个时候是20年，AFScience还是一个，有点过于遥远的概念，我记得我当时，申请博士，就是我在我的，这个研究计划里面，写的就是说，我接下来要做，AirforPhysics，因为只有Max，看到了我的材料，然后他说，我要招这个人，然后他就把我招进去了，他是因为喜欢你的，研究方向招的你，他是喜欢我的研究方向，然后他也跟我说，就是他看我的个人网站，也觉得非常的厉害，因为我当时就是，在我个人网站上面，画了一个类似于，八卦图的一样的东西，我会去画我的这个，ResearchInterest，就我的这些研究兴趣，他们是怎么样相互关联的，然后他就觉得说，其实和他的思维模式非常像，就是Max也是一个，就是思维有点发散的一个人，就是你跟他聊，可能我们就聊一个小时，可能会涉及到，比如说五到十个topic，因为他是经济学的本科，然后后面他才是去做了物理，然后后来在2012年的时候，他就开始说AI说physics了，这个是一个非常非常早期，非常非常超前的一个做法，我觉得都是因为，他这个人的兴趣点，也是非常的广泛，然后他能够，就是看到不同事物之间的联系吧，这个他是比较典型的，这种所谓的鸟人，这就是FreemanDyson，他会把科学家，分成这种鸟人和蛙人，鸟人就是说，简单来说就是，每个领域都懂一点，然后他能够看到，不同领域之间的结构性相似，因此他们能够，把一个领域的一些方法，给搬运到另一个领域，鸟人的好处就是说，他能够鸟看整片领域，然后他能够去集中精力，他主要的时间是花在，去找到一些更highlevel的一些，更高层级的一些，比较和抽象上，但是蛙人另一方面呢，就是说，他们会把一个领域，做得非常的精细，就是研究得非常的深刻，那在这点上，我跟Max其实都是，非常典型的鸟人。 [00:09:59]
访谈：你是INTJ
张小珺：你是INTJ，我感觉INTJ，P人比较像你说的这种，鸟人对，发赞型的人，对他是ENTP，对Max是ENTP，然后我其实也TP有点不分了吧。 [00:10:11]
刘子鸣：就是因为我感觉很多事情，不管是研究还是生活，其实很多事情不是自己所能控制的，所以渐渐的也就也变得更P了一些吧，你在博士的研究探索上有一条主线吗，其实中间换过几次方向，就是在22年之前，就还是AI for Physics，做这个AI物理学家，然后22年底，ChadGbg出来，然后Max说，OK我们整个组都要换方向，我们从现在开始要来做机制科解释性，为什么呢，因为大语言模型太危险了，那我们要保证它的安全，我们就需要理解它，它内部到底是怎么工作的，所以这个大概是23年24年，就是这两年，我们主要是围绕的机制科解释性，Bytheway，看其实是我自己的一个sideproject，就是一开始Max还不同意我做这个项目。 [00:11:00]
张小珺：但是后面我大概做了两周，做出了一点初步的成果，然后他说这个东西还有点意思，那你就接着去干吧，为什么他开始不同意，这个是你，就是一个很有影响力的，看的网络，这个也是一个呼应，就是我是因为。
刘子鸣：干入的这个AI，然后我们后来24年，又提了这个看的网络，对，就是他为什么，一开始不同意呢，他就甩了我一篇，1989年的一篇论文，那篇论文，是那个TomasoPoggio写的，TomasoPoggio，也是我们MIT的一个，就是很有名的一个教授，然后今年应该是90岁了，然后他在89年的时候，就写这两位苏联科学家，数学家，科莫·戈尔夫跟阿尔诺的两个人，提出的这个数学定理，它没有办法，被变成真的算法，然后他们当时的一个说法，就是说，他们就是找到了一个，最坏的情况，在这个最坏的情况里面，他们是没有办法找到，这种严格的两层，光滑的这种，科莫·戈尔夫和阿尔诺的表征，这个听起来很冗长，反正就是前面加了，一系列这个限制性的条件，但是我呢就是，感觉作为物理出身的人吧，可能有的时候并不那么care，并不那么关心，这个最坏的情况是什么样的，我们关心的是一般的情况，我们关心的是，它能不能在某些场景有用，它能在某些场景有用，那它就是一个好的一个东西，对这个可能跟，另一个想法就是，allmodelsarewrong，butsomeareuseful，就所有的模型都是错的，但是有些模型它是有用的，所以也就是这种想法，对我就在想，那你数学上告诉我，这个东西最坏的情况不work，但是物理上我们关心的东西，都是有很漂亮的结构的，那这些东西其实，它不是最坏的情况，就是我们人能生活在这个宇宙里面，我们这个宇宙就不是最坏的宇宙，我们就一定是一个还不错的宇宙，我们才能够演化出生命出来，我们才能够在这里问这个问题，我们到底是不是在这个最坏的宇宙里面，所以说就是基于这个，就是因为这样的一个乐观性，让我暂时的忽视掉了Fx的这个警告，就是说1989年编制说这个东西不work，我就是花了两周的时间，把这个原型给做出来了，然后我去找Max说，你看，我把这个网络给训练出来了，但是Max呢，一开始还是不是很满意，他就是说，但是我并不知道你这个网络，这个内部到底发生了什么，你还是造了一个黑盒子出来，这个也是这个机制可解释性之道，它还是个黑盒子，而Max就说，那你能不能想一下去，把这个网络给它做一个可视化，然后我就大概花了一周的时间，Bytheway，那个时候我还是一个，不相信codingagent的人，当然那个时候codingagent确实也还没有，现在这么厉害所以那个时候这些代码，就还是一行一行手搓的，所以那个可视化还是花了我一周的时间，但现在可能一个小时就够了，就我花了一周的时间把那个可视化给做好了，然后把这个可视化，做好了之后Max说哇thisisawesome，因为Max是一个超级的视觉动物，其实我也是就是我一定要，看到一个东西我才会相信它，我如果不看到一个东西，我就总觉得很难受，就是我脑子里有个图像，我没办法把它倒出来，我就会很难受，对，所以说我把这个，看的这个结构图画出来之后，Max就被说服了，他说哇，这个东西他太有趣了，我们居然能够看到，这个网络，他的脑子里面到底在想什么，而不仅仅是说，他最后端到端，他的这个端到端的，他的这个预测是什么，对，所以这个是通过这个方式，就说服了Max吧，然后后面其实就是一个，一些很正常的一些，research的工作，对，但是确实早期。 [00:14:30]
张小珺：我觉得还是蛮有意思的一段经历吧，你当时为什么想到要做Kent的这个网络，对我觉得这个也是，是我一直以来的一个执念吧，就是我会觉得AI和物理。
刘子鸣：这两个学科的哲学差得太远了，就是AI的哲学，至少我们现在的AI，它是一种基于连接主义的，它是一种神经的东西，但是物理呢，它是一种基于符号的东西，那我就会觉得，两个东西不统一，就很不好，这个可能也是来自于，就是受过物理训练之后，会有一种冲动，想要去系统化，想要去做统一的，这样的一种冲动，所以呢，我其实很早，就从2021年，我就在思考这个问题，就是我怎么样构建一个网络，它同时是一个网络，它同时又是一个符号公式，这个其实有一点像，玻璃二象性，就是我们量子物理中说的，一个粒子它既是物理，它同时又是波，那我能不能构造一个网络，它同时是一个神经网络，同时它又是一个符号公式，然后就是基于这个探索，我就写出了这样的一个方程出来，其实我是事后我才知道，大概过了几天我才知道，我写出来这个方程，其实就是1957年，科莫·戈尔夫和阿尔诺特，写出来的那个方程，但是我是从另一个角度，我是从神经网络和符号公式，玻璃二象性的这样的一个角度，我写出来这个公式，然后我后之后就意识到，这个东西，1957年的两个苏联数学家，就已经写出来的，而且他们证明了，这个东西是有这种万能逼近定理，就相当于，就给我们的这个模型，有了这个理论的背书，就是这样的一个表征，它能够表示任意的函数，那这样一来的话，这个，对就相当于是，把我一直以来的这样一个执念，给它。 [00:16:16]
张小珺：就给它close掉的，对，在看之后，你的探索是怎么延续下去的呢，后面跟这个工作还有关系吗，对，就是看对我来说，它更像是一个例子，一个什么样的例子呢。
刘子鸣：就是我人通过拍脑袋，我能够去设计出一个新的架构，我觉得我这个人思维模式，有的时候有点偏抽象吧，或者有点偏highlevel，就是看成功之后，我想的不是说，怎么样把看去应用到不同的场景，而是说我在想，我怎么样复现，我能提出新架构这个事情，对所以这也是导致了我后面，这个Physics of AI，就是对AI的物理学的探索，就我觉得设计模型，本身应该是一门科学，它不应该是像，我们现在这样，Transformer拍脑袋拍出来的，GAM拍脑袋拍出来的，ResNet拍脑袋拍出来的，CAN拍脑袋拍出来的，那这个就非常的不scalable，就是我觉得我们不应该scale，就是compute或者data，我们应该compute这种，AI模型的设计，但是这个东西怎么去scale，那这个又是一个巨大的，一个research的问题，所以就是在看之后，其实我觉得它对我来说，是一个出发点，就是我会更多的去思考一些，MathScience上面的东西，某种意义上，就是我是怎么样思考出来的，然后我想把我的这个思考过程，给针留到一个模型当中去，所以就成了我的一个新的执念，这个也是我现在参与创业，做的这个AI for AI，想做的一个事情，就是把我自己，或者把这个世界上，这种顶尖的AI研究员。 [00:17:46]
张小珺：的这种脑回路，给针留到这个模型当中，甚至不是针留，甚至我觉得能够产生一些，最顶尖的人类的科学家，和研究员更好的一些东西，但是大家说Transformer的时候，也会说它是抽中了GPU的彩票，就是它跟芯片，它是更适配的一种模型结构，那如果基于，不管是PhysicsofAI，还是AFOAI，设计出一种新的模型结构，那它跟当下的这个硬件，它能适配吗，这是一个好的问题。 [00:18:12]
刘子鸣：对其实这更加说明了，就是Transformer，其实在算法上，也没有那么厉害，它是中了这个硬件的彩票，这我其实挺同意，就是赛宁，就是之前赛宁和你的采访里面，赛宁的一个观点，赛宁就是说，大语言模型，它是反bitterlesson的，就大语言模型它能成功，它成功的点在于语言，它成功的点不在模型，就是因为语言是，我们人类演化了百万年，相当于是自然给我们的一种馈赠，然后我们把这个礼物，把这个馈赠拿过来，然后在上面，其实你做什么样的模型，只要这个模型，能够把这些馈赠给吃下去，那它就是一个好的模型，它可能是transformer，但平行宇宙里面，它可能是另外一个模型，它都是有可能的，其实我们现在已经有了，各种各样的变种了，对吧，比如这种lineartension，这种模型，所以说，对，所以说对于语言模型来说，我觉得这个地方的架构设计，还相对来说，没有那么精巧，是因为语言本身是一个，已经被压缩的，很好的一个模态，但是对于很多其他的模态，比如说像视觉，我觉得这个也是很多，现在世界模型公司，想要解决的问题，它这些模态，并没有被压缩得很好，所以这个时候，很重要的一点是，我们怎么样去构建，一个可以压缩的模型，这个模型，它不仅仅是，是说像Transformer一样，我去把所有的知识，给记下来，而是它能够去学到，抽象的表征，这个其实也是，人我们最擅长的，因为我们人，这个世界的变量，实在是太多了，但是我们人要，我们的祖先，我们要能存活下来，我们需要去理解，我们存活最重要的要素是什么，我们最重要的要素是，那个地方有个果子。 [00:19:58]
访谈：我要把它摘下来
刘子鸣：我要把它摘下来，我吃下去，我今天就不会饿死，然后那个地方就是有一只老虎，然后我不能被它发现，就是人因为这个进化的原因，我们不得不去，特别擅长就是识别，海量信息里面最重要的部分，但是这个恰恰是，现在的AI还不具备的，这种抽象的能力，对所以这个我个人是觉得，为什么模型设计会变得更加的重要，在后LM时代，我觉得会变得更加的重要，是因为LM的成功不是因为模型，当然了，我说这句话也有点马虎炮的意思，对吧，就Transformer，就比如说它这种Attention的机制，是能够让信息在上下文方向上，很快速的进行传播，这个是像之前的模型，像RN或者LSTM那一代模型所不具备的，那这个确实是它的一个创新点，但是可能只要我找另一个模型，另一个模型它也能够让我们，在上下文上面，有很高效的这种信息传播，那对于那种模型来说，可能跟Transformer是一样好的，就是说它牛不是因为它叫Transformer，它牛是因为它能够在上下文上，有比较高效的这个信息传播。 [00:21:04]
张小珺：以及ResNet也是，它牛不是因为它叫ResNet，它牛是因为它能在深度方向上，有很高效的信息传播，有很高效的这种梯度传播，你自己觉得你自己是一个什么样的研究的风格呀，从你的本科到你的博士，我觉得我其实是有一条很清晰的主线，但这个其实也是我后知后觉，就是有很多人问我说感觉你动作一下，然后后面我再慢慢的总结出来，从点点成线，是的。
刘子鸣：就是这个主线说的就是，如何去嫁接神经和符号这两个世界，或者更具体一点，就是如何去嫁接AI和物理，或者更一般的就是自然科学，对因为我们人所居住在的，这样的一个宇宙，居住在这样的一个，自然的一个环境里面，我们是非常擅长这个，这种符号，就是虽然我们不一定能够，显示的写出来六段方程，但是我们却非常擅长，就是能够去，就比如说我抛弃一个东西，我非常擅长去预测，它下一个时刻会出现在什么地方，那这个其实是，就又是神经这一部分，带给我们的一个能力，对所以说，我整体的研究是，想要去嫁接AI和科学，这两支，那AIforscience，说的就是说，现在的science，它太symbolic了，我想用neural的东西，去补足这个symbolic的东西，这是AIforscience，为什么科学是符号主义的，是因为它有很多方程式，对我觉得至少物理，它是一个非常符号主义的，一个东西，那化学生物可能也有一些，不少的这样的一些，经验性的东西，然后这个是AIforscience，那scienceofAI呢，就是说我不满意于AI是个黑盒，我不满意于AI它就是一个神经的东西，然后我要用符号的东西，我要用science的东西去描述，去理解去改进，去设计我的这个神经的东西，这个是scienceofAI，所以包括AI for AI，其实我说的AI for AI，其实和大家现在说的AI for AI，也有点不是完全一样吧，大家现在说的AI for AI，可能是说我拿一个codingagent，去写paper，或者说我提升自己的这个训练的这个pipeline，那这个就还是说从神经到神经，就没有闭环进我的这个symbolic的部分，所以我的AI for AI，我是想用自动化的方式去做AI的物理学，就是用AI来辅助我们更快的去理解AI本身。 [00:23:25]
张小珺：然后这个事情最后又能够闭环到，不仅仅是理解，而是去提升AI，为什么一定要引入符号学呢，就是没有符号主义也很好啊，只要你能AI for AI就可以了，对这个地方。
刘子鸣：我觉得有一点取决于你的belief，就是我的belief是AI，它是一个半物理，半天生物的这样一个东西，那物理它是一个，我觉得可以这么来讲，就是用EliasEscaver，说过的一句话，intelligenceiscompression，或者反过来，compressionisintelligence，就是我觉得符号，是一种极致压缩的体现，就是当我们，能够把一个东西符号化，这个东西意味着，我们能够对眼前的数据，做极致的压缩，那这个其实是，像物理学这样的场景，我们是有这样的一个luxury，就是我们是能够去，给它压缩成符号的，但是可能对于像化学，或者生物，或者一些更社会科学，可能我们确实没有办法，把它给符号化，所以我觉得这个，也是我认知的一种演化吧，就是比如说，你如果在去年问我，这个AI的物理学怎么做，我觉得它最后一定是符号化的，但是我做的越来越多了之后，我会意识到，可能我做一个预测器出来就好了，就是说因为物理最后的目的也是预测，我不一定非得用一个符号的理论去做预测，那现在我都做了一个预测器了，那这个预测器其实可以是一个神经的东西，它可以就是一个neuralnetwork，它可以不一定是符号的，只要它能够有用，只要它能够在某些场景预测的还不错，就我特别同意你说的，就是它不一定得是，AFVI它不一定得是一个符号的东西，它可以是一个神经的东西，但只不过符号的东西。 [00:25:13]
张小珺：我觉得sofar，还是我个人的一个执念吧，就是因为符号的东西，它更可解释一点，符号其实是把它，从一个经验科学，变成理论科学的过程，是的，对而且这个地方。
刘子鸣：符号其实它也是有不同的level的，它也是有不同的层级的，这个我特别喜欢举的一个例子，就是说，对应到天文学，天文学是有三个阶段的，第一个阶段是地骨，他这个人去大量的关心，他会去记录什么星星，在什么时候在什么地方，这是第一个阶段，这是一个数据的阶段，然后第二个阶段是开普勒，开普勒他会去，拟合这个行星的这个轨迹，然后他会发现，行星的轨迹是椭圆，然后这个时候就已经有了，这个经验公式，然后第三个阶段，再是牛顿的阶段，就是牛顿，他会去把开普勒的，这些经验公式拿过来，就开普勒的这个三大定律拿过来，他说你这三大定律仍然不本质，你还需要三个定律，我给你写个引力公式，我可以把你三个定律，我全部给你预测，所以这就是一个典型的压缩的过程，就是在地骨时代，你需要把整个数据表给记录下来，它就非常低效，但是你到了开普勒时代，你一个椭圆方程，然后再加上一些开普勒三大定律，就可以把这些数据很好的归纳进来，然后再到牛顿时代，牛顿时代说你开普勒仍然麻烦了，我可以给你压缩的更小，我可以给你把这个东西压缩的更小，对那对应到现在AI，其实我们大体上是处于一个，就看我们怎么衡量了，有的时候会说，我们现在是处于第1.5个阶段，什么意思呢，就是我们其实有了大量的实验，但是呢，我们的经验规律其实还不是很多，就比如说像SkillingLaw，其实是我们为数不多的吧，知道的几个经验规律，它跟开普勒定律的这个地位是类似的，我们现在还远远没有到，这个AI的牛顿这个状态，对，当然有的时候我又会说，我们其实更悲观一点，我们可能现在是0.5，就为什么这么说呢，因为地骨它好说歹说，它把望远镜对着了星空，它会去测各个星区的星星，在什么地方，但是我们现在过度的聚焦在，过早的时候，比如说像Transformer，这种类型的架构上，我们似乎已经失去了，探索其他类型架构的，这样一个motivation，所以就有点像是地骨，它就盯着一片星区，然后过分地沉溺于这片星区，哇这片星区实在是太美妙了，然后就忽视掉了，对其他星区的一些观察，所以从这个意义上来说，我们现在可能，可能连地骨时代都还没到，可能连数据，大数据的时代都没到，就是说我们这个数据，它是只针对穿梭嘛，只针对很少的几分，这种模型有效的，我们还远远没有到，能够看到整片星空的，这样的一个阶段，我要给大家解释一下。 [00:28:00]
张小珺：因为子明现在的创业的，方向，参与创业公司的方向，是AForAI，所以刚才我们在讲，他所相信的AForAI，是什么，我们刚才吃饭的时候，你也聊到，你当时在MIT的时候，其实没有想过要创业，还是想着要当教授，然后去了Stanford，才想着要创业，你能把这段经历，给他讲讲，对我觉得MIT和Stanford，还是挺不一样的，两所学校，在MIT呢，大家就还是比较学术，比较偏保守一点，就比如说24年。
刘子鸣：那会儿在MIT，这个大家，就是我的同学吧，都觉得湾区那些人搞的agent，都是在骗钱，对所以说呢，就是说一直到可能，就是二五年五月，那个时候拿了清华的offer，我的mindset都还是说，我要就我要在学术界，然后做出更有影响力的工作，我不要跟你们工业界那些人，同流合污，对但是现在看来，那个时候就太naive了，就是或者就是太理想化了。
张小珺：或者用比较流行的话，就是说还没有脱下，这个孔义己的长衫，所以MIT的人的信仰是什么，MIT的信仰就是我们，比如说用五年的时间，就能写出AI的物理学，有了这个AI的物理学之后。 [00:29:07]
刘子鸣：我们会发现，现在我们投入这么多资源，完全就是在浪费，因为我们可以从第一性原理，去推导出最优的架构，是什么样子的，所以你也可以理解，就是我为什么，那个时候特别看不上工业界。
张小珺：因为我觉得你们就是有钱，对吧，其实从这里能看出，你理解的AI和AI，和大部分人理解的AI和AI，也是不一样的，也是不一样的，你的理解的AI和AI，还是蛮脱胎于MIT的那个文化的，我觉得因为你还是在想最优的模型结构。
刘子鸣：是的是的是的，对但是我现在创业呢，我觉得就是参与到创业当中来呢，我觉得我是有一个比较，interesting的一个历程，就是我是比工业界的那些人都更，某种意义上更学究，或者说更理性一点吧，也不能说他们不理智，而是说他们看到了一个可行的路径，就快速的推，我觉得也是可以理解的，但是就是从学术的角度。
访谈：会比他们更理性一点
刘子鸣：会比他们更理性一点，但是我又比学术的那些人，老学揪们更疯狂一点，你处在中间，对我处在中间，然后我的疯狂就使得，就是老学揪们就会觉得，那可能AI的物理学，就是需要做几百年，就是需要慢慢地做，但是我现在意识到了，可能如果还是靠我们古法科研，就是我这个怎么勾出来，就我不是凭空说的，对吧，因为物理学从亚里士多德时代，到现在就是2000年，对吧，从牛顿到现在400年，那我们现在到没到亚里苏德德时代，我其实也不确定，这就是对于AI的物理学来说，对当时在MIT的时候，那个时候我是特别乐观，乐观的意思就是说，我相信在学术界，靠几个聪明的脑子，我们就可以把AI的物理学写下来，然后就可以savetheworld，或者killtheworld，我不知道，对但就是不需要那么多的试错，我们就可以把这个模型，就是给它设计出来，给它训练出来，对那个时候，其实我的实验，已经做了很多了，就是已经有大量的这个，这个是做什么实验，这个实验就是AI的实验，对但是慢慢的后面呢，我觉得一方面是，我们在这个，就是AI的物理学，这条路径上面，走起来发现，没有那么的顺利，是什么让你绝望了，也没有绝望吧，是我仍然相信，它最终是能够做成的，但是我是会觉得，这个时间线，不是我在有生之年，可以看到，就如果我们不是用，AIfor，这个PhysicsofAI的办法，而是用古法科研，去理解PhysicsofAI，最多我说我招十个学生，就是我招一百个学生，但是我仍然觉得，这个不是特别，scalable的一个方向，对所以这个也是，我现在参与到创业中，要做的是要去scaleinsight，就是因为我觉得，AI的物理学，追求的是understanding和insight，对当然有了understanding和insight之后，最后还是会闭环到，它告诉我们应该怎么去提升模型，但是第一步是understandingandinsight，就是我们不能够跳过这一步，直接到提升模型，当然了你能直接提升模型，那是最好的，但是现状是可能你想100个想法，可能有一个想法，somewhatwork，但是如果我们不跳过中间的步骤，我们先有了这个understandingandinsight，它能够更快地帮助我们去。 [00:32:22]
张小珺：去更好的设计模型，从那个不想跟工业界同流合污的你，到Stanford以后决定要创业的你，发生了这什么变化，你在Stanford多久，我在Stanford其实只待了六个月，对。
刘子鸣：但是我觉得对我来说是像开智了一样，对，我觉得也不想就是说哪边更好吧，但确实Stanford，就是我身边有很多人都在创业，就有一个是我一个很要好的朋友，叫高文浩，对，他在湾区那边现在也在创业，做的是AIforchemistry，他跟我一开始，也都是在MIT去读博士的，所以我们一开始，我们的话风还挺相近的，就都是瞧不起，这个创业，瞧不起大厂，但是去了Stanford之后呢，我们是同时开始做博后的，然后他就在那边，大概两周就跟我说，子明我要创业了，我们之前是每周吃饭，每周吃饭，我们就是聊的学术，聊的什么，然后他开始创业之后。 [00:33:17]
张小珺：他就开始教我，这个创业应该怎么创业，他的变化来自于什么，才两周，他的变化，可能他也有类似的朋友，给了他这样的一个刺激，我不知道，他让你受到刺激的是什么呢。
刘子鸣：就是在你们吃饭的过程中，我觉得主要还是，就是你特别相信你的peer，就尤其是你觉得，跟你风格很像的peer，当你看到和你风格很像的peer，他做出一些改变，他做出一些，你之前觉得很危险，你之前觉得，你做不到的事情的时候，你就会去想，是不是我不够激进，是不是我太在舒适区里面了，这个是一个，然后另一个也是，我在Stanford，待在那个组里面，我在Stanford，博士后我做的是，Neuroscience加AI，老板也是特别有名的，这个AndreasTolias，他也是全球，做NeuroscienceFoundationModel，最顶尖的几个人之一，我虽然只有六个月，但是弯曲的这个节奏，确实非常快，就是我刚去的前两个月，他们那个startup，还可能在秘密地筹划吧，也是个NeoLab，算是NeoLab，但是他们更偏，Neuroscience一些，他们是希望，能够从neuroscience一些principle，来去解决AI，放这些model的问题，就更像neuroforAI，对神经科学，就比如说猴，或者说老鼠，它们脑子里面的一些表征，能不能够用来去约束，我这个artificialneuralnetwork，这种人工神经网络中的这些表征，然后人脑子中的一些结构，能不能用来去约束，这个人工神经网络中的一些结构，等等等等，大概做这样的一个事情，然后我也是，就目睹他们从筹划，到最后announce的这样一个过程，然后基本上，我觉得对我来说也是一种教育，基本上我刚去的时候，他们可能在开始筹划，然后当我离开之前的一个月，他们就announce了，对我觉得对我出动也是挺大的吧，就是因为我觉得Andreas，他也是一个特别purescientist的一个人，然后我是目睹了，他也是从这个purescientist，往entrepreneur转的这样的转变，对然后当时，当时我跟他说，我有创业的想法的时候，他也说，那你就待我们公司好了，反正我们公司，也想做这个AIscientist，也想做AI for AI，对但是后来想了一下呢，还是觉得，就有点惊人一下的感觉，为什么，就我觉得我们的路线，也不太一样，就是我们approachAI for AI的路线，也不太一样，就是我还是希望能够，至少早期的科研R&D这方面，按照我的意愿，按照我的想法去退，后面这个东西怎么去做产品，怎么去商业化，这个我觉得就wayopen。 [00:35:55]
张小珺：但是他的DNA得是你的这个方案，是的，原生的想法，是的，他这个技术，他的这个想法，得是我原生的想法，对，这个可能也是，学术圈的人会有一种控制欲吧，会有一种。 [00:36:10]
刘子鸣：就是很强的，就是说这个想法得是我原创，这个想法得是我提出来的，当然，这个也还是我现在的想法，或许我过段时间之后，会发现这个也是一种厂商，你的那个导师，他有跟你说，他为什么要从一个，scientist转成entrepreneur吗，其实答案很简单，他跟我说答案很简单，就是因为他们要做，大量的这种，老鼠跟猴子的实验，那这些实验，他是真的需要去，弄到很贵的仪器，所以他在公司做的事情，其实跟在学校做的事情，是差不多的，只不过就是说，公司那边会，更多的去思考，就是这个东西，要怎么去商业化，当然他说的是，他们的投资人，跟他们说三年之内，你们不用考虑商业化，这个三年，你就安安心心地做R&D，因为确实你做这些猴子的实验。 [00:37:00]
张小珺：你确实这个东西急不得，你去采收，你就是需要人去养猴子，这个周期你是避免不了的，这里也说到了一个，我们今天很想聊的话题，就是今年出现特别多的牛辣，你年初的时候，可能还是在硅谷经历这一波牛辣，包括也亲身的经历了，他们整个的筹备到发布的过程，然后回国，你又组建了自己的NewLab，为什么在今年这个时间点，中美两边都出现了这些NewLabs，他们大量涌现背后的本质，可能是什么呢，我觉得这个地方，就是一个人才选择的问题，就是对于顶尖的人才，你的选择无外乎就那么几个。
刘子鸣：就是要么在学界，当然现在AI其实，在学界的人，其实绝大多数，也会在业界跨一下，就你要么就去大厂，模型厂，可能做一个大头兵，那你要么，你就自己出来单干，我觉得这个也是，就是能有这么多，新的NeoLab，也是就是现在的这个范式，逐渐收敛的一个过程，就是现在的人才，他不太希望，去大厂里面去当大头兵，也是下一个范式，下一个Transformer，会是用我的这个路线，还会有下一个Transformer吗，我觉得它不一定是Transformer，它不一定是一个新的架构，我觉得它可能是一种新的范式，就像我们刚刚聊到的，就是其实现在AI，不管你是Transformer，还是什么架构，它最大的一个问题是，没有办法做抽象，所以它就只能够说，要么你喂给它的数据，就已经足够的抽象了，比如说像语言，要么你就是给它，喂大量的数据，强迫让它涌现出抽象，像VLA，像世界模型，其实就是这个样子，但是sofar，仍然不是很work，是因为抽象实在是太差了，对，就对于视觉来说，这个抽象实在是太难涌现了。 [00:38:46]
张小珺：我的意思说，还会有下一个transform吗，我觉得当然肯定会有，但是我想说的是，它这个时间周期的问题，就是为什么不是，就是已经有transform的架构，已经有了现在这样，已经部分好用的模型，是不是就应该在这个模型基础上，去做工业化，就是把它推到应用场景里，还是说我们要继续，在这里探索新的范式，然后涌现出新的一种结构也好，或者创新也好，就是为什么大家现在的选择，是出现了这么多newlab，而不是一门心思，就往前面推进，就基于现在这个方式之下的，这个应用，我觉得是，对于一些方向，是还是需要一些research，它并不是完全。 [00:39:26]
刘子鸣：已经路径清晰的事情，就比如说我们这里，在做的这个research，就AFOresearch，AutoResearch这个事情，它不是一个路线，已经完全清晰，甚至说在非常早期的，这样的一个事情，对当然了，就是说coding，其实已经非常成功了，就AFOcoding，也非常成功了，那下一个方式，其实自然而然的，就是AFLResearch，但是我是认为，Research和Coding，有很大的不同，就是Coding，它是一个高度结构化的，这是第一点，第二点是，它是有大量的数据的，就是我们已经有了GitHub。
访谈：GitHub这个
刘子鸣：GitHub这个，上面的这些数据，是远比其他互联网上，其他的部分，要更高质量的，结构化更强得多的，但是对于Research来说，Research它不是一个，被结构化很好的，这样的一个数据结构，就是我们现在，还大量的在说，我们需要研究的直觉，我们需要研究的品味，当我们说这些词的时候，其实就默认了，研究它不是一个，可以很好被结构化的东西，一旦当一个东西，可以被结构化，可以被标准化，可以被规模化，大家就应该会，对这个东西屈昧，但是我们现在，还没对VSG屈昧，说明它还没有被结构化，被标准化，被规模化，我们要做的，就是我刚刚说的三步，第一步是，首先要结构化research，因为我们有的时候，我们自己做research，好像是乱的，我们脑子里是乱的，就是我这里蹦一下，那里蹦一下，那这些数据，其实是没有被沉淀下来的，那未来我们要沉淀下来的，这个关于research的结构，就比如说我们先观察到了，一个什么东西，观察到了一个什么现象，这个现象预示着，这个系统里面，可能有什么样的问题，然后关于这个问题，我有什么样的一个假设，然后这个假设告诉我们，下一步我们应该去做，什么样的一些操作，然后我下一步，做的这样一个操作，是不是真的能够，对我带来训练的提升，就这样的一个闭环，这个是我们应该，最近会release的一个博客，就是我们会，会讲我们的这一套方法论，以及它的一些，初步的一些结果，那我们这一套方法论呢，缩写叫做office，就是O-P-H-I-S，这个O呢就是observation，P就是problem，H它是hypothesis，I是intervention，S是speedup，就是说我们认为，所有的researchpaper，都应该按照这种结构，去对它进行结构化，然后我在做科研的过程中，当然它所有的科研，不会是说那么顺利的，我这样的一个思维链就下来了，我可能是在不同的节点当中，来回地去跳，但没关系，但是所有的东西，至少我们要对它结构化成，它是O它是P它是H它是I它是S，然后有了这样的一些，结构化的东西之后，我们相当于创造了一门，研究的语言，当然这个说的有点玄学，就是我是认为，研究的语言，它大体上是基于自然语言的，但是它背后的结构，是需要我们自己去做抽象，自己创造出这样的一个结构的语言，那一旦我们有了，这个research的语言之后，我们就可以像训大语言模型一样，我们训一个researchlanguage的，一个languagemodel，那那个时候，这个research它就能够被自动化，能够被规模化，但是首先第一步是，我们要结构化这个research，这你现在说，你现在在做的事情对吧，是的，我的意思是说。 [00:42:43]
张小珺：为什么现在出现这么多newlab，你有没有一些观察，就我觉得newlab也是，就是找到了现在，主流的范式的一些痛点吧，然后AutoResearch，是其中的一个例子，就是说现在。
刘子鸣：用codingagent的这个范式，接着往下去做，其实它会有一些missingpart，就像我刚刚说的，它这个结构，还没有被structured得很好，然后还有一些痛点，就比如说世界模型，那世界模型，它就是需要设计一些，比较新颖的架构，那对于这样的一些方向，它也是现在的这个，范式所达不到的东西，对所以简单来说，原NEOLab的出现，就是因为当前的范式，一个是你不想去做大头饼，第二个就是说，当前的范式，有一些明显的一些痛点，就是明显打击不到的地方，而且那些地方呢，有的时候可能需要一些早期，需要大量的research，而不仅仅是说，我上来我去对资源，我去对工程就可以做成的，对然后我刚刚举的两个例子，就是说AutoResearch和worldmodel，我觉得是我认为两个，我能看到的比较重要的，就是现在的当前范式，不能立马解决的问题，简单来说AutoResearch。 [00:43:50]
张小珺：或者说AI for AI，它其实都在讲一个事，就是我们要训练一个AIresearcher，把它训练成一个AIresearcher，能够自主地去做研究，然后世界模型的本质，实在是说它要给机器人，训练个脑子，它其实是forrobotics，那个赛道的，对，这也是当下，所谓的NewLab融资，资本涌入最活跃的两个方向，是的，你们实际融资，感受怎么样，在今年这个市场上，能不能给大家说一些体感，你是三月份回的国，对我是三月份回的国，然后大概是，四月底入职的清华，然后五月底开始参与融资。 [00:44:28]
刘子鸣：然后这个过程，我的体感是，就太疯狂了，怎么说，就是我觉得像世界模型，当然更大的还是AIforscience，我觉得很多投资人，会把我们归类到AIforscience，其实就是因为AI for AI，最后他for的还是一个，要for的一个东西，可以是AI for AIfor世界模型，也可以是AI for AIforscience，你们for的是science吗，可以for的是science，但是我们现在还没有定，但就是说其实很多投资人，会把我们去画在AIforscience下面，然后按照AIforscience去聊，但反正不管是AIforscience，还是世界模型，还是这个AI for AI，我觉得都是一个，就一级市场是一个，非常formal的一个状态，有多formal，因为我也没有一个比较吧，对所以我也很难说，但确实就是说，大家都在这个相互打开消息，然后大家都投项目的动作，就都非常的快，因为close也非常快，而且从种子轮到后面。 [00:45:34]
张小珺：就是种子轮加轮，加加轮，可以无限的加下去，这个是现在融资的一个，比较常见的一个策略吧，就是说上一轮的投资人没进来，对那我下一轮，那我就开一轮，但是我开了一轮之后，下一轮投资人又没进来，然后就相当于是一个，连续的融资的一个状态，对，你当时为什么没有想在美国创业，你为什么做了这个合股的动作，就是我觉得，我AutoResearch这个事情，是需要比较多。 [00:46:01]
刘子鸣：然后高质量，高智商，就是高人才密度的，这样的一个，对因为我就去观察，因为我在MIT，其实也带过，二三十个本科生，我的体感是，其实平均水平，是远不如，清北的本科生，那我要做的这个事情，我是要带小天才的，就是我们这个事情，是需要小天才加入的，对，然后我要需要，很多的小天才，那就回到，就加入清华吧，也不叫回到，因为我之前是北大的，就是加入清华，然后顺便也能从北大那里，好些学生过来，那就相当于能聚集，我觉得不是全国，而是全世界最聪明的学生，得偿所愿的，对啊。
张小珺：就是现在我在七字研究院，我带的十几个学生，就跟我在七字研究院这边，就都是我觉得，是非常非常顶级的学生，当我们说AFOAI，和NewLab的时候，我们自然会想到田园栋，在硅谷那家公司，RSIRecursive，你跟他的方向，有什么不一样吗，当我们在说AI for AI，你们在做的是一个事吗，我的理解啊，我基于对他们最近，他们最近发布了一篇博客嘛，他们博客就是显示了。 [00:47:08]
刘子鸣：他们的第一步的一些努力，我感觉他们做的更多的，还是说偏codingagent的改进，就是我的理解是，codingagent的这个路线，更像是说把，做一个更勤奋的AI for AI，就是我有超强的行动力，我可以不停地在这里迭代，但是我们这里想做的是，AI for AI，是一个更聪明的AI for AI，比如说我提三次想法，你们有一个就work了，之前的话，你codingagent，可能是你提一百个想法，它你们只有一个能work，对当然最终了，这个勤奋跟聪明，都是需要的，所以我觉得，我们是两个正交的方向，然后intheend，最终我们会在某一个地方，去对两个approach，进行一个整合。
张小珺：你跟他们也聊过对吧，在回来之前，对我跟田云东也聊过，当然田云东其实，他本人是挺支持，scienceofAI的，所以这个我其实，说实话我也有一些危机感吧，就是如果说。 [00:48:03]
刘子鸣：他们的路线，最后会变得和我比较相似，那就一定是田云东做的，对，因为我跟田云东就是，关于scienceofAI，关于以及就是说，就之前那个，他做的那个Glocking的研究，我们之前也有研究嘛，对所以我们taste，其实还是非常相近的，对但是之前的话，就是怎么说呢，我觉得还是吧，就是不完全一样，所以我还是想按照我的。
张小珺：一直按照我想象的这个东西，去推这个事情，我发现了你对你这个，原生的想法非常的在意，你这个原生想法来自于哪课，就AI for AI，或者是FactorsofAI的，这个想法诞生于哪课。
刘子鸣：我觉得最近AI for AI的想法，诞生于，我把自己当成一个模型，去做训练，这个是我从今年年初，开始做的一个事情，就是我每天会随机的，去拉一个数据集过来，随机的拉一个模型过来，进行训练，然后呢，我会在我做实验之前，我去问自己，现在你来预测，这个训练曲线，会长成什么样子，我就日复一日的做这个，我大概做了60天，就是我每天做，然后这个你如果去看，我个人网站上面，我个人网站上面，是有个博客专栏的，然后你会发现，我早期是跟得非常平衡，我每天都跟，甚至有的时候一天两根，就是因为我，在那段时间里面，我基本上就是闭关，然后把自己当成一个，模型在做训练，就是我今天，做了一个实验之后，我就去训练我的大脑，这个场景，然后我把这个模型，这个数据集，这个优化器，它会产生这样的训练曲线，然后呢，我做这样的一个训练，我发现我一开始，预测能力非常差，我可能连确实都预测不对，但是我大概自己训练，自己训练了四五十天之后，我发现我开始变准了，就是我在做实验之前，我大概能预测，它这个实验的结果，是什么样的，甚至可能有的时候，我前几天做的是language相关的实验，我今天做的是一个vision相关的实验。 [00:49:58]
访谈：我也能给它预测准
刘子鸣：我也能给它预测准，这个是为什么呀，怎么预测的呢，我不知道，就是我只是训练我的脑子，就是我现在还没有办法，把我脑子里的东西，给它给写成自然语言，它可能是一种视觉的reasoning，然后可能还有一些，就是可能它在浅空间有些reasoning，但我其实也说不清楚，这些浅空间reasoning是什么，但就是somehow，我自己突然获得了这种，可以预测的能力，就是我在做实验之前，我就能够部分的去预测，这个实验的结果是什么，然后就是因为这样的一个，在自我身上，在自己身上的人体实验，让我相信存在的原模型这个东西，就bytheway原模型，就是说我的输入是一个模型，以及可能还有些其他的，数据集是什么，优化器是什么，然后输出就是这个模型的训练曲线，所以我在今年年初，那两个月时间里面，基本上就是把我自己，当成一个原模型在训练，训练到四五十天的时候，我突然grok了，我突然顿悟了，然后是因为这样的一个，我觉得是这样的一个，近似于苦行僧似的一种修行，让我意识到原模型是可能的，你为什么想来去做这个事，我觉得motivation，还是AI的物理学，就是说如果我能够去，预测清楚，接下来会发生什么，那相当于我脑子里，其实是有一个世界模型，其实是有一个，关于AI的世界模型，或者关于AI的物理学，因为物理学就是说，我拿来我的物理理论，我不用去做实验，我就能够通过simulation，通过计算，我就可以预测出来，之后会发生什么，对所以相当于是一种先知的能力，就是你只要能够预演之后，会发生什么，你就一定是掌握了某种世界模型，基于你自己做这个人体实验，你相信是存在原模型的，然后呢，但是呢，这个问题就是说，我没有办法把我的这种knowhow写下来，因为sofar我的这些知识都还是，以某种脑电波的形式存储在我的脑子里，那我下一步很自然的，我就要想我要把这个东西外化，就是我要把自己给拷贝一份，就我要做一个原模型，它能够取代我，就是因为我每天最多就做一个实验，把一个实验做得非常的仔细，这是人的bandwidth，这是人的带宽，最多做这个，最多做两个吧，但是一个模型，它其实可以，一个batch，你就可以建到几千组东西，对，这个还是回到我之前说的，如果我日复一日，把我自己当成原模型去训练，我可能要训练一千年，可能需要训练几千年，但是我活不了那么久，所以我要去加速这个过程，我要去做一个原模型，这个原模型，它不像我一样需要睡觉，它不像我一样需要吃喝，会有情绪，它的任务就是去看，各种各样的实验，然后去预测它们的结果，然后在我自己的人体实验上面，我发现四五十次，就基本上能开始有Glock的迹象了，那对于原模型来说，当然可能原模型没有我那么，就是抽象能力那么强，所以它可能需要四五百次，但是可能无所谓，可能这个地方多消耗一点，这个计算资源也无所谓，对所以这里想法主要还是说，我想把自己给外环，对我想把自己的脑子给外环。 [00:53:14]
张小珺：它跟AFAI的关系是什么，我觉得原模型是AI for AI的一个，一条技术路径吧，就一旦你有了原模型，它可以做很多事情，比如你现在有一百个想法，你不知道该试哪一个。
刘子鸣：更具体一点的吧，你有一百个架构，你不知道该试哪一个，那么你原模型说的是，你把架构作为我原模型的输入，这个原模型就能够预测，这个模型它的性能是什么样子的，那么你现在就不需要做一百次实验，你就只需要用原模型，全传100次，做100次预测，那这个是非常便宜的一个事情，当然了，最后我们还是要，真的去做这个实验，但就是，对于筛选想法这个事情，就是这个原模型，能够帮助，迭代的这个AF，这个迭代的系统，更快地去迭代想法，就之前你如果没有，这种好的直觉，你如果没有原模型，做辅助，你可能需要，比如说100个想法，你需要都尝试，但是现在的话，这个原模型，它能够给你在，你事前就去做一个排序，就能告诉你哪个想法，比其他的想法是更promising的，然后这个地方的想法，更多的还是说做AI的research，所以是一个AI for AI的一个东西，我觉得AI for AI，可能有的时候有点buzzwords，有的时候我会，也会管它叫做AutoResearch，但是因为这个地方，我们auto的research，是AI的research，然后我们这个地方的auto。 [00:54:35]
张小珺：也是用AI去做的这个auto，所以AutoResearch，它其实也就是一个，AI for AI的概念，对，世界模型说是预测下一个state，原模型是预测nexttoken，你们这个算是预测一个实验结果，对我们是预测nextcurve，我们的实验结果就是一个训练的曲线，那你们的训练语料是什么呢，你们需要训自己的模型吗，需要多少点算力，怎么开始做这件事情呢，对我们会先从demo做起，因为这个事情。 [00:55:03]
刘子鸣：我觉得是一个三到五年，比较长期的一个事情，对于我们原模型来说，我们的数据是模型，这个地方有点绕，因为我们这个原模型，它是一种关于模型的模型，或者说关于模型的世界模型，所以我们这个地方的训练数据是模型，所以我们是要训练这些模型，拿到这个模型的训练曲线，这样我们就获得了，我们的一个datapoint，然后我们再生成另一个模型，然后另一个模型，它会有一条对应的训练曲线，然后有了这样的一个pair之后，模型和训练曲线的pair之后，我们去训练这个原模型，就是用这个监督的方式，就是我的输入是这个模型的时候，你这个原模型应该预测，它的这个训练曲线，对用这种监督的方式，去训练我们的这个原模型，那这个它贵的点就是说，我们也是需要挺多的计算资源的，但它不像大模型一样，需要一个很大的集群，需要卡之间communication做得很好，因为我们这个地方，我们是要做大量的这种小模型，但是这个地方的我们小模型，不是说就是transformer的小模型，而是我们强调的是多样性，我们强调的是，要让这个原模型，见过很多人看起来，非常奇怪的架构，但或许就是这个架构，能够帮助我们，去跳脱出这个Transformer，现在的这个LocalMinimum，目标是什么，目标是，发现下一个模型结构，这个是一个终极目标吧，最终我们是希望。 [00:56:30]
张小珺：下一个Transformer，不是人发现的，不是人拍脑袋发现的，而是说通过我们这个原模型，这个原模型给我们预测出来的，那中间呢，中间要实现的是什么呢，中间阶段，因为你说下一个模型结构。
刘子鸣：也许是最终目标，那中间的目标是什么呢，对，中间目标还是，就是我们刚刚聊到的，去结构化research，然后去收集这种结构化的数据，然后训练一个，我们自己的这个research的这个模型，就是为什么我会这么去划分，因为好像中间目标听起来，它也是要去那一个模型，对吧，原本一个是一个模型，我可能借用这个，RichSutton的这个BitterLesson，BitterLesson说的就是说，在短期当你数据不够的时候，你需要去引入结构，但是当长期，当你数据特别多的时候，你就不需要结构了，对所以说我觉得在短期，因为研究的结构化数据，还是偏少的，对这种情况下，我们需要去引入结构，到我们的这个，整个框架当中来，所以这个是短期，我觉得比较偏，就更务实的一个事情，但是长期这个圆模型，它是一个端到端的东西，我觉得这么说，或许有点像，我们现在是要做一个，世界模型，就短期，中短期是要做一个世界模型，长期是要做一个VLA，我觉得可能，我觉得可能有点，和这个趋势反过来了，但是。 [00:57:49]
张小珺：但是我觉得可能不重要，重要的是我们最终，要做成FAN，那至于中间的路径是什么，我觉得这个就看着办呗，就是就边探索着，边往前去拱吧，为什么短期是WorldModel，中间是VLA，就是WorldModel，inthesense，就是它有更多的结构，然后VLA，inthesense，就是它更短道端，对，所以现阶段，你们还不训练自己的模型，现阶段其实更重要的是结构化，结构化research，然后以及收集相关的，就是结构化research的数据，怎么结构化research呢，因为你也说，你们的目标，并不是说去做一个paperagent，不是说我就训一堆的论文，让他比如说，发现下一个科学原理，因为论文其实是，整个研究探索的结果，过程中的灵光一线，或者它的曲折，然后它的点点成线，草蛇灰线，都是没有被记录下来的，你这个怎么来做，这个结构化呢，因为论文都只是，最后的一个结果，或者你可以说，它是某一种公式，但是它可能还没有，那么的被符号化，是的，我可以这么说，可能1%的AI论文，其实结构化做得不错。 [00:58:55]
刘子鸣：举个例子就是，朱泽元他们做，PhysicsofARMs，那这个PhysicsofARMs，就是结构化比较好的，就是说我观察到了，什么事情，我决定做下一件事情，他的这个做实验的，这个所谓的chainofthought，就这个reasoningchain，黑理念是非常清晰的，但是可能99%的paper，它可能就不会包含，这么清晰的这种研究的思维链，在里面，我感觉在很长的一段时间里面，大家把展现思维链，当做一种耻辱，为什么，你要显示你很厉害，你就要让别人觉得不可琢磨，对你就要直接把这个公式写下来，就是说这是我梦到的，这是我梦到的，不是我推出来的，这是我梦到的，那这样别人觉得你最牛，然后当然我写paper，我觉得也是受，那个maxtechmark，这个的影响，就是我们写paper，一个是很平铺直续，第二个是也会把思维链写进来，但是毕竟这种，会包含思维链的文章，虽然不多吧，但它也不少，OK，因为本来论文的基础，就已经挺大的，第二方面呢是说，我们会收集。 [00:59:59]
访谈：我们自己的一些数据
刘子鸣：我们自己的一些数据，就我之前，比如说和学生去，讨论project的时候，我会经常有一种感觉，就是我们的思维链，其实并没有被，很好的记录下来，而正是这些数据，是我们做AutoResearch，所需要的，那之所以现在，AutoResearch还做得不好，其实可能跟架构，跟这个路线，没有太大的关系，其实就是这个数据，现在还没有保留下来，对，那我们第一步是，首先我们要构造一个device，或者说是一个software，这个是我们最近在，就是在做了一个东西。 [01:00:27]
张小珺：就是它能够更好地去采集，就是说我们整个思维链，采集就是说话，比如开会讨论，这个是思维链，对最后要做的这么智能，现在还就是说，我在做下一个实验之前。
刘子鸣：我必须要强迫你去写一段话，去评价你之前干了什么，然后你得出什么结论，你才能进入下一个实验，是一个很流程化的系统，目前来说还是个偏流程化的系统。
张小珺：这要多大规模的数据呢，如果是采集你们这几个人的肯定太少了吧，我觉得这个地方分几种，一种就是说paper是有大量的，但它质量不一定高，然后人的话就是说，这个是我瞎说的。 [01:01:04]
刘子鸣：因为我们还在构建这个采集系统，就我们还没开始采，但是我预计，比如说我一天采10条，20个学生加员工，可能每个人每天也能采10条，所以一天就能采200条，然后两个月就能采1万条，我觉得就是。
张小珺：差不多可能开始够用了，就是可以开始训练这个模型，来针灸我们自己，某种意义上，采集完数据，接着你要做的下一步是什么，下一步就是训练一个这个模型，圆模型吗，它不是圆模型。
刘子鸣：圆模型是一个特别终极，我们可以把它当成，是一个北极新意的一个目标，这个模型它就是去预测，我的下一个动作是什么，就是我们这个数据收集器，其实它不仅是个收集器，它也是个环境，就相当于是，我是在类似于一个，我的世界科研版，我可以在我的世界里面，做各种各样的操作，记录下来我的这些操作，之后会有一个，NextActionPrediction，就是它就会预测，如果是子民，就比如说我学生，目前做了这些动作，然后卡在这个地方，它就可以调用子民model，如果是子民现在做，它会怎么去做，它就能够，不需要我在场，就能够获得我的，这个同样水平的这种反馈，但这样的话，就是需要去训练一个子民model，然后每个人都要训一个model，或者说把所有人的东西，混成一个model，就是要训那个model，对当然这个也是，我们在探索过程中，不断地在pivot吧，因为就是一旦，开始做一个事情之后，其实想法以及这个路线，每周都在改，甚至每天都在改，甚至每个小时都在改，就只要你迭代的足够快，就比如说这个采访，如果是上周发生的，我就不会讲这一part，因为这一part是我们，这一周在迭代的事情，那如果你下周再采访，可能我们这个东西。 [01:02:38]
张小珺：就已经做出来，就已经开始收束，就已经开始，有些初步的结果了，还有什么人，有一些其他的，AI for AI的路线，还包括现在的模型公司，他们也会说，自己在做AI for AI，或者说他们觉得，就是AI能训练，AI的时候。
刘子鸣：会是一个比较标志性的时刻，就是现在主流的，绝大多数人做的，还是说基于，现有的codingagent，我不觉得说，我的路线，跟他们是矛盾的，或者怎么样，我觉得是互补的，可能如果细分的话，可能有些人更偏，就是说找到下一个架构，就比如说我的梦想是说，用AI能找到下一个架构，我相对来说，不那么care生产paper，因为我在博士期间，我就是个papermachine，然后我也知道，这些paper写出来，其实真正有价值的，可能就那么几个点，对但是写paper呢，也是有它的价值，但只不过就是paper是一个，我觉得是一个研究的，一个复产物，第一性原理，就是研究的第一性原理，是拓展自己的知识图谱，paper只不过是说，当我的知识图谱足够大的时候，我一出了，就是我的脑子里，装不下那么多东西，我必须要把它写出来，我必须要把它，和我的同事去进行分享，不然我憋不住，就是我觉得我很多时候，写paper并不是说，我真的需要一个paper毕业，或者怎么样，我真的需要一个paper干嘛，而是说它在我的脑子里，我就想把它给扔出来，我就想把它给dump出来，所以是有一些，AI for AI的公司，他们更像是paperagent，但这个就不太是我们的目标，我们的目标还是说，积累尽可能多的，这个AI的物理学的insight，这些insight，它不一定是paper，当然我们想也能写成paper，但就是说这些insight，它能形成这个AI的。 [01:04:10]
张小珺：物理学的知识库，能够帮助我们系统和科学的，在未来帮助我们去设计，更好的模型架构，这个是我们的目的，我看到你把Physics of AI，拆成三个方向，空间上根系，时间上根系，平行宇宙间看的根系，这三个分法，是怎么想出来的，我是喜欢从，我们所居住的这个宇宙，角度来思考很多的问题，这是你尝试来解释，AI这个黑盒是吗，这是你的解释方法，是的是的。
刘子鸣：在空间上看的更细呢，指的就是说，我不仅仅是关注，这个模型它端到端的行为，我也会去关心，它这个模型内部的，某些神经元，然后它的内部表征，会有什么样的一些特性，这个是空间上看的更细，就有点像是，我们去做检抛，我们不仅仅是去看，表面上是什么样的，我们也去看它内部，它的这个工作方式，工作模式是什么样子的，这个是第一个，就是在空间上看得更细，在实践上看得更细呢，这个就是说，我不仅仅只关心，这个模型它最后一个时刻，它的表现，它的这种性质，我也关心，它是怎么样演化来的，这个其实在生物上面，有一个对应叫做，Nothinginbiologymakessense，exceptinlightofevolution，他说的就是，如果你不从进化的角度，来理解生物，其实在生物里面，没有东西是可以理解的，就是是makesense的，也是黑盒，也是黑盒，就是因为生物也是黑河，但是你从演化的角度来说，你至少能有一些理解吧，对你可能会看你的这个祖先，他可能在某一时刻，他没有上陆地，对吧，然后他就一直在水里待着了，你就通过这种历史，通过这种自然进化，你会有一些启发，看是被环境，对，第三个呢，这个平行宇宙，我为什么这么叫吧，我觉得还是因为，我的博士导师MaxTegmark，他是平行宇宙理论，他是提出者之一，当然这个地方平行宇宙说的很玄学，其实就是控制实验，什么意思呢，就比如说我有两个培养米，都有些细菌，然后这些细菌可能在不同的环境里面，那对于一个培养米里面的细菌，它就觉得另一个培养米，它就是一个平行宇宙，这个对应到我们人的科学上面做实验，那其实就是去做一些控制实验，在一个环境里面，我能迅出来一个什么样的模型，这个环境可能指的就是，比如说我的超参数该怎么调，调成了另一个超参数，我就能得到性质不一样的模型，这个其实是朱泽元他的这个physicsofRM，你们其实很重要的一种方法论，就是他会去扫一个像图出来，就是facediagram，那这个像图其实也是物理学中，其实比较常见的一个概念，像图说的就是说物质它可能有不同的形态，它在不同的状态下，它可能有这个不同的像，同样的物质都是HRO，都是水，但它可能不同的压强，不同的温度，它可能就有不同的像，这个AI里面也是有很多的像的，不管是训练动力学还是什么，这个AI里面也是有非常多的像的，那我们很多时候会有一些knowhow，就是说什么trick它work了，什么trick不work，其实很多时候是针对这个像而言的，就是只有当你的实验室在这个像里面的时候，它才是work的，当它出了这个像，当它进入了别的像，它这个trick可能就不work了，那可能另一个trick才work，但我们现在之所以很混乱，是因为所有的人都在说，我的这个trickwork，但是没有人回答，我的这个trick在什么时候work，我的模型，我的这个系统在什么项目里面，它才work，所以这个其实也是，这个scienceofAI，或者Physics of AI，想要解决的问题，就是因为我们知道，Nofreelaunchtheorem，告诉我们，没有一个模型，没有一个trick，能够在所有的数据，即在所有的任务上，都比其他的方法更好，Physics of AI的任务，就是去理清楚，每一个trick，每一个架构，它的适用条件是什么，这个才是一种做科学的态度，而不是说，你做出来一个东西，你就在那里去卖，这个我们这个东西好。 [01:07:54]
张小珺：但是全然忽视掉了，可能它好是有一些适用条件的，FaceofAI，其实你想做的也是AI的可解释性，你试图把它的原理搞清楚，是的。 [01:08:09]
刘子鸣：就是我会比较警惕可解释性这个词，因为可解释性现在，就是不同的人，可能有不同的这种诠释吧，我们认为物理，其实就是在解释我们的这个自然世界，那么是的，就是我是在做可解释性，PhysicsofLife是在做可解释性，但是我们的这个可解释，要解释到什么程度，我们不一定要像，Ethropic一样解释到neurallevel，当然我们其实二年底，二十三年，二十四年初，我们其实做了大量的这种工作，因为我们自己做了大量的这种工作，去解释神经网络背后，是在做什么算法，去理解一些neural，我们自己意识到，这样的一些故事，其实有的时候，没有那么的robust，就是你可能换一个随机数种子，它这个故事就完全不对了，或者说，我们解释的有点过于微观了，好处是说它非常的具体，坏处是说它不一定鲁巴，我觉得大体来说，可以说是可解释性。 [01:09:00]
张小珺：但不一定就是我们要，非得做到像anthropic那种，机制可解释性的那种level，我有一点矛盾，你一方面在做fixesofAI，我理解它是试图理解AI的原理，理论化，我不知道这个理解对不对，是的，另一方面你要做的是AI for AI，这两个是怎么联系起来的，就是你做AFA需要去理解AI的原理吗，AI更像是一个，它自己能够自动化去做的事情的，一个系统一个机器。
刘子鸣：这中间需要人去，把它的原理搞清楚，我觉得这个地方有一个gap，就是说之所以AI能够帮助我们，去做一些自然语言相关的事情，是因为我们已经有大量的，自然语言的语料，但是我们才创造AI几十年，我们其实并没有太多，关于AI的语料，这个地方可能稍微有点confusing，就是说怎么建模型，这些我们都是知道的，但是关于模型，我们训练一个模型，拿到它的训练曲线，这样的一个映射关系，目前还非常不清楚的。
访谈：所以也就是说
刘子鸣：所以也就是说，连这样的一个语言，我们现在都还没有，把它进行规模化，AIforX，它能成功的前提是，X得有大量的数据，但是AI for AI，根据我刚刚的逻辑，或者说AI for AIresearch，其实AIresearch，它其实没有大量的数据，至少没有大量的这种结构化，好的这种高质量的数据，而结构化这个事情本身，就需要PhysicsofAI，对这里可能稍微有点绕，而且我需要显示的去说明，我的这个想法是挺非主流的，就是用AI复AI，绝大多数人都想的是，我直接用AI去提升AI就好了，但我说stop，就中间其实还有一步，我们是先要做PhysicsofAI，这个东西能够帮助我们去设计AI，但是人做PhysicsofAI太慢了，古法科研，做PhysicsofAI太慢了，所以我需要用AI来帮助我们，做PhysicsofAI，所以我的AI for AI的全称应该是，AIforPhysicsofAI for AI，有了AI的物理学，它能帮助我AI。 [01:11:01]
张小珺：这其实就是我一开始问你的，就是连接主义的过程中，需要符号主义吗，因为你说你是连接主义，和符号主义中间，是的，因为物理学相对来说，是更符号主义的，那如果AI能够自精化的话，它需要中间有一个符号主义，或者是，短期是需要的，就是这个短期，我指的可能是100年以内，那更长期或许不需要，我觉得这个地方，还是一个bitterlesson，更长期数据量大了，就不需要了，更长期就是当AIresearch。
刘子鸣：已经被结构化好了，已经有大量的，AIresearch的数据了，就不需要了，但是像刚刚说的，我们现在连这个AIresearch，怎么样最好的去结构化，都不知道，就更别谈说，这个数据量有多大了，所以在这种情况之下，我们需要很多的人的鲜艳，或者说这种symbolic的东西，去做约束，agent某种意义上，就是把这个连接主义，又往符号主义，往回拉了一点，就harnesswithharness，就是说你不能太自由了，我要给你一些约束，某种意义上，我觉得codingagent，它其实是在说明，这个符号主义，把连接主义，又往符号主义回拉了，这样一点，但是我们做的，这个autorization这个事情，我们是希望，比较第一性的，从偏符号主义，为什么我要讲偏符号主义，或者我之前自己也捏造过一个词，叫做结构主义，就是我会认为，看它就是一种结构主义，就是我为什么不讲符号主义，是因为太多符号主义的hater，就我一讲我们是符号主义，大家就说没意思没意思，老古董，但是这个事情，我觉得符号主义跟连接主义，其实在历史上，也是不断地在摇摆的，我们需要跳出，明思机，对对对，这一波AI是连接主义，非常的厉害，那或许下一波，我们又应该是往符号主义又回摆一点，其实像我刚刚说的agent。 [01:12:46]
张小珺：已经是代表了这样一种趋势，anthropic做的模型的可解释性，他们现在能做到什么程度，anthropic就是比较极端的，比较激进的，就是说我能理解，单个neuron它在干嘛，可能这个单个neuron。
刘子鸣：它是一个，比如说说脏话的neuron，那我把这个neuron给它shutoff，那它就不会说脏话了，但像我刚刚说的这种例子，其实非常的不稳健，就可能你在一个例子上面，找到了有这样的一个neural，你可能换一个随机数种子，它在那个网络上面，可能就没有这样的一个行为，Ampharpic他们做的一系列工作，包括SparseAutoencoder，包括Transcoder，其实都是基于这样的想法，就是说我能够，把模型内部的那些混合的表征，Superposition的一些表征，给它升到一个高维，但是很Sparse的东西，这样的话，它能够把里面的一些原子的一些概念，给它抽取出来，但是这个我个人觉得，是有一些wishfulthinking在里面的，我仍然很尊重他们，因为我二年底二三年初，我们做技术科解释性，其实也是同样的approach，所以我们知道这个东西，你们有什么样的一些水分吧，包括他们科解释性team的，像SamuelMarks，WesGarnier，然后以及我之前，那个MIT带的一个本科生，最后都去Anthropic了，也是最早从我们组做出来的，就比如WesGarnier，去Anthropic做的那个，怎么做加法，Cloud怎么做加法的，那个任务其实也是我们组的一个paper，后面的一个衍生，对所以当我脱下长衫之后，我会觉得这些东西就都是很有趣的故事，但是what'sbeyondthat，这个其实我也一直在思考，但是最近我其实又开始在重新在思考，机制科解释性这个事情，我觉得还是因为到了一个新的，这个AI for AI的这样的一个框架下，我突然又觉得机制科解释性，没有那么缥缈了，我觉得这个跟我之前的，对于AI的物理学的判断是类似的，就是机制可解释性，其实有一点像biologyofAI，就是AI的生物学，就是我之前也会觉得，生物学我们发展了挺久的，医学我们发展了这么久，那AI的生物学，机制可解释性，也是需要发展几百年的呀，again就是回到了，AI for AI的这个框架下来，我觉得之所以需要几百年，需要几千年，是因为我们没有办法自动化，那一旦我们能自动化了，这个进展其实是可以是很快的，就是最近看到那个汤杰老师说，要质朴要投万亿级别的资源，到机制科解释性上，就如果半年前的我看到，我会觉得这是在干嘛，对但是现在，就是放到了这个AI的框架下，我觉得机制科解释性，它确实是一个好的目标，但之所以之前我觉得不promising，是因为它实在是太难了，那这个跟AI的物理学是一样的，就它是一个好的目标，但是因为它太难了，所以之前会觉得会很frustrated，但是现在有了这个AutoResearch，就是至少我们在build吧，就是现在还没有，但是有了这个AutoResearch系统之后，我觉得这些之前看起来非常，莫名其妙非常遥远的，这样的一些北极星的东西，其实是有可能能在三到五年之内达到的。 [01:15:54]
张小珺：你觉得AutoResearch或者说AF或AID，一个关键的节点会是什么呀，它的一个标志性的路标可能会是什么，我觉得是提出一个，在一个垂直的领域，它都不需要很通用，就是在一个垂直的领域。 [01:16:08]
刘子鸣：能够提出一个新的架构出来，不仅能够碾压，现在已经有的架构，而且能得到人的这个endorsement，就大家都说，它这个架构很精妙，但或许也不需要，好用就行了，对，甚至不需要你看见，对是的，我还在想凯明，就是凯明的ResNet，大家为什么会用，有人说是很优美，但是我们不要忘了，当时凯明在ImageNet上面，是比第二名高10%的，所以我就在想，你要么就是用拳头把敌人打赢，你如果没有办法，用拳头把别人打赢，你这个时候就是需要一些口舌，去说服别人，以理复人，这个AFOAI的系统。
张小珺：它能在一个垂直的领域，提出一个新的架构出来，然后这个新的架构，能够去刷榜，而且这个刷榜，不是说我就涨1%的点，而是我能涨到10%的点，那这个AutoResearch，或者AFOAI，它是HR路线图上的一个，什么样的坐标，它是必经典吗，我觉得这里所有的词汇，都有一点模糊，我觉得是necessary的，但是还不是充分的，我会觉得还缺一个东西，就是我们刚刚，其实一直在聊的。 [01:17:16]
刘子鸣：就是对数据去做抽象，因为我觉得，为什么抽象很重要，因为人是有，持续学习能力的，然后人有持续学习的能力，是因为人会做抽象，但是现在的AI，仍然不会做抽象，如果说它能做抽象，最多是因为我们的数据，本身已经被抽象好了，比如说像自然语言，所以我会觉得，就是要达到真正的通用人工智能，除了AI for AI，还需要有一个做抽象的能力，然后做抽象的能力，是做持续学习的能力的，一个必要的能力，就取决于这个，我们对AI for AI的定义是说，它需不需要具有持续学习能力，就因为听起来，你这个AI的字叠带了，它左脚踩右脚，它就上天了，就是说我说需要持续学习能力，可能是我对AI for AI的定义，可能更务实一点，就是说它能够在一个垂直的领域，它能提出一个好的架构出来，为了达到这个目标。 [01:18:09]
张小珺：其实不需要解决持续学习的能力，但是要解决通用人工智能，它是一定要解决持续学习的能力的，现在有一种说法也是说，就是大模型的第一幕是Chatbot，第二幕是CodingAgent，第三幕就是AI for AI，所以说其实AI for AI，可能也是就是在这些模型公司的，这些延长线上的，你觉得做一个MuleLab，和这些模型公司竞争，来看的话竞争优势是什么呢。
刘子鸣：我觉得就是betterdifferentthing，就是因为我的思路，是从Physics of AI来的，然后这个思路，其实在学术界，其实也是非常先进的，就是相对来说，比较早期的一个东西，但是我比就是学术界的那些人，就更加激进，就是我是相信，AI是可以加速，这个Physics of AI的这个事情的，从模型厂的角度来说，是一个过于risky的一个路线，但这恰恰是我们的机会，就是说因为我相信这条路线，而且我们其实有很多小天才，在我们的这个族里，和在公司里面，我能把这些问题去做一些拆解，然后拆解完了之后，是这些就是小天才能够很好的，去把它们给进行完成，我们是有自己的一个，非常快速的一个迭代的一个东西，我们在迭代，但是我们的这个东西，可能一直到做出我们的GPT-3，之前可能大厂都觉得我们是在胡闹，对，所以我觉得某种意义上，是一种基于不同的信仰吧，我们相信这个事情，我们就会让它发生，大厂绝大多数人，不相信这个事情，那就不会往这个方向投入资源，PhysicsofAI是，AI for AI的手段是吗，可以这么说，就是我的AI for AI，它就是一种，AutomatedPhysicsofAI，就是自动化去做PhysicsofAI，就是我的这个AI for AI，这个PhysicsofAI的Physics，到底要理解到哪一层，我们是不是真的要写出牛顿引率。 [01:19:59]
访谈：就是牛顿公式
刘子鸣：就是牛顿公式，我觉得是不一定的，而且这个很可能，也是需要几百年的时间，投资人问你最多的问题会是什么呢，在你跟大家讲你的这个技术路线的时候，其实你也都问到了，就是说这个原模型要花多少算力，投资人可能也关心的是，这个东西怎么样，去最后去做商业化，我觉得也是说，在跟投资人交流的过程中，我们逐渐地清晰了这个产品，它最后是什么样子的，对因为原模型，不管是原模型，还是PhysicsofAir，说了半天，其实都是技术，那最后这个技术，是一个什么产品，背后的技术，我们最后要做的一个产品，它是一个TrainingAutopilot，如果说短期一点，它会是一个TrainingCopilot，这个是什么意思呢，就是说我们现在，并不是所有人，都掌握着训练的能力的，但是未来所有人，都可以去训练，他自己的私有模型，这个私有模型，也不一定是LM，但或许是LM，微调过去的，这个用户他就只需要，和我们的这个系统说，我的需求是什么样子的，然后我们的这个系统，它就能够端到端的，去给你设计模型，训练模型，部署模型，然后交付给你，你就可以直接去用这个模型，然后很重要的是，这个用户说，我这里就100块钱，我这里就100块钱，你要在这个经费允许的情况下，尽可能的去deliver一个好的模型，最终这样的一个系统，它要是能够做这样的一个，端到端的事情，那这个其实和现在的，像ClaudeCode，FibreCoding，其实很像，但只不过现在是说，这个对象是程序员，就是我要去做一个，什么样的任务，你给我code出来，但是未来的话，它会是一个，更加闭环的一个东西，我都不需要告诉你，这个技术路线怎么去做，我不告诉你，你要用Transformer，我不告诉你，你要怎么去训练，我只告诉你我的需求，然后我就能够端到端的，去给你去设计训练。 [01:21:51]
张小珺：部署这个模型，其实也有投资人会问，大家为什么要训练，自己的模型，对我在想，Cursor和ClaudeCode，是让不会写程序的人，也能写程序了，对，那你这个是，让不会做AIResearch的人，也开始做AIResearch了，对吧，对就是不会，自己虚模型的人，也会自己虚模型，当然我觉得你这个，是一个很大胆的想法，因为你这意味着，模型未来，我不知道多少年，以后的未来，它不只掌握在，几个巨头手里，是的，巨大的模型，对吧，每个人人人都可以，用你们的系统，就能训练，是的人人都可以训模型，然后呢哦那干什么，对那这个地方的点就是说，现在大家不会训自己的这个模型。 [01:22:31]
刘子鸣：是因为它的门槛还太高了，那之后有了这个能力之后，我们把这个性价比弄得足够高之后，其实大家都会有这个需求，就比如说我买了一个机械狗，让它来陪伴我，那可能我就是需要，把我的一些数据，把我的一些语音的数据，把我的一些跟它对话的数据，给存下来，帮着去训练，不管是微调还是怎么样，去训练这个机械狗，让这个机械狗能够，能够让我更开心，比如说他不是只天天在那里，汪汪汪地叫，他还能说些话来安慰我，那这样的一个事情，现在不会有人说，我为了做这样的一个东西，我要去自己去学，怎么去训练东西，当然了现在可能会有一些，创业公司可能会做类似的想法，对但是未来，我们想的就是说，有了这个系统，我们不是自己做一家OpenAI，它是能够孵化各行各业，各个垂直领域的OpenAI，当我说垂直领域的时候，我已经是谈论的，比languagemodel，更高一个层级了，就是说我们的这个原模型，当然它也不一定是原模型吧，就是说最终的这个中级的系统，它能够去设计出，各个垂直领域的，这种transformer，就是可以这么讲，就如同是LM，它统一了NLP，自然语言处理里面的，各种任务一样，那我们现在造不同的模型，还是不同的任务，造世界模型的人，造世界模型，造LM的人，造LM，造一个EtherScience模型的人，造EtherScience的模型，但是这些领域，现在大体上还是不互通的，对，但是未来会有这样的一个God，就是VibeTraining的一个东西，就现在还是VibeCoding，未来会是VibeTraining，未来会是VibeTraining，就是你把你的需求说清楚，它就能够给你端到端的去，设计训练部署这个模型，对那有了这个能力之后，好吧我实话实说，我也没有想太清楚，就是有了这样的一个，就是每个用户，训自己的模型，能有什么样的需求，但是很多时候是这样，就是当你技术，便宜到一定程度的时候，有些需求它自然会涌下。 [01:24:32]
张小珺：只不过我们现在，还没有到这个时间点，好像很难去想象这个事情，这个是电脑从，对啊，就是怎么会有household，会想要在家里面，放一台巨大的电脑呢，到了一个每个人，人手可用的笔记本，对啊对啊，这个倒是一个，挺有意思的方向，当模型人人可用的时候，我们用它来干啥，对不仅人人可用，人人可训，当然我们需不需要人人可训，现在是一个大问号，是，就是说这个时候，可训也不是说，你是做一个researcher去训他，而是说你就是做一个用户，你给他提需求，他能够端到端的去给你，返回一个你想要的模型，当然你可能不需要一个AI模型，模型能类比成脑子，我需不需要那么多，聪明的脑子在我身边。 [01:25:14]
刘子鸣：或提供情绪价值，提供情绪价值，或提供智慧，我觉得是这样的，我觉得是这个聪明的脑子，它能produce一些东西，它能够生产出一些东西，这些东西能给你提供情绪价值，而不是聪明的脑子，本身会提供情绪价值。
张小珺：事实上聪明的脑子，很多时候会让你很恼火，我觉得，所以你对未来模型的生态，有什么样的构想，你觉得模型会是，垄断于巨头手中，或者是会模型吞噬一切，你觉得有的应用公司的生态位，会从一个垄断的局面，慢慢地变到人手可用吗，你对模型的未来的一切，有什么样的想法，终极的目标。
刘子鸣：如果我们能deliver，那个vibetrainingautopilot，那就相当于是平权了，就所有人都能够，去训自己的模型，但是这个地方的问题是，还是需要钱。 [01:26:05]
张小珺：你现在训一个大约模型，都这么的贵，你要人人可训，我觉得这个地方，也是当Physics of AI，理清了之后，其实训练的成本，也是会下来，就是因为我们现在，不是最优的一个recipe，很有可能还有很大的优化空间吧，我们也很希望为我们的听众，能够提供一些，就是行业新鲜的动态，就比如说除了你在做AFAR，我们刚才也提到田玲冬老师，她的Recursive，她的那家创业公司，也在做AFAR，国内还有一些其他团队，在做AFAR，能不能很像给大家，做一个梳理，就是大家各自路线是什么，好呀好呀。
刘子鸣：其实AFAR这个在国内，还是一个相对来说，比较新鲜的概念，就我觉得还挺有意思的，就我从五月份开始去融资，融了几天发现，recursive就announce了，然后国内就开始活起来了。
张小珺：目前来说，其实还没有那么主流，当然孙天祥是很早，他们就开始在做了，然后最近去百度做，然后最近去百度做大模型了，对对对。 [01:27:10]
刘子鸣：孙天祥是一个特别，符合你们工作室名字的，这样的一个想法，就他之前的一个采访，说的是language，基本上就是整个世界，所有的东西都能够被language描述，这是他的一个belief，他们之前做的像FIRST那个系统，就也是自动生产paper的一个系统，就是一个paperagent，我们AI院还有另一位老师叫陈永超，他最近也是在做这个AI for AI，他的路线呢，就也是更偏这个早期的路线吧，至少现在的路线，更像是这个paperagent，能让AI自己去写些，AIresearch的一些文章，RSI那边，这个我们其实也无从得知吧，但是从他们的这个博客，你们能够窥到一些技术路线，我们大概猜测，他们会强调这个AutoResearch系统，需要维持一个比较好的memory，就比如说我昨天做了五次实验，我都是在调这个学习率，然后五次实验我全部失败了，那么我今天就会记住，我昨天做过这些实验，那我今天就不会接着去调学习率，但是again就是说，那维持一个好的memory系统，但是你不理解它背后，为什么学习率会失败，你之前的经验也不一定是对的，就是可能你之前学习率失败，是因为A原因，但可能我第二天做实验的时候，我这个时候其实是B原因，所以这个时候调学习率，可能反而是对的，对所以这个地方，还是存在一个，到底我只是一个经验驱动，还是一个这个机制驱动的，当然我看他们的官网上，然后以及因为田元栋老师也在里面，所以我相信他们也是会在，ScienceofAI上去有一定投入的，但是目前来说还不是特别清楚。 [01:28:41]
张小珺：他们的ScienceofAI的路线，到底是什么样子的，说到研究啊，就是研究中所谓的，顿悟时刻，或者研究的直觉，这个怎么迅进模型，首先模型，它得拿到这个数据，你告诉它你的思维链，这就让它拿到，这个数据的过程吗，是的，就是我们要强行地，强迫自己把思维链写下来，每一个顿悟时刻，都是有思维链的吗，一定是有的，如果没有的话，就是你问自己，问得不够深。 [01:29:10]
刘子鸣：因为我自己的经验，是这样的，就是我一开始，也挺相信研究品味，研究直觉这回事，我其实现在对这个事情，有点屈昧了，就我觉得，研究品味研究直觉，其实是一个遮羞布，就是说因为我们，聪明到可以提出一个想法，但没有聪明到，可以去用语言说出来，我是怎么提出这个想法的，所以我们把动物这个事情，给它说成是，所谓的品味，所谓的直觉，所谓的灵光一线，还有句话叫，善战者无呵呵之功，就是说最牛逼的人，他提想法对他来说，就跟呼吸一样简单，他能够把别人觉得，哇这个太神奇了，他是怎么想到的，他能把这些事情系统，变成他的系统，而那些不是最顶级的人，他们也能提出一些很好的想法，但是他们可能并不知道，自己是怎么提出这个想法的。
访谈：我其实一直在有意的训练自己
刘子鸣：我其实一直在有意的训练自己，就是我不仅是要提出好的想法，我还要去追问，我是怎么提出好的想法的，然后在这个过程中，其实是尝试把我的想法语言化，其实这个事情对我来说非常难，因为我不是一个，通过自然语言沟通，特别顺畅的一个人，我的思维模式可能更偏，就是Max Tegmark，就是我博士的老板，就我们都是非常偏视觉的，偏视觉，偏视觉的意思就是说，我们会在脑子里面会有一个图像，我会特别想把它画出来，但是我美术又不行，所以这个就很尴尬，对，所以有的时候我只能够通过，我真的把这个东西做出来，把这个东西展现在你的眼前，这个是我沟通的方式，所以我是觉得思维链这个东西，一定是能或多或少的被说出来，当然还有一条路径，当我们的脑科学发展的足够完善了，以及我们没有一些道德的问题，就比如说我们去检测一个人的脑电波，我们可以用一些轻入式的方式，去检测他的脑电波，或者我们有些更高级的方法，不用轻入式，我们也能够检测到，比较清晰的脑电波信号，到了那个时间点，我不需要用语言，我直接去测这个人脑电波就行了，但是这个时候，我需要这个人的脑电波，但是因为现在，我没有办法获取这个人脑电波，我们只能够去拷问这个人，或者拷问我们自己，我刚刚到底是怎么想出这个想法的，你如果说不出来，说明你还没有拷问的太深，你只要拷问的足够深，你总能说出点什么，但它不一定完全可以取代，就是脑电波的价值，但是至少它能说出点什么。 [01:31:33]
张小珺：你刚才说你当时，做博后的那个实验室，他们当时创业的时候，投资人们跟他们说，你们三年不用盈利，国内投资人跟你说，那是完全不可能的，国内投资人恨不得你，现在当天就能盈利，能吗，能吗你们，当天还是不行，为什么说能有产品，什么时候能创业模式，你们这个roadmap，是什么样的，我们这个六个月之内，还是侧重R&D，就是去做一些demo，然后以及就是说。
刘子鸣：做一些产品的出行，六个月之后，根据我们这六个月的，一些成果，去决定这个之后，到底要怎么去做，肯定是在一年这个时间节点，肯定是会开始去，产品化跟商业化的，但是比如6到12个月，这个我觉得，6到12个月的这个，researchanddevelopment，这个对于一个newlab来说，是非常重要的，不能过早地去投入到一个，其实不是那么好的一个方向，只是为了短期能够去调查，短期能够去做商业化，需要6到12个月的探索，去找到一个更好的方向，newlab的本质，你觉得应该是lab还是公司，它之所以我们起了一个，新的名字给他，就是因为他既不是Lab，也不是公司，他就是应该像我说的，你6到12个月。 [01:32:40]
张小珺：去按照一个Lab的形式，按照一个ResearchInstitute的方式，去运转，一旦Grok了，一旦顿悟了，这个事情就应该，按照公司的方式去运转，就是前OpenAI时代，和后OpenAI时代的感受，是的，那会不会给他做Lab的时间，不够长，OpenAI毕竟慢慢做了很多年，你觉得现在这个生态，或者机制，有那么长时间的探测期吗，还有这个包容度吗，还有你们的现金流够吗。 [01:33:04]
刘子鸣：现金流肯定是，我们会也是持续会募资的，我个人是觉得，就是现在的路线，已经相对来说比较清晰了，6到12个月，我觉得是能够画上一个逗号，然后开始去做产品，如果说你一年前，问我这个事情，我可能觉得，我们需要做，3到5年的researchanddevelopment，我觉得也是我在不断地思考，我自己意识到，这个原模型的可行性，之后，我说我要快速地。
张小珺：推进这个事情了，那像之前我确实也是挺犹豫的吧，就是因为我没有找到一条清晰的路线，对当然这条清晰的路线，在做的过程中，实际上也是会不断地进行调整，你们这个路线也可以描述成原模型，也可以描述成，AFYAutoResearch，可以描述成PhysicsofAI，你觉得哪个词是最精准的，如果只选一个，我觉得AutoResearch是最接近的，但是我觉得我们得创造一个新的词汇。
刘子鸣：专门给我们这个路线起个名字，但是我们sofar，还没有太思考这方面的问题，我觉得未来是需要，就比如像AI的物理学，这个东西，就是我们自己起的名字，因为现在所有newlabs。 [01:34:10]
张小珺：都是他说他形容，他在做一个什么事情，那创业者和投资人脑子里，就不是一个事，不是一个事，对不是一个事，就之所以用这些clicianword，是因为投资人他要得听懂，对你看你们也被投资人，描述AIforscience，他跟你心目中的构思，也是不同的，但是你现在心目中构思，其实也没有找到一个，最准确的词来描述它，所以也在套一些词汇，是的，从投资人的视角，我的理解是。
刘子鸣：他们投的方向，其实也蛮广的，在他们接触到的广度里面，AIforscience，AI for AI，Autoresearch，其实都算一堆，然后机械模型，世界模型都算一堆，你觉得今天处于一个。
张小珺：AI发展的一个什么样的时期，他收敛清晰了吗已经，我觉得对于大语言模型，他收敛已经比较清晰了，但是新的机会是来自于，其实我们一开始也聊到，就是关于世界模型。 [01:35:03]
刘子鸣：然后关于AutoResearch，这两条赛道，我认为还处于相当早期，但原模型可能辐射不到，辐射不到，但辐射不到的原因，我觉得我也不是说，transformer的hater，我觉得更多的还是说，modemodel那边，其实我觉得更像是说，要找到一个更全新的架构，它能够更好的去抽象，和找到这个物理世界，真正的latentspace，AutoResearch这边，我觉得更多的还是说，大语言模型没见过这种数据，所以第一步是首先要去结构化，然后第二步是，收集这种结构化的，research的数据，这个是最重要的，有了这些数据，其实大模型也能吃，其实它做的，其实可能也不赖，当然了，这个圆模型的这个路径，它是一种关于模型的模型，大模型也是因为，没有见过关于模型的这种数据，没有见过太多，关于模型的这种结构化数据，所以大模型也做不好，你这创业几个月，有什么感受，节奏非常快，多快，基本上就是除了睡觉，都是在工作吧，对但是我觉得也是一种，挺新的体验吧，一方面是，你有了更多的资源，你认识了更多的人，你好像就是突然接触到了，一个更大的世界，但另一方面，技术上的事情，研究上的事情，还是得踏踏实实地去做，是一个不小的一个挑战吧，因为之前的话，就是说踏踏实实地做研究，但是现在的话，不仅是做当下的研究，你还要和很多的人去做交流，而且你还要去想，不仅去想当下的事情，你还要去想几年之后的事情，根据几年之后的目标去倒推。 [01:36:32]
张小珺：那我们这个路径到底该怎么去走，所以这个我觉得，这个有一点outofmydistribution的东西，也是我在学习的事情，如果只能选一个做professor，和做写家entrepreneur，你会选哪个，我都要，就是我现在都是我都要的状态，如果非要选一个，我觉得这个再看吧，看做做看，做做看，对，今天这个创业的时代，好像跟以前，变得特别的不一样，因为很多都是学术背景，或者是，像你是有了教职以后，也创业，也有的是学生开始创业，就是好多都是，research背景的人在创业，对我觉得还是取决于，做的事情，它是一个。 [01:37:14]
刘子鸣：是否需要早期，去研究驱动的，就像AutoResearch，跟worldmodel，我觉得至少需要，六到十二个月，研究驱动的时间，那这个时间，是不能够被跳过的，那至于比如说，六到十二个月之后，当我把我脑子里的，这个东西给它，dump出来，比如说dump成一个雏形，它摆在我的眼前，然后之后，比如说再引入一些，有这个产品经验，有这个商业化经验的，一些联创进来，帮助去把这个东西的。
张小珺：影响力打出来，而不仅仅是一个，小而美的一个东西，但是我觉得还是需要，就是说6到12个月的时间，是首先把这个原型打出来，所以理想状态是，6到12个月，这个研究探索的成果，及某个产品，是的，是的，对，那我最后几个快问快答，全球范围内，一个你喜欢的食物，反正我不管，在哪里去读书，还是旅游，我都是会想吃，这个热干面的，一个全球范围内，你喜欢的地点。 [01:38:06]
刘子鸣：只要有江河的地方，我都挺喜欢的，包括武汉，包括上海这边，就是在这个，黄浦江边上，在MIT，就是在，沃斯顿那边，就是查尔斯河，我喜欢没事，就去河边走走，一本影响过，改变你人生的书，人类简史吧，就是我其实，就一直都比较nerd，就是不是很懂，这些socialscience的事情，然后我有的时候会觉得，这个事情明明不合理，但是为什么，大家都相信这个事情。
张小珺：然后读了《人类简史》之后，就知道，我们的这个社会，其实就是故事驱动的，所以叙事非常重要，不仅仅是技术重要，这个背后的叙事，也是非常重要的，在你心目中影响，AI进程的几篇论文，这个太常规的就不说。
刘子鸣：就比如像SkeletonLaw，这些文章，我觉得对我个人，影响来说最大的就是，干这篇文章吧，因为它相当于是为我打开了这个AI设计的大门，基于你当下的认知。
访谈：一个关键的重要的BAT是什么
刘子鸣：一个关键的重要的BAT是什么，可能就是我们刚刚一直讲的，就是AIforcoding，下一个会是AIforresearch，但是是需要用Physics of AI的方式去做。 [01:39:06]
张小珺：好了，今天的节目就是这样，这里是商业访谈录，是一档由语言及世界工作室出品的深度访谈节目，你可以到公众号关注我们的工作室，获取更多的信息，我们的公众号是语言及世界，Languageisworld，也欢迎你在小宇宙的评论区，与我们有更多的互动，我们希望和你一起，从这里探索新的世界，bybwd6。 [01:40:23]