从蒸馏到合成数据到 RSI，模型竞争的下一个焦点是什么？｜对谈 Evolvent AI 联创孟繁青

目录

• 从大厂后训练到创业：合成数据与 Agent Benchmark [00:00:00 - 00:10:00]
• 国内模型的追赶路径与预训练、后训练差异 [00:10:00 - 00:20:00]
• 模型竞争的核心变量与 RSI 自进化 [00:20:00 - 00:30:00]
• 从 Auto Research 到合成数据的新范式 [00:30:00 - 00:40:00]
• 数据产业演进：专家数据、合成数据与 RSI 数据 [00:40:00 - 00:50:00]
• AI Lab 的未来、组织形态与 Evolvent AI 规划 [00:50:00 - 00:59:48]

从大厂后训练到创业：合成数据与 Agent Benchmark

曲凯：我们最近聊了很多跟模型算法相关的人，因为这块也非常热嘛，所以今天很开心请到Evolvent AI 的联合创始人孟繁青，可以给大家先简单介绍一下吗？ [00:00:00]

孟繁青：OK 非常感谢曲老师的邀请。我是孟繁青，我是NUS博士生，同时我也是Evolvent AI 这边的联合创始人，然后我主要在我们这边是 聚焦于RSI这个research的方向，我之前是在Kimi 有过一个比较长时间的实际经历，然后当时的话，主要去做Agent 的，还有Io这块，然后主要是偏infra的方向，然后在Kimi的话，主要的一些工作就包括，像Kimi Linear 以及K2.5这样的一些，主要模型的发版，那么从Kimi之后，我是跟一些朋友去，我们就合伙创业，就是Evolvent AI这公司，对于这公司

曲凯：我们目前的一个大的scope 就是说我们主要是 聚焦于RSI这条线上。我觉得你的背景，其实是很典型的，今天的一批，特别热的创始人，和大家喜欢的画像，就是非常年轻，然后PhD毕业，甚至还没有毕业，就开始创业，而且是做的跟，因为你之前在Kimi 做的也算后训练 我觉得这批人现在出来创业的非常多，所以你最近一年的，你创业算半年，对 [00:01:09]

孟繁青：差不多半年左右。你实际的感受怎么样，我会觉得其实在大厂，跟在创业公司做事情会比较有不同，比方说一个很典型的点，就是我在Kimi 其实主要是去虚拟技术模型，但是事实上可能我到后期，我会觉得说，虚拟技术模型这件事，其实在大厂内部，它是一个相对比较工程化的事，那么可能我主要的工作，也会去做一些核心数据，相当于因为其实整个一个训练，包括推理流程，已经在内部很稳定了，那么我们可能来到，这种创业公司以后，我们肯定是就不去用机模了，然后我们就需要找到一些，与这些模型厂，更正交的一些切入点，以及就是相当于，我们需要去丛林搭建一些，像平台类的这种，方便内部使用的一些infra 这个是一个比较大的不同，就是说我们可能并不是，聚焦于推进模型治理。而说我们是去做，跟模型治理正交的，但是可能是，直接应用跟有用的东西，我发现做后训练的人，现在创业的是比较多的 预训练的好像很少，对这个其实很好理解，因为其实，做预训练的帮人，他们可能每天，基本上打交道的，要么就是data本身，其实这块也比较少，因为预训练 data 现在已经相对比较饱和，他们其实可能，每天打交道的，大多数一些模型架构，包括是优化器这样的事，那么其实搞这种东西的话，它是相当持资源的一件事，所以出来创业的话，创业公司也比较难cover这一块成本 [00:02:28]

曲凯：它做的一切事情是在卡的，技术是这样的，对 后训练的人出来创业，你觉得他是比较擅长和适合的是做什么，从目前来看，整个后训练 它基本上是跟一方面就是合成数据 [00:03:06]

孟繁青：合成数据是后训练很重要的一块。它相比于训练，合成数据，我们对它要求是希望它更精细，就prompt数量不会像预计链那么大，所以这一块，那么还有一块其实就是做平台类的，平台类可能听起来稍微比较抽象，其实我给它说白话就是做benchmark 这个benchmark发展到现在，它已经不是说像我们可能 2040、2025年看到的那种，有很多的难题让模型去回答，而说这个benchmark呢，它本身就是比方说，像长程 benchmark这种，那么模型可能就是需要在，它提供的这个环境里，做非常长时间的一个探索，去完成这样一个任务，那么现在Azure的办企，很多都变成了这种，那么这种呢，它其实相比于，我们刚刚说的 Deep Research 那边的一个研究模式，它就更加更偏落地一点，因为其实就是，当我们这个办企做出来以后。一般一个足够优秀的，对于Azure的办企，它是说一个工程上，实现就会比较好的，相对而言，它转成一个可以落地的商业模式，也会更简单，所以我觉得这就是，为啥prompt这帮人，他们大多数搞Agent 还有搞benchmark 它本身就是离这种落地更近的，所以他们创业也会更多 [00:04:15]

曲凯：我觉得你说 benchmark的白话还不够白，所以到底今天的benchmark 你的跟之前的区别是什么，之前的benchmark 我们可以理解为，类比的话就是做数学题，我有一个很难题

孟繁青：然后我让模型直接回答。相当于它就是一个考生，但是这个考生，它并没有它在日常生活中的一个环境，举个例子，比方说就白领，其实我们在日常工作中，我需要完成事，我不仅仅是靠我的大脑，之前benchmark大多数是指测模型的大脑，我还需要去动手，去操纵像飞书，像Notion 各种各样的软件，那么其实现在benchmark 就相当于把这一块给它模拟出来了，比方说是白领的话，我们会建一个，就是模拟白领这种工作软件的这样一个整体的环境，然后让Agent在里边去完成某些任务，那么这样的话，他就是不仅仅说

曲凯：我需要有做数学题那种强大推理能力。我还需要有我去跟这些工具进行交互的一个动手能力，最后才能把这件事给做出来，但你看之前的那个就是做题这件事情，包括coding 这件事情，它的可验证性，其实我理解是更强更简单的，对吧，就是你最后对一下结果，对就是对不对不对，那你说我建一个环境，最终怎么评判这个结果的好坏 [00:05:30]

孟繁青：这块其实就会相对于原来更复杂一点。因为其实原先的话，比方说我们出题，那首先我需要保证这个题是对的，现在的话其实也是类似的，就是当我们造了一个这种环境以后，我们需要确保就是我们造这个环境，跟这个真实的环境是有烂的，一个比较简单的例子就是说，这个环境里我们造了一个notion 当然真实也有一个真实的notion 那么当同一个输入下，这两个输出是不是一样的，如果一样的话，就可以证明我们造这个环境是对的，那么还有一块就是，我们出的题，以及对于这个题配套的一个检查，就是现在来说的话，一般这个检查就不会像，之前数学题那样那么简单，就是说可能就是一个判断，是不是相等，那么现在检查，它大多数都会分非常多的一个维度，我们可以看到，就是现在的很多benchmark 像我们之前搞的BrowserGym 或者是目前可能大家都在测的一些像 automation benchmark这种，它的检查都是分为非常多的那种小的得分点，那么这些小的得分点 [00:06:48]

曲凯：目前是它还是比较去依赖于一个人的精细的设计。所以最后还是需要人来做检查，对吧，其实也是人跟Agent一起去check了，明白，我最近听了一个说法，有人会讲说后训练的人，其实每天主要就是在做数据，确实，因为就是像我刚刚说的，其实目前模型厂，它对于整个training 这块生态是很完备的 [00:07:02]

孟繁青：它就不像可能。比方说这些大厂之外人，他如果他想去训练SFT 一个模型，那他可能说，我要去GitHub 上拉一个仓库，然后我要找到一些GPU，我要配一个环境，然后把我的数据整理好，然后去训一个模型，就是模型厂内部的话，他就是如果我一个程序员，我想去SFT模型，我根本不需要这么复杂，因为相当于他把这一套生态，给他做成了一个服务，这个服务的话就是说，形式上就是我仅仅去提交一个请求，然后这个服务就会去处理我的请求，在远程去SFT 然后我这边最后就拿了结果，相当于对我来说，就算我是一个什么也不会，我根本不知道SFT是什么的人，我要做的就是把这个数据做好，然后我就可以直接走完这一套完整流程

曲凯：对所以会有人讲说，那后训练是不是，其实相对是比较枯燥无聊的工作，就是认真的把数据做好，以及说那是不是，现在所谓的这个训模型这件事，其实门槛没有大家想那么高 [00:08:18]

孟繁青：其实对于后者我是认可的。就是训模型这件事的门槛，确实是有很大程度降低的，当然这个是对大部分resource来说，因为比方说你要搞infra的话，其实相当于你是去构建那个服务的人，这块还是有比较多的坑的，但如果说是大部分普通的算法resource 确实门槛是会降低的，但它到底是不是枯燥乏味呢，这件事反而还真不一定，因为其实所有东西按照它的一个发展的看，其实我们都会发现，不管是模型架构，它为什么最终到了transformer 还是说在RO的时候，为什么最终就过不出到了 DeepSeek当时提出的，基于可验证的 Rubase的那种RO的方式，其实就是他发现，这个事物的发展规律，一定是发展到越来越简单，越来越直接面向结果，最直接的这种形式，所以其实我觉得。后续面这块也是这样的，就是它也是发展到，我可能不去关心，具体算法上面设计的一些tricky 而是直接关注最本质的，就是给模型的数据这样一件事，所以这一块我觉得它发展是正常的，然后本身造数据的过程，其实也是比较难的，确实是不同的人，他就是能造出来数据是不一样的，并且的话，我们最近也有一些工作，我们去做了一个RSI benchmark 然后我们在这个benchmark里，我们也去讨论了，就是Agent 他到底能不能直接完成去造数据 [00:09:25]

国内模型的追赶路径与预训练、后训练差异

孟繁青：他到底能不能直接完成去造数据。然后迭代起来去模型这件事，就目前我们可以看出来，其实Agent它还是只能做一些，比较机械化的事，比方说我训练这一批数据，导致模型的回答的格式就错了，然后我后面发现Agent要修改，它可以完成这样一件事，但它是无法提出一些，造数据的所谓的insight的，我们可以发现，其实现在某一场的研究员，他在造数据上，他是有非常多的一些，他们自己的know-how的，这个其实也就是，目前的一个核心能力，所以也不能说，这件事本身是枯燥乏味的

曲凯：所以你看同样的人，他做出来的数据的结果不同，好坏大概体现在什么地方，有没有一个具体的例子，其实这块目前来看，它还是比较量化的，大概分为两个维度 [00:10:35]

孟繁青：因为目前的话。造数据这件事，一般也是针对给定的一些benchmark 那么其实最简单的一个量化标准，就是说我在这个benchmark上，到底能不能在没有任何作弊，或者说叫hacking的情况下，完成一个提点，就是在这个benchmark上的效果可以提高，对，这个就是最直接的一件事，然后当然，他可能也会有一些其他的考虑，比方说我这个模型，我在一些代码的benchmark 上

曲凯：我去合成数据，然后去训练他，他会不会在一些，比方说写作，这种偏文科上面的事情上，去有一些性能的降低，但你说的这个是结果上的评判，对，对我就说是什么造成了 [00:11:16]

孟繁青：不同的这个结果。主要就是他们和人说在数据的质量上，其实对于目前，当我们没有去训的时候，我们去评判数据的质量，其实它还是相对比较难的，我们其实评判它，我们只能用一些量化指标去评判它，比方说数据的一个正确性，因为我们数据一般是说，我们有一个问题，然后有一个模型轨迹，就会有一个答案，那么其实一方面就是说，我们看模型轨迹里，到底有没有出现类似作弊的这种情况，还有一方面是说，对于我们合成这份数据，它是不是一个难度是适中的，比方说如果太简单，数据肯定没有用

曲凯：那么太难的数据的话，肯定也学不到什么东西，所以我能不能换个角度理解，就是现在数据的质量，它仍然是一个比较难评判的事情，对比较难评判，就是你最后还是得训了，就是结果好就是好，不好就是不好，就再改 [00:12:10]

孟繁青：对其实很多对于数据质量检测，这种指标，它只能做一些像初晨，就这二八点看它到底能不能walk 还是得去训练，所以对于一个模型来讲，就是我们只说后训练部分

曲凯：它的infra的好坏跟数据的好坏。你觉得这个重要性占比大概是怎么样，目前来看是数据的好坏更重要，因为infra已经发展到一个比较稳定的程度 OK 所以我们刚才讲的很多，我觉得是相对比较介绍型的，所以我觉得我们可以讲到说，今天因为你正好也从Kimi出来不久，然后现在Kimi，MiniMax，智谱什么的，都竞争的还蛮激烈的，大家最近也都在陆续的发行模型，所以在你的视角看来，今天尤其是国内的这些模型，大概是发展到一个什么阶段，大家在拼的是什么东西，其实我觉得目前国内的模型

孟繁青：就是相比于国外的模型。差距也是一个在缩小的过程，比方说我们可以看到K2.5 在国内这种卡，可能只有国外十分之一的情况下，但是发展到了一个接近，就发布了这种，当然就是你具体，跟国外差多长时间，这块其实也比较难估计，因为其实像国外那些厂，它都会有自己一些存货，它可能没有发出来，但是从他们release出来看，结果是在接近的，那么我觉得这块，它主要是来自于，应该是主要是预训练这一块，就像我刚刚说的，国内的模型厂，它有的一个计算资源，是远远少于国外的，就是导致了他们需要用这些更少的资源，怎么去完成一个比较好的后续训练，那么这块它在国内，我感觉基本上可以分成两种，一种就是就像Kimi跟DeepSeek 它会有一些架构上底层的创新，比方说像Kimi Linear 它是一个线性注意力机制。然后像DeepSeek有那个Multi-head Latent Attention 也是一种注意力机制，就这种的话，它说白了就是相对于原始的那种attention 它更省计算量，像这样的话，它就可以用更少训练资源，达到一个更好的效果，同时它也不会太损失性能，以及推理速度，那么这个是一块，相当于国内这些模型厂，它在有限资源下，它去逼出了一些，底层这种pre-train level的一些，架构上的创新，然后拥有了一个，至少不会落后太多的 pre-train模型的一个水平，然后另一方面，就是在后训练上，其实国内的话，后训练我觉得可能相比于，国外后训练要稍微弱一些，当然这块弱并不是体现在一个基础实例上，而说就是国外这些像Cloud OpenAI这些厂，它在数据上积电就是天然比国内的可能要甚至早个半年，那么国内的话数据这块它会积电相对较少 [00:15:00]

曲凯：所以它可能目前绝大部分数据会来自于说去蒸馏。去补足一些这种数据上的短板，对，你说这个其实跟我本来预想的还蛮不一样的，就是按你讲的是，其实现在是预训练 国内更有特色，然后post-training反而是弱的是吧，跟海外比起，对我个人觉得是这样的，因为我会觉得说，大家会觉得预训练部分，海外的可能他算法的一些，人才密度会更高一点，他的卡肯定也远多于国内，然后post-training的反而是，更拼工程上的东西，理论来说是国内，更应该有优势的部分，但我觉得是这样，其实现在我们可以看出来，就是在模型的架构上，就不仅仅是国内，就是全球范围内

孟繁青：比较好的架构，也就是Kimi跟DeepSeek做的，那么其实国外，比方说像Member 根本没有什么人用，然后像Kimi跟DeepSeek 这个架构，确实他们至少

曲凯：已经在自己的公司去证明。它这个是具有scale能力，但像国外一些架构，像Member 它其实一直就没有证明，它有一个scale能力，明白，所以你觉得这个观点，是AI Lab内部，大家公认的一个点吗，还是你比较个人的一个看法，这块是不是公认我倒不清楚，但是我可能跟我一些朋友我们聊过，我们都还是比较反映这个观点的 OK 明白 [00:16:01]

孟繁青：这个蛮有意思的。对，而且我个人觉得可能从性认证来看，后训练它是一个比预训练，就像您说的，它是一件更工程的一件事，那么工程它基本上就是说，我的一个时间上的差距，可能会更难弥补一些，可能国外就是更早有数据积电，它确实就会做得更好，然后我们现在，因为数据积电这件事上，本身它是一个比较拼人力，或者是一个组织架构这样的事，它优化起来，相比于可能靠研究员那种

曲凯：大家的聪明才智。相对于更难的一件事，我觉得preshrining部分，有点像那种资源倒逼创新的感觉，对吧，就是海外，其实他可能就，本来也没这个动力去做这些事情，对，我觉得是有道理的，那你觉得今天，比如说K2.5出来，大家都能看到它的各种榜单评分，包括大家反馈都很好，然后在这个之前，其实是支普肯定是一路领先，你看起来后面，这些模型商会怎么变化，大家会是一个交替领先的，一个情况还是怎么样，基本上来说，肯定是我某一家，发一个大的版本的模型，那么大的版本模型

孟繁青：至少是在开源社区里面，是top1或者top2的，然后当然它可能几个月以后，我另一家模型，发一个大的版本的模型，它就会超越掉，应该是一个这样的局面 [00:17:36]

曲凯：对所以就不太存在说某一家能够。因为什么独特的原因就一路领先，对吧，就因为这个我包括你刚才讲的，你看就虽然Kimi跟DeepSeek 它有自己的一个 预训练的可能一个新的架构之类的，但是可能比如质谱发下一版，还是能够超过它是吧，你觉得，对但这块可能也是，我们只看那种benchmark上的结果，如果说真正的体感可能也不一定，但从真正体感来讲，确实GLM是长期领先的，或者我们这样，我们挨家讲一下，你刚才其实提了DeepSeek和Kimi 我们都可以理解，它可能人在密度比较高，对架构上做了一些创新，然后我想补充问一点 Kimi因为它可以，咱讲的是，它是做了一个非常大参数的，你觉得这个对它的模型，实际的贡献有多大

孟繁青：我觉得这个显然是贡献很大的，因为从Scaling Law这个角度，你Scale模型参数，在目前数据规模下，确实能拿到收益，这块不仅是国内海外也是这样，但其他家看到以后 [00:18:35]

曲凯：也能很快追上吗。还是因为infra 或者各种架构的原因，其实没有那么容易去效仿，是能追上，但是肯定就也有时间上的gap 所以我们在讲到智谱，你觉得智谱，当然我们在很多场合都跟人探讨过，我们自己也之前有聊过，但我好奇你的视角，你觉得智谱之前一段时间 GLM 就是他们的coding方面，一直领先的核心原因是什么，我其实不是太了解智谱这个公司，但是我可能跟朋友交流起来，我会觉得，就智谱在coding书信上面，他做的比较好，更偏预训练 还是post-training post-training post-training的部分，对吧 OK 明白，字节其实一直coding 至少到目前还没有追上，对吧，但你觉得这个，是不是也是一个时间问题，这块怎么说，就是他如果说，追上现在的frontier model 那肯定是时间问题，但他到底能不能跟现在 frontier model的一个差距，再缩小，这块感觉其实也不太好说，但你看我们最近也聊了很多人，然后我现在有个感觉，就是在人才密度上，其实大家只要肯花钱都能找到人，对吧，发现最近混元进了很多非常优秀的人，就这个趋势是非常明显的 [00:19:43]

模型竞争的核心变量与 RSI 自进化

曲凯：就这个趋势是非常明显的。对吧，他们挖人也很厉害，然后数据上反正只要也是肯花钱，肯下功夫，可能大家没有特别本质的区别，对吧，最后是不是还是拼卡，长期来看的话，或者中长期来看的话，如果中商机是拼卡的话，是不是还是大厂是优势最大的，甚至于说像今天的这些，不管是Kimi还是支部，还是MiniMax等等，其实长期也是仍然有非常大挑战，我个人就觉得可能是这样，就是拼卡当然是一个很直接的原因，但我觉得还有一层原因，就是整个一个组织架构上，比方说从这个混元例子

孟繁青：就能很容易看出来。像可能之前，他们那边没有改架构之前，可能就是做的比较差，但是现在其实就突飞猛进，其实这一块我觉得，它可能更多来自于一个，组织架构上面的一个设计，就是它到底是不是，比方说划分的更合理，就有个比较简单的例子，就是多模态这个部分，它到底应不应该单独划出来，事实上现在，大家都不把它单独划出来，而是把它去跟 Project Chain进行合并 [00:20:36]

曲凯：所以今天你觉得各个模型，大家在拼的是什么，是比如说架构的创新，还是数据，还是infra还是等等什么东西，就是从技术上来说，这几块肯定是都有的 [00:21:03]

孟繁青：架构相当于是。你能不能在你现在有限资源内，炸出更多的东西，然后数据的话，就是相当于可能是说，我能不能在这些半期码上，达到一个更好的效果，然后像infra就是说，其实是保证你内部迭代的一个速度，然后技术上的话，大家肯定都会拼，然后更底层的，可能就一些你公司内部的，组织架构这种，你觉得目前实际上有没有一个共识

曲凯：说下一个阶段最核心的是哪个点。我觉得有，现在共识我觉得是做 auto research 或者说把它叫RSI 对我们听到过非常多词，对吧，叫self evolving 自进化，对，然后AFAI 对吧，然后你刚才说的RSI 对吧，这也是最近开始的，他们其实都是一件事，对，这个正好也是你们现在在做的事情，对，你能不能给大家先解释一下，这几个词，到底是个什么东西，明白

孟繁青：不管是说self-revolving 还是说RSI 还是说auto-research 它其实说白了。形式化上就是说，我们给模型一个工作的环境，还有一个目标，它到底能不能在这里面去，持续的一个操作，然后拿到结果反馈以后，修改自己之前的操作，然后在上面达到一个，突破上限的一个事，对我理解这件事 [00:22:09]

曲凯：其实有几层可以做。首先从最终的产品测的结果输出来讲，其实之前大家就有人在做，我输出个结果，我先不给用户，然后我先自己，让他比如换个模型，或者怎么样的再测一遍，然后再出，这个是最上层，我们可以说最表层的，然后中间Hadis部分，其实大家也一直在做，就怎么样能让Hadis 让他自己能够赚钱，自己去做很多事情，然后以及就是，我记得Anthropic 什么大家都在讲的，就是什么时候最终，真的是模型层AI 能自己去训AI 对，就这几个你理解都算RSI吗，还是怎么样，我个人理解是都算，当然可能目前大众上来说

孟繁青：我们会把RSI这件事。更偏向于说是模型，去自己迭代自己，得到一个更强的模型，而把这个Auto Research这件事，可能是说，我们现在已经有一个，很强大的模型，它能不能比方说，写出一个好的GPU Kernel 相当于它在写GPU Kernel的时候，有一个持续的迭代，但其实它们数字同归，因为它们都可以形式化成 [00:23:16]

曲凯：我给模型一个环境，然后一个目标，然后让它在里边去进行一个持续的进化，但听起来真的是，让它能自己训练自己，这个应该是最难的了，对吧，这个算是预训练的部分了，是不是

孟繁青：这块其实它可以做成一整套。就是不管是pre-train还是post-train 都可以做到里边，因为我之前就我听过一个观点说 通用人工智能的一个概念说，你这个模型到底能不能从零复刻出一个自己，其实这个就是一个很清晰的说RSI的一个过程，只不过它最终这个模型没有超越自己，如果说它能够复刻一个超越出自己的模型

曲凯：就是它在自己的技术上达到一个更强的模型。那它就是实现了一个RSI 我想再捋一下，就是我们刚才说的那几层里面，在最表层去迭代，我觉得这个是一个挺简单的东西，甚至一些基础的工作，甚至于plump的可能就能完成，然后harness我想理解一下，因为也有很多人在讲说，现在模型其实是倾向于把harness一起迅进去的，然后可能未来几年就没有harness层这个事情了，就都是模型的事情了 [00:24:20]

孟繁青：我不知道你怎么看这个。这块我觉得倒不是说未来会没有harness 因为其实现在我们可以看到模型厂，它基本上都有自己的harness 像Kimi的话它会有Kimi Code 然后像DeepSeg他们内部也有一个自己的harness 但是还没有release 那么他一般都会把自己的模型，跟自己的harness一起发版，因为就是在后宣言的时候，我这个模型的输出是经过harness的，那么我在后宣言的时候，我经过反向传播，其实我会导致我这个模型越来越适配，我给他写的harness

曲凯：所以这两个东西它会一个配套出现。而不是说harness会没有，当然我会相信harness会越来越简单，这是肯定的，所以你觉得未来几年还会有第三方Harness存在的空间吗，或者说比如说我真的是一个做应用的创业者，我未来几年还需要做更多的自己的Harness吗，还是其实我这个责任也交给模型厂商，可能会这样，就是它可能分两种情况 [00:25:24]

孟繁青：一种是就是像一些general的领域。比方说coding 那这块确实没有第三方Harness存在的一个必要，但是像一些垂域的场景，那么垂域场景它可能一方面是说，我根本没有必要用模型厂那么强大的模型，我当然也没有必要用他们配套的Hannes 我用一个相对弱一点的开源模型，配上一个比较简单的一个workflow

曲凯：这样就可以完成我的一个需求。然后它的消费更少速度更快，那么这时候它确实是，我觉得有自己的Hannes存在的一个必要，但我觉得这里一直我会有个疑问，因为你也在做RSI 你肯定相信这件事的，对吧，我觉得如果真的是相信XR 相信HRI 相信这件事几年内能到达的话，那既然模型都能训训自己，它还有什么不能写的呢，对吧，就是我就让它写一个垂直领域的Harness就好了，对是可以写的，就写完以后相当于，你就用这个垂直领域的Harness 就不需要用它本身自己的Harness 对所以如果真的到那天的话，那就仍然是模型吃掉一切的逻辑吗，还是垂直领域还是会有什么价值跟壁垒，我个人觉得是这样的，就是用一个强大的模型 [00:26:14]

孟繁青：写Hannes是没毛病的。但是问题是垂直领域，我本身Hannes背后的模型，我到底需不需要用强大的模型，这个确实是未必的，因为我们可以看出来，其实随着现在Cloud的一次又一次发版，普通用户其实非常难体感到，这些模型强度上的差别了，我们可能只能看benchmark 然后这些半体其实已经有点脱离我们日常使用了，那么对于一些垂钥来说那更是这样，所以他可能就是说，我根本不需要用那种非常强大的模型了，我需要是说我能不能用那种强大的模型，来去指导一个比较小的开源模型，在我这个场景上进行一个迭代，其实这也是一个所谓self-evolving的一个过程，不过self-evolving的是我这个小的模型，然后去得到一个好的水平模型，然后我后面就只用这个模型了，就不需要用像Cloud这种大的模型了，但这样的话 [00:27:57]

曲凯：我还是在想最终模型商的价值会怎么变化。就像你讲的，可能现在的一些基础模型，它已经足够使用了，然后未来它肯定会不断的降价，就不管是因为开源，因为KeyMid DeepSeek 还是因为什么，因为今天我看GPT也刚降价80% 然后后面它应该就会持续降，然后直到有一天，我觉得可能会在不远的将来，大家发现，那些足够我使用的，它已经接近于免费了 [00:28:04]

孟繁青：对这块我觉得是这样。一方面他们降价，也不是说，我真的是卡了很多，我成本低了降价，他也是说，有商业模式的考虑在里面，因为开源社区确实太厉害，然后又有竞争对手，所以他不得不降价，如果未来说，真的是出现一两家垄断的情况，它价格也未必说会一直降，这是一块，然后还有一块，就是说其实很多垂域，它是有一些数据隐私的需求的

曲凯：所以它不一定有很强的意愿。去用Cloud、LGBT这种模型，对，但我觉得一两家独大，好像目前看起来不太会发生，不好说，明白，然后还有另外一个，我也没想明白的，而且对于你们，尤其你们在做RSI 我觉得可能会相对challenge的一个问题，当然现在是这样，以前有蛮多，讲所谓的New Lab RSI或Self-Revealing 做这件事的人，我就在想如果真的能够，让他自己研发自己的话，首先为什么不是说你直接瞄准，我要做更好的机模，我要做一个比OPEN AI更好的一个模型，因为他既然都自己能研发自己，自己能进化自己的，那就让他迭代就好了，这是第一个点，另外一个点是，那为什么不是模型厂商自己做出来的，因为这个应该也是现存的，所有的大模型本身很看重的一块，是在它的主流镜上的

孟繁青：这块我觉得它的一个逻辑是这样的，就是首先对于RSI基模这块，就我最近也思考了一下 [00:29:51]

从 Auto Research 到合成数据的新范式

孟繁青：就我最近也思考了一下。到底这种东西跟模拟厂，它是不是就是正交，或者说它是不是就重合了，我最后是觉得就是RSI基模这件事，其实就是模拟厂自己在训的一个基模，当然这个原因可能比较复杂，然后我觉得目前这些创业公司，他们在做的话，比方说就以我们的为例，我们考虑的RSI 并不是说我们要去，迅一个RSI基模，或者说我们需要出一套 RSI所谓的harness 这两块我觉得都没有意义，而是说我们要做一些，介于模型厂和应用层之间，建模RSI的通道 RSI这件事的实现

曲凯：最核心的它的点是什么，我能不能也就是，其实基模的AI coding能力，只要越来越强，它慢慢就能做到这件事情，是这样的，当然可能我说的会比较抽象 [00:30:41]

孟繁青：因为我现在对于RSI的思考是这样的。现在有非常多人去做所谓的 Savvy Revolving的一些方法，或者说在Hannes上，那么形式上来看，它可以看作一个更聪明版本的DFS DFS就是一个算法，相当于它一直往里面探索，比方说走迷宫，它走到死路的时候，它又回溯到上一个点，那么为什么说，目前这些人做RSI的方法，是一个更聪明版本的DFS呢，因为其实现在模型在做，比方说写GPU的Kernel 然后我写完一个Kernel 然后我给Kernel评分的程序评分，然后我得到一个分数，然后我根据这个分数，其实我就像拿到一个反馈，就是类似于我们玩迷宫的时候，我可能有时候会走到一条死路，比方说反馈不好，然后它会根据这个反馈，去回溯到某一个节点上。那么在RSI或者说Azner里边，它这个回溯实际上就是由我LLM去判断的，而不是说在DFS里通过代码去判断的，所以说我觉得现在做RSI的这些方法，它本质上都是在做一个更聪明版的DFS 它就在DFS里边加入一些简直，那这样的话，其实它就是说，我不会去探索一些一开始，可能是没有用的路，而是我会把我最多的精力，放到一些更有可能的路上，这样相当于是提高了RSI的一个效率，那么这件事的话，我会觉得它其实本质上来说，我们要做减值，相当于说我们需要去预判，我做的一些操作，带来的未来的一个状态，比如说我带来未来这个状态，所给我的一个收益。那么从技术上来说，这件事情就是一个world model 加value model 那么其实这两件事情，在大模型本身预训练的时候，就已经被内化了，所以我个人觉得就，不存在RSI基础模型这样一件事，就是模型厂自己在预训练模型的时候，它已经把RSI这些能力给内化进去了，那么之后RSI它会变强，它的一个本质上来源就是说，我到底有没有把我这个，我的model知识给内化的更好，然后还有一个事儿，就是说我模型的contact窗口，就目前模型contact窗口，可能最高到EM 这个变得更长 [00:32:40]

曲凯：这个其实很好理解。因为就是我能记住了更多东西，我可以回溯到一个更远的一个地方，我觉得RSI可能就是来自于这两块，所以你按照你讲的，就是你其实更看好的是现有的模型，自己去做RSI这件事情，你觉得对于New Lab来讲，他做这件事的机会可能没有那么多，对就没有RSI基础模型这个说法，然后我们假设，也不叫假设，现在大家肯定都在往RSI去走，你去看各种海洋模型的说法，包括国内模型，其实都在往这条路去走，然后我们假设，它真的有一天走到了，然后它算法能够自迭代，自进展，然后卡反正放那放着，数据这件事情，会不会又反而变成瓶颈，还是到那个时候，其实数据它也能够自己去赚起来，我个人觉得是可以的 [00:33:24]

孟繁青：因为其实就我们最近RSI办企，其实也是聚焦于数据来我的一个自进化上，我们确实可以发现，目前Agen已经在数据这个层面，有一点自进化 [00:34:13]

曲凯：自己去合成更好数据的一个能力了。从理论来说，但是我们今天讲的很多可能是一个，如果你真的是按照逻辑推理，可能最后会得到一些非常有意思的结果，就比如我们按照刚才讲的，最后有可能模型公司最后只剩，比如就10个20个人就够了，可能从结果上是的，但是实际各个多方面考量，也不一定会这么急，明白明白，然后最近很多人都知道，合成数据这件事，在国内现在也比较热，你们也有在卖一些合成数据的东西，对吧，你觉得这个东西，就按我们刚才讲的，它是一个RSI的，其中的一个结果产出，还是它的一个过程的量，还是怎么样，就这两件事的关系是怎么样，因为我们说，最终意义的一个RSI 就是说我模型训练，得到一个更好的自己

孟繁青：那么它在这个过程中的改进，可能就已经包括像数据，像算法像架构，那么数据的话，可能就是RSI 这段过程中的一个中间产物 [00:35:16]

曲凯：数据你看我们经历过几波。第一波是Skill AI那一波，其实它普通人标准数据就OK了，因为那个时候，数据量本来就很小，然后后来是以MACO 这种专家标注数据为第二代，我感觉，然后合成数据，现在可以理解是当下第三代大的趋势吗，我觉得是，当然这个其实也可能在趋势的中后期，这三个现在是并行吗，还是会有一个替代的关系，然后以及说，因为我知道现在大家其实也挺缺真人的数据，对，也会有人去买一些真人的数据，这个真人数据跟合成数据之间

孟繁青：又是一个怎么样的关系。首先就是像QIGBT那一代数据，其实可能现在来说更疯预训练了，它可能都是一些所谓的raw data 就是它noise比较多，那这块确实需求不多了，然后像专家数据的话，它现在也有需求，但不会像之前，比方说可能25年年初的时候，专家数据会需求很多，因为其实当时是O1出来了 O1的话会带来模型的一个，像是它推理的能力的一个跃迁，所以当时大家都非常希望有一些数学物理专家，去有一些他们那种的数据，但是现在这块确实也会在变少，它主要的原因是模型确实太强了，我对专家要求也变高了，原来我可能只要求专家去做题，现在我还要出题，我还要求他出这种题，不能跟市面上所有题有重合，这块就太难了。那么所以现在可能说，恒生数据然后就是恒生数据，那么合成数据它出现，主要是因为模型它从一个，一开始的那种chat的一个bot 然后发展到O1那种一个超级，推理能力很强的一个做题的东西，然后再发展到从Claude Code出现以后，模型开始成为真正一个你的同事，它是一个Agent 那么Agent它就是相当于，我们变成需要有Agent的数据，然后Agent的数据的话，就像您刚刚说的，它分成两种，一种就是我通过合成数据，就是合成数据的话，就是说我们需要去造很多的环境，然后在这个环境里呢，去让一个模型，当我们需要给它一个目标，让它去探索，然后去完成任务，然后把这个轨迹保存下来，就是叫所谓的合成数据，那么还有一条就是说真人的数据，那么真人的话可能就是说，它是需要那些真人，在他自己的那些工作环境里的，一些交互轨迹，那么这块就是说for Agent [00:37:53]

曲凯：对目前整个数据。我觉得它大概是这样几个情况，现在合成数据跟真人数据之间的价值关系是怎么样的，真人数据的话，它也是会noise比较多，也是需要去有一些像清洗这种事儿在，然后合成数据的话，相当于它可能本身就是说，我直接用人拿来训练，你能不能给大家讲一下，我觉得最清晰的感知，就是比如说一条普通标注的数据，和一条专家数据，和一条我不知道怎么定义，你们是一条还是一个什么合成数据，和一个真人的数据，现在大概分别是多少钱 [00:38:01]

孟繁青：合成数据这边贵的能卖到好几千，像那种做题那种专家数据，可能也是一两千这种量级，然后像那种赚二万里的真人操控轨迹

曲凯：这块它就有时候要走量了。就没有什么单条的说法，你说的合成数据好几千，是它的一个单位是什么，就它好几千买的是一个，什么样的东西的做客，就是那种非常长程的那种任务，但就是一个任务，对，合成数据这个事情，听起来其实就是模型厂商，应该自己也能做，他为什么不自己做，而且也要，就首先我知道，他自己肯定也做，对吧，那为什么他在自己做之外，还要去外面去采购，所以说合成数据的单子，以后也肯定会越来越少了，对你刚才提到这个点，就他，首先他为什么一开始会多，然后又发生了什么变化，会越来越少，就数据这块

孟繁青：现在还是一个多多益善，我自己造了一批，我可能是有我自己人的那种bias在里边的，我肯定希望它分布bias越少越好，所以我可能从外面我也会收一批 [00:39:29]

曲凯：这样比较高的进来，然后去补一下分布这块事，但很合理，为什么后面你觉得又会变少，怎么说，这一方面是目前的benchmark越来越少了

孟繁青：可能我们之前benchmark非常多样，然后我一个模型

数据产业演进：专家数据、合成数据与 RSI 数据

孟繁青：然后我一个模型。我测N个benchmark 然后我N个benchmark都要刷，那样的话，就相当于你的需求就会很多嘛，但是可能现在因为模型要强，你做一个好的benchmark的难度也非常高，然后benchmark可能也收敛到，就是我模型厂，我可能只测那几个，做的最好的一些benchmark 那其实我模型厂，我就有更多的精力

曲凯：我就去造，只聚焦于这些benchmark上了嘛，那相当于他可能说，就需求对于其他就会比较少了，明白，所以它其实就是一波一波的，对，但你看它会有下一波吗，我觉得会有 [00:40:22]

孟繁青：下一波会是什么呢。可能短期来看，就是所谓的RSI的数据，举一个比较简单的例子，就我们这边有做，就是说我有一个模型，我去后训练另外一个小模型，然后把这个小模型的效果，给它提上来，这样一条轨迹，那么这个轨迹，其实本身就已经超脱了，目前可能大部分数据的一个范畴，因为这一条轨迹，可能我在产生的时候，我都需要跑十几小时

曲凯：甚至说一天。那么这种轨迹，它就是一个相当宝贵的一件事，这个就一定是有模型训练背景的人，才能做的事情了，对就是数据这个行业背景也在提高，你觉得如果，因为很多用户，他自己平时就是在用AI 对吧，然后他可能产生了很多数据，对，但这些数据首先，在他用的中转站和模型里面，但如果是他自己个人想卖，你觉得合理吗，能卖出去吗，卖不出去，卖不出去是吧，就是你刚才说太脏，什么那些问题，对，然后也有合规问题，所以你们现在就是，我理解其实是之前半年，包括你们，包括有一些其他的家，其实卖出去赚了很多钱，一下子其实收入涨得蛮快的，但你觉得这一波，其实已经在你看来，是快进入尾声了，对这一波可能说，普通Agent的像，SwayBans那种Agent的数据，就确实已经接近尾声，所以说就数据整个行业，它是变化非常快 [00:41:57]

孟繁青：也对你这些数据厂商，会有一些筛选，可能说之前我大部分是走，重人力的专家标注的公司，可能就很难活下来，反而说你这个数据公司里，你需要有一些 [00:42:04]

曲凯：在一线hands on的researcher 可能更能追上数据，它一个变化的一个潮流，所以你们现在也在往RSI的数据走，所以你们出了RSI的benchmark 对当然数据是一方面

孟繁青：也不是说我们会只做数据，数据总的来说，一方面它会有现金流，另一方面它会反哺我们的一些认知，让我们去有更多的一些know how 去做RSI这件事

曲凯：但你要做RSI就讲回来。像你刚才提的，你必须是自己真的去训模型了，对但是事实上，现在训模型的话，你基本上可以把它约等于成造数据，然后我们本身造数据的话，我们也会跟模型场上有合作，我记得最近有一个蛮流行的说法，叫做算法就是数据，数据就是infra infra就是算法，我不知道你怎么看

孟繁青：它细穴之中。好像就带着一点真相的感觉，对其实没啥毛病，因为算法就是数据这块，是因为本身就像算法，它会收敛到最简单的形式，比方说L收敛到PBO 我们大家如果都用PPU的话，那就是说我背下什么数据了，然后数据就是intra 对，其实这也比较好理解，就是小女生怎么训练更快，就比方说我现在我有一批RU的数据，那么其实RU它训练慢，主要原因是说，推理的时候，我会有很多的一个，这个专业名字叫常委，就是因为现在RU一般是说，这批数据我推理完以后，然后我再整理整理格式，然后导入到训练，当时我在推理这批数据，有时候可能100个数据，前99个，我在一分钟内推完了，然后最后一个数据，我要给它推100分钟。那么我在这个过程中，我这些卡的资源相当于闲置了，然后也很慢，我都在等那玩意，所以这时候就需要你 Infer上有一些改进，去帮助你这批数据，给它训练更快，然后Infer就是算法，它也更好理解，比方说我们就以SFT这个算法为例，当我们现在需要去训练那种很大尺寸的模型的时候，我是需要有非常多的GPU的层面的，或者说模型contact层面的一个并行的，那样我才可以训这么长的轨迹，确实没毛病，然后从现在的观点来看，算法稳定了 infra基本层面上也是稳定，当然它是一个跟着需求走的过程，如果说我后面，我的RU过渡到，就我推理到数据，我都需要一天甚至好几天，那它infra层面，包括上下层面，它都会有一些修改，所以说数据是他们的一个驱动，更难的数据，我会带来需要 [00:44:58]

曲凯：上下层面上进行一些创新。或者说带来我infra层面上，需要做一些，更invasive的一些设计，我个人觉得是这样的，数据你觉得未来，大家还会往更高数据量去走吗，或者说大家肯定希望，但是不是还有那么多的数据，或者说是不是就是合成数据，那合成数据是不是未来会，慢慢的变成一个，类似于无线数据的感觉，无线数据倒不太可能 [00:45:03]

孟繁青：就是当这个数据。目前来说，它量确实是在提高的，但它不会说，就那种毫无节制的提高，高质量数据，我一直会有，一直会在提高的，因为其实就是，你目前来说，也不至于说，数据是完全枯竭了，因为一方面是说 Agent它合成数据是一个新的来源，然后并且当我Agent用的人越来越多以后，就像我刚刚说的，我商人是在提高的，它会反补我合成更多，更好的合成数据，然后这块去反补模型的一个训练，所以说数据的量，我个人觉得它一定会增加，因为模型尺寸在增加，同时它的质量

曲凯：也会是在一个逐步提高的一个过程，然后当大家聊到合成数据的时候，其实难以避免的会聊到蒸馏的问题，因为很多人其实，我理解就是混纯数据跟蒸馏，是绑在一起去看的 [00:46:09]

孟繁青：我不知道你怎么理解。解释现在这种情况，对因为混纯数据里面，其实我们也是需要，就像我刚刚说的，我们有一个环境，然后有一个问题，以后我需要有一个Agent 在里面去探索，用探索的Agent 它有时候就可以是一些，外部模型，像Cloud 当然我们也可以用内部模型，如果是用外部模型的话，可能就是我们现在大家说的一个针流的观点，这时候它到底是所谓的硬针，还是说有技巧的针，硬针的话，其实说白了就是说，你这个环境太简单了，比方说就是做那种非常普通的数学题，就是只给，对，我这个题，我老师这些作品我拿出来抄，像我刚刚说的，如果我这个环境足够复杂，并且我对应的题，还有我这个题的一个评分是正确的，并且足够高质量，本身这一套，就是一件很有难度的事了，如果有这一套以后，我当然是能够搞出来，更好的一个所谓的合成数据，或者说征流数据，那么这块就是说，有技巧的这种，所以能不能理解说，合成数据这件事情，如果用好了 [00:47:16]

曲凯：对于相对落后的模型来讲。价值是远高于领先的模型的，这件事是肯定的，因为它学习的margin会更多，但是对于领先模型也是有用的，但我再理解一下，就是如果比如说，我已经是最领先的模型了，我造这个环境，然后我用我今天的模型，自己去做，那不是出来的结果，跟现在是一样的吗，这个就是完全说，就是RSI这件事，就是因为你其实本身来说

孟繁青：当你造出来这套，足够复杂的环境，还有那些题以后，就算我模型，我自己本身，我在里面去探索，然后拿到一些正确的轨迹出来，我去训我自己，也是可以提点的

曲凯：这件事情是已经被证明了。这个是有什么原因的吗，还是其实，你总而言之，一个比较黑箱的状态，这块其实说完，就我做的事，就是不断强化的一个过程，对，现在你觉得，整体的模型状态 AI lab的状态，就目前在一个什么空间上，因为我记得说在之前，可能大家经历过，有觉得skin load 是不是撞墙了，对吧，有这种时期，那你觉得现在，对做AI的人来讲，有些AI lab的人来讲，是一个觉得空间很大，我们继续做目前的路线，就还能持续的提升，还是说觉得，现在这些可能快穷尽了，我们仍然需要新的架构 [00:48:08]

孟繁青：新的一些技术路线之类的。我觉得这块是这样的，就是一方面可能说，也不说老吧，就是coding 这一块 coding 这一块，就是从年初到现在，一直都是最重要发力的方向，就这块一直在搞，因为coding其实是一个，智力的一个基础，相于它要去持续提高，它这个模型，智力一个上限，然后这一块，虽然它增长还是很迅速，但是可能它整体的pipeline 是相对可能稍微稳定一些，所以说这些ALM 也会说去探索一些，其他的技术路线，就像auto research这种，比方说您看像Cloud 像OpenAI 他们都会在auto research上去搞，然后他们的auto research

曲凯：可能说是我要去服务一些 AI for science 这里其实就相当于。是一些新的技术路线了，对我不知道 AI for science你们有在接触吗，最近其实这个东西也蛮火的，对吧，尤其是你看自己SE最近出了 100科学家的计划，对吧，对，然后 Anthropy什么他们也在搞，但理论来说 AI for Science好像似乎跟模型本身，不是在一个完全重合的一层上，对 [00:49:27]

孟繁青：我不知道你怎么看这个问题，为什么大家开始在这上面发力，因为现在其实大家也开始提 Auto Research 您可以看到现在

AI Lab 的未来、组织形态与 Evolvent AI 规划

孟繁青：像千文，像Kimi他们的 release的报告里都会有一个，它完成一个非常长，不断改进任务的一个过程，然后他们可能大部分都是说，去写GPU kernel AI for Science也是类似的，就是比方说他们会要求大模型，去设计一些分子结构，蛋白质这种东西 [00:50:00]

曲凯：这个其实一方面就也是，他们一个起线模型，制立的一个手段，一方面这也是一个，相当于比较直接的一个应用，对我看GPT最近在PR 他们新的模型，然后流出来的就是说 GPT做数学体，对就解决了那些

孟繁青：什么数学猜想，什么这些层面的东西了，已经是，因为他们仅从coding 这个层面，无法体现模型的智力 science/STEM这个领域，它本身是一个，你衡量模型的智力的

曲凯：一个直接的东西。对就是已经从奥赛，卷到诺贝尔，对，这个其实都是在，扑模型智力这一块，这模型厂其实，他们需要找到这些场景，去PR这些东西，所以你整体上是觉得，目前AI Lab的状态，还是说未来，有非常大的空间的，对吧，大家就是继续做就好了，就不会，就像24年，大家需要IL一样，就现在不太需要，这种东西

孟繁青：这块我觉得是这样的，就是模型厂的模型增速，是一直在的，但是这个模型增速背后，比方说到底，需不需要这么多resource 或者说 [00:51:11]

曲凯：现在resource一个高薪。能不能维持，这个可能倒不一定，对因为我现在听起来，也是大家，很多东西已经确定了，相对对吧，就是在既有的路线上，继续做就好，一定程度上是确实这样，讲到call-in确实这样，明白，所以长期来看有什么，就是我们如果把，字节腾讯阿里这种，卡很多资源很多的，大厂分为一类，然后另外所有的这些新的 AI lab分成一类的话，你怎么看未来，这两类公司的发展，我个人可能还是比较 prefer初创公司这一挂的，因为技术其实一直在

孟繁青：公司与公司之间流通，其实可能大家技术水平的差异上，不会说特别大，我觉得可能它背后，就是在人这里，也不是说大厂直接从出货挖人，然后过去就直接很厉害 [00:52:04]

曲凯：但按我们刚才讲的，你会看到技术路径，虽然会不断地迭代有新的，但它会在比较短的时间内，大家就统一，形成共识，然后最终是不是就是拼卡，我觉得其实也未必

孟繁青：我反而觉得最后可能，就是夸归到一个组织的形态上，因为当你技术大家都懂的时候，你这个组织设计，怎么让你这个公司，作为一个整体跑得更快，我之前可能没感觉到，但我现在感觉

曲凯：还是一个比较有学问的事 OK 明白。你刚才提的，比如多模态要不要分出来之类的，对就是这种组织架构的一个设计上，现在也有很多人来讲，比如说会有人讲说，智谱coding做得好，就是因为他们没有分很多精力，去做多模态等等那些事情，然后也有人会说，就是多模态甚至于包括，实验模型等等，其实不是在智力主线上的，它其实做那些事情，并不提升模型智力，只有coding数学什么这些，是提升模型智力，这个你咋看，这块我觉得可能也有点绝对，我并不觉得多模态不重要，然后我也觉得，它应该放到主线上

孟繁青：只不过现在也是基于资源考虑。它不能说我进行一个，全模态这种优化，因为多模态的话，其实它的发展，相比文本要慢特别多，因为文本的话，它一个信息，是经过一个高度的压缩的，所以它本身学的也会比较快，明白，但是多模态的信息，就是噪声会比较多，但是其实，我会觉得多模态之后，也会变得比较重要，因为当你这个AI 想进入一个物理世界，其实它就已经不仅仅是视觉了，它甚至还有说听觉触觉，各种各样的一个东西，明白 [00:53:19]

曲凯：最后我问一下，可能相当于敏感，你觉得蒸馏这件事情，对于国内模型，它追改的意义，到底占比有多高，那我这么说吧，就是我又不说具体占比，我觉得蒸馏不是国内模型

孟繁青：变强的一个决定性因素。因为就像我刚刚说的，国内模型的变强，一方面是来自于，它一个底层架构的一个创新，因为其实现在我们大家，比较共识的一个观点是说，预训练去学知识，后训练是在预训练的分布上，做一些分布的一个shift 然后相当于他可能会说，我本来之前有会了，然后我现在通过后续练，我答对他的一个专业率更高，所以这样看的话，他一个智力的基础，是来自于预训练的，那么其实预训练的话，我个人觉得国内是做的比较好的，因为他有非常多的一个，像KB的木耳用化器，各种各样的一个东西，我个人觉得，它是一个追赶最主要的因素，然后后续练，我个人觉得，蒸馏是国内公司的一个加速手段，也不是说没有Cloud API 它就做不出这个事，因为没有Cloud API 它一方面，它自己模型也很强，它可以在自己的模型去做这种，核能数据，另一方面，其实国内因为本身人也这么多，它想搞数据激烈的话，它争相很轻，也不见得搞不出来 OK 对 [00:55:06]

曲凯：对挺好的。就是说能争最好不争也行，对，真的我只是说，因为现在国内公司竞争很激烈，它也作为一个加速手段，但是它并不绝对，对所以比如说，因为现在尤其是 DeepSeek什么的，它总说国内模型蒸馏的问题，对吧，所以按照你的说法，哪怕有一天，它真的把所有的蒸馏的门路，都封掉了，其实也不影响国内模型追赶，只是更费劲一点点而已，对我个人是这么觉得，那蛮好的，再多问一个问题，如果这么讲，为什么字节一直不愿意蒸，或者说一直对外讲，说我们就不蒸呢，就真的坏处是什么呢，针流的话，相当于你是一个超近道，你可能会遗失到，你这条主路上，你可能会发现了一些insight 我觉得他们可能这个考虑，所以仍然我觉得像你讲的，它是一个工具，在于看你怎么把它用好，而不是，它本身其实没有什么问题 OK 然后基本的。我觉得聊的差不多，然后最后再讲一下，你们现在正在做的事情，就基于我们，因为我觉得我们今天，就聊了很多新的模型，数据，包括一些敏感的，蒸馏的问题等等，就是把整个的，现在可能AI Lab 面临的各种情况问题，讲的是比较清楚了，然后你可以最后再讲讲，你们现在在做的这件事情，包括未来的一些规划，我们公司的话 [00:56:12]

孟繁青：是一家初创公司。然后名字叫 Evolvent AI 基本上跑了半年左右了，目前的话，团队也是主要以这种 00后的researcher为主，然后我们可能目前来说，主要是聚焦于两块，但是其实并不割裂，一块就是说是一些核心数据，那么这块可能就是有一些，核心数据的合作，或者商单这样的，包括我们其实在做核心数据的时候，我们自己也会做一些benchmark 这块也是相当于我们，也有一些学术界上面的一些探索，然后还有一块就是，长期来看我们会去做RSI这件事，我们做RSI 相比于其他做RSI的公司，会有一些不同，就是我们可能并不会去 聚焦于说我们要去做 RSI专用的技术模型，或者说是我们要去，做一些RSI的方法。具体原因就是，刚刚跟曲老师也讨论过，最终是我们想做的一件事，是一个桥接模型厂，与应用公司的，一个中间的一个东西，包括我们最近，出了一个benchmark 叫 RSI Bench-Data 那么它其实也是说，是在这个平台内，针对于Data这个事，进行RSI的一个 [00:57:34]

曲凯：初步的探索。大家有问题也可以跟我们交流，你们现在有在，比如什么招人这种诉求吗，对招人的话，我们就一直都开放的，反正就是有任何兴趣，其实就直接给我发邮件就行，你觉得现在同样是 researcher来讲，什么样的画像，是最值钱的，是你觉得你们特别喜欢的，对于色彩奖

孟繁青：我们可能并不会看一些量化指标。比方说发了多少论文，还有有多少引用这种，我们可能比较关心的一个事，就是他这个工程能力怎么样，我现在个人会觉得，就是说一个有比较好的工程能力的人，是比一个学术能力很强的人，就是更好的一个人，好呀，感谢感谢，感谢感谢 [00:58:22]