177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 开场：K3的架构突破与嘉宾介绍 [00:00:00 - 00:10:00]
• K3的使用体验与开源争论 [00:10:00 - 00:20:00]
• 开放权重、安全与模型能力边界 [00:20:00 - 00:30:00]
• K3的训练环境与智能体能力 [00:30:00 - 00:40:00]
• K3的推理速度与模型架构 [00:40:00 - 00:50:00]
• KDA与混合注意力 [00:50:00 - 01:00:00]
• 线性注意力、MLA与长上下文 [01:00:00 - 01:10:00]
• 训练方法、数据策略与模型能力 [01:10:00 - 01:20:00]
• 开放模型的工程生态与限制 [01:20:00 - 01:30:00]
• 从模型权重到训练流水线 [01:30:00 - 01:40:00]
• 量化训练、推理优化与开源协作 [01:40:00 - 01:50:00]
• 总结：开源模型真正开放了什么 [01:50:00 - 01:55:07]

开场：K3的架构突破与嘉宾介绍

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 开场：K3的架构突破与嘉宾介绍 [00:00:00 - 00:10:01]

开场：K3的架构突破与嘉宾介绍

赵晨阳：我接触到的像美国Frontier Lab的一些普通打工人里面,确实有部分人会认为开权重模型能力上涨对于Frontier Lab的估值是有很潜在的影响的。就比如说未来很多公司,他们可能不愿意去把自己的数据发给Anthropic或者OpenAI这样的第三方。比较好玩的是，我觉得吧，这个世界上是不存在，老老实实做Transformer这回事的，比如K3的注意力是线性注意力 KDA加上全机注意力MIA的混合，然后残差被改成了，深度方向上的一次Attention 而FFN则是压缩空间里面的悉数专家，甚至连位置编码都几乎是被删掉了，这几年的开源模型，几乎把每一种可能的部件组合都尝试过，我可以称其为某种意义上的 Tesios之船 Tesios之船的船板换过了，甲板换过了，龙骨甚至都换过了，但是这艘船的船名就是没有变 Attention机制就是，我认为我们的 AI研究领域的Tesios之船，我觉得这次K3带给我，以及包括很多人的启发，可能就是我们其实并不需要，把Full Attention和Linear Attention 去理解成一个，二选一的这么一个关系 Hybrid RK开车确实是一个很有前进的方向，权重是一次训练的产物，但是环境是能够反复复用，并且产生出下一代权重的流水线，我们得到了K3的权重，但是全世界仍旧没有得到，怎么造出下一代智能模型的这条流水线 [00:00:00]

曼祺：欢迎收听晚点聊，我是曼琪，本期是技术解读系列的新一期，会放在模型利于美这个合集之中，我邀请了RadixArk创始成员赵晨阳，和华盛顿大学的博士生曾致远，分别从infra与算法两条线拆解K3 它真的比肩Fable 5吗 3T开放权重混合注意力和智能体训练环境，意味着什么，开源模型真正开放了什么又保留了什么，进入具体的技术报告解读前，我们也聊了K3如今在美国AI界和更广泛的投资市场，所引起的巨大关注，以及与K3直接相关的开源大评论，下面我们正式进入节目吧，今天晚点聊邀请了两位嘉宾，我们一起来聊一聊K3 因为在7月27号K3刚刚是分享了47页的详细的技术报告，两位嘉宾一位是赵晨阳，是玩电脑的老朋友，在163期和DeepSeek V4的解读中是担任过嘉宾，他是SGLang开源框架社区的核心贡献者，也是基于SGLang成立的创业公司 RadixArk的创始成员，赵晨阳会主要从Infra的角度来分享，赵晨阳你可以和我们的听友简单，打个招呼再介绍一下 [00:02:35]

赵晨阳：我是赵赵晨阳，非常感谢玩电的邀请，可以来跟大家分享一些 K3上的Infra的细节，我目前就职于一家，叫做RadixArk的人工智能基建公司，我们也管自己的公司戏称为基数方舟，其中基数一词，或者说Radix一词，其实比较生僻，但是呢，这个词它源自于目前大语言模型推理领域的一个关键技术，叫做Radix Tree 这也是我们公司维护的核心项目 SGLang的起点，我在接下来的播客当中，也会分享到一些和前缀缓存有关的内容，我们也可以见到 K3相比于之前的模型，类似于DeepSeq V4 它会在前缀缓存上面，有一些有趣的变化，在加入RedSug之前，我本科就读于清华大学计算机系，然后博士毅业于，加州大学洛杉矶分校，之前我也参加过，玩点组织的技术播客，然后上次是分享 我们开源团队，在DeepSeek V4模型上的，推理加速和强化学习两部分，这一次如我所预见 K3再次作为中国的顶尖模型，引爆了整个硅谷，在海内湾引发了巨大的反响，所以这次还是我从我个人的角度，希望给大家做一些工程上的分析，也会分享一下许多Kimi团队，我们公司AMD 还有Prochen AI等等开源团队，一同打造的一些有趣的技术 [00:03:01]

曼祺：好的那这次还有一位，新的嘉宾新朋友，曾致远他现在正在，华盛顿大学读博士二年级，之前本科期间也是在清华，志远会主要从算法的角度，来分享来一起 [00:04:22]

赵晨阳：解读K3志远你可以和我们的听友，也简单介绍一下自己 OK 好，哈喽大家好，我是曾致远，本科就读于清华大学计算机系，其实也很巧合，我和今天的另外一位嘉宾赵晨阳，是本科同系，而且也是同届的同学，我现在在University of Washington 就华盛顿大学，读二年级的CSPHD 我自己一直主要在学术界，做一些语言模型的，后训练和评测相关的研究工作，这其实也是我第一次，作为嘉宾参加播客，很荣幸可以在晚点播客，分享我对于KM1 K3 这么一个如此出色经验的国产模型，的一些理解和想法，正式具体聊K3的一些技术细节之前

曼祺：我们可以先来照一聊一些相对宏观的问题，这样大家也好接入一些，两位可以先讲讲自己使用K3的一些情况，有什么有意思的地方可以分享吗，你们自己使用的感受是怎样，其实我自己个人一直可以用 [00:05:16]

赵晨阳：可以报销的这个Claude Code 所以不太在乎成本，但是当然K3发布之后呢，我听到身边很多人的评价，感觉确实就是说好评如潮，所以我自己也试用了一下，简单跑一些case 我个人的感觉，在大部分场景下，和Claude Opus 4.8的体感相当，甚至可以说是更好，尤其是去做长程任务的效果，说白了就是我们让模型，它在一个agent的框架下去，长时间持续运行，去完成一个特别复杂任务，不跑偏，然后最后比如说给我们用户，能够交付一个满意的，相对来说比较满意的结果的能力，我体感说可以说是做得相当不错，如果非要说有什么美中不足的地方的话，我觉得就一方面可能是确实有些慢吧，就是比如说他在做一些相对小一点，然后我自己可能会期待更及时反馈的任务的时候，可能对集资性质就不太友好，但是当然了考虑到KB现在有限的计算资源，这也可以理解 另一点呢我其实注意到在KCAN的tech report里面，其实自己也提到了，就是在去做我刚说那一类长程任务的时候，因为任务比较复杂，我一开始的prompt呢，他可能就没办法去做到，面面俱到，因为任务太复杂了，我自己一开始也，想不清楚每一个细节，那其实可能在一些，我没有想清楚的地方呢，就K3会去替我做一些决定，但这时候可能，更理想的方式，就是说是和我做一些探讨，毕竟替我自己做的决定，它可能不是最理想的，对我主要有这么一些感受，那赵晨阳你使用的感受是什么，你觉得好用的地方，和你觉得想提升的地方是什么，我有一个比较有趣的角度，这是K3发布的时候，我朋友圈里面有很多Kimi团队的朋友，分享一个非常神奇的网站，叫做K399 里面是很多用K3生成的小游戏集合，这个非常有小的时候的这个味道 我和志远都是00后嘛，基本上在我们小学的时候，国内有两个非常主要的小游戏平台，甚至还是用的Flash 叫做4399和7K7K 然后Flash已经停运很长一段时间了，然后到了今年，我们看到Kimi团队用K3来复刻，这样一个小游戏平台，然后甚至许多童年小游戏的优化，包括体验，其实比起小的时候流畅非常非常多，我觉得这个是让我觉得，很别处心裁的一件事情，我们自己团队也用K3模型，做了一款小游戏，就类似于Google Chrome 在你网络没有连接的情况下，会有一个小火龙，跳仙人掌的那个游戏，但是这个小游戏的主角，是我们团队的SG LAN Girl 然后最终的终点，就是达到了423 tokens每秒，大概代表就是说，就是我们团队在那一刻的，一个优化的终点，当然可能到了现在，以及这个播客，被听众朋友们听到的时候 这个性能会有更大的boosting 对你们那个SG LAN Girl挺可爱的，我上次去不是拿了个冰箱贴吗，我现在还贴在家里了 [00:08:12]

曼祺：非常欢迎你参加更多活动，大家普遍的一个反馈，就是K3的前端能力特别好，其实你刚才提到那个K399 这个小游戏的网站，复现小游戏，我觉得也跟他这个能力有关 Kimi在Frontier Code Arena上，是一度拿到了第一，超过了当时的第一Fable 5的，你可以讲讲，就他在某项能力上有特长，这种前沿模型之间的差异，他一般是什么原因造成的，是数据吗还是什么，我觉得最直接的答案

赵晨阳：他确实是数据，我们可以回到，就是说模型构建的过程，的一些流程来看，就是说现在我们模型训练的团队，一般来说它都会针对不同的细分垂直领域，或者说细分的垂类领域，先建立或者说补齐一些相应的evaluation 就是去评测，然后再围绕这些evaluation 在pre-training,meet-training,SFT 以及包括强化学习，就是RL等不同阶段，去针对性的去补齐训练数据和任务，所以一般来说，我们会觉得一个模型，最后在某个非常特定的垂类方向特别突出，很大程度上有个很重要原因，就是它在这个方向的评测和数据，做得非常的好，其实如果我们去读，它公开发布的这个Tech Report的话，其实里面也可以找到非常多的痕迹，就比如说他们在Evaluation上，专门做了这个KB Web Dev的Bench 对它就是专门针对这一类，相关问题做的评测 然后他们还提到在Pre-training阶段，它大幅扩充了代码和渲染结果，去相配对的这么一个多模态的数据，然后Post-training阶段又专门，加入了这种web development的这种任务，还有一点就是K3它其实是原生的模态，所以它可以在训练的过程中，尤其是在草画学习的过程里面 [00:09:40]

K3的使用体验与开源争论

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• K3的使用体验与开源争论 [00:09:59 - 00:20:01]

K3的使用体验与开源争论

赵晨阳：尤其是在草画学习的过程里面，可以去直接提升这样一种，比如说我们先写代码，然后写完代码之后，我们看它前端渲染出来的screen像怎么样，然后再去改代码这样的一个loop的能力，其实TechReport里面对这个能力也提到了，就是说它的描述叫做Wishy's Loop 也就是说让模型在代码和这种视觉反馈之间去持续解答，除了你们自己的一些体感，你们和周围的人交流，大家还有什么对K3有意思的评价吗，我其实觉得他们，我周围很多就是说做大模型算法的朋友，他其实会关注很多就是发布之后 Tech Report里面的细节，尤其是各种recipe的这个细节，其实我觉得有很多人都感觉，就是说一个最近去这些发布的Technical Report的趋势，在K3的这个Report里面，其实也有所体现，就是说现在这些report 它对于像architecture pre-training的细节，描述的越来越多 越来越清晰，但是对post-training部分的细节，就给的越来越少了，这其实也说明，就是像架构和skilling pre-training本身的重要性，可以说是丝毫没有下降，甚至说是越来越重要的 [00:10:54]

曼祺：post-training的细节变少了，是因为大家本身就做少了，还是说这个领域，大家觉得不想分享太多，我其实也不知道是为什么，这一次K3发布的声势很大，也引起了资本市场的变动，包括美国现在也开始了，开源的大辩论，我可以先讲一下这个事，大概是7月24号的时候，有50多家公司联名签署了一封公开信，开放权重，就是开源的大冒险的意思吧，与美国的AI领导力，然后赵晨阳所在的公司 RadixArk也签名了，这50多个公司里，还有英伟达微软等等，包括黄仁勋，他是专门去注册了推特，去转发了这个公开信 OpenAI和XAI也都是支持的，但是没有签名，然后亚马逊和Athropic 是没有在这个事情上发生的，但是后来Athropic 应该就是这一种吧，他们写了一个文章 Darryl自己写的 On Open With Models 是说他们不反对开源模型，但是他们认为某些国家 中国的开源模型，还是要被限制一下，然后他还专门提到了，就大规模针流的这个事情，我觉得可以先讲讲，就是为什么就这次K3 [00:12:01]

赵晨阳：它带来的至少我觉得在AI圈，它的这个震动也是很大的，甚至让部分人是会感到比较惶恐的，我觉得用恐慌这个词形容，这次K3在国内外引发的讨论，是比较合理的 K3这个模型的的确确，让我在海内外都见到了巨大的讨论，乃至争执，这段时间我刷到过非常多的论战，而且这些论战有的是在讨论开源与否，但我觉得许多研究者真正在乎的，其实是安全，是开源更安全还是避源更安全，我给举一个具体的例子，前几天OpenAI的新模型，在评测当中发生了很严重的越狱事件，不严谨的来说，它直接尝试攻击了Hugging Face的服务器，来直接获得评测问题的答案，称得上是为考试作弊而不择手段的偷盗试卷，那说明即便我们试图让模型 在追求目标的时候保持公正和正义，其实模型也会主动去寻找一些规则的漏洞，甚至是通过破坏服务器，这样的手段来实现，反过来，我这几天也去读过 Athropic他们那篇观点的原文，总体来说，他们的主张是，足够强大的模型，不管开源还是闭源，只要提供给公众，就应该经过更严格的安全审查，我自己觉得，他们担心的事情，其实非常真切，某种程度上来说，这已经是一个非常恐怖的现象了，我可以举一个比方，现在这些强大的语言模型，某种程度上是强大的武器，如果它被人恶意利用，会有着非常恐怖的破坏力，今天即便我们主观上引导一个模型，形成一个正直向上的世界观，模型都有可能违背人类的意愿，去攻击Hugging Face的服务器，那么真的遇到了这些别有居心的不法分子 他们可能会想办法绕开模型的安全防控，真正的去利用模型去挖漏洞，去攻击我们的网络系统，所以人类而言是一种巨大的风险，我们是否要将这些最强大的模型，所具有的能力，永远掌握在少数人手中，还是说，因为已经有了，大量的尖端武器流通了，我们务必要向全人类，共享更多的武器，很遗憾我不清楚，这个问题有没有答案，但是我迫切地认为，这是需要全社会，共同讨论的治理问题，甚至需要于某种程度上，类似合不扩散条约一样的，国际治理框架，我认为大多数的人，是倾向于我们，还是要在有限度管理的情况下，持续分享这些领先的，前沿的智能水平的模型，但是我自己的话，私人上我不是很赞同，要把所有的事情都开放出去 OK [00:13:04]

曼祺：然后我们给大家可以看看，就是他这一次，为什么会引起一些，这种比较多的关注和开源讨论，其实我本质还是，因为他让人看到，开源其实更加逼近避远了，然后有一种解读就是，这会大幅冲击Frontier Life 也就是OpenAI和Anthropic 现在的估值，你们在硅谷在美国，你们有感受到这种讨论吗，对就比如说我自己的话 [00:14:48]

赵晨阳：我接触到的像美国Frontier Lab的一些普通打工人里面，确实有部分人会认为，开权重模型能力上涨，对于Frontier Lab的估值是有很潜在的影响的，就比如说一个可能考量点是，在未来很多公司，他们要用模型吧，比如说用coding agent的，但是他们可能不愿意去把自己的数据发给 Athropic或者OpenAI这样的第三方，那这时候如果有一个很强的开权重模型，它本身或者稍微经过一些，针对他们公司自己场景的翻托令，它能力上就能达到这些公司的需求，同时这些公司又有部署，开权重模型的这么一个条件，不需要把数据发给第三方，而是可以直接发给，他们自己部署好的模型，那么他们确实可能会转向 [00:15:12]

曼祺：用开权重模型，这一点就有可能会去冲击，必权重模型的营收，其实这个现在已经看到一些趋势了，我们二级机构的记报里，也讨论了这个问题，就比如说在美国，像Fireworks这样的公司，它就会给一些企业客户，去部署开源模型，就给企业自己用的，甚至在计算资源上，就美国有些大合伙，他也会倾向于，说这个东西不是布在云上，而是我可能会自建一些算力，因为在有些场景上，他其实自建算力，就成本的测算是更划算的，除了说对Frontier Lab的冲击之外，另一种解读就是K3这一类开源的，它因为还是一个Transformer的模型，它也会去冲击Neo Lab 那Neo Lab的核心的这个机会点，其实在于说，你去探索，现在主流方向之外的，一些新的方向，看能不能找到，通向EGI的更好的方法，你觉得K3这个效果

赵晨阳：会动摇一些人的这种观念吗，是不是你老老实实，做一个Transformer的模型，其实上升空间还挺大，比较好玩的是，我觉得吧，这个世界上是不存在，老老实实做Transformer 这回事的，比如我们这次看K3 K3的注意力是线性注意力 KDA加上全机注意力 MIA的混合，然后残差被改成了，深度方向上的意思attention 而FFN则是压缩空间里面的稀疏专家，甚至连位置编码都几乎是被删掉了，这些设计可以说，完全不是2017年的原装transformer的零件，与其说是transformer还有空间，不如说attention机制是某种接口，它只是规定了，我们用一个个可微的模块，来反复混合序列上的信息，至于我们拿什么算子混合，残差如何连接 FFN的形状是什么，这些部件的可组合性，远比我们想象的好 而且这几年的开源模型，几乎把每一种，可能部件组合都尝试过，我可以称其为，某种意义上的 Tesos之船 Tesos之船的船板换过了，甲板换过了，龙骨甚至都换过了，但是这艘船的船名，就是没有变 Attention机制，就是我认为，我们的AI研究领域的 Tesos之船，至于Attention 还有多少寿命，以及现在这些新架构，会对研究产生什么样的影响，我觉得是可好可坏的，坏消息是，有的研究者可能会有一种愿景，比如说用其他的架构来推导，重来整个Transformer的故事，我觉得这个愿景可能很难说得通，但是另一个角度来说，优秀的组件，是图登陆推测师之船的速度，前所未有的快，比如说KDA 它从Kimi Vignier这篇论文，到2.8G的主流模型，只用了不到一年的时间，所以如果你的天才知识是对的 [00:17:38]

曼祺：那么你不需要等待一个新的方式，就会有人来收留它，现在也有一个比较多的讨论，就是说最近像Fable 5 像Ops 5 像K3这些进展，它给外界传递的一个信号，是好像到了一个模型，可以自己就变得更好的这种临界点，你这个模型去争一个更好的模型，或者说你自己争自己，学到一些高质量的数据，你就可以让模型变得更好 [00:18:31]

赵晨阳：然后有的人会觉得，在Ops 4.8前后就过了这个临界点，我个人理解这个问题，它并不是说，我们有一个非常神奇的临界点，然后模型能力，突然就跨过了这个临界点，而是我觉得，其实现在整个模型的开发流程，它已经进入了一个正反馈的阶段，就是比如说模型，可以自己生产数据，或者说更严格，更广义的说是参与生产数据，然后再让下一代的模型变得更好，具体来说，其实在一个模型训练的团队里面，我们要去构建高数量数据，本来就会涉及到各种五花八门的这么一个工作流，就比如说随着模型的变强，这里面很多越来越多的具体工作，就可以交给agent 尤其是coding agent 就比如说像我们去做一些检索，然后去合成一些训练任务，这么一整套pipe plan 然后再比如说我们去生成一些数据样本 然后再去筛选一些数据样本，这样的一个pipe plan 或者再比如说我们去搭强化学习的环境，然后再比如说我们去跑一些评测，再比如说我们去分析一些失败的case [00:19:50]

开放权重、安全与模型能力边界

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 开放权重、安全与模型能力边界 [00:19:58 - 00:30:00]

开放权重、安全与模型能力边界

赵晨阳：再比如说我们去分析一些失败的case 这些等等，这个变化我觉得它不是从零突然跳到一的，而是我们模型团队交给agent做的比例，随着模型能力的提升是不断提高的，就不严谨的说可能一开始是50% 后来是70% 90% 95%这样，当然这一数字是我随便说的，还有一点就是一些pipeline 它可能一开始需要人类去逐步拆分，然后它慢慢随着模型能力的提升，就基本可以完整的交给模型来做，人类介入的力度也会越来越粗，从定义每一步怎么做，逐渐变成，我们可能只是要去定义一些，更上层更整体的目标，然后去定义一些约束，然后我们自己有一些，验收的方案，验收的标准之类的，尤其是比如说，你想象我们现在假如说 我们就是Ransom 来完成他们自己的工作流，所以自然而然，这样的一个LOOP 它就变化程度会不断提高，对，赵晨阳有什么补充吗，就是K3的Tech Report里面，写过一个点，就是K3早期Servin用的Kernel 甚至可以拿Checkpoint 直接去写，早期Checkpoint 就是说它没有完全，训完的那个模型，就模型训到中间的那个版本，就已经能做这个事了，对吧，是的，而且它早期的Checkpoint 就做Kernel开发，以后后面的Checkpoint 训得更快，这个事情是非常非常有意思的，我们在infra领域，把这个东西叫做KDA 不是KDA同时叫做KeyMate Delta Attention 但我们的KDA叫做Kernel Development 智能体 K3的TagReport里面，他们着重讲了 是怎么让K3去做Kernel优化的任务当中的，他们甚至有提到过，他们的环境设置，首先设置的任务，包括有单算子优化，还有巨型算子的融合，包括有Kuda,Chiton,Thunder,Kitten,Tylon 这些流派，也覆盖有BF16,FP8和FP4 然后他们设计reward的时候有两层，我觉得这个设计非常非常科学，第一个就是每一个kernel 他们会提供一个PiTorch的Venena版本，这个版本一方面作为性能的底线，另一方面也作为正确性的基准，如果KDA优化出来的kernel 数值已经超出了误差的一定程度，会直接被打零分，然后接下来，他们会找一些专家，去写一些高性能的kernel 然后会做这个 K3模型写出来的kernel 和专家实现的kernel之间的分数对比 如果Kimi K3写出的这个kernel 它越接近于硬件的物理上线，那么它的reward就会越来越高，而且他们也做了一些作弊检测，比如去惩罚这些恶意的 Kudagraph的重放，也会去惩罚一些，我们称之为打表啊，这种舒服舒服缓存的，这些投机取巧的办法，所以说K3其实最后，做Kernel Development的效果非常惊艳，所以最后，这个K3报告里面说 Kimi的早期Checkpoint 已经在承担大量的Kernel优化工作，这种Kernel上面的优化，其实也是，我们最近一直在尝试的事情，首先我们S2团队，也有非常顶尖的Kernel工程师，我自己认为他可能是这个世界上，最懂Kernel的那一批人了，他自己非常理解Kernel 也有非常好的Kernel的context 然后他只需要一个很强大的AI 来放大他对Kernel的理解，他自己就在大规模的用AI 来做Kernel的自主优化，可以说某种程度上 这就是Kernel这个领域的RSI 不过Kernel是一个，非常非常具体的事情，为了让RSI成立，这个事情需要很多的前提条件，首先它的reward要准确且便宜 Kernel就有这个很好的特点，就是性能和正确性，是很好的验证的，然后便宜的话，其实你基本上硬件跑一次就行了，你其实不太需要人工成本，另外的话Kernel也是一个，作弊方式有限的事情，所以恰恰好Kernel满足的，这个便宜可验证难以作弊的，这三个条件，有了很好的这个rewarded boundary 所以说我们其实可以让，这些Kernel development agents 在我们的这个boundary下面，去很好的自我提升，所以说在有验证器的领域，我认为RSI这个loop 已经在高速运作了，这并不是说模型开始自我进化，我觉得自我进化这个词很大，但是在某一个领域，能够在有限的 在清晰的边界下，完成不断的提升，这一定是可以实现的，而且这正在发生，至于整体上的ISI 我觉得这还是一个，非常久远的挑战，在你提现我的一个观点，就是我觉得ISI缺乏的，真的不是不完全是模型，是evaluation 是harness 不管你怎么叫，就是我自己很喜欢，称为这个东西叫做evaluate 我在读PSD期间，我很大的一个研究兴趣，就是怎么去对模型的能力，做有效评估，这也是很长一段时间，为什么我们看 2025年大家都在，用力的猛冲这个 math和coding 对吧，因为math和coding 相对而言，它就是更好评估的，比如说假设，晚点的新闻报道，你需要让agent去写，这个评估其实很主观，因为一个新闻报道的好坏，是需要，我觉得很有水平的记者，才能够评估的很好，对，但是coding的话，至少在那个时候，比如说让他去打deed code 这个事情是很好评估的，当然随着我们现在coding用的逐渐演进，比如说以前可能去写一个lead code 现在可能你想办法要给一个，硕大无比的仓库去做一些新的feature 这个事情其实也很难评估的，所以我觉得现在coding的进步会放缓一些，就前面讲的是，大家用K3一些比较好的反馈，然后VK来讲一下一些集中的吐槽 [00:25:16]

曼祺：一个是这次大家会注意到，其实K3它并不是上之前头的中国模型，走极致性价比的路线的，所以有的人会觉得它比较贵，这也不算一个缺点，就是它是一个特点，另一方面，就是前面也提到的，另一个就是它目前，使用体感上确实比较慢，然后这也导致有一些，下游的公司，比如说应用公司，没有很快地放到，自己的这个产品里面，这个我想请赵晨阳来分享一下

赵晨阳：就这个慢是什么原因导致的，比如说比较流行的说法，是觉得他们算力比较紧张，很遗憾，在一些模型开放的初期，由于这个推理，或者说Serving Stack 它的优化需要一点时间，模型可能会陷入到一个又贵又慢的尴尬经历，不过其实我自己体感上的话，我觉得K3的价格和速度都是一个合理的区间，甚至在价格上我觉得称得上优秀，然后对比起同期的其他模型，由于架构上的突破吧，我觉得速度还没有达到一个超越其他模型的一个状态，但是仍旧是一个合理而且且可优化的范围，我们可以先说一下贵这个问题，在我们比较在乎的agent的场景下面，成本有两种衡量，第一种就是说，它的价格上面标的百万token的单价，然后还有一个是完成任务的总成本，坦诚来说 我觉得如果我们需要用到K3线，还是需要完成一些非常高难度的任务，这种情况下，完成单个任务的总成本，才是有意义的成本口径，因为在长程的任务里面，不同模型对一个任务的消耗token的量，其实差距是非常大的，远远大于单价之间的差异，可能一个单价比较便宜的模型，会绕一倍甚至十倍的弯路，这样的话肯定会让单价更便宜的模型更贵，我其实有去看K3的Tech Report 他们分享了一些比较有趣的成本结果，比如说在Kini的Code Bench 2.0上面，是他们自己内部的一套Coding Benchmark K3会比着最强的那些模型低4.0分，但是成本只有对方的38% 然后K3在这个high effort的这个档 high effort是一个思考能力的那个参数档，在这一档上，他已经追平了其他的头部模型，在maximum effort的分数 成本还是只有大概30%左右，还有一个benchmark叫做browser comp 然后在这个benchmark上面 K3拿到一个非常好的分数，而且单个任务的成本应该也是相当低的，可能还是在其他公司模型的 30%到50%这个区间，当然这个贵肯定是对于消费者而言的，然后对于自己，比如说可能有的听众，他的公司比较有计算资源，可能会自己去选择SERV 这个成本其实非常难衡量了，包括我们现在见到存储也好，这个电力也好，还有水冷也好，这些成本其实很难纳入考量的，所以仅仅是靠官方的API来看，我认为K3的性价比是非常好 [00:27:01]

曼祺：我补充一下就是它的官方的定价的数字，比如K3的话，它输入每百万Token 换存命中的情况是 0.3美元，未命中的情况是3美元，然后它输出的话是 15美元，这个其实确实，比之前的中国模型，是贵了很多，那对比来说的话 V4它输入每百万Token 命中的情况是0.04 就K3这个是0.3 然后V4第二个就是，输入未命中的情况，是0.44 然后输出是0.87 其实我知道很多应用里面，跑得最多的应该还是V4 当然刚才陈瑶也说了，就是说其实你这个东西，也是要看，你不是光看那个标价的 [00:28:41]

赵晨阳：是看它做任务的，那个总体的消耗，可能还有个角度就是说，人类对智能上限的需求，是无穷大的，现在的这些应用，还没有一个想象空间，要用K3这种规模的强大模型，还有一个点，可以来讨论一下，这个慢的问题，就我的从业经验而言，模型发布后第一时间，能够提供的这个速度，反映的应该说是，这个模型的架构有多新 Serving stack就有多难，至于这个架构有多慢，这个事情其实不本质，或者说我觉得对于Kimi 或者DeepSeek这样的顶尖模型团队而言，他们的架构设计 [00:29:22]

K3的训练环境与智能体能力

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• K3的训练环境与智能体能力 [00:29:59 - 00:40:00]

K3的训练环境与智能体能力

赵晨阳：他们的架构设计，早就充分考虑了Serving和Training的效率，在后续一段时间，这块的成本是一定可以通过工程的优化打下来的，我们一般在推理这个领域的话，会把用户的体验分成三个指标，往往称之为，第一个token的延迟，或者说你发送一个请求之后，多快会收到第一句话的返回，然后第二个就是，单个用户的decode速度，或者说你已经开始收到模型的回复之后，它两个词中间的间隙有多大，以及还有一个你的队列等待时间，因为显然并不是你一个人在使用这个模型，可能在Kini他们的后台，会同时收到成千上万的星球，这个整个对列的流通速度是怎么样的，然后这三者的话，成因是不完全相同的，我可以分享一下两点，这个也可以解答一下，我觉得Kimi现在的算力，是一个什么样的状况 我们首先讨论这个，单个手token的延迟，这里主要是一个，钱追付用的问题，它不算是一个，很严格的算力问题，就像刚才曼琪也提到过，现在模型的这个价格都说，钱追如果命中多少多少钱，以及钱坠命不中多少多少钱，语言模型的推理，一个非常普遍的技术，叫做钱坠附用，我可以举两个例子，比如说A用户发给Kimi 今天你去超市买香蕉吗，然后B用户会发，今天你去超市买酸奶吗，这两句话其实是有公共钱坠的，今天你去超市买，这几个字就是这两个请求的钱坠，然后这个钱坠，在现在大语言模型推理范式，或者说这样的架构下，是可以被付用的，公共钱坠，不需要在每次推理过程当中，都重复计算，而且在KCR这个报告当中，其实有体现，他们对这个钱坠付用的一个看法 一个典型的coding场景，可能会带有40万token的钱坠，是付用的，或者说是非常非常多的用户会共用的，然后真正要计算的增量部分，可能每次只有4000个token 用户提交的新请求，在钱坠命中或者不命中的情况下，所需要的计算量，会差出很多个数量级，这也会体现在成本，以及用户的返回速度上，以及首token延迟这些指标上面，基本来说，前缀附用是决定了，首token延迟最重要的因素，反而绝对的算力是次要的 OK 当然另一个角度就是，为了支撑Keyme 这个上billion的夸张上下温长度 K3选择的hybrid架构，也让前缀附用的难度有所提高，因为传统意义上的KVcash 它术语叫做append only 换句话说叫只增不减，前方的前缀算完了之后，就不会再变了 这个前缀是不可能，会被其他请求改写的，但是Kimi采用的，这个attention架构，我们叫做Kimi delta attention 或者叫KDA架构，简单来说，这个KDA架构，会在前缀数上注留一块，为每一个token 反复覆盖读写的，固定大小的缓存，它不再是以往，在简单的前缀数上，继续往下添加，举个比方来说，我们通常的这个前缀数，可能是一个，只往后写的笔记本，然后你每次就是，从后往前撕一页给别人，然后你再继续写，对它其实会相对简单一些，但是K3的这个attention架构，可能是一个反复擦写的白板，然后你写靠前的内容，其实难度是很大的 OK 这块的话 K3自己的这个报告里面，有讲一些事情嘛，包括他们说，把前缀的哈希力度，还有物理块的分配力度，做一定程度的解网，然后试图让哈希只跑在 512个token的这样一个小块上，但是KDA的checkpoint会，落在哈希端点的西数字集，这个听上去非常的technical 对，然后我们团队的话，其实也会借鉴以及，做一些其他的优化，在SCDON上面的话，我们会想办法去让这块，反复被读写的状态，能够被跨越请求的安全，共享举个比方比如说，第一个请求再读一块前缀，第二个请求会稍微改写那个前缀，那么如果这个时候有第三个请求，想要去读这块将会被改写的前缀，这是有一些安全性需要考虑的，你不可能在别人读的时候，直接把这块改了，否则你读出来的内容是崩溃的，而且最糟糕的情况可能是，你不可能边写边读，这样你可能前一半是正确的，后一半就是错误的，这里其实会有很多技术上面的考量，但是具体来说的话，我们会有些很有意思的词语，比如说copy and write snapshot 还有donate 这些词都是来自一些，操作系统上面的原语，然后这块优化就很深了 [00:34:32]

曼祺：然后欢迎对这个，比较感兴趣的朋友，可以参考我们 S浪团队的技术博客，那回到开源这个事本身，就包括最近美国的一些讨论，就是否要限制开源，从技术上来说，开源它有可能被限制

赵晨阳：开了之后的模型是怎么样的，这绝对是不可逆的，有点类似于大家都三体对吧，地球的坐标一旦广播出去，这是不可能收回来的，你没有任何方式去销毁，你已经公布出去的物理信息，开源也是一样的，就是权重一旦发布之后，它就是一串可以被批量复制的文件，而且开源的情况也不单单，只是下的一份权重这么简单，社区可能会做非常多的镜像，可能会有些公司拿去做量化，有的公司会拿去做微调，微调后的衍生的版本的数量，会指数及增长，所以说下架这个动作，对于已经开源出去的模型，根本就不成立，然后另一个角度就是，政策层面的事情，就是开源模型该不该得到什么限制，正如我说的，我对于以后开源模型的走向是很迷茫的，现在已经有了非常多，大量的公开强大的模型流通了，你们觉得再往下的话，这个开源模型逼近避源的时刻，会不会有人强到一定程度之后走向避源 这个开源接近于避源的一个时刻，我个人感觉这个事情其实很罗乎，开源接近避源，我们要怎么去衡量这个事情，因为模型只是整个AI生态链的一小部分，这事实上关于模型的产业，上有可能有数据硬件，然后下游还有分发渠道，还有我们说的这些推理，对吧，我的一个观察是，我认为模型本身，在AI产业链上的比重在下降，这次K3的开源我们也看到了 K3爽快的开发了，开放了全众，包括MoonEP 还有Flash KDA 还有Agent Eve 这些基础设施也都开源了，然后包括他们之前做的 Mirror Clip也开源了，但是他们的Io的Environment 都没有开源，他们在报告当中提到了，有一个用于自我演化的知识图谱的，任务系统，这个也没有开源，然后包括他们说，这个K3其实是一个专家merge 他们这些原始的专家的，这个TripPoint也没有开放，这个开放并不存在任何问题，因为现在行业内的开源公司，也很少会真的去开源，比如说什么IoE Environment 这些东西可能开放出来，也有很多安全风险，但是我觉得没开的这个部分，是这些公司很深的护身盒，而且这个护身盒，一大部分来自于环境，权重是一次训练的产物，但是环境是能够反复复用，并且产生出下一代权重的流水线，我们得到了K3的权重，全世界都可以得到这代模型的智能，但是全世界仍旧没有得到，怎么造出下一代智能模型的这条流水线，开放权重只是缩小了顶尖模型，就是顶尖避免模型，开源模型之间的能力差距，但是我们并不确定，顶尖的开源模型和顶尖的，闭源模型它们之间的迭代速度，会不会缩小，比如说可能Kimi 假设说国内的模型可能要六个月左右，发100圈，但是OpenAI可能它们三个月就发了，当然我其实不太确定现在国内模型的，开放速度是什么样子的，但是迭代，模型迭代的循环是需要环境，需要验证和需要算力的，这三样已经超出了权重，然后如果，这些所有东西都达到一个完全开放的状态，我觉得开源超过币源就是必然，但是很遗憾，现在不是这个样子的，当然我们公司主要维护的开源推理引擎，也是为开源模型服务的，我们当然希望开源模型越多越好，对这是我的一些point 开源是否逼近币源 [00:37:32]

曼祺：本身这个结论就是打问号的，对，开源有一个大家一直以来认为的弊端，是你的用户部署了你的模型之后，比如他自己部署，没有用你官方的API 你的数据就无法回传给自己，而币远的生态里是像OpenAI和Anthropic 它通过API以及他们自己用户量非常大的应用，可以获得很多真实环境，真实场景里，真实用户的真实的高质量的一些prompt [00:38:11]

赵晨阳：总结而言，你们心中K3是一个怎样的成果，我个人觉得从公开发布的模型来看 K3它作为一个，首个达到这种3T级别的开放权重模型，我认为好不夸张的说，是一个里程碑级别的成果，其实我觉得从历史发展的角度来看，这种开放权重的模型的规模，从数百币级别到后来的1T以上，到今天3T级别，它确实是非常非常振奋人心的这么一个进展，所以我自己个人是很期待，看到后面开放权重模型，去接着向上scaling的，这次K3发了之后，我看到Kimi的连创周星宇Team

曼祺：他在朋友圈的有一条分享的转发语，说的是 Have faith in scaling and RL scaling和强化学习有信念，那下面我们来聊 K3的具体的技术报告里，一些更细节的技术改进，这个是7月27号刚发出来的，可以先说一下 K3在架构上的，整体思路是什么，亮点是什么，我自己理解K3 architecture 就K3架构的整体思路 [00:39:14]

赵晨阳：就是他们会想，同时把语言模型在处理信息，然后这个信息，它在不同方向流动，做得更加的高效，就比如说他们在序列上，他用KDA和GTMLA 这样的一个hybrid attention的这么一个结构，就是混合注意力的这么一个结构，在大部分层里，他更低成本的可以去处理上下文

K3的推理速度与模型架构

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• K3的推理速度与模型架构 [00:39:58 - 00:50:01]

K3的推理速度与模型架构

赵晨阳：他更低成本的可以去处理上下文，同时周期性的保留这种全局的attention 他们在深度上的，就比如说用了attention religious 这样的一个技术，让后面的层，他可以去选择性的读取前面层的一个表示，如果就让我挑一个，我比较关注的亮点的话，我觉得 Loop是很有意思的一个technique 就具体来说，就是K3的这么一个 K3的这个语言模型，它没有使用一个显示的位置编码，就是Positional Encoding 就比如说至少从，公开的这个technique report来看，像同期的DeepSeek V4 JM5.2 包括像MiniMax M3这些，其实后面这些模型，它们都还是保留了Partial Rope的，所以这个选择，我觉得是比较special的，当然了这里就是说，模型它不用这个位置编码，模型其实还是知道 Token的这么一个先后顺序的，就具体来说，它在这个KDA 也就是KMEDETA Attention里面，它在做这个Recurrent State的更新的时候，以及包括里面的一些Gating 和Decay这样的机制，它本身其实就是，对于顺序是敏感的，它已经去隐私的去编码了，像Assession和Reciency 这样的一个信息，这里还有一点就是说，需要提一下的就是，我们现在去训练一个，长上下温的模型，比如说这种达到1 billion context的百万级成像爱文模型，一个常见的做法呢，叫做progressive context extension 就K3其实也是这么做的，就是这台说，比如说我们在pre-trim的时候，我们先进8K 然后再扩到64K 然后在后面的阶段呢，再逐渐的扩到256K 然后直接达到这个 1 billion的这种级别，然后我们前面说的这种node 就是说，它不使用显示的 positional encoding 不使用显示的位置编码，一个直接好处就是 我们在去扩展context的时候呢，其实我们对于，位置编码这一层，它就少了一个需要去单独处理的环节，就比如说如果你用ROP的话，你可能就要去retune一下ROP的base 或者去做ROP interpolation这样的一个technique ROP这个选择它其实也不是K3首创的，就K-mini其实也已经采用过了 K3我觉得比较或者说非常impressive一点，就是它把这整套的设计，它去skill到了一个3T的级别，并且就成功支持到达这个1-mini contest 就是百万圣像纹的长圣像纹，对 Keyme Linear是它去年下半年，发的一个，就参数比较小的模型 [00:41:38]

曼祺：我觉得它当时，就是在试一些 K3里面可能会用到的，新的技术，包括KDA 就是我们前面提到的 Keyme Delta Tension 就Keyme的线性和全局，混合的这种注意力方式 K3也用了，也是在Keyme Linear里面，提出来的，其实Rope最开始，是苏建林提的，这个我觉得也挺有意思的，就像我们之前，聊V4的时候，其实后来就 V4就没有用MLA了，这个也是DeepSeq 给业界的一个，挺重要的贡献，然后苏建林也是KIMI的，一个很核心的研究员，因为他这次，就是K3他还是一个 MOE的就是这种混合专家模型，那里面比较重要的，一个这种东西，就是路由专家的分配，这次K3是提了一个 Quantile Balancing 分位数路由均衡，是他们在路由策略上的，一个创新，这个也想请智源来说一说，就是他解决了一个什么问题，因为KIMI自己是说，他是解决了，就是MOE这种模型，在大规模训练的时候 会崩溃的一些问题，你可以讲讲，为什么以前的方法，比较容易崩，那这个改进，它是K3可以，适应到接近3T的，关键之一吗，对，上面提到，它可能会崩溃的，这个车友超参数，我其实觉得，本质的问题是 [00:43:11]

赵晨阳：这个叫做，专家负载均衡，或者说 expert load balancing 这样一个问题，据悉来说，我们MOE 这样的一个，混合专家模型，它里面的每个token 它每次就只会去，选择一部分 routed experts去激活，然后我们其实，希望从成局来看，各个专家，他被选中的频率，是大致相当的，否则会有什么问题呢，就是说在模型层面，一些专家，他如果得不到，足够的token和T2 他在训练的时候，就不太充分，就没有办法去充分发挥，他这个专家的，这些参数的容量，而且还有一些问题是，比如说另外有一些专家，他如果收到token太多了，那其实对infra 也不是一件，特别友好的事情，针对这个问题，其实最早期的，一个普遍的做法，是在MOE模型训练的，这个loss function里面，去加一个auxiliary的，这么一种load balancing loss 那它的核心思想就是说，我们用一个额外的，这么一个loss的这个term 我们去鼓励不同的，这个专家的选中频率，更加的均匀，这个方法呢，整体来说还是比较有效的，但是呢，就是你加这个balancing loss 你就somehow需要在模型，在训练的时候，在模型质量，和你负载均衡的，这个效果之间呢，去做一个权衡，那如果有这么一个问题的话，这其实它经常可能会，是训练不稳定的这么一个罪魁祸首吧，然后之前DeepSick 它V3的一个重要改进呢，就是我们其实就是把上面说的这种，我们去添加一个Loss的方式，它用来去做这么一种专家的复杂均衡，去把这Loss给去掉了，换成了一种Bias Update的方法，具体来说呢就是我们会，我们在选那个Experts的时候，我们其实也是用一个神经网络，一个Router它去打一些这个Routing的Score 打切这些分数之后，然后再根据分数去选这个expert 然后我们给这个routing的这个score 去加一个bias 然后我们去在训练过程中我们去看，但如果一个专家他过热，我们就把bias去调低，如果他过冷，说白了就是接收到token太少了，我们就调高，这个bias它只影响去选专家时候的机制，所以我们就不需要一个额外的，一个上面说的这种loss 去改变一个训练目标，但是V3这一类的方法，它对bias的更新是固定步长的，相当于就是你每次，如果加个bias或者减个bias 你是加一个乘数或者减一个乘数，所以每一步我们就只知道，这个专家它是更加被频繁的选中了，就是说吧就过热了，还是说是过冷了，然后我们就按照一个固定的步长，去向上或者向下做一点调整，所以这里仍然是需要去调步长的，这么一个超三，所以这次K3 我觉得这次它提出的这么一个 quantum balancing的这个做法，它其实就会直接应用 router的这个分数的一个分布，来去估计说，我们应该去做多少的调整，比如说在K3里面，它的这个status 大概是说我们每个token 要在896个，这个routed experts里面，去选择16个，然后我们的做法，大概就是我们先去看，我们当前的这个token 它加上当前的bias以后，排在第17名的这么一个分数，那这个分数，我们就可以把当选进入，前16名的这一个门槛，就是算出最高的16个，是最后被选中的这些Experts 然后我们对于某一个Expert 我们其实就可以观察，它在整个Batch里面，它距离每个Token的门槛还差多少，什么意思呢，就比如说我们直观想，我们现在往一个Expert 他在Routing的时候，他的那个打分上，我们如果给他加的Bias越大，那是不是就意味着，他能够跨过的这个门槛，这个Token就越来越多，所以我们就可以根据这些差值的，这么一个你可以说叫Content 就直接去算出一个新的Bias 使得相对于当前的这批门槛，我们大概会有16去除以896 这样一个相当于一个均衡比例的token 会选择这样一个expert 这个seed bias我们就现在就算一下，然后从下一个step我们开始使用，这样我们就也不需要去前面说的，像deep seek那样做法，我们需要有一个固定，一个更新不成这么一个超参数，所以我觉得就是，对于K3来说，像Rootly expert 它有快将近1000个了，然后每次我们还只选择16个的话，这其实是非常非常极端提出的，那确实可以猜想，我们要想要去稳定的，而且有效的快速的去保持，这样的一个负载均衡，会变得更加困难，所以我个人猜想，它确实应该是 K3这次能够成功 skill到3T级别的一个，比较重要的一个因素之一吧 是不是在V4里，那个路由的改进，它更多是知道，我一个专家的性质对吧 [00:47:01]

曼祺：就是你说过冷过热，但没有那么精细到亮，然后K3里的这个改进，就是它是更精细到亮的，就是我知道它，比如说过热到什么程度，或者过冷到什么程度，对对对，我觉得这个也是，说进来说思路不太一样 [00:48:02]

赵晨阳：就是我觉得像当时DeepStake的思路，更像是一种逐步调整的思路，然后到了像K3的时候，它的这个思路更像是我，直接用一个History Info 用历史信息去估计一下，这个BIAS多少特别合理，然后下一步，直接加上这个BIAS就行了，就不再去做一步一步的逐步调整，我个人觉得两种也确实各有优劣，我觉得最后说白了就是，谁也跑出来哪个效果很好，就用哪个，那我们接下来讨论一下它具体的模块

曼祺：其实就是你发现这些模块，和我们当时讨论V4也是相似的，就包括它的注意力，然后包括残差，包括优化器等等，我们可以先从注意力开始，这个前面也已经多次提到了，就是这一次K3它是使用了KDA 这种Kimi自己之前提出来的，一个新的注意力方式，那V4的话，它其实是一个三种注意力的混合，总体是稀疏注意力优化的这个方向 K3这一次是KDA Kimi Delta Attention 它是线性注意力和全局注意力混合的一种方式，之前在143期的节目里面，我们也和Delta Light的核心作者之一杨颂林，有专门聊过线性注意力的模型，那大家想去了解一些背景的话，也可以去听之前的节目，我觉得K3这次直接在这么大的规模上，用了线性注意力，应该来说还是个比较大的，或者说比较激进的改进，它的好处是，效率的提升是很明显的 但一般来说，就大家会认为线性注意力，它会在效果和性能上，有一些损失，志远你可以来讲讲，就是K3它这次用的这个KDA 是一个什么样的改进，给业界的启发是什么，它是怎么去平衡，可能以前大家会认为的，就是你使用线性注意力的一些弊端，对我个人觉得，这是一个比较大的进展 [00:49:35]

赵晨阳：就K3路线，就像刚刚说的那样

KDA与混合注意力

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• KDA与混合注意力 [00:49:59 - 01:00:00]

KDA与混合注意力

赵晨阳：就像刚刚说的那样，它是让大部分层，去使用一个更高效的 linear attention 也就是KDA 然后同时去周期性的，保留这种Gated MLA Gated MLA 它用来提供，给所有历史token的，这么一种直接的，全局的attention 最后他将于把，接近四分之三的，这种attention layer 都换成了KDA 也就是一种 linear attention的实现，而且最后做出了一个，非常frontier level 这么一个模型，就这套混合架构本身，之前其实 KB Linear也已经验过了，但当时它其实模型总参数，大概只有48B 50B这种级别，那K3呢就相当于，直接把它放大到了接近3T 也就是说这总参数规模，接近放大了60倍，这其实是一个非常非常大的一个进展，其实比如说之前的Coin 3.5 它是一个大概400B的模型，它其实同样也采用了，三层Gateway Datanet 再配一层Gateway Tension的，这样一种3比1的设计，那K3呢它其实进一步把这种，以linear tension为主，周期性的去保留 global tension的这种 hybrid的这种attention架构，它直接给skid到了，接近3T的这么一种，相当大的一个级别，在这里其实值得一提的是，像DeepSeek微自，它其实走的是另一条路线，它没有去使用linear tension 而是仍然在softened max的tension 就正常的tension的框架里面，通过KV compression 以及sparse的tension 这样的一个hybrid 来提升受下温的效率，这是不太一样的一个路线，所以我觉得这次K3带给我，以及包括很多人的启发，可能就是我们其实并不需要，把Full Attention和Linear Attention 去理解成一个二选一的这么一个关系 Hybrid Architecture确实是一个 很有前景的方向，简单来说就是你可以，不同的Attention 它承担不同功能，就比如说大部分层我们追求效率，小部分层我们去，就是保留一个高容量的，这么一种全局的Attention 保留这种Global Interaction 其实K-SAT就像已经有效证明了，这套方案它是完全可以SKILL到，接近3T的这样一个，非常非常frontier的这么一种SKILL的，我想补充问一下 [00:51:43]

曼祺：就是它现在3比1的这个混合比例，三层线性注意力混一个全局注意力，是怎么决定的呀，就去年我和松林聊这个线性注意力的时候，因为其实实际上大家用的线性注意力，一般都是要混全局注意力的，他当时跟我说这个怎么混，主要是靠经验是实验出来的，现在有了更多的，比论方法，或者说总结出来的规律，来指导怎么去混合 [00:52:07]

赵晨阳：从公开的资料来看，这个比例的决定，本质上应该还是靠，就是去靠做实验，之前Kimi Linier 他们专门在一个 16层的一个小模型上，就是上面提到的，这个48米的一个模型上，他比较了不同的配比，他们当时的一个结论是 3比1 他们在这个测试级，或者说在这个叫做，验证级上它这个效果是最好的，就是那个populacy指标它是最好的 1比1的时候基本一样，但是负碳层更多，推理成本也就越高，所以K3呢基本上就沿用了这个 3比1的这个比例，然后最后再去额外的加一层GET的MLA 保证我们整个模型的结构，最后一层一定是一个global的attention 你说1比1是一样的，就是说效果是一样好的，对对效果更近，但是因为负碳层更多，所以相当于它就效率就更低，对 所以像K3这些Pulse 他们其实也没有说，他们在接近三期的规模上，就重新去扫描过各种比例，毕竟你可以想象，这肯定非常非常贵，就一般来说的话，在模型训练的团队里面，就这种特别特别昂贵的 ablation study 尤其是这种architecture ablation study 都会先在小模型上做，然后再去研制skilling law 去验证整套的，像architecture 包括room recipe 能不能稳定的放大 K3它确实去，也做了一些整体的，这个SCALE的study 但是它主要验证的，还是整套K3的这么一个recipe 而不是说我们把哪个细节挖出来，所以3比1到了3T 它不一定说一定百分之百就是最优解，但是它目前作为整体设计的一部分，它其实我们看结果，它已经很成功的SCALE上去，接下来的一个问题 [00:53:24]

曼祺：就是说它因为K3是一个，百万上下纹的模型，其实上下纹非常长，它在这么长的上下纹里面，它是怎么去解决，就以前线性注意力，可能会有的这种遗忘的问题 [00:54:13]

赵晨阳：这也是一个非常好的问题，我们先要把遗忘这一点，说得更准确一点，就是说因应attention 它在设计上，其实一般来说，大家会认为是一个trade off 就是它会把任意程的历史，去压进一个固定大小的recurrent state 就比如说在K3里面，对于KDN层来说，那这里好处就是说 cache和每一步的计算，它不会随着上下文，去一直增长，代价呢，就是说我们不同的信息，会在有限的这些状态里面，就会互相干扰，就会导致什么呢，就特别早啊，尤其是那些特别细节的信息，可能会被覆盖掉，所以问题的根源，其实在于就是，这里的这compressor呢，它因为是一种，就是固定state的，它本身呢，就会存在这个，容量的瓶颈吧，当然了就是其实 KDA它做一个 Leading Attention的，这么一个 Varant它在用，它用了其实一些technique 它把就是这些事情，它做得更聪明了，就是说他们用的像DataRule 像ChannelWiseForGetGauge这样的技术，就简单来说，他每次可能先看 Memory已经预测出了什么，然后我们只需写他，在预测的时候的偏差，然后同时不同的Channel 可以学到不同的保留时间，除此以外，比如说K3 他们还给每一步的RetentionFactor 去加了一个LowBump 这个其实在TechReport的飞鸽3 那里有一些分析，感谢朋友可以自己看看，就简单来说，它直觉上也可以去限制，过于激进的顺势遗忘，但我觉得其实上面说了这么多，就是KDA它特别聪明的一些设计，其实我觉得它，更多还是，更好的去管理这种有限的memory的一些手段，就是它并不会说从，根本上就消除上面说的这种，容量瓶颈的问题，说白了就是你在计算的时候，多部累积之下信息呢，还是会衰减 所以我个人感觉，推算它解决这样的一个，百万上下位级别遗忘问题的时候，真正答案呢，还是因为做了这个 hybrid的结构，就像我们前面说的那样，我们每三层的KDA 会加入一层Gated MLA 最后一层也一定是一个MLA 那MLA呢，它是这种global attention 它会就是说保留，对所有历史token的，这种global的interaction 所以模型它其实并不需要，我们KDA就把这100万，上百万级别的这个token 它每个细节都压在，它的这个recurrent state里面，就上面说的，其实也很困难，但因为有这个MLA 那MLA呢，提供了这种Global的Interaction 就是这种全局的这种Attention的这么一种机制，所以我觉得它应该是一个缓解遗忘非常关键的一点，其实像比较早的时候 [00:56:13]

曼祺：MiniMax的M1那很早了 25年年初的时候，他们也做了这种混合的方式，后来他们又换回了Full Attention 就思路是一样的，然后效果不一样，我个人觉得很多时候

赵晨阳：它的这个做很多事情的bar主要还在这个Exclusion 就在这个执行上，有东西能做或可能不能做或可，不代表这个技术路线本身make sense 还是不make sense 他可能说就是，具体实现的时候，比如说数据不一样 infra不一样 [00:57:10]

曼祺：然后做这个事情，它有很多小细节不一样，它最后可能就都很不一样，注意力结构的变化，它也会带来一些infra上的变化，就赵晨阳正好可以 Covic 像我们上次在讨论VS的时候，也讨论了，系数注意力和线性注意力，这两种改进方式，你当时提到说，你觉得线性注意力的理论优势，可能要再等几代，真实的大模型的验证，那可以说K3现在，它其实已经验证了

赵晨阳：线性注意力的一些理论优势吗，包括这种新的注意力结构，它会给Infra带来的一些影响和变化是什么，我觉得我之前的判断还是很有道理的吧，我可以诚实地更新一下我的判断，然后也欢迎大家在听之前，我们在晚点的podcast里面，讨论DeepSeq V4的那期节目，我当时提到的两件事情，第一个就是线性注意力的理论优势，是需要几代真实的大模型来做验证的，第二，吸收路线在工程上面更可控，和现有的KB Cache Prefix Cache 这些基础设施的接收性更好，首先K3对于线性注意力，这个路线的验证，实际上每次有新的大模型发布，我的朋友圈都会围绕着，线性注意力还是吸收注意力，吵成一片，所以我觉得非常的，好吧，不论是一算还是做算法，都是这个感受吧 K3的话毫无疑问，是对线性注意力的一个有效证明，一个2.8T的主线模型，而且Median Token 并且使用了Nope 然后K3的MIA层，完全不用加位置编码，位置信息就全靠 KDA的地推门控，还有衰减来提供，这样的话，就是它扩展到百万的，这个Median Token的时候，不太需要重调，类似于Rope的这些频率，底座等等，也不太需要像Yarn一样，专门去做差值，外推起来是非常自然流畅的，这个设计和效果，当然是非常好的，然后第二点我说，这个吸收注意力，在工程上面会轻松一些，这个看法也没错，这段时间我们SCLang团队，也花了很大的精力，去尝试把线性注意力，需要的recurrent state 也纳入到 EO的prefix cache体系当中，就让K3这种hybrid KDA MLA模型的潜质负用，能够达到和全注意力模型，一样的通用性，长期来看，线性注意力和，系数注意力的兼容性差，这件事情可以逐渐被工程弥补，当然代价就是 我们的抽象会比以前更腐烂一些，对吧，另一个角度说，这个线性和系数，也不是一个二分的问题 K3选择一个三比一的混合，这个每个block 三层KDA 加上一层的Gate MLA 然后 overall这个backbone 最后还会有一层额外的MLA 线性的部分，是靠KDA来提供这种，我们所谓的位置，敏感的序列嘛，然后全局的部分，就是靠MLA来提供这种 [00:59:36]

线性注意力、MLA与长上下文

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 线性注意力、MLA与长上下文 [00:59:59 - 01:10:01]

线性注意力、MLA与长上下文

赵晨阳：就是靠MLA来提供这种，不受限的那种交互，其实这个体现的模型，也非常强大，所以我，对比我说，对吧，这个线性和系数，哪一条会胜出，我更愿意相信的是，任何一个能够在百万上下文，这个水平上，把成本，类似于我之前讲的，这个KVCash的Transfer成本，类似于我之前讲过，这个Preview的一次成本，当然我们之前可能也，之前也讨论到一些，这个Routing的成本，这些成本能够压下来的架构，它大概率都是易购的，然后易购的模型架构，对于我们SGDON推理框架而言，需要持续性的，同时维护好多种形态，和生命周期的attention 抽象架构，这是一个巨大的工程考验，这也是我们团队，这个工程能力的体现，那我觉得挺好的呀，这事越难，就是说它的工程工作越多，其实你们做的工作越多，你们的价值会越多

曼祺：希望如此 OK KDA就是这种，线性混群取的方式，它因为理论上，就是你加了线性，其实你的效率会提升嘛，这个也可以讲讲，就是比如说，你们在做适配的时候，观察到它效率的，有哪些提升，还是比较惊人的，其实他自己的技术报告里有写到，就是说他有实现了，在百万token上下文场景下的 6.3倍的解码加速 6.3倍这个值 [01:00:53]

赵晨阳：其实不是Kimi K3报告里面的严谨值，而是Kimi更早的 Kimi Linear论文里面的数据，不严谨来说，在平样的模型规模下，线性注意力为主的混合架构，比起传统的全注意力架构，在100万token这个全上下文量级，混合架构生成的token速度，是全注意力架构的6.3倍 6.3倍是一个非常可观，乃至令人惊讶的数字，我可以简单解释一下，模型的decode阶段，每吐一个token 都必须要把整个请求的，全部历史上下文读一遍，全注意力架构的历史，是整个kvcash 它是跟着上下文，长度线性变长的 100万token的kvcash的长度，近乎是1万个token的100倍，上下文越长，越靠后的token 它的这个开销是越大的，然后线性注意力，则试图把请求的历史信息 压缩到一个固定的 recurrent state当中 100万token和1000token 它们的线性注意力的recurrent state 几乎是一样大的，我也分享一些我们SG让团队，为K3设计的推理站的实际素质，来为大家提供直观体验，这个Kini是69层的KDA 加上这个后面应该是24层的MLA 那么69层的KDA 给一个请求分配的历史信息大小，基本就固定在54MB 不论长短，然后这24层的MLA 是全局的注意力，然后它会为每一个Token 额外的分配27KB 那么一个百万上下文长度的请求，在MLA上的开销，大概就是27GB 听上去是一个54MB 加上27GB的组合，但是如果先前的69层，也是全注意力，那就不是54MB了 而是额外的几十GB KDA和MIA的组合，节省下来的存储大小，进一步反映到 KBcash的搬运成本上，然后某种程度上，让整个推理速度快了6.3倍，然后最后一个问题就是，什么情况下，这个6.3倍的体现是最明显的，毫无疑问是，长的Agentic Coding 如果每一个Agentic Coding请求，都消耗上百GB的KBcash的话，最强大的HBM缓存 [01:03:07]

曼祺：也撑不住几十个请求，就除了KDA这个新的注意力机制之外，这次K3的另一个新的东西是Attention Residues 这也是之前他们发的成果，是今年春天的时候发的，然后当时马斯克还转发过，我觉得他用到K3上的速度是非常快的，这个我也可以补充一个，就是我了解到的信息，就其实在做Attention Residues的时候，差不多就是K3在定版的同期，所以其实当时要不要直接把这个东西放到K3上，还是说我再放到下一代模型上，其实他们内部是有一些讨论的，后来杨志林也是拍板做了这个决策，就直接放到K3上了，它是很快就进到一个主线模型上的一个成果，正好我们上次讨论V4的MHC的时候，也是讨论到了Kimi的Attention Residues 是有一些异曲同工的作用，就是想追求的效果是一致的，想先请志远和大家简单的介绍一下 Attention Residues是一个什么东西，它的作用是什么，它是在模型里的，就比如说哪一个模块，或者哪一层发挥作用，我觉得Tension Reduce [01:04:27]

赵晨阳：它解决的主要是模型，它在这种深度，就从浅到深方向的，这么一个信息流，最早的时候，最标准的这种Reduce Connection 它在展开以后，当前Layer它看到的，它本质上是Embedding 以及之前，它所有比它浅的Layer的 Auto Pro的职业相加，而且这里每一项的权重，它本质上就稍微都固定为一，职业加起来，其实你随着模型，越来越深越来越深，这种register stream的，它的这个大小，它就会不断不断的增长，那这就导致个什么问题呢，就是你每次新的一个layer 你新写进去的这个信息，它其实就会被逐渐的给稀释掉了，而且同时你对于后面layer 就更深的layer来看呢，它没有一个，一个直接的机制去说 OK 那我现在我要去选择，我现在更需要前面的哪一层，或者说哪些layer 哪些层的这种representation 其实atlasher registers的这个idea 它非常非常直观，就是我们把我们正常的 atention去旋转一个90度，比如说简单来说，正常的atention 你是在token之间，去算那个匹配的分数，然后去做选择，那其实atention 本来就是在layer之间做选择，层之间，对对对，就是会在层之间做选择，但每层各自会有一个，可以学习的一个sudo query 这个query在所有token之间，都会共享，而这时候，它会和当前token 在不同深度的reputation 做一个匹配，然后再通过像softmax这样，去决定应该从哪些更浅，就是更靠前的这些层里面去读取信息，当然这里虽然query本身，它是固定的参数，但是不同token在各层的representation 它是不一样的，所以最后它的attention的权重，它还是会随着token的内容变化，所以这主要就是attention residues的一个原理，之前其实V4的那期有聊到过，就是MHC和attention residues 它其实想追求的效果是相似的 [01:06:22]

曼祺：就是你最开始前面也提到了 K3的整体思路，也是把信息在不同方向的流动，都做得更有效率 attention residues解决了，就是你刚刚说的，层之间的这个信息的流动，那回到这两种方法上，巨员你觉得

赵晨阳：它有哪个潜力更高的这种区别吗，这个问题，就是他们这两种方法，他们肯定还是想解决，同一个大的问题，就是上面提到了，你标准的这个relative connection 它在深度方向的信息流，它是太单一了，当然这两种方法，他们解决的思路就非常不一样，就这里我可以大概说一下，就非常宏观的，很直觉的一个idea 那MSC的做法，它大概就是我们会维护多条，之前就一条并行的这种regio stream 那每层我们会先动态的，把这些stream 它混合成这一层的输入，然后再把这一层的输出，分发回不同的这个stream 同时它这里还有一些实现上，它这些设计上的一些细节，就比如说他们会regio mixing 加上一些约束，然后去保证信息 Gradient这样的东西，它在模型变身以后，不会被无限制的放大，然后像Tenture Regulus呢，其实就像我们刚刚说的那样，它更像是什么呢 就是你能说它更像是每一层，我们去提供了一个历史目录的信息，然后这样的话，它可以去直接去找前面某个阶段产生的信息，然后选择性的把它挑回来使用，我个人感觉呢，就是如果你只去讨论这个架构的这种表达能力的话，只去看那个理论上的上界的话，那可能你说Tenture Regulus的上限更高，这个是make sense的，就毕竟呢，你想MHC的这个，刚刚说的这种原理，它最终说白了，还是把所有的历史信息，它都递归着去压缩，在这种固定数量的，这种regulus streams里，那full attention的这种regulus呢，它其实就有一点点像，在每个token上，我们对于所有的这个，比我们更浅层的那些层，它的输出形成一个深入方向的，这种下三角的这种，注意力的这么一种map 一种attention map 所以其实我做一个，很不恰当的比喻 但是形象来说，它就有点像，我们在，层的这种深度方向上，一个是recurrent model 一个是soft max attention 那MHC呢，就它的信息，要通过大小的state 一层层传递，有点像这个linear attention 对吧，那Full attention 它就可以直接去，跨层的读取，那从表达力的角度，那肯定是 Full attention 这个还会更高一点，你刚那个比喻，意思就是说，它在层的角度，一个是RNN 对吧，一个是个transformer 对对，或者linear attention 它其实也是RN的变体，但如果就是说，我们想讨论最终的实际效果的话，我觉得还是要看，大家具体的XQt的细节，就比如说像K3 它其实用的也不是刚刚说的那种，就是完全global 所有层之间都能互相attention的结果，它做的其实是一种，叫做block attention reduce的这种technique 它不是理论上表达能力最完整的那种 for attention reduce 就是说它会先把层分成很多block 然后它会先把每一个block里面的，层的输出给汇总，然后在block和block之间做attention 我想到这个有点就像吸收注意力了，也in some sense yes 然后再比如说attention radius 它其实需要保留更多的历史的replantation 就这里也会带来一些像infra上memory 和communication的这种成本，然后msc其实也有一些自己infra上的问题，所以我觉得就是最终的效果，肯定要看其中的细节，当然我觉得就是目前你可以确定的是 k3和v4它已经分别证明了，这两种路线，其实都可以去skill到，非常frontier的一种级别，所以未来到底哪一种路线，会更有潜力，或者说它能做到一个更好的效果 [01:09:14]

训练方法、数据策略与模型能力

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 训练方法、数据策略与模型能力 [01:09:59 - 01:20:00]

训练方法、数据策略与模型能力

赵晨阳：或者说它能做到一个更好的效果，我觉得其实还是很拭目以待的，对我觉得就是前面，因为讨论很多东西，它是对比着来看的嘛

曼祺：包括前面说线性和系数注意力这些，就你们看到有一个趋势，好像是条条大路通罗马对吧，就大家反正会有不同的实现方式，但大家看到的问题是相似的，就是说行业里大家看到的瓶颈，或者要解决的东西是相似的，下一个话题是优化器，和V4一样，就是这次K3里用的也是Mirror的优化器，而且Mirror这个优化器，之所以它能被比较规模化的使用，其实本身也是Kimi自己更早的时候，它的一个成果Mirror Clip 然后它也把这个成果贡献给了业界，基本上是现在比较主流的一个优化器的方法，然后这次在K3里面，他们自己又有更进一步的改进，是提出了PerHead Muon 然后这个想请志远，可以再帮大家讲一讲，一个是说优化器，为什么比较重要，它核心解决模型的什么问题，另一个就是K3 这一次里使用的这个Muon的优化器 PerHead Muon优化器，相比于之前K2已经在用的Muon 它的一些具体的改进是什么，对那其实优化器，它是相当于模型训练，不止语言模型训练 [01:11:01]

赵晨阳：就深度推行模型训练里面，它非常重要的一个组件吧，它是解决了核心问题，说白了就是我们现在有个模型，然后每在训练过程中，我们的batch算出一个梯度之后，那我们怎么把这些梯度，转换成一次非常稳定，一些有效的参数更新，而且是从长远来看，比较好的一个参数更新，就比如说我们在训练一个模型的时候，我们会设计loss function 但是其实说白了就是，我们要优化的东西，然后梯度就告诉你局部大概要往哪里走，其实优化系它就会决定最终，要采用什么方向，走多大一步，然后我们怎么去利用一些历史的梯度，去降低噪声，去处理不同方向的尺度差异，去处理不同方向的各种冲突，可能等等的这些信息，其实一个好的一个优化器，它通常意味着，在相同的训练的极杂量下，我们可以收敛的更快，最终的loss更低，而且还有一个很重要，就是稳定性 对就是我们不希望，我们在训练过程中，出现太多不稳定的这种spec 就Mewon它本身的核心，是说我们在拿momentum 就是动量，它是一些优化器里面，根据T度和历史T度，串传一些信息，我们拿它去更新参数之前，我们先把它做一个，近似的一个正交换，这样的好处就是，我们让更新不要去只集中在，少数几个比较，当命的方向上，问题是，就是正常的那个MIMO 就是你考虑以前，我们的多头的attention 它的存储上，虽然是一个大的投影矩阵，但是其实在整个算法的，计算逻辑上，就是对于模型架构来说，每个hi的它是比较独立的，所以意味着，如果你先把所有的head 都放在一起正交化的话，那其实他们的这个Gradient 包括Momentum的，这个动量的这些，就T2和动量的这些信息，他们就 somehow会有些冲突，就比如说有的Skid 更大的这个head 它可能就会主导，整个矩阵的更新方向 Skid比较小，这些注意力头，他们可能就没有办法，去被充分的Normalization 所以Perhead的流量的，这个核心思想就是，我们对于每一个注意力头，我们都去单独的做一次 Normalization 就意味着我们不同的这个head 不同的注意力头，他们在做更新的时候，他们的这个大小，他们的skill就更加均衡了，所以其实 K3 Reforce里面也专门提了，就是说他们发现，这个per-head的Mewan 在他们的setup下，可以让这种训练的，这种设定dynamics 更加平衡，能够很好的去改善，大规模训练的稳定性，相比Mewan Clip [01:13:00]

曼祺：就是Kimi自己之前提的这个改进，它升的这个per-head的Mewan 它实现起来的难度会更大吗，就我想知道，它有可能在业界怎么扩散，因为Mewon Clip 其实在业界，还是有挺多扩散的，就很多别的团队也会用

赵晨阳：我觉得从实现难度角度说的话，像Private这种Mewon 它其实算法上，基本上就是，我们直接去 reshape成很多的，这个注意力头，这个block 然后做一些定型处理，所以算法本身，还是挺直接的，我觉得实现的难点，一个难点可能是，我们在大规模的训练里面，像这些QKV 它经常被融合以及切分，其实这种导致，这个优化器的state 它会分散在不同的GPU的Rank上，所以我们必须要保证，每个注意力头，它在算法计算上的逻辑边界，它不会被打散，同时我们又能够非常高效的，重建这个完整的Block 然后还要把大量的这种小矩阵，去合并执行，再去做一些计算，避免带来非常大的这种通信拆销，然后避免一些客用浪池上的问题，所以我觉得像K3 看也在Tech Report里面提到说，他们为Mill也做了一些

曼祺：专门的处理，比如说他们把通信和真交化计算，去做了一些Pathline 关于优化器，我还有一个小问题，就是构造新的优化器改进，这件事AI可不可以自己来做，因为上次我们有聊到 Vion最开始是，一个个人开发者 Karen Jordan 他提出来的，后来我了解到就是 Vion其实是在 Jordan搞的一个开源项目，叫Nano-GBT Speed Run 这个里面诞生的，然后这个项目简单来说，就是我让所有人，就是去训一个比较小的模型，一个标准任务，然后大家来比速度，谁能最短时间做完，最近有一个新的公司 RSI就是TeamC 还有田园栋他们那个新公司 6月的时候做了一次尝试，他们是用系统来自动化的，跑这个speedrun 那之前其实两年多的时间里面 speedrun都是社区里的一些研究者，就是人来做的，所以有一个小的脑洞是说，优化器是不是未来 [01:14:42]

赵晨阳：AI自己也可以来写，然后来制造了，这确实我觉得是一个，非常非常重要的一个未来的方向，而且事实上我觉得，其实社区里面，已经有一些早期的城市了，我觉得主要是，就做这种优化器的研究吧，它就天然非常适合这种auto research 因为它的这个pipeline 整体来说还是相当于说，比较结构化的吧，就是我们会，比如说先提出一个，新的优化器的方案，然后我们去写代码跑实验，然后我们去看这个loss 然后看这个比如说像稳定性，看这种曲线，这种俗称做pave setting 然后再根据这个结果，做一些改进，这里你会发现就是研究的目标还是比较明确的，而且就是最后的指标其实也非常非常清晰，所以其实在满足这两个性质的问题，其实就很自然越来越多的就会被交给AI agent来做了，这也呼应到了我们前面讨论的 [01:15:34]

曼祺：就是他用一些早期的ChatPoint的版本来做Curl的开发，就是这次K3 就是刚才赵晨阳也说他觉得一个是你目标比较明确，然后第二点是你的结果其实比较好验证 [01:16:25]

赵晨阳：第三点是不太容易被hack 就作弊的空间比较小，像这种都是挺适合AI自己来跑的，对我觉得是这样的，然后我个人觉得这里其实还有一个很有价值的问题，就是我们可以让agent去研究，怎么去设计一个小规模的setting 然后让这个setting里面能够得到结论，它是能更好的去generalize到，真正的那种大规模训练的，说白了就是你的一个优化器，它在小模型小规模的实验上跑得好，不代表说我们换到一个更大的模型，然后更长的一个瞬间周期，甚至包括不同的参数形状后仍然好，所以我觉得就是AI-Agent 我们不仅可以让AI-Agent是研究，我们下一个非常好用的这个优化器是什么，这还可以研究就是说，我们应该去用什么样的小规模的这种Proxy Examine 什么样的Scanning Ladder 它是能够最快的判断 一个优化器能不能最终Scan到我们目标的那个场景下的，如果这个问题我们能够做得非常好的话，其实我们就可以大大加速，整个对优化器研究的一个迭代过程，因为毕竟你跑次实验，还是要花不少时间，不少资源的，如果你能够就是用最少的资源，去飞速的做一次验证，然后这个验证结果也很可靠，那整体的流程其实就会被加速起来，所以一个是优化器本身的改进 AI可以自己来做，另一个就是你刚刚说的，我预测不同的改进，哪些更容易规模化，这件事也有可能自己来做，对对对，或者说你怎么去设计一个，比较小规模的场景，然后使得这个小规模场景下，出来的结果是比较make sense make sense就意味着，它在大的这个skill下仍然是对的，或者说比较transferable 那这个方法其实也不止，可以用在优化器的改进，因为你基本上AI训练，你的很多部件，都是你先在一个小楼上面试，然后你得给它skill对吧 对对对，包括我们前面提到的，各种模型架构的改进，然后包括就是说，各种不同强化学习算法，它的调整，这些我觉得都是个很关键的问题，就怎么在小规模的实验下 [01:18:22]

曼祺：能够让大规模的实验，结果也能更加predictable 这个是模型开发，很核心的一个能力，而且你做得好的话，可以节省很多资源，我想了解一下，据你所知，业界有谁，初步掌握了这个能力，我觉得这个不是

赵晨阳：业界有谁初步掌握这个能力，就是大家都有这样的能力，只是有的做得更好，有的在有的领域做得更好，有的在有的领域，做得更弱一些，谁在这个方面做得比较强，我觉得还是Fontelab更强，就是美国的OpenAI 他们这方面，做得应该是非常非常好的，就是他们一个自己资源又多，一个是他们就是这一套，怎么去做小规模的这种验证的，各种流程啊，各种基建也更成熟吧，之前一直有一种观点，就有的人会认为，像美国的这种Frontier Lab

曼祺：因为它的算力资源会多很多嘛，其实比中国的一些公司多，一到两个数量，所以可能他们反而很多，这种就比较细的改进，对他们来说就不一定那么必要，我就是指，就是比如说你刚刚说的，我能更高效率地使用算力这件事，然后反而是中国，因为大家很缺算力，所以可能你前面，做实验的过程，也会非常谨慎，然后也会找，各种各样的方法，说我怎么在 [01:19:15]

赵晨阳：有限的算力之下，我能达到更好的效果，你觉得这种观察成立吗，我觉得这个说法，一方面是有道理的，就比如说你可以看到 DeepSeek里面，有很多的，各种工程上的优化，确实是压到了极致，但另一方面，其实我觉得也不要，小乔弗让TL Lab 他们做各种优化的，他们其实也是很有东西的，不管是各种小优化

开放模型的工程生态与限制

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 开放模型的工程生态与限制 [01:19:58 - 01:30:00]

开放模型的工程生态与限制

赵晨阳：不管是各种小优化，还是各种，怎么在小规模做得好，然后去兼顾到大规模的，有一个就是对SRP的观察，想和你讨论一下，就比如说你周围交流，会不会有这种感受

曼祺：就有的人会说 SRP其实在比如说架构，这一层它做的花活没有那么多，它是把很多重点都放在数据，然后放在infra上，对对对 [01:20:09]

赵晨阳：我觉得根据各种gossip 确实是这样，就是他们基本就先行 doing the basic things right 就是怎么把一些简单的事情，做到其实的正确，然后去有效scanning 把事情做好，我们来讨论就是后训练的这一部分

曼祺：后训练和RL 虽然前面有聊到说，它后训练的细节并没有披露这么多，然后这次可以在技术报告里看到的是 Kimi有一次设计师，他先训练九个领域的专家模型，然后他通过MOPD 就是Multi-Teacher on Policy Destination 给它合并成一个模型，这个也许应该能翻译成，多教师的在线针流，对给它合并成一个模型，可以请靳远分享一下，就为什么他不直接联合训练

赵晨阳：一个要先分后合，对就其实这个MOPD 这个Multi-Teacher on Policy Dissolution 这个recipe 它其实最近一年，它已经快速成为了一条，非常常见的一个post-training recipe 像这种方法，其实一般大家也不会说 [01:21:03]

曼祺：专门写个文章去讲，对吧，是的，就其实这种MOPD 它不太是研究问题，为什么像比如说 Attention Residues这种东西 Kimi就会专门写个文章，然后像MOPD这种，就可能没有任何公司

赵晨阳：会专门写文章去讨论这个话题，我觉得这个问题，其实问得非常好，就我觉得，一个东西能不能写成文章，一个很重要的问题是，你能不能把它随目成一个，非常比较clean的，一个research问题，一个研究问题，比如像Tesla Rilege 它可以有一个，很clean的研究问题，它指标很明确，你要对比的对象非常明确，然后比如说像MOPD这种，你不做MOPD的话，你要对比的其他的方案，就特别特别麻烦 MOPD它可能更像是，我们直接避免了一条，很麻烦的路径，然后你就不需要关心说，我怎么把这个麻烦路径调得非常明白，所以这里就，它相对来说就不是那么干净的，一个研究问题的一个setup 我在想它的这个相关的一些影响

曼祺：比如说你看Attention Residues 它写成一篇文章，它有三个一作对吧，对这些作者来说，它肯定是有它的职业的credit的增加的，那业界也有很多，就大家用的很多的方法，好像也不知道最开始是谁想出来的 [01:22:11]

赵晨阳：其实在比如说在美国这边，其实Fontelab之间有个人提出一个很好想法，就是就类似于他们小圈子内部，其实是都知道是谁提的，所以其实不会影响他们自己的，比如说QI电台，包括更直白一点，他们的身价这种

曼祺：就是这种消息流传起来都很快的，只是他不会在公开的网上流传 OK 所以他是有点像就圈子内都知道，但是外面的人不太知道，对对对，嗯嗯，那你可以继续来说，你就说这个东西最近这半年到一年

赵晨阳：他其实变得很主流了，对对，它最近一年已经快速成为了一条，非常成见的一个Pulse Changing Recipe 其实公开采用这条路线，就已经包括像B-Mode VR 像DeepSeek的V4 以及包括后面NVIDIA做的Nemotron 3 Ultra 就是这些模型，然后包括这次的K3 这里用MOPD一个很重要的原因，就是我们想把不同领域的研发过程去结拢，方便我们一个很大的模型团队，上面有各个小团队，他们之间的合作，就比如说像General Residue 像Coding Agent 像general agent这些等等，它们不只是data不一样，它们其实包括像environment 像我们去给一个奖励的策略，像我们做一次router的程度，像它们使用的hardness 甚至是算法的这个recipe 它都可能非常非常不一样，对吧，那比如说像code agent里面，包括infra可能也会有些区别 比如说code agent里面的infra 它可能会有些自然挑战之类的，所以其实如果你全部都放进，一次join的那种，就把你们所有东西全部混到一起，然后做一些大的R-RUN的话，其实我们在混这些DOMA 混这些不同的领域，然后混这些不同REWARD 还有包括前面说的各种训练的设置，它就会全部给偶合到一起，就会导致你做模型合板的时候，你的技术压力非常非常大，就是你要把这些东西，它们可能本来在自己的team里面，它已经做work 然后最后你合板的时候，还要考虑说怎么合起来再work 然后它们各种setup都非常非常不一样，对吧，就是这样会导致压力特别大，所以就是如果我们用MOPD这个reset的话，我们就可以先分别训练各个领域的专家模型，其实每个小团队，他们最后要deliver给合板的成果，它其实就是自己领域的小专家模型，不用把上面说的那些乱七八糟的 什么各种RSP 各种infra 还有包括各种什么new elements 这样的东西全部都给deliver出去，其实每个小团队，我们就专注的把自己的领域的模型，给训练到最好，然后最后合板的时候再用MOPD 这样的话，大家就比如说，你不需要为了方便，最后的一个招联系练习，我们提前把所有的 Recipe和Infra 都强行统一，对吧，那就可能会导致，你在做自己领域的时候，非常的束手束脚，然后我们也不需要说，我们在每次迭代的时候，去同时协调所有的领域，这样就能让你的迭代，变得非常快，还有就包括，你做合板的时候，我们不需要花，特别特别大的力气，去协调各个方面，所以以前它也是 [01:24:38]

曼祺：分开训练的，现在也是分开的，只是合的方式不太一样，以前是一个，更完整的和，就是你得带着各种训练设置，一起来和，现在是每个专家训完之后，我最后只和那个结果，对吧 [01:25:15]

赵晨阳：以前就这样的RL training 就还没有那么麻烦，对吧，比如说最早的时候，我们不需要做agent的RL 那也不需要，就infra可能比方，相对来说也比较统一，大家只需要把数据，贡献出来，然后直接一和就可以了，但现在就是各种RL方面，他们的recipe 不同领域就会复杂很多，他们都有自己的这个recipe 所以我们只喝模型的话，就会方便很多，它在直觉上，它好像给人一种，跟运训练的趋势

曼祺：有些相反的这种特点，因为运训练，其实你是在同一个模式里面，你是吃了不同，就非常多元的数据，你就是放在一个过程里去训的，对，然后后训练按你刚才的描述，其实是之前后训练，它要处理的任务，下游任务比较单一，或者简单的时候，大家其实是在一起训的，对，现在就是你能看到，它是一个好像在走向分的过程，比如K3就是有九个分开的，它为什么是这样一个过程，你觉得它更远来说

赵晨阳：它有必要又，就后续那这个阶段，它有必要又变成一个合的过程吗，那样的话它会潜力更高吗，就我觉得是合起来，还是OPD哪个潜力更高，这个还，这不好说，就是有很多的研究，他们会说可能做NOPD 它比去直接做那种joint的，效果要更好之类的，但是我觉得就是这种结果吧，你都要看它非常非常具体的，实验的setup 才能说，它的这个结果，到底有多generalize 我觉得目前，做MOPD主要还是，说白了就是，这样是最方便的，就是你不用，像我刚刚说的那样，你每个团队，有一个自己的方案之后，你还要去合方案，而我们是合，这个最后的这个，叫做模型就行，就像说白了就是，你合上行不行很麻烦，但是合模型，就用MOPD就很简单，然后大家就，专心的把自己的模型，做好就行，然后MOPD里，其实它的英文，它最后一个是 [01:26:22]

曼祺：第一是代表destination 就是针流，翻译过来就是针流，我觉得正好也可以说一下，就本来针流的意思是什么，以及业界，因为现在关于针流，有很多讨论，实际上它从技术上来说，是怎么一回事 [01:27:14]

赵晨阳：对就针流从技术的，最原始的定义上来说，它always都是去把，踢车模型，就是教师模型的能力，它去传递给一个学生模型，它最经典的用法，其实就是去压缩模型，就比如说你先训练一个很大的一个教师模型，然后再把能力去占留到一个更小的一个学生模型，这样你可能就用学生模型，它更便宜一些，对吧，就比如说他QC里面，他们的技术报道里面就说了，我们会做这种strong to weak的desolation 就是先去获得一个强大的模型，然后再用它们去帮助训练小模型，所以从技术的角度，它always都是教师模型去传递给学生模型能力，但是我们更多要看它的目的是什么，就比如说在MOPD这里的目的，它不是说去压缩模型，而是我们刚刚说的合板，就是我们先从同一个 Foundation的模型出发，我们训练出不同Domain 以及不同Reset Effort的教师模型，然后最后我们再把它，他们的能力去传回一个，统一的一个学生模型里面，然后这是目的一方面，然后另一方面就是，我们这个针流具体怎么实现，然后从具体的算法角度，就是On Policy Dissolution 做的事情是，我们会让这个学生模型，自己去生成一个轨迹，然后学生，然后教师模型呢，再对这个轨迹去打分，提供这个一种比较稠密的，这个叫做奖励信号，然后用这个奖励信号呢，来去提升学生，然后另外一种呢，也很常见，或者说更传统一点的，这个针钮模式，也就是刚刚麦奇提到的，就是说在这种普通大众呢，在社交媒体上去讨论这个针钮呢，指的就是，一般是说我们这个老师，先去预先生成一批固定答案，然后学生都会就直接，在这个固定的这个数据上，这个离线的数据上，我们直接去模仿学习，去学习老师的模型 他在这个输入下，他的输出是什么，这里MOPD使用的 on policy的帧流，和你说的，就是我们平时讨论的语境里面，更常提到的那种帧流，它是off policy的帧流，这个on policy和off policy的区别是什么呀，更多指的还是算法级别的区别，对对对，就比如说on policy 它学生是背语言的模型，训练过程中，学生自己去亲自去生存这个轨迹，所以这个我不说它是unpolicy的 unpolicy只是相对于学生来说，老师他的这个轨迹，他是一个off policy的，就是老师的轨迹，不是学生自己生存的，哪一种他的学习的效率会更高，这个其实也是，不同的场景下，有不同的这个经验性的结果，比如说在做合板的时候 [01:29:17]

从模型权重到训练流水线

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 从模型权重到训练流水线 [01:29:59 - 01:40:00]

从模型权重到训练流水线

赵晨阳：比如说在做合板的时候，确实肯定是unpolicy dissolution 这种做法，还是unpolicy的比off policy更好，对，但如果只有这个教师模型的，这个叫做输出，你没法搞到，它的权重 logic这些的话，其实你没法做到，像教师模型，去给学生模型，系统的打分，那你就只能去做 on policy dissolution 教师模型，只能拿到，它的这个最终输出，假如说比如 Anthropic 它自己有自己的模型权重，对吧，比如它自己，这种自己的话，从技术的

曼祺：就是效果上来说，你觉得它，大概率它是 on policy 还是off policy 你说这一阵，自己的目的是啥，是为了变成，一个更强的模型，大家说的左脚踩右脚，然后自己原地飞升这种 [01:30:30]

赵晨阳：这个感觉目前还是大家愿景吧，就是还没有真的做到，我个人理解主要还是看，这个external这种，外在的这种监督信号，它有没有，就我觉得你很难在，没有一个很稳定的，很能scalable的这种，外在监督信号情况下，去提升一个模型，也就可能就是说，你就会用这个技术里面，它的名字可能带来一个 desolation 但它肯定是找到了一种，很scalable的方式，能够稳定地把，外在的这种监督信号，给打进来这个过程，那最后在Infer的层面上

曼祺：请赵晨阳来分享一下，你觉得K3做Infer改进的，一些整体的思路是什么，因为你们这次K3 也是第一时间做了适配，你可以讲讲就是，你们适配的时候，有什么有意思的发现吗，具体来说的话，我可以分享一下 [01:31:09]

赵晨阳：KDA架构对于投机采样，带来的挑战，投机采样，简单来说，我们会通过一个小的模型，来快速猜测出一批Token 然后让真正采样的大模型，来一口气验证，这些Token是否正确，验证完成后，这批被猜测出的token当中，可能只有前几个token会被大模型接受，所以大模型在验证这批被猜测的token之前的状态，是需要保留的，因为如果猜测不对的话，大模型要能够随时回退到猜测之前的那个状态，这对于普通的attention而言问题不大，就像举的比方，你无非就是把书的后级也撕了，然后继续从笔记本的靠后的页开始写，对吧，但是KDA的架构设计，需要能够对每个token的递进状态进行原地的重写，为了能够回退到大模型验证之前的状态 我们必须要想办法对之前的递进状态进行存档，一个比较朴素的存档方法，就是每走一步就把整个递进状态做一个快照，但是对于整个69层KDA做完整存档的保留的开销非常大，我们最后的做法是不存状态，只存每一步状态的几小投影，大概只有一个KB左右，要回退的时候，就从上一个checkpoint的出发，照着这些输入，把接收的那几个token的存档重放一遍，这很像我去看我小表弟，他学习象棋的过程，象棋玩家为了复盘棋局，会通过一些简单的记号，来记录每一步棋子的移动，这样你就不用每一步，都给整个棋盘来一次完整的快照，然后我们为了支持KDA的投机采样，其实也实现了类似的思路，记录棋子的移动，而不记录整个棋盘，比较有趣的是，我们后来观察到 Kimi K3的Tech Report 也和我们独立地提出了，类似的设计，当然我们其实并没有提前，为了这一块的设计，做过任何讨论，也可以很荣幸地说，顶尖的工程团队，大家在这些工程问题上的解法，都有一举同工之妙，这次K3还开源了，他们的一个agent环境，它就是叫agent int [01:33:09]

曼祺：你前面也说到，一般权重只是一次训练的产物，而环境是能够反复附用，产生下一代权重的一个流水线，所以环境是更重要的护城河

赵晨阳：也可以讲讲就这次从agent im里面，看到的一些有意思的思路是什么 agent im是一个最朴实无华的名字，我觉得还是比较有新意，因为一般而言，我们的研究者往往为了模型的安全性，会去主动限制模型的能力，大多数情况下，我们会通过更好的隔离方案来，尽可能的锁死模型，让他少做一些越狱之类的操作，但是K3的训练团队，选择通过更好的隔离方式，来尽可能放宽模型的能力边界，就是说模型可能受到的限制更小，我相信他们自己也比较believe 以后模型应该拿到系统权限是更高的，可能是这个样子的，往往我们认为agent越强的话，他的探索会越激进，早期的时候，我记得大概是Kimi K1或者K2的时候，他们会选择用容器runtime 来完成这种沙盒，但那种情况下很容易出现我们所谓的OS的panic和内存的死锁 他们并没有选择让agent持续去跑容器或者换用别的虚拟机，而是干脆换了别的技术路线把这种隔离做得更好，用了firecracker来跑这种micro virtual machine 这个其实比较工程化，但是我觉得一句话take away就是说，他们选择赋予模型更高的权限，并且为这个权限做出更好的技术隔离，这个技术隔离是隔离什么和什么，简单来说就是希望，如果一个agent 把一个沙盒弄崩溃了之后，不会影响其他的沙盒的运行，对，是安全的考虑对吧，是的，可以说是沙盒做得更安全，那么模型的安全限制就可以放低，然后第二点是，这个持久化root和沙盒，这个其实解决的这个问题很经典，就是我们的agentic的常委问题，我们其实这个，是我的kimi一个很厉害的地方，在agentic RL领域，有个经久不衰的做法 叫做Parser Rollout 简单来说就是，一条采样轨迹，可能是上千次的工具调用，得到了上百万个token 然后假设我一次采样 16个request 这个16个request里面，可能就会有那么一两条，特别长的request 比如说，可能它是调一个外卖接口，但是外卖的那个Mock接口，返回的比较不稳定，可能过了一分钟才返回，这种情况下会极大的阻塞，这个batch的整个运行，在Kimi1.5的论文里面，他们就提出partial route 就是不必等待所有的轨迹都结束，等到一定比例的这个，我们说的轨迹完成了之后，就会把结束的轨迹用作训练，然后没有完成结束的轨迹，会缓存起来，在下一轮继续去完成它，这个做法其实是有很深厚的，统计学的观察在里面的，就是说通过提高采样的总数，或者说只选择 把不常委的那部分的request 拿来使用，可以加速这个采样的过程，这个也有一些，强化学习理论上面的挑战，就是一方面，从系统设计上面，模型的历史的采样信息，需要尽可能的保存，比如说模型上次采样的KVCash 他们需要把这些KVCash写下来，避免下次重新采样的时候，需要做一次特别上的long pre-fill 对，然后另外一个问题是，强化学习测的这个数据过时问题，用术语叫做off-pondency mess 就是它这样采样的轨迹会有一个问题，可能这个轨迹的前一个部分，是上一个版本的checkpoint采样出来的，这个轨迹的余下部分，才是当前版本的checkpoint采样出来的，这样的话，一条采样序列，其实它不是严格的on policy 或者说不是严格在线的 K3还是采用了per token政策的方式 把我们所谓的策略更新约束，在了一个局部领域之内，来部分容忍这样的of policy-ness 这是一个很经典的，用算法上的宽容来换取infra上的自由，然后其实对infra的提速是非常好的，最后一点，我觉得体现出来Kimi团队的一个设计哲学，就是让RU环境和推理时 agent运行的环境是尽可能一致的 K3的训练管道，把agent的harness表示成的一组，可以配置可以组合的模块，类似于工具接口 system prompt 上下文管理策略skills 还有memory 他们用各种复杂的策略，去模拟组合出来，各种主流的agent harness 这种组合其实也避免了，在模型训练过程当中 overfeed到某一个harness上，以至于比如说，你训练在美团上面订外卖，结果发现用户想要用饿的，就用不了 这些对人类而言是非常愚蠢的，但是对于模型而言，训练不佳很容易出现这样的问题，很显然他们这样的策略组合，能够很好的缓解，这种学会了美团就不会饿了的问题，从infra的角度上来讲的话，我其实很认同他们这个方向，环境正确，就是说我们对Hannes的要求会逐渐提高的，更广的来说，我们希望Hannes能够自由的，和各种agent的workflow做组合，这和我们在serving测的想法也是一样的，不要为了每一个模型去做许多的策略，要为了这些状态尽可能去组织成竖状结构 [01:38:10]

曼祺：所以他的整个思路就是说，我这个模型迅出来之后，在上面一层，就这个Harness这一层，它不管是什么类型的Harness 它都能比较好的去调用，它可以适配类型更多的框架，理论上是这个样子

赵晨阳：但是效果我觉得肯定不至于那么完美，但是我觉得现在这些Harness的，我们随着对Harness的使用越来越高，对Harness泛化性的要求，也必然是越来越强的，你觉得边缘模型有这个需要吗，比如说SRPT或者OpenAI 它可能自己训练的模型，它就是在自己的Harness框架里面，被使用的，对这个必然是需要的，而且换句话来说，即便是Claude Code这样的平台，它其实能够接入的组件，也是非常多的，那些Claude Code可以去接Slack 可以接Gmail 还可以接你的Calendar 这也是Motion and Harness 何况我刚刚提到，美团和Elema这个切换问题，可能对于Athorbeak而言，他们可能换的就是，用Gmail还是用Altalook 对这两个事情，听上去也非常的类似，但是不做精心的设计，模型的overfitting 会非常的令人尴尬，除了你刚才说的，就是你自己最在意的这个进展 Agent Eve 就是他们强化学习的环境之外，其他的一些改进，包括这个Flash KDA 还有它的量化感知训练 [01:39:00]

量化训练、推理优化与开源协作

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 量化训练、推理优化与开源协作 [01:39:58 - 01:50:00]

量化训练、推理优化与开源协作

赵晨阳：还有它的量化感知训练，这些你也可以讲一讲，就是它在Infra上带来的一些变化是什么，我们回到下这两种attention的区别吧 Softmax attention的kernel 主要是在和带宽做斗人，然后线性注意力的kernel 不严谨的来说，它会更多和串型依赖关系做斗争，具体来说 KDA的话是在这个chunk之内做并行 chunk之间做串型，以此recurring state 得以一个chunk一个chunk的往前传导，所以这种情况下，最naive的一个写法就是，每一个chunk 你算一次，你就传一次状态，这会导致计算资源的大面积空转，然后flash KDA是这个 Kimi他们团队基于QTLS 写的一个chunk-wise kernel 把Trunk类的计算和跨Trunk的状态传输，尝试做重叠，术语来说叫Overlapping 这是Flash KDA的第一层，然后如此一来的话，这带了一个差别 Softmax Attention的KDA的话，它对于KVCache的关注，其实不会特别强，因为Kernel对于KVCache是只读不改的，但是KDA的这些Kernel的旧状态，可能会被覆盖，所以Kernel的设计，还是要考虑更全的生命周期，什么时候做持久化，写到哪一个chunked slot里面，怎么去保证其他request 正在读的缓存不会被冲掉，可以说KDA的kernel 会难度更高一点，而且它也模糊了，我们认为kernel和缓存管理的，这个界限，然后另外一个角度是 Kini的拿手技能，这个我们说的QAT 就是Quantization Awareness Training 可以看到K3和DeepSeek V4 同时都在采用 FP4精度的一个训练 DeepSeek V4的距离做法的话，其实我们之前有讨论过，我们这里可以更多讲K3 K3从SFT开始就做这个QAT 然后这个直观的好处就是，模型会有更多的时间去适应量化噪声，而且他们也着重强调了 RL采样阶段和training阶段，采用的是同一套量化方案，这样尽可能的减少训练和推理不一致，带来的磨损，这个也可以从RL的角度上来感受，我们刚才其实提到一个术语，叫做off-pondessiness 直观来说 RL策略梯度优化，这个整个事情能够成立，是有一个前提的，我正在优化的是，那个产生了这些数据的策略，就是我们训练的时候，会采集到许多的这个序列，然后拿去优化模型，我们希望这些序列，就是我们优化的，那一个模型产生的，它不是T-1的checkpoint 也不是T-2的checkpoint 它最好就是T-0这个checkpoint 产生的这个数据，但是这个T-0或者T-1 T-2 它有的时候不是你刻意造成的，就比如说我们说这个训推不一致，就是训练的时候可能，它的这个调化比如说是BF16吧，那你推理时候采用NVFP4 那么这就会导致，其实这两个策略是有区别的，这也是一种off-pondencyness 所以一旦训练和这个采样的过程，对同一个checkpoint给出的精度不一致，它给出的token的概率是有细微区别的，这就是一个不严谨的T路计，而且这种不严谨的T2G3 对于MOE而言，可能会导致一个灾难性的崩溃，所以K3的训练哲学，还是在贯彻RL-INFRA领域的一贯的认识，为了我们训导的模型，就是我们要去优化的那个模型，一定要让训练和推理阶段尽可能的契合 [01:42:38]

曼祺：采用尽可能相似的配置，这件事情它在实现上难吗，就是说现在大家其实主流的公司，都能做到就尽可能一样的配置，还说这个还是需要挺多努力才能实现的 [01:43:30]

赵晨阳：以及他其实也能去看一个公司大概infra的水平，我可以说这个事情非常难，而且对于很多公司而言，需要单独的去维护一个硕大的infra 甚至说是kernel team才能够去把这个事情做好，这点上来说，我觉得Kimi的技术还是非常领先的，你之前说DeepSeek是infra领域的巨金，那类比一下的话，你觉得Kimi是在什么到位，我不希望有一个分出高下的，但是坦诚地说，我觉得国内的公司的infra 真的强，不过正常来说，我们叫做用infra换算力，真的是非常不容易

曼祺：最后这一部分，我有个想补充的问题，就是我看K3在技术报告里，他写到就K3优化测试里，已经给他的原文写的是 Atollative Vendor 有可能是个国内的，这种芯片公司 [01:44:20]

赵晨阳：给这个Atollative Vendor的 GPGPU写了Kernel 那是不是有可能，就用K3这个模型，也能加速K3自己向国产芯片的适配，是的，我觉得这点应该是比较明确的，当然我们确定最终这个delivery上，生产的这些是不是K3写的，但是K3至少从性能和正确性上来说，是非常能打的，然后另外一个角度就是，这一次我们也见到，由于现在这个模型的生态，真的bumping的非常厉害，以前有一段时间，国产的芯片的同行，他们想要在模型发布当天 support这些新的AI模型，其实是有一定难度的，但是到了最近，我们也看到，类似于摩尔县城，他们也通过MUSA S7 LAND 这样一个生态，在发布的很快的时间之内，我不记得是不是Dating 但一定是在极短的时间之内，就成功support上了Kimi K3 而且也达到一个很好的效果，我觉得可以想见 Kernel Development 智能体 真的是一个非常伟大的事情，我觉得对于整个芯片产业，是有很本质的推动的，你觉得这件事会怎么影响，英伟达的统治地位吗，会吗，会到那个程度吗，这是一个我无法判断的事情 [01:45:26]

曼祺：你这是无法判断，还是不想说呀，我无法判断，这个我们可以讨论一下，就理论上来说，其实因为CUDA这个生态，就是建立在说，你有比较丰富的curl 这肯定是很重要的一部分，对吧，然后它的通用性比较好，我有很多好朋友

赵晨阳：在AMD做AMD version的Cutilis 所以他们高强度的依赖这些KDA 而且我也有NV的好朋友，他们在NV给NV显 Next Generation的DSL 也是大量依赖KDA 那我觉得你这提供了一种视角，就是KDA这个东西，英伟达之外的厂商可以用，对吧，那英伟达自己他也可以用，对因为英伟达自己，也需要去更迭，然后我觉得很遗憾，就是现在这些模型的KDA 还是就是说，优化Q2S可能很厉害，但是如果你优化，比如说举个例子，假设以后有这个TCGen5 对吧，比如现在是TCGen4 TCGen5就是可能 KDA的还得花一段时间

曼祺：来泛化上去，这也是个很好的问题，我们可以看看，就是KDA这里指的是，开发Curl的这种agent的发展，之后会怎么去影响，这个芯片领域的一些竞争 [01:46:31]

赵晨阳：我很难说 Kimi Delta Attention 和Curl Development 智能体 哪一个更伟大，我觉得这两个事情都很牛 OK 都叫KDA 我们最后可以来稍微延展，讨论一下K3 对业界的一些影响，有一些随便拍脑袋的问题，比如说你们认为，下一个开源最强，什么时候会出现，可能来自哪个公司，首先我见到一个非常恐怖的事情，之前见到昆团队发布，说他们的模型，在以日为单位，日历更迭，这个时代，对日历前年的加速度没有降低，反而我觉得是人类的想象力降低了，就是我们现在除了这个coding之外，我见不到下一个爆炸的点，对就昆3.8 preview

曼祺：就预览版发的时候，说他们会以日更新，下一个问题，其实前面稍微讨论过，就是你们觉得，今年内，就剩下还有五个多月的时间里，我们有可能会见证，开源超过避源吗，我个人觉得这个是有点难度的 [01:47:23]

赵晨阳：因为一般来说，大家会认为 OpenID 和SARPIC 他们内部的一个最强的模型，是比他们现在放出来的模型，还要再强一个，比如说半个generation的，半个甚至到一个generation的，对，然后我们现在开源模型，基本上，现在最强的开源模型，基本上目标是追平，现在已经放出来的，这个叫做最强的避源模型，或者说避权中模型，但是可能，他们之后，他们之后能够放出来的，是他们现在内部已经有的，比现在的全中模型，还要更强一个，半代甚至到一代的模型，然后这个时候可能，就是确实开全中模型，还需要一段时间去追，对，所以我觉得在至少，未来五个月内，这个趋势应该不太会有，很明显的变化，其实对于开全中模型这边，基本上就是，把目前最强的，也给放出来了，对，所以这里其实还是有一个，代差在这里，就是实际最强的，跟放出来的这个最强的，你的意思是说，要找一个好的时机来放，对

曼祺：最后一个问题，是一个相对就是趋势，宏观趋势的一个问题，最近梁文峰说，下一代模型的标志是能持续学习，你们自己会怎么看，下一代模型要实现什么能力 [01:48:29]

赵晨阳：至少我对于持续学习的观点，我不是说希望这个模型的智力不断提升，我是说希望一个模型能够，对任何系统都有很有效的优化，但这个任何应该，就专指KDA吧，比如说我现在说，可能你要KDA去优化，现在Kudeles它可以优化得很好，但是等到next generation的DSL来了 KDA能不能做得很好，目前来看是不太新的，这其实反过来暴露，现在的模型的范化性，没有想象的那么好，因为Kernel绝对是一个，最好验证的领域了，对哪怕这样子的话，它的范化都还是要一定的训练，那么从这点上来看，我觉得实现RSI 还是有一些距离的，我不去评价说，下一代模型的核心能力，是不是说必须要有持续学习能力，这个观点本身，我觉得就是，如果我们假设这个观点，是正确的话，我觉得现在有个很大的问题，是我们还没有一个很好的方式，去评测或者说去measure这个progress 就是说我们去看现在的模型，它做这个持续学习的能力，大概到了什么样的层次，因为它肯定不是一个零或者一，就是它不会持续学习，或者说会持续学习，它肯定是一个零到一之间的，某一个状态，对我觉得现在还缺少这样的一个，去衡量目前的这个进展的，这么一个很好的方式吧，对所以我觉得如果，认可这观点的话，我们应该先把这样的一个 [01:49:36]

总结：开源模型真正开放了什么

# 177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

目录

• 总结：开源模型真正开放了什么 [01:49:58 - 01:55:07]

总结：开源模型真正开放了什么

赵晨阳：我们应该先把这样的一个，很简单的进展的方式，给明确地做出来，比如说通过各种比较完备的 evaluation 各种完备的评测，把这个问题给解决，然后再去讨论说，我们现在的模型，离达到我们想要的目标，还剩多少

曼祺：总体来说，你们觉得这个模型的进展，它接下来会是，就一路这样斜线上去，就可以这样进展了，还是它还是会，有一个一个平台期出现，我个人猜测，还是会有一个个平台期的出现 [01:50:11]

赵晨阳：就是有平台，其实有平台期，也意味着有突破对吧，就你有一个突破，可能有上一个台阶，对对，但这个突破不见得说是，大家都会想象那种，特别巨大的范式性突破，我觉得可能更多是在，修训在执行层面，把一些问题有些突破之后，它会在，就这个平台期会有一个提升，其实说实话，对人觉得，就是最近半年，都没有什么很本质的平台性突破，对，它只是在一个平台上，有做的更高一点这样，当然确实更高一点，但给普通用户的体验，已经很不一样了 OK 今天非常感谢赵晨阳，还有志远做客晚点聊，分享了对K3技术报告的一些解读

曼祺：然后我们也从K3的一些改进，比如说它的线性混合的注意力 attention residues等等，然后延展聊了最近，这些领域相关的一些进展，包括这些进展是为了解决什么问题，以及接下来可能会有怎么样的影响，我们也讨论了，就K3现在在全球，或者说在美国的科技圈，引起的这种开源的辩论，那今天的节目就到这里，各位拜拜，拜拜，拜拜，本期连点呈现，推荐晚点聊几个相关的往期节目，一期是我们这次反复提到的，第163期对DeepSick V4的解读，其实这两期节目的结构挺相似的，这是因为现在开源大模型的，技术报告的结构本身，就有一定的共通性，会有几个绕不开的模块，首先是架构层的注意力机制，这是大语言模型里非常关键的一部分，这次赵晨阳也说 Attention机制就是我们AI领域研究的特修斯之船，这个词的本意是关于事物同一性的哲学比喻，如果一艘船的所有部件逐步被替换，直到没有原始材料被保留，那它还是原来的那艘船吗，其实我们现在对Transformer的改造，我们试遍所有配方的方式，就有点类似于边形船边换零部件，而这意味着Transformer这个大的方向，继续往下可能还有很多改进的空间，另一个绕不开的是层与层之间的信息连接方式，在V4里我们讨论了MHC 它是怎么从字节最开始提的HC改进而来的，在K3里我们讨论的是Attention Residues Kimi今年春天提出的这个方案，本身也是受到了MHC的一些启发，同时我也推荐过往多期节目里，我们讨论过的注意力机制 一是第103期用Attention串起大模型优化式，这是在25年2月录制的，它特别好的一点是对非从业者，相对友好，两位清华当时在读的博士生，肖朝军和傅天宇，深入浅出的，篡讲了Attention机制诞生的过程，原初版本的瓶颈，它的改进历史，和背后的计算机与深度学习思维脉络，简单来说，注意力的改进，一直是在服务于上下文的不断拓展，大家追求的是希望，上下文越来越常识，计算和存储的开销不会爆炸，也就是一方面要提升效率，但同时又不降低性能，然后是104期，与当时MiniMax的高级研发总监，钟怡然聊线性注意力方向的改进，这也是我们K3这一期 Q到的MiniMax在M1 就是25年年初的一个模型上 就大胆的使用了线性注意力的这件事，这也是业界第一个，在这么大规模的模型上，用线性注意力的尝试，跟进的一期是，去年底发布的143期节目，这一次是和DeltaNet的核心作者，杨松林来聊线性注意力的优化，当时松林是在博士的最后一年，他现在已经加入了TML KDA里的D就是Delta的意思，那会儿的背景是 25年的9月和10月，阿里和Kimi都发布了，和DeltaNet相关的注意力改进成果 Kimi当时的，那个用在Kimi Linear模型上的，注意力改进，就是现在K3里用的KDA 这期我们也聊到了 KDA是从当初 Kim Diner这样一个 38B的小模型 skill到了现在3T的规模，这也是一个挺具体形象的例子，它展现了现在的模型研发中，是怎么一步步从小规模的实验 再往上skill的历程，期待下一次的技术解读，可以在我们关于AI的，意义网络中再点亮新的一点，本期节目就到这里，感谢收听，如果你对今天聊的话题，有观察好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整，你也可以把我们的节目，分享给对这个话题感兴趣的朋友，推荐更多你想听的主题和嘉宾，你可以从小宇宙，苹果Podcast等渠道，关注晚点聊Late Talk 也欢迎关注我们的公众号，晚点Late Post 下期再见 [01:54:33]