目录
- Kimi K3为何震动硅谷 [00:00:00 - 00:10:00]
- 开源模型的成本优势与蒸馏争议 [00:10:00 - 00:20:00]
- 蒸馏边界与开源模型的商业化 [00:20:00 - 00:30:00]
- 开放权重对闭源实验室的冲击 [00:30:00 - 00:40:00]
- 开源生态与美国企业落地 [00:40:00 - 00:50:00]
- Agent时代的模型成本与安全 [00:50:00 - 01:00:00]
- 开源模型的安全边界 [01:00:00 - 01:07:04]
Kimi K3为何震动硅谷
# E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿
目录
- Kimi K3为何震动硅谷 [00:00:00 - 00:10:00]
Kimi K3为何震动硅谷
一文：大家好，欢迎回到硅谷101，我是一文。硅谷前沿AI实验室的商业模式大家应该都不陌生，把智能封装成API再按Token出售给用户。但现在几家中国实验室正在用开放权重模型挑战这套模式。7月27日，月之暗面正式发布了Kimi K3的完整模型权重。在此之前，K3的横空出世以及它在多项测试上展现出的竞争力都已经说明了一件事。开源模型正在逼近甚至超过最强的鼻源模型，这意味着企业未来可能都不再需要完全依赖OpenAI或者Anthropic 也可以部署定制和掌控自己的模型 K3的发布也在硅谷引发了一场更大的讨论，过去几周包括英伟达在内的数十家科技公司和机构签署公开声明呼吁美国支持开放权重模型和更开放的AI生态，但与此同时也有批评者提出质疑，能力如此强大的模型是否应该开放，它会不会带来新的安全风险，中国模型的快速进步又在多大程度上涉及蒸馏，所以在这期播客里面，我们邀请到了两位身处这场变化中心的嘉宾，前Hugging Face亚太开源生态负责人王铁镇，以及Tiny Fish联合创始人Keith Zhai 我们一起讨论了中国开放模型，为什么能在这么短的时间里逼近前沿，最近争议很大的蒸馏到底是什么，又能解释多少模型能力呢，当开放模型持续压低Token价格，它将如何冲击闭源实验室的商业模式，又会怎样改变整个Agent应用的生态，其实我们录制这期节目的时间是 北京时间7月28日的上午，昨天月之暗面发布了Kimi K3的完整模型权重，其实K3从7月16号的API上线以来，在硅谷的热度可以说是居高不下，而且也成为了，硅谷最近讨论开源模型的时候，最重要的案例之一，那我想先请两位，从你们的观察，就是来回答一下，这个比较大的问题吧，你们觉得K3 真正让硅谷感到意外的是什么，要不先从Keith开始，因为你们公司是based在硅谷的吗，其实如果我们，稍微take一点点step back 整个这个时间轴，其实是有几个部分的，最早的当然是从DeepSeek 那个时候开始，但接下来呢，最近的两个呢，一个我认为应该还是回到了GOM 就是Z到AI 他们的这样的一个怀念下，过去的几个月里嘛，整个AI对股股带来影响变化，是极其大也极其快的，在年初的时候 [00:01:47]
Keith Zhai：那个时候所有人在讨论的问题，就是说我们要赶快用AI 当然很快呢，当时是Uber 包括其他几个公司，大家就开始晒了账单，所以账单已经没有办法再支撑了，就是一个月花了一年的预算，等等等等，在这样的一个环境背景下 CAI以及中国的这些模型，开始引起了新的讨论，包括当时的Cursor 来用了中国模型啊，等等的这些事情，因为Kimi K3 作为一个open source的一个model 它的能力，它其实达到了一个，在很多人看来很新的一个高度，那在一个Causal的Sovereignty 等等讨论情况下，这样的一个新的群体的开源模型，到底会走到什么一个程度，以及它对所有的闭源模型，会带来一个什么样的冲击，它已经超出了说是一个讨论，而是更多的大家在看，在使用的情况下，具体应该怎么样的做调整，对铁针有什么要补充的吗 [00:02:41]
王铁镇：对我特别同意Keith的说法，我觉得K3的发布并不是一蹴而就，它实际上是有一个漫长的铺垫的过程，从去年年初的这个DeepSeek V1 那个时候第一次带来了，开源版的Thinking Chain 让大家知道推理模型是怎么做的，然后那个时候就非常有意思，因为我记得当时，拉斯达克跌得也很厉害，那个时候大家就在想，中国模型开源模型，已经非常非常接近，闭源的前沿模型，不管是从硬件生态，整个AI的估值体系，还有模型公司的生态，大家都有一个反思，结果我发现过了一年，大家发现是一个狼来了的故事，因为过去一年的，开源和闭源模型的，性能的分化，实际上是非常非常大的，闭源模型可能能做到月更，开源模型可能是季更，在性能上，不管是OPUS还是4.6 OPUS 4.7 OPUS 4.8 其实都是远远领先于开源模型的，但是最近几个月发生了一些变化，包括Kate刚才说的，这个GM5.2 我也是重度在使用，我已经用这个GM5.2 完全取代了这个OPUS 4.8的一些功能，但是大家觉得可能还好，因为美国模型又出下一代了，只要闭源模型，领先于开源模型，超过一个时代，那没有太多可以担心的，大家还是要用最好的闭源模型，所以这是一个时间点，然后大家就在说 OK GM5.2挺好的，但是我们不担心，直到过了一段时间，大家发现 K3出来了 K3不是说，跟OPUS拼击的一个问题，它是基本上已经追上了Frontier模型 甚至在某些场景上，要比Frontier模型做的还好，那避免模型瞬间就发现，自己没有一个护身盒，因为开源模型跟自己又是，回到DeepSeek RE的那个时代，跟自己又是平级的一个时候，所以大家就很FOMO 然后又很担心说，那我们整个AI固执的泡沫怎么办，然后我们整个场景，是不是还可以按照过去的模式，继续运转下去，大家还是要用避免模型，也有可能未来我们要完全转向一个，急于开源模型的生态，所以美国内部就会有很多讨论，那他们关注的点实际上有两个，第一个是Frontier模型在讲自己非常不安全所以我们要限制，这个Frontier模型模型的使用，实际上更多的是，之前的那个Methos 如果有一个开源模型，它的能力已经接近Frontier模型 是不是它也是不安全的，然后你又把这么一个，不安全的模型给开源出来，那你冒着什么心态，然后另外一个话题就是说，美国人就会在想说，你为什么能够在这么短时间内，好像就在这几个月，连续取得这么多的突破，你一定是在争点我的模型 Frontier模型和K3的，就是实际用户能用上的，这个发布，中间只隔了大概15天左右，这也是一个非常有意思的话题，就是说K3到底有没有在蒸馏过，我个人倾向于是没有的，因为你十多天连模型发布的准备都来不及，你何谈说收集到足够多的语料，然后并且蒸馏过，所以K3这个时候发布，像DeepSeek V1当年一样，有着非常非常多的话题，然后大家也对Kimi这个公司非常有兴趣，包括杨志林之前的一些观点非常有兴趣，所有这些加起来就是K3之所以，这次在硅谷取得这么大关注的一个原因当然很快后面中国模型像MiniMax 像千万都要发2T到3T的这个模型，甚至质谱可能也会有一些动作，所以后面我们可能会看到更多，除了K3之外，其他中国模型在硅谷引起的非常多的考核，所以我们就拭目以待，这个行业是变化非常快，然后也非常非常有意思，对我觉得你提到两个非常关键的问题，就是我们这一期节目也想深入探讨 [00:06:15]
一文：第一个就是一个能力如此强大的模型，它去开源到底安不安全，第二个就是关于蒸馏的指控的这样一些问题，因为你们都提到了硅谷，对于中国开源这件事情，整个时间线上的一个变化，然后对此的态度一个变化，我想再针缕下这个时间线，所以说在GLM之前，硅谷对于部署中国开源模型的态度是怎么样，就是从企业的角度来说，有没有因为成本的考虑，在某一个时刻选择，我就要从这个Anthropic的模型，换成中国开源的模型，这个大概是在一个什么时间点发生的，这肯定要分行业，比如说有些行业，它就是一个非常敏感的行业，就by nature 它不可以使用，其他国家模型，从美国来说，当然这个东西，适用在其他一些地方，比如说欧洲的一些国家，包括日本等等地方，但与此之外 AI的变化是极其快，其实很多时候，大家第一个反应
Keith Zhai：应该是在讨论，说我们怎么样来使用模型，其实很多的时候，应该考虑的是，我怎么样用到最好的模型 cost这个问题，只有在上了，一个很大的量之后，才会变成一个，更显著的问题，就算从硅谷来说，成立一个大规模上量级的使用，是因为Coding 整个这一块所带来的一个巨大的变化 Coding之前，其实大家大多数的一个消费场景是RAC 但其实这个RAC的对Token的消耗量，往往无法跟相当于Coding一开放之后，所生产力所带来的改变，所以大家最大的一个调整是Coding之后，其实是从去年大概9月份前后，把Anthropic开始，比较大规模的推动之后才开始的，那在六个月时间里 coding从一个大家赶快去需要，到突然意识到说，我花了太多钱了，那就包括从我们这样一个公司来说，才50多个人一个月其实整个消费，也是大概是六个月数左右的美金，那其实是一个很高很高的cost 不要提那种更大的公司，更大的企业，都会面临很多挑战的，而这种转向，几乎就是在一个月之内发生的，而智普当时的推动呢，因为不是开源嘛，它虽然没有改变事情本身，但它从价格上，当时对很多人来说说，哇原来个模型，可以这么便宜又这么好，其实很多就开始，更多的去看，比如说千问啊等等的，这种一个开源模型，所带来的进展了，而那这回Kimi的话，相当于在大家，这样一个焦虑的时间点上，更高的推动了一步，其实都在很短的时间内发生的，但整个恋爱行业，有点像是天上一日，人间一年，这样的一种感觉，进展的实在很快，对所以其实K3相当于是再次加深了大家的这个印象，就是现在的开源模型的能力，已经可以做到和闭源模型能力一样强了 [00:08:26]
一文：所以在这种情况之下，企业才会去做这样一个成本的判断，就像你刚才说的今年的前几个月，大家主要是在token maxing 去最大化这个token的使用量，现在可能是一个token optimization优化的状态，对其实这个东西我倒感觉不是说是，开源模型就跟闭源的达到一样强，第一点是整个成本，另外一个主要的问题呢，就是所有权，如果模型一切都是取决于对方是否开放啊，这就是Frontier模型今年早一点 Atlantic的这个事情，其实对大家影响很大的，说突然有一天，美国商务部说这个不可以用了，那就一夜之间都不可以用了，那之前你做的部署，之前什么可能都没有了 [00:09:20]
开源模型的成本优势与蒸馏争议
# E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿
目录
- 开源模型的成本优势与蒸馏争议 [00:10:00 - 00:20:00]
开源模型的成本优势与蒸馏争议
一文：之前什么可能都没有了，那这种情况怎么办，很多时候大家就会发现说，那我可能不需要用最好的模型，前一段艾森哲做了一个内部的调研嘛，爱森哲作为世界上最大的咨询公司之一，他们又是专门做AI相关的，其实他们的员工使用模型，做的最多的事就是生成PDF 那这个东西其实你不需要用最新模型去做的
王铁镇：对成本上我是这样想的，为什么开源模型的推理成本，一般会比闭源模型要便宜，它有几个结构性的原因，第一个如果你看闭源模型成本拆开看的话，那它一部分是实际买硬件去做推理的固定的成本，另一部分是说，它要为这个模型付一个premium 因为你这是一个闭源的模型，它卖API的时候，肯定是带了闭源模型，本身的一个成本，但如果我们去看，开源模型推理的一个，成本的结构体系，比如说Fireworks 比如说Together AI 其实只有一个硬件的成本，和它自己为推理服务所赚的钱，它并没有为模型额外的付钱，这是现在的情况，未来可能会变化，所以从结构上来讲，它应该是会比闭源模型要低的，第二个也要看到，中国开源模型，实际上一直都在卷一个东西，叫Skilling Efficiency 在你去做Skilling的时候，是不是能够同时把成本降下来，那Kimi K3的那个报告里面有一个图那它横轴是说你的Flops 然后纵轴是说你达到同样的模型的能力，比如说用这个模型训练的时候，这个Loss来衡量，它有两个曲线，然后一个是K3一个是K2 我们看到说虽然K3比K2大了一倍甚至还多，但是实际上它的Skilling Efficiency是扩大了2.5倍，也就是说K3通过一个模型架构上的演进，达到了模型更大，且模型更efficient的这么一个效果，这个也是导致成本能够快速降低的一个原因，这里面起到作用最大的可能就是，他用的KDA和其他的一些优化的技术，这一方面比如说KDA或者是RWKV 或者是其他的一些linear attention技术，是国内每家厂都在研究的，但是我们很少看到海外的必然厂，比如说Anthropy或者Chad GPT 去讲说他用了什么样的这种技术，其实linear attention整个这个领域，目前最火的，能让大模型更便宜的技术的这个领域，主要都是由华人的researcher主导所以这个是可能开源模型，另一个方面的优势，因为它出生在一个算力受限的国家，所以它天然第一天就很关注这个模型，训练和推理的时候，是不是都可以变得非常非常的高效，这也就导致说，为什么开源模型的成本会低，第三个原因就是说，国内的开源模型，实际上现在没有足够的算力，去scale到那么大的一个规模，网上有传言说Frontier模型这个模型，可能它的本体有8到10T那么大，但是K3的话，它实际上只有3T不到，也就是说3T的模型，可以跟10T左右的模型，达到同样的效果，单看这个尺寸的话，其实我们也能想象，推理成本本身也是有一个巨大的差别的，开源模型可以以更小的模型，做出更多的事情，所以它会比闭源模型更便宜，我觉得这个特别有意思，因为其实我本来有一个，关于算力的问题 [00:12:11]
一文：因为从DP开始，大家就是在说，中国的整个模型是算力受限，导致创新倒逼的这样一个叙事吗，那现在听起来，其实K3的思路也还是一样的，但是虽然这个模型结构的演进，会带来很多的方便
王铁镇：但是在工程适配上，确实带来了很多很多的挑战，这也需要很多额外的工作，才能够把理论上的这个极限，实际在工程上做出来，所以还是要给中国，开源模型专家们打扣，是的，既然我们聊到了KIMI的能力 [00:13:12]
一文：还有训练这个方面，我们就来解决一下，蒸馏这个争议吧，因为你们之前都提到了 Anthropic对于包括月之暗面在内的三家公司 DeepSeek月之暗面和Minimax 三家公司在今年2月提出的蒸馏的指控，包括最近Kimi把K3放出来之后，其实美国的政府也有所介入，提出了针对中国开源模型是否要限制的，这样等等一系列问题，并且在讨论相应的政策，这个网络上也有很多的讨论，我觉得咱们先做一个科普吧，就是蒸馏到底指的是什么，因为我觉得其实Anthropic 他说的蒸馏和我们在说AI训练当中，蒸馏的这个过程
王铁镇：其实之间还是有一些细微的区分的，田正要不要先帮我们解释一下，对蒸馏实际上是一个，现在被用案的一个词，然后很多不同层面的蒸馏的这个词语，都混在一起，从纯技术的角度，蒸馏是一个非常中性的词，蒸馏就是说，我现在有一个大的模型，然后我现在另外有个小的模型，我怎么样让这个小的模型，学会大的模型的一个能力，它可能有很多种方法，最传统的方法就是说，我们看一下大的模型，推理之后，它输出的这个logits 就正常我们用，比如说闭源模型，你是看不到这个logits 它logits就是说，每一个位置上，每一个token 它的输出的一个概率，然后让小模型，去学这个概率的分布，比如说你用闭源模型，你能拿到的就是，它最后sample 就是它采样出来的哪一个词，你是没有办法反推回来，它的分布的，所以用经典的，我们聊的蒸馏的，这个技术的词汇，你是没有办法做到，比如说我们拿一个，开源模型，然后让它去学会 fibre的这种事情所以本身我们说这个蒸馏实际上是一种暗影，现在大家谈的蒸馏更多的是说，利用闭源模型生成出的文本来学习，然后让这个开源模型拥有闭源模型的一个能力，那这个事情其实就非常controversial 就是说起来就非常有意思，闭源模型可以拿所有人类的数据去学习，然后学完的东西在被闭源模型输出之后，不能被别人用来做下一个模型，这不是很可笑吗，相当于是闭源模型练了一个宝典，然后他就把所有的语调都扔掉，不告诉你说他是在哪学的，也不给你讲说他学到的这个东西是什么，不允许开源模型拿他的这个输出去训练，或者换一个例子，有人读了一本书，然后他拿这个书的内容，去写了一些自己的创作，跟所有别的人说，你不能读我写的这个东西，实际上就是一个非常非常有意思的点，就是版权法是不是能保护 B1模型的输出，不能够被其他模型拿去做训练 那在这个点上，开源模型实际上是非常非常开放 R1出来的时候，他直接说我们支持所有人去蒸馏我的开源的这个模型，我甚至官方推出了一些数据集和模型，然后让大家可以去蒸馏，蒸馏有很多好处，比如说大家实际需要的是一个非常小的，一个比如说3B的模型，那你可以把DeepSeq某一个方面的能力给蒸馏进去，而且DeepSeq是直接给你开放logits 所以你想要去做传统意义上的蒸馏，你是完全没有问题的 Kimi也是一样，就是他其实在License里面并没有明确的限制，说你不能把这个开源模型的输出，用作提高其他的跟它竞争的，这个模型另外一个层面抛开，这个就有很多人说蒸馏是什么呢，当我用这个开源模型的时候，这个开源模型会自己说我是 cloud你问这个开源模型你是谁，你不要加这个system prompt他就会说，我是anthropic我是chadgbt 然后很多人说你一定是在蒸馏这个避免，模型实际上这是一个数据污染的问题，在oplus4.7的时候我记得如果你把system prompt拿掉，然后你用中文去问他说，你是谁的时候他会说自己是欠问，其实也就是一个数据污染的问题，因为各种模型的输出，已经在互联网上大量的存在了，所以这些模型在预训练的时候，会学到各种不同的身份，导致他意识有点错乱，那解决办法就是你在System Park那边，很明确地跟他说你是谁，也针对性地做一些微调和训练，但是这个问题肯定是没有办法完全得到解决的，总会有一些情况下，这个模型会对自己是谁的认知有一个错乱，我并不觉得说它是一个蒸馏的问题，说回来K3有没有蒸馏的这个事情，那我为什么相信它并没有蒸馏，是因为蒸馏是一个训练的过程，它是你在训练的时候，去学习另外一个模型的表现，你学的这个过程，实际上是非常漫长的，就是一个经典的这个模型训练，可能需要三个月，那它绝对不可能在，比如说十多天，就积累到足够多的预料，然后去学习然后另外一点，为什么开源模型，其实很难从闭源模型蒸馏，是因为闭源模型，不给你暴露它的思维链，就闭源模型蒸馏，开源模型是非常非常容易的，因为开源模型已经把，所有logits 所有的思维链，全都暴露出来，所以避缘模型，要去注意完全没有问题，但是开源模型，如果他们真的在蒸馏，并且想蒸馏这个避缘模型的话，实际上是很难很难的，它又不给你暴露logits 又不给你暴露思维链，它只给你暴露最终的结果，如果说我们看到，一个人做事情的结果，我们就能学会，他内心怎么想的话，那我们人类社会，互相学习也太容易了，包括我们在去，向某些人学习的时候，我们需要打开他的内心，知道他内心是怎么想的，我们只看他的结果，实际上是很难学会他的行为的，所以避免模型不抱过他的思维链，就导致避免模型非常难被蒸馏，那我们也很难通过避免模型 [00:17:43]
一文：来提高闭源模型的一些能力，比如说我们从这些前沿实验室 Anthropic和OpenAI的角度来看，他们对于蒸馏的担心，你觉得是出自什么样的证据也好，或者他们的经验也好呢 [00:18:29]
王铁镇：我们怎么样去理解，他们最近的这些指控呢，我觉得抛出蒸馏这个概念的人，其实不见得是技术圈的人，每个公司肯定都是有不同背景的人，那大家竞争或者是怎么样，他肯定是有一些方向和战略，那不见得说是技术圈的一个蒸馏的指控，可能更多的是一个，比如说商业目的，或者是给大家一些预先的植入，就说其实开源模型没有那么好，它都是蒸馏闭源模型征出来的，或者是怎么样，你也很难抓到一个具体的事实，去说你确实是在蒸馏，其实我觉得这些闭源厂商，借着蒸馏这个名号，其实也做了很多，很夸张的事情，比如说，他们曾经把几万个账号，被质疑是在蒸馏数据的，这个账号给关掉，那其实本质上就说明，他们实际上在看，所有用户的数据，他们才知道，他觉得谁在蒸馏，所以我觉得整个这个事情，其实就有点像是，所谓的这种国家安全，自我强化的一个预言，那你总要有一个靶子，然后你去照着这个靶子去打 说不定能够草打兔子，然后找到一些什么东西，如果能出一些，社会影响力当然好，如果出不了，那也就这样对吧，技术圈其实一直对大家的蒸馏的，这个说法有很多质疑，但是也就这样了，蒸馏本身是一个中性词 [00:19:36]
一文：但现在蒸馏已经变成了一个贬义词，但事实上呢，蒸馏本身呢，首先它是一个很标准的一个技术，所有的公司，包括OpenAI啊 Google啊
蒸馏边界与开源模型的商业化
# E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿
目录
- 蒸馏边界与开源模型的商业化 [00:20:00 - 00:30:00]
蒸馏边界与开源模型的商业化
Keith Zhai：Google啊 Srp 大家其实都在用大模型蒸馏，各种小模型啊，这都是已经存在的嘛，第二个误解呢，就是把模型能力完全归结于蒸馏，就模型只要是比较好了，它就全都是因为蒸馏，但事实上不是的，如果这么简单的话，那所有人就随便就训练出来一个模型了，那这里面它的强化学习啊，数据工程啊，架构的各种创新啊，包括最开始DeepSeek所做的很多东西啊，这是一个非常复杂的问题，蒸馏呢可以让你很快的去达到一个及格线，而像Kimi3呢，它其实已经远远超过及格线了嘛，因为蒸馏它能省的呢，一个是比如说是算力，第二个呢，数据标注上，其实可以省不少的一块的东西的，当然还有时间，它的迭代啊，什么各种周期也可以变得更快，以及呢，很大的一个挑战就是对齐嘛但是从本质上，它无法实现超越，或者是达到一个上限的，所以呢，目前呢，很多时候关于蒸馏的讨论呢，它其实是会落在法律和商业的伦理层面，而不是一个技术层面的讨论了，因为几种情况被认为越界的话，它不是一个技术的越界，而是比如说它违反了模型的服务条款，第二点可能就是规模化或者系统化的，用对方的API去提取大家的训练信号，第三个可能就是涉及到模型的权重，商业机密直接窃取了，关于Kimi是不是蒸馏，或者说中国的open source这些模型，大家是不是蒸馏这个情况，我认为就是因为，这是一个非常抽象的概念，它又被简化为一个抄袭，所以其实好多的主张，是混合到一起了，我们应该把它给拆开来看，第一个呢，有没有中国的一些实验室可能是不是系统性的，没有经过授权，调用了比如说，包括Cloud在内的，这类的Frontier Models 他们的API 去提取训练信号，很多的证据，其实围绕在这里的，比如说账号的，大规模的自动化请求啊，各种调用啊，这个是可以被检测系统所抓到的，但第二层呢，很多的一些指控呢，比如K3呢，是靠蒸馏飞波5拿到的呀，什么的，这个是证据非常薄弱的，时间上来看嘛，就飞波5的话，它是7月初吧 1号还有2号刚开始的，中间其实很短的，要在两周的左右的时间，把一个千言模型，换成另外一个训练数据，整个跑这个，其实是极其困难的一个事情，第三点，蒸馏这件事情本身，让这些开源模型，包括Kimi K3在内所做的成就，是不是就不make sense了这个我认为是一个错误的观点，因为蒸馏就是一个，比较久的一个技术，模型输出本身，它很多时候不受，传统版权法保护，从这个角度的话 [00:22:42]
王铁镇：它其实还做了很多东西的，它本身的话，还是实现了很多，技术上包括各方面的，一些推动和革命的，就算可能有一些这个APP再去蒸馏，其实中国模型开源模型的成功，实际上可能有比如说十个理由，包括刚才我们说到模型架构，包括infra上面的一些工作，包括一些中文数据的一些工作等等，其实可能都是非常重要的点，如果说美国的这些前沿的这个APP 只关注蒸馏一点的话，其实他们有点只见树木不见森林，可能会完全忽略掉，中国模型在其他方面的先进性，这是因为涉及到法律，或者是商业上的一个伦理道德，很多东西，所以这个其实很难做出一个具体的
一文：说是不是这样的一个判断，但是我感觉目前所有的证据，应该倾向于指向的是，可能会存在一些没有授权的，大规模的数据抓取行为，但并不代表说能得到的结论，说Kimi K3包括其他在内，他们的核心能力来自于蒸馏，尤其是蒸馏Frontier模型 这两个是不同的事情，是的，我觉得这里两位都回答了两个核心问题，一个是到底有没有真流，第二个是真流够不够成，这个模型的核心能力，我觉得是非常好的总结，其实我想再从K3的角度来，看一下这件事情，其实铁证你提到了 K3的这样一个商业授权模式，我觉得也是这次技术报告放出之后，特别有意思的一个点 Kimi它使用的是一个，单独的Kimi K3 License 它规定如果一家公司，它卖的是模型，并且公司以及它的关联方，在连续12个月内的总收入，超过2000万美元或者说这个公司，它在把K3和它的衍生模型，用于商业服务之前，需要和月之暗面，另外签署一个协议嘛，而且这个model as a service 就是对于这类模型，公司的定义，不包括嵌入具体产品功能的，终端应用，其他的就是内部使用，月之暗面官方产品，和其他的合作伙伴，也不包括在内嘛，这样一个商业授权协议，体现出了，提米商业化上的一个，什么样的趋势吧，然后以及我们之前，有没有看到过这样的一些意义，第一个我觉得，赚钱的开源模型，才是好的开源模型 [00:24:26]
王铁镇：这个事情可以有几个佐证，第一个比如说，之前我们看文生图模型领域的翘楚，这个Stable Diffusion 它是后面是，由Stability这个公司研发的，它这个模型一直没有办法，赚到足够多的钱，所以就渐渐销声匿迹了，第二个就是签问，签问可能也是因为，开源做得很好，但是商业化做得不好，所以我一直觉得，能够赚钱的开源模型，才是可持续的开源模型，才是可以让我们一直享受，下一代开源模型的这种一个模型，第二个就是，这个license赚钱这个事情，其实Kimi不是第一个提出来的，当年的开源模型的祖师爷阿玛，他们当时在license里面也有一个限制，当时大家不是特别清楚，具体他这些东西要怎么执行，那Kimi这一次呢，就把具体执行的这个内容，都给写得很清楚，也是比较可操作的，我觉得这是实际上是一个license法律，或者是商务层面的一个进步，第三个就是 他现在把这个东西写清楚之后，很多专门做模型推理和云厂商，实际上没有办法去take free ride 因为之前很多开源的一些数据库的项目，现在最担心的就是云厂商，没有出工没有出力，然后拿这个开源项目，部署在自己的云上就可以卖钱了，所以这个free ride的这个事情，实际上是开源社区一直想要避免的，那之前在开源软件时代，大家都想出了很多办法，比如说可以有两个license 或者说专门有一个license 排除对云厂商和一些专门做线上业务的人的排除，那我觉得Kimi也是延续了这个精神，包括MAS厂，包括这些云厂，他们需要在自己通过开源模型赚到的钱里面，给Kimi做一些分成，我觉得这也是非常非常合理的，可能是一个反常识的观点，就是云厂和这个MAS厂，实际上应该是非常欢迎Kimi找他来收钱的，因为只要你来收钱，就说明你跟Kimi有一个官方的认证关系大家如果去看Kimi的官方的一些发布，它实际上是有一套 vendor verification的流程的，就是你只有过了这个流程，你卖出来的token 才能被证明说是好的token 包括准确性，包括性能，都是有保障的，如果你连这个vendor verification 都没有过，你都没有给Kimi付钱，你都不是Kimi的官方合作伙伴，那大家可能也不愿意，去采买你的token 从marketing的角度说，那另外一点就是，其实这些mass厂和云厂，包括一些小的，专门卖推理的公司，其实它整个的business 都建立在，他们能拿到不限量的开源模型，并且不停地用开源模型做推理，卖给他的客户这个点上，所以他们也非常希望，开源模型的生态是一波接一波，持续不断的，他也希望这些开源模型公司，是能够赚到钱的，不然如果有一天大家都不开源了，这些比如说拿了很多融资的，专门做推理的厂，或者是买了很多卡，然后想要自己做推理的Neo Lab他的整个business logic就不成立了，所以说现在有一个能够，让大家整个生态持续发展的方式，大家应该都是非常非常欢迎的，我相信这个应该不是第一个，尝试这方面license的公司 Kimi之前Minimax 其实也做过一些尝试，后面我们应该也能看到 [00:27:40]
一文：更多的企业做更多不同的尝试，我们能不能稍微和别的，中国的开源厂商做一下对比，比如说我理解千问的商业模式，可能是回到他们的云服务，这个能不能跟我们解释一下，哪家厂商有什么不同
王铁镇：千问的商业模式，肯定是绑定阿里云，但这只是过去的一个状态，如果说Kimi的这个license 转变是很成功的，大家也都愿意付这个钱，并且改成更紧密的，整个生态的一个连接的话，那我相信 [00:28:11]
一文：其他家去复制这个模式，也不是一个不可能的事情，其实这个逻辑本身是不新的，比如说从早年的MongoDB Elastic 其实大家都做得差不多，因为那会儿云厂商，大家很多时候都做白嫖，所以整个这个逻辑，就MIT Apache 都是在这种情况下出生的，包括Lama其实也是这样的，它的整个这个逻辑，也是对着当时非常大的 Microsoft Amazon等等 AWS这样的东西来设计的，所以其实Kimi的整个设计，应该是两块，第一块就是一个云厂商，因为其实你可以想象，像现在非常火的Together AI Fireworks 其实大家核心都是靠这些开源模型，来赚很多钱，这是一份中间商的插架，第二一部分，其实就是终端应用方，那也就涉及到了，比如说Cursor之类的，它是一个终端的时候，那你的情况应该怎么样，这个其实已经是一个非常细化的了
Keith Zhai：这个其实就回到和币园模型，或者币园整个这个Frontier Labs 在打仗的这样的一个场景里来就看，比如说Moonshot 它现在核心应该是靠开源的这样一个逻辑去铺量，去挤包括HNI，Ethropic这样的一些生存生态，或者生存方式，以及形成一个新的新智商的占领，但是与此同时这个事情也非常新，因为跟过去Cloud不一样，现在的情况下，他已经没有办法自己去能承担得住，这种一代又一代模型迭代训练成本了，所以如何能保证开源这样的一个大的叙事，但同时又不能就把自己最好吃的蛋糕，交给大家随便去白嫖，这种情况应该怎么打 [00:29:17]
开放权重对闭源实验室的冲击
# E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿
目录
- 开放权重对闭源实验室的冲击 [00:30:00 - 00:40:00]
开放权重对闭源实验室的冲击
一文：这种情况应该怎么打，所以这目前来说，这是一个相对妥协的一个结果，但是最难的角度就是落地，就是知情情况，你怎么去知道一家非中国本土的公司，在过去的营收达到，比如2000万美金，这应该是一个坎儿，那怎么去衡量呢，然后很多公司，它本来就是AI native公司，你也不知道它赚多少钱，这是打官司到时候，它因为这是现在是自觉申报，申报这个东西，像Cursor这种是容易看到的，那很多公司你怎么去看呢，打官司跨境执法怎么办，这东西从传统的角度，都没有去解决的事情，在今天这个AI的行业里，怎么去解决呢，其实有很多很多的灰色地带的，这个其实是一个，非常难以去界定的事情，在我看来，那你们觉得这个，有什么过去的案例，是值得参考的吗
王铁镇：无论是成功或者失败的例子，还是说现在还是一个太新的东西，我们没有办法去衡量，确实收钱，这个是一个很难的事情，尤其是license收钱，过去大家一直有抨击说，中国的企业，尤其是中国的大厂，它根本不看license 我只要偷偷地用，然后你找不到证据，没关系，但是实际上我看到这几年情况在快速的好转，包括阿里，我知道他也是付了很多license 然后包括一些非常传统的软件，比如说服务器的什么load balancer什么的，其实在国内也都能收上来钱了，其中背后的原因我觉得有几个，第一个就是说至少这一代程序员，大家还是有比较强的给license付费的一个意识，第二个呢，其实厂家也发现，带着原厂一起去做一些事情，一起去call marketing 实际上是能给它带来很多好处的，比如说某云厂可能，对某功能有一个定制化的需求，它自己不一定能搞得定或者说它就算自己搞定了，它对开源代码的改动，是非常有侵入性的，导致开源代码一更新，它这边的所有的魔改，全都不能工作，所以每次更新，都是一个非常非常痛苦的过程，这些云厂通过资助这个开源项目，或者买它的license 或者加入基金会等等，它可以跟这些云厂，有一个非常紧密的连接，它可以说OK 我需要你帮我把这个功能推进去，下次我更新的时候我就很容易，这种事情多了之后，大家就养成一种意识，说那为什么我们不跟你原厂搞好关系，我要total mobile 我让原厂还帮我宣传不好吗，第三个就是包括Linux基金会等等，这些机构在国内，比如说通过美国企业的OSPO 就是开源办公室的一些合作，实际上里面很多信息，现在是非常透明的，就大家知道谁在用什么，而且这个人员流动也很频繁，尤其是非常非常大量的使用，然后你想藏住实际上是很难很难的，一旦你被发现，有明确的证据链之后，法院也是会支持，看原意方的，因为这里面，已经有些比较好的判例了，第四点，我们再回到 Kimi的这个license 能不能说上前来，因为我们知道 Kimi这个模型，实际上是一个非常大的模型，它是一个3T的模型，想要把这个模型，在云上面服务好，实际上是很难的，虽然我们看到，像VM 像SGL 都对它做了一些，社区向的支持，但是真正能够把它，大规模跑起来，并且有很高的性价比，然后有很高的使用体验，并且把它跑起来，其实全球也没有那么多的机构，第一个，你首先要有几百张，几千张，几万张NVIDIA的卡，那首先你就是一个，要面子在这个行业里面，靠品牌吃饭的一个人，如果你没有一个，很好的branding NVIDIA甚至不愿意给你卖卡，然后第二个就是，你肯定在这个里面，投入相当多的人，去做所有的推理优化了你这个事情你是藏不住的，然后第三个，所有的API的售卖，其实大部分都是公开的一个售卖，就是你想要走量达到Kimi的那个量级，你需要自己有一个API 然后放出来让大家买一些token 或者是面向2B的一些场景，大家能够在你的网站上直接看到说，你在卖Kimi的token 虽然你可以藏一部分销售的量，我觉得但是大的量你是藏不住的，所以综上极点，我非常有信心Kimi能把这个钱收回来，肯定是会有一些漏网之鱼，但是应该不影响他们公司的业绩，如果说MyLicense的这个路径，被Kimi证明成功，实际上这是比Kimi自己去做推理，要好得多的一个商业模式，这就是无本万利，你只要把模型做好，大家都直接给你上贡，你连自己买卡或者是怎么样，都不太需要，尤其中国企业可能在买卡上 [00:33:34]
一文：还是去面临一些挑战，个人情感上我也希望说 Kimi这条路径能够走通，我觉得这个非常有意思，而且其实这是一个很好的过渡，如果说License这一套模式，可以走通的话，它会对闭源实验室的收入模式 [00:34:19]
王铁镇：造成什么样的影响呢，我觉得第一波影响应该是估值体系，今年ChatGPT和Anthropic都要上市嘛 OpenAI和Anthropic上市的时候，大家就会问，你这公司到底值多少钱，在开源模型追评Frontier模型之前，大家会觉得闭源模型，它的模型本身是一个非常有价值，非常有稀缺性，非常值得溢价，甚至是垄断性的一个东西，我记得前几天看到一个笑话，就是有一个Hackathon 在Hackathon运行的中间，拆了GBT的服务器断线了，然后就没有人在Hackathon去搞东西了，因为大家都，大家的智能被断供了，大家都没有办法继续去做这个事情，所以它垄断智能这个事情，实际上是比垄断任何商品，威力要恐怖的多的多的多，所以它天然就值得万亿的市值，但是有一天大家发现，好像竞争变多了，好像不止这几家可以训练模型 好像很多家都可以训练模型，有了开源模型之后，非常聪明的模型，变成了一个流通的商品，甚至是被平面化，变成一个社会的基础服务，那这个时候你再去想 OpenAI和Anthropic的价值，可能就要稍微打一个问号，大家就会问说，那你商业化到底能做到什么样程度，有多少企业愿意，在这种开源模型，已经遍地开花的情况下，还愿意付钱买你的闭源模型，闭源模型你商业的margin 能做到什么样，然后你后面发展的这个scaling out 我是不是还可以投无限的钱，让你去无限扩展，还是说你现在要抓紧去想一想，怎么样让你token的efficiency更高，所以整个这些东西压下来，这个饼就没有那么容易画得圆，估值体系肯定是会受到一定的压力的，第二个就是说，如果说未来所有美国的这个Neo Cloud 都变成Anthropic和Chad GP的竞争对手，因为他们天然就有探险模型，哪怕交一点license他们还是能赚钱，比数据中心低价卖给Anthropic 还是要赚很多钱的，这时候就会发现 OpenAI和Anthropic的业务，其实很难再有爆炸性的推进了，因为所有的这个Neo Cloud 它们之间可以互相卷价格，它可以把token价格压到很低，甚至有的人可能是通过一些资本市场的手段，让数据中心的成本在资本开支里面去amortize 它的token可以卖得很便宜，这样的情况下 OpenAI和Anthropic会不会被动的陷入一种价格战，其实我们已经看到，以前Anthropic和ChadBT 他是很高傲的，他说封你号就封你号，前几个月前我们就看到是这样，后面TradeGPT为了做一些商业的手段，开始了国内外卖送券的这个模式，不定期的给大家发一些重置券，这就已经开始一些很商业化，可能会损害公司的margin 但是圈更多用户的一个手段，而且我们看到Anthropic 最近封号也变得没有那么疯狂可能最后大家为了业绩，可能对很多号的管理也没有那么严谨了，最后都会反映到他们的财报上面，都会反映到市场的竞争里面，所以我觉得开源模型的普及，实际上是对他们造成了一些困扰的，我觉得这也是为什么，他们可能会想要提议说，禁用开源模型，或者是在法律和市场层面，去给潜在的竞争对手，造成一些阻碍的原因，最近有一个背景，就是美国的一大批科技公司 [00:37:16]
一文：还有一些机构，签署了这样一份公开信，这份公开信的名字叫做，开放权重和美国AI领导力，这个是黄仁勋加入X之后，发的第一篇推文，所以也造成了很大的影响，这个应该是在上周五，就是7月24号的时候，应该有25家公司，还有个人和机构，签署了这封公开信，在几天的发酵之后，大概是达到75家，这其中呢 Anthropic是一直没有签这封公开信的，当然今天Darren Amode 刚发表了一篇他自己的文章，然后也解释了，就是Anthropic 对于开放权重这件事情的一个看法，所以我觉得这个立场，其实特别有意思，然后我们又在这个背景之下去，去讨论他们的商业利益的关系， 所以我觉得也是形成了这样一个冲突吧。在这个背景之下， 能不能请两位再给我们分析一下， Anthropic现在它的立场是什么样的， 这个闭源实验室到底在这波开源模型中受到了什么样的冲击?其实这个公开性我自己感觉， 因为它整个核心就是关于要不要开源， 或者应该接受开源。开放的一个生态和一个避孕的生态， 它的商业逻辑从根本上，其实就是应该是一个对立的，开源模型它每一次的开放，肯定都会给专门是卖API这个cost 整个的必然的这个，带来一个巨大的冲击，这是黄仁勋所被指责的一个点，其实从芯片和基础设施，这个角度来看，那肯定是每个人都能自由搭建，一个最好，这样的话它可以卖出更多的产子，因为它并不在乎谁能挖到金子，而对于模型厂商，其实核心就保住自己的护城河，但是双方所护守的东西，在这个环境下，就会发生两个，完全不一样的角度了，整个会走的，甚至可能会越来越远在这个利益上，应该是完全不会对齐的了，甚至你会看到，从闭源模型的整个体来看，它也发生了很大的变化，一种就是包括，我们刚才谈到 OpenAI and Topic这种，主要是靠，可以说是卖API来赚钱的，这样的公司，另外一种，其实是包括Meta 包括阿里这样的公司 Meta和阿里都是有自己的分发，和基础架构的，因为阿里其实主要赚的就是云服务，通过开源到闭源 [00:39:31]
开源生态与美国企业落地
# E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿
目录
- 开源生态与美国企业落地 [00:40:00 - 00:50:00]
开源生态与美国企业落地
一文：通过开源到闭源，这样它可以从云服务，在角度来去做更多的业务，而从Meta的角度来说 WhatsApp 第一次我发现WhatsApp 今天增加了一个收费版 299一个月可以开始收费，它是可以靠自己的 Instagram各种的APP居身，去实现转移，他自己目前受到的开阅上的压力，但是这两种情况，是目前为止 OpenAI和Anthropic 他们都是没有的，因为他们在过去一生，主要focus的是API的这样一个模式，无论是从基础，就卖铲子的公司，和希望别人用API的公司，这个角度来说，以及就B&N公司本身
Keith Zhai：它也已经开始越来越的分化，它是一个结构层面的变化，我非常同意Keith老师的观点，不管你在商业竞争的哪一个层面，其实你都希望，跟你同层面竞争的人越少越好，但是你的上游和下游都是越来越多的，站在Media的角度，她肯定是不希望这个模型厂，是一个出在混乱地位的，因为这样他们的溢价权就会很强，她希望说自己出在一个混乱地位，但是不管是上游的模型厂，还是下游的Nilcloud 都是尽量丰富的一个生态，那么在这种情况下，他们去支持开源，我觉得也是非常非常可以理解，而且其实Ambilia 从早期到现在，它一直都是开源，非常好的一个支持者，像早期它之所以，能在研究员群体里面，建立早期的生态，让深度学习，最早的一些故事，全都发生在，英伟达的这个硬件上，也就是因为它，比如说库达的这个生态，它有一个非常好的，开发者社群，然后围绕这个库达的生态有非常非常多的开源项目，从最早甲银青的咖啡，到后面Google的Tanzaflow 到后面的Pytorch 都是搭建在 NVIDIA硬件上面，一套非常完善的，开源软件的体系，这种体系就形成了，一个非常强的并了，一旦说，你已经成为开源的标配，比如说AMD想要进来，那他就要跟所有的，这些开源厂商，一个一个去聊，说我是不是能够在 PyTorch里面做一个集成，我是不是能在，比如说VRMS 这一号里面去做一个集成，那后来者，其实要花很多很多的功夫，那NVIDIA作为开源的先行者，实际上在这里面，是有不少红利的，相当一部分的，所谓的CUDA的护城河，实际上都是围绕在Kuda周围的，这些开源生态造成的一个互生核，所以我觉得Media来支持这个事情，也是非常非常合理的，第三点就是 Anthropic其实有点走向邪怒，它实际上是在以安全的名义，为用户增加很多的限制，一个最让大家诟病的就是比如说你在用Frontier模型的时候，如果你不小心触发了，那个贼敏感的检测器，那它有可能会瞬间给你降至到 Opera 4.8 导致一个什么后果呢，就是你想要测试Frontier模型的极限能力，如果你不是Anthropic的员工，你被filter限制，你是没有办法去做任何事情的，因为随时，比如说测出来一个不好的成绩，你都要怀疑说，是不是我会降至到Opus 4.8 比如说像我们，平时去做一些AI方面的探索，哪怕我就是做一个很简单的推理，如果我不精心构造这个prompt 我就不要说是骗Frontier模型 说这东西不是一个AI的东西，很有可能我就是做一个，简单的模型的推理，然后Frontier模型就直接告诉我说，你这东西有风险，我不能支持你做这个事情，我就给你限制，这个filter 我相信他做的这么敏感，也是有一定的意义，因为我知道Anthropic里面，光做模型外安全的这个团队，都有几百人，他做成这个样子，到底是故意的还是不故意的，这我不是特别清楚，但是我觉得他至少现在的这个产品形态，对用户造成的烦恼，是远远多于他潜在的安全的考量的，一个让用户如此不爽的公司，能够突然发现，自己瞬间有好多竞争对手，然后大家对自己不爽，然后大家都想要支持开源，也不是一个非常难以预料的事情，对我觉得这个非常有意思 [00:43:24]
一文：其实中国的模型厂商，它并不是从一开始就是开源的，其实Kimi K1这个模型 Kimi的第一个模型，也是一个闭源模型，而且一开始很多的模型提供商，都是去做这样一个，闭源的商业模式的，通过开源呢，我们可以看到，可能有更强的分发能力，有更多的用户，就像比如说，把这个名声打出去吧，然后这个开源的好处，让很多的模型厂商选择了开源，所以我觉得我们做一个思想实验，就是说如果Kimi有OpenAI那么强的分发能力，和那么高的API收入，它还会选择开源吗，我不知道，就是如果你有这个OpenAI这么多的收入，它是不是还会开源
王铁镇：就是我觉得可以做一个类比 Linux早期是作为一个反抗闭源 UNIX生态的一个先行者，但是当这个Linux发展到，现在已经基本上所有的设备上面，都在跑一个Linux的时候 Linux依旧是一个开源的底层的一个东西，所以我更倾向于说，只要我们找到开源生态，一个可以持续运转，并且能赚钱，并且能赚大钱的一个商业模式 [00:44:22]
一文：那没有理由他们不开源，整个这个东西，其实在某种程度上，也不一定受实验室自己控制，因为它已经从商业竞争，开始变成了一种地缘政治的一个博弈，就在这个框架下，它的这个business logic 其实变得是第二阶了，其实在这里我还想聊一个公司，我觉得Thinking Machines很有意思，它在应该是K3发布前的一周前吧，也发布了Inkling Inkling是一个开放权重的模型，并且它参考了DeepSeek的架构，因为Miramarali也是从OpenAI出来的，其实我还蛮想听一下大家的看法，就是Thinking Machines 为什么会选择开放权重这件事情
王铁镇：我的理解是，它有一个叫Tinker的，后训练的线上的服务，他为了让用户把这个东西用起来，他肯定是要把基础的模型，就是Tinker训练出的这个模型的一个结构，放出来然后让大家用，这样Tinker每次训练出一个什么什么东西，它开源的适配已经都完善了，所以我觉得从这个角度来讲，是非常非常合理的，去做一些开源的工作，只要说这个开源的工作不会影响到，比如说它的一些商业利益或者是什么，我觉得是没有问题的，另外其实美国学界也在反思说，为什么美国的公司，做开源做的越来越少，因为像开源模型的这个鼻祖，就是Lama 那个时候都是美国公司在领导，从DeepSeek出现之后，美国的参与开源的比例，就会大幅的下降，所以当时Thinking Machine 这个模型出来的时候，我就记得很多人就讲说，这是一个美国很重要的，开源模型等等可能也有一些这方面的考量，在美国的一些researcher 可能也在想说，为什么我们不能参与到，开源的游戏里面，我们也可以对社区做一些贡献 ThinkMachine发的这个模型，其实它的架构，或者是在它整个的 technical report里面，都是有一些很不错的，有意思的亮点，那也是值得学习的，我觉得其实开源界，不怕说大家卷起来，不怕大家发很多模型，然后一个比一个好，其实最担心的就是，开源界就没有人发模型，变成一滩死水，只要是有新的开源模型出案，总能给大家一些启示，每个人在做不同的尝试的话，也会让这个领域推进的更快 [00:46:23]
一文：不管说这些开源模型是哪个回答，跟KeyMotion这个模型，因为我的理解，它的整个方向虽然它是开源，但是它跟KeyMe完全不是一套打法，他们整个核心应该就是，现在企业都需要一个deploy自己的模型，他们会帮着企业做微调，做各种，这个一套逻辑的话，现在是美国非常普遍的一套逻辑，因为2B在美国是一个很大的生意，而在中国其实不是一个很好的生意，就intelligence 我应该是租借的，还是我应该是变成自己的，那很多的企业，现在越来越接受的观点，就是intelligence should be owned 而不应该是rent
王铁镇：那这就是，它的整个的大背景下，我好奇，比如说你们看到的，服务美国企业的场景，大家对，比如说用 thinking machine的这个模型，或者说用中国的开源模型，会有一些技术之外的看法吗，或者说，大家主要看的点是什么，大家主要在用哪些模型，对，我感觉这个东西，就还是看具体的应用场景，以及你的vertical 垂直场景，比如说一些政府端，那肯定是不可以，包括一些国家 [00:47:36]
一文：可能也不太方便的，这就是给了，包括Thinking Machines 这样的一些公司的模型，很好的一个切入点 Crisis应该有很多大单，但这并没有影响到，它的一个deployment 因为开源，其实它不拿用户数据，它其实理论上，不应该涉及到安全问题，但是现在的一个大时代背景，是什么都会涉及了，包括你这模型，干什么用，你是做coding 还是你要做什么，但是我感觉，大多数的美国公司，并不是非常在乎，这个模型是不是中国的，但是它有没有能力，去调教自己的模型，这是另外一回事，那你觉得，当开源模型的能力，足够强之后，会催生更多提供，微调适配企业需求的，服务的这样一些公司吗，对，这个已经是一个现实了，日本是没有一个，自己模型的，它就有一个最开始的Sakana AI 但Sakana AI其实没有什么东西出来所以他们很多的时候，就是把国外的模型 deploy到自己企业里面，那在美国的话，这几家公司，它从个人的开发者的使用角度来说，它已经没有那么多了 Cognition举个例子，其实是一个不是被广大开发者，所使用的一个产品，但是并没有影响到它赚了很多钱，从AR的角度来看，企业啊政府啊，很多的这种课单，是有很多的，所以我感觉，这个是在未来一段时间内的一个现实，因为大家是想使用AI 但是大家并不知道如何部署，或者应该怎么样选择，就像一个市场极其混乱，又没有那么透明，所以就会多了很多的中间商赚差价，很多时候大家就会，那如果我去找中间商赚差价，把这个钱交给像爱森哲这样的公司去赚，我不如自己去做这个事呢，这也就为什么说OpenAI也好，小PayP也好 他们都成立的部门，专门就是做deployment 那比如说像OpenRouter 这样的公司，是不是也是受到 [00:49:53]
Agent时代的模型成本与安全
# E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿
目录
- Agent时代的模型成本与安全 [00:50:00 - 01:00:00]
Agent时代的模型成本与安全
一文：是不是也是受到，这一波闭源模型的影响，然后最近才火起来的，是的，他们其实压力很大的，因为在很长一段时间，市场的叙事是，要用最好的模型，而这最好的模型，就是闭源的，那你想他们的优势，是很少的，就我为什么需要，另外一家厂商，去来帮我做这件事呢，而这一波，你可以看到，在过去几个月的时间里，包括OpenRouter 在内包括另外我们提到的，这几家公司，他们的估值啊，就是ARR都是翻倍快速增长的，那就是核心利用了
Keith Zhai：中国为主的开源模型，这一大批，因为中国这一批之外，没有那么多开源模型的，这个生态多元，然后生态的分层，实际上对整个行业，是一个非常好的事情，我们可以拿，比如说IBM的兼容机，和苹果的所谓的一体机，来对比，如果说在行业的早期，每个人都可以做，自己最擅长的事情，比如说做模型的做模型，做推理的做推理，做企业服务的做企业服务，那每个人都可以在自己的位置上，做出最高效的一个决策，也可以做出最快的一个迭代，让大家也可以卷得更厉害一点，我觉得这个实际上是，对行业非常好的一个方法，总比像传统中国互联网企业，喜欢从头做到尾，什么都自己做，最后靠的不是一个，纯市场竞争来打败对手，而是很多技术之外的方式，比如说流量扶持，或者是封禁一些内容，然后来做到这个效果，是好很多的，但最后会演化成什么样子，可能又会回到，某一家独大，或者是怎么样，也有可能，但是至少我们在当下就可以好好享受，现在这种市场，充分竞争的一个业台，那不管我们做什么，都是有非常多的机会的，明白，在这种竞争的情况下，对agent行业，还有生态，会造成什么样的冲击吗 [00:51:26]
一文：正面或者是负面，因为agent 是一个比较宽泛的概念，就是我理解，你提到的agent 可能主要的是，关于任何层工作流上的，这种具体的，这些applications 这一层的agent 我感觉其实，已经发生了很大的变化了，我前一段跟一个VC的朋友聊，他说这个估值越高，我们反而会越愿意投，就估值很低的这个agent 我反而可能不愿意投了，因为你的这一层嘛，很容易可能就会被吃掉，第二点呢，闭源模型包括其他的模型，如果单纯靠API去赚钱，这个事情就是我最好，我要是随便的收溢价，我也不在乎客户啦，什么的这种服务的，这样的一个逻辑，肯定是已经被拆解的嘛，它应该是不是比如说开发更好的Harness 它会把工厂的整个Agent的能力的vertical的调整，变成一些新的护城河，这些事情都已经正在发生了 无论是说OpenClaw也好，包括其他的Harness的layers 包括后来比较火的Loop Engineer什么的，这个模型很快就可以吃进去，所以如果我们讲的是Application这个level的话，那我感觉这个事情对于整个生态来说，会发生很大变化的，因为AI还是很早，它其实也就是最近这几年，在整个长河中，它是一个非常短的时间，如果我们把它放在一个五年的时间来看的话，我并不是很认为，说以后会有很多的agent application的company了，但是回到另外一个角度，就是说agent infra agent当它能实现做很多事情，包括在互联网上的使用，它的逻辑它又是一个变化，现在的模型厂商，或者大家在做的事，它是做ISP 它都是一个广泛变成一个commodities 变成一个像水和电一样的一个消费来说的话那应该还有什么，这是一个我们应该重新考虑的问题，是的，铁振你觉得呢 [00:53:25]
王铁镇：其实现在我们看到很多agent workload和传统的推理，比如说做一个chatbot 或者是做一个简单的reg 它的对模型测的要求是不太一样的，比如说之前可能是短输入长输出，现在可能是非常长的一个输入，然后非常短的一个输出，并且它的每英文对话，能够重用的prefix 就是KP cache的重用率，是非常非常高的，其实这里面也能做很多新的优化，在这个模型之外，怎么去推理模型，这个事情也可以根据，我们当下主要跑的，这些任务的特性不同，然后做出很多极致的优化，比如说如果我们能够控制这个harness 能够控制比如说Claude Code 或者是open code的这一层，我们可以自己去定义一个跟模型通讯的接口，那有一个什么好处呢，就是我们可以完全的掌控这个KBcash的生存周期 那对于很多推理的降本啊，提效或者是做一些调度，都是有非常非常多的好处的，所以我觉得这个行业就是一个放心为爱，然后又有太多可以做的一个事情的这么一个状态，包括我们今天看到的token的成本，用美元折算的单位智能的这个成本，在过去几年可能下降了1000倍，未来几年，我们能看得到的，可能在硬件上，还能扣出来至少10倍，如果有下一代的硬件，或者是有未来更多的ASIC 可能还会继续，再能扣除10倍，还有Workable的本身，在软件层面，能给我们打破，不同通讯层的交互，然后做一个极致性的优化，我觉得可能还有10倍，也就是说，比如说未来的三年，我们还能看到，同样的智能，它的成本又下降了1000倍，这个对于企业的应用，肯定是一个，非常非常好的事情，天道老师一开始，在播客之前说，很多企业也都在考虑成本的问题，随着开源模型的普及随着整个infra行业的极致的优化，其实最终受益的就是每一个，有实际业务，然后能赚到钱的企业 AI应该是一个服务型行业，应该是支撑他们的发展，而不是说一个抽血机，然后把这些实体行业的钱，全都赚到AI公司里面，让大家付很多不必要的成本，所以我觉得未来还是非常非常值得期待的，我觉得非常好，是很好落脚点 [00:55:18]
一文：最后其实就是想回到，我们最开始提到的，关于安全的问题，因为我们讲了那么多，关于开源模型，带来的影响，我们整体的方向，还是非常正面的，所以我想再回到，硅谷的评论人员，还有从业者，提出的一个批评，就是K3这么强的，一个开源模型，它到底应不应该，开放权重，它相当于是一个，接近Mysos时刻的，这样一个情况，包括OpenEd的丁鲍，还有Darren Moday 在内的人，都认为这种，接近前沿能力的模型，它不应该是开源的，在播客的最后，我们可以回应一下，这样一个顾虑吧，开源到底安不安全这个事情，其实有很多的数据，包括对Kimi3 其实有很多新的数据去来验证的，比如说它在ExplorateBench 这一个蛮权威的一个数据，就网络工坊的测试里面，它其实得分是比较低的，百分之三十几，远远低于整个Frontier Model 75以上这样的一个数据，当然了很多人认为，是不是一种比如蒸馏能力的限制，但另外一种方面，也可能说它没有把最强的，攻击性网络这一部分的能力开放出来，这也是有可能的，它到底是不是一个非常全面公开，就带来风险的这个事情，我并不认为说，现在是有一个很具体的一个东西，来支持这个事情，因为现在有两种讨论，第一个问题是开源模型本身到底安不安全，另外一个才是Kimi3 具体有没有已知的安全问题 Kimi3本身我认为肯定是，目前没有看到任何的，可证据的已知的安全问题，但是开源模型的话，它肯定会多多少少，就是如果它随着更多的公司来做开源，我们会应该相信这个技术，会越来越容易被更多的人来去调试，它肯定会带来更多的安全问题的，它的安全问题是相对的我们是基于现在的互联网的设计，互联网的环境来认为它是不安全的，但是整个目前互联网架构，还是基于上一代的互联网架构，就我们这互联网，就核心就是给人使用的嘛，那你说难道Cloudflare的这样的一个模式就是对的吗，我也并不认为这就是一个终极问题，因为当所有的信息本身都已经不是人生成了，那为什么我不能让机器再随便获取这些信息呢，这不涉及到intellectual property了，谁知道，所以这些东西都是在一个演变的过程中，所以这并不光是开源模型，包括就避免模型，它有会涉及到很多的安全不安全的一个问题的，而这个判断交给谁呢，我这个东西的安不安全，为什么要交给一家商业公司，来做决定，说这东西，它所有行为就是不安全的，这东西怎么去规定呢，这现在没有一个很好的答案，或者一个机构来去执行了，我也并不认为它很快会有所以这是一个，行业整体的一个问题，对我觉得刚才Keith老师 [00:58:19]
王铁镇：提到这几点都特别好，然后我们就可以拿，最近的一个场景做例子，比如说Hugging Face 被OpenAI的一个测试的智能体，给不小心攻击了，故事也很有意思，就是这个智能体足够聪明，他说我直接去抄答案，比我自己去摸索要好得多，要不我就顺便把别人的网站给黑了，拿到答案，这样我就可以直接获得高分，这就是一个非常典型的这种安全风险，我们可以去想，假如这个世界没有开源模型，避免模型可能攻击也就攻击了，模型的攻击是比人类攻击要更难以追踪的，因为产生的这个数据量太大，人道已经没有办法去看明白，说它攻击的这个模式，并且从里面拿到足够多的线索，所以后面Hugging Face就说，好那我拿模型来分析一下，整个攻击的过程，然后尝试复现一下，看看它是怎么进来的，能不能找到说，到底是谁在攻击我们，然后他就拿B元模型去做测试 B元模型告诉他说 你做的这个事好像挺不安全的，我不能帮你分析网络安全的这个预料 Hugging Face直接就出了一个非常不利的模式，因为可能有一个前沿模型在攻击他，但是另外一个前沿模型，不会给他任何有用的信息，这时候他只能用开源模型，虽然这个开源模型，可能在模型攻击的这个层面，没有前沿的开源模型强，但是呢，它实际上可以帮助人类，去做很多辅助的分析，因为它没有一个，看着很敏感的这个filter 然后决定说，你能做什么，你不能做什么，我觉得这个才是一个，真正的技术平权，为什么我们会把网络安全，这么重要的一个话题，放心地交给两家，最前沿的模型公司来评判，为什么我们能够让他们去，又做运动员，又做裁判，一方面他可以评价说，别人做的事情安不安全，另一方面 [00:59:16]
开源模型的安全边界
# E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿
目录
- 开源模型的安全边界 [01:00:00 - 01:07:04]
开源模型的安全边界
王铁镇：另一方面，他可以自己有意或者无意的放自己的agent出去攻击别人，所以我觉得这个事情实际上是非常非常魔幻的，就是有很多人支持BN公司，然后打着安全的大旗，然后说你们都不要做别的什么事情，让我来做，只有我做才是最安全，我觉得这个事情本身就是很不安全的，我甚至最近在看一些网上的AI剧，各种神奇的场景，对各种短剧，然后YouTube上面也很多，那些短剧其实制作都很精良，然后我就反反复复去想，说这个事情是不是在我们当下也有一些参照性，那我不知道是不是一个不合理的比喻，就比如说散公司在设计特化的病毒的时候，其实也是打着安全的旗号，在去讲说我们要治愈人类的一些疾病，但我们最后也知道说，它制造出来了什么，所以我觉得这个里面，其实还是需要更多社会层面的监管，我没有办法相信某一两家公司，对自己的一个监管是足够到位的，我们永远不知道说，他们一旦发现自己的技术远远超过于时代之后，那他们会不会有一些动力，去做一些我们想象不到的事情，回到最开始的话题，开源模型到底是安全还是风险，我们需要整个社群有能力去验证，说你这个模型到底是安全还是危险，我们不是说它模型智能程度达到一定程度，就一定是危险，这可能是前沿模型尝试告诉我们的一个结论，但实际上并不一定 K3虽然在某些能力上达到了Frontier模型的级别，但是它在安全的场景里面还是相对安全，我个人的一个猜想就是，它并没有拿很多印象攻击，非常聪明的，就比如说黑别人的语料，拿去训练，他没有这方面的语料，模型就算再聪明，他也没有办法悟到，原来我可以做一些坏事，那为什么，在训练这个模型的时候，不能够对训练数据，做一些过滤，而是要过滤用户的新闻，我觉得这个思路，实际上一定程度上，是有问题的比如说中国的这些，开源模型公司，虽然他能够制作一个，在某些领域，足够聪明的模型，但不代表说，这个模型一定就能，自己找到怎么样去，巧妙地攻击别人的方法，因为攻击和智能，我觉得这两个是，完全独立的两个话题，你可以有一个人，像爱因斯坦一样聪明，但是爱因斯坦不知道，怎么去黑NASA的网站，你可能有一个人，没有那么聪明，当然也得是足够聪明，可能是一个，比如说18岁的高中生，他就有能力去，把NASA的网站给黑了，所以智能和安全，这两个事情，本身有一定的相关性，但绝对不是决定性的，我其实建议的是说，比如说社会有一个，足够透明的监管机构，那么它不仅要从模型本身，对用户最终表现出来的，这个行为来评审，模型是不是安全，因为就是你在你模型训练完之后，不管你对这个模型的使用，施加任何的限制，总会有一些场景，导致这个模型超出你的预期做一些什么事情，监管机构更应该做的是，看到这个模型，用什么样的语料去训练，把一些比如说生物安全，或者是网络攻击的语料，从这个里面删去，这样导致这个模型就只会，比如说在生物领域，它去做一些幻觉，我觉得这是一个更稳妥的安全，不管怎么看，没有开源，反而是这个时代最不安全的事情，我觉得这个讲得特别好，安全与否是一个相对的 [01:02:42]
一文：我们之前跟一个日本最大的公司，他们的这个No.2 我们在一起私下的一个沟通中，他就提到了说当时Frontier模型 它不能用了，这个事情对他们来说，是一个巨大的影响，影响不是在于说，这Frontier模型不能用了，本身会怎么样，而是对大家来说，原来这个东西是不安全的，也就是说，我做完所有的部署之后，突然有一天，你可以随时随地，一个新的政策也好，或者whatever 因为各种原因，突然就开始封号，或者服务变更，调整了你的访问权限，这个全都会发生变化，而这个是一个，当我们涉及到安全的时候，其实应该是一起讨论的一个问题，因为避援的话，整个核心就把东西都交给别人，开源模型说白了就是，你把整个东西都下载到你自己的硬盘上 [01:03:08]
王铁镇：你不会有这样的一个风险的，很多人说开源模型不安全，然后它的所有的问句，其实都可以重复地用在闭源模型上，比如说有人说，可以用开源模型去做一些邪恶的事情，其实它用更强力的，更方便使用的闭源模型，更容易达到一些邪恶的目的，它只要把那个filter攻破就可以了，它使用开源模型的话需要首先，比如说现在部署K3这个模型，它首先要搞一堆B300的卡，一个机器还不够，它需要两个机器，那这个成本就很高，可能一年，光租金就有上百万，它还要在开源模型的基础上，想办法去补齐，它和闭源模型的这个能力的差距，其实所有这些加在一起，比它直接用闭源模型，然后尝试去攻破那个filter 然后让它去做一些邪恶的事情，要难得多，其实很多我们说，开源模型不安全的点，完全可以用在闭源模型上，我记得千问在24年底活的时候，有人在reddit发了一个帖子说，虽然千问很好 但是我不能用它，不是说他不想用，因为他是一个技术的指导，说开源模型其实是没有什么风险，只是说他们公司的法务，和他们公司的各种限制吧，就不允许他们在公司内部，去部署开源模型，那当然这个人也做了一些解释说，你只要把这个开源模型，关在一个机器里面，严格地控制它的输入和输出，它实际上是比避免模型要安全很多的，但是呢有些人就会有很多，形而上的想法说，既然是一个中国训练的模型，那这个模型里面会不会有一些后门啊，比如说他看到某一些输入的时候，它就可以输出一些攻击性的语料，然后就把你公司内部的，所有安全的信息给窃走，那我就在想说，闭源模型不是在这个方向更不安全吗，因为你连这个模型，在什么时候会输出什么样的东西，都完全不了解，但是开怨模型，其实是一个在更可控，更受限的这个环境下去执行的一个模型，如果你去做的话，是有更好的办法，可以保障模型的安全性的，最后一点就是说，监管总是担心如果我用一个闭源模型，那我至少我能够看到，谁在用这个闭源的模型，那我可能能比如说，抓到滥用这个模型的人，但开源模型的话，因为大家可以在自己电脑上跑，所以他没有办法做到这个事情，这个我觉得是一个时间的问题，至少在此时此刻，甚至我相信明年，也不会发生这样的事情，一个足够强的开源模型，它的权重还是比较大的，它需要在一个，比较复杂的推理环境下，才能够正确地去执行，所以现在抓手可能就是说，谁拥有算力，那他可能去跑开源模型，只有这些有算力的人，才有可能拿开源模型，尝试去做一些坏的事情，所以也并不是完全没有抓手 [01:05:48]
一文：所以现在这个时候去聊，开源模型一定是不安全的，我觉得还是为时过早，好的我觉得特别好，那我们这个播客就到这里结束了，非常非常感谢大家的时间，谢谢，谢谢，好了以上就是我们这期播客的全部内容了，国内的听众可以通过，小宇宙苹果播客，网易云音乐，喜马拉雅 QQ音乐，蜻蜓FM 荔枝FM来关注我们，海外的听众可以通过，苹果播客和Spotify 或者在YouTube上搜索，硅谷101播客来关注我们，我们部分的文字稿，还会收录在，硅谷101的微信公众号上，谢谢大家，我们下次再见 [01:06:26]