目录
- 嘉宾经历与求学起点 [00:00:00 - 00:10:00]
- 从清华学习到机器学习 [00:10:00 - 00:20:00]
- 算法研究与系统实践 [00:20:00 - 00:30:00]
- 走进机器学习系统 [00:30:00 - 00:40:00]
- 从研究训练到工程落地 [00:40:00 - 00:50:00]
- 开源项目的早期选择 [00:50:00 - 01:00:00]
- 中国开源模型与社区 [01:00:00 - 01:10:00]
- 从开源社区走向创业 [01:10:00 - 01:20:00]
- 创业伙伴与公司方向 [01:20:00 - 01:30:00]
- 开源项目的商业化边界 [01:30:00 - 01:40:00]
- 社区信任与生态合作 [01:40:00 - 01:50:00]
- 生态合作伙伴的价值 [01:50:00 - 02:00:00]
- 开源治理与团队决策 [02:00:00 - 02:10:00]
- 极致优化背后的驱动力 [02:10:00 - 02:20:00]
- 模型与基础设施协同设计 [02:20:00 - 02:30:00]
- 从矩阵乘法看模型设计 [02:30:00 - 02:40:00]
- 模型结构与推理效率 [02:40:00 - 02:50:00]
- Token、电力与技术预测 [02:50:00 - 03:00:00]
- 访谈收束 [03:00:00 - 03:00:41]
嘉宾经历与求学起点
张小珺：Hello 大家好我是小珺，今天我们的嘉宾是游凯超，他是创业公司Inferact的联合创始人兼首席科学家，那这个公司很特殊，它是从伯克利一个校园开源项目vLLM演化而来，这个社区的核心维护者用了将近三年的时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营，这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神，那今年初呢 Inferact也获得了1.5亿美元的种子轮融资，所以我们也讨论了，当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择转变与思考，那另外一方面呢，我们也非常希望在AI Infra的技术前沿上，给大家带来一些新的思路 所以我也和游凯超聊了聊，在AI infra 模型结构，甚至连Harness Engineering 都要联合设计的时代背景之下，那这个多方的联合设计，应该怎么做，那接下来就是我对游凯超的访谈，期待2026年，我们和AI共同进步 [00:00:00]
游凯超：最后我们是怎么说动他的呢，就是小之以情，动之以理，就是最后跟他说，你如果不跟我们一起创业，你赚到了很多钱，但是十年之后 VM项目失败了，你是开心还是不开心，那么比如说，有的地方水流比较湍急，有的地方水流比较平缓，那你在这两个地方，怎么样去设计你的发动机，使得你的发动机，能够更好的利用这部分能量，这个就是所谓的，这个模型和infra的co-design 那我觉得DeepSeek的，这个深厚的infra工底，可能是来自于，就是他们之前做，换方量化的时候，对这个性能的一些极限，极致的压榨，因为大家把token和电，做一个类比的时候，可能会觉得，就是电它是比较通用的，电它是可以调制的，但是token 它是没有办法去做调制的，就是你没有办法说 把一个DeepSeek模型的token 转化为一个KeyMid的token 这个token 它是带着模型的烙印的，哈喽凯超，先给观众朋友们打个招呼，大家好，我是游凯超，我是本科和博士，都是毕业于清华大学，然后现在是Inferact的联合创始人，兼首席科学家，那我现在的主要任务呢，就是在维护以vLLM为核心的，这个开源大模型推理引擎的，这个相关生态，然后我们的目标是，为通用人工智能提供软件服务，我也是小骏播客的这个忠实粉丝，我们之前看到很多行业的，这个前辈朋友们，都来小骏这里参加过这个博客，那像张祥宇老师啊，这个杨志林学长啊，以及Mainness的记忆超，我们都很熟，然后我也很荣幸，有这次机会来这里，跟大家一起分享一下，我的一些经历和看法，说到Mainness的记忆超peak 其实凯超这次来我们节目，也是他帮忙介绍的，对对，那个是去年12月份的时候的事了，然后那个时候，其实那个Mainness 还没有被Meta收购，然后但那段时间，其实我也在忙着成立公司，所以虽然答应了要来，但没想到一拖就是半年，然后现在这个也终于来兑现我的承诺了，我们在正式聊技术之前，还是非常好奇的 [00:01:13]
张小珺：想要探究一下你个人的经历，你是从什么时候开始接触计算机编程的呀，你是从初高中就有一些竞赛相关的经历吗，我大概是从2015年开始接触这个编程的 [00:03:26]
游凯超：因为我在这个初高中期间呢，我的主要任务啊，就是这个中考高考，就是正常的这个高中的学习，然后副业呢，会做一些这个数学物理竞赛方面的学习，然后提高一些这个知识水平，算是一个我觉得比较典型的理科生吧，然后竞赛方面呢，其实成绩也不算亮眼，就是物理竞赛有一个省级一等奖，用处不是很大，就是最后这个对高考也没有很多用处，所以呢竞赛结束之后呢，我就继续准备高考，那所以我并没有这个算法编程比赛的经验，但是这个有一个这个，我对计算机编程的了解呢，就是我们在学数学物理的时候，然后当时接触一些辅助计算的软件，比如说我印象深刻的，有一个叫做几何画板的东西，你可以用它去观察各种函数图像，然后去做一些这个物理的，仿真的动画的演示，虽然现在可能没什么人知道，这些软件了 就是技术发展的太快了，虽然我这个回想起来，好像只是十年前，但是好像已经是上一个世纪的东西了，没有人记得了，但是当时这些软件，还是给我带来很大的震撼，就是让我看到计算机能做很多事情，然后还有一个比较相关的事情是，清华大学在2013年的时候，推出了学堂在线，这个基本就是对标国外的EDX的，这个在线教育平台，那么1415年的时候呢，就是我在学习竞赛的时候，那么学堂在线呢，把很多清华的老师请来录制了一些教学视频，然后我当时一开始是在上面学习这个大学物理，因为我们中学的这个物理竞赛，本质上就是大学物理加一些微积分，然后呢学完了这个大学物理和微积分之后，刚好这个学堂在线，他当时推出了跟EDX联名的一个Python的课程，然后我就跟他学了这个Python 那么这个算是我第一次认真的学习一门编程语言，虽然就是初中高中阶段，我的主要任务是中考高考，但是我不太喜欢这种无意义的重复劳动，就是我不喜欢这个刷题，所以我这个更喜欢学习新知识，那所以我的很多备考的时间，都是拿来学习这种各种课程，虽然说这个题目比较简单的时候，他不会考到这些知识，但是我个人还是觉得，学习这些课程，能够学到一些新的知识，然后他对于我深刻的理解一些难题，也是有帮助的，那这部分内容，你是没有办法通过重复刷题来获得的，所以我个人感觉就是，学到知识这个比较满足，虽然高考确实他最后，就是我那一年高考他比较简单，所以我的这些能力，可能也并没有体现在高考分数上面，没有用武之地，对所以最后其实高考分数 也就是勉强擦着清华的分数线上来的，但是我觉得这个学习的过程，还是很快乐的，就是确实学到了这些知识 [00:04:33]
张小珺：我觉得是有用的，你刚进清华的时候，好像还不属于，就是最优秀成绩最好的那一波，好像是高考分数线，比清华的录取线是高了两分，然后你是怎么在清华逆袭的呀 [00:06:26]
游凯超：我觉得不太好说逆袭吧，就是确实高考分数线，就是可能，分数就是比分数线高那么两三分，但是我觉得这不是很能反映，就是你不能拿它去预测，一个人在大学的这个过程，我觉得它更多取决于，你在大学里面干什么，就是那个分数，它只是一个admission 就是你进了清华之后，应该把这个分数就忘掉了，你就应该接下来，做大学要做的事情
张小珺：你当时有多倔，我看到一些记录说，比如说你一入学，就开始疯狂追赶，大一发了一百多封邮件，给老师请教问题，然后又看了一万多页的学习资料，而且你的精读笔记，你的论文精读笔记，在校史馆展出，等等等等吧，最后36门课程，获得了4.0的成绩，这个是比较老的历史了，已经过了好多年了，但是我觉得 [00:07:06]
游凯超：这个也不是一个卷吧，更多是说，我觉得我还是比较享受学习，然后呢在大学里面，确实我觉得学到了很多知识，那比如说你说发一百多封邮件给老师请教，那其实十多门课，然后每一门课你每周给老师发个邮件请教，那就有一百多封了，所以它我觉得更多是一个坚持的过程吧，包括学习各种东西做的笔记，也是因为我觉得在大学里面学到了很多，然后再记录了很多，就是我并没有把笔记的数量，这个字数什么的，当做一个目标来优化它，就是对，所以我觉得更多是一个自然而然的
张小珺：就是学习的结果，因为很多人认识你是从VLLM开始的，但是你在清华读书的时候，你的研究方向应该做的是迁移学习，但这和你后来做的推理系统，看起来完全是两个世界，就是你是怎么从一个算法研究者，过渡到今天这个深度参与系统工程的人的呀，我觉得这里面有几个主要原因吧，我可以这个稍微说一下，第一个原因是我觉得这个学术圈 [00:08:08]
游凯超：现在是一个里跃崩坏的状态，就是我在刚接触人工智能研究的时候，大概是18年吧，然后那个时候，可能一届学术会议，他一年大概几百篇论文左右，然后这个时候，我觉得他的学术社区比较健康，就是你投稿之后，然后审稿人可以给你一些，比较有建设性的积极的反馈，他会告诉你说，你这个地方做得好，那个地方做得不好，然后你应该这样去改进，就是我们真正的是在认真的讨论，怎么样把一个工作做得更好，但是后来学术会议的规模的扩张，它的速度远远超过了社区成长的速度，这个人工智能会议的投稿数，它每一年都是在成这个几何级数的增长，所以一个显而易见的问题就是，审稿人的数量和质量都远远比不上这个投稿的数量，那所以在这个时候其实审稿的质量急剧下降，那你的投稿就像这个抽彩票一样 就是你中或者不中，可能跟你这个工作的质量本身已经没有很大的关系了，那我是亲眼见证了这个过程，所以只能说比较痛心吧，然后但是这个大厦将亲，它不是我一个人能够改变的，所以我就离开人工智能算法的研究，然后就不再把这个论文发表，作为我的追求了，这是什么时候发生的变化呀，这是你大几的时候，这个应该主要还是研究生期间的，就是我18年开始嘛，然后像1920年有这个趋势 [00:09:29]
从清华学习到机器学习
游凯超：然后像1920年有这个趋势，但是我觉得到后面这个20年之后，这个趋势变得越来越严重，然后这也是一个逐渐的过程，就我不是哪一天开始突然就不投了，更多是感受到这个趋势，然后就逐渐的就对这个投论文，不再有那么大的兴趣了，然后第二个原因是这个，我发现人工智能算法领域的成果，其实它很多时候依赖于这个，机器学习系统，怎么说呢，就是我们做研究的时候，这个我们认为人工智能领域的，这个算法领域的天花板，至少就是我个人心中的天花板，就是何凯明老师，就是他的这个ResNet 一战风神，然后呢后面每一次就是，只要凯明老师的这个主页有变动，或者他又开了，他又挂了一个新的这个Archive的论文，我们这些同学就像收到了新的神谕一样，就是上天降下了一个神谕，原来又有一个新东西可以做了，对吧 然后我们就可以就去拜读这个凯明老师的论文，那那个时候其实我们这个私下讨论的时候，也经常会有这样的疑问，就是看完了凯明老师的论文，我们觉得这个想法实在是太自然了，就是浑然天成的感觉，一开始就应该这样设计，但是好像类似的想法，其实我也早就想过，可能在实验室的组会上，我们几个月前探讨这个问题的时候，我们也说这个，你这个东西这样设计是不是就可以了呀，我们甚至可能还做过一点小的实验，去验证说这个东西有没有效果，那为什么最后成功的是凯明老师呢，这个除了他个人非常厉害的原因之外呢，我这个分析出来的一个结论就是，凯明老师做的事情，他不仅是方法简洁有效，而且它是做了大规模的实验的，那我们实验室里面的这些小虾米，我们只是在玩我们这个玩具数据集，然后呢在上面就有点这个 罗斯科里做道场的感觉，一个小小的数据集，我们玩出花来了，然后但是并没有做规模化的实验，那当我尝试着把这个，手头上的实验规模扩大的时候，这个显而易见的事实就是，支撑实验的这个机器学习系统，以及对应的数据，它其实才是决定成败的关键，而不是说你去雕这个 cross entropy的这个五种加权方法，所以呢，这让我这个更关注，机器学习领域的一个进展，然后第三个原因是，这个一些工业界朋友提供的反馈，那上学的时候，我非常喜欢参加一些活动，然后结交一些朋友，跟大家聊一聊，现在工业界在发生什么，然后我印象比较深刻的是，这个2022年，有一个叫做WOWS大会，这是国内的一个，这个机器学习和机器视觉的一个大会，然后呢我在上面有个poster 就是我去那边讲一个poster 然后呢我在会场上，这个刚好遇到了张强宇老师，然后我就厚着脸皮，拉着张老师在那聊了一个多小时，他也这个有耐心跟我聊一个多小时，然后张老师他当时在矿市，他应该就是矿市的首席科学家，然后呢他聊的时候，我就很惊讶的发现，他作为这个目标检测算法领域的一个，这个大佬吧，他跟我们聊的其实不是说，目标检测算法，我们现在又发明了什么新的Loss 这个效果怎么样了，他其实说的更多是说，他们现在面对的，就当时啊，他们当时面对的这个，面对的复杂硬件，对于软件带来的挑战，以及这个像矿石，他也要设计一些像这个，为目标检测CV算法所，特化的一些硬件，那么这些硬件上，为了特殊负载设计的这些硬件，它有这个多级的缓存结构，然后呢你需要手动控制 在芯片的这个多极缓存之间的数据流动，所以这个矿石的工程师，他们每天最头疼的，不是说我这个参数怎么调，而是说这个我这个，英伟达的酷DNN代码里面，又有这样的问题，那样的问题，然后我需要适应这个硬件，去写这样的算子，那样的算子，所以这个是对我触动比较大的一个事情，然后我觉得还会有其他种种原因吧，但是这三个原因已经能回答很多问题了，他们共同促使我从算法的研究，转向机器学习系统的工程的研究
张小珺：你刚才讲的时候我在想，有没有可能凯明的那个年代，就更适合算法的研究，然后可能发展到今天，可能算法的研究，我不知道能不能叫做，某种程度上雕花，然后今天可能更适合大规模的系统研究，你觉得跟时代背景有关系吗，绝对我觉得是有关系的，就是我觉得确实，就是凯明老师的那个时代 [00:14:05]
游凯超：属于是算法研究的蓝海，然后那个时候，还没有那么多人进来，所以我觉得算法那边，能做的事情比较多，但是后面算法做的事情，可能就是一些，比较low hanging fruit 都被大家摘完了，然后再往前面，可能很难有一些，根本性的变化，以及还有就是大家，对于scaling law的这个信仰吧，就是你的基本算法，其实不需要怎么变
张小珺：你只需要不断地在网上面堆算力堆数据，你的效果就能够自然地变得更好，虽然你对算法失去了希望，然后对发论文失去了希望，但是其实你在本科的阶段，其实也发了很多很好的论文，然后你也进行了很长时间算法的研究，你要不要讲讲就是你整个的研究的一个过程，从本科到博士，然后你的研究轨迹是怎么发生变化的
游凯超：对刚才说的那个转变其实是在博士期间，就是我本科也没有做很久的研究，当时也是在跟随着这个算法的研究，那我的研究方向呢，其实我觉得很多时候还是靠缘分和这个时代的趋势吧，就是刚才说到我这个高中的时候，在学堂在线上面学习嘛，然后上面有一些这个课程，然后呢到了大学之后呢，我又是又可以通过像EDX啊，还有这些名校的公开课，然后来学习进一步的知识，那那个时候比较有名的公开课，像这个吴恩达老师的机器学习课程，然后还有李飞飞老师的，计算机视觉的课程，然后呢还有 Christopher Manning老师的，自然语言处理课程，这些都是非常有名，而且非常好的公开课，那么我学完了这些课程之后呢，就尝试找个实验室做一些研究，然后呢当时刚好我们学院里面 也有一个老师在做这方面的研究，所以我就从这个人工智能啊，深度学习这方向开始研究，然后呢后面也是在这个老师，手下继续就是他就是我的博士生导师，然后我就在这继续读完了，博士，你为什么没有当时考虑出国，有考虑出国，其实一开始是准备出国留学的，但是后面受疫情的影响比较大，就刚好撞上疫情了，然后也不想那么折腾，就留在学校里吧，对然后本科期间做的事情呢，主要是跟导师做一些这个，我们叫做数据稀缺场景下的，高效学习，就是提升机器学习算法的泛化性，他后来发现呢，就是这部分研究，他比较锦上添花，就是别人已经做好了一个任务，然后呢，他可能做的不是那么好，然后呢，我再把一个通用的方法用上去，然后希望给他提升 1%到2%的准确率，这个就很依赖于别人 就没有办法大规模的应用，所以后面实验室，在这方面的投入，其实也逐渐的变少了，然后呢 19年暑假的时候，我是去加州大学，伯克利分校的，我们这个Michael Jordan老师，手下做过一段时间的暑期研修，然后呢学习了一下，美国那边的一些前沿的AI进展，也是开阔了眼界，然后当时其实已经有一些苗头，就是在做大模型相关的技术了，回来之后就是博士入学之后呢，那么也是这个研究方向，逐渐在往大模型这方面靠吧，那么我是2020年开始读博士的，然后那个时候，大模型其实已经在开始发展了，就2020年应该就是这个 GPT-3发布的时候，然后但是我们实验室的这个算力资源也非常有限，所以我们没有办法做这个大规模的预训练的一些实验，那我就根据我们能支配的算力，然后研究了一些像大模型的微调的方法 那这个做了一段时间呢，虽然有一些成果啊，但是其实也跟之前有一个类似的问题，就是这个它比较锦上添花，就是我们做了一年的时间研究各种算法，可能在原来的场景下也提高了1%到2%的效果，但是呢你会发现一年之后，大家有个更好的更大的预训练模型了，那你只需要简单的替换一下这个预训练模型，你带来的收益比我这个算法还大，那所以呢，加上刚才讲到的一些原因，那我博士的后半段就从这个人工智能的算法研究，切换到了人工智能这个机器学习系统方面的研究，然后呢我是在2024年的时候，又申请去加州大学伯克利分校交流，然后接触了VOM 然后再开始做这个大模型推理系统，在你博士开始之前的2019年，应该是对你来说，有两件比较重要的事情 [00:15:22]
张小珺：一个是你去Michael Jordan老师那里，去做交流，然后你遇到了现在的合伙人，这个是一个非常重要的事情，然后第二个是你获得了清华特奖，这两个事情的先后顺序是什么样的 [00:18:56]
游凯超：应该先是暑期研修，就是这个交流，这个是在2019年的暑假，然后特奖是在2019年的年底左右吧，所以在那个交流，你第一次遇到 [00:19:08]
张小珺：你现在的合伙人，也是VLLM的发起人的时候，你对他的是什么印象，当时是一个什么样的故事，你在知乎上分享过这段经历，对，我可以把这个具体展开一下，就是2019年暑假，刚才说到
游凯超：就是我在Michael Jordan老师那里，做鼠炎，然后Michael Jordan老师，他是隶属于一个叫做 Rice Lab的实验室，这个实验室，它是UC Berkeley的 EECS系下面的一个实验室，然后这个实验室，它是专注于机器学习系统的设计，那么它其实就包括两部分，一部分是机器学习，一部分是系统，然后Michael Jordan老师，他当时是负责，这个机器学习算法的方向
算法研究与系统实践
游凯超：这个机器学习算法的方向，然后我在研修期间呢，也经常参加这个实验室的各种活动，所以呢也借此机会，就是接触了更多，机器学习系统方面的知识，那刚才说到的这个，我们vLLM的创始人之一，也是我们的好朋友李卓翰，那么他是实验室，当时是2019年秋季，即将入学的博士新生，就是他比我高一级，所以当时我是大三，然后他已经大四结束了，他要这个，就是他已经申请完了，他在那个Young Stoic老师那做博士，然后呢，当时他是在实验室参加一些，这个入学前的交流活动，那我对他这个当时分享的研究经历，比较感兴趣，然后就跟他加微信沟通了一下，所以就是他刚才说到，他的导师是Young Stoica 他就是负责这个Rise Lab里面的，机器学习系统的方向，那所以我觉得也是很有幸 就是那次暑期研修，我有机会同时接触到，这个顶级的机器学习算法的老师，和系统的老师，然后我在暑期研修结束之后呢，我是就回清华继续学习嘛，然后这个又是比较巧的事情，就是这两个老师，他刚好那一年是成为我们学院的访问教授，所以在我这个结束交换之后，就是我结束鼠炎之后回到学校，他们也紧接着来我们学校访问了，就是他们从美国来到中国访问清华，然后呢，因为我当时在鼠气研修的时候跟他们交流过嘛，所以我就负责这个他们访问过程中的一些活动的筹备，那那个时候其实我心中已经有一些萌芽的想法，就是我觉得这个机器学习系统非常有意思，然后呢我也想做一个比较有影响力的软件，但是有一个担心就是总是担心自己，就是无名小卒，然后做出来的东西就是没有人用 所以我在一次这个交流活动中呢，我跟Young Stoica老师说，就是这个怎么办，就是我如果我想做一个机器学习系统，但是呢可能又没有人用，那我做这个系统的时间是不是浪费了，那Young Stoica老师他就用他这个人生阅历，告诉我说就是他之前做了很多很多事情，然后呢他说只要你是一个好的软件，总会有人用的，这个也是我对于这个，转向机器学习系统的一个，比较大的影响因素吧，就是杨斯多一个老师的这个鼓励，这其实是个前奏，你还没有真正做出选择的时候，对对这些是一些这个线索吧，就是他们埋下了一些种子，然后呢，我后面在学术研究期间，就是也零星的做过一些开源软件的建设，比如说 2020年的时候，就那个时候也是疫情，反正也没有什么事做，就只能困在这个宿舍里面，然后呢 当时和本科同学翁嘉义，一起做了一个，开源强化学习的系统，叫做天兽，当时还是训练这个游戏机器人，就是玩一些这个 Atari啊，这些视频游戏，然后2022年的时候呢，我也做过一些像，把我设计的一些机器学习算法，贡献给一些主要的开源社区，像这个OpenMM Lab的一些，计算机视觉的库，以及像PyTorch这些机器学习库，那所以在开源社区里面，也算有一些影响力吧，然后2022年底呢，这个就是ChatGPT发布了，然后呢我就是看到，当时我们还在一起玩泥巴的这个朋友，就是青苹果同学，对对青苹果同学，在植物上这么称呼他，对就是翁嘉义，他现在已经是ChatGPT的训练师了，然后呢当时OpenAI的每一个博客，都是就是卷卷有他名，所以就是他已经属于是标评史册了，那个时候我就在想 我未来要走向什么方向，我当时也跟大家请教了一下，然后发现大模型相关的研究，几个方面，一个是数据和算法，这些是跟公司绑定比较强的，你的算法研究和数据研究，都需要公司的比较强的支持，公司的大量的资源，然后其中有一部分是机器学习系统，那么这一部分，你是可以在实验室里面，进行小规模的研究，然后可以很容易的，扩展到大规模的场景的，所以这个也是坚定，我这个对于研究方向的，一个转变，然后就是到了23年的时候，这个疫情已经基本结束了，然后国际交流就恢复了，那这个时候呢，我们的这个学院的访问教授，就再次来我们学院访问，然后呢，但是那个时候就是 UC Berkeley的，当时叫Rice Lab 然后四年过去之后 已经叫这个Sky Lab了，然后呢，这23年秋天的时候 Young Stoica老师再次这个来我们访问的，来我们这里访问的时候，我那个时候已经比较坚定了，就是我想继续做机器学习系统，然后呢，我就跟他说啊，我能不能去你那里这个交流访问，那这个时候我是，那跟他这个提了一下说，四年前我其实问过你这个问题，然后呢，这四年里面我也在一直探索，就是我能做什么事情，然后如果我做出来一些有意思的事情，是不是会有人会用，那确实这个，效果也是很好的，所以他也是就是，看到这个四年前的一个青春少年，然后四年之后还跟他说，他还一直在践行，这个四年前他给的一个建议，所以他也非常感动，然后就同意了我的申请，所以我在2024年的时候，就是在Skylab交流，然后刚好就是赶上了，这个VM项目的发展，所以说就是 很多的这个机缘巧合吧，但是我觉得就是，如果没有这个 19年的暑期研修呢，可能比如说，我就没有那么早的，加上这个卓汉的微信，我可能这个，见杨斯多伊克老师的时间，也会更晚一点，但我觉得我的这个，整体的大方向，是不会发生变化的，就是这个大方向，它其实是，很多事情积累的结果，我觉得我依然会从这个，算法研究转向，机器学习系统，这一次的这个重大决定，其实我是酝酿了好几年的，有一种冥冥之中的感觉，冥冥之中以及我觉得这个是时代的趋势
张小珺：因为你同时看过就是在算法上和在系统上都非常顶尖的学者 Michael Jordan和Ion Stoica老师，你觉得他们的底层思维有什么不一样啊，底层思维 [00:26:05]
游凯超：我觉得Michael Jordan老师更偏向学术和理论一些，他做的是机器学习理论，当然他从来不把自己叫做AI研究者，他更多的是研究这个机器学习算法，背后的一些这个理论的insight 他也做很多像博弈论啊，这个经济学分析啊之类的事情，所以他可能更偏理论一些，然后Young Stoica老师更偏系统一些，然后他的追求很简单，就是real world的impact 所以他做了很多这个开源软件，然后很多开源软件，后面都孵化成了重要的项目，然后成为了这个工业界的基础，你追求的是后一个，对我追求的是后一个，而且我觉得，就是他们两个肯定没有优劣之分，但是我觉得在当下的那个时代，后一个是更值得追求的，前一个比较难追求，就像我跟孟嘉宜聊到的 就是前一个那种东西，你要能做出impact 只能在世界上很少的地方，有这样的坑位，能够做出这样的影响，它跟你的选择也比较相似，对吧，对他也是做的AI infra 就是我们当时一起做那个天兽项目，就也算是一个比较小的机器学习系统，然后其实他当时也是，做了一些这个算法方面的尝试，然后其实也有很多挫折，就是你可能提出一个算法，然后投稿论文，然后对方说你这个不novel没有用，然后他最后可能就觉得，那我不如写一个系统 [00:27:13]
张小珺：就是我告诉你说这些东西，就是训出来你就是牛，所以你跟乌加伊是有点惺惺相惜的味道，是吗在读书的时候，可能不算是惺惺相惜吧，更多就是我觉得我们还比较志同道合，就是大家都觉得这个事情比较有意思，然后就一起做，你刚才说了你慢慢的对论文丧失了兴趣，然后也不想做纯理论的东西，但是你在本科的阶段，其实还是要去发论文，你也是特奖的获得者，就这个是怎么发生的呢，刚才我们说的是另外一条线，就是你是怎么走上系统工程这条路的，另外一条线，你是怎么在本科阶段，就是获得了很多的鼎会的认可，然后同时拿了秦华特奖的，这是一个渐变的过程，对吧，学术界它也不是一开始就里跃崩坏的，就本科你还是有希望的是吗，对，充满了希望热情，对
游凯超：而且我刚开始做研究的，那个18 19年，我觉得还是有一些人在踏实做研究的，然后做研究，就是做算法研究，也还是能够被人看见有人认可的，然后大概我觉得20年之后，可能这方面的这个兴趣就不是很大，当然就是特奖评选，它是19年年底嘛，所以它凭借的是19年之前的这个成果 [00:28:39]
张小珺：然后呢我刚好这个也有一些成果，所以就去参加了一下，在你获得清华特奖的时候，你当时是还是很兴奋的吧，因为我当时看到你还写过，就是要在清华不要做一个观众 [00:29:02]
游凯超：要成为舞台中间的一个人，对我觉得肯定是有兴奋的这个因素，就是获奖肯定还是比较开心的吧，然后获奖之后呢，也是朋友圈变得更大了，然后我可以接触到更多的优秀的同辈，那这个是我能感觉到的一个明显的好处，但是我觉得整体上来说，就是这个特奖这个事情，它其实是在被淡化的，就是大家不再赋予它过多的含义，因为清华其实有很多奖学金，然后特等奖学金其实只是其中之一，然后有些戏其实有很大额的奖学金，就是比特奖其实奖金多很多很多，所以特奖只是奖学金之一，然后呢，我觉得特奖它是一个，特殊历史时期发展的一个产物吧，就是当时社交媒体发展的比较快
走进机器学习系统
游凯超：就是当时社交媒体发展的比较快，然后呢，这个学校当时大力宣扬特等奖学金的评选，然后出现了这个像马东涵和马东新，这个双胞胎的双料特奖，然后呢像这个陈立杰，这个理论计算机科学家，这种有一些现象级的话题，然后后面就感觉有点变味了，就是每年的评选，你可能都可以看到，在这个社会上，有一些不小的轰动，然后大家就会说，这个是一年一度的神仙打架，但是客观上来说，就是很多特等奖学金获得者，他在获选的时候，其实也是这个，我觉得是志气未脱的少年，就是他一般是，大四上学期的时候评选，然后其实也就是一个本科生，入学这个三年左右，那么把这样一个这个同学，把他过度的曝光，在这个媒体的聚光灯下 其实很容易对这个获奖者的，这个正常的学习科研生活，都产生不必要的干扰，所以我觉得我还是比较幸运的，就是在我参选的那一年，学校已经这个意识到了这一点，所以他当时这个取消了，特等奖学金的现场答辩的直播，然后呢，后续其实也有意这个压低了宣传，所以再往后大家可以看到，其实这个特等奖学金的话题，在社会上的讨论，其实这个讨论度是越来越低的，然后呢，它现在可能基本上就是一个，清华大学的普通奖学金，社会上其实议论的人，已经没有那么多了，这才是对的对吧，对我觉得这样子才比较好，但是你就是，对于获奖者本身总是开心的，就是我获得了一个认可，但是我觉得之前的讨论，其实有点太多了，尤其比如说，当时讨论比较火热的时候，大家总会说，这个今年的特奖评选 是评选这个，这一届清华大学的学生里面，最厉害的十个本科生，那我觉得这个说法，它本身就不是很恰当，因为这个学校里面，我觉得每个同学，有自己追求的方向，你其实很难拿一个统一的标准，说这个就是，这个最厉害的十个人，然后他比其他人都厉害，我觉得每个人都有自己的方向，所以不应该拿一个统一的标准，去衡量大家，你今天还这么想吗，清华是一个舞台，但你们不要只做观众，我当然可以继续这样想，因为我现在已经，不在那个舞台上了，我已经退下来了，对吧，然后如果我要对，这个新入学的同学，说几句话的话，我觉得这几句话，还是适用的，就是来清华，更多的是追求自己的成长
张小珺：对吧，而不是说我在清华里面，又看到了什么什么样的人，其实我看你的研究方向，就是你早期做，牵引学习，预知适应，然后你就已经开始，做像LockMe这样的工具，你后来又和翁天忆一起做过天兽，它也是一个，类似于标准化的工具箱，你是不是很早期就开始，已经想做这种通用工具性的事情，我在想你是不是从更早期开始 [00:32:32]
游凯超：就已经就是，对你现在做的事情更有热情 LockMe那个工作，应该已经是2021年的时候了，所以那个时候，其实我已经在思考着，如何转方向的这个问题了，然后呢也是另一个趋势就是，刚才说到这个算法研究，就是这个投稿比较混乱嘛，然后你很难有比较确定的让它中稿，那么当时我其实发现的另一个事情就是，我们做算法研究很多时候需要跟别人争论说，我这个东西多么创新，就是我的knowledge有多高，但是呢还有另一个方向就是，你跟别人说我这个东西加速了多少倍，这个东西是比较客观的，然后呢当时我们做的那个算法宣称是跟，这个其他的算法相比，有几十倍的性能提升，然后这个事情是，你可以被验证的，然后呢你也可以分析出来说，这个背后的加速的原理是什么，所以这个东西让我觉得就是，机器学习系统 它是一个更确定的领域，就是我可以明确地知道，我做的贡献是什么，而且可以很明确地量化 [00:33:53]
张小珺：你可以说我的东西不novel 但是你不可以说我的东西没有用，你对就是算法那边的，彻底的上上是希望，有没有一个时刻呢，有一个事件吗 [00:34:00]
游凯超：我觉得很难，我能理解它是一个过程，但是它有最后一根稻草嘛，对就是它是一个过程，然后像刚才我说的，我发现机器学习系统这个领域，我投入更多的时间，我做更多的优化，就能有更多的收获，那这个时候我就逐渐的，不再把精力投入到，这个算法研究上面了，就没有一个关键的事件，你有一个导火索吗，催化剂吗，我觉得没有，就是我们之前的认知，一直都是这样的，就是算法，做顶级的算法研究，它是有用的，但是你要找到这样的发挥，这样的职能的position 是比较困难的，可能世界上其实也就只有，那几个有限的位置，那么在不在那几个位置上，没有对应的资源，即使做出来这样的算法，也是很难发挥作用的，就像比如说，我没有凯明老师的资源，我即使想到了
张小珺：他那些论文的idea也没有用，那比如说，如果做算法的话，可能论文引用数会是一个指标，它还是一个，就是你能够衡量的标准，那如果你走向系统研究，系统工程这样路的话，你的衡量标准是什么 [00:35:06]
游凯超：你会更看重什么数字吗，那这个衡量标准就是，你做的东西有多少人用，然后呢，对大家是否带来了，这个真正的收益，比如说你的，这个GitHub的一个项目，有多少人这个star了，然后有多少人发来感谢信，就是在issue里面说，我用你的这个东西，然后给我提高了多少的效率，你就不会再用论文去要求自己了对吧，对这个时候论文只是一个副产物，就是有些算法，有些系统工程的实现，我们做得很好了，然后也已经有很多人在用了，那么这个时候我们再把它写成一个论文，把里面的一些有价值的东西给它列出来，然后这个时候审稿人其实一般都不会说什么，其实它可能也就是我们算法的，我们这个系统的用户，所以这个投稿的过程都比较顺利，其实换了一条路来走，有过纠结没有 没有纠结，就是我觉得这个过程还是比较快乐的，因为它的正反馈是不断累积的，就是你做一个事情，你说我这个东西给你加速了两倍，然后我明白这个背后为什么加速了两倍，这个原理我是确定的，所以我也可以很自信的说，别人用这个东西就是能加速两倍，那这个过程中别人给我的反馈是持续不断的累积的，这个相比来说比如说一个算法研究者，他提出了一个新的算法，然后他说他这个算法在他的场景下，提升了2%到3%的准确率，那可能别人尝试复现的时候，又会因为复现的场景不一样，甚至可能说你这个算法是不是反而降低了准确率，那这个过程中其实我觉得很难积累一个正反馈，刚才我们讲到19年，你认识了Io Stoico教授 [00:36:12]
张小珺：他的实验室里的学生，这可能是一个早期的前奏，但是后来他们其实VLLM诞生，已经是2023年的事情了，这中间几年你做了什么事情，然后跟他们后来的缘分，是怎么继续下去的 [00:37:02]
游凯超：这中间其实就是在做一些探索，就前面说到的一些方向的转变，都是在这个过程中，逐渐积累起来的，然后因为中间也有很多，疫情的因素嘛，然后对有一些你可能不能出国交换，所以只能做一些这个自己的探索，他们那边呢，欧美那边还是比较，就是热火朝天的在干大模型，对所以这个也是当时，就是疫情结束之后，然后ChatGPT出来嘛，就是给大家就有点当头一棒的感觉，对吧就是我们这几年在干什么，对比这个对方这几年在干什么，然后人家已经干出来了一个，这么amazing的东西
张小珺：我们要不现在话题切到VILM上，最早他们诞生的时候，你是不是还没有加入，你是24年才加入对不对，对VILM项目的诞生应该是，就是他们23年年中左右，就是中间的中
游凯超：大概6月份左右开源的，然后呢这个工作肯定是更早的在做，大概我觉得22年这个年底，他们应该就开始在做这个事情了 22年底应该是，对然后他们做这个事情，然后写了一篇论文，然后这个论文，投稿，然后最后重稿了之后，他们放出了这么一个圆形的系统，当时的创始团队，都是IoStoic教授的学生对吧，包括李卓翰 [00:38:09]
张小珺：对对，主要是就是作为实验室的一个科研项目来开展的，为什么好像Stoic老师的实验室，好像萌发过很多这种开源项目，这是有什么样的传统吗，对他们实验室
游凯超：就是我觉得跟有一些历史一脉相传吧，就是包括我做VM 我觉得也是受到这个，伯克利重工业软件的一个传统的影响，就是伯克利它有很悠久的，这个开源软件的历史，包括我们做这个操作系统里面的BSD 然后呢芯片领域的这个Risk 5 然后还有存储领域的RAID 然后呢再到这个后面大数据，分布式机器学习系统领域的，这个Spark呀Ray呀，其实都来自于伯克利，所以说伯克利历史上，它已经产生了很多很多的，著名的开源软件，而且这些软件其实都是学生在读期间发起的，就是它是从学生的这个一些 research的一些project开始的，然后呢最后变成学生主要维固，然后再把这个社区发展壮大，然后再变成这个工业界的一些基础设施，说到这个我觉得就是，我们可以说一下这个，计算机体系结构领域的这个大牛 叫David Patterson 然后呢他在14年的时候写过一个叫做 How to build a bad research center的一个观点论文吧，他就是说，他过往的几十年的经验，就是每一个实验室，或者大型研究中心呢，只做五年就够了，因为这五年就刚好是 [00:39:43]
从研究训练到工程落地
游凯超：因为这五年就刚好是，博士生毕业的一个周期，然后呢你在这五年里面，充分利用一些优秀博士生的时间，让他们在五年里，静下心来专注一个领域，可以极大的促进这个领域的发展，那所以像当时这个，从AMPLAB做这个SPARK 然后呢再到这个RISE LAB RISE LAB应该做出来一个RAID 然后呢再到后面这个Skylab 所以其实，伯克利的这些实验室，他们的发展都是一脉相承的，所以你可以看到就是他们这个实验室的，五年的周期，和工业界的一些需求的周期，一旦他们共振的时候，就会诞生一些重要的项目，比如说Spark 那我当时觉得这个VOM就是下一个项目，所以我去伯克利之前，这个VOM它已经开源了，而且发展相当的迅速，所以呢我觉得这个历史机遇，摆在面前，然后我觉得我应该 值得这个投入精力去维护它，所以我就这个尽己所能的去帮助它吧，收服一个学生去加入这样一个看院项目，一直作为一个核心的维护者，是一个困难的事情吗，对这显然是一个非常困难的事情，我以为会很简单，对因为每个学生，他有不同的这个周期吧，就是他处在他的博士期间的不同的阶段，对吧，比如说刚入学的博士生，那么他可能急着需要发表一些论文，来支撑他的毕业，然后呢，所以他需要去引导一些新的project 就是他很难参与到别人的project里面，他可以通过参与别人的project去练手，去学习如何做research 但是呢，现在的博士生就是都很强，就是你可以说他们在博士毕业之前的成果，可能都已经够博士毕业了，那么他们接下来要做的事情，只是把他们的这个研究能力 在博士前一两年的时候，再做出一些新的成果，然后方便他们能够毕业，所以就是低年级的博士生同学，他们都希望有一些新的方向做，他们不希望沿着原来的老路，去巩固一些现有的知识，然后呢，就是博士太后期的同学，他主要急着找工作，因为他马上就要毕业了，他要去工业界，对，所以说他不太会花时间，在这个开源项目的维护上面，所以最适合的就是做开源项目的同学，应该就是博士的中后期，然后呢没有什么毕业论文的压力，然后呢又对开源项目比较有兴趣，这样的同学比较合适，你当时正好处于这个阶段，对我当时正好处在这样一个时期，因为我之前的一些算法研究也基本上够毕业了，然后呢我个人也觉得就是我想转变一下研究方向 然后呢转变研究方向的话，我并不希望就是在这个，机器学习系统领域，有一些论文的发表，我更多的希望是拿到一些，这个hands on的experience 去学习这个系统，就是是如何build一个系统的，那所以我对这个，纯工程的这个问题，是完全OK的，就是你让我几个月，都在做工程的实现，我都是OK的，然后以及我当时觉得，这个VM项目有比较重要的，是一个比较重要的历史机遇，所以我都是就是比较，全身心的投入在里面，你当时算是第几号成员，第几号的话，我觉得我算是第四个比较主要的吧，前面就是一开始比较主要的同学，是这个就是论文的两个作者，以卓汉和乌苏格，对对，卓汉和乌苏格是论文的主要作者，然后呢，他们也是这个开源项目的，一开始的主要维护的同学 然后接下来主要参与的同学是Simon 就是他现在是我们公司的CEO 对，然后呢，他其实也是一个，开源老兵吧，就是他跟我差不多大，应该还比我，可能年纪还要再大一些，但是他当时，本来准备博士入学的时候，他quit了，然后呢，去参与这个 AnySkill的创业了，然后创业了几年之后，再回来读博士，所以他已经有，比较深厚的这个，开源社区的相关的经验，然后呢，他也不是那么看重论文，更多的是看重这个，对现实世界的impact 他也觉得这个，未完的项目比较重要，所以他应该是第三个，这个全职投入的同学，然后第四个应该就是我了，就是我过去的时候，我也是一个类似的想法，就是反正我有时间，我也愿意投入，然后这个项目也缺人，然后其他的同学，就是这个项目他肯定 就是这个论文本身，他的作者有很多人，但最后就是其他同学，都是因为刚才说到的各种原因，他们都去找别的事情做了，我觉得有的人可能就会想，说如果是一个开源项目的话，我需要是发起人，就是他需要是我创立的，你有这种想法吗，我觉得不需要吧，就是更多看你能在里面做什么贡献，其实当时这个开源项目，它整体处于一个非常缺人的状态
张小珺：所以我觉得只要投入热情，对用真心，用真心，对用真心就可以，所以你是为什么对他如此真心呢，是怎么开始的呀你们，就是你们，我们19年你刚刚认识了卓翰，然后你又去交流了嘛，然后这个时候跟卓翰，还有Uzuk 是聊的比较多吗，就是你们是，就是为什么你觉得这个项目这么吸引你 [00:44:57]
游凯超：首先就是这个项目发展的很快，然后呢，这个项目也确实当时缺人，然后我当时有一个判断，就是这个，就是当时因为 Chad GPC已经很火了嘛，然后我当时一个判断就是，大家其实当时都在，都在探究怎么训练模型，但是很显然就是，你把模型训出来之后，你需要去做推理，那么vLLM就是处在这样一个地位，就是做大模型的推理的，所以我觉得它未来非常的有前途，然后这个推理，也是一个非常重要的事情，所以值得投入，这个是2024年，对就是我做vLLM是2024年的事情了，但是我关注到vLLM是2023年的事情，对2023年这个年底，就是我当时向Young Stoica老师申请交换的时候 我其实当时已经在里面跟他说了，就是我去做的话，因为我需要propose一些这个idea嘛，就是我去做什么，那当时我这个提出的就有这个大模型推理这一款，然后这个时候vLLM已经有了，它已经存在了，对它已经存在了，所以我说我可以在vLLM里面做一些事情，我们来讲讲这个vLLM的核心原理吧 [00:45:23]
张小珺：假设就是我们对这个系统了解不多，能不能跟我们讲讲，为什么在那个时候vLLM应运而生了，然后当时处于一个什么样的市场环境之下，对我觉得这里面可能需要区分两个概念，就是vLLM和它对应的论文 [00:46:37]
游凯超：Page Attention那篇论文，就是vLLM的起源是那篇论文嘛，然后那篇论文的核心是一个，这个Page Attention算法，那么它是借鉴了操作系统的，这个虚拟内存管理的机制，来管理这个自回归生成过程中的，大模型推理的过程中，这个产生的中间状态，也叫KV cache 那其实时至今日就是 VOM它早就不是Pagered Attention算法了，它是一整个大模型推理的系统，它是这个大模型高效运行的一个底座，所以VOM它解决的问题，其实是这个在模型和硬件都飞速发展，然后互相偶合的时候，你如何去提供一个高效的推理服务，而Pagered Attention本身呢，它的原理就是说，如何去管理自回归生成过程中的，这个中间状态，也就是KVCache 在当时，就是放在当时那个环境下 Page Attention 是有一个很大的创新吗 我觉得不能算一个很大的创新，就是任何一个，就是认真的分析大模型推理过程的，这个机器学习的研究者，都能够想到这个想法，所以从学术创新的角度来说 Page Attention算法的创新性，甚至是偏低的，所以他当时投稿，这个是投稿到SOSP的 2023这个会议上，也是一个非常顶级的系统会议，但其实审稿人就已经提出了很多批评，说你这东西too simple 就是你这个想法太直接了，然后没有什么noity 他最后能发表完全是因为，他们做得很早，而且做了非常丰富的实验，所以最后才是一个以低分的，过线的状态被会议接受了，然后vLLM它是Page Attention 这篇论文被接收之后，作者团队开源出来的，这个推理引擎，所以这也是 [00:47:44]
张小珺：为什么你说，我们认知vLLM的时候，不能够只认识到，它是Page Detention 它应该是，它后续做了，一系列的事情，对 vLLM是一个，推理引擎，它代表着一个，推理的生态系统 Page Detention [00:48:34]
游凯超：以及Continuous Batching 这两个技术，是这个大模型，推理过程中的，核心的技术，当然也涉及到，很多其他，后来的这个，推理优化的技术，它们都是在 vLLM这个项目里面的
张小珺：所以当Page Detention 这篇论文被接收之后，李卓翰他们紧急着，做了什么样的事情呢，这个里面谁是，起到比较关键的作用，论文接收之后，因为系统的论文，他们都有很多要求 [00:49:00]
游凯超：这个artifact evaluation 就是说你的系统，需要被别人复现过，然后你的这些数字，都是要被别人复现出来，说你确实有这些收益，所以他们本来，就有一个原型系统，然后他们后来，就是把这个原型系统，开源了，我觉得这个也是，跟Young Stoica老师的，这个理念有关系，因为Young Stoica老师，他是这篇论文的，一个指导老师嘛，然后他也很早的看到，就是开源推理引擎里面，蕴藏着一个巨大的机会，所以呢，他就推动这篇论文的，这个学生团队，把VMW当作一个，很重要的开源项目，在维护，然后呢，就是不是所有人都同意 Young Stoica老师的观点嘛，以及受限于，刚才说的各种的，这个每个人，当时的一些客观的选择，和情况，所以最后主要是
开源项目的早期选择
游凯超：所以最后主要是，这个Wusuk和卓翰两个人，在继续维护这个开源项目，然后慢慢的有了Simon有了你
张小珺：对，收服你的过程难吗，应该很容易，对因为我是主动过去的，你是主动要去的，对 Simon呢 Simon应该也是主动的，因为我觉得一个开源项目，好像它跟一个公司这种组织，还是非常不一样的，因为公司人来人往，应该就是非常的常态化，但是一个开源项目的人来人往，就有的人加入，有的人离开，你们会有一些特别的，就是情感吗，事后来看，你觉得这种有开源精神，有开源热情的这些人，是不是有一些共同的特征，就是什么让你们走到一起，又是什么让一些人离开，对我觉得就是 [00:50:06]
游凯超：每个人追求的目标不一样吧，就是比如说有的人，他追求金钱，就是你今年赚到多少钱，对吧，然后有的人追求权利，你在公司里面爬得多高，是一个多高的领导的地位，那我觉得我追求的就是，意义就是我做的事情，是不是有意义，然后我当时觉得威尔曼有，很重要的历史意义值得我的投入，然后这部分决策也是，受到Michael Jordan老师和 Young Stoica老师的比较大的影响，然后，其他同学我觉得也是，类似吧，加入的同学很多都是，因为这个原因加入的，当然离开的时候可能有些人也有一些，自己的原因，这个也不能强求，那我觉得，整体上来说就是，有一句话叫做，苍岭时而知礼节，衣食足而知荣辱，那我觉得也是，因为我们这个时代 这个物质追求这方面，已经给我们已经，有一个基本的生活保障了，那么让我们能够，有更多的时间和精力，去追求一些，非物质的这个精神需求，而且呢就是，做计算机方向的技术同学，其实他的基本的生活需求，非常简单，对吧，就是有吃有住，然后有电脑能上网就可以了，所以就是，我觉得这样艰难的环境，为我们筛选出了一批，志同道合的人吧，他们热爱开源，然后热爱技术，然后呢，跟我们一起这个同甘共苦，就是做WebMem项目，做了好几年，所以后来他们也就很自然的，变成了我们公司的，这个初始创业的团队，就是我觉得比较感慨，就是这个中学课本里面，宋东阳马城区里面，这个叫做，以中有足乐者，不知口体之缝不若人也，我觉得我们这些同学，就是非常适合这一句话 因为我们心中坐着，就是坐着我们，认为我们快乐的事情，所以呢，我们就不觉得这个，吃的喝的这个，穿的享受不如他们，当然现在我们这个，有了资源，我们也会让我们的同学，在实现精神追求的同时，有更充足的这个物质资源，这样子让自己的生活，没有后顾之忧 24年25年在你加入之后，有没有发生一些让你印象很深刻的事情，这也是在你们公司成立之前的vLLM的两年，对 24年我觉得主旋律其实就是一个重构，因为23年的这个论文发布嘛，然后再是23年的一个prototype出来，然后呢这个prototype需要从实验的原型，走向一个生产级的可用，那在这个过程中呢，我们调研了很多像业内其他的推理引擎的设计，然后呢最终在年底的时候，推出了这个从微零到微一的一个重构的计划 然后25年的主旋律呢，就是一个大规模部署，就是硬件和模型都变得越来越大，然后呢这个开源模型的发展的重心，从欧美这个转移到了中国，然后这里面比较巧的一个事情也是25年，就是因为24年我交换结束了，然后呢25年回来准备毕业，然后呢当时这个VM社区在国内，还是一片空白的状态，然后呢我刚好从伯克利回来，我就把这个丛林开始搭建了，中国的VM社区，然后呢也刚好这个，就是支持了大量的中国开源模型的发布，那个时候刚好是，中国开源模型爆发的一年 25年，对就是25年年初的时候，这个DeepSig R1嘛，其实DeepSig V3是在24年的年底发布的，对然后25年R1 25年年初的时候R1 然后再是25年春节的时候，这个R1开始爆火 所以到后面也就是，这个中国的开源模型，就像雨后春笋一样，这个不断的发布出来，我觉得就是这两年确实是，很多风风雨雨吧，然后尤其是像刚才说到的人员的，不断的变动，因为我们是做一个开源项目嘛，所以人来人往的，就是有人参与有人参加，然后又有人这个走，然后我们在这个过程中，还要持续不断的去面对，这个新模型发布的情况，然后呢还要在这个过程中去，推动整个项目的维护和升级，这个整体是一个非常大的挑战，所以我回顾历史的话，就是往回看，我觉得我不敢说我们做得非常好，只能说我们撑过来了，我对二五年非常好奇，但是我们先讲一下二十四年 [00:51:39]
张小珺：你们那次从V0到V1的，那个重大的重构，因为用户侧可能感觉变化不大，能不能从工程角度讲讲，你们为什么决定做这个事情，以及重构过程中，它有哪些挑战，这一次重构呢 [00:55:04]
游凯超：其实主要就是为了解决，这个模型和硬件的发展，对于推理引擎提出了一些新的挑战，那打个比方呢，就是比如说我们现在经常喜欢把 token比作是电，那这个过程中的推理引擎，就像是发电机，或者说是电力系统，然后呢，这个我觉得模型可能更像这个发电机吧，我们后面可能可以做一些类比，然后呢，这个硬件，它就像是你的像风力，然后光伏，这些自然资源，然后这个推理系统要做的事情，就是你需要把这些自然资源，用发电机把它转化成电，然后再传递到每一个人的手中，那所以呢，本次重构就好比说，我这个发电系统，整体上从这个火电，过渡到新能源发电的一个状态，那么从用户侧的角度来看 它的使用方式可能差别不大，你可能都是电是吧，你把这个插头插上去就能用，但是呢从推力引擎的视角来看，其实背后的这个工作原理，发生了巨大的变化，那所以从终端用户的视角来看呢，其实推力引擎承担了一个非常大的责任，就是它屏蔽了这个模型和硬件的复杂性，那用户选择不同模型的时候，就比如说你在应用里面，然后这个一个应用，它可能支持多个模型，那从用户的角度来说，你可能只是从一个这个下拉菜单里面，点了一个模型，或者你只是从请求的参数里面，改了一个参数说，我请求的今天是DeepSeek 明天是签问，但其实从背后的推理引擎来看，不同的模型，它的支持效率，它适配的硬件，其实是千差万别的，所以这里面推理引擎，承担了非常重要的任务，然后在这个过程中，模型和硬件又在不断的发展 所以他们对推理引擎的要求，其实是在不断更新的，那么V0和V1只是一个，我们从名字上就能够看得出来的，它是一个非常大的变化，但其实类似的这样的小变化，我们其实一直在做，所以你可以说就是vLLM 它其实一直是在重构的过程中，然后这里面就是最困难的，就是你需要保持一些用户的兼容性，对吧，就是你背后支持的模型，支持的硬件不停的在变，但是你要给前端的，这个中端的用户，一个比较统一的体验，就是我用vLLM 我就可以保证说，我在各种硬件上，可以跑得起来各种模型 24年的时候你们是不是主要支持的还是美国的一些模型，比如说Meta 对24年的这个开源的重心还在美国那边，欧美然后像Meta呀像这个Mistral呀这些的，在他们的过程中有没有什么一些观察 当时其实支持的还不算很复杂，因为当时就是这个模型和硬件，它还没有很偶合，然后只有一些这个，比如说一些attention算法，设计的比较复杂的时候，对推理引擎的影响比较大，但总体上来说，还是在做各种推理优化，就是模型的结构，在那一年没有发生巨大的变化，到了25年，是不是中国开源模型的爆发，在所有人的意料之外，也在你们的意料之外，对是在我们意料之外的，你是几月份回中国的，我就是24年的12月份，结束交流，然后，那刚刚好碰上，对就是我结束交流的时候，就是DeepSeek V3发布的时候，对然后回来一月份，然后马上RE又发布了，所以是在我们意料之外的，当时去支持DeepSeek 是不是非常的措手不及，是一个什么样的状态，我觉得不能说措手不及，更多是说我们没有预料，它是一个这么大影响力的事情，因为DeepSeek跟我们的合作，其实很早就开始了，就是你从23年24年那段时间，因为DeepSig它内部用的就是VM 以及它就后续加了一些，这个它自己优化的一个变种，所以它其实从DeepSig MOE DeepSig MOE DeepSig MOE我觉得算是V1吧，然后它后面有V2 然后再发展到V3 它跟我们一直是有联系的，有合作的，然后呢只是在24年的时候 DeepSig还属于社区里面的一员，就是它只是一个，敏然众人的一个模型厂商，然后你们支持他们的故事，就是在R1之后，有什么值得分享的吗，这个还是给我们带来比较大的震撼的，就是DeepSeek的这个Infra同学，做了很多的优化 然后我们需要学习，就是他们在推力引擎方面，虽然是基于为我们做的，但是比我们做的往前面走了很多，所以我们当时是在不断地，跟他们学习的过程中，然后紧接着又支持很多，中国的开源模型 [00:56:12]
中国开源模型与社区
游凯超：中国的开源模型，在25年对吧，对对，就是Deep Seek爆火之后，然后中国的这个，开始了一个开源的浪潮吧，尤其是这个25年的7月份，我印象很深刻，因为我事后回想起来，感觉应该是当时这个 WAIC快开会了，然后呢很多公司都是，在这之前就想发布产品，就是把自己有的模型都发出来了，今年又处于现在这个时间点了，对，然后我们其实一直在支持，很多的新模型的发布，今年也会吗，一直在啊，然后已经有了，像今年的DeepSig V4 MiniMax M3 都是比较大的发布，大家都赶着WASC之前发一波，我不知道今年，大家会不会再赶着WASC 再发一波，但反正今年已经有好几个，比较就是比较大，比较复杂的发布了，因为你刚才说25年 [00:59:59]
张小珺：你整一年就是回中国，组建了vLLM的社区嘛，这是很简单的一句话，但是这背后是什么样的工作量，能不能讲讲这个过程啊，就是这个社区是怎么搭建起来了，我们也很好奇，这个开源社区的诞生 [01:00:50]
游凯超：它是怎么就是一步一步做出来的，这个社区的搭建，就是因为这个项目本身诞生在美国嘛，然后呢 24年的主要的这个开源的阵地，也是在美国，所以呢，整体的这个沟通渠道，也是在偏美国的，比如说我们是用slack进行沟通，然后呢，我们后来，就是在国内跟大家沟通的时候就发现，就是我们当时跟大家说的就是 VM社区是一个很包容的社区啊，那中国美国的同学都可以一起沟通啊，那我们有slack的这个沟通机制，那大家都可以进来啊，那里面就遇到了两点问题，第一点就是国内的同学，他肯定更习惯说中文，那么在slack里面呢，大家主要还是说英文，那么这是一点语言障碍，然后呢第二点就是，因为各种各样的原因，那么国内的同学用国外的软件的时候，还是有一些不方便的因素存在的，那所以呢 为了解决这些问题，我们就开始搭建一些这个VOM的中文社区，那比如说一些这个公众号啊，小红书啊，这个知乎啊，这些宣传平台，然后呢，包括这个跟国内的一些大公司，建立一些沟通和联系的渠道，因为像DeepSeek,Kimi 他们都是公开的说过，他们就是用VOM的，那么之前呢，我们跟他们的沟通是非常少的，因为这个时区也不一样，然后呢人也没有办法见面，然后呢我回国之后呢，我就是也走访了一遍这些公司，然后跟他们了解，就是他们用微软在做什么，然后遇到了什么样的问题，有什么样的痛点，对因为我在这个24年的时候，做微软比较多，然后大家也都比较认识我，所以就是我就这样 [01:01:04]
张小珺：把大家串起来 25年还有一件事，就是PyTorch的基金会，完成了机构改革，然后你们也变成了，这个基金会里面，一个非常旗舰的一个项目，这个变化是怎么发生，已经对你们有什么影响，我们24年的年底 [01:02:47]
游凯超：就在讨论这个事情，就是当时的背景，就是其实这个项目的，长期维护，就是我们在考虑，这个项目的长期维护，然后呢 Young Stoical老师说，我们应该有一个公司，来支持这个项目，不然这个项目，最后会凉掉的，然后呢，但是我们几个人，就是有一些同学，还比较犹豫，然后呢，这个项目能不能找到，一个长期的维护者，都是一个问题，那所以呢，杨索费克老师就说，那我们就参照，这个像Linux之类的，项目的经验，把它捐给一个基金会，那么这样子能够保证，它的长期的开源和维护，所以就把它捐给了，这个PyTorch基金会，因为我们跟PyTorch的合作，也比较紧密，就是我们相当于是 PyTorch是一个，底层的机器学习框架，然后呢，我们是建立在之上的，一个这个推理引擎，所以这个合作，也比较自然 但是就是PyTorch基金会，它本身呢，还是一个，偏治理结构的一个基金会，就是它不参与你的这个技术治理，所以代码什么的，其实还是自己要写，然后呢，它更多的还是，就是我们把这个项目，捐给这个基金会，然后呢，就意味着说，这个项目它至少，不会变成一个必然的项目，就是它始终是开源的，但是后来你们又成立公司了，对成立公司，我们是在做这个，项目的商业化，以及技术运维，然后呢这个项目它依然是一个PyTorch基金会下面的项目，就比如说PyTorch基金会下面，它有好多一级的就是顶级项目，那比如说PyTorch也是一个顶级项目 VOM也是一个顶级项目，那么PyTorch项目本身，它还是Meta在做主导，那么基金会它可能承担了一些，比如说活动的举办 然后呢像这个VOM或者和PyTorch的商标，属于PyTorch基金会，所以它更多的是一些辅助性的角色，所以它能承诺的是，你们必须是一个开源项目，它能够保证这个事情，因为比如说vLLM的商标，现在是属于派脱级基金会的，对吧，那你不能把vLLM避养了之后，然后再说我这是vLLM项目，为什么不能属于伯克利呢，为什么一定要属于一个基金会，伯克利它是一个学校，那么你说这个项目属于一个学校的时候，你还是要从学校里面找出一个具体的人，来承担这个职责的，那么学校里面没有一个这样的机构 Stoyk老师他自己不行吗，他那个实验室，实验室就是前面说到 David Patterson老师说，你实验室应该只开五年，五年之后你就要关掉，你要开一个新的实验室，所以实验室它不是一个，具备这样资格的一个实体，它需要一个持续性 而基金会能提供这个，基金会它是一个独立的法人实体，所以它可以做各种，比如说它可以注册商标，对吧，他可以有自己的法律团队，然后呢，他可以接受募捐，然后呢，他可以为这个项目投入各种各样的资源，哦，所以捐给基金会意味着 [01:03:01]
张小珺：就是你们这创始团队这些人，觉得他应该做一个开源项目持续下去，有没有可能你们也有另外一种选择，因为你们后来也成立公司了嘛，就是把这个项目放在公司里一起运营，这个能成为一个选项吗 [01:06:02]
游凯超：我们公司现在就是为我们项目的，技术管理和日常运营的，主要的参与者，所以说我们把这个项目，捐给PyTorch基金会，更多是从法律上明确了，它一直是一个开源项目，而且它的商标属于社区，但是它的具体的技术发展，以及它的商业化，我们都是可以，由我们公司来做的，当然也不只是我们公司在做，还有社区里面其他的公司，比如说Red Hat 比如说NVIDIA AMD 他们都在跟我们一起，做技术的维护，他们也可以对这个项目，进行一些商业化，如果这个项目属于你们的话，那这个项目的所有商业化，都应该是你们这个公司实体，对如果这个项目属于我们公司，那可能它的商标也会属于我们公司，对吧那么任何一个人，他用VM 他用了他的logo 可能都是要向我们申请，那现在它是属于一个开源项目，它的这个像商标啊，使用权啊，都是在公共领域的
张小珺：我们只是作为一个技术参与者，和技术领导者，在引领它的发展，在就是捐给PyTorch基金会，把这个项目捐给派突视基金会的时候，你们已经有成立公司打算了吗，就是当时这个事定了没，还没有定 [01:07:08]
游凯超：所以是先有的捐赠，对这个可能就是，可以说到我们几个人，这个成立公司的这个过程吧，就是其实是相当的艰难的，因为就是杨斯多伊克老师，他有非常坚定的信念，就是说这么大一个项目，如果没有一个公司来支撑的话，它一定会凉了，就是它说的就是 Linux项目，如果没有Red Hat的支持，那么Linux不会发展到今天，然后同样的像这个Kubernetes 如果没有Google的支持，它不会发展到今天，同样的PyTorch 如果没有Meta的支持，它不会发展到今天，类似的你还可以举很多很多的例子，像Spark它要有Databricks的支持，那么vLLM项目，它的体量已经达到了，前几个项目的体量，就是它的历史意义已经很明显了，但是没有一个这样的公司 在支持这样的项目，就是有一些其他的公司，也会支持，比如说当时Meta在用VM 然后Invidia也用AMD也用，那么他们更多是一个参与者的决策，他们很难做出一些战略性的决策，他们之间可能本来就会打架，因为可能Meta是AMD和Invidia的客户，然后他可能会说我要做这样的事情，然后我要你们实现什么样的东西，那么社区里面其他的公司可能不会服务他们，所以很难在他们的领导下做这样的事情，所以vLLM项目的长期发展，需要一家公司的支持，这个事情是非常明确的，我们也都是认同的，唯一需要我们明确的是，我们是否愿意来创立这家公司，那么这个事情其实是很难做决定的，这个我可以说一下，我们几个人的这个 各自的心路历程吧，就是因为创立一家公司，它的优点很明显，就是可以支持，未来我们更好的发展嘛，你们也都能成为，这个公司的创始团队啊，很好啊，但是缺点就是说，你需要承担很多，原来不熟悉的一些，非技术的任务，比如说创立一家公司，你要去学习融资，对吧，你要去学习招聘，然后呢，你还要去考虑商业化，所以这里面其实是，有相当大的阻力在里面的，对这个路线，似乎对你们好像不难，这几件事情，我们就是你要考虑到，我们其实都是学生团队，然后我们原来很习惯的，就是很舒适的那个区域，都是说来了一个技术问题，我们怎么拆解它，然后怎么把这个技术问题解决掉，那么现在要我们做的是 [01:08:17]
从开源社区走向创业
游凯超：成立一家公司，然后要把这个公司就是，抚养长大的感觉，所以对这个路线的选择，其实就是困扰了我们两年吧，两年啊，对啊就是因为我说，就是Young Stoica老师，他是非常明确的说，你们几个同学，就应该开一家公司来支持VM 但是，从24年就开始说了，对从24年就开始说了，其实我觉得他应该，从23年就开始说了，只是23年的时候我还不在，然后这里面，我们几个人的选择里面，我算是决定的比较早的，因为我24年就是，我还在交流的时候呢，我们已经有很多同学在硅谷创业了，然后呢，我跟他们这个沟通的过程中，也是近距离观察了一下，这些创业者的一些状态，然后呢，也跟他们沟通了一下，这个创业过程中遇到的问题，以及这个关键的选择就是，你是创业还是上班，对吧，然后呢，也是跟一些投资人 进行了一些初步的对话，然后最后我得出来的结论就是，即使创业失败，最坏的情况下，你也不过就是少拿了几年工资，但是如果不创业的话，那么VM项目最终没有办法长期发展，所以呢，我在24年年底离开伯克利，这个交流的时候，我就已经下定决心，要这个参与VM的创业了，然后呢，当时因为其他几个人还没有定嘛，所以我也不能自己一个人创业，所以呢，我做的选择是，我接了这个Skylab的，这个博士后的offer 然后呢，我当时说的是，就是我会为VM的创业公司，再等两年，直到大家出来一起创业，这么的义无反顾，还有一个故事就是，因为我当时快结束的，这个交流的时候，我也找这个，我当时本科期间交流的老师 Michael Jordan老师聊了一下，然后我跟他说就是 我们现在做的OM项目，势头很好，但是呢，如果我去找别的工作，也会有很多人给我很多钱，然后呢，做博后又非常的清贫，那这个时候要怎么选，那他跟我说的就是，从他的角度来说，根据他过来的人的经验，长期的来看，肯定是要继续支持VM的，就是因为我跟他也合作过很多，然后也觉得就是，这是过来人的这个，饱经沧桑的一个历史经验，然后也是，我觉得就是非常值得，就是遵守，所以这个大概是，我的一个心路立场，就是我觉得，我们最终还是要创业的，然后呢，现在只是时机未到，所以我就先等一等，所以你是第一个决定要做这件事情的人，不好说我是不是第一个，但我是比较早决定的 然后我们的CEOSimon 他也是很早决定要创业的，所以我说不好说我跟他到底谁先，但是我们都比较早的确定，你有想过做CEO吗，我觉得我可能，可能他更适合CEO 因为当时我们这个维护社区的分工方面，他就已经展现出一些CEO相关的能力了，就是在管理整个社区，然后跟大家进行一些沟通，所以我觉得明显，他是更适合CEO的，所以也就是说，为什么我不会一个人出来创业，因为我觉得人还不够，然后这个Simon他，刚才就前面说到，他本来也有一些创业公司的经验，他已经参加过一些创业了，所以呢，他也认为这个，就是他也认同杨索尔克老师的观点，其实我们都认同杨索尔克老师的观点，就是你必须得有一个公司来支持，为我们才能够长远的发展，只是我们当时就在犹豫说，这个公司是不是我们来开，然后呢 这个Simon他也在 Character AI待过一段时间，所以他当时尝试过就是，通过Character AI的帮助来，帮助VM项目的发展，比如说，从Character AI里面，这个找几个人来维护VM 然后呢 Character AI里面找一些机器的资源，来帮助VM 但是最终还是发现就是，没有办法靠别人，因为公司有自己的事情，对吧，你不可能把公司里面的人，无限制的薅来，就是做威威门相关的事情，而且始终，这不是我自己做出来的东西，我对他的感情是不一样的，对对对，所以说就是你在公司里面做，你只能有一个很小的团队，然后类似用爱发电的方式来支持，你很难说服公司的高层说，我有一个正经业务的公司，然后我需要全力来支持，威威门开源项目的发展，所以最后就是发现，就是靠别的公司是靠不住的，所以摆在我们面前的选择，就是只有自己开公司 然后这个最摇摆的是，就是我们的CTO 乌苏格同学，对啊，他是PagedTensor的一座，对，然后他可以选择的机会太多了，对吧，就是24年，年初这个XAI刚创立的时候，其实当时这个马斯克就邀请他，去参加这个Infra的建设，就是他如果去，他就是领导XAI的这个基础建设，那尽管说XAI现在失败了，曲终人散了，但是如果他当时加入XAI 那么他后来能够获得的财富，对吧，就是这个是一个天文数字 25年的时候，这个Think Machine Labs创立，这个时候这个创始人又邀请他，去这个负责基础设施建设，那后来这个Think Machine Labs的估值，也是一路飞涨，所以说就是摆在他面前的，这个机会属于是太多太好了，所以呢 他的犹豫也是人之常情吧，最后我们是怎么说动他的呢，就是小之以情，动之以理，就是最后跟他说，你如果不跟我们一起创业，你赚到了很多钱，但是十年之后 VM项目失败了，你是开心还是不开心，我们问了这样一个问题，然后他也想了很久，然后最后发现，他的答案跟我们是一样的，就是你赚多少钱，如果VM项目失败了，都不会开心，对，所以就是在这样的情况下，我们把这个，我们三个最坚定的人搞定了，把他拉上船了，然后还有很多这个，其他这个信念很坚定的合伙人，像这个Roger 也跟我们一起做这个，看院项目做了很多年，然后呢，还有我们是Founding Engineer 就是说公司一创立的时候，他们就加入进来了，我觉得我们都是，有一个共同的愿景吧 就是大家聚集在这个公司里面，然后我们都是想做这个 AI时代的催力引擎，我们想为接下来的这个智能时代，打好这个基础设施，那我们每个人其实都可以在这个市场上，拿到一个很高的offer 但我们最终选择了创业这条路，就是我们希望把这件事情做好，然后其实类似的这个问题，其实一直持续到这个公司创立的前夕，就是我们准备注册公司的时候，某家这个顶级大厂的一号位，他知道我们要创立公司了，然后他就直接给我们打电话，然后说你可不可以不要创立公司，你来我们公司，然后我们可以给你们几个人，我们四个创始人，然后可以给年薪2000万美元的工资，每个人是吧，对每个人，然后说你可不可以来我们公司，帮我们做我们的这个技术设施和推理，反正我们当时都已经坚定了，我们信念比较坚定，然后就直接爽快的回去了 没有一个人犹豫，所以这也是我们这个创业的一点故事，所以我觉得就是我们公司这个创立之初，其实就已经是经受住了，巨大的考验和诱惑 [01:10:00]
张小珺：我们其实都已经是，并肩作战很多年的一个老战友，我在想，他虽然一直在犹豫，但是Axel和Thinking Machine Slab 他都没去 24年和25年两个选择，他虽然没有决定 [01:17:26]
游凯超：要不要来创业，做现在这个公司，但是他也没有去其他公司是吗，就是他去过一段时间，去过哪家，就包括他在Google 这个Google DeepMind 也做过一段时间，就是他是一个以学生身份，然后兼职的状态，所以我们当时是，把他从Sing Machine Labs拉出来的，这很有意思，为什么他作为Page Attention的发明者
张小珺：然后是他的那个算法，然后导致了有vLLM 这个推理引擎的诞生，但是他很犹豫，而且为什么李卓翰没有加入，李卓翰没有加入，是因为他毕业的比我们早，他24年就毕业了 [01:18:04]
游凯超：那个时候就是，他如果创业只有他一个人，因为其他的同学都是学生，然后呢学生是非常廉价的，就是你只是要有吃有喝，然后有电脑有网你就可以干活，你觉得没必要开公司，所以那个时候他也拉不动其他人，所以他就去工作了，然后他在OpenAI工作，然后后面包括在Meta的TBD工作，所以他已经有工作了，而且已经工作了很久，然后呢他就有自己的事情要做，你们有尝试把他也拉过来吗，比较困难吧，因为确实他已经在公司里面，做了一些事情了，然后就是你把人家拉过来，需要影响到别人原来的团队，所以这个事情还是比较困难，然后呢 WooSug同学还没有陷入太深，就是我们觉得还有机会拉回来，你有这样的offer吗，你有动摇怀疑过没有，除了最后你们创业，临门一脚的那个添加offer之外，在之前呢 对因为我决定的比较早，所以我前面说我接了postdoc offer 所以我其实没有看其他家的offer 就是我跟大家聊，都是在说，你们用vLLM 然后怎么用的，然后大家一起看看怎么合作，没有跟他们说，你要不要我去你那工作，然后你给我多少钱，你有想过这个可能性没有，你在脑子里推理过没有，推理过，但是还是那句话，就是我们觉得vLLM项目比较重要，我们都想做成它，就是同样的一个问题，我们四个人吧，就是卓翰 Wusuk Simon和我，我觉得答案都是一样的，就是如果我们自己赚了很多钱，但是我们项目失败了，我觉得我们都是会后悔一辈子的，所以我们都比较坚定，就是要把这个公司开出来，跟李卓翰还会有什么样的合作吗 [01:19:13]
创业伙伴与公司方向
游凯超：跟李卓翰还会有什么样的合作吗，因为他现在在公司也有自己的事情，所以跟我们很难有很深入的合作，更多可能是有一些 high level的一些技术的沟通，对我觉得从你
张小珺：你们包括跟PyTorch基金会的关系，然后包括又开公司，其实一个开源项目，我觉得它的整个运作，跟可能外界想象，还是非常不一样的，而且一般大家讨论的也比较少，能不能讲讲，像这样一个开源项目，和大家想象的，很有可能最大的不同是什么，以及它是作为一个组织，是怎么构成运转治理的呢，不同的开源项目，它其实有自己的治理方式，我这里只讲 [01:20:12]
游凯超：这个VM这边的治理方式，那我们采用的是，就是常用的分级管理的方式，我们有几个，我们叫做仁慈的独裁者，就是可以最终拍板的，是你们几个吗，对就是包括这个Simon 我和这个Johan 然后还有Redhead的一些同学，仁慈的独裁者OK 那就是说我们平常跟大家沟通，都是心平气和的沟通，但是如果有重要的决定要拍板，或者说我们有的时候，有一些比较强烈的坚持的时候，那这个时候大家得听我们的，所以这个是比较，这个决策的几个人，然后呢我们还有这个十来个，就是日常的核心维护者，那么他们都负责项目里面，非常重要的一些模块，然后呢会参与项目的日常的一些，关键的设计，然后呢我们还有大概几十个Committer 然后呢他们主要就负责日常的代码的开发 然后呢剩下的就是这个社区的贡献者，因为vLLM现在它是PyTorch基金会，旗下的一个顶级项目嘛，所以它也接受PyTorch的一些治理结构，那这里主要就是一些大公司的这个参与治理，比如说像这个英伟达AMD这些重要的芯片厂商，然后包括像Red Hat这些软件厂商，然后呢包括像亚马逊啊Google啊这些云厂商，他们都会投入相应的资源在维护VM 所以呢我们作为项目维护者的这个职责之一，也就是协调这些大公司之间的这个合作，然后当然我们现在有公司，就是所以我们公司也是VM项目，这个治理过程中的一个，不可替代的一员，在有公司之前，因为我听过一种说法 [01:21:32]
张小珺：就是这种开明项目，跟像一个社团，而不是一个公司，你们是有什么样的，比如机制吗，比如说例会等等，你们日常的沟通，是怎么来完成的，对我们是有一些例会的，就比如说 [01:22:18]
游凯超：我们几个决策的同学，可能每周要碰一下，然后这个 Committer 我们可能就碰的，不会那么频繁，我们更多是在一些，这个channel里面去聊，它大概是一个，就是每周可能碰一次，你们几个人
张小珺：对决策的同学要每周要碰一下，就是接下来要做的一些重点的事情，你刚才说你们是仁慈的决策者，你们有做过非常强硬的决策，是什么就必须要这样，仁慈的独裁者
游凯超：对仁慈的独裁者就意味着，有些时候你需要对方向进行一些取舍，就是不能够做一个老好人，那这里面比如说，我做的比较强硬的一个选择，就是基本上把一个叫做 beam search的功能，从引擎里面删掉了，这个其实持续不断的，有人会来跟我们抱怨，尤其是做推荐系统的同学，他们的经验是，他们觉得beam search 在他们的场景里面比较重要，但是我们从这边看到的情况是，大模型的推理，就是AI这一边，我们主要的workload 它的这个推理形式，已经不再适应这个，就是beam search的，这种算法的发展了，所以beam search的算法，如果我们持续要维护它的话，只会给模型和这个推理引擎的适配，带来越来越多的这个复杂性，不可维护，所以我就把它删掉了，这是你做的一个独裁决策，对 还有其他这样的决策吗，其他的，我觉得就更多是在一些这个，支持的优先级上面了，就是因为项目这么大，你最重要的事情就是定好优先级，那么你需要支持什么，以及不需要支持什么，不想支持什么，那么比如说，我们现在支持的优先级，明显是在大集群上面的，大模型的支持，那么很多非常小的模型的支持，我们就没有把它列为，高优先级的思想，比如说几百兆的模型，其实推荐系统里面，有些人是在用的，那么现在我们给他的说法是，你可以用我们，但是如果你有这方面的，这个性能优化的需求，我们并不会接，因为你们现在有很多贡献者，应该是2000家，管理这么大一个规模的开源社区，你觉得挑战是什么呀，对我觉得最大的挑战，就是刚才说到的，就是你要梳理事情的优先级 要做什么，更重要的是补做什么，然后呢当一个项目有2000多贡献者，尤其是这个就是最近今年嘛 coding agent的发展的特别火嘛，所以贡献代码这件事情，已经变得非常简单了，所以我们在作为项目管理者的时候，我们最重要的要做的事情是，要屏蔽这个噪音，要找到真正值得做的这个事情，然后引导社区往这方向发展，这里面有一个数据，就是2025年的时候 GitHub发布过一个统计数据，就是按照贡献者的活跃度来排序 VOM是整个GitHub上面最活跃的项目，这一方面我们也很荣幸，另一方面其实这个也给我们带来一些，我们叫做幸福的烦恼，比如说今年5月份的时候，我们发现有部分培训机构，通过提交垃圾代码的方式，来包装学员的简历，就是他提交一个 没有什么用的PR 然后想要合并到VM里面，然后呢，他就可以在学员的简历上说，我是VM项目的贡献者，然后呢，希望通过这一点，来提高这个学员的简历，通过一些面试的这个概率，那这个其实对我们来说，是一个非常大的变化，就是他彻底打破了，我们对于开源社区的用户，都是善意的这一基本假设，所以我们现在就只能，引入一些认证机制，比如说我们会更多的重视，来自一些知名机构的贡献，我们会忽略甚至拉黑一些，看起来就很像机器人的账号，比如说他十分钟之内，给你提交了20个PR 这种人一定是机器人，而且他提交的东西，没有任何的人力的参与，就全都是coding agent 我们叫做AI slop 就是完全没有营养的东西，所以你可以放心的把它block掉，所以我觉得随着这个AI 和coding agent的发展 未来的这个开源社区的演进方向，他会更多的掌握在，机构和这些重要的贡献者手中，一些个人贡献者，他能做的事情其实会变少，就是整体上来说，代码变得如此廉价，以至于维护者，他花时间去看别人的PR 不如说，他自己来让coding agent再写一遍，然后呢，他自己还有更多的context 说我想让coding agent怎么写，所以我觉得以后，开源社区会更加的重视这个反馈，那么社区它会变成，维护者和用户这两个部分，用户呢，你就只需要提交八个report 或者feature request 你只需要说，你用的过程中遇到什么问题了，或者说你有什么其他的想用的东西，你就不需要贡献代码了，然后只需要这个维护者，自己来贡献代码就可以了，你觉得这是vLLM这一个社区的眼镜方向 还是很多可能现在的社区的，共同的眼镜方向，我觉得这个是开源社区的，整体的演进方向，就是Coding Agent的这个发展，尤其是今年在写代码能力上的突破，确实是远超我们预期的，所以这个对于很多开源项目的，这个维护都造成了类似的问题，这个就是PyTorch的一个核心维护者，叫做Edward Yang 然后呢，他也写了一个类似的博客，就是说，我们现在已经没有精力去看，大家的PR了，所以与其花时间去看别人的PR 不如我自己重写一遍，你们跟OpenCrawl联系多吗，他们现在社区维护是一个什么样的状态，他们的治理方式跟你们类似，或者不同吗 OpenCrawl感觉已经变成了，纯AI治理的方式，就是AI提交PR 然后AI来审 AI来合并，已经变成了一个AI自治的社区 虽然这个社区，它接下来演进的方向是好是坏，可能不是很好说，你们为什么没有走这条路，我们这个地方还是很难，让AI完全自动化的，就是还是需要我们很多的参与者，有历史的这个insight在里面，然后我们做的很多事情，其实它不是来解决现有的一个问题，它很多时候是解决，接下来将要发生的问题，比如说我们要解决，我们要支持接下来三个月内，要发布的新模型，那所以我们在维护代码的时候，我们不只是看，它如何支持现有的模型，我们脑海里还必须想着，接下来三个月支持的模型，在这些代码里面怎么支持，以及包括接下来半年，接下来一个亿年，要推出的这些新硬件，要怎么支持，所以我们这个项目，维护的过程中，必须是带着大量的，个人的context去做的 所以这一部分，目前还没有办法，交给AI去做，我听你在讲这个时候，我在想是不是一个，开源社区发展，它的成与败也好，跟创始团队在不在，会有很大的关系，对，就是创始团队需要在这撑着，如果这个主要的，就是团队的主心骨，发生了变化，那肯定需要会有一个这个阵痛期，就是他需要转型，他需要适应，所有的合作伙伴都需要去适应，他的新的领导，有这样换过领导，还发展非常好的开源社区的先例吗，我觉得换过领导之后，这个项目基本上就很难发展的，很好了，你怎么看OpenClaw的未来的发展，我觉得coding agent的发展，给大家带来一个虚拟的假象 [01:23:51]
开源项目的商业化边界
游凯超：给大家带来一个虚拟的假象，就是觉得好像所有的软件都变得很容易写，但其实有一些这个顶层的系统设计，包括长期的维固，还是需要人来设计的，就是我觉得AI它可以帮我们走完90%的路程，但是还有10%的关键的那个画龙点睛的那一部分，是需要人来这个提供支持的 [01:29:59]
张小珺：需要提前预判定层设计，对，因为我看开源社区的这个比较少，就是一个开源社区的成功也好，失败也好，有哪些历史先例啊，就是最后可能导致，比如说一个社区分裂萎缩失败的，可能包括会有哪些，因为你们伯克利的这个，渊源的原因你们见过很多吗，当然我觉得第一重要的，就是这个开源项目，它确实是在解决一个，大家都关心的问题 [01:30:25]
游凯超：这个是最根本的，对吧，如果你解决的是一个，没多少人关心的问题，你的这个项目它就长不大，这是一个根，对这是一个根基，然后第二点就是，有了这么一个重要的需求之后，那么能不能撑起这样一个项目，这背后就涉及到刚才我们说到的，需要有一个创业公司，在背后运营这个项目，去组织这个项目，所以这也是很关键的一点，然后呢我觉得就是像这个，创始团队持续在推进这个项目，这也是很重要的一点，然后呢我觉得就是，有了这些天时地利人和吧，然后就是把这些事情持续推进下去，你们为什么那么执着，一把Wusuk拉进来，你跟Simon两个人不行吗，他还是我们之中，比较偏技术的同学，就是很多，因为很多历史上的技术决策，都是他做的，所以他来做的话，会有比较好的延续性 所谓根正苗红，他可能是那个根，就是第一个人，对，得在那里，对，我觉得这个对于社区的这个号召力，也会有比较大的影响 [01:31:45]
张小珺：有你见过那种非常可惜的开源项目吗，就是它可能更很好，但是因为后期维护出了问题，然后最终导致失败了，我觉得这些还是有比较多的例子的
游凯超：尤其是就是一些开源社区，它没有公司在背后支持，这个比如说很多历史上的，很著名的项目，其实都是很多人在，就是有几个人在艰难维持，比如说像这个OpenSSH 这个其实是大家都要用到的一个，这个计算机的基础设施，就是一个这个SSH的这个加解密，那么它的维护者，其实就只有那么几个人在自己维护，然后呢，这个事情是直到这个，大概十多年前出现了一次事故，就是它的一个漏洞被人破解了，导致可能全世界都在裸奔，就是你的密码可能大家都能看得到，出了这个事情之后，大家才成立了一个基金会，然后给他投一点钱来，支持他的维护，所以其实开源社区的基础设施建设 一直是一个老生常谈的话题，就是他们都很重要，但是直到他们出问题之前，大家都觉得不需要投入，你们还是提前来做了这件事情的，对我们提前做了这个事情，而且就是伯克利这边的历史渊源表明，只有有这样一个创业公司在背后支持，这个项目才能够健康的发展，一定得是创业公司对吧，不能是一个大厂，对我觉得得是一个创业公司，如果是一个大厂的话，它很容易带来这个大厂原来的一些偏见，或者说立场，那这个时候它很难去融合这个社区，就是可能有别的大厂不服它，所以说所有人不会跟他一起走，那么这个创业公司，又是这个项目的创业团队，然后呢在社区里面，带着大家一路风风雨雨这样走过来，那我觉得他的号召力 包括他的中立性，公正性，大家都是比较认可的，所以我觉得这样的项目，可以比较promising [01:32:09]
张小珺：最终你们觉得，我这公司可以成立的那个节点是什么，是WooSoo答应加入的那一刻吗，有没有那样的一个时刻，那样的时刻，我觉得就是，就是Young Stoica老师告诉我们说，这个公司再不成立 [01:34:05]
游凯超：这个项目就要完了，几年几月几日，可能找不出一个具体的时间吧，但是应该是二五年左右的时候，因为二五年左右的时候呢，我们做的一个主要的任务是做，大模型的大规模的集群级别的部署，那这个时候我们其实遇到了很多问题，一方面就是说这个人力资源的问题，就是我们在以开源社区的方式运作的时候，这个参与这些事情的人都是不确定的，人来人往的对吧，有些人来，有些人新加入，然后有些人离开，那么这个事情是没有办法支撑你，长期的做一个重要的feature的，然后呢，另一方面就是这个法务上的问题，就是我们跟很多公司合作，是有一些这个保密性的，因为我们经常做很多新模型发布之前的支持，包括新硬件发布之前的支持，那么在这个过程中呢，对方法务经常会要求说，你需要有一个 我们叫NDA嘛，就是保密协议，对吧，那这个保密协议谁来签，这是一个很尴尬的问题，因为开源社区，它不是一个实体，所以对方的法务经常就会说，你背后是哪些人在做这个事情，然后呢，他可能还会需要检查说，你这次来做的是这些人，下次来做的可能是另一些人，那么这些人里面，变动的人里面，有没有我的竞争对手，我是不是要对他进行做一些背景调查，才能够允许他来接触这些信息，对吧，这些其实都是一个开源项目，没有办法完成的事情，然后呢，再包括除了人力资源之外，还有这个机器资源的问题，那么我们做大模型的这个大规模部署，其实在24年的时候，这个事情为什么没有这么突出呢，因为那个时候模型还比较小，然后呢，你搞到一台机器，单机的单卡的，就可以做很多事情了，那么那个时候也有一些公司 这个比较热心慷慨的，给我们捐赠的一些机器，但是到了二五年的时候，因为整个的这个规模上去了，我们要做的很多优化，都必须是集群级别的，那我要别人给我一个集群的时候，就很困难了，就他给我一台机器，已经是顶天了，这是他能支持的最高的力度，然后呢我们这个时候，为了做一些这个集群级别的优化，我们就只能去各处乞讨，然后呢我可能，我首先需要花一个月的时间，劝对方说给我这些机器，然后呢我拿到了这些机器之后，我需要马不停蹄的规划说，我今天要做这些事情，明天要做那些事情，因为可能我这些机器，一个月之后就到期了，然后呢对方给我这些机器，也不是一个promised的事情，他们内部如果有一些紧急项目，他是不是接下来，比如说我一周里面，我一三五，我可能我要自己拿过来用，然后呢246给你用，甚至可能紧急通知你说，接下来一个小时我马上要用 对吧，所以这些事情就给我们带来很大的阻碍，所以我们25年，其实我觉得说实话，我们做的不是很熟，那么这些事情就导致了，我们已经很明确的看到，就是没有一个公司的支持，这个项目已经无法继续往下发展，所以你们有点不得不，但你其实一直是等着要创业的，对整个项目的这个情况是，已经不得不需要一个创业公司了，然后我是一直在等着这个创业公司，所以我一直是在内部呼吁说，我会不停的说，你看我们现在又遇到这个问题了，对方又找我们来签NDA了，我们现在签不了了，然后我们要是有一个公司多好啊，然后我就在不停地说这样的话，然后最后也是25年的时候，因为刚好大家都那一年毕业嘛，所以我们最后就说，那真的开个公司吧，你说这个时候Simon会怎么说 Simon跟我是一样的看法，然后Wusuk Wusuk还在犹豫，最后他是怎么下定决心 [01:35:13]
张小珺：他的下定决心那个时刻，对你们这个公司的创立，有退波助澜的作用吗，对啊，就是他下定决心，就是我们，问他那个问题，对我们找他就是逼宫了，就是说你如果不做，我们自己做 [01:38:00]
游凯超：然后呢你自己想一想，如果你不来的话，导致我们项目失败，虽然你赚到了很多钱，但是你会不会快乐，然后对就他想了几天，然后最后回来了，他当场没有给出答复，对我觉得这个问题，一旦问出来，是我们双方都需要，冷静一下的时候，那是几月份，去年，可能是快到七八月份八九月份的时候了吧，然后到年底就开始成立公司了，对就是我们最终把它劝回来之后呢，我们还有各种流程要走，我们还要去找这个投资人聊融资的一些事情，后面顺吗比想象中，在面对你们觉得可能自己最不擅长的那部分的时候，现实是怎么样，我觉得这部分还是比较顺利的，就是因为就是硅谷的VC 对我们整体是一个期待已久的状态，就是虽然我们决定成立公司 是在2025年的年底，但其实他们23年24年的时候，就已经在跟我们接触了，而且那个时候，就已经在给我们这个开源项目提供资金了，所以我觉得这里可能可以重点讲一下，比如说像ACC 他们在23年的时候，就给VMW项目提供了一笔资助，这个是资助，对这个是资助，是单纯资助给开源项目发展，然后呢，这个钱金额会多吗，一般来说，当时应该是几十万美元的级别，对，然后呢，这个像24年的时候 Sicoya和真格，这两家也都给我们，这个以开源社区的形式，给我们捐赠了一笔钱，所以他们其实很早就注意到了我们，而且也跟我们一样认可，就是为我们是一个很重要的项目，所以他们愿意投入一些早期的资源来支持我们 [01:39:08]
社区信任与生态合作
游凯超：所以他们愿意投入一些早期的资源来支持我们，当然他们也是说，就是如果我们创业的话，那肯定是大力支持我们，所以当我们这个最终把这个消息说，我们几个人最终决定要创业了，我们要有一家公司，那这个时候我们再去找他们的时候，他们其实都比较爽快的说，其实我钱已经准备好了，所以这个，你们终于决定了，对他们一直在等我们，所以虽然我们种子轮，融到的资金比较多，但整体上还是投资人，在主动找我们要投资的阶段，我们即使种子轮融完之后，直到现在其实也不停地有人在说，我这里有很多钱，我可以直接给你们，几千万美元的save 都可以直接给你们，然后你们下一轮融资的时候，把我们考虑进去，但是我们现在还是一个，谨慎乐观的态度 我们希望把融资和公司成长的速度相匹配，我们不是为了融资而融资，不是说现在有钱我就要去拿，更多是看我们公司现在发展到了什么阶段，然后需要把钱拿来做什么事情，然后再去看下一轮融资，你们应该是全球来说AI Infra领域融资，种子论融资最多的一家是不是，没有做过横向的历史的对比，但应该确实是比较大的吧，投资人为什么这么看好你们，他们有说什么逻辑没有，核心还是我们在这个生态里面的地位，就是当你去看这个开源模型的生态的时候，每一个模型的发布背后都跟着威威尔曼的支持，每一个芯片厂商都会主动来靠近威威尔曼，说他希望得到威威尔曼的支持 那么这背后的市场其实是一个多少B链的市场，所以其实给我们的投资
张小珺：相比于我们产生的价值来说，我觉得并不算多，其实市场也准备好了，然后客户也准备好了，但是就等你们几个人做决定 [01:41:50]
游凯超：对就等我们要做这个事情，当然如果我们不做，可能有其他人来做，但是不一定有我们这么好的站位，出来以后你们有说，我们应该更早出来就好了吗，因为其实融资比你们想象中，可能容易很多，确实但是这个可能就属于马后炮了，以及再往前面一些时间，其实我们也没有那么多时间，就是我们比如说在准备一些毕业什么的事情，然后也没有时间来做这些事情，所以更多是在像7月份我毕业了，然后呢秋季学期这个Wusuk和Simon他们也都快毕业了，所以刚好是这么一个时间点吧，其实我已经是在不断的催促说，我们该创业了，你是为了创业去接的这个教职吗，对就是我是为了等他们创业而接的，这个博士后，所以我一直在不断地催促说 我们应该创业了，再不创业又有12345这么多条问题，你们几个人是怎么分工的呀现在，包括Young Stoic老师，他扮演个什么样的角色 Young Stoic老师是我们的，这个创始人之一，然后呢，他现在属于一个advisor的角色，就是一些重大的战略决定，我们都会问他，因为他有很多的创始，这个创业的经验嘛，他包括这个，他是DataBricks的创始人，然后呢也做过像最近的这个LM Arena 所以他对整体的这个行业的水温，都比较了解，所以他会给我们一些建议说，这个阶段这个公司，我们现在该做什么事情了，接下来该做什么之类的，所以他给我们一些这个 high level的一些建议，然后呢，我们主要创始人，这个四个人里面呢，就是更多的还是，就是有什么事做什么事吧，有技术的就做技术 然后有非技术的就做非技术，然后看谁有更好的context 来handle这个事情，对比如说，有一些公司原来是我对接的，那么对方再来找到对接，那就我去出嘛，然后有一些事情，原来是像WooSook在做的，那么现在这个事情，需要继续往下推进，那么就他去做，所以我们，就是我觉得我们四个还是比较，四为一体的状态，就我们四个人可能是，同样的一个共享一个大脑，然后只是需要谁的时候谁出嘛，还是仁慈的独裁者嘛，对我们四个一起吧，还是仁慈独裁者，对，然后因为我们四个人做的事情，没有那么多overlap 就是各自有各自的这个，往之前负责的一些东西嘛，所以说肯定就是这个方向 [01:42:02]
张小珺：如果是你负责的，然后你又意见比较坚定的话，那你就做就好了，大家都支持你，这开源项目商业化之后会，就是社区对于公司InfoAct 的态度会不会有一些变化呀 [01:44:42]
游凯超：它会损失一些社区的信任感吗，我觉得没有，就是这个事情对于社区来说，是一个好事，因为他们其实也都在期盼着，我们开公司，就像刚才说的，我们跟很多合作伙伴合作对吧，那么对方想要我们签保密协议，那没有公司的话签不了，有公司了之后，我们可以跟对方签保密协议了，他们的法务也很开心，然后呢，还有就是有些公司，就刚才说到的一些算力的问题，对吧，那我们之前合作的时候，经常会对对方说，我们合作一起做这个事情，你能不能给我们一些算力支持，那对方也很尴尬，就是因为公司里面的算力，都在公司内部，他很难给我们公司外部的人支持，那最多就是，可能像刚才说到的，有一些公司，给我们提供一些资金的支持，但是呢我们要去买，比如说这个资金，放在谁的口袋里都是一个问题，对吧我们不能直接放在个人的口袋里 然后呢你去买一些东西的时候，比如说买算力的时候，那对方可能也会要求这个一些资质的证明，你是不是一家合格的公司，对吧所以说这些东西，其实在我们成立公司之后，都得到了很大的缓解，而且我们有了公司，有了人力资源的支持，有了硬件资源的支持，我们可以把很多原来做不好的事情，做得更好，那比如说我们可以招聘更多的人，来支持为我们项目的发展，然后呢我们也可以有更多的机器的资源，来验证我们原来验证不了的事情，所以呢整体上来说，对社区来说是一个非常大的促进，那社区对于一个开源项目的这个意见，它并不是说，它能够在这个项目里面，能够写多少代码，或者说它在社区里面说话有多少人听，更多的是说，这个项目能不能给它带来一些收益，比如说新模型发布的时候，这个项目是不是又能够支持了，然后新硬件发布的时候 这个项目是不是又能够支持了，然后一些新模型，这个特性，新的推理引擎特性发布的时候，这个社区是不是又能够支持了，所以他们更多是一个，从用户的角度来看这个事情，那么我们公司的成立，对我们项目的发展，尤其是对用户来说，是一个很好的事情，因为这个项目现在更有保证了，然后各方面的，也发展的越来越好了，所以他们都是非常支持，我们做这个事情的，如果当商业客户和社区的需求发生冲突的时候, 你们会选什么?我们不接这样的商业客户, 我们现在是供少于求的状态, 就是我们能支撑的商业客户, 远远小于想跟我们做商业合作的客户, 所以我们可以非常爽快地拒绝我们不想做的事情, 所以我们目前做的事情都是跟社区发展一致的事情。最终还是你们四个作为一个决策者?主要是我们四个在公司里面决策。那PyTorch基金会 现在跟这个公司，是什么样的一个关系 PyTorch基金会，就是它在我们项目的，日常的管理过程中，就是它不参与技术管理，所以呢，我们目前主要是，可能每一个季度，会向PyTorch基金会，汇报一下，这个项目做了什么，然后呢，其他的没有很多别的了，它只是一个，象征性的意义，我感觉，对，它作为一个，持续的看远项目来存在，对，就是它是那一道保险杠，保证这个项目，它不会避援，对，然后具体的技术，都是我们自己在做，你们对开源闭源，这个问题上，没有过争气，或者是犹豫对吗，没有，因为如果我们想做闭源的话，我们就可以自己，去找家公司做了，就是我们觉得，这个开源推力引擎，它是很重要的事情，而且需要坚持下去，你们公司为什么叫Infraact 对，这个起名字，是一个相当困难的事情，我们为此讨论了好几天 然后最后取名Infraact 也是因为我们公司，主要做的事情是想做influence 所以就有一个influence在里面，然后呢，配套了一个这个，我们希望是 bring influence into action 就是把推理做到行动里面，让它真正的跑起来，所以最后起了这个influencer的名字，你们认为这个公司，十年后会怎么样，你们的愿景和目标是什么，十年后这是一个相当长的时间了，我们已经很难预测，就是AI会发展到一个什么样的程度，但我们的预期就是Inferact 希望能把大模型推理这件事情，做到一个基本解决的状态，就是大家想起推理，就会想起vLLM 然后想起Inferact 那商业模式会是什么样的，商业模式的话 我们整体还是就是围绕大模型，推理技术和vLLM的生态，然后呢一边建设VM的生态系统，一边去做商业化，所以我们在探索好几种商业模式，那比如说我们公司可以有机器，然后有软件，我们最后就给大家提供一个叫做 Endpoint Service 就是对方只需要直接从我们这里，用Token就可以了，我们也可以在探索一些像，我们叫做BYOC的模式，就是你可以客户有机器，然后呢我们提供软件，然后我们产生Token 可能是给你内部自己用，然后呢，也可以是一些，纯生态合作伙伴 [01:45:47]
生态合作伙伴的价值
游凯超：纯生态合作伙伴，类似的探索性质的，就我们跟一些战略性的客户，一起去探索，这个怎么把我们的生态，建立的更好，这方面也可以有些，商业合作的机会，整体上来说，我觉得就是我们希望，做到一个按量收费的状态，就是我们不是技术外包，我们不是在售卖，我们工程师的时间，我们产生的价值，取决于我们为你，多产生了多少token 为你的这些机器，又节省了多少成本，所以这个是我们一个整体的逻辑，现在公司多少人，我们现在公司大概 30多人吧，接近应该快到40了，我们还在持续的招人，再从一个像社团的一个组织，变成公司这样的组织的过程中，你们有没有什么感受，或者know how可以借鉴，我觉得，公司确实还是，挺不一样的 就是我们之前在做开源社区的时候，一个很困难的事情就是，你没有办法从上到下的去，强制推进一些事情，就是你没有办法去规划，因为这些公司，这些参与的同学，他们都可能有自己的工作，所以他们不是全职在做这个事情的，他们可能内部有一些其他的，比如说紧急的事情，那么今天就来不了了，所以呢，我们只能是一个 best effort 或者是一个许愿的状态，就是我求求大家，这个这周把这个做完吧，对吧，然后呢，现在我们有了公司了，就是这些同学都是我们的全职员工了，对吧，然后我们也有专门的资源，可以去推荐这些事情了，那么我们可以引入更多的计划，我们说我们这个季度要完成什么事情，然后呢分给这个小组，你这个小组，你接下来这一周应该要做什么事情，就是我们可以有更多的计划，那你们几个人的关系，有没有发生什么样的变化，就是我们几个创始人之间 都是就是每天都会同步一下，一些相关的事情，所以我觉得关系应该还是更紧密了，就相比于之前开源社区的时候，大家可能，像同学，对，然后开源社区的时候，可能沟通还没有这么紧密，因为那个时候可能，大家都是松散的组织在一起的状态，然后现在大家是，为了共同的一个目标去奋斗，然后大家可能都需要看，这公司里面发生了什么事情，然后大家需要一起来解决 Infraact这个公司，今年的一些规划会是什么，今年的规划，我觉得目前还是在聚焦，这个开源大模型推理的生态方面，那么包括接下来即将要发布的，一些下一代的这个推理引擎，包括这个下一代的模型，下一代的硬件，怎么样做到更好的这个推理 然后包括针对下一代的这个负载，就是大家怎么去用这个token的，这些东西，我觉得我们需要用开源的VM给出一份满意的答案，好上面我们回溯了你的研究历程，以及这个公司从一个开源项目走向公司化的过程 [01:49:59]
张小珺：那今天我们其实还也很想跟你聊的一个话题，就是模型与infra的co-design 我觉得这个你们非常擅长，也是现在很多模型公司都很关注的一个话题，那我们先从一个最基本的开始聊起，就如果是一些给一些非技术背景的观众或者听众，解释模型结构与infra的code design 您会怎么比喻，它们为什么需要在一起设计 [01:53:03]
游凯超：我们现在很多人把这个token比作电力，对吧，然后呢，我觉得可能可以从这个比喻开始吧，我们可以把硬件就想象成这个自然资源，就是你比如说不同的地方，它有这个不同的风力和不同的水力，还有这个光伏太阳能，然后呢，模型我觉得可以把它比作是一个发电机，那么有这种大风车的这种风力发电机，也有太阳能的那种光伏发电机，也有这种机械式的这个水力的发电机，然后推力引擎就可以把它比作是这个电力系统，那么它把这个模型跑在硬件上，然后呢最后再把这个token发送给用户，分发到这个千家万户，那么这里面的这个co-design的程度，它其实就决定了它的发电效率，那么比如说 有的地方水流比较湍急，有的地方水流比较平缓，那你在这两个地方，怎么样去设计你的发动机，使得你的发动机，能够更好的利用这部分能量，这个就是所谓的 [01:54:19]
张小珺：这个模型和infra的co-design 就是在同样的自然资源的情况下，配上可能不同的发电机，然后它有不一样的发电效率，对直觉上来看的话
游凯超：推理效率可能是系统工程师的事情，它跟模型算法的关系是什么，我觉得要讲清楚这个事情的话，可能就要讲清楚一个概念，叫做hardware lottery 就是硬件彩票，这个也是就是这个，应该不是David Patterson 是另一个这个学者写的，就是他说的是就是，在几十年前呢，就是还是摩尔定律比较有效的时候，那个时候其实软件和硬件的发展，基本上是一个各自为战的状态，那么你写软件的人，你其实不需要考虑那么多硬件的特性，因为硬件的通用性能，它每隔两年就翻一倍，然后呢软件的性能自然的就会跟着变快，但是呢现在的问题就是，摩尔定律的那个黄金时代已经结束了，就是你没有办法再通过制成，然后得到通用性能的提升 所以现在其实已经进入了一个专用时代，就是因为他经常说，这个皇室定律，就是说你的算力，可能你每隔两年又会翻几倍，但是这个算力，它其实都是专用的算力，就是它没有办法做到通用，那所以如果你的这个算法，没有利用到这些专用的算力，你就没有抽中硬件的那个彩票，你就吃不到这个时代的红利，比如说我觉得就是，这个机器学习非常资深的，这个Hinton老师，他当时强推了一个叫做 Capital Network 那个东西就是，它觉得从概念上非常make sense 但是那个东西在GPU上不友好，所以它得不到广泛的应用，或者说至今，它没有得到广泛的应用，如果它需要得到广泛的应用，可能需要一个专用的硬件，所以说就是模型的结构，它决定了推理效率的一个上界 如果你的这个上界太低了，那系统工程师就无力回天了，对吧，你已经做成这个烂样子了，那它再优化也就是这个样子，所以你必须得把两者结合起来看，其实Transformer就是抽中了GPU的彩票，对可以这样说，因为它非常适合并行，这个并行指的就是它里面有大量的矩阵乘法，那应该是算法领着硬件走，还是硬件领着算法走，理想情况下这两个肯定是要协作的，但是实际情况是因为硬件它已经造出来了，所以很多时候是算法需要去学习硬件的发展，当然硬件一旦走错了，它就几年的时间它就走错了，这对硬件公司来说是一个巨大的挑战，所以它需要不断地踩着时代的脉搏，去压住下一个有用的硬件长什么样子，但是一般来说 还是算法和模型结构适配硬件适配的多 [01:55:37]
张小珺：你们举一个具体的例子来说明，因为模型结构设计的好，所以导致infra的效率提高了很多，一个比较著名的例子，我觉得可以说就是ROPE 这个叫做旋转位置编码 [01:57:28]
游凯超：Transformer出来之后，说位置编码这个事情，我觉得你少说可以找到上百种位置编码的实现，但是他们其中很多的实现都需要修改，其中核心的注意力的实现，就是你的位置编码变了，那么你的注意力kernel需要重新写，比如说一个叫做Alibi的技术，它是Absolute的Position Bias 所以它就没有得到广泛的应用，那Rope流行起来的一个很重要的原因，就是随着训练长度的提升，那么大家需要位置编码，然后同时又Flash Attention 解决了训练长度的问题，所以Flash Attention就变成了一个训练必须的东西，然后在这个时候，你的大部分的用户是没有办法，就没有那个能力去修改Flash Attention的，所以这个时候大部分 需要修改Attention内部实现的位置编码，就被干掉了，就没有人去尝试了，而ROP它的好处在于，它是一个绝对位置编码，就大家希望是一个绝对位置编码，但它同时又是一个相对位置编码，但是它是一个以绝对位置编码实现的方式，所以它有非常良好的性质，而且它是可以把它独立注入到，这个Query和Key里面，它是独立在Attention之外的，就你可以在Attention Kernel之外，独立的做这个ROP 所以它跟Attention Kernel是互补的，所以它就变成了一个最佳搭档，所以说就是模型结构设计的好，那么它就可以跟infra有一个code design 就是一个共鸣的效果，就大家可以互相提高，能够有一个更高效的实现，那么你的整体的训练推理效率都会提高很多，因为提到infra 大家这一代大模型公司里 [01:58:33]
张小珺：就会说DeepSync是infra做最好的，它的infra做的好，是跟这个模型结构和infra的code design有关系吗，对，我觉得就是Infra的，就是DeepSeek的Infra团队啊 [01:59:24]
游凯超：我觉得可以说是全球顶级的这个团队，是不是第一我不好说，这个可能见仁见智，但是绝对是顶级的，然后Infra的能力强呢，也就能够高效实现的模型结构就更多，所以呢，他们的算法研究员就可以更快，更充分的去探索各种选项，然后呢，这里面我觉得还有一个就是
开源治理与团队决策
游凯超：这里面我觉得还有一个就是，他们的算法同学，其实也都是懂一部分infra的，比如说在24年年初的时候，就是当时DeepSeek探索MOE嘛，就是DeepSeek MOE那一波，那么其实是DeepSeek的一个算法同学，写出了这个MOE的，当时还是比较粗力度的MOE的，一个比较高效的实现，所以他们其实在探索MOE方面，这个infra探索了很多，然后包括后面这个细力度MOE 也是他们在推理系统里面，第一个做出来的，所以说infra的能力，对于DeepSeek同学的这个算法探索，起到了非常重要的作用，同时他们的算法同学，也会学习infra的知识，使得自己的算法设计，能够跟infra的友好，所以应该是算法主动去靠近infra 算法需要主动去靠近infra 然后infra也需要对算法
张小珺：有一些基础的了解，我觉得就是这两者需要更紧密的合作，这两者需要比如说一起办公，有什么样的机制能够让他们更紧密吗，还是说我从招人上就应该算法的人懂infra [02:00:57]
游凯超：infra人懂算法，我觉得招人的时候如果能招到既懂算法又懂infra的同学，这个肯定是非常好的，然后呢后期的组织结构上面可能确实一起办公会更好一些，比如说一起办公的同学大家日常的讨论，对吧，这个infra的同学，每天讨论的是什么事情，那么算法同学，耳濡目染的也就知道了，原来我有这样的一些东西要考虑，然后呢，算法同学一些日常讨论 infra同学也是耳濡目染的，就是会有一些前移默化的影响吧，对，那比如说如果infra团队太主导，他有的时候也会忽略到，算法上面的一些事情，比如说这个MOE里面，那么就曾经出现过一些 infra同学为了这个MOE的均衡，而选择了expert choice的这个事情，那么这个事情在算法上面，其实是不能被接受的，但是在infra上面，你可以让它跑得很快 所以这也是一个infra和算法，过度倾斜到infra的一个例子，这两者谁的话语权，可能可以更高一点，我觉得很多公司里面，是算法的话语权更高一些，然后infra很多时候，是一个被动接收的状态，但理想情况下，它们两个应该Codesign 怎么说呢，这个就像刚才说的模型，和这个硬件Codesign一样，理想情况下，它们都应该是Codesign的，但是现实情况下，是硬件更强势一些，因为它已经设计出来，说到DeepSeek 它们最近这个DeepSpark 也刚刚发布，你们从旁观者的视角，解读一下这个，最新的技术进展，就是DeepSpark 它是一种这个，新的投机解码的方法，因为这个自回归的，建模的大模型，它的推理整个就分为，预填充和解码两个阶段，那么预填充呢，它是处理用户的输入 然后呢解码阶段，它是处理模型，就是自己在输出，然后因为它是自回归的，所以你模型解码阶段，只能一个一个Token的生成，这个效率比较低，然后呢投机解码，它就是说，我根据当前的输入，一次性的猜测，我接下来要生成的几个Token 然后呢把解码的过程呢，变成一小段一小段的，这个预填充的过程，那么它一次性，可以处理多个Token 就可以提高处理效率，那在D-SPARK提出之前呢，这个业界其实已经研究了很多的投机解码的方法，比如说常见的这个EGO 以及同样是这个DeepSig提出的MTP的这个投机解码，那他们的特点就是猜测的长度比较短，一般可能就猜测三到五个，但是接收率比较高，那D-SPARK的技术路线呢，属于是D-FLASH的系列，那这一部分我们其实最近几个月也都一直在关注 所以dSpark它不算非常新颖的内容 dFlash路线的特点就是，它一次性会猜很多个token 比如说16个token 那我们VM和NVIDIA 其实最近刚刚发布了一个技术博客，就是在介绍VM里面的dFlash的支持，这样的话可以对某些模型，达到每秒上千token的速度 dFlash的缺点就在于，它猜的token很多，但是它猜错的也很多，所以它模型验证过程中，存在一个算力浪费的问题，那DSpark对于Dflash的改进，就是说估计一下，这些猜的token里面，哪些是准确的，哪些是不准确的，然后大概率不准确的token 你就不要再去验证了，所以比如说模型猜测了16个token 那你简单统计一下，这个模型最后输出的一个致信度，可能发现只有前8个token是准的，那你就只需要验证前8个token就可以了 所以说DSpark大概是延续着这个路线，在改进Dflash 那DSpark对我们来说，其实并不意外，就是因为我们已经做了几个月的 Dflash相关的优化了，然后呢Dflash的这个接收率的问题，也是Dflash的研究圈子里面的一个共识，然后像在Dspark提出来之前呢，腾讯的会员团队，其实已经有发布了一个D-Cart工作，然后呢上交的同学，其实也有提出一个叫做Domino的工作，都是通过类似的思路来解决这个问题的，所以说你说这个DeepSpark 在算法上面有多么normal 我觉得并不能算很normal 那我们跟DeepSig团队，跟腾讯会员的团队，也都有很多的沟通，大家很快也会看到 VM里面支持这些算法，但是就是创新性是一回事，然后能不能把这个创新的想法，扎实地做出来，只有是另一回事 我觉得DeepSpark是继承了 DeepSig一如既往的，非常扎实的infra的基础，把这个推理优化压榨到了极致，这也是我们在跟他们学习的一点，就是怎么做到更好的这个推理优化，然后其实这个也是另一点，就是算法跟infra code design的部分吧，就是有没有一个好的推理引擎上的实现，是决定一个投机解码算法，能不能大规模使用的一个关键，那DeepSig的推理引擎团队非常强悍，所以也为这个算法团队研究投机解码 [02:01:11]
张小珺：提供了更大的探索空间和更多的反馈，这刚好是一个 Code design的案例，对，你讲了这个我在想，大家都会说，会是一个很懂infra的人，当然应该也会有，不错的infra吧，为什么 [02:06:09]
游凯超：这没有做起来呢，懂AI吗 infra应该还不错吧，我觉得，应该不懂AI infra 他们团队里面，当然有一些，懂AI infra的同学，因为你开出很高的价格，当然就能够招到一些同学，但我觉得，整体上来说不是很懂，他也不懂infra是吗，对我觉得这个属于是，就是一号位不太懂，然后他可能就开始，就会有一些瞎指挥的问题，就是即使下面的，有懂infra的同学，也没有办法发挥出，他们的这个价值，说他懂infra可能是因为，他要建非常大的集群，那个我们可能把它叫做 infra的infra 就是集群怎么搭建，然后呢怎么样把这个机器点亮，怎么样交给infra团队，就是怎么样交给这个，我们叫做AI infra的团队 我觉得这里面也不是说，他技术有多高吧，因为很多时候建集群，它是一个非常重的资本开销，所以呢他更多是说，你有多少钱 [02:07:17]
张小珺：以及你能找到多少地，你能找到多少电，所以他更多是一个，有非常多资源的一个人，为什么大家会说，好的infra不是加出来的，是设计出来的，就是模型团队和infra团队
游凯超：这种各干各的模式，它的问题可能在哪里，我觉得可能可以回到，我们前面说的那个，发电的这个类比吧，就是大模型它训练出来的目的，就是为了用于推理，对吧，那么两年前的这个大模型的，整个生命周期里面，可能训练和推理的开销，整体上还是训练为主，然后推理的过程中，也是推理的比较短，这个对话也比较短，所以呢推理的开销不大，那现在已经很明确，就是训练和推理的开销，可以达到一比一，甚至推理的开销，还在持续的增长，所以拿发电来打比方的话，就好比说训练，我是在研究发电机的结构，是一个前期的技术投入，然后呢，推理就好比说，我拿做好的这个发电机去发电，那这里面的效率就很重要，对吧，就是你可以设计一个通用的发电机，以比较低的这个研发成本去设计，然后呢 你设计好了之后，拿到哪里都可以去发电，但是它的发电效率可能就比较低，那你也可以提前设计说，我这个发电机设计出来，就是针对这一个地区发电，那这一个地区，它可能这个水文条件，风力条件，我都是可以提前测量的，所以呢我知道这些，我能够做哪些针对性的优化，来提高这个发电效率，然后呢在一两年前，这个模型还是比较小的时候，推理负载也还是比较低的，那用AI的人还没有那么多，所以那个时候整体是，算力多于需求，所以大家对于算力效率的，这个追求也没有那么极致，但是随着AI的飞速发展，现在大模型推理的需求，其实整体上迎来了，一个爆发性的增长，所以现在处于一个，这个供不应求的状态，那这就好比说，电力供应小于，大家的电力需求，而且是远小于，那在这种情况下，这个自然资源是有限的，它没有办法快速的增长 对吧，一个地方的这个水利风利，它的上限是固定的，那你为了发出更多的电，你就只能提高你的发电机的效率，你就只能在设计的时候，在发电机设计的时候，你就把当地的自然资源的一些条件考虑起来，比如说我水流湍急的地方怎么发电，我热的地方怎么发电，我昼夜温差大的地方怎么发电，所以说这个是一个非常重要的问题，除了算力供应不足的问题，这个因素驱使大家极致的优化infra [02:08:36]
极致优化背后的驱动力
游凯超：这个因素驱使大家极致的优化infra 还有一个问题就是算力非常特化，就是GPU它本身在朝着大模型的方向演进，所以它能做的事情也越来越固定，所以模型它必须去主动适应这个硬件，就好比说原来这发电，我只是按原理区分，一个大的发电这个种类，说我的发电机有电磁发电，然后有光伏发电，但是呢，有些地方的这个发电资源非常的特殊，同样是电磁发电，就同样是水电，然后呢，如果你的发电机直径是10米，你的效率可以是80% 但是如果你的发电机直径是100米，那你的效率只有10% 那在这种情况下，你的发电机设计，是不是就要紧密的去结合，当地的自然资源的情况，对吧，翻译到大模型设计上，就是infra和算法必须是紧密结合，必须是co-design的，对吧 模型团队和infra团队，它如果各干各的话，我觉得团队就完全没有前途，比如说刚才的，我为什么举直径的例子呢，比如说如果有某一个算法团队，他某一天一想天开说，我的attention的这个head size 能不能开到1024 那么infra团队可能就晕过去了，因为这个东西在硬件上很难实现，因为你看过很多的团队，那你觉得全球来看的话 [02:09:58]
张小珺：模型团队的infra和算法的code design 做最好的是哪几家，能不能给他们一个排序，点评一下他们，我觉得做的最好的应该就是DeepSeek 这其中主要体现在，就是DeepSig的infra团队 [02:11:20]
游凯超：真的是全球顶级的水平，然后DeepSig的算法同学，也比较懂infra 像刚才说的MOE的一系列的例子，其实他们算法同学，都有在里面参与一些设计，所以包括像后面DeepSig提出的，像刚才说到的D-Spark 然后前面NSA 就是Native Sparse Attention 这里面其实都有，非常浓厚的infra的味道，那我觉得DeepSig的，这个深厚的infra功底，可能是来自于，就是他们之前做换方量化的时候，对这个性能的一些极致的压榨，那么他们因为做量化，然后要自己自建机房，所以他们对于机器的每一个细节，都会深度控制，所以他们能够做这个全站的优化，然后排序的话，我觉得可能就不好排，我觉得就是DeepSeek是说的最好，但是因为DeepSeek的Infra做的好，不见得其他的团队，可以很轻易的复制他们的成功，因为自建机房，这个就是一道坎 就是自建机房，你的优点在于控制力强，然后你的总成本可以压低，但是缺点在于，它难以短期的大规模扩张，所以很多团队，它其实选择的是 Zoolink这个云上的一些机器，那它可以快速大规模的，扩充这个机器的资源，但是缺点就是，它的这个控制力比较弱，然后呢，它的总成本也比较高，所以呢，它是不同的公司，面对各自情况的一个取舍吧，没有办法给他们，这个排一个序说，谁的infra一定比谁好，但是我觉得DeepSeek是在他们能做到的范围内，确实是做到的非常好 [02:12:28]
张小珺：但是其他的人也不一定能够完美的复制过去，对你说的其他人很难复制DeepSeek 那有没有什么是可学习的呢，可借鉴的呢，可惜得的可能是什么 [02:13:03]
游凯超：可学习的那就是算法团队要懂infra 哦这个怎么招啊，怎么找到这样的人啊，招聘肯定是一个老大难的问题，就像我们现在公司招聘肯定也是，希望能够有懂算法，有懂infra的同学，但是这个真的就是，一方面需要这些同学，能够有耐心去学习，另一方面也就是，看缘分呀，你算是这种是吧，我是，因为我原来做算法研究嘛，所以我有一些算法背景，然后呢，我现在做推理系统，又有一些infra背景，所以我确实算是，就是有算法和infra 双重背景的同学，你这样的人多吗，比较难，因为，还是就是需要时间来熟悉这些背景，包括做算法的同学，做infra的同学，他们有的时候，思考问题的脑回路也不太一样，比如说，就比如说算法的同学，他可能更多会想，我这个东西在理论上是否make sense 就是我的模型表达能力，是不是能够更强，然后呢，这个造成的后果就是，他们更关注这个下游的指标，就是我能不能又解决一些新的问题，然后我的一些精度能不能提高，那么Infra的同学，他可能更关注的是说，我手头上拿到的硬件，长什么样子，然后呢，我能在上面做一些，什么样的事情，能够极致的发挥，硬件的各种性能，这个来的算法的需求，是怎么样的，我怎么样把它实现过去，所以他们的出发点不太一样，然后你要养成这样的思维的话，可能都需要，这个经年累月的一些熏陶，所以我刚好是在算法那边，熏陶了几年，然后在Infra这边，也熏陶了几年，这当下能做的可能是让两边团队坐在一起工作，可能能互相熏陶一下，对我觉得坐在一起工作是一个比较好的，就是互相熏陶的机会，然后你坐在一起工作 比如说一起吃饭嘛对吧，那吃饭聊点什么嘛对吧，然后互相聊一聊这个对方关心什么话题，互相理解一下，对互相理解一下 [02:14:08]
张小珺：那你们也帮就是不同的模型进行部署嘛，包括海外的Lama呀，国内的千问啊GLM啊DeepSeek啊等等等等，你们有没有一些观察，因为他们的模型结构，其实现在是有差异的，那在推理层面，大家的挑战是不同的，从Infra的视角看，哪一个模型设计，对你们有最大的挑战，哪一个又是最友好的，这个全球主流的开源模型，我们都会支持嘛，然后他们在开源之前，都会找我们提前支持，所以呢 [02:15:10]
游凯超：就是如果一个模型，它开源的时候，没有推理引擎的支持，那这个基本上就属于，一个不可用的状态，所以说，他们跟我们的合作，对于他们的成功，这个开源的成功，也是非常重要的，所以我们确实跟他们都有很多的合作，那合作过程中我们整体的感受就是，欧美那边的模型更重视效果，然后中国这边的模型更重视效率，我觉得这个可能整体也是因为，两边的这个算力供给的问题吧，就是欧美的这个算力资源非常的充足，然后中国的算力资源非常的紧缺，从Infra的视角来看，就是个不同的这个架构设计，对我们来说的最大的挑战，其实就是其中的这个，它的注意力机制是如何设计的，因为大模型它作为一个自然语言建模的一个模型，那么它是一个自回归的模型，也就是一个序列模型，它是要处理当前的这个状态，和过往的状态的一个关系，这个我们就把它叫做Attention 那么VM的核心是，管理大模型推理过程中的这个状态，然后呢，不同的注意力机制决定了，它的状态的大小和一些特性，那比如说完整的注意力机制，它的特点就是，每一个token它的状态比较小，然后它的状态只会增加，不会修改，然后这个对应的就是一套，这个Page Attention的管理机制，然后最近新奇的像这个线性注意力，那么它们的特点就是，每一个token的状态比较大，而且它会被修改，所以它就需要更多的推力引擎方面的，这个其他的支持，那除了这两大类之外呢，还有一些很复杂的注意力机制，比如说混合的这个交叉注意力，那这种的状态就很难管理了，当然这个比较庆幸的就是，这种东西它现在还不是很流行，所以我们还不需要支持很多，然后从infra的视角来看，那肯定是模型结构越简单越好支持，对infra更友好，对吧 比如说两年前的Lama结构，但是就像前面说的，我们也不能完全从infra的视角来看，模型长什么样，有的时候也需要看什么样的结构，它的模型效率比较高，因为如果这个发电效率比较高，但是发出来的电是一个没有用的电，那也不行对吧，这个我觉得说到这里，可以提一下就是 Token和电的一个不一样的点，因为大家把Token和电，做一个类比的时候，可能会觉得就是，电它是比较通用的，电它是可以调制的，所以你发出来的电，你可以去调制它的电压和频率，可以方便的用一些转换器去做转换，所以大家在用电的时候，只需要在出口统一规定，我就是220伏，那么所有的家电，它的这个，只需要满足这个国家标准，它就可以接入这个电去用，但是token它是没有办法去做调制的，就是你没有办法说，把一个DeepSeek模型的token 转化为一个KeyMid的token 这个token它是带着模型的烙印的，所以就好比说，我们有上百种这个发电机的型号，然后呢每一种发电机的型号，它发出来的电压和频率都是不一样的，但是你没有办法调制，你只能原样的去送过去，那这里面你就只能让用户去适应了，比如说我今天有90伏的电压，明天有110伏的电压，后天有120伏的电压，然后呢，这就是导致就是，有些时候你还需要去看，你的Harness 能不能适配这些模型的Token 然后呢，不同的这个推理厂商，他推理出来的Token 也不一样，然后就是除了这个，推理厂商本身的原因，还有就是模型本身，它也不一样，对吧，比如说大家经常会说这个，有些模型聪明，有些模型傻，然后呢，有些模型它适合指挥，有些模型适合干活，然后呢，有些模型它适合用Claude Code 然后有些模型适合用OpenClaw 所以说，就是token它比电复杂很多，它有一个意志性在这里 就是它不是像电一样的，是一个commodity 就是你拿到就可以用的状态，基于每个token都带有了模型的烙印，你觉得这个会越来越统治化，还是会越来越差一块，目前还是一个百花齐放的状态，然后呢，尤其是现在就是跟harness也有关系，就是你的harness怎么设计，然后模型在训练的过程中，它用过哪些harness 对哪些Harness比较了解，以及包括这个推理引擎的设计，它有的时候都会影响这个产生 token的质量，所以说对目前是一个比较，百花齐放的比较混乱的状态，你们现在能支持多少模型结构，我们现在支持了，有两三百种模型的结构，相当相当多，所以我们其实最近在做一个事情就是 [02:16:33]
模型与基础设施协同设计
游凯超：所以我们其实最近在做一个事情就是，不用的模型结构我们要删掉 [02:19:58]
张小珺：对就是既然每个token都这么，负责度这么高，你们还支持这么多的模型结构，会不会让你的负责度过于高，那你们这其中的tradeoff 你们的取舍代价是什么，对这就是这个项目的价值 [02:20:02]
游凯超：就是它支撑住了这个复杂度，当然我们也需要就是，不断地去删减掉不必要的复杂度，所以像刚才说的，我们删除一些不再用的模型，然后呢我们删除一些不必要的feature 然后呢在这个过程中，我们也会更加地重视，就是当前大家用的主要的模型是什么，所以我们接下来的重点，肯定是优化主流模型，在主流硬件上，主流workload上面的一些性能
张小珺：MOE架构现在应该是相对最主流的架构之一，那从推理INFRA的角度看 MOE给你们带来什么挑战 MOE带来了三大挑战吧
游凯超：就是第一个是细力度专家，这个其实也是DeepSig提出的，这个DeepSig MOE 就是发现这个专家的力度越细越好，但是呢这个细力度专家，他就会导致这个做矩阵乘法的时候，这个矩阵乘法的维度比较低，所以呢他对于INFRA的实现不是很友好，那么这里需要有一个取舍，然后第二个是MOE 它是一个动态选择的，这是MOE算法的基础，我们有一个路由模块，来决定每一个token 选择哪几个专家，那么这一个呢，对于数据的依赖，是这个GPU 就是GPU的高效实现，比较难以handle的部分，他们比较擅长的是那种，静态的数据流，就是我提前知道，这部分数据，要跟哪一部分数据进行运算，然后呢，第三部分是这个专家并行的系统，就是MOE当大家发现，这个C6度专家很有用的时候，那么大家快速扩展到了这个 把MOE扩展到了万亿参数，然后呢，但其中只激活了几十分之一，那这个就要求配合一些，这个像专家并行的策略，和数据并行的策略，这个对于系统设计，和通信的要求都很高，针对这三大挑战的解决方案呢，其实就是DeepSeek 在2025年提出了一系列方案，包括像DPEP处理这个，专家并行的通信，然后呢 Deep Drain处理专家并行的计算和选择，所以确实可以说，就是MOE这一波Deep Seek 是引领了时代的潮流 MOE之后，你觉得有什么可能的，潜在的发展方向 MOE之后，现在大家主要还在探索 Attention的设计，就包括前面就是，有一些播客也在请松林来讲，这个Linear Attention 那到底是Linear Attention 还是Sparse Attention 这个可能还是一个，悬而未决的事情，或者说可能它们两个都是一个有效的方案 其实没必要非此即彼，可能都需要去探索，那test time scaling 就是测试时计算扩展，也是一个新的趋势，那它对于推理infra提出了，有一些新的要求吗 test time scaling 它其实一直都存在，它只是以不同的表现形式出现而已，那在早期的这个机器学习系统中，我们有一个叫做集成学习的方法，就叫ensemble 然后同一个问题，你让不同的模型回答，或者你让同一个模型回答多次，然后对这个结果进行集成，通常都可以看到一个比较好的效果提升，那这里面我们test time scaling 这个scale的就是模型尝试的次数，然后呢，这个大模型时代的test time scaling 更多这个一般意义上指的就是 open eye的这个O1里面的，就是针对困难的问题，我们通过让模型思考更长的时间，来提高成功率，那这里面我们scale的是，模型单次输出的token 所以在去年我们经常看到，就是让模型思考很久很久，然后输出几十万的token 然后呢去解决一些高难度的问题，那比如说国际数学竞赛，当然这也都是一些很有效的手段，但是今年以来呢，我们这个test time scaling 更多是在coding agent的场景下，让agent持续和环境交互，那么这个时候大家scale的是，模型和环境交互的次数，或者说模型完成一项任务，它运行的时间，在这个过程中呢，就是模型每一次交互，它进行的思考是比较短的，可能只有几百个token 但是它可以不断地去了解，当前任务所处在的环境，从而适应这个环境的一些特点，从而能够更高效地完成任务，那这个集成学习就不说了，这个是很早的，这个早期机器学习方法了，跟现在的这个大模型范式也不匹配，所以为什么我之前说，我把beam search这个删掉了，那这个让模型思考的更久 以及让模型跟环境进行更多的交互，这两种scaling 对于推理的infra的需求是不一样的，那前者是一个请求，它在长期运行，这个对于系统的成本非常高，所以现在其实主要也就是，服务一些特殊群体，那比如说科学家的前沿探索，然后后者它是在今年迎来了一个大爆发，通过与环境的探索 coding agent可以适应各种各样的环境，所以它可以走进人们的日常生活，那比如说年初的小龙虾的热潮，就是一个例子，那在这种多轮交货的情况下，前缀缓存也叫做preface caching 就非常重要，那我们要尽量确保历史状态，都能够保留下来，这样子下一次请求可以很快的进行，所以这个test and scaling的几个阶段 [02:21:44]
张小珺：对推理引擎其实有不同的要求，你刚才提到coding agent 那在agent场景下，就模型会被调用很多次，有复杂的上下门的管理需求，那你觉得现在的推理框架，对这个场景支持的够好吗 [02:25:14]
游凯超：现在的推理引擎，对这种场景的基础知识是比较好的，就是这种coding agent的场景，主要就是要保持一个前缀的稳定，所以这样子推理引擎，就可以复用前面计算的结果，当然这也有一些模型设计，就是它在设计之初，就不完全遵守前缀稳定的性质，比如说有些模型，它在下一轮思考的时候，它会删除上一轮思考的过程，这个时候就需要跟推理引擎，做一些联合优化了，然后目前主要的一个问题，是生态比较碎片化，然后不同的这个Harness框架，它会带来不一样的这个负载的特性，以及不同的模型结构，它又带来了不一样的催理油画的需求，所以很难统一，那这个和Infra Co-Design 其实是一个类似的问题，我们现在需要的是一个 Harness和Infra的Co-Design 这一方面其实去年这个 Manas的记忆超就是PIC 它也有一篇博客写 就是如何设计一个 Infra友好的Harness框架，其中最重要的部分，就是你要充分的利用前缀缓存，那这里面有一些，这个Harness框架设计者，他可能比较自作聪明，就是觉得每次，我把这个工具调用的范围，进行一个精细化，然后呢可以提高模型的效率，但其实这个因为工具调用，其实总是出现在模型的，这个请求的前端，所以这种操作会导致，每一次请求都会无法重复，利用前面计算的结果，所以这个对推理系统，带来一个巨大的负载，然后呢还有一些古老的传统，比如说ChatGPT 它之前在System Prompt里面，会加入当前的日期，所以前置换存会在日期切换的时候，统一失效，这个也是一个很不好的行为，那现在更优雅的做法是，你可以把日期当做一个工具，提供给模型，然后模型如果觉得，这一次需要当前日期，它可以再去查询当前日期 所以你不要把一个经常变化的东西，放在请求的前端，然后最极端的例子，就是有一些Harness框架，把当前的时间嵌入到请求里面，而且精确到了秒，以及它的定时任务总是设置到整点，这就导致一到整点，这个推理系统就会收到一大波巨大的流量，而且这个对推理系统会造成巨大的压力，那懵笑的同学对于这个，有一个非常形象的说法，就是一群小龙虾一到整点，就集体出动攻打月球，那其实这种东西都是可以很简单的优化的，你比如说每小时一次的定时任务，如果你不是要求整点的话，你可以在每小时里面，随机选取一个时间点，然后再比如说你的时间戳，不要放在system prompt里面，这些其实都是很基础的逻辑，但是可能觉得，就是这个时代比较浮躁，然后知道这些基础的人，其实都比较少 然后就是说到这里 DeepSeek它最近完成了，一轮大额的融资，然后它也在进行大量的扩招，那其实可以看到，它招聘的首位，就是agent的框架设计相关的岗位，所以在这里我也非常期待，就是DeepSig能够推出什么样的 agent的设计的框架，然后他们在模型和infra的code design方面，可以说是一技绝尘，那我也相信他们的agent的框架 Harness框架，也能够达到和infra code design的一个高度，然后再给社区上一课说 [02:26:21]
张小珺：这才是好的agent的框架，那你刚才说的是agent框架 Harness infra 他们之间的code design 那在也有人说会在未来的AI系统里，模型架构和芯片架构，也会越来越偶合，就像苹果的M芯片和iOS 那样你同意吗，这对你们设计这个通用框架，意味着什么，目前的整体趋势，确实就是模型框架，这个模型的结构，和芯片的架构 [02:28:41]
游凯超：它越来越偶合了，而且其实主要就是，就刚才说的，模型它是往芯片这边靠，因为芯片已经设计成那个样子，然后如果你没有往芯片那边靠，你的效率就会极大的降低，那这里我又搬出这个David Patterson 就是他在获得图灵奖的时候，有过一个演讲，就是说他对于计算机体系结构的一些看法，这里面主要有两点内容，第一点就是，摩尔定律已经无法继续延续了，就是通用的算力，已经没有办法再继续往上涨，那么在这个时候，你想要获得更高的性能，唯一的出路就是设计领域特定的芯片结构，就是为特定的负载提供特殊的芯片，那这反过来又进一步限制了说，芯片已经设计成这个样子了，它是为这个负载设计的，那如果你这个硬件，你这个模型没有设计成这个样子，那你就无法享受到这个芯片的红利，第二点就是，矩阵乘法是如此的简单 [02:29:07]
从矩阵乘法看模型设计
游凯超：矩阵乘法是如此的简单，但是有效，当芯片结构为特定的这个负载，进行特殊优化的时候，那我们自然就要问，这个特定的负载是否那么重要，是否值得我们去大力优化，那英伟达的发展历史，以及这20多年来，这个工业界的探索经验就表明，矩阵乘法这个特殊的负载，就是如此的有效，你只要能够把矩阵乘法算得快，很多问题就能够解决，所以这两点可能是相辅相成的，就导致这个现在高性能的计算芯片，基本上都特化成了矩阵乘法的这个计算单元，那所以呢，模型结构的设计也必须要尽可能的，往这个矩阵乘法这方面去靠近，这方面我可能可以举一个具体的例子，就比如说这个F18的这个量化格式的设计 24年到25年的时候，英伟达的这个旗舰芯片是从A100转变为H100 然后从Amper架构升级成Hopper架构，那么Hopper架构其中一个巨大的卖点，就是FV8的算力，就是8比特的这个浮点运算，那么它比16比特的浮点运算可以快两倍，那么在这个模型结构设计里面，你想要用上这个加倍的算力，其实并不容易的，一个简单的办法就是，你可以把这个模型进行全局量化，全局量化成FV8 但是这个很容易损失精度，然后DeepSeek应该是第一个大规模跑通FP8训练的团队，就是他们的核心就在于分块量化，就是对于权重做block的quantization 然后对于activation做逐channel的quantization 这个设计也是符合下一代芯片的MX的一些量化格式的，当然纯粹的分块量化其实并不能解决这个问题，有一些团队之前也探索过，发现这种方式的话，其实矩阵计算的乘法存在一个精度问题 所以成为了摆在他们面前的第二道关卡，但是他们DipSig探索出了举证惩罚之后，再拿向量单元做累加的思路，那么利用芯片上两部分计算单元，可以同时执行的特点，做到了精度不损失情况下的计算效率的领先，所以就领先了其他竞争对手一个身位，然后其实这些故事都是可以公开可查的
张小珺：其实他们都写在DipSig的技术报告里面，只是对看的人多少的问题，不同的人会画不一样的重点，对于这个报告来说，那如果对于想要做好 infra的模型团队，给一些建议的话，这里面可能的secret sauce 会是什么呢，有没有一些比如说思维方式，或者方法论层面呢，我觉得这里面核心是，要从第一性原理的角度去思考问题，也就是我们所谓的first principle [02:32:12]
游凯超：因为AI行业非常火热，然后行业里面涌入了，非常多的从业者，那每一个话题，每个月可能都有十个层出不穷的新技术，那这些就需要技术团队，从第一性的原理的角度出发去思考，哪些技术是有用的，哪些技术它只是花拳绣腿，那比如说做推理引擎，那有些同学他连Continuous Batching的技术，这个概念都不知道，他只能在这个别人给的代码里面，做一些修修补补，然后再测量一些速度，也不知道这个速度的提升来自于哪里，然后呢有些同学他做性能优化，他可能连GPU性能测试的，这个基本概念都不知道，更别说就比如说，要考虑一些这个散热呀，功率呀，机器的硬件频率，对这个性能的影响，那这样的同学做性能优化，他可能就像抽彩票一样，就是他的有性能提升，都是运气，对吧，那再比如说模型结构设计，对吧，那有些同学他连attention 在各种这个batching条件下的，计算过程都不知道，只知道一些课本上的公式，也不知道这个flash attention 是怎么写的，那他面对这个旋转位置编码的 100种上下文扩展方式的时候，他如何判断，这里面哪一个方式，是值得投入的呢，所以说我觉得，一个团队靠谱的首要条件，就是要在这个团队里面，有足够多的人，他能够从第一性原理的角度去思考，他们要解决的是什么样的问题，然后在这样的前提下，不同的团队，他可能因为他们使用的，硬件环境不一样，或者资源的限制不一样，做出了各种各样的选择，那都是合理的，但我觉得只要他们是，从第一性原理的角度去思考，去解决问题，那他们的结果都不会差，然后我再举一个例子，就是这个我从算法研究，转到这个机器学习系统研究，所以我对机器学习系统的知识积累，肯定不如在业内耕耘很多年的同学 但是我在学习这个GPU Kernel编程的时候，那我首先看的就是GPU的编程模型，它给我提供了哪些设计空间，那了解了这些第一性原理之后，我很快就找到了一个，就是有一个很头疼的问题，是GPU上的一个非法内存访问，我们叫做illegal memory access 这个是GPU kernel里面，一个非常难挑适的问题，但是当我从第一性的原理的角度，理解了GPU kernel之后，那么我很快就找到了一个，叫做Cuda core dump的技术，这个技术它其实存在的很久了，但是AI infra的圈子里面，知道的人非常少，那我是在了解了GPU的编程结构之后，这个编程模型，我觉得这个编程模型，它就应该存在一个这样的工具，那么GPU的驱动，应该能够支持这样的任务，所以我是带着这个任务，持续不断地去问英伟达的团队说，你应该有一个这样的方案，你给我找出来，那最后他们确实找出来 这个方案其实是已经存在的，只是不为人知道，然后我后面把这套方案，在社区里面进行推广之后，其实这个解决了非常多的疑难杂症，所以说就是在一个快速发展的阶段，通过第一性原理，去看清楚这个时代发展的主线 [02:33:32]
张小珺：然后屏蔽噪音，持续在一个有用的方向投入，我觉得这是最重要的，那基于我们说这个模型结构和infra 这个code design理念，你觉得在infra和模型结构这两条线上 [02:35:36]
游凯超：它们分别的眼睛方向是什么样的，能不能做一些技术预测，这个比较难预测，因为模型结构的发展，它也不是一个线性向前的，它更多可能是一个螺旋式的上升，然后有的时候可能也会走到一些弯路，而且这个模型结构和infra 它不是全部，它有的时候都是服务于对应的需求的，所以说我觉得很难做一些大的预测吧，但是这里我就来几个hot take吧，反正也不论这个正确，我觉得一个hot take就是，我觉得模型对于上下纹的需求，基本上应该停留在百万上下纹的这个级别，个别领域比如说生物化学之类的，他们处理一些特殊的数据，这些自然科学他们可能会需要千万上下纹，甚至亿级别的这个上下纹，但是与人打交道这个模型，我觉得它的上下文应该不需要再大幅增加了，那模型执行长程任务的过程中，或者是一些终身学习的需求 我觉得都可以通过外部工具来实现，比如说一些记忆模块，一些技能模块，或者通过一些subagent的模块，这些都可以实现比较长上下文，比较长程任务的支持，那如果这个预测成立的话，那么当前的这个模型结构设计和infra 还可以在现在的范式下，延续很长一段时间，当然这个是我的这个hot take 我们可以几年之后再回过头来看看，这个预测对不对，还有其他的hot take吗，我就先讲这一个吧，你刚才也提到就是国内的模型 [02:36:44]
张小珺：和海外的模型有一个很大的区别，就是国内模型追求效率，海外的模型追求效果，这可能跟算力的资源有关系，那你觉得像比如说国内的模型，现在做很多这种，把现有的硬件利用率压榨到极致的做法，但也有一种声音会觉得说，当模型本身朝time scaling 方向演进，推理token数，爆炸式增长，再怎么压榨效率，肯定追不上需求增长的曲线，那这种极致的效率优化，对于skinning law的追求 [02:37:19]
游凯超：如果两者出现冲突，出现矛盾的话，应该选择哪一个，他们有矛盾吗，我觉得他们应该不矛盾，就比如说，现在是夏天，是一个用电高峰期，那我们不能说，大家的用电量激增，发电厂就摆烂，对吧，发电厂肯定要，更加努力的去产生更多的电，所以说，现在这个token 就是推理需要的token爆炸式的增长，那对推理这个效率的需求，其实是变得更急切了，因为现在地球上的资源是有限的，那么整体的算力是有限的，电力供给也是有限的，所以说遇到困难，大家需要一起想办法，那比如说前面我们说到的这个Harness框架，它可以和推理引擎做一些co-design 那同样的任务，合理的Harness的设计，可以让这个推理引擎产生更多的token 然后人是会灵活变通的嘛，那么如果token不够用的时候，大家就会开始研究说，怎么样节省头跟，然后钱不够的时候，就会研究说，怎么样用一些便宜的模型 来做同样的事情，所以我觉得整体上来说，这是一个非常激动人心的时代，然后这么多聪明的头脑，大家都在一起推动，人工智能的发展，所以我相信，未来一定能够达到，一个头跟的供需平衡的状态，当然这个肯定需要，供需两侧共同努力，那么供给侧，我们多优化，然后提高生产的效率，那么需求侧，我们也需要多规划，提高模型的这个token的使用效率，所以效率和效果不冲突，对他们肯定是要共同进步的，海外在效果上跑得更快，国内在效率上跑得更快，是这样吗，对这是我的感受 [02:38:41]
张小珺：因为中国公司的开源文化，现在已经形成了，你觉得中国这一波开源的生态，对于全球的模型格局，产生了什么深远的影响没有，我觉得这个中国开源，还是对世界产生了，非常深远的影响的 [02:39:17]
游凯超：就是基本上在美国走向必然之后，扛起了开源的大旗，对所以非常重要，然后做得非常好，你们现在开源社区在美国多吗，像你这样的，美国现在主要是开源推理的技术社区，对模型不太开源，也有一些公司在做开源，比如说Mistral还在做开源，然后呢像其他的一些 Poolside呀一些，就是大家知道的不是很多，但是还有一些公司在做开源，但是顶级的目前没有
模型结构与推理效率
游凯超：但是顶级的目前没有，这会让你们的业务中心往中国迁移吗，我们主要还是在做北美的业务，就是因为模型在中国开源，但是它可以在北美使用，你觉得中美在AI基础设施上的竞争，会有什么样的走向，能不能做一些预测，我觉得他们不是竞争吧，更多是各自有各自的这个局限，和一些掣肘的地方，比如说中国很显然的，就是一个高端算力紧缺，所以它需要想办法，把各种各样的能用的算力都用起来，所以会更重视像一些国产卡的适配，然后呢，它的优点就在于说，土地和算力的供应，就是土地和电力的供应，都比较充足，所以你建立数据中心什么的，这方面都没有问题，那么美国可能这个是相反的，美国的高端算力比较多，然后呢，它没有这个算力方面的一些掣肘，就是它的芯片比较多 但是呢，它在这个土地和电力的供应上面，是有问题的，所以他们其实现在下一波基建，是在把电力的这个供应提上来，所以长期来看，你觉得中美的模型格局的走向，会是什么样的，各有优劣吧，对然后模型格局的话，美国目前还是在走避援的路线，就是顶级的像OpenAI和AnswerVix 和Google Gemini 都是在走避援的路线，然后呢中国这边顶级的模型，还是在走开源路线，我个人是觉得，开源模型最后会赢的，为什么，因为我觉得，还是拿电力来打比方吧，就是token和电，它有相似之处也有不同之处，那比如说，发电这个问题，你如果有一个核电厂的技术，那么你把核电厂 发出来的电供给给一个，城市用，这个城市用这个电用一辈子，它也不会研究出核电的技术，就是它只是用电，它不会触及到发电的技术，但是大模型是不一样的，大模型刚才说的每一个token 它都是带着模型的烙印的，那么模型拿出来，这个训练出来是要给人用的，那么一旦你给人用了很长一段时间之后，其实用户他自己的数据，已经可以训练出一个模型了，所以模型它就不是一个，能够长期的对用户进行隐藏的东西，所以长期来说，这个训练模型，这个数据成本一定会降得越来越低，因为大家都能收集自己的数据，尤其是coding agent来之后对吗，对尤其是coding agent的数据，大家可以很快地收集到，我觉得一般一个月左右，一个公司级别的这个机构，就能够收集到足够他训练的数据 所以这个时候他内部的飞轮就可以转起来，他可以训练自己的模型，现在你觉得有哪些公司，已经开始形成自己的飞轮了没有，像智普就做得很好，像他们GM5.2的这个coding能力就做得很好，这个跟他收集的数据有关系，具体他们怎么做的我不太清楚，但我觉得他们一定是在数据的收集方面，有一些这个过人之处，所以这个会带来领先者的优势对吗，对这个会带来领先者的优势，但是我觉得这个优势肯定也不是长期的，就像我刚才说，就是我觉得模型能力的优势，他没有办法长期的守住，那最后的护城河是什么，我觉得在现在的一个场景下，这个护城河更多来自于，你能不能快速跌打，所以没有一个东西，你能够守着它守一年，你必须能够不断地推成初心，最后模型会是一个commodity吗 我觉得最后会的，因为我觉得开源模型最后会赢，那么模型开源了之后，就是大家都可以用嘛，开源模型最后会赢，所以你bet中国，我bet开源模型，中国模型开源，我就支持中国模型，其他国家的模型开源我也支持，这个观点是什么时候形成的，这个观点我觉得是基于，对于AI的理解吧，就是我说的，就是从第一性原理的角度出发，模型它就不是一个，能够长期藏得住的东西，就是它不是说像核武器一样，你一旦研究出来了，你只需要爆炸一次给别人看，然后你就可以藏着它，用于威慑，对吧，那么模型它是一个民用的技术，它必然需要给大家大规模使用，那么从AI的第一性原理的角度出发 你能够给大家大规模使用，大家就能够大规模地收集到数据，那么这个模型就必然能够被复制出来，如果开源模型会赢，这对你们公司带来的影响会是什么，对vLLM带来的影响会是什么，那就对我们来说当然是一件好事，所以我们公司聚焦在推理，就是我们认为模型这个事情，会有人帮我们解决，模型公司会自己都做自己的推理吗，对他们都会做自己的推理，那为什么一定需要vLLM 这个就是因为他们内部的推理引擎，很多时候很难在外部去部署，所以比如说刚才说到DeepSeek 他们的infra做得非常强，但是这个是基于他们完整的，能够控制自己的，从集群到上层的软件的，这个条件基础上的，那么他就没有办法做快速的扩充，比如说你再给他10倍的机器，它们能不能马上产生出10倍的token 这个是不行的 然后呢我们做的开源的推理，更多是一个更公用化的一个推理，那比如说我可以在云上面租一些机器，可能这个机器有各种各样这样那样的限制，可能我们没有办法控制的那么极致，但是我们也能够做出一个还不错水平的推理引擎，你觉得你们会是下一个Linux吗，我们是在网这方面考虑的，或者说就是确实是在网这方面的发展，而且它的影响力，我觉得已经，我们已经可以说，它就是AI推理领域的Linux 那么比如说你看到 Linux一个重要的维护公司，是Red Hat 对吧，它促进了这个Linux的，这个推广，就是Red Hat 它也在投入VM 所以它为什么投入VM 就是它觉得VM 就是下一个Linux 而且它已经把VM 打包到他们很多的 Linux的企业发行板里面了，所以就是未来，他们部署的时候，就不再是一个，冷冰冰的这个操作系统 而是一个能够运行AI的一个AI操作系统，你们接下来还有融资计划吗，有啊，我们这个公司肯定是要持续融资的嘛，但这个我觉得像前面说到的，我们不是为了融资而融资，我们更多是希望能够有一些，我们做出来的，我们觉得值得融资的成果，所以我们现在正在马不停蹄的，做各种的这个工程的事情，下一个milestone可能在哪，下一个milestone 我觉得可能比较内部吧，就是我们希望，我们把一些商业模式打通，然后出现一些，能够可规模化扩展的，商业模式的时候，这个时候我觉得，就是我们在做，下一次融资的时候了，我今天觉得你，比我想象中有passion很多，特别是对于你们这个，开源社区非常有感情
张小珺：我感觉你也一直很喜欢，做那种打通底层，然后解决通用问题，包括做一个，透明化的系统的事情，你觉得你这个性格底色，是怎么形成的呀 [02:47:04]
游凯超：我觉得还是跟这个成长的时代有关系吧，就是我接触技术像这个上大学以来一直接触的技术，都是就是大家对于开源是比较open的，就是我们不管做什么事情，第一件事就是先去搜索一下，这个技术有没有人已经做过了，然后从开源的那边开始，所以这个其实也是最近十几年才有的风气吧，我觉得然后我是在这样的这个环境下成长起来的，所以我自然的就觉得，技术开源是一个很自然的事情，你觉得你在美国的那些实验室里面
张小珺：中国的人或者团队，对于开源会更有热情吗，相对其他国家和地区的人来说，我不知道这个问的对不对，我觉得这个可能跟国家没有很大的关系
游凯超：就是这是一个整体的，全球范围内的开源运动，可能从几十年这个操作系统开源开始，然后一直演变到现在的一个状态 [02:48:02]
张小珺：从16年就开始写知乎，你为什么喜欢写作，然后你觉得通过写作和通过写作，然后和世界发生交互给你带来什么，我的很多技术创作，就是我的很多写作也都是技术创作
游凯超：所以我觉得可以把它归入到开源这一类，就是开源它不一定是算法，它也包括一些技术心得的分享，就是跟社区自由的沟通的这么一个过程，你是一个会通过写作来思考的人吗，对我希望把写作，就是把事情写下来，如果你没有办法清晰地写下来，说明你对它还不够了解，但是有的人是通过写作思考
张小珺：有的人是通过口头表达思考，有时候就是通过写作的人，口头表达能力反而没有那么强，你好像没有这个问题，我觉得写作和口语可能是类似的吧，就是我要把我的想法清晰地表达出来
游凯超：当然因为我觉得我也比较喜欢数学和物理，所以我比较喜欢形式化，就是形式化的东西，你只有写下来了，你才好验证，你需要大胆猜想，但是小心求证，所以说你需要把你的语言，落实到文字，然后再去polish 你们团队管理方式，会有通过这种大量的文本，进行管理的方法吗，文本是比较多的，因为我们在新加坡和美国，有两个base 所以大家没有办法，长时间的在一起，所以很多都是通过文字来沟通，或者一些在线的会议，会一起写一个长文档，共创一个长文档吗，长文档的方式比较少，更多就是直接，比如说在slack里面聊天吧，对于现在想要入行的，年轻的AI researcher 你会有什么样的建议吗，现在可能确实不是一个，那么好入行的时代，因为确实行业竞争 [02:49:07]
Token、电力与技术预测
游凯超：因为确实行业竞争，非常的白热化，然后也会导致一些，就是人的心态会有一些浮躁，所以很难长期的去积累一些踏实的东西，所以我只能说就是，我个人认同的就是，做事要从第一性原理的角度出发，就是做人也是一样吧，就是想清楚自己想要什么，然后再去努力
张小珺：然后我觉得一般从这个角度出发，最后的这个结局都不会太差，我看到过你有一个说法，就是说在后摩尔定律时代 AI的上限取决于系统而不是算法，你今天还认可这个观点吗 [02:50:25]
游凯超：这个不是我的判断，这个是我提过好多次的 David Patterson老爷子的一个判断，我是认同这个判断的，而且近十年的发展，其实也是在反复印证这个判断，就比如说一些例子，比如说我们当 attention is all you need出来之后，那么当attention要做，长向下纹的扩展的时候，我们看到了有非常非常多的算法，在尝试做各种近似，在近似如何计算 softmax attention 在长项下文的里面的，这个计算效率的问题，但是这些问题最终都是，被flash attention解决了，就是它告诉你说，一个精确的softness attention的算法，它可以被高效的实现，那么之前那些研究，这个高效softness attention的论文，就都没有用了，然后呢，还有比如说 auto-regressed的这个decoding 那么一开始提出来的时候 大家是说它是非常慢的，因为你只能一个一个token的去计算，这个效率非常低，所以它肯定没有用，但是呢经过这几年的发展，那么大家看到autoregressive decoding之后，大家在上面做了一些很多的优化，比如说VM就是其中很重要的一个优化，就是continuous batching 结合上Pagered attention的技术，那么就把这个autoregressive decoding的，这个成本就降下来了，然后同时还有另一个很重要的技术，就是spec decoding 那么我们可以从一个一个token的decoding 变成一小段一小段 token的verification 那么这个也是这个系统，对于这个算法的演进的变化，然后呢还有就是像之前，这个博客里面也有提到过 linear tension 那么linear tension也是有很多人，在研究什么样的linear tension 是好的是合适的，然后这个关键也就是 这个像Mamba2这个松林，他们提出来这个，应该是松林提出的这个 trunk parallel的这个算法，就是你如何分段的计算，然后你在分段的过程中，能够有一些高效的这个计算方法，所以这一系列，其实都是在系统层面，如何去更好的支持算法，然后同时也就意味着，它有一个系统彩票的问题，就是你的这个算法，能不能被系统高效的实现，只有被高效实现的这个算法，最终才能够留下来，所以说系统是非常重要的，也有点抽彩票的意思，对因为整体这是一个非常特化的时代，就是大家都需要Code Design 因为通用的进步已经没了，所以说你需要跟硬件Code Design 你需要跟系统Code Design 然后刚才说的你需要跟Harness Code Design 所以对整体上来说，就是这是一个变化非常快的时代 然后你Code Design也能够给你的这个发展，带来更大的空间，那这个Code Design后面，它只是解决一段时间的问题，它没有办法解决一个更长时间的问题，更长时间那就需要看这个，历史往哪个方向发展，对比如说现在的这个，万亿级别参数的模型够不够，再到十万亿它有没有用，然后呢这个长上下文，像我刚才beta的说，百万上下文就可以了，那是不是真的可以了，要不要千万上下文，然后呢这个通用人工智能到底发展到，什么样的水平，然后呢人类历史将来，接下来要怎么演进，那我觉得这个，对它不单纯是一个技术问题，它是一个历史问题，从历史来看，你觉得今天的人类处于一个什么样的时候，它确实处在一个技术的临界点吧，就是从文艺复兴以来 人类的历史一直是在，就是技术是在不断地积累的，所以这是一个很可怕的事情，就是它是一个指数增长的曲线，每一代人都是在基于上一代人的这个技术，来进一步探索，所以每一代人都对上一代的技术，做出了一个成比例的提升，然后再往后面现在出现了，就是计算机技术出现了之后，那么我们不仅是可以，在过去的人的技术上做积累，我们甚至可以把过去的人，他的思想，他的话，他的一生，全都浓缩下来，所以我们后面是可以在，所有人的历史经验上，再去做指数级别的增长，这也就是AI的出现，就是我们有大量的互联网的语料，那我们基本上就是把整个人类历史，都可以拿来训练，那么所以这里就诞生了AI 所以这个确实是 就是指数发展到了一个临界点，那么接下来大家很多人讨论的就是，探机和归机接下来该怎么共存的问题，如果到了那一天，你觉得你的人生会是什么样的，你的生活会是什么样的，这个确实很难想象，但我个人的感觉就是，探机和归机还是各司其职，有各自的擅长的地方，就是尤其是我做这个系统这边比较底层，然后发现就是归机的智能，它更多的还是一个summary 就是它从它学习到的语料里面学习到的，然后呢人类还是能够提供一些insight 就是一些我们所谓灵感，或者说就是我们能够掌握的context更多 然后我们能够提供更多有用的建议，就是理想情况下，当然是人类驾驭着这个规级智能，一起来让世界变得更加美好，规级提供更大规模的治理，人类提供灵感，对规级提供执行能力，然后人类利用这些执行能力，这些是我理想状态下的一个情况，我看翁嘉义非常的相信命运，你信吗，你首先你如果相信命运的话，相信的是什么样的命运呢，对吧，我觉得这个是一个无法描述的问题，你首先得从哪里观测到命运，然后你再相信它，所以我觉得在我这里，我并没有看到一些观测命运的手段，可能翁嘉义同学，有些时候做梦的时候，遇到过自己未来的命运 对我这边还没有产生过，这样灵光一闪的情况，那我们最后还有一些快问快答，一个全球范围内你喜欢的食物，食物我其实没有什么特别喜欢的吧，就是对生活上的追求并不是很高，全球范围内你喜欢的地点，地点我觉得印象深刻的就是，伯克利，就是我的比较重要的两次人生转变，就是本科和博士期间的交流都在那里，一个少有人知道但是必须知道的知识点，可以是一个冷知识，我说一个推力引擎相关的冷知识吧，就是很多很多的大模型，我没有说这个一定是绝对，但是你如果对一个大模型输入1000个感叹号，那么它一定会输出很多很多的感叹号，然后呢这个东西有的时候你可以用于去探测，对方的这个推力引擎背后，它开了几步的投机采样，所以说你可以通过吐出的token 反推出背后推力引擎的一些技术，也没有一些你喜欢的音乐 我觉得在今天这个背景下，我就说一个李宗盛的这个山丘吧，就是因为里面有一句话叫做，想说却还没有说的还很多，所以我们之后可以，如果有时间的话可以再聊，你心目中影响AI进程重要的几篇论文，我觉得这个大家应该说到过很多，像这个Transformers 这个GBT-3这些论文，然后我可能从技术的这个，系统工程的角度补充几篇，就是我刚才提到的这个，像Flash Attention 然后像vLLM 然后像Flash Linear Tension 它们都是极大的影响了，这些技术的进展的，基于你当下的认知，一个重要的关键的BAT是什么，我觉得我现在关键的BAT 就是我刚才说的，就是我觉得开源模型最后会赢，我们工作室叫做，语言集世界工作室，当你第一次听到这个名字的时候，你在想什么，语言集世界就是，维特根斯坦的那句话，我的语言的极限，就是我的世界的极限 我第一次听到这个的时候，脑子里冒出来的一个想法，就是五四级以上的方程的求根公式，没有办法用有限的四则运算和开根号来表达，就是说语言级世界可能就表明，我们其实只是一个低维生物，然后其实在我们之外还有更高维的存在 [02:51:31]
张小珺：好了今天的节目就是这样，这里是商业访谈录，是一档由语言及世界工作室出品的深度访谈节目，你可以到公众号关注我们的工作室，获取更多的信息，我们的公众号是语言及世界 language is world 也欢迎你在小宇宙的评论区，与我们有更多的互动，我们希望和你一起，从这里探索新的世界 [02:59:14]
访谈收束
张小珺：by bwd6。音频片尾仅识别到这一段署名声轨，没有更多可辨识的访谈语句、问答内容、例子、结论或新的信息点；本段至此结束，以下不再补写音频外内容。 [03:00:11]
