目录
- 出国求学与数学之美 [00:00:00 - 00:10:00]
- 研究低谷与认识自我 [00:10:00 - 00:20:00]
- 专注心流与SGLang起点 [00:20:00 - 00:30:00]
- SGLang成长与xAI早期 [00:30:00 - 00:40:00]
- xAI转型与量化经历 [00:40:00 - 00:50:00]
- 组织文化与AI基础设施 [00:50:00 - 01:00:00]
- KV Cache与推理引擎 [01:00:00 - 01:10:00]
- 开源生态与创业竞争 [01:10:00 - 01:20:00]
- 开源文化与机会平等 [01:20:00 - 01:30:00]
- 性别经验与创业判断 [01:30:00 - 01:40:00]
- 波折融资与理想未来 [01:40:00 - 01:46:24]
出国求学与数学之美
陈茜:Hello,大家好,欢迎收听硅谷101,我是陈茜。今天我们请到了一位在AI推理领域绕不开的人,他是盛颖RadixArk的联合创始人与CEO。今年5月,这家公司官宣了Axial领头的1亿美元的种子轮融资。像英伟达的投资部门AMD,英特尔的CEO陈立武,还有OpenAI的联合创始人John Schuman都是他的投资人。那RadixArk它背后是一个叫做SGLang的开源推理引擎,一个从来没有靠市场推广和销售推广过的项目,今天就已经跑在了全球数十万张的GPU上,每天为谷歌微软英伟达 xAI生成数万亿的token 可以说你每天现在用到的AI服务器,背后很有可能就有它在工作,而SGLang的起点是2023年 盛颖在斯坦福读博的最后阶段,和LMSYS的社区研究者一起做出来的东西,他把它称为自己博士生涯的收官之作,那之后他加入xAI为Grok搭建推理系统,去年他从xAI出来,和朱邦华一起把这个开源项目变成了一家公司,那我们这集的节目录制于2026年的6月初,当时是RadixArk刚宣布完融资不久,那下面呢就请收听我们视频主理人陈茜与盛颖的对话,这也是一集视频播客,大家可以在硅谷101的视频平台上同步收看,非常感谢盛颖,欢迎做客硅谷101 感谢你们的采访,我看你们是刚刚搬来这个新的办公室是吗,对 9月1号刚搬过来,你们现在大概多少人啊,现在有40多人 扩张会非常的迅速吗,其实比我预期的快 [00:01:47]
盛颖:因为我们事实上,我们扩张scope增长的,也比想象的快,然后各个地方都需要人,我们能招进来的人,也比我想象的要更,有更多qualified的candidates
陈茜:所以我们也稍微有点stress 但是我们已经在控制,今天呢会讲一讲,你整个的学生时代,到你之后的这个研究时代,再到就是你出来在X 还有你自己新的startup 然后我们可以按照这个顺序来讲,那首先呢,你其实是大学在上海交大,然后这个上了ACM的荣誉班 17年就来到了美国哥伦比亚大学,读硕士学位了,当时出国是因为大家都要出国吗,就是为什么选这条路呢 [00:02:03]
盛颖:确实也是因为大家当时很多人是要出国,但是我其实对出国的概念知道的很晚,我觉得我从江西到本科的时候,是经历了一个很强的 cultural shock的一种概念,但是我觉得我身边的人更理解,职业发展人生,发展他们有更多的规划,其实我,失除在一个无知状态,我记得我本科刚毕业的时候,一开始,其实我甚至没有升到什么,就是我申请了美国的大学,但我其实没有拿到offer 一开始,当时有一个,讲中文大学的 PhD的offer 然后我接了升职都已经,申请的时候,我就有个君子协议 4月15号,君子协议都已经过了,到第二天,我突然收到了,哥大给我发了一个,很普通的研究生,叫master offer 它其实是个很普通的offer 就是很多人都能拿到,但是我当时就觉得,我想接触一些新的东西,我想,因为那个时候的学术中心,还是在美国,我觉得我想出去看到,哪怕格大的这个master program 它不是一个特别顶尖的program 但我想我想看到,然后我当时 我还跟我爸打电话说,这个我们前面 PHU不能毁,我还需要交一笔违约金,但是我想出去看看,我还犹豫了一下,然后给我爸打了一通电话,但我爸非常快,就是一分钟就说,好你去,就交了违约金,那你说你从江西到上海,其实是有一段culture shock的,那你从上海到美国,也是不是经历了culture shock 也有吧,我觉得我确实是,每一段都是那个舒适圈,打破在早期的经历里,但是我在纽约的感受要,纽约是很包容的一个城市,这个shock其实不太shock 就是我感到不一样,但我觉得极大的被包容了,具体体现在,其实,什么方面呢,就是我觉得在纽约,当时文化让我觉得,没有人盯着我看,没有人在乎我穿什么,想什么做什么,我想要什么,我在纽约感受到,那个shock 更多的是一个,不需要被限制,也不需要限制别人的哨子,这个哨可是,从一个被限制状态,到一个完全自由状态的一个,对它是个哨子 但它其实是个更放松的过程,挺好的,那我看你在那个,哥大硕士阶段发表的论文 [00:04:12]
陈茜:还是比较偏理论的嘛,主要是测试函数,然后现行回归的数学性质,后来到了斯坦福图PhD的时候,你选择了形式化验证方向,那么先跟我们说一下,在哥大你从事的这些研究,其实对你有
盛颖:就后来的研究,有产生任何的影响吗,我刚上研究生的时候,是没有想要做研究的,但是我第一学期的时候,上了计算复杂性的课,当时觉得很有趣,然后我又碰巧,交了一些当时的朋友,就是当时的博士生朋友,然后他们都是做理论的,然后我就觉得,这个领域非常有意思,我就找老师和这些同学们说,能不能有一些问题可以研究,研究了一段时间,觉得很有趣
陈茜:然后也有成果,所以自然而然的,就到了斯坦福,就是你研究生毕业的时候,有考虑过,我要工作,还是说我要申请博士,我一开始是没有想要申请博士,或者说我也没有觉得,我不会申请博士
盛颖:但是我没有盯着这个目标去,我没有对着这个目标去,我觉得它是open的,所以我也保留了这个选项,探索了一下,但我后来发现,这个理论的问题非常有意思,我自己也非常享受,我当时就是觉得,我甚至也不需要赚很多钱,我觉得我想stay poor 我想找一个没有人的地方,我当时有一次去普林斯顿,我去参加一个work show 然后我当时被那个环境,就直接包围了,进到彭斯那个校园,那个环境里面,我就突然觉得与世无争,非常的academic 跟哥大,他也不是academic 他就是与世无争,进到那里的感觉就是没有,就是会觉得你人世间的,很多这种大家所在乎的东西,你平时去挣扎臣服的东西,都非常的没有意义,我觉得,是学校的环境,给你这样的感觉,还是说那边的人,他的氛围是那样的,应该也是,还是那个workshop给我带的,那个环境,加上那个workshop里面的人,大家的讨论的这个氛围感,那个氛围感让我觉得,所有事情都是不重要的,我觉得人的想法 七情六欲都是不重要的,都是甚至看上去有点荒诞的,那什么是重要的,就是什么都不重要是重要的,就是一种是一种虚无,你觉得虚无才是它真实的东西,就只有真实是重要的,真实是重要的,然后数学在那个环境下,就会显得特别的美好,特别的优美,因为它是,确定形象线是绝对化的,然后你在跟它打交道的时候,没有什么其他东西需要思考,它可以让你非常的沉静和focus 或者说你可以在这个环境里面,进入心流状态,思考问题的时候进入心流状态,这个心流状态是与人无关,与其他所有事情都无关,大脑被完全地调转起来的时候 [00:06:03]
陈茜:进一种生理性愉悦,我有一点描述不出那个感觉,我能get到你的意思,但是这个状态我觉得非常的纯粹,就是很纯粹,很像一个,会成为一个数学家的人的一个状态,但是你后来为什么,没有成为一个数学家呢
盛颖:对我当时就是很想成为一个数学家,我当时觉得我就要成为一个数学家,我觉得我只想做数学,但是,事情的发展,总是不是那么简单嘛,那毕竟我还是有,生活上的各种干扰,到了斯坦福之后,第一年也确实没有再,我觉得到了斯坦福,我就没有那个感觉了,我不知道这个是不是,斯坦福不如普林斯的纯粹吗,普林斯那个只是一场travel 我留在哥大,但我在哥大的时候,也能感受到这个氛围,我现在觉得,是不是西韩和东海岸,其实有点这种文化的,差异性在,西韩就是慢慢,你会感觉到更多的这种,关于成功与否的这种 Noise就是你想要参与世界的推动,我又开始觉得我跟世界有关,我就觉得我不想跟世界无关,但我在东海岸的时候,我觉得我希望我跟世界无关,我希望我被世人遗忘,很不一样的一种感受,当我在斯坦福第一年的时候,想做理论,那个时候斯坦福是有rotation program 要配导师,配导了之后你才决定,你后面五年,骗世界旅程怎么走 前面几期有些是因为各种各样的原因,比较复杂各种各样的原因,没有再遇到很,很让我觉得,能够进入心流状态的问题,也没有跟哪个老师,能够双向的,都觉得很,很exciting 可能老师们也觉得,我对他的问题,不是特别感兴趣,有一些情况,有时候我可能也觉得,那个老师,我们没有完全match上,最后到了第四轮,跟我现在后来,老师Scarg match上的时候,就已经进入到,一个新的topic了 [00:07:50]
陈茜:是Clark Barrett教授,对吧,他其实是做,形式化验证的一个方向,能不能跟我们的观众,来解释一下,什么是形式化验证,这个领域也很大,但我可以简单讲,我当时做的一部分的话题 [00:08:17]
盛颖:一部分的课题,我们当时一部分的课题是,我们要把,就是我们人写出来的代码,进行拆解和映射,然后把它映射到,底下的底层的这个数学逻辑上,你可以把这个代码,映射到一阶逻辑,你在这个逻辑出来之后,你就可以从数学角度去证明,你写的这份代码,它是不是具备某一个性质,我更具体的来说的话,那我一份代码,其实你隐藏的来说,我们是有一个东西,叫做Spark Specification SPARK其实是说明了,这个代码它,满足什么前驱条件,它会有什么样的imvariance 然后你代码执行完之后,要满足什么样的条件,你可以有这样一套语言,去描述这个程序,然后你要证明的就是,如果你在有这个SPARK的情况下,你的代码是不是真的,符合了这样一套逻辑,从代码映射到这个逻辑 formular之后 formular之间的这个证明和推理,就是我做的那个领域,研究领域SMT Solver 做的事情,然后我的研究大部分是在 SMT Solver的 那个Solver本身的优化,优化一方面跟efficiency有关,一方面跟正确性有关,但是它更多的是跟,你怎么定义语义有关,就是你定义什么样的语义空间,可以去表达你 [00:09:24]
陈茜:一份代码所做的事情 DestinF其实你开始,这个深入形式化验证之后,我们看到就是开始,框框出论文了 2020年是拿到了 ICSE的最佳论文奖 2022年是拿到了ICSE的提名,后来又是CAV的贡献者之一,是拿到TACAS的最佳工具论文奖,太高产了,对你觉得这段时间,你的一个研究的状态,是什么样子的
研究低谷与认识自我
陈茜:是什么样子的,其实这个真实的过程,比外面看到的这个
盛颖:简历上的那种要,要干扁很多,其实要boring很多,我其实在斯坦福,前几年的经历并不顺利,一个是我首先刚进来,第一年的时候,找导师其实就不是很顺利,被动地进入了这个,形式化方向的领域,因为我要读这个PhD 所以我才,就是需要把这个地方,不停地去做研究,铲除了我的什么,其实是比较被动的状态,当然我在做的过程中,慢慢地也欣赏到了,它的美感,后来我慢慢理解,这件事情,它为什么有意思,以及我后来,有些更多的思考,我觉得它其实,还有一个很有意思的未来,但是最开始做 Politeness那篇论文的时候,就是我迪斯拿,伊芝卡 Best Paper那篇,非常非常的意外,因为我当时是一个,完全小白的状态,我对这个领域不知道,导师给了我一个问题,我去解决它而已,然后我做完它的时候,我也没有任何的认知,说什么样是,这个领域里最好的paper 因为我看的paper 还不够多,所以这个讲出来的时候,我完全没有想到,被别人congrats的时候 得知拿到了这个奖,那个是我进这个领域,发的第一篇论文,但是发完这篇论文之后,其实我就又重新进入,很当的状态,就是我还是没有找到,我想要做的下一个问题在哪,就是exciting的问题在哪,在那篇文章做完之后,我记得就进入疫情了,进入疫情,我其实有长达一年的时间,是没有做任何事情的,接近一年的时间,在一个depression的状态里,但我遇到了非常好的导师 Clarke非常supportive 他完全理解说,我要调整好这个状态,他只关心我是不是,有一个好的精神状态,只关心我是不是,能够走出来,他没有给我施加任何,我需要继续产出论文,或者作为设施的压力,他说那我可以去上一些课,做一下TA 做一些这种,很清亮节的事情,所以那时间还回国,待了半年,一个疗愈期,然后我其实没有产出论文,但是卡尔从来没有,断过我的经费,那确实是非常好的导师,非常好的一个导师,然后我一年之后 才慢慢走出来之后,才又做了sequencing的培训,我们前面也有过很多挣扎,证明应该是写了20多页吧,来来回回改了四五次,而且有两次,我几乎是全部推翻重写的,那个证明,已经花了一两个星期,推出来的证明,世界的证明,全部推翻,因为你从一开始的地方,发现一不及点错了,那个错了之后,后面所有的后续推理,全部是错的,所以那个证明,从前面要一直fix到,全部重重推翻出来,但是这个过程走完之后,很有成就感,最后这个证明,完全写完之后,比一开始设想的,要复杂得多很多,我们都觉得,这一段证明写出来,和这段经历,非常的accomplished 就是很有满足感,我记得那个时候 Clarke自己也说,那篇paper里的证明,是他过去一年的highlight 当时也是 Buzzpaper提名,但是没有被公开,就是大家讨论过,最后没有被选上,但是很接近,如果说我在形式化工作的话,这篇paper可能是,我觉得最愉悦的一段时间,从这篇paper开始 我开始看见了,形式化理论的这个,里面的一些深刻的含义,和它的优美之处,它的优美之处在哪里呢,它让我理解了,程序语言设计的,几个不同角度吧,就是形式化的这个方法,去设计语言,它是从数学的角度,去理解程序语言的,程序语言我打了很久的,很久的教导,我打了20年的教导,但是我从来没有,以这样的角度去看待过它,然后它给我一个全新的视角,但是你会发现,程序语言里面,它有很多的,吹到不同角度上,有一些语言更接近数学,有一些语言更接近硬件,你其实很难有一个支点,让你一个语言,它离数学和硬件都很近,接近数学的语言,它会更容易被验证,更容易被形式化,接近硬件的语言,会更灵活,更高效,更接近人的思维习惯,就是当你需要编成,硬件里面的具体硬算的时候,那样的mapping又更直接,最后没有再往这个领域,继续地走下去,是因为什么呢,我看到了它的 有意思的地方,但是我也看见了,它这个领域的局限性吧,它能够在现实中 practically被应用的场景太少了,然后你要验证一个程序,太贵了,但是它能验证的又很少,不能产生足够大的影响,但是我觉得,我想离世界更近一点,我还是想要做,更接近真实生活的东西,当时觉得,所以我那个时候,就开始探索AI 要开始寻求方向转化,开始探索AI这个过程,其实也不太顺利,可能我又有一年的时间,的空窗期,就是你看上去,我的publication没有停,但其实我中间,很多的空窗期,派解的空窗期,跟你自己定义的空窗期,是不一样的,对我自己定义的空窗期,就是那一段时间,我没有做任何,我其实没有make a progress 在我转AI的时候,又有大概一年的时间,我其实没有任何新的idea 我实际上没有做任何事情,可能长达一年之后,我突然某个时间,找到事情可做的时候,我三个月产出了一件事情,但是外人看你会觉得 那个作品是我过去一年的成果,实际上它是我,过去一年里最后三个月的成果,九个月我都在这个,自由的状态,完全不知道自己在干什么的状态里,我非常理解这个过程,就像我们记者写稿子也是一样的 [00:14:28]
陈茜:对你那个给我一个月的时间,前面29天的时间,我都在做research 或者是放空,或者是采访,然后我其实这个稿子,就是用一天时间写出来的,对所以你看上去,比如我行事化,我可能发了三个paper 分布在三年时间里面
盛颖:但免费paper真正的推动,其实它都只花了,什么三个月的时间,然后这三年里面,每年都有九个月,不知道在做什么,其实你不知道在做什么,你可能是在,就是,在迷茫吧,想去找到你想解决的问题,因为我听上来就是说
陈茜:要去找到一个,你真正感兴趣的问题,并且解决它,真的是你的一个driver 一个驱动力,是的这个是的,就是我确实有一些特点,就是我没有办法妥协 [00:15:08]
盛颖:我后来服从了我的这个特点,就是原来在,不理解我自己的时候,我尝试努力去适应过一些规则,但是我后来发现,我自己是不能被勉强的,就是我没有办法,做我不感兴趣的事情,没有办法做好,我能做
陈茜:但其实我没有办法做好,我只有这个事情,它让我觉得非常exciting 我才有可能把那件事情做好,这是一个特别,特别纯粹的一个性格,你当时什么时候,发现说,这个性格就是这样了,我必须要去服从,我这个性格的,这是一个,缓慢发展的过程,倒也没有某一个,时间点突然动悟了,它是一个,我慢慢意识到,以及终于有一天,我完全接受它的,一个状态,我完全接受它,可能是在,博士的最后,最后一两年吧,你本身是一个,喜欢intense的人吗,我是个必须intense的人,从小就是这样的,对,我觉得从你发paper的
盛颖:那个数量跟节奏,就能看出来,对我没有办法,就是我哪怕睡觉的时候,也会一直做梦,就是我没有办法停下来,你做梦也会梦到,跟你研究或者工作相关的事,那肯定会,肯定会,会啊大家都会吧,有的时候的梦,是完全无关的呀,我都是还是挺有关的,就是说明你在睡觉的时候,你的前思维,其实还是在工作,有可能是生活,就是工作生活,但它一般来说都不是,不是没有任何关系的东西,但肯定会有虚假的成分,会有想象的空间,但是它不会是毫无关联的,我觉得我,皮尔世界经历的那段 depression的时期,就是因为那段时间太无聊了,因为疫情的时候,大家都slow down了,然后我根本没有办法,在一个slow down的环境里面,保持我mental的healthiness 所以就是一定要忙起来,然后才能让你健康地运作,我不一定要忙起来,我不一定要忙起来,我master做那个serial研究,做数学研究的时候,是不忙的,那个时候你是很沉静的,因为那个问题 它就是你除了看着一张纸,在那想,其实也没什么能做的,我看上去很闲,我每天还,我每天可能也就想四个小时,然后工作四个小时,然后我就去打游戏了,马瑟打时间打了好多游戏,因为那个问题都太难了,没什么事,你只能空想,在打游戏的时候,也很intense 对吧,其实也没有,我觉得那个Siri非常不一样 Siri就是,有很多灵感,你只能等它来,其实你没什么事情,可能你只能在那等,你等着那一刻来临,所以我有大量的时间,去打游戏,在打游戏,就灵感来了,然后去写一写,其实我那个,当时那个题目做解说,就是在我看电视的时候,想到的idea 我也不知道为什么,但确实那个contact 是我看电视之前,看的一篇paper 然后我就开始看电视去了,看到中段的时候,不知道为什么,那个Papered的东西,突然回响了 Echo出来,然后突然又想到了 Papered的那个点,突然意识到,这个地方可能是一个,解法突破点,那个就是关键点,就是你,那个问题被解决的 就发生的那个瞬间,那个是真的是,有一个Phase Transition 就是那个是,一瞬间的事情,就是那个时刻,那个问题被解掉了,然后你一个电视剧,看到那一半,你突然,我怎么突然开始知道,怎么解决这个问题了,暂停,就写这篇,你还记得是什么电视剧吗,正幻传,我就真的记得,太神了,我一般是在洗澡的时候,会有灵感突然,这个也会有,但是电视剧,我觉得我很少,因为就是看电视剧,你还是要很沉静的嘛,但是就看起来,你看电视剧的时候,你的潜思维,感觉还是在,一直在思考一些,我会,就前面说到,我跟我自己和解,我是怎么和解的呢,就是我以前不知道 ADHD这个东西,有一天我就慢慢地了解到,有一个东西叫做ADHD 然后我看完,那个各种症状,深入理解之后,我发现好多东西都可以被解释,就你觉得你是ADHD 我确实是,我经常看心理医生,但它不是一个疾病,它是一个特点 学习之后我发现,好多事情被解释了,我就,它给我带来最大的帮助是,我通过理解它,而理解了我自己,像是我找到了,怎么使用我自己的一把钥匙,我突然知道了就是,手册有了,对对对,它是一个手册,我突然知道了就是,我不应该逆着我的那个,短处去,我不应该逆着我的甜心,去做事情,我应该顺着我的甜心,去做事情,他告诉我这件事情,然后一旦,悟到了这个之后,就很多事情,就迎刃而解,其实你,其实很多事情,是不要勉强的,是没有必要勉强的,对,就我前面说的,我只能做我喜欢做的事情,当你把这个,当成真理的时候,你就不再跟他对抗,特别特别棒,对,然后我们两位,我刚说这个是因为,对,可能我已经开始,有点这个症状显现,就是他的,这个特点之一,就是我看电视的时候,也是不focus的,也是不focus的,对,就我看电视的时候,我也会跟不上那个电视的内容,我经常要回退 OK 我经常要往回拉,刚刚讲了什么 30分钟的事情,我经常要看4 50分钟,才把它看了,那比如说,你自己在做research 或者你在工作的时候,就是什么样的时候,你会非常focus 什么样的时候,你其实是没有办法focus的呢,就是我自己,特别被他吸引的时候,非常focus 他这个是两极化的 [00:19:44]
专注心流与SGLang起点
盛颖:他这个是两极化的,就是我focus的时候,非常focus focus的时候,我会听不见别人叫我的名字,不记得时间,不知道外面发生了事情,会错过很多的meeting 然后不focus 就是根本没办法focus 就是哪怕这些很重要,我也不能focus 看甄嬛这样的,没有办法focus 说明甄嬛算不够吸引人,她如果够吸引人,我就会非常focus 打游戏会非常focus 打游戏非常focus 有些运动,竞技性运动也会,她需要非常的intense 对对对,她要非常激烈,她要competition 就是游戏的话,你是对打玩,有输赢,球类运动也是,你有输赢,这个时候的时候,我就会非常focus 所以你是一个,好胜心很强的人,我觉得,我不是真的很在乎输赢,但是我在乎那个 intense的感觉,我喜欢那个感觉,我其实不在乎输赢,我游戏可以输,大比赛也可以输 it's ok 我也不会觉得,那个我非要赢,但是你这个,即使出现兴趣了之后,我会很享受 那个心流状态,就是还是那个,我喜欢心流状态,你的大脑被抓住,然后你,就是非常,就是心流吧,就是人非常focus [00:20:49]
陈茜:那个应该就叫心流状态,是很享受的,所以打游戏,研究,学习,这个上面,你都可以获得,你的心流状态,对,学我喜欢的东西可以,再提一个你大学的问题,然后我们到这个公司上面来,就竞赛圈嘛,它其实是一个很有那种,天才标签的这样的一个圈子,对你觉得就是天才这个词,在你身上安得多吗,就很多人会跟你说,安得多是个天才,不多,甚至你就是拿了这个竞赛的金牌之后,都没有,我没有拿金牌首先,对你是拿了这个,全国信息学奥林匹克的赢牌
盛颖:但是我记得你好像是在,纽约的一个,纽约那个区域赛冠军,区域赛冠军,那个区域赛冠军也是组队,就是三个人一个小队,也没有说是我个人成就,我的队友其实非常强,非常运气好,有非常强的队友帮我带飞了,不是经常,肯定有啊,但是小说更多一点,后来不是经常,因为,虽然有这些拿了这些奖项,但好像其实都不是,就比如说那赢牌不算啥,还有很多金牌选手,所以 [00:21:37]
陈茜:对啊,就看你跟谁比嘛,但是我在的那个环境里面,他们总是有比我更强的,那比如说我在SM班 SM班里面有比我更强,有很多比我更强的,所以就是你觉得,努力这件事情更重要,还是天分这件事情更重要,我赞成天分 [00:22:05]
盛颖:你觉得在研究上面,天分它主要表现在,什么样的方向呢,天分是指当外界人,不把研究当回事,不觉得研究,不觉得研究是一件伟大的事情的时候,你还想做它,那就是你的天分
陈茜:那是要兴趣,我觉得大部分时候,天分和相关性,还是蛮强的,那这么说吧,可能很多人,想当researcher 但不是很多人,都能研究出来,或者解决这个问题,就你能解决这个问题
盛颖:肯定是有你的天分在,对是有天分的,但我其实首先,不觉得大多数人,真的想成为researcher 我见过太多的人,他们想做研究,想成为researcher 是因为他们觉得,这件事情酷,是因为外界的环境,让他们觉得,这件事情很酷,或者当教授,是一个铁饭碗,类似的,好像就一些原因,但这个并不是,如果说当所有人都开始觉得,当教授是一个被人唾弃的职业的时候,他们马上就不会想做了,这你能识别出来,但是在我当时想做这件事情的时候,其实我是,就是比如说我在的环境里面,其实大家,也没有觉得做theory是一件多么伟大的事情,然后你赚的钱也很少,但你还是想,你还是觉得它有意思,我想做这件事情是因为,我希望跟别人无关,是因为我想受relevant 那个时候才是你真正的,所谓的兴趣和天分,所在的时候,我也不敢说我有天分啊,那我毕竟也没有,发明过什么,也没有什么,巨大的数学成就 我也不能算有天分,你肯定是算有天分的,不然的话,你paper怎么能发那么多,有很多人paper发的很多,比我发的paper多的人,还有很多,那可能是更有天分的,发paper只是一个,发paper是有套路的,什么套路,就是发paper 其实你如果掌握了发paper 发paper本身是一个技能,发paper跟做reset 是两件事情,发paper跟人们定义的做research 和真正印象的科学家,是三件事情 OK 发paper是有套的,你完全可以一个人,他根本就不怎么懂research 他也能发很多paper 就像是一个什么,命题作文一样,是不是你套着他那个框,去写就可以了吗,对就是你只要掌握了这个规则,然后你掌握这个体系的规律,在同样的规律里面,不行的铲除,你就可以一直发很多的paper 但是顶刊也很少啊,不少了,现在顶刊一年都几千篇,上万篇,这么多人去投稿的话 [00:23:39]
陈茜:那顶看还是算少的,对那肯定是有structural的,那我可能还是比average 要有天分一些,对就是掌握这个套路,本身就是一件,有天分的事情,所以你说发paper 跟做研究,跟当科学家,是三件事情,做研究,发paper跟打工人是一样的,跟打工人是一样的,就是是一个非常频繁的事情 OK 做研究跟当科学家,这两者有什么区别吗,做研究的话就是,有很多研究,他们其实是 [00:24:30]
盛颖:不breakthrough的,也是不key的,但是不是没有价值,所以做研究,它仍然是一个职业,它只不过是一件职业,只不过是,我作为一个researcher 我喜欢享受做研究,所以我在这里做研究,而并不是,我比别人更有天分,我没有天分,我也可以是个researcher 所以researcher 只是一个职业,但我所说的科学家,这个名词,我可能也用错了,但我就说还有另一类,就真正在推动,人类知识边界的人,是非常非常少的,然后这批人一般来说,但我的bar也很高,就是在我眼中,真的在推动,这个推动就是指,如果不是他,这个事情会,往很长时间发生,这个是被我定义的,作为真正的科学推动者,就是推动人类连接的,这批人,这批人就非常非常少,绝大多数的教授
陈茜:可能都不是,对吧,绝大多数的教授,还是在第二类是researcher 所以Jeffrey Hinton 然后Yan LeCun 还有Joshua 就是图灵讲的,这三个人,你觉得他们是科学家吗,或者是你定义的,第三类人吗 [00:25:35]
盛颖:应该是吧,不过我没跟他们,直接接触过,所以我还是不给,我直接定论,我非常在乎一手信息的,我非常在乎truth seeking 我不想评价,我没接触过的人,但既然他们是俗成,就这么高,他们应该是吧,你在谷歌实习
陈茜:是什么时候啊,二年的暑假吧,应该是,在谷歌实习了之后,你想要转去做AI的,还是在谷歌实习之前,你就看到了这个方面,有非常大的一个前景 [00:26:02]
盛颖:然后发展很快了,我是的,去谷歌之前就想要转AI 然后我是因为想转AI 所以找了那份实习,那份实习是AI for code 我之前也尝试了一些,其他的纯AI港,他们都不收我,我都没有拿到机会,这个岗位跟 Programming Analysis 有一点关系,因为这个背景被招进去了,所以我接触到了AI 但我其实是因为,想接触AI进去的,但是我进去之后发现,当时的人们,做AI for coding的时候,还企图利用一些,原来的Programming Analysis 里面的technique 或tools什么的,非常的无力,其实什么忙都帮不上 AI忍着幻想说,我是不是可以利用一些,另外一个领域的工具,交叉学科的这种希望,利用另外一个领域的工具,来帮助更好解决这个问题,但是我作为从另一个领域过来的人,我其实发现这个工具非常的无力,当时就是看到了,那个大模型已经是coding之初,相反我反而看到的大模型,其实已经把传统的 这个领域里的技术都完全覆盖了,那个时候其实还挺早的 22年,它应该差GPT 它还没有出来,但是在谷歌内部,大家其实已经看到了,这个方向了,我估计其他的公司,肯定也是有的,但是确实差GPT还没有出来,那个时候是谷歌刚出炮,然后内部有那个Lambda 就大家其实有所感觉,只是没有到全民爆发的结伴,当时好像有个谷歌的程序员,他号称Lambda是有意识的,对就是那个时候,那个时候我们还做了个报道,然后还讨论了一下,这个AI是不是有意识的 [00:27:07]
陈茜:对就是那个时候的事情,我相信很多程序员,他们可能也是第一次,或者是很新鲜的一个感觉,去接触AI 才会有,他到底是不是有意识的,这种讨论在那个时候,对其实已经有,确实已经很多人,是已经看见了那个潜力
盛颖:很大的潜力,但是当时的模型潜力,离真的生产code 还有挺大距离的,我记得当时,都是做一些,生成一两百行的代码,当时你们那个小组,有多少人啊 AI for code的那个小组,那个也是一个,谷歌内部孵化的,创业项目,我理解就Google X里面,全职应该,我其实有点不记得,但好像一二十个人吧,然后那个暑假,他们非常激进,他们想要尝试很多方向,所以他们招了,跟全职等量的inter 让这些inter 全都去尝试
陈茜:疯狂尝试不同的方向,他们希望能从中,看到一点东西,那后来这个inter 结束的时候,大家看到了什么东西,我觉得当时那批人,其实很多人后面还是,很多人就还在做call的,那段经历对我的印象很大,它让我看见了 [00:28:17]
盛颖:因为我原来是不知道 AI是什么事情的一个人,我进来之后看见了 AI原来这么多powerful 我发现原来,根本就不需要什么,显示的reasoning 我是被shock到的那个人,它让我非常坚定地,进入了这个新的topic 然后我就要做大模型
陈茜:大模型其实有很多分支,跟不同的vertical 但是你选择了,做infra的那个赛道,为什么呢,其实也不是我选择,我其实也尝试了那个,不是infra赛道的,就是分析一下,算法上的事情
盛颖:但我发现我更适合infra 我那边可能没有太成功 infra成功了,所以最后登上了,就是我的爆发,都在infra这一层,做infra跟我的思维习惯,更接近,它是可reason的,确定性的,基于数学的,然后基于代码,数学和代码,这两件事情,我都很熟悉
陈茜:能不能说一下,就是你最开始,做SGLang 是什么样的一个契机,我转了AI之后,最后PhD了两年,就是在做 [00:29:11]
盛颖:相关的很多work 所以这是我的第一个work 连续的一系列work到SRAM 它类似于成为了一个收官之作,我那个时候就是PhD 我可以毕业了,然后我也觉得,我已经做了很多,不同角度的research 但它们都比较local SRAM是我希望把它们,都集大成一体的一个作品,所以SRAM的时候,我们就开始把它做成开源,然后希望走向的是 production rally 这个从一开始就想好了,从做SRAM之初,就希望它是做成一个 production rally
陈茜:可以被广泛使用的推理引擎,被大规模使用的推理引擎,其实你在做SGLang之前 vLLM已经推出了半年多了,你之前其实在vLLM 也是做了一些项目的,对吧,就是为什么已经有,这样的一个东西
盛颖:自己还是想要做SGLang呢
SGLang成长与xAI早期
盛颖:自己还是想要做SGLang呢,这个历史也比较长,我在vLLM的research paper上,这个其实也是,我本来自己在做research 然后其实当时我听到,有这个vLLM项目的时候,它vLLM当时的idea 跟我们在思考的另一个idea 是类似的,所以其实当时我是被说,那既然我们idea类似,那我要不merge进那个项目,在我的视角里,我是被merge进了,那个项目,因为我觉得这个项目,已经在做了我想做的事情,不要我们做开源,其实是 Cripper之后的另一个节点,并不是在Cripper的时候,就是一个开源项目,真的把它推成开源了之后,你就要做很多,除了research之外的,就是不仅仅是innovation的事情,你要做项目的维护,社区的维护,还有很多engineering detail 的琐事,那一段,其实我就没有太弹劲,那我还在做,继续做我自己的,其他的research 包括eslora external and fairness 这些事情,我继续在做research S上是一个,想要把我的思想,能够在一个地方,继续往上推的地方,本来它也是,以某一个innovation为起点,然后去做成一个general engine 但我看来是,当时有很多这样的 serving engine [00:30:47]
陈茜:S上是其中一个,并不是存在,我在vLLM的这个engine里面,然后做到S上engine里面,那比如说SG-Line 跟vLLM的核心差异性有吗,还是说,其实大家都差不多,不同的团队 [00:31:02]
盛颖:做出来的肯定不一样,但是差异性它随着,就如果你,你不把时间,维度放进去的话,他们是会类似的,因为相互会学习,如果你有好东西,一定会相互学习,会converge 但是,你如果把时间,放进去的话,那每个时刻,可能大家会有,不同的射中点,那比方说,实际上在,在更早地进军了,这个scale up的方向,就是把大规模的 serving production 这种千卡级别,万卡级别的serving 甚至千万卡级别,百万卡级别,做好的 vLLM可能在,这个社区的覆盖 long tail模型的支持上,做得更早,所以大家的focus 是有所不一样,但是你现在去看的话,可能两朋友,都在互相学习,那补齐短板,你在DataBricks 不是也做过,五个月的时间吗
陈茜:当时公司的联合创始人,是Young Stoica 对也是之前,伯克利的教授,他跟你有什么样的合作吗,他是我在,伯克利visit的时候的教授,所以我们在伯克利的时候,就一起做了很多的research 他对你有什么样的影响呢
盛颖:在专业水平上,给我带来了很多inspiration 其实我跟Young Stoica 我们还一直保持联系,除了是我,那个时候的 research的一个mentor之外,导师之外,他也是我,可能lifetime的一个mentor 就整个lifetime的一个mentor 那Sofia是个很特别的人,但是她这么成功,那肯定是很特别的一个人,你觉得她特别支出在哪里,她其实是个很立体的人,她做很多事情,对吧,她同时开很多公司,然后是一个教授,但如果你真的靠近她的话,她的骨子里,她最自我认同感高的,还是教授这个身份,就是教授和学生,这个是他所有身份,自我认同感的,如果你追溯到根源,这是他的根源所在,他很在乎making impact impact可能是他做,所有事情的动力支援,他也把这个精神,传递给了他的学生,他的底下的学生,和跟他一起共事的人 可能都受到了这个影响,就是making impact 但我其实不一样,我其实在另一个价值观里面,但是我能理解到了,这套价值观,所以making impact不是你的价值观吗,对不是同一类价值观,那你的价值观是什么,就是我在乎的不是 making impact的本身,我会在乎一些我想要 make的impact 如果我觉得有一种impact 我有一种价值观,我希望它被执行和被推向这个世界,那么我就会非常努力地去推动它,和希望它发生,我会尽一切努力,但其实我不是完全care这件事情,是不是我推动的,别人推动也可以,如果有人愿意,帮我把这个事情推动 That's great 但一般来说,不会有这样一个人,但是我慢慢学会的是,我真正自己想做的事情,没有人会代劳,因为他有他想做的事情,别人有别人想做的事情,最后你自己,真正想做的事情,你其实只有,自己去坚持不断 你只有自己能够,能够长时间地去,为那一件事情所奋斗,然后让它发生,所以在这个逻辑上,我觉得是有一些 [00:33:58]
陈茜:微妙的不同的,就我在乎的是impact 不是making 所以就是,在另外一个价值观说,就是making impact 有可能是非常的说,我希望我个人有impact 但是你更在乎的是这件事情,对我更在乎有一些 [00:34:07]
盛颖:我觉得正确的事情发生,这个有时候会让我显得很opinionated 因为我会有一些事情,我有观点,然后会非常希望我的观点发生,但我其实不是在乎,它是不是我的观点,而是就是这个观点,我somehow被它intrigued
陈茜:被它给吸引了,我们说一下你在XCI的一些经历 2024年10月份,你是当时加入了xAI吗,当时为什么选择xAI呢,我当时PhD刚毕业的时候,想要推广S上这个项目,对我so far
盛颖:从我开始做S上之后,我的整个,看起来都跟S上紧密相关,我当时刚去Diablo 的时候想要,在Diablo里面推广它,然后我在,推广S上,推广S上对,或者说我至少找到一个地方,可以好好地develop它,我也不一定说,它能够取代所有的stack 但是我希望它是,给我一块地方,可以好好地develop 我在刚加入的时候,我觉得Diablo 跟我说有这样的自由,但是实际上 Dataverse里面的,业务模式,还是不那么一样,而且Dataverse毕竟是一个,已经很成熟的公司,它不是你可以随便说,我想做什么就做什么,其他做什么的事情,都需要理由,或者充分的理由,然后我作为一个 researcher new graduate researcher进去,其实也没有太大的power 我自己也不够成熟,就是你怎么在一个,成熟的企业里面,去drive一个比较大的effort 我还不会这件事情,所以我觉得当时那几个月,尝试没有特别成功 可能也造成了一些影响,但不算特别成功 xAI给的这个机会,就是它愿意去支持,我和连饼是我的husband 它已经在xAI那个时候,那个时候在xAI之前,还是在做training 但是正好xAI到了一个节点,就是需要去做 Production Inference 然后就有了这样一个机会,我和连饼可以去xAI 共同build整个Inference的step 整个Inference的solution和team 所以它可以给我两样东西,一个叫做Support 一个叫做Freedom 同时有Support和Freedom的时候,我就能做这件事情了,所以我就选择加入XI 当时应该只有XI 真正给我这两个,我有些其他的机会,有些是只给扫破,有些只给飞的,确实我觉得,能这两个支持你,去做这个事情 [00:35:36]
陈茜:跟又让你自由地,去做这个事情,这个机会其实是蛮罕见的,是不是也是因为 XI那个时候比较早期,所以才有这样的机会,是的,那个时候的XI 是什么样子,能不能,在你能受的方式 [00:36:20]
盛颖:也来跟我描述一下,我觉得XI是,是我生命中,非常重要的一部分,就虽然我没有工作,特别多年,但是我在很多地方工作过 XI是我回忆最美好的 XI的时光,是我回忆最美好的一段时光,平价这么高,而且我离开XI的时候,其实也非常不舍,我离开XI的时候,是因为,因为XGeneron的,开源的一些需求,到了一个节点,我觉得我不得不去出来,把这个Red Star 新的公司扶起来,然后让我们社区,能够很好的继续发展,如果不是因为这个原因的话,我是不可能选择离开XI的,因为,也不是说完全不可能,但我说就是非常非常不希望,也不舍得离开XCI 而且我觉得这个想法,不是我一个人有的,其实我知道,在我们早期的那一批员工里面,大家都有很多人,有类似的想法,甚至有些人,可能在XCI的工作,已经有点承受不住了,因为压力强度都很大,但他们还是,一直在里面坚持,就是因为他们不想离开这群人 我的想法是类似的,所以是这群人,你们形成了,一个非常好的,一个team的感觉,对我觉得是,我觉得早期的XCI 就我在之前的XI 我所体验到的那个XI 是一个,就是,个个都是人才,里面个个都是人才,大家互相之间,也都很support 很friendly 很appreciate 很航跑,这是我当时XI给我的印象,跟你的价值观很像,对我觉得非常的,就是我觉得当时在XI 我能够非常专心地做事情,没有太多的杂念,而且大家都是这样的,就是大家都能够,非常直白地做事情,都知道把事情做成最重要,我经历过那么多公司,在DXR之前,是我第一次经历到,一个公司里面,完全没有任何people game 没有任何politics 当然后面可能慢慢地,也会有公司大了,你认识过多少人啊XA 不到一百人吗,我加入的时候 一百人没有politics 还是挺难得,可能也有我没有看见,但是至少我看见的范围里面,我没有看见politics 我很幸运地在一个,我能够非常,就是好的思考问题的,那个环境氛围里面,然后我只要思考,怎么做事情,然后我身边的人,他们也在思考,怎么做事情,大家也会有一些摩擦,那很正常,但是是一些,就是说,不影响,团结的摩擦,这些摩擦是不影响 We're always together 我觉得现在,我们在Rushark 是带过来了这个氛围的,那好棒,你把你在XI的时候 [00:38:21]
陈茜:描述是V1.0 没加入之前是0.0 然后可能现在是多少 3.0 4.0 我也不知道,大家怎么定义了,因为后面就是我也不在了,我只能听大家的说法,但是我能够感觉出,有那么几个阶段,所以0.0跟1.0的时候,是非常美好的,对,那个时候一浪的重心,也不在你们身上,就0.0的时候,应该是一龙不怎么在 0.0是我听说的,我不在0.0里面 0.0的时候,一龙对大家都非常的nice
盛颖:0.0应该是非常非常美好,像一个family一样 1.0的时候,其实已经开始生长了,已经开始有这个生长控 1.0的中途一龙回来了,但是我觉得就算在那个时候 1.0里面产生的阵痛,大家也还是,共同克服难关的,我没有感觉到,军心有什么动摇,我觉得大家都非常团结,然后也彼此照顾,我觉得那个时候,是彼此照顾的状态 build了一段战友情的,这种感觉,这段故事特别珍贵,是因为 [00:39:22]
陈茜:它跟现在,大众对xAI的一个认知,差距是非常大的,因为现在大家的认知说,就前段时间 xAI的co-founder 全部都离开了 either被fire 或者被laid off
xAI转型与量化经历
陈茜:或者被laid off 或者自己辞职的
盛颖:就感觉这两个narratives 就好像在说两个不同的公司一样,确实很不一样,因为后面公司大的,我觉得XI是没有过那个振动期的,是没有过那个从很小的,很团结的一个startup 变成一个需要靠体制来运转,而不是靠人来运转大公司的状态,它这个过渡期的振动,是没有很好的抚平掉,所以产生了这些巨大的变化,但有一天它可能又会,找到一个新的solution 因为XI还在那里,新的人员在新的组织架构,有一天它可能会找到一个新的solution 但是就是可能,是一个another company 从这边上来看的话,反正伊隆还在,对这是最重要的 [00:40:01]
陈茜:然后又被SpaceX收了,然后上市了,对了,那这一段我觉得,就是对组织架构的,一些振动期,因为你肯定有你的观察,你觉得对你之后,做startup 因为你们现在,也是几十个人,对吧,然后可能很快
盛颖:你们会上百个人,几百个人的一个规模,会对你有什么样的 lesson learned吗,有的有的,我觉得我们现在,就在一个很美好的时期,其实我知道,我们现在在一个,很美好的时期,就是这段时间,大家会,一定会成为他们以后,就是我们所有人,以后人生中,非常珍贵的一段回忆,但是我们也一定会,面临那个挑战 skill up的挑战,对,就是你在人少的时候,你是可以通过文化,通过人的管理,去实现运转的,但你skill上去了之后,其实文化就很脆弱了,人也很脆弱了,个人能力都会变得很脆弱,那个时候你能不能,把公司做大,能不能把一件事情 drive好,更多的就是看你的 system build怎么样,体系build得怎么样,最后是靠体系去支撑的,而不是靠人去支撑的,这个转变可能,我其实不知道正确答案,因为我没有经历过,但是我能学到的lesson就是,这个过程要非常的 intentionally的thinking 它不是一个会自然发生的事情 它不是一个你只要公司,这个计划有,然后往前move 然后有scope 有事可做,你就for granted会得到的东西,它不会,如果你不pay attention 它是会broken 它就会broken [00:41:46]
陈茜:你当时就是主要任务是什么,就是当时你在那个XI 比如说给Gitwork 构建推理系统的时候,我们是负责那个 Engine那一块,然后我们要同时服务,其他很多组,包括Products Products是他们会部署
盛颖:做Deployment 然后我们需要跟他们对接,然后他们遇到问题回来,会报应我们说 Engine里面可能有什么事,有什么问题,我们也要帮忙 Deployment上的一些协调 Configuration什么的,也要跟Research Team合作 Research Team做Evaluation 跑RL Rollout 用的也是我们的 [00:42:11]
陈茜:Inference Engine 所以我们也要去支持,他们这个Workhold里面的,各种适配,然后当时那个,在XI的时候,因为就是它整个的,这个算力系统,也是非常的庞大嘛,对吧,然后它后来又买了,非常多这样的卡,你觉得就是在,整个的过程当中,比如说你是不是在里面,受到了Full Stack的训练,然后这对你来说,产生了什么样的影响呢,对,我觉得在XI的
盛颖:是机会就是能看到,因为当时挺小,所以能看到,而且XI 我觉得一龙还是set了一个,我很喜欢的文化 Elon有一些他的问题,但是他有一些很突出的地方,有些我很喜欢,就是Elon能set一个,没有边界的文化,一个没有边界的文化,没有边界的文化,对,就是在XR里面,至少我还在的时候,我觉得任何事情,我都是可以touch到的,我不会说,大家组一组之间,是被隔开的,然后你必须限制在,一个很小的scope里面,只能做这一件事情,然后你不知道,外面发生了什么 XR里面是不会这样的,然后也没有特别多的 people management XR里面都是technical 而且它非常重工程师文化,所以你做事情,可以非常直接,然后这样一个文化,就使得我能够看见,很多很多个类,和很多个component之间,大家是怎么合作的,事情是怎么发生的,它作为一个整体,是怎么发生的,这个给我带来,非常大的成长,因为原来我确实,没有办法看到,这么多的东西,并且在XR 因为强度很大,压力很大,然后人都是被train出来的,就是你一定要,就是intense 你只有,就是经历过那个intense 你的成长,就像你健身,你一定要很累了,你感觉到痛了,你才会成长,其实XR的这个Intense [00:43:45]
陈茜:它给我们带来的成长,就是可能你在那里待了一年,你可能在外面是好几年了,才能拿到的成长,你当时是决定说SGN 想要把它商业化,然后去成立RedXR
盛颖:是一个什么样的时机点,对这个是因为当时,在二五年的时候,前面有几波浪潮,把XR推到了一个,还不错的被关注点,然后有很多的需求,向我们涌过来,想要使用和让我们,参与一起开发之类的,但是我们社区,实际上社区是一个,虽然最早我们也是,大学里面做了一些研究,但从很早的时候开始,实际上就已经变成,一个纯社区项目,就是我们的科兴开发者,都是网上认识的,我们都是网友,就跟我小时候那个,在网上学习的,大家可能都没见过面,没见过面,就现在还是科兴开发者,我们已经共同工作了两年了,我还不知道他们长什么样子,有好几个学校,可能也没好几个,有那么几个吧,我不知道他们长什么样子 [00:44:11]
陈茜:下次联会的时候,可以把他们请过来
盛颖:然后我们也从来没有要求过,对方开摄像头,所以大家是有一个默契,这个默契就是,我只要看到你的代码,我就知道你是谁,我也只想看到这个地方开,所以开摄像头,或者是真正的认识对方,这件事情不重要,还是说大家都是挨人,所以不想开摄像头,我觉得大家没有挨到,完全不想开摄像头,没有这么夸张,我觉得是,它自然到你根本没有想起来这件事情,没有说大家拒绝开,但是自然到你根本没有想起来这件事情,对S上是一个这样的社区,但是这样一个社区,也会导致就是,我们大家其实没有那么的,有组织纪律性,虽然大家都很有热情,然后也非常在乎这个项目,但是你还是很难说,让大家有时间去把项目,非常严肃地给它做好,做成一个成熟的,高智商水准的一个项目水平,除非我们有自己的公司,变成我们的full time job 大家其实有自己的full time job
陈茜:也就是说其他空闲的时间,来为这个社区做贡献,对就是晚上熬一下夜,然后冲个小鸭,中午再工作一下,放假的时候过来写代码,这样子去维持,但是我们当时的增长是,快到你不可能,用这样的方式去维持 [00:45:49]
盛颖:那个时候接到的很多需求,我们想要去抓住这些机会,想要跟对方合作,想要deliver一些东西,但是我们还是强撑了一段时间,但我觉得强撑了那几个月之后,发现的就是没有办法deliver 就其实大家都是很想deliver的,你觉得我们已经不能再stretch了,你知道这个team 已经不能再stretch了,它就是被team的bundle 为限制之王,我们没有办法很好deliver 都是board line地空飞过,或者甚至没有成功deliver 所以到了大概七月份那个时候,就已经,我觉得我自己的焦虑,已经到了一个,我觉得如果我们再不出来,做这件事情,我再不把这个背后实际上的空白,就是这个是个中空的状态,我再不把这个空白填充的话,我们就快要让外界失望了,我自己焦虑到了一个 [00:46:03]
陈茜:我觉得我没有办法再脱的,这个状态里,所以我从XI出来,从XI出来应该放弃了很多,这个金钱上的回报,也没有,还好吧,因为而且怜敏她在,她比我多,就是
盛颖:但我确实是没满一年,就是我是one year cliff 我出来说是十个月,对啊,其实我只要再待两个月,我就可以拿到我的,那个第一年的vesting 所以两个月都不能待,对,等不了,等到七月份,已经是等了很久了,就是其实我可能,五月份就已经,已经有点受不了了,到七月份的时候,已经实在是受不了了,如果不出来的话,可能这个社区就,两个月都等不了了,是吗,对,就是大概是那两个节,就是,就是我的心理状态,到了一个,我没有办法focus 做XI的事情,我已经没有,很productive的生产,我对XI的价值,但是我不能忍受,自己在一个,就是如果我是在XI上班,我就觉得我要对它有用,不然我就会觉得,我不配在这个地方,所以我倒是已经到了一个,我觉得我不配在,继续待下去的,这个心理状态,它不是我能控制的,光才问我问一个问题,就是你觉得金钱,对你有任何的重要性吗,有必须性,没有重要性,它的必须性来自于,有金钱可以让我 解决很多事情更容易,这个我可以,这是我承认的,就我没有追逐过他,但是你真的说他不重要吧,我也没有到那个程度,他能够给你带来的底细就是,比如说我想创立这个公司 [00:47:51]
陈茜:如果有天我容不到钱,我还自己还有钱,这是他对我的意义,忘了提一段经历,你在哥大毕业之后,其实是到了华尔街的,一个对冲基金,叫Two Sigma 里面是工作了,有几个月吧,是不是,没有到一年,有半年 OK 就那段经历是什么样子的,就是在一个华尔街,非常大家觉得说,纽约就华尔街上纸醉精灵,然后在一个对冲基金里面,好像跟你之前做研究的这个氛围,是不是会完全不一样,但我们那个对冲基金,是一个tech对冲基金,对我知道,因为我还是粉蛮,但是我当时确实是,想要接触金融,觉得挺有意思的,然后 [00:48:02]
盛颖:我有一任前男友是学金融的,这个剪掉,我一定会发出来,所以当时我确实是对那个,就觉得竞争挺有意思的,然后我有点好奇
陈茜:就当时量化大家的说法就是,那里面的人很聪明,都是那个,但是好多PhD 什么学物理的,好多PhD 后来那个我们学校都去量化了,就是我不知道为什么,就是喜欢聪明,聪明的人说话,我喜欢做有挑战的,跟智商挑战的事情,所以他这个特点,他当时吸引我,当然这个也是吸引,很多其他人的原因,那个时候我也就21岁 22岁,单纯的被中学吸引,然后我觉得我要去体验一把,我觉得这个事情,我要是不体验的话
盛颖:以后我会一直想着它,但是我又觉得金融,不是我的人生追求,我又觉得天天在那玩钱,没啥意思,对,所以刚好PhD中间,隔了有个半年的gap 然后完成一个体验挺好的,我就去那里做了半年,那半年的回忆也非常好,如果要我排序的话,我工作过的所有公司,排第一的是XR 排第二是Two Sigma 哇评价这么高,但是我听说Two Sigma 就我在的时候,又是它最好的时候,我很幸运,我每次在都是它最好的时候,后来可能就有些变化了,但是我在的时候,是Two Sigma最蓬勃发展,甚至拥抱开源,他们那段时间 Two Sigma那段时间,是做开源项目的,非常拥抱科技,也拥抱New Technique AI Big Data什么的,然后里面的人,也是非常的互相帮助,然后我没有感受到,任何的多余的东西 [00:49:19]
组织文化与AI基础设施
盛颖:任何的多余的东西,所有人都只是在做事情,然后所有人都非常的,开放,非常open 非常非常喜欢事,质量也很高,然后里面的交道,当时交道的很多朋友
陈茜:到现在也还是我的朋友,大部分人还继续在,华尔街量化里面,还是也都会出来,都有,有些出来的,有些还在里面 Two Sigma让我看到一个,非常organized的公司的样子,至少在当时,所以它是非常organized的 [00:50:12]
盛颖:我当时觉得Two Sigma 非常organized 我当时不觉得,但我后来去了,其他公司之后,我再回想,我就觉得,原来其他地方这么乱,对我觉得其他地方这么乱,就是Two Sigma 它都不是一个泰国公司,当然Two Sigma的infra 在我跟其他的比起来,是最稳定的一个地方,有意思
陈茜:就原因是什么呀,就公司文化就是这样的吗,让它非常的干净,我觉得是它的,巨变不多,它的业务模式比较稳定,所以大家可以在那里,一直做maintenance 大量的maintenance 所以对于就是,做一个金融,然后追逐那个return的数字,然后赚钱,这个事情就在你身边,就是不是priority 你只是想体验一下,对我只是想体验一下,我一开始就知道,那不是我的priority 体验还不错,对体验不错挺好的,这个技术稍微给大家,去科普一下 LLM Infra 你们在做什么样的事情,你们在解决什么样的问题 Infra分好几个模块,我们的长远的目标是
盛颖:我们希望整个Infra 我非常Vague地说,我们的这个结构性思考,是我们希望RedShark 在一个地方,它可以给你提供,很好的基础知识,让大家根据,你不同的使用场景,不同的data的形式,不同的产品目标,和不同的surfing目标,然后你有可能希望,它可能解决一个,很简单的问题,但是你想它很快,又或者是,它要解决一个很难的问题,但它可以比较慢,你都可以用这套工具,源源不断地产生,适应你不同目标的,最好的模型,我们希望把这个 foundation做出来,这个foundation 我统称为infra 它会包括传统意义上,大家所理解的,推理引擎,推理和训练 post training 这些都是大家传统的,脑中的keywords 我还想在这里,其实加一个component 就是机座模型,也是infra 在我看,整个这个foundation里面,是包括了,所有你需要的gradients 包括了这些 code base tool tool box sandbox environment 和一些中间状态的,模型checkpoint 一起变成一个工具箱,你可以在这里进行组合,去不断地产生,更适用于你的场景和目标的,特异化模型,那整个这个工具箱,这个foundation 是我们要做的infra的部分,现在我们,因为要focus一步一步来,所以我们现在是focus在 influence和RL 它们处在你这个生产模型,整个part-by的末端,就假设说我前面已经走完了,我的基础模型,就pretraining已经做完了,我有基本的checkpoint 然后现在我开始,要适应不同的task 我需要过Post Training的时候,大家开始用RL 这个地方已经开始开支三页,因为AI进入人的生活的各个方面,有不同的场景需求,这个时候你开始需要有,不是一个模型解决所有问题,你可以开始有多次训练,产生多个model 解决各种各样的问题,并且多个企业,他们可能对上来的自己的模型 所以Post Training RL在这个地方,是一个Fanout的状态,所以它是比较适合做,我们所要的这种,给所有人Share的技术,然后作为一套Information 所有人都使用的,这样一个模式里的 Posting完之后的模型Inference 那就更加翻老层 Inference就真的到了末端,模型都已经完成了 Inference我需要让你的模型的,就是架构和Waste都已经有了,我需要让你模型在硬件上跑起来,跑起来之后可以被,你的Endpoint可以被call到,别人可以来,别人可以使用这个模型 Inference就是在那个,更末端贴心用户的部分,整个的Infra LAM [00:52:58]
陈茜:Serving的这个版图,其实中间涵盖蛮多领域的,那比如说vLLM是解决内存管理,然后HQO是做Key-V-Cache的,说as Laura是解决,这个多adapter的并发,然后Chabot Arena做测评 SGLand做结构化生成,就是非常多不同的,这个方向,那对这部分的研究,你是有一个,什么样的方法论,在解决这些问题,就是还是说,你就有一个,很完整的,这样的一个road map 说这些东西,都是我要一起去解决的,还是这些东西,是你一步一步的,去慢慢地解决这些问题的,我觉得是一次性看见,短时间的一下,看见了很多问题,但你做的时候,你得一件一件做 idea肯定是跑得比动作手要快,也不是我一个人看见,很多人都看见,就是你上来一起看见很多问题,然后大家慢慢地把一件事情,每件事情都解决掉,那在解决这些问题的时候,你觉得有哪个点是最难的,我觉得没有哪个点是难的 就是去做掉就可以了,对,那你的优先级是怎么排序的呀,哪一个能给你带来最大的margin 哪一个是最大的bottleneck 先解决最大的bottleneck 也有些是dependent 比如说你要先解决memory的 kbcaster 这个碎片化问题,管理问题,然后你才能解决 prefix caching的问题,所以你觉得,现在这些问题,完全被解决了吗,还是有继续优化的,这样的一个潜力,那肯定总是有,优化的潜力,那瓦存神,现在有这么多的变种 Sparse的存神,还可以做更aggressive 然后新的innovation 不会停滞的,这一块其实应该是,一个很大的市场,但这个市场,为什么最开始,从开源的生态里面,跑出来的呢,也不能说是开源,跑出来的,因为influence [00:54:25]
盛颖:已经很长时间了 influence provider 你看从Fireworks 这些公司,已经存在好几年了,这些公司都很不错,有很大的使用量,而且你看 Inference的Landscape 有这么多的Competence 对,这么多个Inference 有关的公司,层出不穷,每年都在不停地出,但是你会发现,这个游戏里没有输家,没有输家,没有输家,就是所有的Inference Player Inference Provider Player 不停地出来,有这么多,但是没有任何一个,因为有Competence的存在,而削减下去了,所有人都是同步增长的 [00:55:06]
陈茜:我之前其实跟你,那个Co-Founder 班华聊的时候,他就说,做Infra的人,他需要的taste 跟做比如说 pre-training的这个researcher 他的taste是不一样的,那比如说做infra的人,他的taste是
盛颖:表现在什么样的方面呢,我其实不确定,是不是真的不一样,是吗,我觉得本质可能是相通的,那你觉得taste 表现在什么样的方向,不论是在做training算法 pre-training算法,还是在做infra 你做一件事情的时候,是不是喜欢精益求精,它是不是,很细节的活,就因为它这个efficiency 要做得非常非常极致,对吗,不光是efficiency 就是如果你是追求一个目标的话,可能就不在Taste的这个维度上,就是你如果要的是一个End Go End Go和Taste是什么 Taste其实就是你,关注的不仅仅是End Go 并且还有这个End Go的组成,就是我的系统不仅能跑,我并且知道它是怎么跑起来的,它是以一个设计过的 Well Design的形式,形态跑起来的,还是它是一个,豆腐渣工程跑起来的,它有可能有同样的End Go 有Taste就是说,我更在乎它是一个,很优美的形式跑起来的,而不是这个很,豆腐渣的,对 很hockey的方式跑起来的,那你在乎吗,我非常在乎,这是ReadyStack的文化之一,就是我们非常强调这一点,我们想要成立ReadyStack 想要好好地,做一家infra first的公司,因为我觉得在,很多其他的,我之前工作过的其他地方,或者是听大家讨论,以prodart 以模型为目标的这些公司,在infra的美感上有所妥协,他们在infra的功能上,还是很追求的,但是在美感上是有所妥协的,然后infra的人,在整个这个full stack里面,可能长期的处于一个,被underestimated的状态,就他们需要被迫去,不停地support 其他的component 他们需要去support researcher 去很好地使用infra工具,然后把实验跑起来,去迭代,他们也需要support product的人,能够把自己的product 运行得又稳又快,但是infra自己,因为我跟infra的,之间的这个浪漫的关系 我觉得infra 它不是一个support infra本身在我眼中,就是产品,你在设计,你在推一个产品的时候,因为产品面向用户,你会去想,我这个产品不是只有功能,我会想这个产品美,对吧,我希望它好看好用,被人说喜欢,我希望它击中,用户心理的痛点,用户心理的,击中人性,我希望产品击中人性,但是没有人会说,我希望infra击中人性,但是从我的视角里看,我觉得infra 也是击中人性的,它只是没有直接到用户,没有那么直接的联系而已,但实际上它产生,这个深远影响,是从底层,就开始往上传递的,我觉得刚才你说了两个词,我觉得非常有意思 [00:57:28]
陈茜:第一呢,你是说infra的美,第二呢,你是说你跟infra的关系,是浪漫的,这两个词,其实我很少听到,我倒是没有仔细想过,为什么是这个词,但是它自然而然,存在于我的脑中,就是 [00:58:01]
盛颖:其实我觉得,写infra的人,他们都是能理解的,就是你写infra的时候,你追求,你会去觉得,我这个代码写的,我其实不知道,怎么更细致的拆解了,但是我不是特例,我只是one of them 其实有很多这样,有一批这样的人,他们都很在乎,你的infra构建的时候,这个系统它优不优美,稳不稳定,然后他们总是被迫,去做一些hockey的事情,来达成目标,其实他们都是,会在一个被拉扯的状态里,我明白你的意思,就比如说
陈茜:其实如果你看一些大厂 OpenAI有自己的Infra Team 之前你在xAI xAI也有自己的Infra Team 是不是就是,在这种大厂的时候 Infra Team 它总是一个 supporter的这样的一个角色,所以也就是说,它有很多,你需要去妥协的地方,但是如果你自己出来,做一个Infra Native 就可以达到你所说的 Infra First 这种内感,对比如说在ReadyTag 其实我们是反怪的,比方说我们也,也有Training Job 但是我们并不是说,我需要一个
盛颖:Infra的team 去一直support 这个Training Job 跑得非常的on track 我们其实反怪的,我们希望这个 Training Job 它可以没有压力,它只需要跑,然后一旦你Training Job 被卡住,遇到问题的时候,我们希望,大家的focus是,把这个问题 systematically解决,而不是打一个patch上去,让这个Training Job 必须跑 Drop是可以pause的,我们刷分也不着急刷,我们也不是非要刷,一个非常好的 benchmark分数,这个在我们这里,不是第一优先级,但是我们如果能去二高,当然是好的,我们不会说,这事情不重要,但是在他们上,它不是source of urgency 我们的source of urgency是,你的job不能被迭代的时候,这个问题本身,它应该怎么样,从深层次的解决它,我们先回去一点点,然后让我们的观众 [00:59:08]
陈茜:更加了解一下,就是英法的这个赛道,比如说我们在,技术的细节上面,看到这个RadixAttention 它其实是SGLang的,一个核心技术之一,是用redex数来做
KV Cache与推理引擎
陈茜:是用redex数来做,这个前缀的缓存,然后避免重复的计算 KVCache 能不能用比较通俗的语言,给我们的观众来解释一下,这个技术,这个技术,其实也比较简单,就是当你有很多的request 发到Engine这边,需要处理的时候
盛颖:如果你的request 有一个公共前缀,那我们就不需要,重新计算,这个公共前缀,所对应的KVCache 而是可以附用,就是你第一次,一个request进来,我已经计算过KVCache 第二个request进来,如果他们share的话,我可以附用,已经计算出来的KVCache 所以这套Memory管理系统,就是对前缀的结构,共享结构,做了Indexing和存储,首先一个是,你对进来的Request之间的,前缀的关系,要建立前缀数来做Indexing 做完Indexing之后,你需要把已经计算的Key Cache 存在Cabin Memory Pool里面,然后把这个Indexing 跟这个Cabin Memory Pool 给Mapping起来,既然它的核心,是用重复的前缀,但是如果我们假设 [01:00:15]
陈茜:用户每次发的问题,都是全新的,没有什么共同的前缀,那比如说长短档摘押,或者是唱语写作,那是不是这套机制,就有一定它的局限性,因为Agentic的场景出现,复杂场景的出现,大部分都是会
盛颖:有前追共享的,因为你只要进入,多轮对话,你的后面的对话,都会要附用,前面已经对话的history 所以前追附用,是大量存在,在所有的,几乎所有的场景里,是不是说Agent来了之后,这个问题,是更需要被解决的,或者更需要被优化的,它一直都是,需要被解决的 Agent来了之后,它确实可能被,变得更,被大家所关注到了,其实S上在 paper刚出来的时候,如果现在还回去看,那个两三年前的paper 我们确实是以agent 为这个入口,就是进来说,我们为什么要新设计 S上这套体系,当时还设计了一个 frontend语言,都是为了 agentic的use case 所设计的,因为我们觉得 LM AI 它会将来成为,变得非常powerful之后,你需要构建一套,人与AI之间交互的interface S上的创作之初的动机,其实是想要去定义和,构建这套interface 让人和AI 可以更好的交互,但发展到今天 因为你的挑战的重点,可能Inference 就是后端 Efficiency挑战,重点更为突出,所以大量的开发经历,是移到了,就是back-end的,这个Runtime的优化,但我觉得,有一天,其实我们还是应该,回顾一下,最初的这个想法,就是为什么要,设计在XRAM 这个XRAM的,它structure 真的是language XRAM原初设计的时候,是希望它是一个language 我觉得有一天,我们会revisit这个部分 [01:02:02]
陈茜:最终它还是应该是一个 language的形式,这个language它是,人与AI之间交互的interface 在看你们social media的时候,你们经常就说,这个模型翻了之后,我们是day zero 就是从零天开始兼容的,能不能跟我们解释一下
盛颖:为什么这件事情很重要,这件事情很重要是,市场觉得它很重要,我们做事情还是很practical的,我们做开源,哪些事情重要和不重要,还是被market所决定的,不是完全我们自己定义的,我觉得market上,人性好像大家就是很希望,东西刚出来的时候,我就能用上,这个愿望从优责端,一直传递到了,我刚提到那些 Inference Provider Inference Provider 进而又传递到了我们,也进而再传递到了,模型厂商,所以这个
陈茜:那条式的传递,它其实满足的,就是一个人,你想要,就跟你发布了产品,我要去,第一天就去抢购,一样的这样的心态,比如说,前段时间发的,这个Deep Seek V4 发布之后,你们马上就是 Day Zero兼容 [01:03:07]
盛颖:对吧,达到这个Day Zero兼容,你们要去做什么样的事情,这个跟模型,跟模型的复杂度很相关 DeepSeq V4 他们实在而然,做了很多的创新,所以我们其实,花了特别大的精力,团队花了特别大的精力,去做这个模型的支持,和各种优化,但是我们DeepSeq Dazer支持这一次 feature set 做得也非常全,因为花了很多的时间,非常非常多的feature 都是第一天就见着了,并且我们也是,我们第一次有,这个RL的Dazer Miles是我们的RL框架,很多的算子层,一些实现都要重写,大部分的code 基本上是重写的,因为DeepSeq V4的,架构设计,跟之前已经存在的模型,有太多的不一样,是不是就是,每一代新的模型出来,其实都是需要,有个重新适配的
陈茜:这样的一个过程,只是说它的模型架构,如果变得非常大的话,可能你的这个effort 就会更大一些,但是如果它就是一个,一个非常小的一个调整,或者是一个upgrade的话,就是你这边其实就,没有必要去做,非常大的一些适配,对如果它的架构,完全不变的话,其实甚至都不用适配,如果它只是更新weights的话,那甚至几乎不用适配,最近有一些研究都是,探索模型直接在Litens Basement推理,而不是逐字去设置Token 比如说我们看到之前Meta的Kokona 还有自己的Cola DLM等等,如果这个方向成熟,你觉得在推理引擎的很多优化 [01:04:01]
盛颖:假设是不是可能会发生一些变化,或者重写呢,如果这个成熟的话,那确实很多事情是会变的,因为它推理的过程形态不一样了,但是我觉得这个也,本来就是你写推理引擎的一环,世界在变结构在变,然后你的视线量一直在变,这是一个,本来就持续存在的过程,我觉得这个不是变革,不是真正的变革本身,不同的团队,或者是不同的,这个AI in front的player 适应变化的能力,这个东西重要吗,重要,我觉得团队更重要,再提一句,这个尤其是现在有AI了 AI写代码写得这么快,其实你视线量变一点,其实就技术上来说,不是真正产生,巨大变革的地方,技术上总是能做的,我觉得真正的难点,从来都还是在,回归人和团队本身,那为什么你们的人,你们的团队就更好呢,我觉得我们的人和团队,团结,谦逊,又聪明,又努力,那可能其他团队,也会这么跟我说 我觉得其他团队也挺好的,我觉得大家都挺好的,但是你每个群体,都会有一个自己的,最终会形成一个自己的文化,大家各有所长,你强调的,就是公司内部的,解文化是什么样子的,我希望大家是 focus 谦逊 focus and humble 精益求精,这个是我们,就是我们追求,极高的审美,然后我们就把事情做solid 我们希望RedSrack人,都是对自己特别挑剔的人,都是自己本身特别挑剔的人,对自己,对自己的作品特别挑剔的人 [01:05:33]
陈茜:那在今年年初的时候,我们看到这个VIM的核心团队呢,也是商业化了,成立了Infrared公司,然后也是融资了,一点五亿美元估值,八亿美元,这个产业之后,会有更多的新生对手吗,更多的公司
盛颖:会商业化来做这个事情吗,我觉得完全有可能,而且其实它就是,持续不断在发生的,就是Infrared和RedSrack 这两家之后,还有新的Inference的 company在不断地,不断地涌现,谁会变成赢家呢,就是核心的竞争点,团队的竞争点,会在什么样的方向呢,我其实不觉得,我们在这个赛道,虽然我们有S上 S上是Inference Engine 但我觉得Red Shark的,那个长远使命,其实是不属于这个赛道的,有意思,能不能详细来说一下,我如果按照前面说的话,我觉得Red Shark 我说的目的是,我们想把最好的AI 带给大家,这是我们非常朦胧的,一个目标 Red Shark接下来,一年要做的事情,三年要做的事情,五年和十年,其实都讲出来,会非常的不一样,我们最终想要,我不想透露,我不想discuss 但是我可以大概地说,我认为Red Shark 最终使命是要做,下一代AI 下一代AI 下一代Next Generation AI 我们的本质,还是不是,单纯的infra implementation 意思是你们想要做模型吗 [01:07:01]
陈茜:也不一定是模型,它是下一个形式,就我现在就,我不讲它是什么,但我可以说,我们并不是停在这个地方,只是说这个influence 或者是infra 只是一个起点,对它是一个前前条件,但我们想
盛颖:我们要做的也不是模型,我们将来想做的事情,不是一个现在世界上,已经存在的东西,有意思,所以我其实不觉得,我们跟Existence的,这些Inference Player 是一个Category里面的,就是它还不存在,但是你觉得它一定会发生的,我觉得它会发生,然后你想把它找出来,或者是我希望它发生,我想看到它发生,我这很好奇,你能跟我说一下,我们会去把它逼掉吗,不能,好,对但我可以说,就是Inference不是我们的,它是一个起点,它不是L2的长远核心,所以我们其实跟,其他的Inference的company 都是保持良好的关系,我们的L2是全开源的 S上也不是L2的所有物了 S上是LMT的下面,它是属于社区的,但是我们公司的所有工钱,在市场上都是开源的,我们是没有private fork 我们的愿望也很简单,我们其实就是希望,这些东西被所有人使用,我们并没有想要 通过这个地方,制造一个difference 然后去获取利益,所以公司的命脉,是不在这里的其实,我们看到其实有不少的,做推理引擎的创业公司,虽然有些公司,他们自己不做引擎 [01:08:15]
陈茜:但是也是在这个引擎上面,去做服务的,而且现在铁量也不小了,比如说Faith10 是最近完成了 3亿美元的融资,估值过10亿美元 Fireworks AI 现在估值有40亿美元 Together AI 现在也是在寻求 10亿美元的新融资,同时我们看到,这个AWS Google这些大的云厂商,也是在提供,这个托管推理服务,整个的AI Infer的生态链,最近在发生,什么样的事情,能不能跟我们梳理一下,我觉得Inference
盛颖:这件事情,其实很早就存在,也发展了很久,但是今年 AI可能在变得更加成熟,尤其是SLB这个爆点,大家都看到了 AI变得更有用之后,整个市场的effort 可能会有更多的,从training转向Inference 就是开始需要让它,盈利和兑现的时候,然后这个转化,就会使得 Inference的市场,进一步的,本来就已经很Exposure 现在更大的Exposure 所以你会看到,很多这种,雨后春夏晚暴出来的,各种各样的Inference公司,但同时,所谓的AI Native的公司,他们也开始感受到了,你继续使用 Existing模型,去做Prompting Engineering 的局限性,与此同时,也有更多的公司,开始需要利用好,自己的Data 去做Customization的,这个需求,这个需求,它从另一方面,也在推动 RL这一块的市场化,一方面你看到,有很多的新的,英文化人士公司出来,另一方面你发现,你会看到一个 established英文化人士公司,在往RL那边move 在往RL那边扩张 [01:09:45]
陈茜:我觉得这可能是,这一批公司里面,最大的两个趋势,最明显的两个趋势 Baseton还有Fireworks 也是你们的客户们,对吧,但以后的用户,你觉得以后会,发展成竞争对手,我不知道他们
开源生态与创业竞争
陈茜:我不知道他们,有可能觉得我们
盛颖:是某种意义上竞争对手,但是我们不把他们,当成竞争对手,我们是更想和谐相处的,一个是我们其实重点,重心并不在这个地方,不然我们就不会,把我们的influence 给大家随意使用,然后还去支持他们使用,第二点是我们,因为我们这个开源的意愿,我们希望被大家都使用,所以我们并不,也不想跟他们成为竞争对手,我们希望这些,都是我们的盟友,然后我们更希望的是 focus在AI本身的,一些技术迭代上,然后我们希望,把这些技术可以 [01:10:02]
陈茜:跟他们所共同发展,促成他们的,这个业务模式的增长,现在你们服务的客户,大概是什么样,类型的企业,或者是他们有没有,一个什么比较典型的,使用场景可以分享的,我们各个Hyper的客户都有
盛颖:从这个Data Center Neo Cloud 就是Hyper Scaler 就这些是Cloud 就是他们有GPU 我们帮他们,想跟他们一起,或者帮他们sell GPU 到这些Infra Provider 我们其实也想跟他们合作,也是希望他们成为我们的客户,但现在还是一个user的关系,再往上到AI AI这些公司,他们想要使用AI Infra 去不完全他们的model 或者是Serv model也好,他们也是我们比较客户,还有一些传统的大公司,它不是完全的AI公司
陈茜:但是它想要用AI来助力,它原来的业务,那我们也希望在这里,可以提供一些价值 SG LINE之后还开发了Miles 这个是主要是用在RL上面的,你们为什么同时要做 [01:11:08]
盛颖:Inference跟RL Training呢,因为我们做的是整个AI Infra Inference和RL是,就我刚说它是在最靠近用户的,两个末端的步骤,所以我们从末端步骤开始布局,但是我们要做的是,整个能够把AI制造出来的能力,这两个东西同时做难度大吗,还好因为它俩其实非常相关 RL里面很大一部分的挑战,是来自于rollout engine rollout engine它也是跟,它就是influence engine 如果RL的话,你更多的是要做一些调配上的,调配上的工作和,可能way to transfer之类的,浇水性的工作,那scheduling算法也有一些新的东西,但是系统层面,它们有巨大,非常大的overlap 对,你刚刚跟我讲了
陈茜:两个很好的教授,非常教科书级别的教授,有没有哪个管理者,你是觉得你遇到过,就是是最好的管理者,他们的特质是什么样子,其实管理这个词也很宽泛
盛颖:不同位置的管理者,他们的功能也是不一样的,管理与被管理,它其实也不是一个单纯的,管理与被管理的关系,它其实也是一个职能分工的关系,就是一件大事要做成,它背后一定要有一个人,有一个人他非常非常的,跟这件事情绑定,他是不遗余力地要推动这件事情发生,这个人不管是Founder也好,是哪个CEO也好,他可以是任何一个人,但是一定是有这么一个人的,他以某种形式,他跟这件事情被绑定了,这个角色这个人,他需要有很清晰的想法,知道我们要,我们从哪里来,我们要去哪里,我为什么要做这件事情,团队为什么要做这件事情,他需要能够有这个坚持,并且他要能够看见未来,看见一个他想推动的未来,也许没有他就不会发生,但是一定是一个,他能看见的未来,有vision 这些东西是最重要的,但是你有vision的这个人,他并不一定需要具备,管理者需要的所有特质,你与此同时,公司里面还需要的 其他的管理者,他们又需要执行,不同的functionality 比方说能够,真的把一个,底诊变成真实,变得可执行,能够把人,人与人之间的,这个合作关系,调度得很好,这可能都是,不同人的功能,管理者非常重要,然后在架构制度,非常重要,但是,对但我觉得,我现在的想法都很初级,我其实现在一个家,可以就是处在一个,思考这个问题的阶段,就是我觉得我们刚刚,我们刚好就是在一个,从我还能一个人看清所有事情,到我现在看不清的这个阶段,所以我其实最近就是在想这个问题,我还没有找到答案,我现在看到的都是挑战,对那现在这个挑战 [01:13:06]
陈茜:跟你当时刚加入XCI的时候,面临的挑战是相似的吗,不一样,因为说XCI你也是把它看成你的baby 看成一个很重要的一个事情嘛,那你在孵化它的时候,因为你加入XCI的时候,它应该还没有Inference Team 然后你其实是把它给Build up起来的,这样的一个,很重要的核心的人,你觉得就是,在回顾当时,你面对的一个局面,跟挑战的时候,跟现在有什么样,不一样吗,还是完全不一样的
盛颖:因为毕竟在XI 我不是XI的owner 就算我想,虽然我把它当成baby 但其实其他人,并不觉得它是我的baby 所以我其实并没有被赋能,我并没有被empower OK 我有想法,我有观察,但是我很多事情,是改变不了的,我是没有办法去,做很多决定,或者是告诉其他人一些,影响他人的决定的,那我的责任其实也没有办法,扩展到那么大的边界上,但是我在XI确实学到了一句话,这个XI的那个两个leader 就是当时Tony和国东分别跟我说过,我不知道他们是不是串通过,但他们都跟我说了同一句话,就是说那个 authority和responsibility要match 就我在XI我是没有authority的,我只是一个小team leader而已 [01:14:10]
陈茜:就是我其实没有权利做很多事情,所以我就没有责任,哦 OKOK 所以你自己对,你觉得你自己有责任,但是,我其实没有 actually没有,我其实没有,因为我负不了责,我不能决定事情,我就负不了责,对吧
盛颖:这个事情如果我不能决定,该怎么做,做错的话,我也也担不了责,做对了,就不是我能控制的事情,但是现在的话,就是说这个公司,那我要做决定,我必须要做决定,它变成了我的义务,我必须要做决定,那它做的好和坏,所有的责任全部在我头上,如果事情没有做好,我就要背锅,对,那当然做好了,你会开心,做好了其实替不得功了,做坏了是我的责任,这个就是跟之前的事情,完全不一样的角色,挑战也是完全不一样的,从研究员到大厂,再到自己出来这个创业,你对自己的定位,有什么样的转变吗,我其实没想过这个问题,我觉得我一直都只想,我想做什么事情,我做件事情,能够借用的身份也好,资源也好,当时的我觉得,什么是最好选择,我就会去做什么选择,但他们都只有一个目的,就是我要做,我想做的那件事情,两年前的时候,我可能觉得,我想要创造那个未来 professor是一条路,两年后的今天,我觉得professor这条路走不通,我就开始开公司创业,不管是我是做professor 还是开公司,它都只是approach [01:15:57]
陈茜:我没有想过,这个身份本身,意味着什么,我不太在乎那个身份,但是因为你选择的路不一样,你要做一些其他的事情,来辅佐,你最终想做到的事情,比如说你现在,是一个非常明星 startup的founder 你要去融资,对吧,你要去招人,你可能要去做一些其他,以前你也没有想过,要去做的事情,所以就是比如说,融资跟投资人聊,这件事情
盛颖:对你来说是负担吗,还是这个事情,我觉得这个融资这个事情,我以前确实不懂,就是被迫去做的,但是这个事情总是要做 first principle thinking 我如果要做,我弄得比较好,这个事情该做,那我就去做它,就我们当时融资,还是挺曲折的,那个具体我就不讲了,但是挺曲折的,但是我现在觉得,我经历了这么长时间之后,我现在对这个行业,有些更多的理解了,我其实觉得,我在跟他们打完交道之后,我昨天我们聊完之后,我又做了更多的思考,我现在觉得 [01:16:25]
陈茜:我对投资人,有更多的respect 我觉得我更理解,他们的一些想法,为什么整个行业,是一个这样的状态,对,当然就是Sanhiel 它有一套它的游戏规则,那这套游戏规则,我理解其实跟之前,做research的时候,是完全不一样的,你觉得你自己,在适应这一套,新的游戏规则的,我觉得没有真的不一样,没有不一样吗,本质逻辑,肯定是不一样,但是本质逻辑都是,就是不同的体系,然后还是人,还是人性,你追根到底,还是所有的人性,本质逻辑没有不一样,就是你把东西做好,你追求的一个真的东西,你把它给做出来说出来,是吗
盛颖:就是我觉得它体系不一样,它学术界的体系跟,某种体系,投资人体系肯定是不一样的,所以你的规则不一样,那你的这个mechanism不一样,你做事的方式肯定不一样,但是归根结底,它所有的你再次输下去,都是人,人与人之间是共同的,所以当你进入,那个体系的时候,其实只是要学习,那个体系是怎么回事,怎么运转,然后各种力点,是怎么样的一个平衡关系,然后你如果还是以同样的人的根本,作为推理基点的话 [01:17:30]
陈茜:对这个整个体系的理解,还是可以被推理出来,这个点也有意思,就像发paper一样,它是有套路的,对吧,你学到了这个套路,那其实你很快,所有average的东西都是有套路,所有common的事情都是有套路,最后的这个投资人,应该是说结果非常非常好了,英语达 AMD 英特尔,这几个最大的半导体公司,都罕见的集体的投了你们,除此之外呢,你们也是拿到了非常硬核的,很多的投资人的背书,你觉得他们为什么投你们
盛颖:他们看中了你们的什么,我也很想问投资的这个问题,对我觉得我很难为他们代言,就是他们看中了我们什么,但我如果说,现在让我思考一下的话,那我觉得我们是,在这个赛道里面,一个跑出速度的玩家,我们跑出的速度,让大家可以看见我们的未来,我们也觉得我们可以,有机会创造新的market 也有机会去助力现有的market 我们可以enable 更多的,其他的AI公司,或者是,想要进入AI的公司,去enable 他们制造AI的能力,可以让他们,更多的接近AI 和利用AI 创造更多的价值,那么我们如果能提供,这部分价值的话,这个就是我们,值得被投资的原因,他们还是看重这件事情,觉得这个事情,是关键的,我觉得肯定很多人,是看重事情的,当然早期投资,也有些,也看人吧,我其实更喜欢 [01:18:22]
陈茜:看人的invest 但可能后来,可能接下来 A轮 B轮 C轮,之后的inmaster 就会看数字跟业绩了,但是我们第一个,因为有这个开源的技术在,他们肯定是人和师一起看的 [01:19:13]
盛颖:至于他们为什么看中了,我就不替他们回答,然后你为什么,对开源这么执着啊,这个是追溯到,我其实想纠正一下,我觉得我不是对开源执着,在乎,就是我没有刻意,要在乎和执着它,其实它是自然发生的,当然我从这里获得价值观,确实跟我以前的经历有关,我出生在江西这样一个,中部的省,也不是很发达的一个省,然后我小时候受到的教育,我已经在江西省,受到很好的教育,但是你放眼全国,甚至国际去比的话,那我当时受到的教育,还是很朴素的一段教育经历
开源文化与机会平等
盛颖:还是很朴素的一段教育经历,当时我想要学编程,其实没有太多的资源可以学,所以我大部分的学习,都是从互联网上拿到的,计算机那个时候,也不是最火的专业,计算机竞赛,更不是大家追捧的竞赛,所以你能够在市面上,搜集到的教材,或者是各种资源,都非常的稀少,都是贵金加工的,所以当时我的学习,全都是来自于,我去互联网上,去看到的那些,非常random的,别人留下的帖子 CSDN对吧,各种当时 online judge的,那个网上题谱,我从那些地方,学到的东西,都是来源于,我不知道是谁的人,我最近也不知道,他们是谁,当时我也不知道,他们是谁,我只是过去非常迟迟,把代码拿走了,我回家研究,然后我都不知道,写这个代码的人,把它使用出来的人是谁,我是被这样一群人,被互联网上,不知道事业上在哪里的人,给raise起来的,就是我是被他们教会的 所以sharing open的这个文化,它对我来说是一个,就像我生活的空气一样存在,我也没有觉得,我在刻意追逐它,但是它对我来说就是一个,从我很小很小开始,它就一直在我身边的,像空气一样,我觉得它理所应当,你有一个idea 你做了一件事情,你不分享出来,那才觉得奇怪,我其实是这样一个状态,你觉得太原社区,在最近几年,有发生什么变化吗,一个好的变化,一个不那么好的变化,好的变化是,我觉得开源越来越多了,就是大家越来越追求开源,越来越愿意开源,越来越相信开源的价值,不管是,大家的这个mindset 就是人对开源的欣赏,还是资本对开源的认可,都是上升状态的,但是有那么一点,不好的变化是,他的这个追捧上升中,也开始掺杂一些,其实不是那么,纯粹的东西在里面,你掺杂一些,不是那么纯粹的东西,一个是会破坏,原来我们所想象的,那个开源带来的,那个美好的事情本身,另一方面是 你如果开始有这样的东西存在了,会让原来相信这件事情的人,变得不那么相信,开源里面混进了一些功利主义者,这些功利主义者的存在,使得那些本来不是功利主义的人,分不清楚开源里面的成分,哪些是纯粹的,哪些是不纯粹的,他们的影响不仅仅是他们自己,这是我可能觉得开源也,你在变好的过程中,也同时会开始出现的一种balance 就是东西总是阴阳总是共存的,一种balance 大家最近对开闭远之争,也聊得蛮多的,你觉得整个AI的走向 [01:21:47]
陈茜:会慢慢地往闭远那边去迁移吗,还说以后,我觉得还是共存状态,我觉得开远不会停,而且根据我的了解,它也没有停,有更多的人一直在想要,进来贡献自己的力量,但我也不觉得 [01:22:20]
盛颖:所有东西都应该开远,因为你不能没有规则,你也不能没有戒心,就是完全地开放开远,这个状态,如果你没有掺杂太多的,可逃离的空间的话,它可以是美好的,但你一旦把它完全打开的话,人性的恶也会被放大,是,所以我觉得两种argument都是正确的,我确实也不觉得 AI应该完全地展现在所有人面前,它确实有risk 我不否认这一点,我也不站在 AI应该完全被握在一小批人手上,我也不站在那一侧,我觉得AI应该均等地,被握在不同的人的手中,我们想做的就是这件事情,就是Red Hat不是,纯粹为开源服务的,其实,就是我们是有开源文化在,但并不是为,我们做的所有事情,都是开源和为开源服务的,我们也为币源模型服务,但是我们说的,这个dechromatization是,我们允许
陈茜:我们认为开源币源是共存的,但是我们希望币源,它存在但不 centralize 理解,但这个怎么实现呢,所以我们希望提供这个,能创造最好的币源模型的 toolchain 让所有人都拥有 [01:23:24]
盛颖:制造属于你自己的AI的能力,但是你制造出来的AI 属于你自己,安卓被个昨天呼吁,就是大家都停止AI的研究,但是他又下了一个附加条件,就是说我现在要make sure 大家都停止了我才停止,就是你现在comfortable
陈茜:就是这些最强大的模型,都被握在这么几个的 VM模型的player手中,这件事情,这件事情它能被打破吗,你觉得,我觉得这件事情很难发生,它是违背人性的
盛颖:你是说就是所有人停下来 AI研究这种事情是,因为你大家没有在,你这样一个体系里面,大家没有拿到同样的资源,所有人都想要接受到,最好的AI 所以这个事情就很难发生,我不觉得它不正确,其实如果说现在有一个,非常强力的上帝,他下来安排每一个人,做什么,那事情是可以发生的,我不认为那是一个,非常差的世界结局,就是大家都停了,然后Anthelope一个领先,我不觉得这是一个,极度差的世界结局,但是世界不可能停在那个地方,因为没有一个 [01:24:04]
陈茜:这样一个上帝下来,可以把所有人安排的,按部就班,一定会有人要在里面起义,所以我觉得它不可能发生,那这个事情会往哪里走呢,终局可能,不知道是不是一个,会非常美好,就像你说的,一个非常decentralized 每个人都能有,自己的AI的,这样的一个终局,但是你觉得 what's next 就看我往多远的,未来去想,如果我讲到,很远的未来的话,我觉得现有的AI 还没有强到,它会真的完全控制
盛颖:和威胁掉人类,所以在可见的,目前我能够 guarantee看到的,未来里面,人类还是安全的,我觉得,那如果是这样一个,前提下的话,大家还是会互相追逐,然后AI会变得越来越强,但是它这个强,是一个productively上,去取代人类的,一些功能性的强,它不能完全地取代人,它只是取代了,人类的一些功能,但这个变革,肯定也是巨大的动荡,它会对人类的,社会结构权力结构,产生巨大的动荡,就是跟过往发生过的,每次工业革命,一样的一个,一些席卷性的这种动荡,可能比以往的工业革命,更加工业革命,但是它是个,你可以理解的范畴,更远的未来就是,如果说AI它真的可以,强到已经开始操控人类,就它真的已经over人类 dominate人类了,能够做人类做的任何事情,如果那天真的能来的话,我们是阻止不了的,我觉得那天就会来,或者说你想阻止它的方式 不是通过呼吁所有的人类停止来阻止,这个事情是不太可能发生的,你阻止它的方式一定是发明,发现另一条路径,使得你允许AI继续前进,而人类还不会输,你在这中间想做什么事情吗,我觉得我想,我想要build的那个未来,就是一个,跟强力AI共存的未来,我们现在说,我们要把强力的AI 最好的AI带给所有人,就人类需要这个公平,你不太可能通过,一小部分人,把好的AI握在手里,其他的人都无能,来维护表面上的合理,这是不可能的,如果说AI一定要往前走的话,那所有人都往前走,所有人都能够去,不一定是所有人,不是literally所有人,但是我说,大家都不是被这样bombed 而是你如果你是个,你有这个小idea潜力,你知道往前走的时候,你能够解释到,最好的人类知识的话,你需要在这样一个,竞争环境中往前走,它是一个健康的,与AI共存和搭站的状态 你先要有这样一个假设,然后整个人类,他们才能是团结在一起,去寻找这个solution 所以这件事情是必然的,我们不管,如果那天发生,真的到了有一天,你需要让人类,寻找一个新的solution的话,这个它都是个前提,你先要让所有的人类,平等共处团结一致,然后你才能再寻找一个,人类与AI共存的世界 LMS 你再享受一下那段经历吗,然后我们计划是,我们想,我跟联名最早,一开始想成立一个机构,这个机构可以让,不同学校的人参与研究 Elementsis到今天,虽然它是一个non-profit的,然后我们大家都在,有power time的帮一些事情,但是Elementsis 其实是一个我们想,非常严肃做的事情,如果说Red Shark 有一天,我希望它永远走下去,但如果有一天,它不是走到底的话 Elementsis是那个,我终生会做的事业,但它跟Red Shark 也有些共同性,就它们的,都有个共同的value 就是关于平等和关于平权 Elementsis的平权,是来自于我们希望,能够孵化优秀的人才做的项目,即便他们没有充分的背景,没有充分的后台,没有充分的branding 这个是来源于一些,我自己个人经历,我经历过低谷的时期,很低谷的时期,也经历过很高昂的时期,我自己能感受到这里面的difference 可能同样是我,同样做了一件事情,我在高昂的时期,做的那件事情,非常容易被大家关注到,被大家记住,甚至被大家夸大,但是我在低谷时期,做的事情,有些也不错,但是其实你就,你就很难被大家所,所看见或者被大家认可,但我觉得这个difference 是没有必要存在的,而且它,是破坏社会公平竞争结构的 Beyond Chips希望,做的是磨平这个,这个差异,希望好的项目,真的能够被,托举出来,并且我们希望 Credits能够分到,做事情的人身上 让可能还没有积累,没有establish的人,对项目有更强的掌控权,保护未establish的,真实的开发者的掌控权,对项目的掌控权,我看你在开源社区的时候,还做了一些蛮多 [01:28:24]
陈茜:其他的一些项目,就比如说这个LM Arena 这个东西其实在行业里面,就是影响也是挺大的,那段时间就是,你其实主要还是一个主线嘛,只是说不同的项目,它在不同的project
盛颖:这样来推进是吗 Arena是当时我们做LM 那段时间的一个,其中一个fund project 我是觉得这个事情挺有意思的,然后做了一下,然后它意外地,得到了挺多的关注,可能大家当时就觉得,排行榜这个事情,可能本身它,具有一定的娱乐性,但是我觉得这个Arena 确实是我们开始做的,但你真的说把它壮大,然后做成公司,那确实还是我们后来,就是伟林
陈茜:我们把这个项目,交给了伟林他们,然后后面一些新的人,也加进来,是后面这个新的团队,把他们真的做成,商业级别规模的一个项目,就是刚才你说,每个人要公平,要平权,平权更多的是说,相同的机会,相同的机会,对,特别是对于 tech方面的一个,怎么说,程序员也好,或者是researcher也好,就是你对这件事情的在乎,是因为什么样的契机 [01:29:16]
盛颖:或者是什么样的经历,可以跟我们分享一下吗,一部分是,我觉得我好像天生就是这样,就是我生下来,就是在乎这个事情,另一部分,可能也是一种延伸,就是我觉得我,从小到大是,我觉得我是经历了,看见经历和看见了很多性别歧视
性别经验与创业判断
盛颖:看见经历和看见了很多性别歧视,我觉得虽然大家回避这个,就没有那么,这个话题有一定的可争议性,就是你怎么鉴定是或者不是,但我觉得我还是很明显地说,这个事情它存在,你无法回避它存在,而且我非常切身地经历过,无数这样子的例子,它每一个例子你单拎出来,它都非常小,但是它是那种就是,一件在你生命中,无时不刻每天发生的,平凡的小事,所以它其实对那些,被影响到的人造成的影响,不是你听到一个例子的时候,所感受到的冲击,而是把那一件小事的冲击,乘上一亿倍,那才是对那个人,人生的真实的冲击,然后你再把它扩大到整个群体,它所造成的这个互动性的影响,就是common sense的影响,刻在所有人,共同认知里面的影响,是没有办法,用一个例子去说清楚的,我觉得这个是,它造成了我为什么,特别在乎平权和公平平等 这些东西的一个,性格特质的原因,第三个就是我刚跟你讲的,就我自己经历过,我知道,我能感受到,就有些,包括我自己做的,我发的那些paper 有些paper 其实我觉得也就一般,但是那个paper 可能就是因为是我发的,或者是我一个斯坦福发的,我克里发的,然后大家就会觉得,它是一个标准,但其实同期,可能有一些,跟我做的paper 差不多的paper 我其实只是一个researcher 我不是那个科学家,但是因为这样一个身份,让我这份paper被定义了,但是我觉得这个事情,它本不应该这样子,虽然我是获益者,但是当我是获益者的时候 [01:30:53]
陈茜:我觉得我现在终于有力量可以,因为我是获益者,我终于有力量,把这个事情往外推动一点 EMSIS想要以什么样的形式,去把这个权利,很公平地分给每个人呢 [01:31:29]
盛颖:很难,就是首先我们都知道,这是一个结构性问题,它不是我能做的,或者是一个机构能做的,我觉得有一次,我跟杨斯维卡聊天,我忘记是具体聊了什么内容了,但是我跟他说,我想改变一些东西,他聊到一个什么事情,我说这个事情我想改变,然后他说你改变不了,或者是他问我说,你觉得你能改变吗,改变得了吗,然后我就说,我说我不能改变,我确实没办法改变,但是如果我能改变1%的话,我愿意用我的一生,去改变这1% 一样的答案,就是我觉得我改变不了,这个挑战对于我来说,在这个挑战面前,我太渺小了,但是我觉得我能改变一点点,或者是改变,我身边的一点点人,然后这个一点点人,他们会再把这个,精神再传递到更多的人身上,它就发生一点点变化,那我觉得它值得我用一生去做,但是这个里面有一个,很微妙的地方就是 你所说的当我们想要改变一件事情,推广一个价值观,或者人家改变身边的人的时候,这个传递是非常容易出错的,非常容易出错和被人利用,其实真正最后你能够传递的是,你是不是能够,你要pick的人非常重要,有很多人他就不在这个里面,他根本就不在这个体系里面,所以你不是所有人都可以被压就可以,所以你要找的那些人不是,打个比方说,我现在想帮助弱势群体,但不是说我真的去帮助弱势群体,这事就能被解决,解决不了,你要解决的是,你要找到那些跟你一样,想去找到,想帮助弱势群体的人的人,你只能去找到那个,能把这个东西散布出去的人,而不是直接去做到,就比方说,哪怕你培养更多的学生,成为老师都是不够的,你要培养的是,想要去培养,把学生培养成老师的老师,你需要把那个 recursive的链条建起来,才有用,对 然后这个事情,它会非常的慢,它会非常非常的慢,所以我觉得,我做不了多少事情,但是,但是它的好处是,你如果能做到一点,它就做到了,它不是个会回退的变,它不是个会回退的改变,它是一个gradual的,就是你往前推了,它就是往前推了,对,它至少是solid的一个 improvement 我觉得solid improvement 只要它是solid的话,就可以,如果它不solid 但看上去很,但是看上去是个big jump 但它不solid 那你这个big jump 就是没有意义,就我们平时退项,我也这么跟他们说的,我说不用着急,我们不用到那个go 但是你要,但是我们重要的是,你team能不能训练出来,一套系统化方法,我的每一小步的movement 是不是solid 哪怕我就动了一点点,比你那个动得很大,也不能将来还要退回来,要好很多 [01:33:29]
陈茜:在research界,也会有性别歧视吗,它也不能叫歧视啊,其实没有那么严重,但性别不平等,这可能都没有到,不平等和歧视的地步,但是它会有,但是这个 [01:34:07]
盛颖:这个很多小,很subtle的,很撒娇的这种,意识层面的不对称,是无处不在的,我给你举个微妙的例子,说你差点多微妙这个事情,就是微妙到你会觉得,它不是个事,就打个比方说小时候,比方说我竞赛出身,我打竞赛竞赛打得很好,如果我是个男生,大家就会说我是天才,如果我是个女生,他就会说他很努力,他很听话,就是,你很用功,对,他会觉得,或者你运气好,我小时候经历的是什么,就是有一年的竞赛,那年我一直是,成绩是,就是各种,大家比赛都是很好,都是顶尖最好的,反正至少是比我,我们学校里,跟我peer的那个人要好很多,但是,我身边的人会找,无数个理由,来解释我为什么好,他们觉得你赢是不应当的,他们否认你是天才这件事情,他们不否认,他们不会否认,但是他们会觉得你,就是,如果换一个人 那个赢是理所应当的,但如果是我赢了,他们会觉得你这个赢,需要被解释,但是你正常情况下,一个人赢是不需要被解释的,为什么要去explain 他为什么赢呢,他厉害呀,对,但是我的每一场赢,都要被解释,背后都有个原因,叫做我为什么赢,而不是你为什么输,这个解释可能是,他这个,他的对手最近状态不好,然后下一场,他的对手状态还没回来,然后下一场是,他这个题压中了 [01:35:15]
陈茜:这个题他以前做过,但是可能你,其实这个人,其实我并没有做过,但是你就,你感受到这个,也不是故意的恶意,让人很窒息,这些微妙的存在,也会出现在你之后,做研究,读博士,做项目,对是源源不断的,也都会一直有这样的存在,就是说,你赢了,你比人厉害,大家就会给你找理由,说他为什么,为什么是他,对他们会说
盛颖:我要进去研究一下,这个人为什么可以,他为什么可以,他为什么能发这么多paper 因为没有看真还传啊,一旦有一个合作方,然后这个合作方,他是男性,或者是它是established的,别人就会觉得,这个idea会不会不是他的,这是一些很微妙的事情,就是你单独去看的时候,他们都很小,但是我说这是一件持续发生,每天发生,每分秒在发生的小事,而且它会波及到,每一个在这个群体里的人,你根本就没有办法,跳出这个框架,因为一旦你跳出,别人就会觉得你小气,别人就会觉得你格局小,我年轻的时候,在对这个事情的态度,会更极端一些,但我后来觉得,我已经觉得没什么好,就是这个事情,是不需要被讨论的,你要解决这一点,只有一个方法,就是你让,所谓的入行者,或者说,如果在这个specific example的话,就是女性,真正拥有权利,出死之外没有别的办法 你就是不断去赢就好了,对,而且这个权利是,所谓的人类的,真的top百分之 0.001 百分之0.01 百分之0.1 百分之1里面,全部平权,她们只有真正获得权利 [01:37:02]
陈茜:这个事情才会被改变,其他所有的一切,通过education 是达不到任何目标的,你觉得在过去十年,有好一点点吗,还是没有,肯定有好一点点吧,对,我觉得是社会是在向前,但是这个它
盛颖:你如果拆分到,不同的方面的话,有些地方可能也在,也有,也不是都在变好,对它那个价值观,是一个很波动的状态,但你整个来说,我觉得是在变好,好的,我觉得我们cover了,大部分的东西,让我再看一看,有没有什么问题,你觉得有什么问题,我们漏掉的吗,我没有想过,有什么问题要问,但是我到结尾的时候,我倒是可以有一件事情想说,昨天你们过来,然后你给我看那个Dock的第一眼,我其实当时挺打动,就是那个Dock里面,已经有很多对我的描述,就感觉你们已经对我,我不知道这是AI生成的,还是人做的,没有我们看了很多文,是人做的,挺详尽的,就是我觉得很多投我的投资人,都没有这么样的去看,看过我的经历,在我跟他们聊天中,我发现他们不了解我的经历,他们不了解发生过什么,他们可能在别的村面去打听,但是这份Dock 还是我当时印象很深刻,我觉得包括融资的这段经历,给我的一些成长,就是很多职业本身 我们觉得会做的事情,其实它不是自然发生的,然后也许我原来觉得,一个做采访的人,他就应该对被采访者,先有一个深度的study 但事实上很多的采访者,他们并不一定,真的会做这件事情,然后也许我们觉得,投资人他应该对方子,做个很深度的调查,但实际上大多数投资人,都没有去做深度的调查,也许我们觉得一个PhD 应该好好做研究,大多数PhD 未必真的好好在做研究,有很多事情,它在定义里面该发生的,其实不会发生,我后来发现,一个人他只要,能把职业里面,该做的事情做完,其实就已经非常稀有,我觉得我昨天,看那个talk的时候,我不喜欢采访,本来我们也,差点就要退掉了,但是我昨天看那个talk的时候,其实我觉得,我愿意好好做一下采访,因为我觉得你们,做的这个劳动,我是respect 我就想说一句respect 谢谢谢谢,我也很respect你,然后,我觉得就是很多 就刚刚聊到的,比方说我的PhD 其实是因为有很多波折,融资手也有很多波折,我们这个开源项目,做起来也有很多波折,但我现在真的要我说,结局怎么样的话,其实这三段波折,或者说过往,包括同年子很多波折,他们的,波折之后的那个终点,都非常的好,我的PhD第一年,这个Rotate找导师,不是很顺利,但是最后我找到那个导师,他是一个教科书般完美的导师,我们这个开源项目一开始,也有各种各样的被打击,但走到今天我们有了一个,就是这么好的团队,我们团队大家都这么的,这么的有能量 [01:39:19]
波折融资与理想未来
盛颖:这么的有能量,这么的有热情,还是这么团结,我们融资我前面,也经历了很多各种各样的事情,但我觉得最后,我们容纳现在这些投资人,也是教科书般完美的投资人,是,我在当时刚出来融资之前,对这种用户所知,所以我想去学点东西,我就去看了一些书,然后理解了一下,融资的书,怎么去融资的书,类似吧,可能Founder 和投资人之间的,相关的一些书 Fundraising 101 差不多,然后我想理解,这是什么东西,那个时候,我很多名词都不知道的,我不知道什么叫term sheet 就是我是在一个,这样的状态下,吃完融资的,我也不知道,什么叫做估值,什么叫做sit 我都可能就没有概念,很多基础的概念,我都不知道,都不理解,然后pitch deck是什么 pitch deck这个词,我都没有听说过,什么叫Pitch Duck是什么,要写多少页,每页写什么,对吧,是完全没有概念,就是没有概念到 Pitch Duck这个词,我都没有听说过 他们设的是什么东西,有个人跟我说,你们有没有拿到,他们说啥是他们设的,我在一个这样的状态里面,所以我就去,尝试去学这些东西,但是我从书本里面看到的,书本里写的都是美好,书本里面告诉我的,那个投资人和 Founder之间的关系,是一个终身友谊的关系,是一个你们,并肩作战的关系,虽然我早有准备,童话总是美好的,虽然我早有准备,但那个实况中,现实不是这样的,现实总是复杂很多,但是我最后,真的跟我们Payr的投资人,这些partners 他们又回到了,我当初在taxbook里面,看到的那个,所谓的投资人,跟founder之间的关系,书本也没有骗我们,包括我以前PSC之前,很多人跟我描述过的 PSC导师跟学生之间的关系,可能也是过于美好的,但是我最后拿到了,就是那些美好的描述,他们都没有骗我,世界上存在 那么纯粹那么好的导师,存在那么好的投资人,存在那么好的采访者,但是绝大多数人,他们没有坚持到,把那个跌宕起伏的过程走完,没有坚持到相信,那个好的东西,其实是存在的,只是说你要筛选,只是说你要有耐心,等着它最后显露出来,你要有这个耐心,让那些其实不是理想状态的,沙粒自己脱落掉,然后很多人可能在中间就开始怀疑了,然后放弃了,怀疑了放弃了或者是他不再相信,就借这个机会我其实想说就是,那些好东西都存在,所有好的东西都不是编出来,但是你要非常相信他,你要相信到你身边没有这样的人,你还相信他,然后有一天那个跟你一样相信的人,他有一天会跟你相遇,坚持,这一点特别好 刚刚我都有点想流泪,你知道吗,这个人太好了 [01:42:39]
陈茜:最后两个问题,就是你是一个逻辑,如此缜密之人,但是就像你说的,这个世界上,很多东西是乱的,或者是它的逻辑,是不成立的,就很多random的地方,就世界是一个草台班子,就是这件事情能自洽吗,还是说,你其实是会suffer的,就我在我的逻辑里,是自洽的,我的逻辑不受,不受我看到的事情的干扰 suffer也有啊,就是会suffer
盛颖:就我其实很emotional 我是非常emotional的人,其实,就是,很多很微小的事情,会对我造成,非常大的情绪影响,但是我能够把那个,情绪影响,跟我的,价值观构建,分离开,比如说我看到了,很多事情,他们我不想看到,我不希望它发生,但他们都发生了,然后我觉得很不高兴,但是我看完他们之后,不会导致我觉得,那个是正常的,我仍然会坚信那个,我没看见,但我相信东西是对的,我仍然会坚信,就像我刚刚说的,我仍然会坚信,有一个我想看见的世界,但是我现在没看见,他只是我还没看见他而已,就这个事情,我可能会相信他,几年十年的时间,我还相信他在那里,这个东西很难被改变,但是我过往的经历告诉我,他们其实都存在,最后我都遇到了他们,所以我有很多正反馈,但我觉得,有很多人是没有看到正反馈的,所以你也不能说,就是要求所有人都坚持,但是我觉得我是幸运的,因为我全都看到正反馈,就是我的正反馈循环,让我可以在后面的 遇到这种类似情况的时候,坚持得越来越久,可能我第一次的时候,我等了几个月,然后它被验证了,下一次我等了几年,它被验证了,再下一次我等了十年,它又被验证了,但我就知道了,它总是能被验证 [01:44:04]
陈茜:下一次我可以等二十年,再下一次我可以等,就没有人生可能等完了,但是我想就是,至少我等到了,我觉得别人也能等到,你有没有想过,因为你是对的人,你是正确地去做,这件事情的人,所以你等到了,比如说有些人,他可能对自己的认知有误,他可能不是最正确的那个人,他可能不是有天分的那个人,可能他等下去就是等不到的,就需要找到这个自洽吧,就是那比方说
盛颖:我说我等了十年最后等到了,但是我其实自己的,自己的心里的一些认知,跟世界一直是不吻合的,这十年里我一直都是很割裂的存在,我觉得也OK 我也可以一直就很割裂的存在,就算我整个人生都很割裂,我也不想妥协,就是你能不能找到那个boundary 这是重要的,就其实这件事情OK 就是我想说,有这个割裂其实是完全OK的,它不会真的很痛苦,人们只是害怕而已,但如果说有个人告诉你说,就这样就这么回事,没关系,其实就真的没关系,但是首先这事上,也没有绝对的正确,我也不能说我是正确的人,大家都是正确的人,但我只说,每个人都有你自己的想法,然后你所谓的正确,在别人的眼中不正确,也是OK 也是完全OK 没有任何问题,但是它的唯一重点就是,你是不是按照你自己的想法,去认知和行动,还是你其实是被别人牵着走的,或者你觉得自己在妥协,你只要不觉得自己在妥协,都没关系,哪怕你真的错了,就错了吧,就也没关系 但是我非常不喜欢的是,就是大家都变成了,不能执行自己意志,这样是不好的,就如果所有人,都执行自己的意志,哪怕你不和谐,那也是自然存在的,其实本来就合理,好的好的 [01:45:36]
陈茜:那以上就是我们,所有的问题了,非常感谢,感谢施琳,好了,这就是我们今天的节目,不到两个月的时间 AI市场经历了,开源模型的大爆发,而SGLang 它也成为了AI时代的核心技术层,大家怎么去看,摄影的经历与你受到的启发,欢迎给我们写评论写留言,如果大家喜欢我们的节目,可以通过小宇宙 Spotify 苹果播客 B站还有YouTube来找到我们,我们部分节目的文字稿,也会收录在硅谷101的微信公众号上,感谢大家的收听,我们下期见