目录
- 开场介绍与前沿实验室技能 [00:00:00 - 00:10:00]
- 研究品味与论文背景判断 [00:10:00 - 00:20:00]
- 数学成熟度与面试作品准备 [00:20:00 - 00:30:00]
- Flash 项目与职业转变 [00:30:00 - 00:40:00]
- 支持他人成长与长期声誉 [00:40:00 - 00:49:04]
开场介绍与前沿实验室技能
一凯：欢迎收听跨国串门计划，这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术，我们不仅将内容翻译成中文，还完美保留了原主持人和嘉宾的独特声音，为您呈现全球顶尖的AI、财经、健康与科技领域精品内容。我是主播一凯。一位热衷于AI领域的产品经理。很荣幸能为您搭建这座跨越语言障碍的桥梁。接下来让我为您简单介绍本期我们克隆的这档节目。并分享几句非常精彩的原话。本期我们克隆的是Ryan Peterman主持的播客节目。他在2026年6月15日更新的这一期里。深度采访了Google DeepMind 的预训练领域负责人Vlad Feinberg。Vlad是一位在AI 前沿实验室深耕多年的技术领导者。他在这期节目里非常坦诚地分享了进入顶尖AI实验室的路径。以及他对研究本质的思考。在节目里他有几句话让我印象很深。每一次你启动预训练。你投入的算力都会比以往任何一次都多。研究能力会变得越来越重要。如果你去做Sutton book里的练习。然后录个视频发给我。我会很乐意面试你。做一个别人希望看到你成功的人。那我们就一起来听听这期的完整对话。 [00:01:24]
Ryan Peterman：每一次你启动预训练。你投入的算力都会比以往任何一次都多。这位是Vlad Feinberg。Google DeepMind 的预训练领域负责人。我向他详细请教了。怎么才能进前沿实验室工作。
Vlad Feinberg：那是一项我观察到在各个实验室都需求极其旺盛的技能。研究能力会变得越来越重要。如果你去做Sutton book里的练习。然后录个视频发给我。我会很乐意面试。你。以下是完整节目。
Ryan Peterman：你写过一篇帖子。标题是如何进入前沿实验室工作。前沿实验室现在到底需要哪些技能。 [00:02:05]
Vlad Feinberg：要不我们先聊聊工作的形态。前沿实验室需要的东西范围相当广。到了现在这个阶段。大语言模型已经成了一个。跟研究和产品都紧密相连的产物。这种紧密程度在机器学习领域是前所未有的。所以它触及的方面真的非常多。我那篇帖子的目标是提出几个具体的方向。在这些方向上。实验室会需要特定的技能。并不是要面面俱到。我真正深入去讲的。主要是内核开发和底层工程。用来在实际运行中加速这些大语言模型。这是我观察到在各个实验室。以及实验室内部不同项目之间。都需求极其旺盛的一项技能。所以把它作为一个整体需求。单独拎出来讲。我觉得非常明确。具体来说。每当我们要做一个研究项目。比如用某种方式改变神经网络的架构。或者重新思考如何做推理服务。来优化KV缓存之类的。你会发现在整个技术栈里。你都需要能用高效的方式。去实现这些新技术。所有这些不同改动的内循环。本质上都是在创造。能在超大规模下运行。具有高吞吐量和低延迟的软件产物。这其实就是跟经典后端工程思维。紧密相连的基础工作。所以没错。这看起来是一个非常适合。人们去专精的方向。我有朋友在OpenAI和Anthropic工作。 [00:03:38]
Ryan Peterman：他们那边有应用团队和研究团队的区别。我想知道DeepMind是不是也有类似的划分。你能不能讲讲这个区别是什么。我们确实有不同的重点领域。
Vlad Feinberg：比如在Google DeepMind内部。有一个团队专注于如何用我们的Gemini大语言模型。来优化搜索结果。这可能在某种程度上算是大语言模型的应用方向。但我不太想在这里划一条非常清晰的界限。因为这种层级的产品整合。本身就需要大量真正硬核的研究。就拿我刚才提到的那个例子来说。要确保这些大语言模型是事实性的。能引用来源。给出非常精准且有依据的答案。需要投入大量的工作。还要评估这些来源的质量。确保你不会引用到任何讽刺。或者玩笑性质的内容。我想这是一个很好的例子。说明即便是在针对特定产品的。所谓的应用型AI垂直领域里。你依然在做研究。话虽这么说。我们肯定也有非常经典的。大语言模型研究团队。比如预训练后训练。这些在Google DeepMind 的内部。仍然是独立的团队。专注于创造最先进的模型。也就是纯研究。但这里需要补充一点。我们所做的纯研究。它的价值有多大。取决于我们能在多大程度上把它实现出来。所以我们既要负责交付这些模型。确保它们训练稳定。在训练过程中充当某种意义上的SRE。保证模型训练顺利进行。同时也要负责提出训练这些大语言模型的配方。这两个角色是分不开的。同时承担这两种职责真的非常关键。所以我觉得你可以在研究和应用之间画出一个光谱。但在今天这个时代。不管怎样。我认为每个人都需要在这个光谱上灵活的游走。 [00:05:40]
Ryan Peterman：我注意到还有另一个光谱。就是从软件工程师到纯AI 研究员。你怎么看这个光谱。就是软件工程和AI 研究员角色之间的区别。
Vlad Feinberg：拿我自己的情况来说吧。我觉得我们做的很多工作。开发的很多新技术。根基都打在基础设施投入上。具体细节我可以后面再展开。但其中一个方向就是蒸馏。做蒸馏本质上是通过某种方式。把教师模型从海量底层数据。集中提取出的知识或统计信息。迁移到学生模型里。让学生模型比从未见过。这些辅助统计信息时表现更好。而当你讨论的是。从一个超大规模语言模型里。提取统计信息。并且要应用到。数万亿数万亿的token上时。你面对的就是一个。极其巨大的算力投入。动辄就是几百万几千万美元。这反过来就意味着。你必须想清楚。怎么把系统优化到极致。因为我们执行的每一个操作。都会被一个巨大的倍数放大。没错。每一秒都很关键。每一个字节的存储都很关键。而这其中相当一部分工作。就是实打实的传统软件工程。具体来说。我们的蒸馏基础设施。到现在大概已经迭代了三到四代。每一次迭代。我们都会退后一步。整体审视我们一直在用的蒸馏研究方法。然后思考如何扩展基础设施的能力边界。确实有那么几个关键节点。我们重新思考了执行蒸馏的系统设计。这让我们能够以快得多的速度去研究蒸馏方法。正是这种投入。比如花四个月左右重写蒸馏基础设施。最终让我们对蒸馏的缩放定律有了全新的理解。并转化成了真正强大的模型。所以这真的需要全栈的工作。我实在无法想象。如果没有在蒸馏基础设施上做这些投入。我们怎么可能做出Flash 3.0这样的成果。而这些投入归根结底。都是从一份传统的设计文档开始的。去思考生成教师统计信息的正确抽象是什么。为他们设计合适的存储系统。讲清楚如何支持在如此规模下跨多个数据中心进行读写。这些都是非常经典的分布式系统问题。 [00:08:09]
Ryan Peterman：听起来考虑到现在的算力规模。确实有大量的软件工程。后端和基础设施类的问题。但我还是觉得在这个光谱上的某个点。会有一个交叉地带。需要一些新的技能。比如如果你把一个随便找来的后端工程师。直接扔去调整模型架构之类的。这中间好像有个跳跃。比做基础设施工作跨度更大。
Vlad Feinberg：你怎么看这种区别。我觉得在研究工作中。确实存在一个交叉点。研究的本质是一种回报更高风险。也更高回报的尝试。我们有一个概念叫研究品味。它指的是一种高层次的直觉。能帮你判断在一个特定项目中。面对由多个不同里程碑。构成的有向无环图。你应该选择哪条路径前进。从某种意义上说。我们也可以把软件工程项目。看作一个类似的有向无环图。你知道要达成最终结果。需要先完成一系列中间产物。但在软件工程里。这个图或多或少是确定性的。比如你先构建一个服务。再构建另一个。然后是第三个。或者你先搞定存储基础设施层。诸如此类。你可以单调的向前推进。但在研究领域。你必须去探索这个图。而它现在是随机的。因为其中一些节点。可能是一些研究想法。或者是达成最终目标的某个环节。他们可能成功也可能失败。我认为这需要一个思维模式的转变。而这种思维模式的转变。需要花时间去学习。也需要专门的技能。打个比方。这就像你在读博士期间会学到的那种技能。 [00:10:02]
研究品味与论文背景判断
Vlad Feinberg：这就像你在读博士期间会学到的那种技能。我可以很简洁的概括一下。Jacob Steinhard教授写过一篇非常棒的文章。我很喜欢用其中的框架来思考我的研究工作。那就是把研究看作一个MDP。这里的MDP指的是马尔可夫决策过程。再展开一点说。我们有一个高层的概念。就是把研究项目里的不同里程碑。看成一个随机的依赖图。你可能需要先得到某种结果。或者证明某个定理。才能推导出某个结论。机器学习的研究项目也是类似的。在这个图里展开这些节点。本身就是一个随机过程。这些方法可能走得通。也可能走不通。而一旦某个方法走通了。又会为你打开一系列新的可能性。所以在软件工程里。你可能会把便利这张图的所有路径都写清楚。然后找出通往目标的最短路径。但这种方法在研究里不是最优的。因为如果图中节点之间的转移突然变得不可靠。甚至有些节点你一开始根本不知道。也就是一个隐藏的MDP。那你处理这个问题的方式就会完全不同。具体来说。你必须把不同研究想法的成功率。和你要投入的时间成本都考虑进去。还要事先预估这些成功率大概是多少。这和写一份软件工程项目的设计文档。完全是两码事。这种还没动手做。就能凭直觉判断一个方法。有多大可能成功的本事。我觉得就是大家常说的研究品位。而这恰恰是你为了正确便利。这个MDP所需要培养的能力。对于这些研究项目。 [00:11:44]
Ryan Peterman：或者说研究工作的本质。听起来你是在说。这里面的不确定性要大得多。我还是想更具体的了解一下。这种工作的性质。如果你把一个后端工程师。直接扔进一个做研究的团队。他们具体会在哪些地方掉队。我第一个想到的就是。对你所处的研究领域。有没有正确的背景认知。因为很多研究工作。 [00:12:09]
Vlad Feinberg：几乎都需要你抱着一种。非常谦逊的态度。认识到前人在相关工作上。已经投入了海量的资源。在我没有彻底搞清楚。全人类在这个课题上的。最前沿进展之前。我肯定没办法去推动这个前沿。所以针对一个特定领域。建立起对过往工作的扎实理解。做好相关的文献综述。这大概是我能想到的。人们最容易栽跟头的第一关。你需要有阅读的能力。也需要有技巧去高效地。遍历某个课题历史上。形成的引用术。因为你不可能有时间。把所有这些论文都读完。你得培养出一种感觉。知道哪些是高价值的论文。以及用什么方法。可以在不逐字读完的情况下。判断一篇论文值不值得读。这是我想到的。人们需要培养的第一项技能。而为了能读懂这些。研究级别的论文。你本身就得有机器学习的背景。有计算机科学的背景。而且根据论文和领域的不同。可能还需要各种前置知识。比如相关的数学基础和课程。才能真正理解。这一点非常重要。你得对现有的方法体系。有深刻的理解。因为如果你连已有的东西。都搞不明白。那基本也没什么希望能改进它。我之前好像提过。我们团队的工作之一就是征流。要想推进我们对大语言模型征流的理解。你首先得搞清楚。我们用大语言模型到底想做什么。简单概述一下。大语言模型研究。尤其是在预训练阶段。核心就是缩放定律。那什么是缩放定律。大家很关注它的密率结构。关注这个指数那个指数的。但其实函数形式没那么重要。真正重要的是。对于一套既定的。用来扩展大语言模型的方法。也就是recipe。当你往一次大语言模型的预训练运行中。投入越来越多的flops时。你必须能够预测这个模型。最终的测试损失会是多少。我们为什么关心这个问题。为什么要预测泛化误差。在经典的机器学习领域。比如我们想在ImageNet上夺冠。我们有测试损失。也就是对1000个不同类别的分类错误率。你运行你的VGG或者ResNet方案。得到那个分类错误率。这能估算出模型在这1000个类别的图像分类上表现如何。我们可以通过验证集来估算方法的好坏。每当我们对神经网络有一个新的架构想法。就训练它。然后跑一堆验证集。得到一个交叉验证误差。这个误差本身就是对最终测试误差的一个估计。通过这个过程。你就可以不断迭代各种想法。但在LM的世界里。情况就不一样了。每一次你要启动一轮域训练。你投入的算力都会比以往任何一次都多。所以从某种意义上说。这就像是ImageNet问题的一次性版本。你永远没机会看到完整的ImageNet训练数据集。你得先在Amnesty上练手。然后是CIFAR。然后也许基于这些经验。你试着搞出一个方法。希望它一上来。就能在ImageNet上跑通。如果你就这么直接干。我相信很多人都试过。至少我当年学这些东西的时候。就是这样。你搞出个方法。在Minist上效果拔群。甚至在CIFAR上也能用。然后一到ImageNet上突然就崩了。你会发现。很多东西并不会这么轻易的。跨规模泛化。所以我们在LM上做的很多工作。就是制定各种配方。这里的配方指的是一个函数。输入是你想投入的训练算力。输出是一套针对这个LIM的训练流程。如果你能把这份配方和一个预测规则结合起来。而这个预测规则能准确预测你LIM的最终精度。那你就能利用这个预测来决定怎么改进你的配方。这些就是关于LIM研究。大概是什么样子的一个大量背景。但我们之所以能形成这种理解。甚至认为这条路是可行的。要归功于大量早期的LM缩放工作。从Kaplan那篇论文到Chinchilla。我们看到了很多。自那两篇论文之后。又涌现了大量工作。去探索除了参数量和训练Token数之外。还有哪些因素会影响你的预测精度。比如独立Token的数量。但我想说那两篇LM的奠基性论文。他们其实是受惠于一条更长的。关于缩放的研究脉络。可以追溯到最早的GPT系列。然后Google在自己的PALM系列论文里。也做了大量缩放研究。正是这一系列工作。塑造了我刚才描述的那种观点。而这种观点。你只能通过亲自去完成一遍文献综述。 [00:17:23]
Ryan Peterman：才能慢慢建立起来。比方说如果你要挑一个人加入你的团队。你判断它是否适合帮你推动前沿的标准。就是它对前沿的理解。包括对现有文献的掌握。而这又需要很多前置条件。我记得你在帖子里把这叫做数学成熟度。对。我觉得一旦你具备了数学成熟度。再去阅读和理解那些论文就很容易了。
Vlad Feinberg：我特别提到的那几篇。放到现在已经是基本门槛了。所以我会期望候选人本来就熟悉它们。我认为通用的技能组合是。能够深入钻研一篇那种水平的论文。然后理解它。能够从一篇论文里提取一个研究想法。然后自己动手把它实现出来。这是一个非常重要的能力。我们每天都会接触到各种各样的新想法。他们不一定都能直接应用到我们的领域。但如果你能深刻理解他们。你就能在他们的基础上迭代。在我们的领域内改进它们。所以当我们在评估一个人。能否处理机器学习论文里的。数学概念时。这大概就是那个关键技能。它能证明你有能力。随便拿起一篇论文。 [00:18:39]
Ryan Peterman：然后去判断这些想法。在Google的环境下。有多少可以借鉴过来。下面这个清单可能不会很全。但我很好奇。还有哪些领域。是人们可以深入钻研。从而了解前沿AI 研究。到底看中什么的。你刚才提到了蒸馏。也提到了内核开发。听起来内核开发到哪里都有用。但还有没有其他。你一下子能想到的领域。 [00:19:05]
Vlad Feinberg：不一定要穷举。随便说几个就行。我觉得有一块其实挺厉害的。就是编程语言研究。通过研究怎么在编程语言层面。做抽象。我们可以让内核开发变得更容易。我觉得Thunder Kittens就是个很好的例子。搞出一套抽象。让你能用四个函数来写内核。而不是一堆乱七八糟的C++代码。这样你就能很快的开发出。充分利用硬件的算法。所以到那个时候。重点已经不是编程语言研究本身了。而是你对这类编程语言抽象有热情。愿意去跟底层硬件打交道。那些对GPU DSL这类东西感兴趣。愿意去尝试的人。这里面有大量硬件相关的领域。特定语言。除了编程语言和缩放定律文献。我还能想到的另一个领域是。强化学习文献。特别是自从RLHF出现之后。 [00:20:02]
数学成熟度与面试作品准备
Vlad Feinberg：特别是自从RLHF出现之后。我觉得我们已经看到。像PPO这样的深度强化学习算法。确实在生产系统里有一席之地。曾经有一段时间。大家还在质疑这一点。但现在这些算法。被应用到真实生产系统里。已经基本是共识了。而背后的理论。你得从强化学习的基础开始。一步步往上。学到今天各种各样的基于价值的方法。和策略梯度方法。这是另一个我觉得文献积累。非常深厚的领域。值得去爬一遍。然后对于偏后端工程的同学来说。除了内核本身。我觉得分布式系统和优化工作之间。有一个挺有意思的交集。怎么设计神经网络训练算法。让它能在很多GPU上训练。这里面有各种好玩的挑战。比如异步性。梯度的新鲜程度。流水线如何影响成熟度。你在训练算法设计里。做的所有这些系统选择。都会影响收敛和神经网络的最终质量。而且这些东西是可以脱离。LM这个场景独立分析的。已经研究很久了。所以特别是如果你更偏基础设施方向。 [00:21:16]
Ryan Peterman：好好理解这些不同算法是怎么工作的。会是一个非常好的起点。你觉得不同前沿实验室的要求有差别吗。比如说如果有人想去deep mind。有没有哪个领域是deep mind。
Vlad Feinberg：比anthropic更看重的。我觉得在技能组合方面。可能都差不多。对可能在商业策略和产品组合上会有差异。这取决于各个实验室的专长。以及他们可能面对的不同客户。但我觉得各个实验室。在招人时看中的点。重叠度其实非常高。就像我发了那篇帖子之后。你会看到OpenAI和Anthropic的人。
Ryan Peterman：都来说对我们同意这些建议。所以我觉得。这多少算是一点证据吧。我觉得大家这么想靠近AI 研究。一个很大的原因是。人们觉得软件工程将来没那么重要了。那在研究这边。是不是也有类似的想法。觉得LM也会接受很多研究工作。这样的话。其实也没理由。非要偏向AI 研究。而不是软件工程。所以我觉得。研究的技能组合。 [00:22:23]
Vlad Feinberg：会越来越重要。要我说。能在工作规划中。处理随机性成分。这会是我们未来。做事方式里。越来越大的一个部分。想办法在你做的任何事情里。用好AI。哪怕跟软件没关系。这都是一个。需要马上开始锻炼的重要能力。因为这些组件不是确定性的。你得思考怎么围绕这些LM构建系统。让自己工作更高效。这会是未来让你脱颖而出的关键。而且我觉得。不管你将来做什么。这一点都成立。你看我觉得现在到处都是Food。尤其是一些人在AI营销上的做法。这是被刻意利用的Food。所以我觉得。大家真的应该专注自身。想办法让自己变得更有生产力。我不认为AI会取代我们所有的角色。原因在于。我们人类在组织里做的一个重要事情。就是建立新人网络。这个组织是一堆资源。和一群管理资源的人。我们做的一个重要事情。是把这些资源分配到特定目标上。就算我们能加速执行。但围绕资源怎么分配来做决策。这件事永远需要归因到。一个做决定的人身上。原因很简单。你不能把责任推给AI。我们现在已经有LM。能非常深入的理解法律了。他们可以帮你审核同什么的。但他们不能代表你出庭。因为他们没法被吊销执照。所以我觉得这是一个很犀利的说法。为什么法律行业会继续存在。尽管LM在回忆判例方面非常厉害。因为你想要一个能负责的人。能验证AI输出的人。来更有效的帮你完成法律工作。而不是把你的法律辩护。直接交给一个LM。对。说到FUD。那其实是你写那篇文章的最初动机。是啊。我真的觉得。大家应该抱持一种建设性的心态。我之前看到一条推文。好像是滴滴发的。就是那种长篇大论的制造恐惧。说什么AI永久底层阶级之类的。人很容易陷进那种循环里。但我觉得重要的是去想。我们对自己的未来都有主动权。我们可以从今天开始。投资那些对未来重要的技能。这才是你唯一该做的事。对吧。担心是没用的。所以我想写那篇文章。部分原因就是为了回应这个。因为我能看到这种情绪在回想。我之前在普林斯顿做过一次讲座。当时一个很大的问题就是。怎么才能进deep mind的工作。而且当别人知道我是做什么的。这基本就是他们问的第一个问题。所以我觉得给这些讨论加一点。更有建设性的方向。会有点帮助。 [00:25:20]
Ryan Peterman：关于那篇文章最后再问一点。你看如果想拿到一个职位。显然有技能这回事。我们聊了很多关于技能和你跟岗位的匹配度。但还有一方面是怎么去展示信号。就是如果你要向前沿实验室推销自己。什么东西会被看中。哪些信号最重要。实际的证据证明你创造了对别人有用的东西。顺着内核开发那条线来说。
Vlad Feinberg：对吧。你可以拿我们现有的任何一个开源LM去做优化。你不需要在所有场景下都让它变得更好。你可以展示我在这个设定下对它有一个改进。甚至不一定是加速GPU上模型推理的东西。有各种各样的开源技术栈。比如VLM。除了加速设备上的LM推理。你还可以做很多其他事情。围绕LM的服务栈。是一个非常复杂的分布式系统。它要维护KV缓存内存。要处理各种负载均衡。请求排队。还有后端服务器非常常见的问题。这些项目一直在寻求帮助。所以给VLM或SGLang做贡献。或者用TensorRT 做演示。他们好像有一个叫Dynamo的分布式系统。可以做分离式服务。你可以展示你用这些组件做了一个项目。或者改进了这些组件。这对我看任何候选人来说。都是一个极其积极的信号。也是对开源非常受欢迎的贡献。 [00:26:51]
Ryan Peterman：我觉得我们刚才聊的很多内容。其实默认的是从外部招聘进入前沿实验室这条路。但很多前沿实验室内部也有庞大的组织。这些组织不一定都在做最前沿的工作。比如说Google DeepMind对比一下。假设有位做搜索的基础架构工程师。TA有后端技术栈。但可能领域知识没那么深。想内部转岗到Google DeepMind。在这种情况下。你的建议会跟对外部候选人有什么不同吗。我之前在搜索那边有个密切合作的同事。叫Nate Litson。 [00:27:26]
Vlad Feinberg：它就真的转到了我的团队。它非常厉害。现在我们团队里。Flash和Flash Lite的推理协同设计。很多都是它在负责。我觉得它是个很好的例子。它的做法是。怎么帮自己的产品领域。最有效的用上这项技术。所以如果你在一个。不直接生产这些模型。但需要去用它们的组织里。怎么在组织内部。有效的应用和部署。这些大语言模型。这里面其实有很大的空间。如果你能成为那个。把事情做得特别有效的人。不仅能给你的组织。创造巨大的业务价值。让你在内部脱颖而出。而且你自然而然就会成为。我们研究团队的合作方。我们会一起确保模型。在你的业务里真正有效。到那个时候。你转不转岗都行。如果你转过来。我们当然很乐意跟你合作。但我觉得到那一步。你其实已经在做很前沿的事了。把新技术整合到人们真正在用的产品里。所以这就是我的建议。 [00:28:32]
Ryan Peterman：在我们结束这个话题之前。我记得你当时在帖子里发了一个很具体的邀请。因为你当时在招人。你想再说一下那个邀请是什么吗。对。
Vlad Feinberg：我当时就在想怎么做到言行一致。怎么证明这条路确实能展示出我看中的那些技能。主动性。数学成熟度。韧性。所以我列了几个练习。能展示你对缩放定律有初步了解。愿意深入工程细节。去实现一个真正的Transformer。也愿意去掌握我们日常用来评估。大语言模型规模的那些基础数学。具体有哪些练习我就不全列了。但如果你把Sutton book里的练习手写完成。再把我帖子里提到的Transformer练习也做了。录个视频发给我。而且你能在纽约办公室工作的话。我很乐意面试你。确实有不少人。因为这个联系了我。我已经收到了几份提交。正在走面试流程。所以工作量确实不小。但挺厉害的是。我发帖大概一周内。就收到了回复。说明这事是完全可行的。当然我的招聘名额有限。机会摆在这。但我能招的人也有限。不过好消息是。这本身就是一个。很强的自我提升信号。不管你能不能进DeepMind。这件事本身就值得做。而且我觉得完成这些练习。也能帮你准备好其他地方的面试。 [00:29:59]
Ryan Peterman：就算我的名额满了。 [00:30:01]
Flash 项目与职业转变
Ryan Peterman：就算我的名额满了。我认识很多也在招人的人。我很乐意帮忙推荐。下一个话题。我看到你是Gemini。预训练的领域负责人。我想能不能请你从你的角度。给我们一个关于预训练的高层次概述。以及这个领域面临的主要挑战是什么。我们可以聊聊这个。对。我们在预训练上要做的工作。其实非常多。
Vlad Feinberg：作为这个领域的负责人。我团队具体负责交付的东西。包括Flash模型。Flash Lite模型。这些模型会被用在搜索栏里的。AI概览和AI模式中。还有一些其他的第一方模型。供广告YouTube。这些不同部门使用。除此之外。我们还是Google和Apple合作项目的。关键技术对接人。所以也会做一些技术方面的工作。这些是我团队实际的产品及交付物。在这之上我们还会做研究。确保这些交付物是顶尖水平的。同时我们也会做一些通用的预训练研究。这些成果也会贡献给Pro系列模型。研究的性质。要我说大体可以分成三个方向。一个是蒸馏。这个我之前提到过。另一个我喜欢叫它推理协同设计。也就是去创造那些跑推理时效率很高的神经网络架构。具体来说就是设计网络拓扑结构。决定Transformer里门空层和线性层中矩阵乘法的矩阵形状。还有注意力机制里的形状投数等等。这样做的目的是为了有效利用你用来提供服务的硬件。最后一个支柱是新的量化方法。量化这个东西。是我从加入Google起。就一直在研究。一直很上心的事。它真的能改变前两个方向。能做到什么程度。所以推进模型压缩技术的前沿。也是我团队研究中。一个非常重要的支柱。一般来说。量化指的是在某种程度上。缩小神经网络存储权重所需的空间。通常一个神经网络。在训练时。是用一系列数字来表示的。这些数字构成了网络内部的矩阵。并且是以FP32。也就是32位伏点数的权重来存储的。但后来发现在做这些计算的时候。你其实不需要那么多额外的精度。也能维持网络的质量。用一些相当简单的方法。你就可以把存储这些权重的精度降到4个比特。所以一下子我们用Float32来表示的。能达到大概7位精度的巨大数字范围。就能以相当高的保真度。被4个比特的整数很好地表示出来。而后者只覆盖了从-8到7这么小的一个范围。这本身就已经是个奇迹了。但更神奇的是。你可以把这种量化变换应用到神经网络。在运行时处理的激活值上。一旦你这么做了。因为你做矩阵乘法时。用的操作数比以前小得多。计算神经网络所需的电量。就会显著下降。有意思的是。AI硬件总运营成本里。有99%都来自运行。这些芯片的电力消耗。所以如果你能实现这些操作。就能让神经网络的运行成本。更低效率更高。这有助于处理更多的请求。也有助于降低延迟。所以量化研究的核心目标。就是怎么把前沿。从4比特这个范围再往前推。我在推特上总能看到一种说法。就是讨论MFU。 [00:33:51]
Ryan Peterman：也就是模型浮点运算利用率。不在这个领域的人。看到一个只有百分之十几的数字。就会觉得。哇他们浪费了那么多GPU资源。我想你能不能给大家解释一下。为什么一个看起来很低。或者说表面上很低的MFU。其实一点都不低。也许也可以顺便解释一下。MFU到底是什么。对我们算MFU的时候。 [00:34:16]
Vlad Feinberg：是用神经网络实际执行的flops数。除以加速器在你这次请求时间里。理论上能跑的总flops数。所以从某种意义上说。这告诉我们加速器的flops能力。被有效利用的时间占比是多少。要达到100%MFU。你就得把加速器的矩阵乘法单元完全用满。但这其实不是一种很有用的计算方式。因为实际中神经网络还得做激活函数。做注意力计算。或者把中间结果写回HBM。所有这些操作都需要用到内存总线。或者用到向量处理单元。又或者它们本身就是一些数学运算。底层硬件跑起来比矩阵乘法要慢。所以这些因素都会导致。你跑不到处理器标称的满速。这就是为什么你不会一直看到。百分之百MFU。因为你的神经网络。有一部分时间在读内存写内存。有一部分时间在做一些。天生就比芯片上其他单元慢的操作。我觉得我之前聊到的推理协同设计。很大一部分工作。就是在协调芯片上所有这些不同的能力。比如芯片间的通信。内存带宽。也就是我们从内存里读参数的速度。flops。当然也算。这可以是矩阵乘法的flops。也可以是出力向量的flops。比如做激活函数这些。所有这些操作在硬件上。都有不同的速率。而一个给定的计算。不可能天然就匹配。硬件上每一种操作的速率。所以你在设计神经网络的时候。要能选出合适的网络形状。在做推理时。把所有硬件单元都跑满。尽可能把MFU拉高。这件事之所以不只是一个代数问题。是因为这些形状选择。在你真正训练这个神经网络时。会带来不同的质量结果。所以推理协同设计的过程。就是想办法找出那些。能可预测的扩展。预测效果好。质量高。同时在推理时。又能把MFU尽量做大的神经架构。这种联合优化。就是推理协同设计特别有意思的地方。也是一个常做常新的问题。因为硬件一换。Flops跟内存带宽。 [00:36:36]
Ryan Peterman：通信带宽之间的相对常数就全变了。这些变化会直接影响。最优的神经网络形状应该是什么样。换个话题。Google有个叫Spot Bonus的机制。就是别人可以一次性给你一笔钱。作为对你表现好的感谢。我在你简历上看到Jeff Dean本人那位传奇人物。给过你一次Spot Bonus。如果你能讲讲这个故事。我很想听。他为什么给你这个奖励。对那次其实是在Gemini项目刚开始的时候。 [00:37:10]
Vlad Feinberg：他给那些参与并推出了第一版 Bard的人发了Spot Bonus。我当时在那个超大项目里的贡献其实非常小。我帮忙做了SFT。就是给最早发布的Bard 版本之一。做监督微调。那次经理给我最大的教训是。当时我还在Google Brain做纯研究。满脑子想的都是。怎么在NeurIPS、ICML、ICLR上多发一作论文。我清楚地记得自己当时有个念头。就是。我是不是应该埋头继续写论文。幸运的是。那时候我的经理Rohan O'Neill。他非常鼓励我们所有人都参与进来。那正是我需要的动力。让我愿意卷起袖子。做一大堆超参数调优和工程工作。把模型跑在一些很老的TPU上。多挤出一些算力周期来做SFT的尝试。那次非常微小的初期参与。被Jeff Dean注意到了。我觉得这件事后来慢慢发展成。我在大语言模型方面越来越多的投入。最终也让我走到了。今天的位置。所以我想说。这件事的重点。不在于那次SFT。对出版发布有多大帮助。而更多在于。它让我认识到。有相当多的工作。有些并不光鲜。有些就是超参数调优。去折腾XLA编译器。好让你的程序。塞进特定内存限制里。但这些工作。能贡献给一个。更大的业务目标。而这对参与高价值项目来说。真的非常重要。你做Gemini已经有一阵子了。 [00:38:53]
Ryan Peterman：既然它是最高优先级的项目。肯定有一些你经历过的。意外事件或者战斗故事。我很好奇。你在做Gemini的时候。最难忘的一个战斗故事是什么。要说我最喜欢的一个。 [00:39:06]
Vlad Feinberg：那肯定是Flash 2.0。这个项目挑战非常大。走到那一步的路也很长。我们当时重点优化的一个方向。是Flash 1.5开创的那个品类。速度极快。延迟极低。同时质量还很不错的模型。而且它必须得快。因为搜索要用它来。在AI模式下快速生成回复。正因如此。在Flash 1.5和更早的版本里。我们一直专注于稠密模型。这种模型响应速度可以做得很快。虽然那时候我们已经知道。MoE模型。也知道它能提升模型容量。所以后来就出现了一个问题。我们当然想用这种新架构。但直接切换到MoE并不容易。因为MoE通常会用多得多的参数。参数一多。占用的HBM就更大。我们做推理的那些芯片。HBM是有限的。所以必须把OMoE切分到多个芯片上。 [00:40:01]
支持他人成长与长期声誉
Vlad Feinberg：所以必须把OMoE切分到多个芯片上。比如说你有N个专家。可能就得把它切分到N个芯片上。或者按N的某个倍数来切。这就会导致模型内部产生大量的通信。当一个token需要被路由。到某个专家。而这个token可能在第一块TPU上。却需要跑到最后一块TPU上去。那在前向传播里。就会引入巨大的通信开销。所以这个操作的延迟。会随着N的增加急剧上升。而MoE的挑战恰恰就在于。它会增大N。所以这一点真的把这个方案给卡住了。后来发生了一件很有意思的事。我们其实很早就知道流水线推理这个技术。只是在稠密模型上。它一直没什么用武之地。我印象特别深。很早的时候我跟Shoto聊过一次。Shoto就说。你们这个明显是受限于算力的。流水线根本改变不了你们的预填充性能。他说的没错。我后来测了一下。就把这个想法放下了。但有意思的是。当时我带的团队很小。我下面有一个同事叫刚雅。他提了一个很好的想法。他当时在跟Rahu，Aria。还有Google以色列团队的几个人合作。思路就是把流水线。预填充用到MoE上。流水线这种技术。不是把N个专家并行。分布到N台机器上。而是把层并行分布到N台机器上。这样一来。在某一层上。你就不需要在机器之间路由Token了。现在变成。第一层先处理预填充请求里的。一部分Token。然后把处理完的token。交给下一台机器去算第二层。接着是第三层第四层。而所有的专家都可以留在单台机器上。或者一小部分机器上。这样做实际上改变了通信模式。从原来每一层都需要大量交换token。变成了可以把通信隐藏在计算背后。因为你可以在请求的不同部分上。并行做流水线与填充。也就是说当第二层在处理你请求的前1000个token时。第一块芯片上的第一层已经在处理你请求的第二千个token了。这是一种打破HBM限制的方法。靠的是把层分布到不同机器上。而不是把专家分布到不同机器上。这样一来通信开销就降下来了。MoE的延迟突然变得非常有吸引力。Gemini 2.0的报告里说。这是一个M1系列的模型。而让这件事成为可能的。或者说其中一个关键。就是这个推理阶段的创新。Dwarkash和Rainer。写过一篇特别棒的文章。讲的就是这个优化。可以写进那本。缩放定律的书里。这真的是一个绝佳的例子。说明这种技术上的改变。能对LM的质量。产生多么巨大的影响。Flash 2.0。真正让人有成就感的地方。就是这个重大的MoE决策。当时听起来。好像只是一个小小的技术选择。但大家真的很担心。这个MoE的延迟。到底能不能控制在合理范围内。幸运的是。我能够推动一个。非常透明的技术流程。把这件事彻底搞清楚。到最后我们做出了正确的决定。但接下来就得把它训出来。这是我们当时在Flash。一个规模上训过的最大模型。我们知道这个方向是对的。但这也意味着。一个非常小的团队。要为此拼命干上40天。我们当时轮班训这个模型的人。大概也就五个。我记得我们所有人。就是一天一天地轮交接的。全是那种SRE式的活。要保证训练任务一直活着。那时候这件事交互性非常强。你得确保一切运行平稳。数据迭代器要调好。不能拖慢任务。如果数据哪里出现缺口。或者索引有问题。你得飞快的修好。因为每一秒都在烧GPU的时间。那晚上和周末怎么办。所以那40天我们基本没怎么睡。得在巴黎办公室和Mountain View之间排双班轮转。但最让人有成就感的是。这个模型出来的时候。差不多同一时间DeepSeek V3也发布了。然后华尔街日报发了一篇文章。就是那种渲染中国要用开源模型。接管AI的恐慌式报道。我记得朋友给我发了一张截图。是LM系统竞技场排行榜的表格。你看最右上角是ChatGPT DeepSeek。紧跟在后面。还说DeepSeek只花了几百万美元训练。就已经追到那个位置了。然后我朋友说你看Gemini 落后好多。因为表格最底下放的是Gemini 1.5 Pro之类的版本。我一看就觉得有意思。我刚看过这个排行榜。因为我们刚发了一个模型。实际打开网站。根本不是这样的。原来是华尔街日报。那篇文章里。故意省略了几行。现在你再去看那篇文章。就能看到当时。最先进的模型。Flash 2.0 Thinking。在右上角遥遥领先。DeepSeek V3。这可能跟他们想讲的。开源叙事不太搭。 [00:45:25]
Ryan Peterman：但对我们团队来说。这确实是一个非常重要的成就。最后一个问题。如果你能回到刚大学毕业的时候。给当时的自己一些建议。以你现在的认知。你会说什么。
Vlad Feinberg：你得去追人们当下真正面临的问题。去解决大家在日常生活中遇到的挑战。不要害怕去处理问题里比较小的部分。或者听起来比较琐碎的部分。哪怕它不是那种花哨的研究数学之类的。要相信。只要你在做重要的事。哪怕只是一个大项目里比较小的环节。你也会真正看到。什么才是推动前沿进步的关键。这大概是一种在解决问题时。保持谦逊的态度。是你应该追求的。这是一条建议。另一条可能算是职业建议吧。就是做一个别人希望看到你成功的同事。我的意思是。有一种观念。觉得职场里存在那种冷血型。或者马基雅维利式的领导。为了达到目的。不惜一切代价。他们也许能压榨。别人获得一些短期收益。但我在职场里。跟各种各样的人打交道这么久。发现一件很有意思的事。有那么少数几个人。其中一位是我非常亲近的朋友和导师。Todd Lipkin。是他最早带我进入计算机科学领域。他们就是特别善良。是那种你能从他们身上学到东西。跟着他们走就能成功的人。他们真的会让我发自内心的。想帮他们成功。具体来说。如果你是这样一种人。帮别人在他们的项目上取得成功。提出一些能发挥别人互补技能。让他们大放异彩的项目。别人会注意到的。以后你提出新项目。大家会愿意参与。总体上也会愿意支持你往前走。人们对职场互动的博弈论。可能会变得很cynical。但我发现这种更友善的方式。通常会创造出一种深度的协作氛围。和乐于助人的意愿。这对于推动需要多个人。多种技能的大型项目。越过终点线来说。太重要了。所以如果我能给年轻时的自己。任何关于人际或职业方面的反馈。那就是做那样的人。做一个别人希望看到你成功的人。我很喜欢这个建议。 [00:47:46]
Ryan Peterman：他对抗了那种cynical的职场观。我也很喜欢你最初那篇文章。对抗了那种末日论。永久底层阶级的说法。非常感谢你抽出时间。聊得很开心。真的很感谢。谢谢你邀请我。Ryan。感谢收看本期播客。如果你喜欢。并希望这个节目继续成长。请点赞或留言支持。另外。如果你有想让我邀请的嘉宾推荐。请在评论区留言。像Barbara Liskov。Mike Steinbrecher。Mark Brooker。这些嘉宾。都是因为有人留言推荐。我才请来的。另外除了播客。我正在做一款我理想中的。符合人体工学的键盘。给大家看一眼原型机。这是一把分体键盘。有两半。这是装在外壳里的样子。我们在Kickstart上发起了众筹。上线八小时就达成了目标。如果你是最早下单的那批人之一。我真的非常感激。我们现在正进入漫长的模具开发阶段。如果你还想入手一把。我在Kickstart上保留了晚期支持通道。你可以去那里下单。我会把链接放在简介里。再次感谢收看。下期节目见。 [00:49:04]