#662.：谷歌首席科学家Jeff Dean: 人工智能构建中的 1%法则

完整转录稿

Podcast 跨国串门儿计划 2026-08-04 07:56

目录

开场与 AI 能力预测

# #662.：谷歌首席科学家Jeff Dean: 人工智能构建中的 1%法则

目录

开场与 AI 能力预测

Diana Hu：欢迎收听跨国串门计划。这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音,为您呈现全球顶尖的AI财经,健康与科技领域精品内容。我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁，接下来让我为您简单介绍本期我们克隆的这档节目，本期我们克隆的是知名播客Y Combinator的一期特别节目，录制于2026年7月30日，主持人Diana Hu与谷歌首席科学家Jeff Dean 展开了一场关于AI未来的深度对谈 Jeff Dean是MapReduce,TensorFlow,TPU等多项关键技术的缔造者，也是谷歌AI领域的核心人物，这期节目围绕他过往的餐巾纸估算故事展开，聊到了AI推理硬件,智能体系统，以及小团队如何在AI时代找到自己的机会，那我们就一起来听听这期完整的对话，好,那我们开始吧,Jeff 好,没问题，好,Jeff,欢迎再次感谢你能来，尤其是我刚感冒了，还谢谢你过来，我嗓子也哑了，平时声音不是这样，但咱们尽力吧，你做出了MapReduce BigTable TensorFlow TPU Gemini 光这些事，我们就能聊一小时，但我喜欢的是，你还在公开场合做大预测，去年，对，去年2025年5月，在AI Ascent上 你说AI的水平相当于初级工程师，那大概是一年前了，现在已经我们离那个预测有多近，我觉得模型在基于agent的运行时间更长的编程任务上进步很大，而且很明显他们现在确实挺有能力 [00:01:44]

Jeff Dean：取决于你对初级工程师的具体定义，要我说这个预测相当准，那个预测里你低估了什么，我觉得处理越来越复杂任务的能力增长的比我预想快

Diana Hu：而且编程之外，这些智能体系统真的开始在其他领域冒头了，我认为这会是未来一个重要趋势，那再给个大预测吧，你觉得2027年会是什么样

Jeff Dean：我觉得你会看到ML系统本身的自动化程度高得多，基本上就是让ML系统通过跑大量实验来提升能力，把问题拆成子问题，然后在一个紧凑的自动实验循环里跑这些子问题，把结果汇总，然后就能从这种全自动的问题分解和自动实验中，得到一个改进后的系统，我觉得这会非常让人兴奋，而且这不仅适用于ML 也适用于科学和工程的其他领域

Diana Hu：基本上任何你能有可衡量目标的地方，我觉得如今都能取得很大进展，现在稍微回顾下历史，回到2001年，谷歌搜索当时还是跑在硬盘上的，对，你和3J做了计算，意识到在某个时间点，整个搜索索引，终于能装进所有运行中计算机的全部内存里，你有了那个颠覆性的认识，然后你基本上在几天之内，就和3G一起，把一个全新的跑在内存里，而不是硬盘上的搜索版本上线了，那就是让谷歌搜索变快的原因，所以历史往往会重演，现在2026年，那个能装进内存的时刻是什么，在座每个人都该思考，该去设计的，这有点不一样，但我觉得你会看到越来越多，高性能低能耗的推理硬件系统 [00:02:54]

Jeff Dean：因为我觉得现在，大家都意识到，推理是让这些智能体系统，能被更多人用上的关键，而且延迟真的很重要，硬件的专门化，是让东西比GPU或TPU [00:03:47]

Diana Hu：这类更通用的计算设备，更节能，延迟更低的一个非常关键的方式，因为我觉得在座各位都习惯了，等模型回复，所以，对等待可不好玩，掌控速度，所以你的意思是，如果我们不用再等了呢，我觉得想象一下，如果延迟能好上50倍，你能做些什么，有意思的想法，那在座大约6000人持有的，关于AI的哪个假设，其实已经是错的了

Jeff Dean：这是个好问题，我觉得可能有一点是，人们还没完全意识到，智能体系统能跑多久，这件事有多大的可能性，不只是在你关心的问题上，跑一两个小时，而是在某些问题领域，并且底层有非常强大的模型时，你可以让他们跑上好几天，甚至几周去完成非常非常复杂的任务，我觉得有些人已经开始看到一些苗头了，但我不认为所有人都真正内化了这一点

Diana Hu：而这会是一件相当了不起的大事，你跑过什么特别的任务，一跑就是几周，是什么任务，你让agent去解决什么，我觉得你可以让agent去独立实现 [00:04:53]

Jeff Dean：某个软件的完整新版本，用不同的编程语言来写，这些语言可能在安全性或性能上，有更好的特性，然后他们就能真的去干这件事，而且干得相当认真，那太酷了

Diana Hu：还有一件事你特别出名，就是你特别擅长，做餐巾纸上的快速估算，听起来挺有意思的，关于你有个故事，说2013年那会儿，谷歌的语音识别刚能用，你做了个粗略估算，如果每个谷歌用户，都用手机对着他说话，每天用语音识别，系统三分钟就三分钟，你发现这套系统，需要谷歌的一台服务器，那整个服务器集群就得翻倍，光为了做语音识别，就得花非常非常多的钱，对，结果你干脆造了一颗定制芯片，这就是TPU的起源故事，对对，我算是做过这个估算，我们当时训练的那些

Jeff Dean：基于深度学习的语音系统，语音模型，开始看到非常好的效果，但他们比老的语音系统，计算开销大得多，不过错误率降了一半，这相当于语音识别领域 20年的进步，我们只花了几个月就做到了，就是调调模型，稍微扩大规模，拿到更好的数据，于是我们开始担心，如果语音效果好很多，大家就会用的更多，那个信封背面的粗略估算，核心就是这个问题，万一大家开始更多的，用语音识别来口述邮件，对着手机说话什么的呢，结果我们发现，当时光靠CPU跑已经不够了，需要更好的方案，所以我们搞出了TPU 它本质上就是为低精度，稠密线性代数做了高度定制，而这几乎是今天所有，现代机器学习算法的核心，你要是为低精度稠密线性代数，造一颗专用芯片 别的什么都干不了，结果它对机器学习推理特别有用，哪怕它跑不了Chrome 跑不了Word什么的，这套系统几年后产出的芯片，能效比当时的CPU和GPU高30到80倍 [00:06:52]

Diana Hu：延迟也低得多，大概低20到30倍，太了不起了 TPU今天已经成了这么重要的基石，你当年绝对想不到TPU会变得这么根基性，尤其是Transformer架构还是后来才发明的

Jeff Dean：比TPU本身晚得多，对，这其实就是我们当初为什么要做一个通用的线性代数系统 TPU本质上就是这个，因为我们知道记忆学习算法还在不断演进，你不能过度特化，但又得特化到能拿到巨大的性能收益，我们可以做非常大的惩罚单元，可以用高速内存，可以用高速互联，后来的TPU还能把非常非常多颗芯片，高效的协同到同一个问题上

Diana Hu：而且这么多带下来，我们一直在把它们规模做大，性能做上去，这餐巾纸估算太神了，那什么是，餐巾纸是好东西，餐巾纸是好东西，那说真的，在座各位想当未来创始人的，今晚应该跑一个什么样的好估算，说不定能做出像TPU一样，有分量的东西，这总是很难说，我觉得去想想你看到的问题，不管你在琢磨什么，看看瓶颈在哪里 [00:07:44]

Jeff Dean：然后有没有完全不同的思路，去解决其中某些问题，能让你拿到一个数量级，甚至两个数量级的性能提升，能力提升或者别的什么，因为有时候你只要眯着眼看一个问题

Diana Hu：别被今天这个问题是怎么解决的给毛住，而是想从第一性原理出发，你会怎么解，你就能冒出特别好的点子，可能是别人没想到的，这是个好建议，对了，在座可能有人不知道，很多年前 Jeff写了一份特别出名的清单，叫The Latency Numbers Every Engineer Should Know 里面全是这类数字，比如一次缓存未命中要多久，磁盘寻到要多久，一个网络包从加州传到荷兰要多久，分布式系统和系统工程师会用到的一大堆数字，这份清单被很多人贴在墙上，成了分布式系统工程师的圣经，好，对，现在时间快进，这份清单该更新了，给我们一份2026年的AI版吧，好我觉得如果你看今天AI系统里什么最重要，你会想知道这些，你的加速器上主内存到片上内存 [00:08:22]

Jeff Dean：再到乘法单元之间的带宽是多少，做一次乘法运算要耗多少能量，芯片之间的互联带宽是多少，用这个带宽能连多少颗芯片，然后超出这个范围，比如你要跟1万颗芯片通信，而不是500颗的时候，网络带宽会衰减多少，我觉得这些都是特别值得了解的数字，它们真的会影响你，怎么去解决特定类型的问题，我听过你讲一个很有意思的观点

Diana Hu：说现在衡量一切的标尺是能量，对，你指出过做一次计算，或者说做一次数学运算，大概只花一个皮夹，但搬动数据，做数据输入输出，要贵上一千倍，对，就是把数据从加速器上的HBM搬进处理器，它才能真正在上面算 [00:09:42]

人工智能系统的能耗、数据搬运与 Agent 工具

# #662.：谷歌首席科学家Jeff Dean: 人工智能构建中的 1%法则

目录

人工智能系统的能耗、数据搬运与 Agent 工具

Diana Hu：没错，这个差距其实在悄悄决定哪些产品能做出来AI里的这些算法该怎么搭，那在你看来有哪些问题，创始人老把它叫成模型问题，但本质上其实是能量问题或者数据输入输出问题，对我觉得你举的那个例子

Jeff Dean：搬数据的能耗和真正在数据上做计算的能耗差1000倍，这个差距非常显著，它塑造了我们在机器学习里做的很多事，因为如果没有这1000倍的差距，你根本不需要做批处理，但现实是你必须把很多样本或者很多token 凑成一批一起处理，才能摊薄搬数据的成本，这样你付出的就不是1000倍的减速，而是1000倍除以P大小之后的能耗，而且真要追求极低延迟的话 批处理其实不太行，所以我觉得这类事情，还有我们用的计算机硬件里

Diana Hu：各种决策背后的能耗，真的会影响我们在搭，更上层系统时做的很多决定，一个很具体的例子，就是训练模型这件事，整个批处理的概念，数据集跑EPOC 这些大家可能误以为是模型问题，但其实本质上是，系统的数据输入输出问题，对吧，对，就是说你得把样本凑成P 硬件效率才上得来，理想情况下，你也许想用P大小等于1来训练，但从效率角度看那样不太好，所以现在大家用的P都挺大的，你觉得有没有可能，我知道你出了名的，会消失一个长周末，或者一个周末，然后拿出一个绝妙的方案，会不会有哪天 Jeff Dean跑去埋头干上两周，把P大小等于1的训练给做成了，对，其实我最近想的更多的是推理，我觉得推理是个特别有意思的问题 [00:10:59]

Jeff Dean：因为你确实想要极低延迟，训练的话，倒不一定需要那么夸张的低延迟，而且我觉得，推理这块的硬件专门化，还有很大的空间可以挖，比我们现在做的要多得多，推理这块 [00:11:49]

Diana Hu：有哪些你正在深入，琢磨的有意思的方向，就是尽量把数据搬动降到最低，去想那些极低精度的运算，也许不用支持

Jeff Dean：特别多种不同的精度，如果你觉得已经很清楚，自己需要哪些精度了，那就干脆把这些精度，直接做进硬件里，别的都不用管，我觉得这其实落到一个核心类比上

Diana Hu：我听过一位很有名的计算机科学家讲，整个AI的过程本质上是一个大压缩问题，因为你要让数据完全有损的压缩再还原回来，前提就是你得真正理解它，对如果你真的理解了数据，你应该就能把它压得很好，而现在的Transformer架构，基本上就是被证明特别好用的一种方式，对我会这么说，到目前为止效果确实不错，我同事们干的漂亮，没错，那我们把镜头拉远一点 update的进步以前就因为模型更好，你有更多数据，用更大的参数量训练更大的模型，但最近这几年，越来越变成模型之外的一切，不只是模型规模，参数量或者更多数据，而是检索，工具，记忆 agent的工具，这些周边的东西，这些东西可能慢慢汇聚成，大家说的上下文工程，对吧，对 [00:12:28]

Jeff Dean：我觉得模型其实只是，你要做的事理的一块，你要做的是搭一个，能解决真正有趣问题的完整系统，这包括一个会用各种工具的模型，他也许知道怎么检索相关信息，也许有过去处理问题时，检索过的其他信息的历史记录，他能把信息放进模型的上下文里，这样做的好处是，这些信息对模型来说非常清晰，不像模型训练时用的训练数据，那都是几万亿个token搅在一起，煮成一锅几千亿，甚至几万亿参数的汤，远不如模型，针对当前这个问题，这个用力直接看到的上下文来的清楚，然后还要能理解有哪些工具可用，哪些工具能帮模型解决下一阶段的问题，怎么把一个任务拆成一串工具调用，也许还要试多种解法，看哪种有效 并且能评估结果，这就是整个复杂agent的系统，和多智能体系统的编排，我觉得它会越来越重要 [00:13:21]

Diana Hu：要我说这真是超级激动人心的时代，我觉得这个领域特别有意思的一点是，在座的每个人其实都能上手，因为以前要训练一个模型，你需要海量的资源，需要大量GPU和数据，但说到上下文工程，在座各位都能做，你只需要一个像Gemini这样的API 然后自己搭一套检索，自己写工具调用，诸如此类，那么对大家来说有什么建议，怎么才能把上下文工程做好，做到出类拔萃，对我觉得一个很好的方法，就是真的用这些模型，还有各种harness和工具去解决问题 [00:14:23]

Jeff Dean：然后有时候你能亲眼看到，模型在哪些地方会失败，而且很多时候，你其实能让模型表现得更好，能解决那类问题，不是靠调整模型参数，那个从外部很难做到，而是靠给模型写更好的指导，给模型写skills 让它知道怎么用不同的工具，这些工具对解决某一类问题会特别有用，我觉得你这么做的时候，你其实是在不断改进，自我改进你用来解决问题的这套配置，而且这也是一个很好的方式，让你更理解模型还需要哪些额外信息，才能变得更强大

Diana Hu：你能举一个你自己做过的上下文工程的例子吗，比如你写的skills 或者某个工具，真的让你的工作流有了巨大改变，我想想几周前三届和我在做一件事

Jeff Dean：我们经常会给一些非常底层的库做性能优化，我们在谷歌写了一个微基准测试库，你可以写微基准测试测各种操作要花多长时间，比如填充这个数据结构要多久之类的，有时候这些数据结构会在谷歌的几百万个进程里被用到，所以确保他们高性能其实挺重要的，你可以写微基准测试，但如果没有智能体系统，你通常的做法是，先测一下你关心的那些基准的当前性能，然后做一些修改，希望能提升性能，再重新跑基准，看看哪里变好了，可能再跑更广的一组基准，测一下缓存占用之类的，所以我们写了一个skill 基本上就是教模型，怎么按各种顺序去做这些事情，这样他就能真正做自我改进的基准测量，基准测试，改代码，测性能提升，然后不断迭代，对某些类型的问题 [00:15:52]

Diana Hu：这个效果还挺好的，其实本质上，就是我们把自己，作为人类会用的方法，以一种模型能用的形式，教给了他，哇这听起来太厉害了，所以你的意思是，你有这么一个skill 如果有人能拿到它，就能像Jeff Dean一样，做性能优化，感觉全世界都会想要这个，谁要是能拿到，这价值简直不可估量，其实我们几个月前，发布了一份文档，叫Performance Hints [00:16:43]

Jeff Dean：是Sanjay和我写的，大概30页，讲各种性能优化的技巧，有些人已经把它拿过去，用摘要的形式，喂给各种模型，然后发现模型，现在在推理性能问题方面，确实变得更好了

Diana Hu：所以你们都听到了，如果你拿到你发表的，这份Performance Hints论文，你其实也能像Jeff Dean一样，优化自己的代码，对，而且是完全免费的，所以大家都应该去试试，太酷了，现在你刚才说到Agent在座，各位可能都在做Agent 或者某个时候做过，我相信大家都见过自己的agent 在大概第30步第40步的时候跑偏了 agent在大概前10步左右表现很好，但到第50步就开始不稳了，你觉得现在的瓶颈是什么，是上下文评估器，还是因为本质上是个开放系统，错误会不断累积，对我是说显然我们希望agent能长时间运行 [00:17:23]

Jeff Dean：因为只有这样他们才能解决越来越复杂的问题，但就像你观察到的，今天他们有时在跟工具交互10次之后就不行了，有时候是因为模型在尝试做，它没什么经验的事情，它是在一大堆东西上训练出来的，一旦你稍微偏离它熟悉的数据分布，就像大多数机器学习模型一样，它的表现会突然开始下降，而且你离它擅长的数字区越远，它就越可能表现不好，所以有很多事情可以做，一个是给模型提供技能和提示，让它们尽量待在模型比较熟悉的，光线更明亮的路径上，我觉得用多智能体系统，让多个agent尝试不同的方法，然后你可以评估，也许用另一个模型，或另一个agent 来评估哪些方案，看起来有希望，这某种程度上，也是在搜索，可能的解决方案空间，坚持那些看起来最有希望的，丢弃那些没用的，或者跑偏的 这是一个非常非常有用的，通用技术，就是推理时计算，用来搜索解决问题的合理方式，这可以大幅提升性能，或者让长时间运行的 agent的流程更可靠 [00:18:57]

Diana Hu：你们内部是怎么为agent实现这种特定工作流的，对我们有各种harness 还有一整套skills 特别是在谷歌内部开发环境里，我们有skills

Jeff Dean：让agent知道怎么用我们大量的内部工具，比如编程代码审查测量性能，或者获取日志文件，这些skills就是你可以加进去，让基础模型更强大的东西，即使他没有专门针对谷歌内部工程师，从我们专有系统，获取日志文件的，确切方式进行过训练，只要有正确的skill定义，你就能让它跑起来，对，这提高了agent的实用性

Diana Hu：现在我们来聊聊，创业公司能在哪里赢，这部分我个人非常关心，因为在座的每个人，都需要决定未来要做什么，作为未来的创始人，谷歌的特点是，你们从处理器到产品 [00:19:46]

创业公司的机会与可靠性思想实验

# #662.：谷歌首席科学家Jeff Dean: 人工智能构建中的 1%法则

目录

创业公司的机会与可靠性思想实验

Diana Hu：整个系统都是协同设计的，哪些层面是，像谷歌这样的公司，会持续构建，不断积累优势的，而两三个人的团队，又能在哪里胜出，对我觉得显然谷歌

Jeff Dean：我们的Gemini模型，和硬件技术设施，是在努力构建，能做几乎所有事情的通用模型，但在很多情况下，这意味着我们不会在特定领域，投入太多注意力，而在那些领域，一个设计精良的界面，加上一个模型和一组skills 或者一个不在通用模型，擅长范围内的专用模型，实际上可能有显著优势，因为你可以为你真正热爱的领域，构建出令人愉悦，高精度高质量的东西，我觉得这就是两三个人在房间里，构建他们真正兴奋的东西，是能获得优势的地方，但我也想提醒通用模型，肯定在越来越广泛的事情上变得更好，你得想清楚，你正在做的事情，它会是一个持久的东西吗，还是说前沿模型会在未来六个月，或12个月内在这方面变得更好，还是说他们两三年内都做不到，你在决定做什么的时候，需要权衡这些 [00:20:12]

Diana Hu：那我们深入聊聊这个通用模型，你们当然会继续做，让他们越来越好，那观众应该怎么思考，哪些领域是他不擅长的，创始人应该怎么想，该挑什么事情来做

Jeff Dean：对我觉得最重要的事情是，选一个你超级兴奋，想构建，而且你觉得对世界有用的东西，对吧，如果你做到了这一点，你就已经领先很多了，然后如果你醒来发现，哎呀我其实不太想做这个，或者你要构建的东西，对世界，对很多人其实没什么用，所以这是我尝试应用的，第一条选择标准，接下来该解决什么问题，第二，我觉得你要看看当前更通用的模型，在那个问题领域能做什么，对吧，你可以测试他们，看他们能不能把这件事做得很好，如果他们完全做不了，那可能是个好兆头，如果他们能做一部分，但做得不太好，那可能不是好兆头，因为这可能意味着这种能力，开始出现在那些模型里了，随着更多训练数据，更大规模的模型，或者其他什么，它很可能会变得更好，所以你要找的是 [00:21:19]

Diana Hu：模型成功率是0%或1%的事情，而不是20%的，你怎么找到这些方向，我是说，这些事是不是本质上，就落在训练级分布之外，符合这个条件的问题

Jeff Dean：具体长什么样，对我觉得有时候是这样的，你做的产品，能接触到某种特定数据，而底层那个通用模型接触不到，比如你做一个帮用户整理个人所有信息的产品，模型本身不一定能拿到那些数据，这种情况下你就有很大优势，因为突然之间你的模型，你的产品能看到重要的数据，也可能是某个特别难的问题，如果你拿到对的训练数据，能训练一个比通用模型更专门的模型，而且成本很可控，也许训练一个针对这个特定问题的垂直模型，用不了太多算力，但能得到一个准确率很高的东西

Diana Hu：这种模型有时候能成为很好的基石，去解决那些通用模型处理的不太好的重要问题，我觉得这很有意思，你基本上说了两条路，第一条路有点好笑，你们在做的事是整理全世界的信息，对，那条路大概已经被覆盖的差不多了，对，但整理个人自己的信息，这块还是空的，挺有意思的，对，然后第二条路，你讲到某些领域的更专门化的模型，能多讲讲，这些领域都有哪些吗，好，我觉得你看看我同事的工作，比如AlphaFold 那是一个非常专门的蛋白质折叠模型，而且非常成功 [00:22:59]

Jeff Dean：他真的能把这个领域处理得很好，所以突然之间，你有了一个很厉害的工具和模型，能非常高效的回答，关于蛋白质和它们结构的问题，但它不是通用模型，它非常专门，我觉得还有其他领域，这种思路也能发挥得很好，也许在材料科学，芯片设计这类方向，能让你借助一个非常准确，但垂直的模型，去做今天很难做的事，这是个好例子 [00:23:37]

Diana Hu：所以如果你们有人发现一个，形状类似的问题，像AlphaFold那样，那可能就是个值得做的方向，现在我们假设你已经找到了，要做的方向，我们来聊聊，怎么成为一个AI原生的创始人，怎么真正把它做好，你以前说过，管理一群agent 比如50个或100个agent 关键在于写出非常清晰，干脆的设计文档，或者规格说明，人们怎么才能擅长这个，那些文档长什么样，对我觉得是这样的，跟你的虚拟agent合作时，如果你能清楚地说明，你想要什么

Jeff Dean：成功的概率会高很多，你越清楚自己想要什么 agent就越有指导原则规则，也就是一个，他要完成什么的大纲，反过来，如果你不说明白 agent就得去猜你的意思，很多时候他猜出来的东西，跟你脑子里想的不一样，所以我们从一开始就一直告诉计算机科学家，在动手写软件之前，先想清楚这个软件要完成什么，这非常重要，现在我们有智能体系统能替我们写代码了，但说清楚你想要什么，这件事的重要性反而更高了，因为以前你是把任务交给一个很聪明的人，他可能有上下文，或者能问你追问 agent有时候也能做到，但我觉得清晰的规格说明真的是个好主意，给你举一个编程agent用的特别好的例子，你可以让今天的模型把软件从一种编程语言翻译成另一种，效果非常好，因为这种情况下 你其实有一份极其详细的规格说明，你有一整份软件，它说明了系统应该做什么，所以如果你有一个Python实现，想要一个Go实现，这种事现在的模型似乎特别擅长，因为它可以把Python里所有的测试拿过来, 确保Go版本能通过把测试翻译成Go, 然后对比两个实现之间的行为差异, [00:24:39]

Diana Hu：直到没有差异为止, 效果非常好, 因为那份规格太清晰了。现在我们假设每个创始人都擅长同时跑几百个agent, 所有代码都由agent写好了, [00:25:56]

Jeff Dean：那什么技能会变得稀缺?对,我觉得关键是要有非常好的品位, 知道该让agent去做什么，这其实是我背景里研究问题的核心，一个研究者可以拥有所有工具和技术，但很多时候真正的较量，在于你要把时间花在哪个问题上，如果你选对了问题，并且成功解决了它，那远比你把一个相当无聊的问题，研究的漂漂亮亮要好得多，所以这种关于该做什么的高层智慧，我觉得极其重要，我不认为模型在这方面会特别擅长，所以还是需要人来掌舵，引导大量AI辅助的计算，去更快的成就大事

Diana Hu：但那种你想让模型做什么的本质，才是你应该专注的关键，那我们再多聊聊品位吧，因为在这个agent解码的时代，现在大家谈的很多，你到底怎么培养品位，怎么做到，这听起来太玄了，怎么把它变得具体，对，这确实是个难事，很多时候品位不像有个，可衡量的客观标准，我觉得一部分来自经验 [00:26:46]

Jeff Dean：过去研究过很多不同的问题，会教会你未来什么样的问题，可能有趣或者什么样的事情，通过把之前的方法拼凑起来，再加上一些你必须解决的开放问题，可能刚好能实现某种神奇，或者非常有用的东西，另一个给自己积累经验的办法是，写下你觉得未来12个月里，可能重要的一堆事情，也许你挑其中一件去做，但12个月后回头评估，这些其他事情里，哪些真的显得重要了，或者世界上哪些人真的去做了，做出来了，哪些还没人做，这能给你自己的品位培养能力，提供多的多的样本

Diana Hu：而且这是一项很重要的技能，我觉得我们之前聊到的第三种方式，是做非常疯狂的思想实验，对那是另一个好办法，我觉得有时候，不要把大多数人视为理所当然的事情 [00:27:51]

Jeff Dean：当做理所当然，是件好事，所以我前几天和一些同事，做个疯狂的思想实验 60年来，整个硅芯片设计行业，设计和制造行业，做大量工作，来制造越来越小，错误率极低的晶体管

Diana Hu：对吧，因为我们的假设是，我们制造的，同一设计的，每一块芯片，都应该和其他，每一块芯片，完全一样，你不希望任何比特翻转，一切都要完美

Jeff Dean：不应该有任何比特翻转，你知道，有各种各样的东西，各种误差余量，都被设计进去了，现在内存都有ECC内存，但在宏观尺度上，我们在构建大规模分布式系统时，并不会做这个假设，对吧，我们用不可靠的部件，构建可靠的大规模分布式文件系统，对吧，单个磁盘可能会坏，但你的数据应该是安全的，所以我们在更高层有机制，比如把数据复制三份，放在三台不同的机器，三个不同的机架上，这样如果任何一个机架交换机，单台机器或磁盘坏了，你的数据还在，我们有理得索罗门编码技术，但我们似乎没有在晶体管级别的极端尺度上做这件事，所以一个有趣的思想实验是，如果你试图用每天可能出20次错的晶体管来构建一个系统，会发生什么，天哪，而不是每100万年才出一次错，对吧，那会是一个非常不同的设计点 而且可能让你在制造端做出非常有趣的事情，你会有非常不同的设计方法论，因为如果你想从一个地方传信号到另一个地方，而你有这些超级不可靠的晶体管，你可能会用非常不同的信号传输方式，你可能会沿着多条冗余路径发送，以确保至少有一条能到达，我觉得这会是一组相当有趣的思想实验，我不是说我们应该去做这个，但你知道这就是那种，你确实需要偶尔质疑假设的情况，很多时候这些思想实验不会成功，因为过去50年我们这么做，而不是那么做 [00:29:25]

重新审视假设、AI 研究方法与个人选择

# #662.：谷歌首席科学家Jeff Dean: 人工智能构建中的 1%法则

目录

重新审视假设、AI 研究方法与个人选择

Jeff Dean：是有充分理由的

Diana Hu：但时不时重新审视一下，这些假设是好的，这太疯狂了，我觉得这跟神经形态计算，或者人脑自然运作的方式，有很多呼应，确实，就像我们大脑中的信号，从一个地方传到另一个地方

Jeff Dean：并不是特别可靠，所以我觉得在大脑里，当有真正重要的东西，需要从一个地方传到另一个地方时，会有多条通路让你能够做到，那么你有着如此辉煌的职业生涯

Diana Hu：有没有哪个疯狂假设是你抛弃了，但最终真的构建出了一个，有影响力的系统的，对我想想，而且真的成功了，对我是说，我觉得TPU就是个好例子

Jeff Dean：在某个非常细分的问题领域，还没显得像今天这么重要的时候，就为它专门定制硬件，这是一个思想实验，你知道我觉得 MapReduce的起源是另一个好例子，那已经是传奇了，我们你知道我3J和我自己，还有不少其他同事，之前在谷歌做过，爬虫和索引系统的各种迭代版本，你知道我们写了很多手工并行化的代码，带大量检查点，就是为了保证在几百台或上千台机器上跑的时候，即使有些机器挂了，系统也能健壮可靠，但那些代码往往和你真正想做的，其实很简单的事情混在一起，比如我就是想看看所有网页内容，然后算一下从URL映射到这个页面什么语言，页面的文本是什么，而这些真正想做的事 会被那些并行化和可靠性的代码，给淹没掉，所以我们想起自己受过的，函数式语言训练，意识到我们可以换个角度，看这些问题，然后提炼出map reduce 这个抽象层放在实现之上，而在实现之下，你可以把所有检查点和可靠性机制，都放进那个底层库里，所有东西都可以构建在它上面，于是这就成了谷歌处理，超大规模计算的一种，极其成功的方式，既健壮又可靠 [00:31:34]

Diana Hu：这个思想实验就是，如果我们换个角度看，能不能找到大量适合，放进这个抽象层的问题，太了不起了，所以这个思想实验，让你创造了MapReduce 对，太棒了，现在我们回到，你刚才聊到一些，关于你现在对做大量，定制硬件的兴趣，现在AlphaChip在布局芯片，然后你还有AlphaWolf 它提出方案，评估方案，然后把所有有效的方案都保留下来，看起来你开始构建这些，能不断叠加的系统，让AI去构建AI 对我是说

Jeff Dean：我觉得更广泛的说，这有点像科学方法的基础，你提出一个实验，实现运行实验所需的东西，评估实验，然后从实验中得到结果，我觉得现在有越来越多的问题可以实现，让整个循环不是只跑几个实验，而是跑很多很多实验，因为你能自动化这个循环，让循环的延迟变得极低，这会变得非常非常重要，它能让我们去攻克科学工程，机器学习模型设计本身，还有像设计芯片这样的工程任务里，各种各样的领域，所以如果你能真正自动化的，做这些事有一个编排框架，能把非常高层级的目标，拆解成子问题，每个子问题都可以是这样一个，自动化循环，去探索解决那个子问题的最佳方式，然后编排框架，再把子问题的解决方案组合起来，形成更高层问题的整体解决方案，这会非常有影响力 真的非常非常重要，我觉得它能让我们，加速记忆学习的发展，加速科学，加速工程 [00:32:45]

Diana Hu：我觉得那会非常了不起，听起来太棒了，我是说，听起来基本上有很多领域，只要你能有非常好的评估器，也许还接近那些，可以被形式化验证的东西，对吧，那些领域就非常适合，能自我改进的AI系统，对，我觉得在很多情况下，有时候你的评估器，需要做得快得多，对，举个例子，我的同事们大概十年前 [00:33:46]

Jeff Dean：做过一些量子化学方面的工作，就是试图理解，某个特定分子的性质，你可以你知道，生成一个分子构型，然后想了解它有什么性质，于是你可以跑一个，计算量非常大的，密度泛含理论模拟器，这东西可能要跑一整晚的计算，才能告诉你一个结果，但我的同事们做的是，从那些模拟运行里，拿一堆输出输入的分子构型，和昂贵模拟器的输出，然后用他们训练一个神经近似模型，来替代模拟器，所以这现在成了一个验证工具，但不再是花一整晚，他们做出了一个快30万倍的东西，哇，而且准确度几乎和跑完整模拟器一样高，所以这彻底改变了你做科学的方式，对吧，因为现在你有1000万个东西要筛选，你知道你可以去吃个午饭的时间就筛完，而不是花6个月的时间拼命凑够算力 去跑所有这些模拟，我觉得在很多领域，都有大量空间去做快得多的验证模型，可能是学出来的验证模型，能让你快得多的速度逼近真实答案，这会改变这些实验循环的思考方式，也改变你绕这些循环能有多快 [00:34:12]

Diana Hu：有哪些领域和问题是你特别兴奋，觉得这种超级加速的科学方法能去解决或达成的，具体是哪些问题或领域

Jeff Dean：对我是说我觉得显然机器学习本身就是一个，对，所以我们能不能有一个模型，能通过大量实验来自我递归改进，你想啊，今天大型研究团队是怎么改进模型的，通常是有人想出一些点子，跑一批小规模实验，看看这些实验效果好不好，如果好就把最有希望的挑出来，放到更大规模上去试，然后评估结果，最后把结果整合成模型的新配方，但我觉得这中间没有什么真正的障碍，不能把它变成一个自动化程度高得多的循环，让模型自己决定去探索什么，或者最多在最高层面，由人轻轻推一把，比如你为什么不试试一些，融入了这个思路的新模型架构，然后他就去跑大量实验，看哪些有效，再以快得多的速度把它们吸收进来，说到底你想要的 [00:35:33]

Diana Hu：就是优化每单位算力投入，能带来的发现数量，太酷了，现在回到这个房间里，你们所有人将来都会成为创始人，或者开启自己的职业生涯，你们大概会收到很多拒绝，这一定会发生，杰夫你也经历过，我记得有个故事 2014年你和杰弗里辛顿 Oriel Vainos 写了一篇关于蒸馏的论文，就是用一个大的教师模型，去训练一个更小更高效，算起来便宜的多，参数也少的多的模型，现在这已经成了业界，人人都在用的招数，对，问题是这篇论文，当年被欧洲的一个会议拒了，对是啊，我觉得我不怪程序委员会，因为很多时候，一篇论文会有三个审稿意见，其中某个审稿人看了之后 [00:36:25]

Jeff Dean：这次的情况是他们说，这篇不太可能产生重大影响，不太可能产生重大影响，但我觉得我们写这篇论文的时候，其实已经看到这是个极其重要的问题，因为我们知道从更大规模的模型，做出更便宜能力又强的模型，是我们特别想做的事，我们想把模型服务给越来越多的人，用在语音视觉等很多不同领域，但有时候审稿人可能没有那样的经验，因为他们可能没在考虑大规模AI服务，而是在想这是不是根本性的进展，所以时不时被锯一次也没关系，我们把它放到ArcCV上，大家读它用它一切都好，而且我们确实在用这个方法，比如从更大规模的Pro模型，做出我们的Flash模型，这也是为什么我们的Flash模型，比如Gemini里的那些 [00:37:16]

Diana Hu：在跟它们体积和速度相称的尺寸下，能力会这么强，在它们那个模型尺寸级别里，它们是基准测试里最好的之一，对，确实厉害，我觉得这里面的教训之一是，就算被拒绝了，也要继续往前走，对，这就是我会从这件事里，提炼出的教训，现在我觉得有意思的是，你当年加入谷歌的时候，那还是1999年，一个20人的创业公司，现在如果把当年的年轻劫夫，迪恩，用瞬间传送带到今天，对，这个时代带着你现在的本事，我现在感觉特别有活力，特别年轻，你会做什么，你会加入前沿实验室，还是自己创业，我不知道，你会怎么做，今天的杰夫迪恩 25岁的杰夫，迪恩，对我是说，这总是很难说

Jeff Dean：这是一个非常个人化的选择，你想把时间花在什么事情上，对我来说，一些最重要的问题是，你要做的事情，是不是你真正在乎的，如果你在做这件事，并且能和你喜欢，共事的一群同事，一起取得进展，如果你们能一起解决它，或者推进它，这件事会不会以某种积极的方式改变世界，比如说你会不会突然能做某件事，然后把这项服务提供给某个群体，也许是一个非常小众的方向，但能极大的帮助生物化学家之类的，或者也许是一个更广泛的方向，能帮助程序员，或者帮助互联网上的所有消费者，或者其他什么，你应该努力去做的，是对世界产生积极的影响，和你喜欢的人一起工作，努力工作尽你所能，所以就你刚才说的那个具体取舍，加入前沿实验室，还是和你的一两个两三个好朋友一起创业 我觉得这是两种不同的体验，在一个大型的成熟的组织里，你有一定的架构，你有非常多非常优秀的同事 [00:39:52]

大组织与小团队的选择、持续学习与告别

# #662.：谷歌首席科学家Jeff Dean: 人工智能构建中的 1%法则

目录

大组织与小团队的选择、持续学习与告别

Jeff Dean：他们知道很多你不知道的东西，你有大量有趣的问题可以去做，而且你已经有了一个平台，你的工作能产生影响，能影响到世界上很多很多人，而作为一个非常小的创业公司，你得有自己真正有热情的东西，而且风险很大，你要去解决那个特定问题，并且要成功，要把它做大，这中间有很多不确定性，但我想那也可能带来极大的成就感，所以我觉得这真的取决于个人偏好，但至少不管你走哪条路，都要问问自己，如果我做这个问题，最好的结果发生了，世界会不会在某个方面变得好很多

Diana Hu：还是说世界只会觉得挺酷的，但也就那样那种事情，就不值得你花时间去做，现在我们再多聊聊第二条路，和你真正喜欢的人，在一个小团队里工作，你一直是很多很多工程师的，出色导师和管理者，你也构建过庞大的系统，对在座的各位来说，在如何发挥最大价值，如何与聪明人共事，或者如何找到聪明人方面 [00:40:39]

Jeff Dean：你有什么经验可以分享，对，我是说你总是想找到那些，在某个领域有真正出色技能的人，而这个领域是你想组建的团队所需要的，不管是在公司内部还是创业，但你也想找到那些你乐于和他们相处的人，对吧，因为你会花很多时间和这些人一起攻克，非常难的问题，你想要的是那些自我意识不强，有团队精神的人，也许他们的技能和你互补，我一直觉得在一个小团队里工作，别人知道我不知道的东西，而我也有一些别人不太擅长的技能，这非常有意思，因为你们在共同构建某样东西，或者解决某个，你们任何一个人单独都做不到的问题，而在做这件事的过程中，你实际上会学到很多新知识，新技能，他们也是，你应该把自己的工程，或研究职业生涯，看作一个装满了各种技术的工具箱 你要一直往这个工具箱里加新工具，因为你永远不知道什么时候会遇到一个问题，需要这四个专门工具，而不是那三个，而工具越多 [00:41:59]

Diana Hu：你未来遇到的问题，就越有可能被你解决，最后再问一个问题，我很确定在座的某个人，或者好几个人，最终会做出和你做的 MapReduce TPU 蒸馏，等等一样有分量的东西，你希望他们去解决什么问题，对我是说，我觉得世界上有很多有趣的问题，我就随便说几个，这不是一个完整的清单，因为世界非常大，充满了问题，我特别兴奋的是，硬件的新方法

Jeff Dean：我们刚才那个思想实验，其实就是一个迹象，或者说是更高效的推理硬件，我觉得可能会有，根本不同的机器学习算法，比我们今天用的方法，在数据效率上高得多，想想我们今天的大规模模型，他们看到的数据量，可能是一个人类到18岁时，看到的1000倍，但一个18岁的人类，在很多事情上做得更好，而且和那些看了更多数据的，前沿模型不相上下，所以你能不能想出更高效的数据利用系统，能够持续学习，能够从自己的行为中学习，持续学习是一个非常有意思的方向，我觉得多智能体交互也很有意思，我觉得创造让世界上的人们更好的对话的方式，可能很有意思，有没有办法让对话更文明，还有帮助人们认识世界各地 [00:42:34]

Diana Hu：那些根据兴趣应该认识的人，我觉得这些都是挺有意思的事情，世界上有很多很酷的东西，我们都应该去努力，让更酷的事情发生，听起来太棒了，非常感谢你Jeff Dean 今天我们就到这里，谢谢，掌声，非常感谢，谢谢大家 [00:43:27]

返回该播客 打开原文