目录
- Gemini 3与用户共同构建通用人工智能 [00:00:00 - 00:10:00]
- 产品反馈如何推动模型进化 [00:10:00 - 00:20:00]
- 从科研传统走向工程思维 [00:20:00 - 00:30:00]
- 统一模型与多模态创新 [00:30:00 - 00:40:00]
- 科学探索与规模化之间的平衡 [00:40:00 - 00:50:00]
- 追赶、创新与DeepMind的未来 [00:50:00 - 00:52:31]
Gemini 3与用户共同构建通用人工智能
Logan Kilpatrick:Gemini 3,我们现在坐在这儿,大家的反馈好像特别积极,这个模型给人的感觉不错。我对这些进展感到非常兴奋,我对这项研究感到兴奋。其实,我们在很多维度上都推进了Frontier。我们就是要这样构建通用人工智能,我们希望用正确的方式来做这件事。这就是我们投入全部心思和所有创新的地方。
Koray Kavukcuoglu:这并不是一项躲在某个实验室里的纯研究工作,这更像是我们和全世界一起做的事情,这是一个全新的世界,对吧
Logan Kilpatrick:有一项新技术正在定义用户的很多期待,从某种意义上说,我们是在和客户一起共同构建通用人工智能 这样一来,突然就有更多人可以成为建设者
Koray Kavukcuoglu:让任何东西都活起来,让任何东西都活起来,对吧,我觉得接下来的六个月,可能会和过去六个月,以及在之前的六个月一样令人兴奋
Logan Kilpatrick:我们很幸运能生活在这个时代,这一切正在此刻发生,这非常令人兴奋,大家好,欢迎回到Release Notes 也就是算版本说明环节,我叫Logan Kilpatrick [00:00:58]
Koray Kavukcuoglu:今天我在DeepMind团队,很荣幸今天能请到Koray Kavukcuoglu 他是DeepMind的首席技术官,也是谷歌新任的Chief AI Architect。谢谢你来参加,我很期待和你聊聊
Logan Kilpatrick:我也是,对,我也非常期待,谢谢你的邀请,当然 Gemini 3 我们现在坐在这儿,我们已经发布了这个模型,大家的反馈好像特别积极,我觉得我们发布之前
Koray Kavukcuoglu:显然已经对这个模型会有多好,有过一些预判,排行榜看起来很棒,但我觉得把它交到用户手里,真正发布出去,就像,那一直都是检验,对吧,我是说
Logan Kilpatrick:我们一直在做benchmark Benchmark是第一步,然后我们一直在做测试,我们一直算是和可信的测试人员一起,还有之前的发布之类的,这样你就会感觉到,对这是个不错的模型,它有能力,它并不完美,对吧,不过我觉得我确实挺满意大家的反馈,大家好像都喜欢这个模型,而且我觉得我们觉得有意思的那些东西 [00:01:50]
Koray Kavukcuoglu:他们也觉得有意思,所以到目前为止,这挺好的 这挺好的,对,我们昨天聊的时候,话题一直围绕着一件事,就是珍惜现在这一刻,进展并没有放慢,我觉得这点也很打动,我回想起上次坐在你旁边的时候,那是在谷歌IO大会,我们发布Gemini 2.5的时候,当时我们听Demis和Sergey 谈AI之类的话题,我觉得进展并没有放慢,这真的挺有意思,比如我们发布Gemini 2.5的时候,它给人的感觉是一个,业界最先进的模型,也感觉我们确实在很多方面,推进了Frontier 我觉得3.0又做到了这一点,我很好奇关于scaling [00:02:16]
Logan Kilpatrick:能不能继续下去的讨论,继续往哪发展,你现在是什么感觉,对我对这个进展感到非常兴奋,我对这项研究感到兴奋,你真正身处研究一线的时候,会发现这件事的各个方面,都有很多令人兴奋的地方,对吧,我是说从数据 pre-training post training 到处都是,我们能看到很多令人兴奋的东西,我们能看到很多进展,也有很多新想法,说到底,整件事靠的就是创新,靠的就是想法,对吧,我们做的事情越有影响力,越能落到现实世界里,越有人使用,你就会得到越多想法,因为你的发挥空间变大了,你能获得的信号种类也增加了,我觉得问题会变得更难,问题的种类也会更多,对吧,随着这些变化 我觉得我们会受到挑战,而这些挑战是好事,我觉得这也是推动我们,朝着构建智能这个方向前进的动力,对吧,事情就是这样发生的,我觉得有时候,如果你只看一两个benchmark 就会看到挤压,但我觉得这很正常,因为benchmark都是在某件事,还构成挑战的时候定义出来的,你定义出了那个benchmark 然后当然随着技术进步,那个benchmark就不再代表frontier了,它也不再定义frontier 接下来你就会定义一个新的benchmark 这在机器学习里很正常,对吧 benchmark和模型开发总是相辅相成,你需要benchmark来指导模型开发,但只有当你接近下一个frontier的时候,才知道它是什么,这样你才能用新的benchmark把它定义出来,对 [00:03:49]
Koray Kavukcuoglu:我也有这种感觉,有几个benchmark 比如最早的HLE所有模型的表现都很糟,只有1%或2% 我觉得现在最新的DeepThink已经到了40%多,这挺不可思议的 ARK AGIR最开始的时候,所有模型几乎都做不了多少,现在已经到了40%多,所以这挺有意思,还有一点也很有意思,就是那些比较固定多少经受住了时间考验的Benchmark 至于为什么会这样,我并不了解其中的背景,我觉得他们可能快要饱和了,不过以GPQA Diamond为例,它一直保留下来,尽管我们的成绩可能只挤出1%之类的提升 [00:04:41]
Logan Kilpatrick:那里面的问题确实很难,对,我是说那些难题我们现在还是做不到,对吧,而且他们依然在测试某种能力,但如果你想想我们在GPQA上的情况,它并不是说你现在到了20%多,还需要一路走到90%多,对吧,也就是说你已经快接近那个位置了,所以它定义为尚未解决的问题数量,当然是在减少,所以到了某个阶段,找到新的frontier 新的benchmark是件好事,而定义benchmark真的很重要,对吧,因为如果你把benchmark 看成进步的定义,而这两者不一定总是对得上,对吧,这里面有一件事,就是进步和benchmark之间,是有区别的,理想情况下,两者百分之百一致,但他们从来不会百分之百一致,对我来说 衡量进步最重要的标准,就是我们的模型进入现实世界,科学家用它们,学生用它们,律师用它们,工程师也用它们,然后人们用它们做各种各样的事,写作,创意写作,写邮件,有简单的,也有难的,对吧,这个范围很重要,还有不同的话题,不同的领域,如果你能继续在这些地方提供更大的价值
Koray Kavukcuoglu:我觉得这就是进步,而这些benchmark能帮你量化这一点,对,你怎么看这件事,比如从Gemini 2.5到Gemini 3 或者不管怎样,我们也可以选你想讨论的,任何一次模型版本变化,我们是在什么地方爬山,而且现在benchmark多的数不清,在这种情况下,实际上你可以选择,自己想在哪些地方爬山,那你是怎么考虑Gemini整体的,或者更具体的说,怎么考虑Pro模型的,我们要在哪些地方尝试爬山,我觉得有几个重要的领域,对吧,其中一个就是指令遵循很重要 [00:06:40]
Logan Kilpatrick:指令遵循就是说,模型需要理解用户的请求,还要能够按照请求去做,对吧,你不希望模型只是回答,他觉得自己应该回答的内容,对吧,所以指令遵循能力很重要,而这也是我们一直在做的事,另外对我们来说,国际化也很重要,谷歌是一家非常国际化的公司,我们希望触达全世界的每一个人,所以这一部分很重要
Koray Kavukcuoglu:而且至少就3.0 Pro而言,我今天早上和Tossy聊天时,他提到这个模型在一些,我们过去一直做的不太好的语言上,表现好的不可思议,看到这一点真的很棒 [00:07:46]
Logan Kilpatrick:所以你得不断把注意力,放在其中一些领域上,对吧,它们可能看起来不像是知识的frontier 但它们真的很重要,因为你希望能和那里的用户互动,因为正如我刚才说的,关键就是从用户那里获得那个信号,然后如果你转到更偏技术的领域 function calls, tool calls,agency的操作,还有代码,这些都很重要,对吧,我觉得function calls和tool calls很重要,因为它们带来的是一种完全不同的智能倍增效果,一方面模型能够自然的使用我们自己创建的各种工具和函数,然后把它们用到自己的推理中,另一方面模型还可以自己编写工具,对吧,你可以这样想,模型在某种意义上本身也是工具,所以这一点很重要,显然代码很重要 不只是因为我们都是软件工程师,还因为我们知道有了代码,你实际上可以构建笔记本电脑上发生的任何事情,而在你的笔记本电脑上发生的,不只是软件工程,让任何东西活起来,让任何东西活起来,对吧,对,所以我们现在做的很多事情,都发生在数字世界里,而代码是这一切的基础,它让你能够接入生活中,发生的几乎所有事情,不是所有事情,但有很多事情,所以我觉得这两件事结合起来,也让用户能够触达很多东西,我举vibcoding这个例子,对吧,我喜欢这个,为什么,因为很多人都很有创造力,他们有想法,而你突然就能让他们变得更有生产力,对吧,也就是说用一种,你只要把想法写下来 就能看到应用出现在眼前的方式,从有创造力变得更有生产力,而且这就像我是说,大多数时候他都能用,而他一旦能用,效果就很好,对吧
产品反馈如何推动模型进化
Logan Kilpatrick:对吧,这太酷了,我觉得这个循环很棒,所以突然之间,你就让更多人成了构建者,开始做东西 [00:09:59]
Koray Kavukcuoglu:我是说这很棒,我很喜欢,对谢谢你做出这个,这就是AI Studio的推介词,我很感谢,我们会把这一段剪出来,我们会放到网上,你刚才提到的一个,有意思的话题,就是我们是怎么做的,其实作为Gemini 3 这一节点的一部分,我们推出了Google Anti-Gravity 这是一个新的 Agency编程平台,从模型的角度看,你觉得拥有这样的产品脚手架 [00:10:09]
Logan Kilpatrick:通过爬山来提升质量,有多重要,显然是的,工具调用和编程,对对我来说,这非常重要,我觉得anti-gravity 作为一个产品本身,确实很让人兴奋,但从模型的角度看,如果你想想,它其实是双向的,对吧,我们先聊聊模型这一边,从模型的角度看,能够和最终用户,也就是软件工程师,进行这样的整合,并且直接向他们学习,了解模型,需要在哪些地方改进,这对我们非常关键,我是说在有些领域也是这样,比如Gemini App 出于同样的原因也很重要,对吧,我是说直接了解用户非常重要 AntiGravity是这样 AI Studio也是这样,所以拥有这些我们密切合作的产品,然后理解和学习,获取用户信号,我觉得这非常重要,而AntiGravity 一直是非常关键的发布合作伙伴,他们加入的时间还不长,对吧,但在我们发布流程的最后两三周里,他们的反馈起了非常关键的作用 Search AI Mode也是一样,还有AI Overview Event 我们从那里也能得到很多反馈,所以对我来说和产品整合并获得这些信号,是我们理解情况的主要驱动力,当然我们有Benchmark 所以我们知道该怎么推动STEM 科学数学以及那类智能的发展,但我们真正理解现实世界里的使用场景也很重要, 因为我是说它必须在现实世界里有用。对,而在你新的Chief AI Architect职位上, [00:11:30]
Koray Kavukcuoglu:你现在还负责确保我们不只是拥有好的模型, 还要让产品真正拿这些模型来实现, 并且在谷歌各处打造出算是很棒的产品体验。我的意思是,显然我觉得这对用户来说是正确的做法, 让Gemini 3和所有产品服务在第一天就上线,对谷歌来说是个很棒的成就,我觉得以后还会有更多产品服务,希望如此,从DeepMind的角度看,你觉得这么做会增加多少额外的复杂性,从某种意义上说,一年半以前日子简单一些,当然,但我们是在构建智能,对吧 [00:12:17]
Logan Kilpatrick:很多人会问我,你身上有两个角色,我是说我算是有两个头衔,但它们其实是同一件事,如果我们要构建智能,就得通过产品来做,通过产品和用户连接起来,在开这个角色上,我要做的就是,确保谷歌的产品,能用上最好的现有技术,我们不是要去做产品,我是说我们不是做产品的人,我们是技术开发者,对吧,我们开发技术做模型,当然我是说,大家对任何事情都是开放的,我是说大家都很开放,但对我来说,最重要的是把模型和技术,以可能做到的最好方式提供出来,然后和产品团队合作,让他们能在这个AI世界里,做出最好的产品,因为这是一个全新的世界,对吧 有一种新技术正在定义用户的很多期待,定义产品应该怎么运行,应该保留哪些信息,以及用这项新技术,还能做的所有新事情,所以对我来说,就是和所有产品合作,把这些能力推广到谷歌各处,我觉得这很让人兴奋,无论是从产品角度,还是从用户能得到什么的角度,也包括从我刚才说的那个角度,这就是我们的主要驱动力,对我们来说,真正重要的是感受到用户的需求,得到用户的反馈信号,这对我们很关键,所以我才想做这件事,因为我们就是要这样构建通用人工智能 我们就是要通过产品来构建智能,我觉得事情会这样发生,这很适合你以后发一条推文,因为我确实觉得这很有意思,我也认同这个看法,我们在某种意义上 [00:13:47]
Koray Kavukcuoglu:是在和客户和其他PA一起构建通用人工智能 它不是一项在某个实验室里,独自进行的纯研究工作,这是我们和现实世界一起完成的共同努力,而且我觉得这实际上也是一个 [00:14:38]
Logan Kilpatrick:非常trusted tested的系统,我们正在更多的采用一种工程思维,我觉得在这件事上,采用工程思维很重要,因为一件东西如果工程做得好,你就知道它是稳健的,用起来也是安全的,所以我们是在现实世界里做事,也在采用各种trusted tested的构建理念,我觉得这一点也体现在,我们怎么看待安全和安保上,对吧,我们会再次从工程思维出发,从底层,从一开始就考虑这些问题,而不是等到最后才加上去,对吧,我们不会,我是说,当我们做post-training模型,做pre-training查看数据时,大家始终都要考虑这件事,我们有安全团队吗,当然,我们有安全团队,他们会带来所有相关的技术,我们还有安保团队,他们会带来所有相关技术 同时让Gemini的每个人都深度参与开发过程,把这当成第一原则,而且这些团队本身就是我们post-training团队的一部分,对吧,所以当我们开发这些模型,做迭代准备发布候选版本时,就像我们会看GPQA 这类benchmark一样,我们也会看安全和安保指标,我觉得这说明 [00:15:45]
Koray Kavukcuoglu:这种工程思维很重要,对我完全同意,我觉得这对谷歌来说也很自然,这也很有帮助,因为现在要把Gemini模型推出去,需要大家协作,而且规模也非常大
Logan Kilpatrick:我是说关于Gemini 3 我觉得我们刚才还在回顾这件事,对我来说,重要的一点是,这个模型是一个非常Google团队共同完成的模型。
Koray Kavukcuoglu:我们应该去看看数据,这可能是,我是说有些阿波罗计划,NASA项目或许也有很多人参与,但我觉得这是一次规模庞大的Google全球协作,所有团队都参与其中,才把它做成了,这很不可思议。
Logan Kilpatrick:每次Gemini发布新版本,都会调动来自这个大洲,欧洲亚洲,以及世界各地的人,我们在世界各地都有团队,他们都会参与进来,而且不只是GDM团队,对吧,是谷歌各地的所有团队,这是一项规模很大的协作工作,我们会和AIMO的同步发布,也会和Gemini App同步发布,对吧,这些都不容易做到,因为在开发过程中,他们就是我们的一部分,他们一直和我们一起做,只有这样,等模型准备好之后,我们才能在第一天,同时一起推出所有东西,我们一直就是这么做的,我们说谷歌各地都参与,并不只是说那些,积极尝试构建模型的人,所有产品团队,也都在完成各自的工作,对,我有一个问题 [00:16:48]
Koray Kavukcuoglu:可能也不算有争议 Gemini 3在很多benchmark上,算是SOTA 很多benchmark都是这样,我们也在谷歌的各种产品和服务,以及合作伙伴生态的各种入口上,同步发布,大家的反馈非常积极,总的来说,这个模型给人的感觉不错,如果把时间快进,我知道,先敲敲木头,如果我们把时间快进到,下一次谷歌重大模型发布,你现在的清单上,还有没有什么事情,会希望我们做到这个,那个还有那个,或者说Gemini还能怎样变得更好,还是我们就该好好享受 Gemini 3这一刻,还是,我觉得我们应该做的更多,对吧 [00:17:42]
Logan Kilpatrick:我们当然应该享受这一刻,因为享受一天这一刻,也是件好事,对,这可是漫长的一天,而且我觉得,大家都在认可这个模型,所以我也希望团队能享受这一刻,对吧,但与此同时,我们审视每个领域时,也都会看到不足,对吧,比如说,他的写作能力完美吗,不,他的写作能力并不完美,他的编程能力完美吗,它的编程能力也不完美,我是说尤其是在agent式的行动和编程这块,我觉得还有很大的提升空间,这是最让人兴奋的增长领域之一,我们需要找出还能做的更多的地方,然后继续做的更多,对吧,我觉得我们已经走了很长一段路,这个模型我想说差不多能服务90% 95%会以某种方式接触编程的人,至于这些人是软件工程师,还是想做点东西的创意工作者 对,我愿意相信这个模型就是他们能用的最好工具,对吧?但可能还是有一些情况我们需要做得更好。
Koray Kavukcuoglu:对,关于编程和2Use,我还有一个比较尖锐的问题。如果你回头看Gemini的发展历程,你觉得这到底是怎么回事?显然,1.0非常重视Multimodal,而到了2.0,我们开始让一些Agency的基础设施运转起来。你有没有感觉为什么我们,我先说明一点,我觉得我们的进步速度看起来很快,但是为什么,这只是因为我们有所侧重吗,为什么我们从一开始,在agency的to use上就没做到最先进,但是比如说multimodal 我们从一开始就是这样,说真的
从科研传统走向工程思维
Koray Kavukcuoglu:说真的 Gemini 1在multimodal上,就是当时最先进的,而且这种领先,我们保持了很长时间,我不觉得这是刻意安排的 [00:19:59]
Logan Kilpatrick:我觉得怎么说呢,老实讲,如果一定要说有什么原因回头想想,我觉得这和我们使用模型有关,也和开发环境紧密联系现实世界有关,我们联系的越紧密就越能理解这些现实中正在发生的真实需求,我觉得在Gemini的发展过程中,我们一开始所处的位置,当然谷歌的AI研究有着非常悠久的历史,对吧,我们这里有那么多出色的研究人员,还有谷歌做AI研究的悠久历史,我觉得这很好,但Gemini也是一个从那个研究环境,走向我们刚才说的这种工程思维的过程,然后进入一个和产品真正紧密相连的领域,对吧,你看这个团队我得说,我真的很自豪,因为这个团队现在大多数还是由人组成的,包括我在内,对吧 四五年前我们还在写论文,还在研究AI 而现在我们已经站在这项技术的frontier上了,而且这项技术是通过面向用户的产品,由你们开发出来的,这是完全不同的一种思维方式,我们每六个月做出一个模型,然后每一个半月更新一次,这是一次很大的转变
Koray Kavukcuoglu:我觉得我们已经走过了这个转变,对我很喜欢这一点 Gemini 3的进展太棒了,另一个我一直在想的问题就是,我们总体上怎么看生成媒体模型,我觉得从历史上看,它们算不上什么大事,我的意思不是说它们没有受到重视,它们受到了重视也一直很有意思,但我觉得到了VIO3.1 再加上Nano Banana模型,我们再把它们做成外部产品这件事上,取得了很大的成功,我很好奇在我们想要构建通用人工智能的这个目标下,你是怎么看这件事的,有时候我觉得自己有时能说服自己,视频模型好像并不属于这套叙事,但我觉得这不是真的,我觉得总体来说,你能理解这个世界,理解物理,以及其他所有这些东西,所以我很好奇,你怎么看这些东西,是怎样交织在一起的 [00:21:25]
Logan Kilpatrick:如果你回到十年十五年前 generative model 主要还是用在图像上的,对吧,因为我们能更好的观察,比如到底发生了什么,而且理解世界,理解物理,这个想法,也是用图像做generative model 等等的主要推动力,我们用generative models 做过的一些令人兴奋的事情,可以追溯到大概十年前,不是很久以前,十年前,感觉像是二十年前,对吧,二十年前,我们还在做图像模型,对吧,我的意思是,我刚才之所以这么说,是因为我读博士的时候,我们还在做生成图像模型,对吧,那时候大家都在做这些模型,我们经历过那个阶段,我的意思是当时有一种东西叫pixel ks 对吧 他们就是图像生成模型,某种程度上,我觉得发生的事情是我们也有了一个很大的认识,那就是文本其实是能让进展非常快的更好领域,但我觉得图像模型回归是很自然的,而且在GDM你们很早就有非常强的图像视频和音频模型了,我想这可能就是我试图解释的事情,我觉得把这些东西结合起来是很自然的,所以我们现在的方向是,我们一直在谈multimodality 对吧,当然自然而然的,我们一直在谈输入和输出的multimodality 这就是我们的发展方向,对吧,你看随着技术发展,这两个不同领域之间的架构和想法,已经在彼此融合,过去这些架构之间差别很大,对吧,但现在它们正在越来越多的走到一起 所以这并不是说我们在强行塞进什么东西,现在发生的事情是,技术自然而然的在区域融合,随着技术区域融合,这是因为大家都明白,哪里还能提高效率,想法又在往哪个方向发展,而我们也看到了共同的路径,我觉得这条共同的路径正在很好的汇合,所以nano banana算是最早出现的几个时刻之一,对吧,比如说你可以反复调整图像,也可以和模型对话,因为文字模型拥有很多对世界的理解,对吧,也就是说从文字里,他们获得了很多对世界的理解,而图像模型则是从另一个角度理解这个世界,所以我觉得把这两者结合起来,就会得到一些让人兴奋的东西 因为我觉得人们会感觉,这个模型理解了,他们想要传达出去的neurons [00:24:56]
Koray Kavukcuoglu:我还有一个关于nanobanana的问题,你觉得我们是不是应该,给所有模型都取些滑稽的名字,你觉得那会有帮助吗,不太会,你看我是说,我觉得我们并不是故意这么做的 [00:25:03]
Logan Kilpatrick:如果Gemini 3不叫Gemini 3 你觉得我们会给它取什么名字,一个很荒唐的名字,我不知道,我不擅长取名字,我觉得我喜欢,我是喜欢,我是说它叫Rift Runner 对吧,就是Rift Runner 我们其实会用Gemini模型,那些名字是代号,我们也会用Gemini模型来想这些代号,而Nano Banana不是这么来的,我们没有用Gemini 对吧,关于它有个故事,我觉得应该在哪发表过,我是说只要这些东西是自然形成的,而且有自己的生命力,我就很满意,因为我觉得做这些模型的团队,算是和它建立起某种联系,对它们有好处,对,然后等我们发布它们的时候,我觉得这只是,我是说这之所以发生,是因为我们当时用代号测试这个模型,对吧 在LM Arena上,大家都很喜欢它,而且我觉得我不知道,我愿意相信它是自然形成的,算是慢慢流行起来了,我不确定你能不能设计出一个流程,专门生成这种效果,我同意你的看法,我也是这么感觉的,如果有这种东西,我们就应该用它,如果没有
Koray Kavukcuoglu:那取些标准的名字也不错,对我们应该聊聊Nano Banana Pro 这是我们最新,目前最先进的图像生成模型,建立在Gemini 3 Pro之上,我觉得这个团队,我是说其实当时他们差不多也快做完了 Nino Banana当时已经有了早期信号,说明也许可以把它做成专业版,也就是说,在一些更细致的使用场景里,比如文字渲染,对世界的理解之类,你可以获得高得多的性能,有什么事情是你现在特别想到的,我知道我们手头有很多事情,不过我觉得这可能就是 [00:26:33]
Logan Kilpatrick:我们看到不同技术之间的alignment 开始发挥作用的地方,对吧,我说因为对于Gemini模型,我们一直都说,每个模型版本其实都是一个model family 对吧,比如我们有pro flash flash light 这就是一个model family 因为模型大小不同,在速度准确率成本,以及类似这些方面,就会有不同的取舍,随着这些东西逐渐汇合,当然图像这边也有同样的情况,对,所以我觉得团队自然而然会想,好那这里有3.0 pro architecture 我们能不能利用第一版学到的一切,再把规模做大,把这个模型进一步调成生成图像的模型,我觉得最后我们得到的东西,能力强多了,能理解非常复杂的东西 比如说一些最让人兴奋的用力,就是你手里有一大批非常复杂的文档,你可以把这些文档输入进去,让这些模型帮你回答问题,你也可以让它根据这些内容,生成一张信息图,然后它真的能做到,对吧,所以这就是这种自然的输入modality 输入和输出modality 发挥作用的地方
Koray Kavukcuoglu:而且效果很好,对感觉像魔法一样,我也不知道,希望到这个视频发布的时候,大家已经看过这些例子了,不过我觉得看到很多内部案例,被大家分享出来,真的特别酷
Logan Kilpatrick:太不可思议了,是的我同意,你看到这一点的时候会很兴奋,因为你会突然说,天啊,对,那么多文字,概念,还有复杂的东西,全都在一张图里解释清楚了,真是很好的方式,你看到这些东西的时候,会觉得这真的挺不错的,对吧,你会意识到,这个模型确实有这个能力,而且 [00:28:43]
Koray Kavukcuoglu:是的,它里面还有很多细微之处,这也很有意思,我有一个相关的问题,大概是在去年12月 2024年12月,好 Tulsi当时承诺,我们会有统一的 Gemini Model Checkpoint 我觉得你刚才描述的,其实就是我们现在,已经非常接近那个目标了,也就是从历史上看 Architecture原本是,在图像生成这件事上,统一起来的,我明白了,对,我想知道,你觉得是不是这样,我想这应该是一个目标,也就是我们希望,这些东西真正融入模型,对,而且总有一些很自然的因素,会阻止这件事发生,我很好奇如果有的话,会是哪些情境,或者说更高层面的情况,对你看我刚才也说了
统一模型与多模态创新
Koray Kavukcuoglu:对你看我刚才也说了 [00:29:57]
Logan Kilpatrick:技术和architecture 正在逐渐对齐,所以我们会定期看到这种情况发生,大家都在尝试,但这只是一个假设,而且你不能在这件事上,只凭意识形态行事,科学方法就是科学方法,我们会尝试各种东西,提出一个假设,然后看结果,有时候有效,有时候没用,但这就是我们一步步走过来的过程,我们正在越来越接近,我很确定在不久的将来,我们会看到一些东西逐渐合在一起,我觉得慢慢的,它会越来越像一个单一的模型,但这需要很多创新,对吧,你看这很难仔细想想就知道 output space对于模型来说非常关键,因为你的learning signal就来自那里,对吧,现在我们的learning signal 来自代码和文本 这基本上就是推动output space的主要因素,所以你在这方面做得不错,现在能生成图像这件事是,我觉得我们对图像质量的要求,已经调得很高了,这很难做到,对吧,真正生成出高质量的图像,让每个像素都做到精准,是很难的,而且图像在概念上也必须非常连贯,每个像素的质量都很重要,但它和整张图的总体概念是否契合,也很重要,这很重要,对吧,要训练出一个两者都能做到的东西更难,我是这么看的,我觉得这肯定是有可能的,这是有可能做到的,关键只是要在模型里找到合适的创新,让这件事实现,对我喜欢这个,我很期待,如果我们有的话,希望也能让我们的服务更轻松一些,这个我不知道 [00:30:54]
Koray Kavukcuoglu:这是单独一个model checkpoint 很难说,这是不可能的,我同意你的看法,眼下我们坐在这里,而DeepMind可能拥有世界上最好的几款AI产品,这条脉络挺有意思的,至少希望如此 AI Studio里的Vibe Coding Gemini App Anti-Gravity 而且放眼谷歌,这种情况现在也正在发生,我们有一个很棒最先进的Gemini 3模型,现在还有Nano Banana 还有Vio这些模型都算是在frontier上,大概10年前甚至15年前,世界看起来都很不一样,我有点好奇,想问问你个人是怎么走到今天这一步的,你昨天跟我们聊天时提到过一件事,这件事我之前完全不知道,我后来把这件事告诉另一个人,对方也是一样,说自己完全不知道,你是DeepMind的第一位深度学习研究员,我觉得沿着这条脉络 走到我们今天所在的地方,感觉像是一次疯狂的跨越,从当时人们对这项技术,完全不感兴趣开始,我不知道你是多久以前,开始在DeepMind工作的,大概十年 2012年 13年,对,这太不可思议了 13年前人们还没有,对这项技术感到兴奋,而现在已经走到了这一步,当然我想DeepMind当时,是对这项技术感到兴奋的,如今它已经真的在驱动,所有这些产品,而且成了最核心的东西,我很好奇,你回头想想这段经历,脑子里首先想到的是什么 AT [00:32:41]
Logan Kilpatrick:这让你意外吗,还是说这一切当时就很明显,我觉得这是一个充满希望的,积极的结果,也就是最理想的情形,对吧,我是这么说的,我读博士的时候,我觉得所有读博士的人,应该都有同样的感受,你会相信自己做的事情很重要,或者将来会变得重要,对吧,你真的对那个主题很感兴趣,你觉得它会产生很大的影响,我当时也是这么想的,所以当Demis和Shane联系我,我们聊过之后,我对DeepMind真的非常兴奋,得知有这样一个地方,我当时真的很兴奋,因为它确实是真正专注于构建智能,而深度学习就是它的核心,而且其实我和我的朋友Carol Greger 当时都在延位于纽约大学的实验室里,我们是在同一时间加入DeepMind 我只是想说的具体一点,那时候竟然会有一家专注于深度学习,甚至专注于AI的创业公司,是很不寻常的,所以我觉得那非常有远见,也是一个很棒的地方,真的让人很兴奋,后来我组建了深度学习团队,它发展起来了,我觉得我喜欢的一点,我是说我做深度学习的方法,一直是把它看成一种,你该如何处理问题的思维方式,而第一原则始终是以学习为基础,这就是deep mind的方向,一切都压住在学习上,这是一段令人兴奋的旅程,从我们当时的起点开始,一路经历了强化学习 agent 以及我们做过的一切,至少我是这么想的,你会去做这些事情,我会带着希望,期待结果是积极的 但我回头想想,会说我们其实很幸运,对吧,我们能生活在这个时代,是很幸运的,因为我觉得很多人都做过AI 或者做过自己真正热爱的领域,他们当时都觉得,这就是属于他们的时代,事情也会在这个时候开花结果,但这件事现在正在发生,而且我们也得意识到 AI之所以现在正在发生,不只是因为机器学习和深度学习,还因为硬件的发展,已经到了某个阶段,互联网和数据,也已经到了某个阶段,对吧,所以很多事情正好汇聚到了一起,我也觉得自己很幸运,能真正从事AI 一路走到这个时刻,我觉得回头想想,我的感受就是,没错,我们从事AI是一系列选择,而我也做了一些具体选择 决定从事AI 但与此同时,我也觉得自己很幸运,在这个时候
Koray Kavukcuoglu:我们处在这样的位置上,这非常令人兴奋,对我同意你的看法,我喜欢你这么说,我很好奇,我当时在看Thinking Game 也在进一步了解这件事,我那时候没参与AlphaFold 所以我唯一了解的背景,就是读相关资料,看别人谈论它,我很好奇,你回头看这些事情,也亲身经历了其中很多之后,今天和以前相比,有哪些不同,我先举一个例子来引出这个问题,这个例子就是你刚才在镜头外提到的事情,不过这不完全是你的原话,你当时大概是说,我们已经摸索出该怎么做出这些模型,并把它们带给全世界,这基本上就是你想表达的意思,我也同意,我很好奇这种感觉是不是,或者说这和之前几代模型的情况,有哪些相似又有哪些不同 [00:36:06]
Logan Kilpatrick:我觉得怎么组织团队,以及哪些文化特质对成功很重要,把困难的科学和技术问题,转化成成功的结果,我觉得我们通过做过的许多项目,学会了很多这方面的东西,从DQN AlphaGo AlphaZero 一直到AlphaFold 所有这些事情都产生了相当大的影响,而且通过这些项目,我们学到了如何围绕特定目标,特定使命来组织团队,如何组织成更大的团队,我记得DeepMind早期的时候,我们做一个项目,可能会有25个人,还会和这25个人一起写论文,然后所有人都会对我们说 25个人肯定不可能都参与了这项工作,我会说没错,他们确实都参与了,对吧,我的意思是,我们会这样组织团队,因为在科学和研究领域 这并不常见,对吧,对,我觉得那些知识和那种思维方式很关键,我们就是在这个过程中发展起来的,我觉得这非常重要,与此同时,我觉得正如我们之前聊到的,最近两三年也是这样,对吧,我们把这一点和一种想法结合了起来,那就是现在这更像是一种工程思维,我们有一条正在开发的模型主线,我们也学会了如何围绕这条组线进行探索,如何用这些模型进行探索,我觉得一个很好的例子就是deepthink模型,每次看到它或者想到它,我都会觉得挺开心的,我们参加EMO比赛 ISPC比赛和ICPC比赛时,用的就是这些模型,我觉得这是个特别酷特别好的例子,因为我们会进行探索 你会挑一些很大的目标,比如说EMO比赛很重要,对吧,那里的题真的很难,还有,我要向所有参加这些比赛的学生致敬,真的很厉害,而且既然能把一个模型放到那里用,你当然会想为它定制一些东西,我们算是这样做的,我们会把这当成一个机会,去改进现有的东西,或者想出一些,能和现有模型兼容的新点子,因为我们相信,现有这项技术是有通用性的 DeepThink就是这样做出来的,然后我们想出一些东西,再把它开放给所有人使用,对吧,这样所有人都能使用,那个实际上用于IMO比赛的模型,只是把你刚才说的 [00:38:46]
Koray Kavukcuoglu:和论文里的25个人做个类比,我觉得放到今天,你看我敢肯定会有一份 Gemini 3贡献者名单,很快就会发布,或者已经发布了 2500 大概有2500个人,而且我敢肯定,人们会保守一点,对,我敢肯定,人们会觉得,不可能有2500个人真的参与了,但他们确实参与了,但他们确实参与了
Logan Kilpatrick:这太不可思议了,现在看到有些问题的规模 [00:39:57]
科学探索与规模化之间的平衡
Logan Kilpatrick:现在看到有些问题的规模,竟然这么大,也很让人着迷,对确实,我觉得这对我们很重要,这也是谷歌很棒的一点,这里有很多人在各自的领域里,都是非常厉害的专家,我们也受益于谷歌的全栈式做法,对吧,我们确实从中受益,所以每一层都有专家,从数据中心,芯片到网络,再到如何大规模运行这些东西,对吧,这些东西又回到了工程思维,他们已经到了无法彼此分开的程度,对吧,我们设计模型时,会知道它要运行在哪种硬件上,而我们设计下一代硬件时,也会知道模型可能会发展到哪里,但这很美妙,对吧,我的意思是要协调好这一切,当然得有成千上万的人一起工作,一起贡献 我觉得我们需要认识到这一点,这是一件很美好的事,很棒,对这可不是件容易做到的事,有一条有意思的线索 [00:40:52]
Koray Kavukcuoglu:是回到DeepMind的传统,也就是采取各种不同的科学方法,努力解决这些非常有意思的问题,而到了今天,我们已经知道这项技术,在很多方面都能发挥作用,我们真正需要做的,只是继续把它规模做大,当然要持续这么做,也需要不断创新,但我很好奇,在今天这个时代,你怎么看DeepMind 要怎么在两者之间取得平衡,一边纯粹做科学探索,另一边又只是想把Gemini继续做大,也许可以用你最喜欢的一个例子,也就是Gemini Diffusion 来说明这种决策 [00:41:00]
Logan Kilpatrick:是怎么在某种程度上变成现实的,这才是最关键的事,对吧,找到这个平衡很重要,即使到了现在,别人问我 Gemini最大的风险是什么,当然我也经常思考这个问题 Gemini最大的风险,就是失去创新,因为我真的不相信,我们已经找到了那个配方,接下来只要照着执行就行了,我不相信这一套,如果我们的目标是构建智能,并且我们要做到这一点,当然会通过用户和产品来实现,但外面的问题非常有挑战性,我们的目标本身依然很有挑战,而且就摆在那里,我不觉得我们已经找到了那个配方,不是只要扩大规模或者执行就行,能让这一切成为可能的是创新 你可以把创新想成不同的规模,或者是和你现在拥有的东西存在不同切入方向的创新,当然我们有Gemini模型,在Gemini项目内部,我们也做了很多探索,我们探索新的架构,探索新的想法,也探索不同的做事方式,我们必须这么做,我们会继续这么做,所有创新都是从这里来的,但与此同时,我觉得DeepMind 或者说整个Google DeepMind 也在做更多探索,我觉得这对我们非常关键,我们必须做这些事,因为再说一次,可能有些东西单靠Gemini项目本身限制太多,没法去探索,所以我觉得我们能做的最好的事,就是在Google DeepMind里做,也在Google Research里做,对吧,我们会探索各种各样的想法 然后把这些想法带进来,因为说到底Gemini不是那个架构,对吧 Gemini是你想要实现的目标,你想要实现的目标是智能,而你想通过产品来实现它,让整个谷歌都真正运行在这个AI引擎上,从某种意义上说,具体用的是什么架构并不重要,我们现在有一些东西,也有让它不断发展的方法,我们会沿着这条路继续发展,而推动这一切的引擎就是创新,永远都会是创新,所以找到这个平衡,或者找到用不同方式做到这一点的机会,我觉得非常关键,对我还有一个相关的问题,在IO大会上,我和Sirgate坐下来聊,我当时对他说差不多是这样 [00:43:26]
Koray Kavukcuoglu:当时我在IO大会上亲身感受到这一点,你把这么多人聚在一起,发布这些模型,带来这样的创新,在这个过程中,你会感受到人性的温度,这真的很有意思,我之所以提到这个,是因为当时我也坐在你旁边,听他们说话,我多少也感受到了你的温度,我这么说是很个人化的,因为我觉得,这也体现了整个DeepMind的运作方式,我觉得Demis也是这样,他身上有很深的科学根基,但同时他身边也都是友善亲切善良的人,有件事很有意思,我不知道大家是否充分意识到,这种文化有多重要,以及它是怎么体现出来的,我很好奇,当你考虑如何帮助塑造和运营这一切时,这一点对你来说又是怎么体现出来的,首先我是说非常感谢 [00:44:10]
Logan Kilpatrick:你把我说的都不好意思了,但我觉得重要的是,我相信我们拥有的这支团队,也相信要信任别人,给他们机会,而团队这一点很重要,我觉得至少对我来说,我也可以说,这是我在DeepMind的工作的过程中,学到的东西,因为那时候我们是一个小团队,当然团队里的信任,就是这样建立起来的,然后随着团队壮大,你要想办法维持这种信任,我觉得重要的是,要营造这样的环境,让大家觉得好,我们真的在乎,解决那些有挑战性的技术和科学问题,并且产生真正影响现实世界的成果,我觉得我们现在做的依然是这件事,对吧,就像我说的 Jemini就是为了这个构建智能,是一个技术性很强 也很有挑战的科学问题,我们必须用这样的方式去面对它,也必须带着那份谦逊去面对它,对吧,我们必须不断质疑自己,希望团队也有这样的感受,所以我总是在说,我真的为这支团队感到骄傲,他们合作的非常好,就像今天我们刚才,还在楼上的茶水间聊天,对吧,我是说我对他们说,是的这很累也很难,是的我们都筋疲力尽了,但事情就是这样,我们没有一套完美的结构,来做这件事,大家聚到一起工作,互相支持,这很难,但我觉得真正让它变得有趣,让你愿意去解决那些特别难的问题的,很大程度上是有一支合适的团队聚在一起,一起工作 我觉得关键在于要看清我们手上这项技术的潜力,我不能肯定的说 20年后它还会是完全一样的LLM Architecture 我确定不会,对吧,所以我觉得推动新的探索是正确的做法,就像我们之前说的,整个GDM和Google Research一起,都必须和学术研究界开展合作,总体来说,我们必须向很多不同的方向推进,我觉得这完全没问题,至于什么是对的,什么是错的,我觉得这不是重要的讨论,我觉得真正重要的是这些能力,以及这些能力在现实世界中的展示,他们应该自己说明一切,对,我还有最后一个问题,我也很好奇,想听听你对此有什么反思 [00:46:46]
Koray Kavukcuoglu:我感觉对我个人来说,我在谷歌的第一年半多一点,感觉像是,其实我挺喜欢这种某种程度上,谷歌像个挑战者的故事,尽管我们有基础设施上的各种优势
Logan Kilpatrick:但对我个人来说,这体现的是努力,你是什么时候加入的 2024年4月 2024年,对所以说到AI Studio
Koray Kavukcuoglu:当时我们在做这个产品,对,哦对了,我想起来了,我们有三万个用户,没有收入,而且当时还处在 Gemini模型生命周期,非常早期的阶段,快进到今天,情况显然已经不一样了,过去这几天,随着这个模型陆续推出,我之前不断收到很多人的消息,来自这个生态系统各处的人,我确定你也收到了,很多这样的消息,人们,我觉得是真正开始意识到,这件事终于发生了,但我很好奇,从你的角度看,你有没有也感受到那种挑战者的处境,我当时是相信我们会走到这一步的,这也是我加入谷歌的原因,但你也有这种感觉吗,我还很好奇,你觉得当我们跨过这个转折点之后,这会怎样体现到团队身上,我当然有,而且在那之前就有了 [00:47:56]
Logan Kilpatrick:因为当LM真正显现出他们的强大时,对吧,说实话,我觉得我们就是frontier AI实验室,对吧,在DipMind是这样,但与此同时,我也觉得好吧,有些东西我们作为研究人员,投入的还不够多,应该投入更多,这对我来说也是一个很大的教训,对吧,所以我总是很谨慎,我们需要广撒网,这一点很重要,这种探索很重要,重点不是这个architecture 也不是那个architecture 而且从我们开始,更加认真的对待LIM以来,我一直很坦诚的和团队说,从大约两年半前,开始Gemini项目也是这样,我觉得我一直都很坦诚地告诉团队,我们在这方面离最先进水平还差得远,有很多事情我们还不知道该怎么做,有很多事情我们知道该怎么做 但我们还没有达到那个水平,这是一个追赶的过程,而且我们已经追赶了很长一段时间,我觉得现在我们已经进入了领先者的行列,我对我们的工作节奏感觉很好,也很有信心,我们算是进入了一个不错的节奏,我们的配合很好,我们的节奏很好,不过是的 [00:49:41]
追赶、创新与DeepMind的未来
Logan Kilpatrick:不过是的,我们一直都在追赶,你得对自己诚实,对吧,比如当你在追赶别人时,你得看看别人正在做什么,然后能学什么就学什么,不过你得为自己做创新,这就是我们做的事,我觉得从某种意义上说,这是一个很好的弱者逆袭故事,对吧,比如我们为自己做了创新,我们也找到了自己的解决方案,无论是技术模型流程,还是我们的运作方式,对吧,而且这套东西是我们独有的,对吧,我们和整个谷歌一起运作,你看看我们在做什么,这是完全不同的规模,我从来没把这些事情看成这样,有人有时也会说谷歌太大了,很难做,我觉得我们可以把这一点变成自己的优势,因为我们有一些独特的事情可以做,所以我对我们现在的状况挺满意 不过我们得在这个过程中学习,也得在这个过程中创新,这是实现我们现在这些成果的一条好路子,而且还有很多事情要做,对吧,我觉得我们算是还在追赶,我们正在赶上,总会有人拿我们比较,但我们的目标是构建智能,对吧,我们想做到这一点,我们希望用正确的方式来做这件事,所以我们把所有的思考和所有的创新都放在这上面 [00:50:54]
Koray Kavukcuoglu:我觉得接下来的六个月,可能会和过去六个月,以及在之前的六个月一样令人兴奋,谢谢你抽时间坐下来聊聊,这次聊得特别开心,我希望明年IO大会之前,我们还能再坐下来聊一次,感觉那还要等很久,但时间会不知不觉就到了,我敢肯定,像下周这样的会议,肯定会有讨论IO2026年的规划,把一切都落实下来,谢谢你抽时间来聊,再次恭喜你DeepMind团队,以及模型研究团队的每一个人,做出了Gemini 3 Nano Banana Pro 还有其他所有这些成果,对非常感谢,能进行这次交谈感觉太棒了 [00:51:23]
Logan Kilpatrick:这也是一段很棒的旅程,很高兴能和整个团队一起,也很高兴能和你分享这些,很棒,非常感谢你邀请我来,我们准备了一份特别的小礼物,感谢你
Koray Kavukcuoglu:也恭喜你和团队做成了这件事,不错,谢谢,非常贴切 1500分,一楼俱乐部,第一个模型,对吧 1501分,用来,第一个模型,你太客气了,非常感谢 [00:52:16]