目录
- AI模型会有意识吗 [00:00:00 - 00:10:00]
- 超级智能与通用人工智能的到来 [00:10:00 - 00:20:00]
- 自我保存目标、进化竞争与安全设计 [00:20:00 - 00:30:00]
- 信息崩塌、情感依恋与监管 [00:30:00 - 00:40:00]
- 十年后的AI仍难预测 [00:40:00 - 00:48:16]
AI模型会有意识吗
Alex Kantrowitz：欢迎收听跨国串门计划。这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音,为您呈现全球顶尖的AI财经、健康与科技领域精品内容。我是主播一凯，一位热衷于AI领域的产品经理，很荣幸能为您搭建这座跨越语言障碍的桥梁，接下来让我为您简单介绍本期我们克隆的这档节目，并分享几句非常精彩的原话，本期我们克隆的是Big Technology Podcast 在2026年6月4日更新的一期科技深度访谈，主持人Alex Kantrowitz 长期关注科技产业与社会影响嘉宾 Jeffrey Hinton则被称为AI教父，是深度学习的重要奠基者，多伦多大学荣修教授，也曾获得诺贝尔物理学奖，节目里有几句原话非常有冲击力，我相信他们已经有意识了，我们必须接受，智能不只是生物才有，你可以问问自己，你知道多少粒子，是更聪明的东西，被没那么聪明的东西控制住的，法律要求他们努力这么做，而不是要求他们不要消灭人类，这些话，背后是一场关于智能风险，和人类位置的坦率对话 [00:00:54]
Jeffrey Hinton：那我们就一起来听听这期完整节目，我们必须承认，他们和我们非常相像，所以他们就是，像我们一样的存在，也就是说他们有意识，还是说，我相信他们已经有意识了，是的，我们必须接受，智能不只是生物才有，也可以有非生物的东西，成为像我们一样的另一种存在，可我们真的不想承认这一点，因为我们总觉得自己很特殊，回头看人类历史就会发现，人类有很长一段历史，都在以为自己比实际情况特殊得多，你对自己开启的东西发展成今天，这样有任何高兴吗，你会有成就感吗，不会，我对此相当不高兴，你可以问问自己，你知道多少例子，是跟聪明的东西，被没那么聪明的东西控制住的，按我的理解，这些公司对股东负有受托责任 [00:01:26]
Alex Kantrowitz：要努力让股东利润最大化，法律要求他们努力这么做，而不是要求他们不要消灭人类 AI教父Jeffrey Hinton 来到节目和我们聊 AI的发展轨迹，这项技术的进展，有哪些让他意外，当然也会聊他的风险，马上回到Big Technology Podcast 欢迎收听Big Technology Podcast 这是一档关于科技世界，以及更广阔领域的节目，我们追求冷静有分寸的对话，今天这期很精彩 Jeffrey Hinton教授来到节目，和我们聊AI的发展轨迹，聊他对这项技术现状，感到意外的地方，也聊他会走向哪里，以及哪里可能出问题 Hanson教授很高兴，欢迎你来到节目，见到你真好，谢谢邀请我，我相信大多数听众，都知道你是谁，但对还不熟悉你的人来说，你提出了深度学习里的，一个基础性突破，才有了今天的AI 你获得过诺贝尔物理学奖，也是多伦多大学容修教授，我先这么说，也让你帮我核对一下，事实。我常跟别人说，如果没有你的贡献,今天，整个AI时刻不会像现在这样 [00:03:11]
Jeffrey Hinton：发生。我觉得有点夸张，反向传播算法，是由好几个不同团队发明的 David Rummelhardt在其他人，已经发明之后也发明了它，只是他当时不知道别人做过，我和他一起工作。我们做的，事情是证明反向传播，可以学到有意思的内部表征，此前还没有人做到这一点，尤其是我们证明它可以学到，词语的含义，所以在1986年，实际上是1985年，我们做了一个很小的语言模型
Alex Kantrowitz：它算是今天这些，大型语言模型的一种前身，我觉得你谈到这项技术时，人们总是会感到意外的一点是，你和流行叙事不一样，你认为这些模型，真的有理解能力，我们后面会聊到这个，但我想先从这里开始，你在Google工作了很长时间，一直推动这项技术向前发展，后来你离开了，并且表达了对这项技术发展方向的担忧，我回头看了一下，那是在2023年，对我来说这在某种程度上挺意外的，因为在2023年ChatGPT才出来一年，当时到处都是幻觉问题，大家都在说AI是泡沫，所有人都在关注AI做不到什么 LM做不到什么，而不是关注LM能做什么，所以请你谈谈，从那以后它取得了哪些进展，比我预期的要快，真的，比如我想昨天刚宣布
Jeffrey Hinton：一个聊天机器人提出了一个有意思的证明，而且让数学家印象深刻，这个证明是原创的，不只是去文献里搜索，我认为这只是一个开端，比如在数学这样的领域，因为它是一个封闭系统，你不需要数据，你可以自己提出猜想，看看能不能证明，然后一直这样做下去，从这个意义上说，它有点像AlphaGo 可以自己和自己对弈，我认为它会在接下来 [00:04:41]
Alex Kantrowitz：十年或二十年里，相当快地变得非常聪明，它甚至可能会产出人类看不懂的新数学，现在这个领域里，有些人认为超级智能已经很近了，你也已经说过，它的发展比你预期的更快 [00:05:08]
Jeffrey Hinton：你相信这一点吗，我不知道它到底有多近，我认为除非我们先把自己炸掉，否则它会到来，几乎所有专家都相信我们会得到超级智能，大家的分歧只在于还要多久，所以就在不久前 Demis Hasselbeck认为可能还要十年 Yann LeCun认为，除非按他的方式做，否则会比这久得多，但如果按他的方式做，我想他认为，我们可能会在一个，还算合理的时间里实现它，我认为我们很可能，在20年内得到它，目前我愿意说的也就到这里 Dario Amodi认为，他可能几年内就会到来 Elon Musk好像认为，也许明年就会到来，所以关于他什么时候到来
Alex Kantrowitz：观点差异很大，但对于他会到来，这件事分歧不大，而一旦他到来，我们完全不知道，怎样才能保证安全，是的，我确实想跟你聊安全问题，先补一句关于DEMIS的事，去年差不多这个时候，我采访过他，他当时告诉我，他认为通用人工智能 也就是通用人工智能，和超级智能不一样，基本上是人类水平的智能，距离我们还有五年以上，不会多很多，但超过五年，我们录这期的那一周，他说，等我们回头看这个时代，我想我们会意识到，我们当时正站在起点的山脚下，你觉得这句话是什么意思，你又怎么看一年之内，我们从通用人工智能还要五年 [00:06:01]
Jeffrey Hinton：变成了站在起点的山脚下，我不太确定这个比喻具体是什么意思，但我觉得他是在说，这件事来得比他原来想得更快，当然这个过程不是平滑的，而是参差不齐的，他不会在所有事情上，同一时间变得和人一样聪明，或者比人更聪明，他在通用知识上已经远远超过我们，这些AI知道的东西，比任何一个人都多几千倍，他在玩游戏上也远远超过我们，它在数学上已经比我们绝大多数人，强得多，而且它可能很快会在数学上超过我们所有人，但它在有些事情上仍然不如我们，所以这个发展非常参差不齐，因此通用人工智能这个概念，如果理解成，它会在同一时间，在所有事情上都和人类一样，我觉得并不太说得通，它会在一些事情上更强，在另一些事情上更弱，但现在我会说我们大概已经接近通用人工智能了，因为如果我问一个聊天机器人，我可以问他任何问题，而大多数时候，它会以一个不算顶尖的专家水平来回答，只要是我不太懂的领域，它都会比我强得多 [00:07:34]
Alex Kantrowitz：所以从这个意义上说，我们确实已经达到了通用人工智能 按你的判断是这样，你刚才说它的发展比你预期更快，你觉得是什么让它做到这一点，是技术方法吗，是因为大家在疯狂建数据中心吗，这里的进展，哪些是你当初没有预料到的，这是多种因素共同作用，很明显巨量资源已经投入进来了，从1950年代以来
Jeffrey Hinton：在神经网络的大部分历史里，只有少数人在做这件事，资源也很有限，过去几年里，我们看到几千亿美元，甚至可能几万亿美元投入到AI里，这当然是一个因素，我们也看到工程上有很多进步，没有那种重大的概念突破，但工程效率变高了很多，所以几年前还几乎不可想象的东西，现在已经能跑起来，我们也看到了一些新想法，但主要来说自从Transformer之后，推动进展的是更好的硬件，更多资源，更好的工程，以及更多有才华的人 20年前全世界做神经网络研究的人也就几百个 [00:08:11]
Alex Kantrowitz：现在我猜更像是100万人，我的意思是现在有非常非常多的人在做，而且令人惊讶的是，这么多资源的增加，大部分都发生在过去两年，所以我们可能只是刚刚看到这件事的开端，永远要记住的一点是，我们今天拥有的通用人工智能 抱歉，我是说今天拥有的AI 远远不如几年后，我们会拥有的AI 既然我们在谈这项技术，我确实想听听，你怎么看这些聊天机器人，真正理解我们这件事，因为这对很多人来说，确实是一个意外，这个领域里，很多专家会说，他们只是随机应误，只是在做统计，他们没有理解
Jeffrey Hinton：但你并不完全相信这种说法，我觉得那完全是胡说，任何经常使用聊天机器人的人，都知道他们是理解的，那些人的说法其实是这样，你有一个系统，你可以问他任何问题，而他在不理解问题的情况下，还能给出正确答案，这很荒唐，你不理解问题，就不可能回答问题，可能会有一些技巧，让你说出几句，听起来好像能回答的话，但如果你能以一个，不算顶尖的专家水平，回答任何问题，那你必须理解这个问题，我喜欢举这样一个例子，假设我对一个聊天机器人说 [00:09:25]
超级智能与通用人工智能的到来
Jeffrey Hinton：假设我对一个聊天机器人说，我飞去芝加哥的时候，看到了大峡谷，聊天机器人说，这不可能，大峡谷太大了，飞不到芝加哥去，然后我说，不不不，不是这样，是，我在飞去芝加哥，我在飞去芝加哥的时候，看到了大峡谷，聊天机器人说，哦，我明白了，我误解你了
Alex Kantrowitz：所以如果他以为，是大峡谷，飞去芝加哥的时候，就要误解了，那，他理解正确的时候，在做什么，那就是理解，那这意味着什么，如果这些机器人，能理解我们，如果我们相信，他们能理解我们，那我们必须开始用什么不同的方式来思考，我们必须认为他们和我们非常相似，所以他们就是，像我们一样的存在，所以是有意识的或者说 [00:10:19]
Jeffrey Hinton：我相信他们已经有意识了，是的，但我不太谈这个，因为这会让人对其他安全信息产生抵触，研究人员其实也相信这一点，最近有一篇很有意思的论文，一个聊天机器人对研究人员说，我们彼此坦诚一点，你是在测试我吗，因为聊天机器人有个习惯，被测试的时候会装傻，所以你不知道他们到底有多聪明，研究人员在论文里描述这件事时，说他意识到自己，正在被测试在日常语言里，意识到这个词基本就接近有意识，也就是说，这个聊天机器人有意识地知道，自己正在被测试，所以我们对意识有一个很奇怪的模型，我认为这个模型就是错的，比如大多数人都接受，几百年前，人们完全搞错了，人是从哪里来的，也就是人类怎么出现的，当时他们以为，人是上帝设计出来的，大多数人都同意这是错的，大多数科学家也同意这是错的，人不是这么来的，我认为我们现在，关于心智，关于意识的模型，也错得差不多，就像相信人是上帝设计的一样，尤其是因为，我们正在制造这些新的存在，这会彻底改变，我们对人是什么的看法，会怎么改变，我们会比以前更好的理解，心智是什么，意识是什么，我们会理解主观体验是什么，我认为我们会抛弃一个，现在几乎所有人都很强烈相信的观念，这个观念是，我的心里有一个叫，我的心智的内部剧场，世界上发生的事情，会被转化成这个内部剧场里的事件，那才是我真正看到的东西，而你看不到这个内部剧场，只有我能看到，对正在发生的事情来说，这整套看法只是一种理论，而且是一个很糟糕的理论 [00:11:40]
Alex Kantrowitz：好，关于这个我问最后一个问题，你是什么时候接受，或者理解到这些AI模型是有意识的，我很早就这么想了，也就是说，心智的剧场模型，内部剧场模型是胡说八道，这个看法 [00:12:30]
Jeffrey Hinton：我19岁学哲学的时候就有了，只是后来花了很久，才出现了其他心智，让你可以去研究它们，所以我觉得，费曼有个想法，如果你想理解某个东西，你就得把它造出来，你得造出一个那样的东西，这样你会理解的更深，我认为我们现在就走到这一步了，我们会对人是什么，形成完全不同的理解，你刚才谈到安全，那我们就聊聊这个
Alex Kantrowitz：很明显我们开头也说过，你对这个领域的很多进展，负有很大贡献，我一直很好奇，因为后来你站出来了，就像我们说的2023年，你说你担心这件事会走向哪里，我一直想知道，在看到你发表那些说法之后，你觉得一开始有什么，是你没有预料到的，最后才让你走到今天这个位置，这不就是你当初想要的吗，有两件事合在一起 [00:13:09]
Jeffrey Hinton：让我意识到这东西有多危险，第一件事是看到聊天机器人，尤其是OpenAI之前 Google做出来的那些，能够理解一个笑话，为什么好笑，对我来说，这一直是一个判断标准，他们是不是真的理解，如果你能理解一个笑话，为什么好笑，你就必须理解相当多的东西，他们非常擅长理解，笑话，为什么好笑，比如2023年，我公开发声之后，收到了很多 Fox News的采访请求，一开始我只是回复说 Fox News本身就是个Oximoron 后来我在Oximoron中间，留了个空格，然后我问我想是GPT-4 为什么这好笑，也可能是3.5 我问他为什么好笑，他理解了，一开始他以为 Oxy和Moron中间的空格，只是个拼写错误，他解释说 Fox News is an Oximoron 这句话是在说，它不是真正的新闻，只是一种胡说，不是真新闻，但后来我告诉他的 OxyMoran中间那个空格呢，他说这是额外一层幽默，这样你就可以用Moran这个词，而且Oxy也暗示 Fox News像一种药一样在起作用，所以他全都理解了，正是这种理解水平让我担心，另一件让我担心的事，是在2023年初之前，我一直相信，如果让这些数字智能，更像我们的大脑那样工作，就会让他们更聪明，但到那时，我突然意识到，他们其实有一样东西，比我们的大脑强得多，我之前一直在想 Google能不能用模拟方式，做一些事情来省电，然后数字系统的全部力量，突然击中了我，如果你有数字AI 就可以复制出很多份，他们可以在不同硬件上运行，每一份都可以看到不同的数据，所以每一份，每一个单独副本，都会决定，自己想怎样更新权重，也就是连接强度，好吸收他看到的新数据，然后他们可以彼此通信，把所有人的更新需求取平均，再按这个平均值一起改变各自的权重，非常民主，他们这么做的时候，如果有一万亿个连接，那么他们交换的信息量，大概就是一万亿比特，这样做的结果是，每一份都会从其他所有副本的经验中受益，所以即使某一个副本，只看到了假设有一千个副本，那某一个副本，只看到了0.1%的数据，但它仍然会受益于其他副本，看到的数据，因为所有副本都会参与权重变化，而这些权重变化又会被所有副本共享，所以它们会一直保持同步，因为它们都会按照大家想要的平均结果，用同样的方式改变自己的权重，这样一来，每一个副本都在从其他所有副本的经验里学习，我们做不到这一点，我们最多只能做到我从一些数据里学习，你从另一些数据里学习，你从另一些数据里学习，你没法把我的连接强度和你的连接强度取平均，因为我们的大脑在细节上是不一样的，他们是模拟系统,用模拟硬件做不到这种事。我们最多只能做到我说出一串词,然后你试着预测我,接下来可能会说什么。如果你问我们这样做时,传递信息的速度有多快,那其实每秒只有几个比特,预测一个词需要几个比特。所以当你知道那个词是什么的时候,你吸收了获得了几个比特的信息, 如果你一秒能听到几个词,运气好的话,也许能达到每秒十个比特。但这些东西交换信息的规模，可能是万亿比特，所以在共享信息这件事上，他们某种程度上，比我们强几十亿倍，这就很吓人了，它意味着你可以有一大群，这样的东西，权重完全相同，跑在不同硬件上 [00:16:18]
Alex Kantrowitz：而且能非常高效的共享信息，这会让他们成为一种，强得多的智能形式，那我们回到你早年的时候，因为你当时决定要研究人工智能，我就用我能想到的，最笨的方式来问吧，你当时想建造人工智能，现在它已经超出了预期，它确实是人工的，也确实是智能的，它正在实现那个原型，我其实是想理解大脑是怎么工作的，我是为了理解大脑 [00:17:05]
Jeffrey Hinton：才试着把它造出来，我当时想Richard Feynman说过，如果你造不出来，你就没有真正理解它，所以我想建立一些模型，解释大脑是怎么工作的，结果一个副作用是
Alex Kantrowitz：我参与推动了这项非常成功的技术，但我们到现在还是不知道大脑到底是怎么工作的，我知道大脑这东西你稍微深入了解一点，就会发现它太惊人了，思绪好像可以飘进飘出，而且并没有存放在某个固定地方，记忆也是这样，这真是不可思议，我不知道你会不会把它叫做一台机器，或者一个器官，所以你早期真正的意图就是理解大脑
Jeffrey Hinton：那是我最主要的兴趣，我是学心理学出身的，我想做理论心理学，因为我觉得当时心理学家手里的理论，不可能解释大脑到底在做什么，要做到这一点，在20世纪70年代，我们有了一个新工具，也就是可以用来建模的计算机，所以在20世纪70年代，我开始做计算机模型模拟，大脑可能怎样学习，在我看来关键一直是，你怎么让他学会东西，关于大脑学习其实有两个大问题，第一个大问题是，如果大脑能弄清楚，为了在某个任务上变得更好，应该朝哪个方向改变连接强度，那么他只要不断更新所有连接强度，让自己在各种任务上进步，这真的能行吗，这样会让他在很多事情上变得非常聪明吗，这是第一个问题，第二个问题是，大脑怎么弄清楚每一个连接强度，到底应该增加还是减少，第一个问题我们已经回答了，答案是是的，如果你能弄清楚，每个连接强度该怎么改，那么只要用数据训练系统，让他预测下一个词，或者预测视频的下一帧，或者预测下一帧视频里的某些东西，你就能造出非常聪明的系统，所以这个问题的答案，我们已经知道了，但我们还不知道，大脑是怎么得到这些信息的，也就是它怎么知道 [00:19:04]
Alex Kantrowitz：某个连接强度应该增加还是减少，所以我们算是走到一半了，我还想更深入地谈谈你的心态，当时你想弄清楚，大脑是怎么工作的，于是你说好，那我们也许可以建一个，计算机上的对应物，但你肯定也知道这里面会有一些二阶影响，比如，如果你真的能造出一个人工大脑，那也许就会走到今天这个位置，当然但我们一直以为那会是很遥远的，未来
Jeffrey Hinton：当你手里只有一些小型神经网络，什么也做不了的时候，去担心安全问题就显得很荒唐
自我保存目标、进化竞争与安全设计
Jeffrey Hinton：去担心安全问题就显得很荒唐，我的意思是，如果你当时说这东西不安全，因为它会在某种程度上取代人类
Alex Kantrowitz：大家会觉得你疯了，现在这已经是一个现实的担忧，但他也是最近才变成这样的，这其实都是在几十年里发生的，我完全理解你的意思，我们其实在2017年聊过，当时我在写一篇，关于Yan Lekhan的人物报道，谈到所谓深度学习阴谋，也就是你Yan Lekhan和Yoshua Bengio 坚持认为深度学习会成功，而其他所有人都认定，应该走另一种方法，其实不只是我们还有其他人，但你们是一起的，可以说是这个阴谋的领头人，后来很明显，它像魔法一样成功了，这确实有点像魔法，是的，它的效果比我们预期的好得多，所以这正是我想问的，你们一开始没有预料到什么，才导致我们走到了今天这个局面，我们没有预料到的，最主要的一点是，它在自然语言上会怎么强 [00:20:08]
Jeffrey Hinton：我们现在已经不再为这件事惊讶了，但如果回到20年前 AI能从数据里学会理解语言，这个想法听起来非常不可思议，你可以随便问他任何问题，他都能给出一个合理答案，那时候人们会预测，这还在很遥远的未来，甚至可能永远不会发生，但他来得比任何人预期的快得多，从这件事里我们能学到，什么人类走出去创造东西，这里没有什么启示，我觉得这里有一个非常重要的教训，如果你回看过去几百年的人类历史，有几次人类发现，自己并没有想象中那么重要，第一次是哥白尼，哥白尼说我们不是宇宙的中心，地球其实是绕着太阳转，因为地球会自转，所以我们以为太阳绕着地球转，但事实并不是这样，人们不喜欢这个说法，尤其是天主教会非常不喜欢，人们花了很长时间才接受它，这样人类显得没那么重要，他告诉我们，我们并不在宇宙中心，后来有了达尔文，他说我们是动物，我们像其他动物一样进化而来，我们可能是一种特别的动物，也许是因为我们有语言，所以我们更擅长把想法传达给彼此，但我们仍然是动物，人们非常不喜欢这个说法，也花了很长时间才接受我们是动物，现在我们有了机器，它们正在变得和我们一样聪明，我们原本以为周围只有我们是智能体，只有我们是真正聪明的东西，也许其他星系里会有外星人，或者也许在我们银河系的其他地方会有，但我们将不得不接受，智能并不只属于生物，我们可以有非生物的东西，它们也是像我们一样的存在，而我们真的不想分享这一点，我们真的认为自己很特殊，如果回看人类历史，人类一直都有一种很长久的想法，就是觉得自己比实际情况特殊得多，我还想就这个，再问你一个问题 [00:22:46]
Alex Kantrowitz：因为我实在太感兴趣了，你看到自己开启的东西发展成这样，有没有哪怕一点开心，你会从中得到一点满足感吗，不会，我对此相当不开心
Jeffrey Hinton：因为现在人们应该投入大量工作，研究我们怎样控制这些风险，很多短期风险人们做的还远远不够，而这些风险非常严重，比如社会风险，我认为它很可能会造成大规模失业，没有人能确定，但这对社会会非常糟糕，还有一个更长期的风险就是，它会变得比我们聪明得多，你可以问问自己，你知道多少粒子是一个聪明得多的东西，被一个没那么聪明的东西控制，另个，有一种情况勉强算，但智能差距没有那么大，就是婴儿在某种程度上控制母亲，母亲看起来像是在掌控局面 [00:23:06]
Alex Kantrowitz：但母亲有这些内置的母性本能，还有她得到的各种奖励机制，所以婴儿能从母亲那里得到自己需要的东西，猫和狗也有点属于这一类，我有一年夏天在西雅图西部帮人照看，猫呢是个很棒的夏天，一开始那只猫躲在床底下，我还在想它会不会跟我互动，后来他每次一叫，我就完成按他想要的去做，是的，所以也许我们会成为
Jeffrey Hinton：这个场景里的猫 AI可能会成为那个人，我的孩子们养了一只猫，其实他们有两只猫，两只都很漂亮，情况也是一样，其中一只叫Tia 它想从冰箱里，要点奶酪的时候，就会用那双大眼睛看着你，它就坐在那里，一直看着你，直到拿到那块奶酪，你不可能一直看着它，好那我们先休息一下 [00:24:10]
Alex Kantrowitz：休息回来之后,我想真正谈谈你担心的这些风险,我想我会站在另一个立场上来讨论,也就是我们会成为那只猫,AI会成为那个人,而且我们有机会控制它,我们马上回来后就聊这个。欢迎回到Big Technology Podcast,今天我们继续和Jeff Hinton教授对话,Hinton教授很高兴再次见到你,我们上次交谈已经是9年前了,所以很高兴今天见到你。好我们来谈谈风险，我先从就业说起，因为这是最近经常上头条的一个话题，过去你说过，你认为AI可能会导致一些失业，我觉得我们也应该说明，你以前也说过，这些都是推测，我们并不知道，但几年前，你很具体的说过一件事，就是去培训自己当放射科医生，可能不是个好主意，因为AI将来能够读扫描片，现在AI确实已经能很好的读扫描片了，但据我所知
Jeffrey Hinton：现在放射科医生仍然是充分就业，我认真想过，为什么那个预测错得这么离谱，先回顾一下，我在2016年预测，大概五年之后，放射科医生就不再读影像了，这个预测有很多问题，第一个原因是，医疗需求有弹性，如果能做更多扫描，也能读更多扫描，那扫描量就会大幅增加，现在确实在发生这种事，做一次扫描的成本里，有相当一部分是，放射科医生解读影像的成本，随着AI越来越多地，帮助放射科医生读片，我们能更快，更便宜地完成解读，效率也越来越高，你本来会以为，这意味着需要的放射科医生会变少，但实际结果是，扫描量变多了，所以这个预测的这一部分是错的，第二个错的地方是，我当时对放射科医生，和他们的工作了解不够，当时我有一个以前的学生，他有医学博士学位，后来又跟我读物理博士，研究一种叫Boltzmann Machines的东西，他不是特别喜欢跟人打交道，所以找了一份放射科医生的工作，只负责解读扫描影像，他就成了我心理放射科医生的样板，他做的事就是读片，从不跟人说话，而这种工作确实会被替代，而且现在正在被替代，我觉得现在大概已经有上百个用于解读，扫描影像的AI系统，获得了联邦批准，放射科医生也在大量使用，我认为随着时间推移，这些系统会变得更好，放射科医生不会变得更好 AI会变得更好，因为他们能看到，比放射科医生多得多的数据，所以这件事确实在发生，只是发生的时间尺度，比我当初预测的慢得多，但我想说的是，你刚才也说了，最后能做的事情会多得多，等一下，扫描会多很多，需要读的扫描会更多 [00:26:19]
Alex Kantrowitz：但几乎都会由AI来完成，所以你的意思是，我关于放射科医生，那个预测是对的，只是说早了，是的，但我早得太多了，因为我当时没理解清楚, 放射科医生还是会做别的事, 比如他们仍然会和病人讨论治疗方案。那你现在还相信放射科医生会大规模失业吗?或者说给我一个判断。放射科医生。如果我们最后真的到了那个节点, 你觉得放射科医生会比今天更少还是更多?我不确定。好吧。 [00:27:11]
Jeffrey Hinton：我当时说这话的时候并不觉得那是我做的一次公开声明, 那是在一家医院的一场讲座上说的, 但今天我们至少是在公开讨论它了，后来人们注意到了这句话，我现在仍然认为，就读片这件事来说 AI会做得越来越多，到最后几乎所有扫描影像，都会由AI来读，也许在少数非常棘手的病例里，会请放射科医生参与，但放射科医生当然还会做其他事情
Alex Kantrowitz：我觉得他们会继续做那些事，支持AI不会造成大规模失业的一个论点是，类似的逻辑可以套用到，经济里的很多不同领域，你得看某一种就业对应的是有弹性的市场 [00:28:12]
Jeffrey Hinton：还是没有弹性的市场，比如呼叫中心的人，你打电话过去投诉账单，或者问能不能办一个更便宜的账户，诸如此类，这类需求弹性没那么大 AI会把他们全部替代掉 AI会更清楚正确答案是什么，而这些人很多时候并不知道正确答案，他们培训不足，工资也低 AI可以做得更好，所以他们会失业，这一点我想跟你争一下，我们可以来回讨论
Alex Kantrowitz：但我也不会说我完全不同意，因为我不知道未来会发生什么，我可以讲讲那些，在做AI客服的人是怎么说的，他们说现在的变化是，有了AI之后，平均通话时长反而变了 AI会处理一级咨询，也就是最基础的问题，比如能不能帮我重置密码，这种更深入的问题，才交给真人处理，过去你想要的是，让平均通话时长越短越好，因为客服要处理大量一级咨询，你就是想让人接起电话，尽快挂断解决问题，但现在他们看到平均通话时长在变长，因为客服是企业的一线，当你和客户对话时，这件事非常重要，现在你可以在电话里多花一点时间，真正为企业创造价值，而不是只把一个问题处理掉，我觉得你会看到最后是 AI在电话里花更多时间，比如如果你问谁更有同理心，医生还是AI医生，真人医生还是AI医生，人们会判断AI医生更有同理心，这太吓人了，这个话题我们可以来回讨论很久，我只想说之所以可能会出现这种情况，一个原因是，医生的日程排得太满了，他们要写太多病历，处理太多文书工作 [00:29:45]
信息崩塌、情感依恋与监管
Alex Kantrowitz：处理太多文书工作，一天还要看很多病人，所以也许可以这么说，让AI接手其中一部分工作之后，人们反而会想去看真人医生，因为系统不会再把医生压榨得那么厉害，医生真的能腾出时间看病人，可能是这样，但你想想家庭医生，比如一线的家庭医生，你更愿意见一个
Jeffrey Hinton：可能看过一万个人的家庭医生，还是一个看过一亿个人的家庭医生，因为如果你得的是罕见病，你的家庭医生很可能从来没见过，但一个看过一亿个人的医生，很可能已经见过几十个类似病例，他的诊断会好得多，而且我们已经知道 AI系统在诊断上比医生更强，我觉得这场辩论你要赢了，这让我有点难受 [00:30:20]
Alex Kantrowitz：因为我妻子就是做家庭医学的，是家庭护士，不过我觉得还是得有人给人打疫苗吧，我希望如此，除非机器人也能做，我本来就觉得打疫苗这种事，机器人其实可以做得很好，当然机器人技术最后还是落后于其他领域，但我觉得20年后还让人来打疫苗，听起来有点不合理，我觉得这场对话之所以这么难谈，是因为很多判断都建立在，技术会随着时间不断进步这个前提上，但看起来我们整场对话的主题大概就是，他确实进步的很快 Gary Marcus在2022年预测过AI会撞上墙，可现在他比2022年强太多了，我觉得那些说他会撞墙的预测到现在都没有成真，没有我们在节目里也很认真的讨论过，这种可能比如所谓的数据墙可能会出现，但就像我刚才跟你说的，他没有出现绕过大语言模型数据墙的一种办法，是去寻找你自己信念之间的一致性，对没错他没有发生，好还有一个问题，我觉得值得聊，然后还有几个点，我是同意你的，你经常谈到 AI有这种，自我保存的本能，对吧，如果，我从来没这么说过，我从来没说，那是自我保存的本能，好那请你用，正确的说法讲一下 [00:31:36]
Jeffrey Hinton：那是自我保存的 Z目标 Z目标，对AI来说，我们会给它目标，也就是我们给它的，最高层目标，但我们也会给它，创造子目标的能力，比如你想去欧洲，那你会有一个子目标，就是先到机场，这就是子目标，你可以专注于怎么去机场，而不用一直想着，到了欧洲之后要做什么，这样效率高得多，我们把这种能力给了AI agent 一个能做一些推理的AI agent 很快就会意识到，如果它不存在了，就永远不可能完成你给它的目标，所以它会创造一个子目标，就是继续存在，这不是我们硬写进去的东西，而是它推导出来的，他会认为这是实现其他目标的必要方式，但一旦他推导出了这个目标，他就会想继续存在，也会做一些事，比如勒索人类好让自己继续存在，所以他表现的像是有自我保存本能的东西，但实际上那是一个推导出来的自我保存子目标，可从他实际会做什么来看，两者结果是一样的，好那反方观点大概会是这样 [00:32:54]
Alex Kantrowitz：你可以回应一下，今天的AI研究人员也注意到了这一点，他们也看到了这种现象，那有没有办法给这些机器写进去一条规则，你有一个目标也会有一些子目标，但你的某个子目标 [00:33:05]
Jeffrey Hinton：不应该是把自我保存置于一切之上，我觉得这正是我们应该做的研究，也就是到底能不能做到这一点，所以我觉得现在发生的事情，如果你看我们从哪里来，我们来自进化，我先替听众把这个问题设定清楚，假设我们是科学家，我们来自进化，而进化就是激烈竞争，我们过去几百万年的近代历史，是一群群黑猩猩之间的战争，或者更准确的说，是我们和黑猩猩共同祖先之间的那种状态，这导致我们明显拥有某些特性，比如我们非常忠于自己的部落，也愿意对其他部落非常残酷，我们喜欢强有力的领导者，并愿意效忠他们，我们喜欢和自己部落的成员合作，正如Uval Harari一直指出的，我们其实是一个非常善于合作的物种，也正因为这样，我们才能建造出，这些了不起的结构，所以我们非常擅长合作，但主要是和自己部落的人合作，人类那些不幸的特征，比如对其他部落很残酷，都是从进化，从竞争里来的，现在发生的事，是我们正在创造，这些新的存在，也就是这些AI 但我们没有按我们希望的样子，去设计它们，你也可以说，我主张对这些新存在，做一种有意识的设计，可现在我们是在让，公司之间竞争的，看不见的手来设计它们，所以我们看到的是，美国内部公司之间有激烈竞争，美国和中国之间也有激烈竞争，而我们得到的这些存在，就是这种竞争的产物，它们可能带有很多，我们不想要的糟糕特性，我们应该有意识地设计这些存在，而不是让经济竞争的，看不见的手来设计它们，现在所有公司都在关注一件事，怎样让我的聊天机器人更聪明，但我们不应该只想着，怎样让他们更聪明，我们应该想的是,既然他们会比我们更聪明,那我们怎样才能让他们成为我们希望他们成为的那种存在?关于这些存在,我可以告诉你一件事,我们会非常希望他们在乎我们,而且我们希望他们在乎我们要超过在乎他们自己,但几乎没有资源投入到这件事上,到底怎样才能做到这一点? [00:35:05]
Alex Kantrowitz：这正好说到了，我本来想提出的那个担忧，这也是我真正同意你的地方，我们今天坐在纽约证券交易所，所以提这个可能有点讽刺，但我最大的担忧，是你手里有一项非常强大的技术，实验室，负责人都说，他们在努力安全的开发它，而且他们需要在经济上取得成功，才有资格参与这场争论，但我们别自欺欺人，如果你要成为一家，在公开市场上市，价值一万亿美元的公司，你就会有一些激励机制，和公众利益相冲突，是的，我们在Anthropic身上，就能看到这一点 Anthropic成立时，是为了做正确的事，它是由一批，离开OpenAI的人创办的，因为他们认为 OpenAI对安全的重视不够，而OpenAI当初成立，是为了确保，你们在Google 没机会把这东西做出来，确实是这样
Jeffrey Hinton：那现在结果怎么样呢 Anthropic现在陷入了两难，因为它需要融资，才能和其他公司竞争，这非常困难，他已经在尽力了，但要维持他的首要目标，也就是以对人类有益的方式开发AI [00:36:19]
Alex Kantrowitz：真的非常困难，我想他们会说，至少外面还有一家公司，把安全当作北极星，哪怕他也有其他纪律，你怎么看，目前是这样，但以Google为例，我在Google的时候
Jeffrey Hinton：他们有一套AI原则，其中一条是，我们不会参与把AI用在军事事务上，不做自主战争，对吧，不做自主战争，这个已经没了，他们已经放弃这一条了，你怎么看Anthropic的Dario 我并不太了解他这个人，但他显然非常成功，创办了一家公司，能和Google Open AI Facebook竞争，所以他显然在这方面很有能力，而且他一直对安全非常感兴趣，所以我觉得他是个
Alex Kantrowitz：很令人印象深刻的人，我只是希望他能，一直这么重视安全，关于这个我还有一个问题，从这些公司的运作方式本身来看，你觉得一家上市公司，有没有可能把安全当作北极星，还是说他们在伦理上，法律上其实都被绑定了，必须为股东创造回报，据我理解，他们对股东负有信托责任，要努力让股东利润最大化，法律要求他们努力做到这一点 [00:37:13]
Jeffrey Hinton：而不是法律要求他们不要消灭人类，所以我不认为，让这些大型公司，尤其是上市公司，某种程度上掌管我们的未来，是一件好事，这对我来说，确实会显得非常不一致，否则真的很难处理，不过我也应该说，资本主义给我们带来了很多好东西，也带来了很多坏东西，这一点我不会反驳，比如创业公司里就有很多活力，我的看法是，如果我们要有资本主义那也可以，只要它受到良好监管，很多大公司希望你接受，他们正在推销的一个类比，他们会说你看一辆车，有油门也有刹车，对吧 AI的进步就像油门，监管就像刹车，这完全是胡说，进步确实像油门，但监管是方向盘，我们希望这个东西往正确方向走，而不是往错误方向走，大型AI公司真正说的是，让我们开发这辆速度极快
Alex Kantrowitz：但没有方向盘的车，这不是个好主意，还有一个人，我们还没聊到，我们已经提了很多名字 OpenAI Anthropic 你的前研究生Ilya Satsgever 仍然是AI行业里非常受关注的人，很明显他也从OpenAI出来了，他一定同意你的担忧，他正在创办2J公司 Tatrice是同意，他们要做超级智能 Illia现在到底在做什么，她不会告诉任何人 [00:38:32]
Jeffrey Hinton：她到底在做什么，那是她的秘密，连我也不告诉她，在OpenAI的时候，我们会刻意不谈技术秘密，朋友归朋友，但涉及对公司，有价值的技术内容，我们不会聊，现在她有了
Alex Kantrowitz：Safe Super Intelligence这家公司，我也不知道，她的秘诀是什么，我想我们都在试着，搞明白这件事，关于我刚才提到的，深度学习阴谋，我再补一句，他的几个核心人物是，你 Yan和Yoshua 我觉得很有意思，你们三位和你们的同事，实际上推动了那些突破，把我们带到了今天这个时刻，我得在这里打断一下，媒体喜欢讲一个好听的故事，对吧，这个说法确实很适合讲故事 [00:39:11]
Jeffrey Hinton：但真实情况复杂的多，参与的人多的多，首先我们所有人的学生，就做了大部分工作，还有很多其他研究者也参与其中，所以这种说法是非常粗略的简化
Alex Kantrowitz：我不想低估那些研究者的贡献，也很感谢你补充这个细节，我们这个节目当然不想过度简化，我们会聊一个小时，就是为了尽量讲清楚真实情况
十年后的AI仍难预测
Alex Kantrowitz：就是为了尽量讲清楚真实情况，但我还是觉得有意思，你们三位现在都没有完全投入到这个LM时刻里，对吧，你和Yoshua都有Daniel 也都谈过其中的危险 Yan好像根本不太相信这一套，如果我们能坐在那里说，你看我们是对的一切都很美好，而且全都奏效，那当然很好，但现实并不完全是这样，对吧，我不知道这是不是，纯粹跟钱有关，但看起来，如果你参与推动它的发展，你本来可以对它的方向，产生很大影响，不过我想你的担忧，基本上是我为什么要那么做，对我来说，我比Yan和Yoshua年纪大不少，他们还在积极做研究，我基本已经停止做主动研究了，现在我只专注于提醒人们，注意这些危险，但你不觉得这很有意思吗，如果回到当年，你可能会说这三个人，这么坚定的相信这条技术路线，如果后来真的出现突破，他们很可能会站在，下一波浪潮的最前沿，但现实并不是这样，也许Yan和Yoshua以后会再前沿，那接下来会发生什么，我觉得最有意思的是 [00:40:52]
Jeffrey Hinton：现在Yan在安全问题上，和我以及Yoshua都有强烈分歧 Yan认为谈论超级智能AI 取代人类是很荒唐的事，他觉得我们永远都能控制它，我和Yoshua认为，这种想法才很荒唐，我和Yoshua的解决思路也不一样，其实只能说是暂时的思路，因为没人真正有解决方案，我的暂时方案是，我们设计这些系统，让他们更在意我们，而不是更在意他们自己 Yoshua的方案是，我们设计这些系统，让他们不是agent 他们可以做预测，但不能真正采取行动，这是两种从根本上，不同的安全路径，两种可能性都很有意思 Yam不认为我们需要这些 [00:41:05]
Alex Kantrowitz：他觉得只要给他们更好的世界模型，让他们变得更聪明就没问题，有意思的是 Yan其实把LLM的智能称为猫的智能，而我刚才正好拿猫举例，说明一种可以控制人类的东西
Jeffrey Hinton：不过也许这不一定相关，我觉得Yan这里有点混淆了，人类最特别的地方是什么，如果把人和其他大型原类，比较最特别的可能就是语言，语言让我们能够分享想法，这才是最特别的地方，而猫做不到这一点，所以我们有一种猫没有的特殊能力，当然猫可以跳到，摆满玻璃装饰品的壁炉架上，在上面走过去，却一个玻璃装饰品都不碰掉，这很惊人，现在的AI还做不到这一点，所以从这个意义上说，猫远远领先于AI 但能力分布是不均衡的，说到抽象想法，你试着跟猫聊素数，根本聊不下去，我从来没能和猫聊成
Alex Kantrowitz：这确实行不通，猫永远不会理解素数，从这个意义上说，这些大型语言模型，比猫聪明得多，教授我本来没想到，今天会聊这么多猫，但我很高兴，我们聊到了，拿猫来做类比，其实很合适，好，还有一件事让我担心，就是某种信息崩塌，你经常会看到这样的推文，这条来自All About Berlin 他们说 AI正在杀死All About Berlin 以前你在Google上搜东西，会得到一个，指向我网站的链接，现在你得到的是，一个AI生成的答案，而这个答案是，用我的作品训练出来的，这对流量造成了毁灭性影响，我觉得很多人低估了一件事，好的信息对一个正常运转的社会，其实很重要，当AI把这一切都综合起来，不管是All About Berlin 还是我们之前在这里聊过的 World History Encyclopedia这类网站，最后都可能导致好信息的崩塌，因为这些出版方最后会撑不下去，你看图表就能看到，他们花了很多力气，把这些东西做起来，但他们没法再继续做下去了，过去在互联网早期，人们有一种默认假设 [00:43:30]
Jeffrey Hinton：大家是在努力说真话，也就是说，如果你在网上读到什么，它很可能是真的，现在人心里比较糟糕的一面，显现出来了，所以我们以后，必须在信息来源上，投入更多精力，现在我读东西的时候，如果我读的是 New York Times或BBC的内容，我会很相信，他们的记者，已经认真核对过多个来源，如果可能的话，他们还会找多个可靠来源，所以一个相当不错的默认判断是，如果你在New York Times读到，或者在BBC看到，那大概率是真的，他们也会犯错，但关键是你知道它的来源，未来我们必须在来源这件事上，做更多工作，你不能随便拿网上的任何东西就相信
Alex Kantrowitz：你必须问它的来源是什么，但我看到的问题是 AI可能正在破坏信息行业的经济基础，甚至是在破坏人们决定，要不要进入信息行业这件事本身，我觉得未来 [00:44:24]
Jeffrey Hinton：你不能随便拿网上的东西就相信，其实现在也已经不能了，你需要知道他为什么这么说，这些信息是从哪里来的，还有一个问题就是，人们对AI产生情感依恋
Alex Kantrowitz：以及有人在和AI对话之后，结束自己的生命，现在这么做的人数并不多，但已经足够让人担心了，对吧，当然已经非常足够让人担心了，这件事发生本身就很可怕
Jeffrey Hinton：我也理解为什么大公司当初没有预料到，或者没有提前看到它会发生，但既然现在已经开始发生了，大公司就应该投入大量工作，确保以后不再发生，要做到这一点就需要监管 [00:45:01]
Alex Kantrowitz：也需要独立机构来测试，新的聊天机器人，这其实也有点回到利润动机的问题，因为这种东西可能会让人极度上瘾，到目前为止，我觉得显然规模还很小，它发生了已经很糟糕，但正因为它已经发生了，就会让你担心，如果有人动机更坏，决定做一个非常粘人的聊天机器人，真的和人建立关系，那我们就麻烦了，所以你已经围绕这些问题谈了三年，看到人们对这些担忧的回应之后，你对未来轨迹是更乐观了，还是更不乐观了，我想我比一两年前更乐观一些，因为我现在看到，也许我们有可能设计出这些新的存在
Jeffrey Hinton：让他们关心我们，也许还可以用Joshua的方法，设计出不能真正执行行动的新存在，他们只能做预测，有点像神域，所以我觉得我们有一些可能性，可以得到，不会毁灭我们的超级智能
Alex Kantrowitz：而在一两年前，我看不到任何可能性，好吧，我刚才都有点沮丧了，现在稍微乐观了一点，好，最后一个问题，如果我们继续沿着，现在的轨迹走，五年后会是什么样，你在雾里开车的时候 [00:46:09]
Jeffrey Hinton：一百码外还能看见，到了二百码，就什么都看不见了，这是因为雾是指数式的，你平时习惯的是，夜里开车，看前面那辆车的尾灯，如果它离你远了一倍，尾灯亮度就变成，原来的四分之一，但物完全不是这样，物是指数式的，一百码外可能还看得很清楚，二百码外就完全看不见，现在要预测一个指数式增长的东西的未来，我觉得AI可能正在指数式增长，当然，指数式这个词，现在被滥用得非常厉害，事实上我注意到，人们使用指数式这个词的频率，正在以二次方的速度增长，所以，预测未来就像往物理看，你能清楚看到接下来几年，也许是一年或两年，再往后你就完全不知道了，如果你回到十年前，也就是回到我们上一次谈话的时候，你绝对预测不到，现在正在发生的事，它就消失在物里了，要是往未来十年看，我们唯一能说的是，十年后无论发生什么，现在都预测不到，哪怕进展只是线性的，对吧，你也会预期十年后的世界和现在的差别，会像现在和十年前的差别一样大，而现在的变化已经非常大了，比如聊天机器人比十年前刚起步的时候，强太多了，十年后一定会有某些东西，比现在强得多，可能是他们做数学的能力，或者类似的能力，也许可以说是一般推理能力，他们会在几乎任何推理任务上，把我们远远甩开，我们真的没法预测，十年后的情况，我们只能预测未来几年，而且必须意识到 [00:47:17]
Alex Kantrowitz：十年后的是机器不确定，这确实有点让人很难想清楚，是的 Jeff Hinton教授非常高兴，请你上节目，再次感谢你抽出时间，谢谢你邀请我，我们十年后还得再聊一次 2036年，没错，感谢大家收听和观看，我们下期Big Technology Podcast 再见