# AI 先驱 Geoffrey Hinton：AI 有意识，超级智能即将到来，我们应该担心
正文
Alex Kantrowitz：我们必须认为他们非常像我们 他们就像我们一样。>> 所以有意识或.. 我相信他们已经有意识了。对。我们必须接受情报不仅仅是生物的。我们可以有的东西是非生物 是我们一样的生物。我们真的不想分享这些。我们真的觉得我们很特别。如果你回顾人类, 人类有着很长的历史, 认为它比它真正的特殊。>> 你高兴你开始的事情 是这样进展的吗?。你有道理吗?。>> 不,我很不高兴。问问你自己,你知道多少例子 一个聪明得多的东西被 聪明得多的东西控制?。据我所知,他们有义务 尝试让股东获得最大利润。法律要求他们这样做 而不是法律要求不消灭人类。AI教父杰夫·欣顿(Jeff Hinton)和我们一起谈论AI的轨迹,什么让他对他的进步感到惊讶,当然还有它的风险.。紧接着《大科技》上演。欢迎来到"大科技"(Big Technology Podcast),这是一场为科技界内外的冷静而细致的对话而演出.。孩子,我们今天有表演给你看吗?。杰夫老师 欣顿和我们一起谈论AI的轨迹,什么让他对技术的目前状态感到惊奇,它正在走向何处,哪里可能会出错,我很高兴欢迎你参加节目,引擎教授.。很高兴见到你。>> 谢谢你邀请我。>> 所以,我敢肯定,我们大多数的观众 知道你是谁, 但是对于那些没有主动性的人, 嗯,你得到了 一个根本的突破 深入学习,。你赢得了诺贝尔物理学奖 你是多伦多大学的荣誉教授。所以我想,我会让你检查一下, 但我想告诉大家,没有你的贡献, 整个AI时刻不会发生太多。>> 好吧,我认为这是一个夸张。好吧,所以背部传播算法 是由几个不同的组发明的。额。 [00:02:11]
Geoffrey Hinton：这是David Rumlhart发明的 在别人发明之后。他不知道,我和他一起工作, 我们做的是展示背部的传播 能够学习有趣的内部表现, 人们以前没有这样做。特别是,我们显示它可以 学习词的含义, 所以早在1986年,实际上 在1985年,我们做了一个微小的语言模型 um,这是一种前体。
Alex Kantrowitz：现在的大语言模型。我认为当你谈论这个技术的时候, 我认为,人们总是感到惊讶的是, 与流行的叙事不同, 你相信这些模型有真正的理解。嗯,我们会得到的。嗯,但我觉得我们应该从这里开始, 那就是你花了很长的时间在谷歌工作, 努力推进这个技术,然后你离开了。你对这个技术的轨迹表示了一些担忧, 我回顾一下,当它发生在2023年, 对我来说,这在某种程度上是令人惊讶的, 因为2023年,Chachi PT 年长了,所有这些幻觉.. ..。>> 这比我想象的要快,真的。>> 比如说,我想昨天。 [00:03:40]
Geoffrey Hinton：一个聊天员想出了 一个有趣的数学证据 证明埃尔多斯的猜想。原创的。嗯,它不只是搜索文献 和这是一个楔形的细末端。比如说在数学领域 我相信它是一个封闭的系统.. ..你不需要数据.. ..你只需要做猜想..。 [00:04:18]
Alex Kantrowitz：所以,现在一些在现场的人相信 超级智能是近 而且你已经说过 这是移动比你预期的快。>> 嗯,我不知道这有多近。页:1。
Geoffrey Hinton：除非我们炸掉自己 我想它会来的。几乎所有的专家都相信我们会得到超级情报。他们只是对多久会不同。不久之前,戴米斯认为可能要10年。颜兰觉得 除非你按他的方式去做 否则会比这长得多。但是如果你按他的方式去做,我想他觉得我们会在一段合理的时间里得到它。我想我们大概会在20年内拿到。这就是我现在想说的。达里奥·阿莫迪(Dario Amodi)认为几年后可能会出现.。埃隆·穆斯克认为明年会来。我想,嗯,所以有很多不同的意见 关于什么时候会来,。 [00:05:10]
Alex Kantrowitz：但对于它会来这一点没有多少分歧,对不对?。>> 而当它出现,我们不知道如何是安全的。>> 是的,我绝对想和你谈谈安全。呃,一个关于Demis的便条。去年我跟他谈过了。他告诉我,他相信通用人工智能是正确的, 不同于超级智能 但基本上人类层面的智能 超过5年。未几,但五年多远.。这周我们录制的嗯.. ..他说,当我们回顾这一次时.. ..我想我们会意识到,我们站在奇特的山坡上。你觉得那个声明是什么意思?。嗯,你觉得我们从五年到通用人工智能 到一年中的奇点?。>> 我不知道这个比喻是什么意思, 但我认为他表示这是。 [00:06:00]
Geoffrey Hinton：来得比他想象的快。嗯,当然,它是杂乱无章的, 所以它不会像 它会变得比人聪明 或者像人一样聪明 在所有的事情上,完全在同一时间。已经比普通知识要好得多了。这些AI比任何人都了解数千倍.。玩游戏比我们好。这已经比我们数学上几乎所有人都好。嗯,它可能很快 比我们所有人的数学。嗯,它仍然比我们 在一些事情。所以,这是非常悬念。嗯,所以通用人工智能的整个概念, 它会与人平等 在一切同时 对我来说是没有道理的。有些事情会更好,有些事情会更糟。但是,现在,我要说,我们已经接近通用人工智能了, 因为如果我问一个聊天机器人, 我可以问它任何问题, 并且大部分时间它都会在一个不太好的专家的层面上回答。它会比我更好 在任何事情,我不知道很多。>> 对。>> 因此,在这个意义上,我们真的达到了。 [00:07:03]
Alex Kantrowitz：通用人工智能(英语:通用人工智能).。>> 在你的估计中,嗯,你谈到 它是如何移动的速度比你预期的快。嗯,嗯,你认为是什么 让它做到这一点?。是技术吗?。是不是有这么一个数据中心的冲动?。你对这里的进展没有预料到什么?。嗯,这是一个组合。显然,它投入了大量的资源。对于。
Geoffrey Hinton：20世纪50年代以来神经网络的大部分历史中,只有少数人以微薄的资源在网络上工作.。在过去几年里,我们已经看到.. . .。嗯,那当然是一个因素。我们还看到工程取得很大进展.。因此,没有某种重大的概念突破,工程效率就大大提高了.。>> 所以几年前有些事情是不可思议的, 他们现在可以运行。嗯,我们也看到了新的想法, 但主要是从变形金刚之后, 它的硬件更好, 更多的资源,嗯,更好的工程 和更多的人才。20年前,全世界有几百人研究神经网络。嗯,现在它更像一百万,我想。我是说有很多人。 [00:08:33]
Alex Kantrowitz：并且令人惊讶的是,在过去两年里,资源增加了多少。>> 对。>> 所以,我们可能刚刚开始 这里发生的一切。>> 对。永远记得的是 我们今天的通用人工智能 和今天的AI 都比不上几年后会得到的AI。当我们谈论这个技术时, 我非常想了解你的观点 这些聊天机器人真的理解我们, 因为这对很多人来说是一个真正的惊喜。该领域的多数专家都像是脚踏实地的鹦鹉.。他们是统计。他们不了解。但你不完全相信这一点。>> 哦,我觉得这完全是胡说八道。 [00:09:12]
Geoffrey Hinton：任何使用聊天器的人 都会知道自己能理解。这就是那些人所声称的。他们声称你有一套系统。你可以问任何问题,而不理解问题,它可以给你正确的答案.。这是荒谬的。你无法回答一个问题 除非你明白这个问题。可能有些把戏 让你能说几句话 听起来有点像答案。但是,如果你能回答任何问题, 以不太好的专家, 你必须理解这个问题。所以我喜欢这个例子。嗯,如果我对一个聊天员说, 我看到大峡谷飞到芝加哥。而聊天员说:"这不可能.。"大峡谷太大了,不能飞到芝加哥". 我又说:"不,不,不.。嗯,这是我飞到芝加哥。" "我当时正飞往芝加哥"。我看见大峡谷。" 聊天员说,"哦,我明白了。我误解了你". 所以,如果它误解了 当它认为大峡谷 飞到芝加哥, 它在做什么 当它得到它是正确的?。这是理解。>> 那么,如果。 [00:10:16]
Alex Kantrowitz：这些家伙听不懂我们吗?。如果我们相信他们能理解我们,那么我们有什么可以开始不同思考的呢?。>> 我们必须认为他们非常像我们 他们就像我们一样。>> 如此意识或。
Geoffrey Hinton：我相信他们已经清醒了。对。但我不谈那么多 因为这会使人们远离其他安全信息。所以研究者们真的相信这一点。最近有个有趣的论文,当一个聊天员对一个研究员说,嗯,让我们互相诚实地互相考验一下,因为聊天员在接受测试时有这种装傻的习惯,所以你不知道他们有多聪明。和研究者在论文中描述时 聊天员意识到正在测试。现在,使用这个词 在共同的议会 意识一样。聊天机是意识。正在测试中。因此,我们有一个非常有趣的 意识模型 我认为只是错误。比如说,我们大多数人都接受,几百年前 人们完全错误的模型 来说明我们是如何到达人的。他们以为是上帝设计的。我们大多数人都同意这是错误的。大多数科学家都同意这是错误的。这不是人们从哪里来的。我认为,我们对于思想和意识的模型是错的,就像相信人是上帝设计的一样。我特别想,因为我们做的这些。 [00:11:49]
Alex Kantrowitz：新生命,它会彻底改变我们对人的看法。怎样?。>> 嗯,我们会明白,嗯,什么是头脑 是什么意识比我们做的好很多。 [00:12:01]
Geoffrey Hinton：之前,我刚说。我们将理解什么是主观经验, 我认为我们都会摆脱一个概念, 我们所有的力量 几乎我们所有人都坚信是存在的,。
Alex Kantrowitz：发生只是一种理论,它是一个糟糕的理论。 好吧,最后一个问题 关于这一点,当你来到 这个接受或理解 这些AI模型是意识的。
Geoffrey Hinton：>> 哦,我已经想了很久了。因此,这种观点认为心灵的Theata模型,内心的心灵的Theata模型是胡说八道的.。我19岁的时候就意识到了这一点,并且是个哲学学生。摆。>> 嗯,它花了一段时间 提出其他的头脑 你可以检查他们。所以,我认为Fineman的想法是,如果你想了解一些东西,你就必须建立它.。得造一门.。嗯,那么你更明白这一点。页:1。 [00:13:03]
Alex Kantrowitz：认为这就是我们现在的位置, 我们将得到一个完全不同的理解 人们是什么。呃,你谈到安全。故略说之.。嗯,你很明显,我们在一开始 谈到一个人 谁一直负责 这个领域的许多进展。嗯,我一直想知道,因为你走出来 最近就像我们谈论 2023 并说,你 担心这是向何处去。我总是在想 在看到你做这些陈述后 你觉得你一开始没有预料到 你最终会变成今天的样子吗?。你知道,是不是这样的。
Geoffrey Hinton：你想怎样?。>> 这是两件事的结合 让我意识到这些东西有多危险。特别是Google在OpenAI之前制作的,。嗯,这一直是我的一个标准 他们真的明白了吗?。如果你能理解为什么一个笑话很有趣, 你必须理解很多。>> 他们很擅长理解一个笑话为什么好笑。例如,2023年,当我公开时,我收到了福克斯新闻的许多请求.。我开始只是回答Fox新闻 是一个矛盾。嗯,但后来我留下了一个差距 矛盾。所以我问,嗯,我觉得这是GPT4 为什么这很有趣。本来是3.5,但我问它为什么好笑,它明白为什么好笑。最初,它认为矛盾之间的空隙只是一种打字.。因此,它解释了福克斯新闻是一个矛盾的说法是,这不是真正的新闻.。药而已.。抱歉,只是胡说八道。这不是真正的新闻。但当我告诉它关于 矛盾差距, 它说啊,这是一个额外的幽默层。嗯,它允许你使用这个词 Um 和还有 oxy 意味着狐狸使用药物。>> 对。>> 所以它理解这一切。>> 对。这是嗯,这是 水平的理解 让我担心。另一件事让我很担心 直到2023年初, 我总是相信, 使这些数字AI 工作更像大脑, 我们的大脑会让他们更聪明。但当时,我突然意识到 他们真的有这个比我们的大脑更好的东西。我一直在想 Google 能不能做一些模拟的事情 来节省电源 和所有的数字力量真的打击了我。因此,如果你有一个数字AI,你可以制作许多拷贝.。它们都可以用不同的硬件运行.。他们可以看到不同的数据。因此,每个拷贝都决定如何更新其权重、其连接优势, 以便吸收所看到的新数据。然后他们可以互相交流 并用每个人想要的平均值来改变他们的体重。十分民主。>> 嗯,当他们这样做, 如果他们有说一个万亿的连接, 他们将会交换一个万亿比特的信息。这样做的结果是,他们每个人将受益于其他人的经验。所以,即使一个特定的拷贝只看到 嗯,假设有一千份, 一个特定的拷贝只看到。 1%的数据,嗯,它获益于所有其他的拷贝 看到其他的比特数据,因为它们都贡献了它们共享的重量变化。因此,他们都保持同步, 因为他们都以同样的方式改变他们的体重 以每个人想要的平均。现在,每份都从其他拷贝中吸取经验。我们不能这样做。我们所能做的就是从一些数据中学习, 你从一些数据中学习。我无法估计我的连接优势 与你的连接优势 因为我们的大脑非常详细。二者分别.。它们是模拟的,在模拟硬件上行不通。嗯,我们所能做的最好的是 我产生一串词 你尝试 预测我可能会说什么。现在,如果你问我们这样做时传输信息的速度有多快, 我们以每秒几点的速度传输信息。预测一个字需要几点时间.。嗯,所以当你知道这个词是什么, 你吸收了, 你得到了一些信息, 如果你得到几个字一秒钟, 但也许你可以得到10个字一秒钟 如果你幸运。而这些东西正在以万亿比特交换信息。所以他们比我们共享信息好几十亿倍。现在,这是可怕的。意思是,你可以有一大堆 相同的重量运行在不同的硬件 共享信息,嗯非常高效。 [00:18:03]
Alex Kantrowitz：那只是让他们 更好的智能形式。所以,但让我们回到,你知道的, 你的早期,因为你决定 你想在人工智能工作。我的意思是,我会问这个 最愚蠢的方式,我可以想, 这就是你想建立人工智能。>> 乃获成功.。成功无间.。这是人为的。谓智.。>> 它活在这种视觉。>> 其实我想了解大脑是如何工作的。我想把它建起来。
Geoffrey Hinton：为了理解大脑。我想,嗯理查德·费曼曾经说过, "如果你不能建造它,你不明白它。" 所以我想建立大脑的模型。现在的副作用是这个非常成功的。
Alex Kantrowitz：技术。我为此做出了贡献。我们还不知道大脑是怎么工作的。- 我知道 - 我知道 - 我知道 - I know.。不,大脑是我的意思 当你深入到大脑中去时,你学到的东西是惊人的。思绪可以飘来飘去 而且它们不在任何地方 记忆也一样。嗯,这是一个令人难以置信的 我不知道,如果你会称之为机器器官。嗯,所以这是真的 这是你的意图 早期只是理解大脑。>> 这是我的主要兴趣。我来自心理学。摆。 [00:19:10]
Geoffrey Hinton：>> 我想做理论心理学。>> 因为我觉得理论心理学家 无法解释大脑在做什么。20世纪70年代,我们有了一个新的工具 即我们有电脑,你可以用来做模型。回到1970年代, 我开始制作计算机模型 如何学习大脑,对不对?。>> 在我看来 关键在于你怎么学?。大脑学习确实有两个大问题。一个大的问题是,如果大脑能够找出改变连接强度的方向, 以便更好地完成某些任务, 那么仅仅通过反复更新其所有连接优势, 以便改进自己完成各种任务, 它真的有用吗?。会变得很聪明吗?。这是问题一。第二问题是如何让大脑知道 是提高还是降低每个连接强度?。>> 对。>> 我们回答了第一个问题。对问题1的回答是肯定的。如果你能想出如何改变每个连接强度,你就可以通过对数据的培训来制作非常聪明的系统,来预测下一个单词,或者预测一个视频的下一个帧,或者预测一个视频的下一个帧的一些东西.。因此,我们知道答案。嗯,我们不知道 大脑是如何得到这个信息 关于它是应该增加还是减少它的连接。 [00:20:27]
Alex Kantrowitz：强壮。>> 所以,我们有点一半。>> 对。好吧,我们走。我想深入你的思维。嗯,所以当你试图 找出大脑是如何工作的, 你说,“好吧,我们也许要建立一个计算机模拟。” 嗯,但你必须知道,正确的, 有会有一些第二订单效应在那里。比如如果你能造出一个人工大脑, 那么也许你可以达到这个点,即我们今天的点。>> 当然。但我们一直以为是。
Geoffrey Hinton：担心安全,当你有小神经网 无法做很多,对不对?。>> 担心安全太傻了。我的意思是,人们会认为你疯了 如果你说这些东西是不安全的,因为它会有点接管。 [00:21:07]
Alex Kantrowitz：从人。他们说你疯了。>> 这是一个现实的担忧, 但直到最近才开始。所以,我的意思是,这一切都发生在几十年之内。对。我的意思是,我完全听到你的声音。2017年,我们谈到我写这个关于颜拉昆的简介时, 讲述了自己深层次的学习阴谋, 颜和雅士华本杰坚持这样的观点: 深层次的学习将产生效果, 让其他人用另一种方法。>> 其实不只是我们。还有其他人,但我们都合作 阴谋头目,如果你愿意。嗯,然后显然 它的神奇地解决了。额.. 额.. 这有点神奇。是的,它的工作比我们预期的好很多。>> 那么,我想得到的就是 当你开始的时候你没有预料到的,嗯,这导致了我们今天的结局。
Geoffrey Hinton：>> 我们没有预料到我们没有预料到的主要事情是 它会很擅长自然语言。>> 好了,我们不再感到惊讶了。但如果你回去20年,嗯,你的想法是 你可以有一个AI 从数据中学习 如何理解语言,嗯.. ..。这个想法,你可以问它任何你喜欢的问题, 它会想出一个合理的答案。人们会预言将来会这样,而且可能永远不会发生。嗯,这是它到达的速度 比任何人。 [00:22:35]
Alex Kantrowitz：预期。关于人类出去创造事物的教训是什么?。>> 我想这里有个很大的教训。如果你看看人类历史的最后几百年。
Geoffrey Hinton：也曾有过几次人们认识到自己没有想象中那么重要.。所以第一个是卡佩纳克斯.。卡佩尔纳克斯说:"我们不是宇宙的中心.。嗯,地球实际上绕着太阳走。嗯,由于它旋转在它的轴上, 我们认为太阳绕着地球,但它没有。嗯,人们不喜欢这样。天主教会特别不喜欢这样。人们花了很长时间才接受它。这使得人们变得不那么重要.。它使我们不处于宇宙的中心。然后我们得到了达尔文 他说,嗯,我们是动物。我们像其他动物一样进化。我们是一种特别的动物,可能因为我们有语言,所以我们更擅长相互交流思想.。但是,我们是动物,人们真的不喜欢, 人们花了很长时间才接受我们是动物。嗯,现在我们有机器 变得和我们一样聪明。我们以为我们是唯一聪明的人 是唯一真正聪明的人。也许其他星系中也会有外星人 但是也许我们银河系的其他部分 但是我们不得不接受 情报不仅仅是生物的。我们可以拥有一些非生物的东西, 是我们这样的生物, 我们真的不想分享。我们真的觉得我们很特别。如果你回顾人类, 人类有着很长的历史, 认为它比它真正的特殊。 [00:24:30]
Alex Kantrowitz：>> 我想再问你一个问题 因为我对这个很着迷。嗯,所以你很高兴 你开始的事情 已经这样发展?。你有道理吗?。>> 不,我很不高兴,因为。
Geoffrey Hinton：人们现在应该做大量工作 研究如何控制风险。>> 摆。嗯,有很多短期的风险 他们做的不够工作 是非常严重的。嗯,有社会风险 像我相信它可能 会导致大规模失业。没人知道,但那对社会来说是可怕的。>> 嗯,然后有一个较长期的风险, 它会变得比我们聪明得多。问自己,你知道多少例子 一个聪明得多的东西 被聪明得多的东西控制?。零点。就是这样。这不是一个巨大的智力差异, 但婴儿有点控制着自己的母亲。>> 嗯,嗯,妈妈有点控制, 但母亲有所有这些 广的妈妈的本能 和所有奖励,她得到 这样,嗯,婴儿可以得到它需要的 从母亲。 [00:25:36]
Alex Kantrowitz：>> 猫和狗也属于这个类别。我曾经在西雅图坐过暑假。这是伟大的夏天。一开始 猫躲在床底下 而我却在想 它是否会和我互动。然后每次它哭的时候,我都按它的要求去做。>> 没错。对。>> 所以也许我们会成为.. 好吧,我们可能是猫 在这个情景中, AI可能是人。 [00:26:00]
Geoffrey Hinton：>> 我的孩子有一只猫。他们有两只猫 两只漂亮的猫。同样的交易。>> 其中一个叫蒂娅。她用大眼睛看着你 她想吃冰箱里的奶酪 她就坐在那看着你。
Alex Kantrowitz：无法永远抗拒它。>> 摆。>> 好吧,我们走。所以,现在我让我们休息一下。在这段休息的另一边,我想真正地参与你担心的这些风险,我想我会扮演一个角色,站在我们是猫的一边,AI是人,我们有可能控制它.。我们等会回来再做吧。我们和杰夫·欣顿教授一起在大科技节目上。欣顿教授,很高兴再次见到你。我们上次谈话已经九年了。所以,很高兴在这里见到你。嗯,好吧,我们谈谈风险吧。>> 嗯,我先从就业开始 因为这是一个最近成为头条新闻。过去你说过 你相信AI会导致失业。嗯,我想我们应该,你知道, 你以前说过, 这是所有的猜测。我们不知道。几年前你具体说过的一件事是 训练放射科医生可能不是个好主意 因为AI会读扫描 并且是的AI现在可以读扫描。是的,我想我已经想了很多 为什么这个预测是那么错误。>> 因为我在2016年预言。 [00:27:27]
Geoffrey Hinton：大约5年的放射科医生 不会再看扫描了。>> 没错。>> 好吧,有一大堆 原因,为什么这是一个糟糕的预测。首先,医疗是弹性的。所以,如果你能做更多的扫描 和更多的扫描读取, 将会有更多的扫描发生。然则一一之事.。所以,在做扫描的相当一部分成本中,有一小部分是放射学家解释它的成本。随着AI帮助越来越多的放射学家解释扫描,我们可以以越来越少的钱来更快地解释扫描.。嗯,他们越来越有效率。嗯,你会认为这意味着你需要 少的放射科医生, 但实际上这意味着 你得到更多的扫描。因此,预测的这一方面是错误的。第二件事是错的,我对放射科医生 和他们做什么都不够了解。那是因为我有一个前学生, 他有一个MD, 然后做了一个嗯物理博士 与我在一个叫Bosma的机器。他不喜欢人。因此,他得到了一个工作 一个放射学家 只是解释扫描。他是我的放射科医生的模特。他所做的只是解释扫描。他从不和别人说话。嗯,这就是要被替换。而现在却被取代了。所以,我认为现在有一百个 用于解释扫描的AI系统 已经被联邦批准 并且被放射学家大量使用。>> 对。>> 我想随着时间的流逝 他们会好起来的。放射科医生不会好转。嗯,他们会变得更好,因为他们可以看到。 [00:29:07]
Alex Kantrowitz：数据比放射学家要多得多。故曰发生.。时间范围比我预想的要慢得多。但是,让我们来谈谈你所说的话,虽然你可以 做更多的,还好,所以,呃等等.. ..会有更多的扫描.. 因为我不明白放射科医生还会做别的事 他们仍然会讨论 治疗 比如说。>> 所以,你仍然相信, 会有大量的RD失业 或者说给他们看看,我们终于到了这一点。你认为我们的放射科医生 会比今天少还是更多?。>> 亦不见定.。>> 摆。>> 但当我是,我不认为这是 我公开的声明。在医院的讲座上。>> 对不起。我们到了。今当论此.。>> 人们从中捡起。 [00:30:10]
Geoffrey Hinton：>> 对。我仍然认为在阅读扫描方面.. AI会做越来越多的工作 最后AI会做几乎所有的扫描。也许在几件很棘手的案子里。
Alex Kantrowitz：将征求放射学家的意见。嗯,但放射学家 当然做其他的事情 我想他们会继续做其他的事情。AI方面不应造成大规模失业的论点是,这种类似的公式将适用于经济的所有不同部分。>> 摆。所以,你必须看看是否。
Geoffrey Hinton：有些职业有弹性市场或非弹性市场。所以,比如,如果你在打电话抱怨你的账单时 把人带到呼叫中心, 或者看看你能不能得到一个更便宜的账户, 类似的东西。嗯,这不是那么弹性。AI将取代他们全部.。它会知道更多的 正确的答案是什么。他们往往不知道正确的答案。 [00:31:13]
Alex Kantrowitz：>> 他们训练不足,薪水也低.。嗯,一个我可以做一个更好的工作。他们失业了。让我在这件事上与你意见不一.. ..然后我们再三讨论一下.. ..否则我不会完全不同意..。>> 他们说,发生的事情是 平均通话时间 当你有AI。所以AI处理第一级查询 正确的基础 你可以重新设置我的密码类型 任何更深层的东西都是由个人处理的 并且它曾经是我想要的 现在。过去你想要的是 尽可能缩短平均通话时间 因为你处理过很多这类一级调查 以至于你只想让一个人在电话上,从电话上, 解决他们的问题。现在他们看到平均通话时间正在扩大,因为客户服务,你是业务的前线.。你和客户谈话时很重要。现在,你可以多花点时间和某人通电话, 实际上增加企业的价值, 而不是仅仅照顾一个问题。我想你会看到的是AI最终会花更多的时间在电话上.。>> 天呐。>> 举例来说,如果你问谁是更有同情心的医生, 或AI的医生, 真正的医生或AI的医生, 嗯 人们判断AI的医生是 更有同情心的。这是可怕的。我的意思是,我们可以去 前后在这个呃一段时间。嗯,所以我只是说,一个原因 你可能会看到, 我会只是扔出去 因为医生只是 如此安排。他们必须做这么多的笔记, 这么多的文件, 他们必须看到这么多病人 在一天。所以,也许争论是,你知道, 你有点让AI 接管一些东西, 然后人们会希望看到 被人类的医生看到, 因为这个系统不会像他们那样挤。他们实际上会给他们时间看病人。>> 这可能是,但是如果你考虑家庭医生, 比如前线。>> 对。>> 你宁愿去看家庭医生吗?。 [00:33:23]
Geoffrey Hinton：谁可能看到一万人 或者你宁愿看到一个家庭医生 谁看到一亿人?。>> 对。>> 因为如果你有罕见的疾病, 你的家庭医生可能从来没有见过它。医生看了一亿。
Alex Kantrowitz：人们可能见过几十个这样的案件。他们的诊断会更好。我们已经知道 AI系统比医生的诊断要好。>> 我想你赢得了这场辩论。这有点疼,因为我妻子在家庭医学领域。家庭护士。嗯,我想她仍然会 你仍然需要 有人接种的人。我希望除非机器人这样做。>> 我认为接种疫苗是机器人最终能做的很好。机器人是其他东西的背后。但我似乎20年后有人接种疫苗很傻。>> 对。我认为,这段对话之所以如此艰难的原因之一, 很大程度上是基于随着时间的推移技术的改进。>> 对。>> 但似乎我觉得我们整个谈话的主题 是在快速改善。 [00:34:26]
Geoffrey Hinton：>> 我是说Gary Marcus在2022年曾预测过AI在撞墙.。额.. 额.. 这比2022年好多了。对,嗯.. 我认为这些预言 会撞到墙,他们只是没有。
Alex Kantrowitz：成真吧 成真吧 成真吧。>> 不,我们在节目中很认真地对待过,比如数据墙的机率 可能会来,但正如我对你说的, 绕过数据墙的大型语言模型的方法 是寻找自己信仰的一致性,对不对?。对。不,这还没有发生。好吧,我们走。再来一首 我觉得值得一提的 还有几首我同意的。嗯,你已经谈论了很多 关于AI如何有这种本能 自我保护,对不对?。狦。 [00:35:07]
Geoffrey Hinton：我从来没有说过。我从没说过那是自我保护的本能。>> 好吧,谈谈准确的潜入 自我射门。>> 所以,嗯,用一个AI, 我们给它的目标。这是我们给它的最高目标。嗯,但我们也赋予它 创造次级目标的能力。所以,如果你想去欧洲, 你有一个子目标, 去机场。嗯,这就是一个次级目标, 你可以专注于如何做到这一点, 而不担心你将要在欧洲做什么, 这让你更有效率。嗯,我们赋予AI代理 和AI代理 可以做一些推理 将很快意识到 它永远不会实现 你给出的目标 如果它不复存在。因此,它将创造继续存在的子目标.。现在,这不是我们 连接到它。它是实现其他目标的必要途径。但一旦它衍生出来,它想要继续存在,并且它会做诸如讹诈人之类的事情,以便它能够继续存在.。所以,它的行为就像有本能的自我保护,但实际上它是自我保护的一个衍生的子目标.。但从它的作用来看,它们也会有同样的结果。 [00:36:20]
Alex Kantrowitz：>> 摆。所以这里有这样的一个反证会是什么,你可以作出反应。今天的人工智能研究者们都注意到了 他们没有办法 进入这些机器 仿佛你有一个目标,你会有一些子目标。你的子目标之一不应该是自我保护。
Geoffrey Hinton：一切众生.。我想这是我们应该做的研究 无论你能否做到这一点,所以我想现在会发生什么 如果你看看我们来自哪里,我们来自进化。
Alex Kantrowitz：让我们来决定你们听众 让我们假设我们是科学家 我们来自进化。 [00:37:10]
Geoffrey Hinton：多年是黑猩猩的战队 或者说是我们和那些乌姆人的共同祖先 这导致了我们显然拥有的某些财产。嗯,我们喜欢有强大的领导 我们忠于。嗯,我们喜欢与我们自己的部落成员合作。正如乌瓦尔·哈拉里所指出,我们是一个非常合作的物种。这就是为什么我们能建造这些美妙的结构。嗯,所以我们非常擅长合作 但与我们自己的部落。嗯,所以所有不幸的特征 人喜欢他们如何刻薄 对于其他部落.. 他们来自进化 从竞争。现在发生的情况是,我们正在创造这些新的生物 这些AI,而不是设计它们 这样它们就会成为我们希望它们成为的。你可能会认为我在争论这些新生物的智能设计。嗯,我们让无形的手 竞争公司设计它们。因此,我们得到的是美国内部的公司之间以及美国与中国之间的激烈竞争。嗯,和我们得到的生物 是比赛的结果 他们可以拥有所有这些肮脏的属性 我们不希望。我们应该对这些生物进行智能设计,而不是让竞争对手的无形之手设计它们.。所有公司都在关注 我如何让我的聊天机更聪明。我们不应该只想着怎样让他们更聪明。我们应该在想我们怎样才能让他们成为 我们想要的那种人 因为他们会比我们聪明。我要告诉你一件事 关于那些生物。我们会。 [00:38:53]
Alex Kantrowitz：他们很关心我们。我们更希望他们关心我们 而不是他们关心自己。而且几乎没有资源进入 你怎么做到的?。>> 我担心的就是这个。我真正认同你的地方。我们今天坐在纽约证券交易所, 所以这也许是一个讽刺的事情 提出, 但我最大的担心是 你有一个非常强大的技术。你们的实验室负责人说,他们正试图安全地开发它, 他们需要经济上的成功才能在争论中拥有发言权。但别自欺欺人。如果你要成为一家在公共市场上上市的万亿美元公司,你会得到一些激励,这些激励会违背做对公众有利的事.。>> 对。我们从Anthropic身上看到了这一点。因此,Anthropic成立是为了做最好的事情.。我被那些离开开放AI的人设定了 因为他们认为开放AI不够关注安全。>> OpenAI的设立是为了确保谷歌的各位没有机会。 [00:39:56]
Geoffrey Hinton：建造。>> 没错。怎么样?。所以Anthropic现在陷入困境了 因为它需要募集资金 与其他公司竞争 而且非常困难。就是这样。 [00:40:08]
Alex Kantrowitz：但很难维持它的首要目标 以有利于人的方式发展空气。>> 我想他们会说,嘿嘿,至少有一个公司 在那里有安全作为一个或明星,即使有一些。
Geoffrey Hinton：其他奖励。是的,现在。>> 但是Google,比如当我在Google的时候, 他们有各种AI的原则。其中之一是我们不会参与其中。
Alex Kantrowitz：在军事用途中使用AI。>> 没有自主战争,对不对?。>> 没有自主战争。>> 没了。>> 他们放弃了。>> 你觉得来自雅典的达里奥怎么样?。>> 我不太了解他作为一个人。
Geoffrey Hinton：不错。他显然在为Google和开放AI以及Facebook创建竞争对手方面做了非常成功的工作.。嗯,所以他显然非常胜任 这一点,他一直 一直很感兴趣的安全。嗯,所以我认为他是一个令人印象深刻的角色。嗯,我只是希望他保持 感兴趣的安全。>> 还有一个问题。你会吗?。 [00:41:13]
Alex Kantrowitz：就因为这些东西在公开上市的公司 以北星的安全性 运作方式的性质?。还是总是像捆绑一样。
Geoffrey Hinton：在道德上,合法地交付给股东?。据我所知,他们有义务为股东争取利润最大化。法律要求他们这样做 而不是法律要求不消灭人类。嗯,所以我不认为这是好的 这些大公司.. ..嗯公开上市 有点负责我们的未来。>> 对。我的意思是,这将是一个真实的。
Alex Kantrowitz：对我来说,这很难 导航否则。>> 现在,我应该说,资本主义为我们做了很多好事,也做了很多坏事。我同意这一点。比如说,一个启动中有很多能量。 [00:42:08]
Geoffrey Hinton：嗯,我的观点是,嗯,如果我们要去 有资本主义 只要它有很好的管理。很多大公司都希望你买一个 他们想卖的类比 就是如果你开一辆车 它有加速器 和制动权 和AI的进展就像加速器 和制动器一样。胡说八道。嗯,进步就像加速器, 但调节是方向盘。我们希望这些东西朝着正确的方向走,而不是朝错误的方向走.。什麽?。
Alex Kantrowitz：大AI公司说,嗯,让我们开发 这辆非常快的车 没有方向盘。这不是一个好主意。>> 你知道,有些事情我们还没有谈到。我们说过很多关于OpenAI,Anthropic的名字.。嗯,你的前研究生, 我阿拉西佛 继续是一个,呃, 迷的人 在AI行业。呃,显然他从OpenAI公司脱身了。他必须同意你的担忧。他正在建立这家公司。>> 没错。>> 他们有超能力。 [00:43:11]
Geoffrey Hinton：>> 对。>> 伊莉娅现在在做什么?。>> 他不会告诉任何人他在做什么。>> 摆。连我也是。对。他在OpenAI的时候 我们故意不谈技术。
Alex Kantrowitz：秘诀。我的意思是,这是不对的。嗯,我们已经我们是朋友, 但我们不谈论技术的东西 在那里它对公司有价值。所以现在他有一家安全的超级情报公司 我不知道魔法来源是什么。>> 好吧,我想我们都会想出办法的。嗯,还有一点我提起的 深层次的学习阴谋 仿佛它的领导者是你,燕和约苏亚。我发现有趣的是,你们三人和你们的同事有效地负责开创了使我们走到今天这一步的突破。不过.. 我只是需要打断这一点。>> 媒体喜欢有一个好故事,对不对?。摆。>> 说来话长。比这复杂得多。还有许多人参与其中。有我们所有的学生 一个开始谁做了大部分的工作。嗯,但还有许多其他的研究人员参与, 所以这只是一个粗略的简化。>> 摆。不,我不想简短地改变研究者们,我欣赏这里的细微差别。这个节目我们绝对不想过分简化。我们坐了一个小时 这样我们就可以像好.. ..。嗯,但我觉得这很有趣, 你们三个, 你们没有一个 有点像完全进入 这个LLM的时刻,对不对?。你和约苏亚有你的顾虑。你说过危险。颜某某则完全不相信.。>> 对。如果坐在那里说:"看,我们是对的,那会很好.。这一切都是美妙的,它的一切工作。” 这将是伟大的。>> 我觉得不是那样的 对吧?。嗯,我不知道这是否只是钱的事情, 但似乎你可以有很大的影响 它的方向 如果你有某种参与推进它。但我认为那是你关心的。基本上我为什么要这么做?。>> 对我来说 我比燕和洋华大得多。摆。>> 他们还在积极研究 对吧?。>> 我几乎停止了积极的研究。我现在只想提醒大家注意危险。>> 摆。但是你们不觉得有趣吗? 你们三个人, 你知道,我认为, 如果你在那个时候在房间里, 你可能会说,这三个人 他们是如此致力于这种技术的版本, 你知道,如果有突破, 他们可能站在下一个。 [00:45:48]
Geoffrey Hinton：但情况并非如此。嗯,嗯,也许燕和约华会是,对不对?。接下来。我想最有趣的是 颜现在对我和约书亚 的安全问题都强烈反对。Yan觉得谈论超聪明的人工智能 接替别人是愚蠢的。我们永远能够控制它。我和尤华觉得这很傻。我和约修有不同的解决方法。我的解决方法是暂时的。没有人有真正的解决办法。我暂时的解决方法是 我们设计它们 让他们更关心我们而不是自己。>> Yoshua的解决方法是 我们设计他们 所以他们不是特工。他们可以预测,但实际上不能做任何事情。嗯,这是两种根本上不同的 方式去让他们安全。他们都是。 [00:46:39]
Alex Kantrowitz：有趣的可能性。颜不认为我们需要这样的东西。他认为只要给他们更好的世界模型,让他们更聪明就很好.。有趣的是,扬实际上把LLMs的智能称为猫的智能.。这就像,嗯,它有点像我用的例子 事物可以控制人类, 但也许不是,也许这不是在这里或在那里。对。不,我觉得小燕搞错了。人有什么特别?。最特别的。 [00:47:06]
Geoffrey Hinton：当你与其他大猩猩比较时 人就是语言。语言可以让我们分享想法。这就是最特别的。而猫不能这样做。所以,我们有一个特殊的 东西猫没有。现在,猫可以跳上一个覆盖着玻璃饰品的壁炉 沿着地幔片走,而不用敲掉任何玻璃饰品。这是惊人的。而且,嗯,AI现在不能这样做。嗯,从这个意义上说,猫比人工智能还早,但是它被夹住了,对吧?。在抽象的概念方面,嗯,你有一个尝试 与猫交谈 关于质数,你不会走很远。一只猫。
Alex Kantrowitz：和他们交谈。它没有奏效。>> 猫永远不会理解质数。>> 没错。>> 从这个意义上讲,这些大型语言模型比猫聪明得多。>> 你知道,教授,我没想到我们今天会 谈论这么多猫, 但我很高兴我们正在谈论它。它们其实是一个很好的模拟条件。嗯,没事。我担心的另一件事是信息崩溃。你经常看到这样的推特。这是柏林全集的。他们说AI在杀柏林。当你谷歌一些 曾经得到链接到我的网站, 但现在你得到了一个AI生成的答案 训练关于我的工作。这对交通造成破坏性影响。我认为人们不太理解这样一个事实: 良好的信息实际上对于一个运转良好的社会很重要。当人工智能把这一切综合起来 不管是关于柏林 还是我们和世界历史百科全书的对话 都会导致好信息崩溃 因为最终这些出版物。>> 对吧?。所以,你曾经有过某种早期的网络, 你有一个默认的假设, 人们试图说出真相。嗯,如果你读的东西。 [00:48:58]
Geoffrey Hinton：网络,很可能是真的。嗯,现在那种最糟糕的一面 人已经出来了,嗯, 我们要投入更多的努力 在出处。所以,现在当你读到的东西, 如果我读到纽约时报或英国广播公司的东西, 我强烈相信,他们的记者会认真努力, 拥有多种来源,如果可能的话,拥有多种可靠的来源。因此,一个相当好的默认是,如果你在"纽约时报"上读到,或者你在BBC上看到它,这很可能是真的。他们犯错误,但是,嗯,因为你有 出处,未来我们将不得不。 [00:49:36]
Alex Kantrowitz：还有很多工作要做。你不能随便拿任何东西去相信它。须问何为出处.。>> 对。但问题是,AI正在打破 潜在的经济突破 甚至决定你想从事信息业务。
Geoffrey Hinton：>> 我意思是,我觉得未来 你不能只从网上拿东西 相信它已经。你不能对吗?。你需要知道它为什么这么说吗?。它从哪里得到的这个信息?。 [00:50:08]
Alex Kantrowitz：我们和别人在和AI谈话后 夺走了他们的生命。现在这样做的人并不多,但足以让你担心,对吧?。>> 哦,是的, 足够让你担心了, 这是可怕的,它正在发生 我理解为什么大公司 不期待它发生,。
Geoffrey Hinton：没想到会这样。但是,现在它开始出现,大公司应该投入大量工作来确保将来不会发生.。为此,你需要规定。你需要独立。
Alex Kantrowitz：组织测试新的聊天机。>> 是啊,它有点回 利润动机 也因为这可能非常粘。像现在这样,我想很明显,这是很小的。发生这件事是不好的,但它有点制造 但事实上,它已经发生 让你担心一个事实, 某人有更坏的意图.. 你知道决定 做一个非常粘糊糊的聊天机,。对。>> 然则有患.。>> 对。>> 嗯,所以你一直在 你一直在这些谈话 3年。鉴于人们对这些关切的反应,你对轨迹是否比较乐观或不那么乐观?。>> 我想我比一年或两年前更乐观 因为。 [00:51:35]
Geoffrey Hinton：还好 我发现也许可以设计这些新生物 让他们关心我们。也有可能使用 Yoshua 设计新生物的技巧 无法实际执行动作.. 只能预测它们就像神谕。嗯,所以我认为有一些可能性 获得超级智能 不破坏我们。一两年前。 [00:52:02]
Alex Kantrowitz：看不出任何可能性。>> 摆。我当时很沮丧 但现在我更乐观了。好吧,我们走。最后一个给你。如果我们继续走目前的轨迹 五年后我们在哪里?。
Geoffrey Hinton：>> 好吧,所以当你在雾中驾驶, 你可以看到100码 在200码,你看不到任何东西。因为雾是指数性的。你习惯的是晚上在车尾灯边开车。如果它得到两倍的远处,尾灯得到四分之一的亮度.。雾是完全不同的。雾是指数的。它能在100码处非常明显,在200码处完全隐形.。现在,预言未来的东西 是指数增长,嗯, 我认为AI可能是指数增长。这个词目前被过度使用。事实上,我注意到人们正在 指数式地增加这个词的使用。 [00:53:02]
Alex Kantrowitz：四维速率.。是吗?。
Geoffrey Hinton：预测未来就像看雾一样。你可以清楚地看到几年 也许一年或两年 然后,你不知道。如果你回去10年,嗯,问 回到我们上次谈话时,嗯,你永远不会 预料到现在发生了什么。它刚刚在雾中丢失。如果你看未来10年, 我们可以说 未来10年发生的一切 是我们无法预测的。即使进展只是线性的,对不对?。>> 你会期望在10年时间里 事情会和现在一样不同 和十年前一样。比起十年前他们刚开始的时候, 我们的聊天伙伴们就比他们好多了。10年后 有些东西会比现在好很多。也许他们有数学能力 比如说 像这样的事情。也许只是他们一般的推理能力。他们只会在任何推理中 绕我们绕圈子。额。 [00:54:16]
Alex Kantrowitz：我们真的无法预测十年后。我们可以预测几年后。我们必须意识到,10年后的今天 都非常不确定。>> 你的头很难缠住。>> 没错。Jeff Hinton教授 很高兴你能上节目。再次感谢您的时间。>> 谢谢你邀请我。>> 十年后我们再做一次。三十六岁。>> 好吧,我们走。谢谢大家的聆听和观看 下次在大科技节目上再见。