Source: Alex Kantrowitz
URL: https://www.youtube.com/watch?v=i-mRanTY6c4
来源：Alex Kantrowitz
原视频：https://www.youtube.com/watch?v=i-mRanTY6c4
目录
- [00:00:00 - 00:05:56] AI 的未来：潜力与进展
- [00:05:56 - 00:11:10] 硬件在 AI 发展中的作用
- [00:11:10 - 00:19:31] 通用人工智能：当前技术与未来创新
- [00:19:31 - 00:32:01] 普通人：谁能从 AI 中受益？
- [00:32:01 - 00:35:49] AI 与情绪：机器能感到疼痛吗？
- [00:35:49 - 00:39:24] AI 情绪的未来
- [00:39:24 - 00:42:36] 理解机器中的疼痛与恐惧
- [00:42:36 - 00:52:20] 意识与 AI：复杂的关系
- [00:52:20 - 00:54:34] AI 时代人类身份的演变
- [00:54:34 - 00:59:49] 决定论宇宙中的自由意志
对话
Alex Kantrowitz： 疼痛信号只是告诉机器人应该避免什么。 [00:00:00] 疼痛只是生物的自然发明，是进化的发明，它发明了这个 这种疼痛传感器可以让动物有动力去学习避免疼痛。
Jürgen Schmidhuber： 几十年来，我们在学习机器中已经做到了这一点。使用的化学品 [00:00:22] 大脑对恐惧或爱之类的某些状态进行编码。他们是
Alex Kantrowitz： 与我们在人造大脑中使用的不同。但原则 [00:00:36] 必须是相同的。然后它就有自我意识了。从某种意义上来说它是有自我意识的 例如，如果它照镜子，它很快就会发现，哦， 镜子里的那个人 我可以控制这个人做什么。如果我这样做，那么他就会这样做 对称的事情，因为我可以控制它。但如果你在另一边 [00:01:01] 房间和我这样做，你会做一些完全不相关的事情，我无法预测 他们。所以你已经看到了这种立即被认可的代理概念 作为自我代理或另一个人的代理。五年内你将损失900 9000亿美元。在不久的将来，有人将损失 9000 亿美元，因为 没有商业模式。没有人拥有可以弥补所有这些损失的商业模式。 人工智能模型可以从这里得到多少改进？他们日益增长的智慧对我们来说意味着什么 大脑和存在本身？我们将与人工智能先驱和《卫报》的某人讨论这个问题 在此之后，我给人工智能之父 Juergen Schmidhuber 打了电话。欢迎来到大科技 播客是一个关于科技世界及其他领域冷静而细致的对话的节目 今天为您带来一场精彩的表演，深入探讨人工智能的发展方向和潜力 此后技术必须改进，而且越来越智能对我们的评价 [00:02:01] 我们的存在，我们的大脑，我们很高兴能加入人工智能先驱之一 《卫报》称艾于尔根·施密特·胡佛的父亲为即将加入的教授 我们今天从阿姆斯特丹出发。教授，很高兴见到你。欢迎来到节目。
Jürgen Schmidhuber： 亚历克斯，很高兴来到这里。 [00:02:25]
Alex Kantrowitz： 那么，让我们简单介绍一下您自己以及您对人工智能的贡献。 [00:02:28] 显然，你对人工智能做出了很多重大贡献，比如记忆、P 和 T 和 GPT，正如您的 Twitter 简介所述。 《卫报》称您为人工智能之父。
Jürgen Schmidhuber： 媒体似乎倾向于给研究人员贴上这些标签。 [00:02:47] 有几位人工智能之父和教父。
Alex Kantrowitz： 您对此有何回应？您将如何结合您的角色以及当今技术的发展情况？ [00:02:57] 没有一个人可以独自创造人工智能。 [00:03:01]
Jürgen Schmidhuber： 你需要整个文明来构建人工智能。 [00:03:07] 你不仅需要那些试图发明算法、学习人工神经网络算法的人。
Alex Kantrowitz： 这就是当前人工智能的意义所在。 [00:03:18] 你还需要能够制造更好的计算机的人。
Jürgen Schmidhuber： 您需要所有正在创建市场的视频游戏玩家来购买更多越来越快的计算机。 [00:03:25] 并激励计算机制造商每五年将每美元的计算速度加快 10 倍。 你需要所有为电子游戏玩家提供食物的农民等等。 所以一个人不可能创造出人工智能。 你需要一个完整的文明。 好的。 因此，我很想听听您对这个文明正在走向何方的看法。 显然，您已经在人工智能研究的前沿工作了很长时间，而我们今天无疑正处于快速进步的时期。 [00:04:01]
Alex Kantrowitz： 因此，关于人工智能可以进步多少、它是否会碰壁以及当前技术将走向何方等问题一直存在。 [00:04:13] 你怎么认为？关于人工智能今后将走向何方的问题，你会想到哪里呢？ 所以自 20 世纪 70 年代以来，我一直是一个乐观主义者，我一直声称在我的一生中， 我想建立一个人工智能，它可以学习变得比我自己更聪明，这样我就可以退休了。
Jürgen Schmidhuber： 而我们显然还没有做到这一点。 [00:04:39] 目前，唯一运行良好的人工智能是屏幕后面的人工智能。 是的，屏幕后面有一个可以通过图灵测试的AI。
Alex Kantrowitz： 那是什么？ [00:04:54] 这意味着如果你向它输入问题，它就会回答。 现在的问题是，你能区分对方是人还是机器吗？ [00:05:00] 如今，许多人工智能都通过了这个图灵测试。
Jürgen Schmidhuber： 然而，这只是意味着图灵测试是衡量智力的糟糕方法 [00:05:12] 因为屏幕之外的物理世界里没有人工智能 它可以做小男孩能做的所有事情， 它可以做水管工可以做的事情。 几十年来，我一直以水管工为例， 或电工。 所以人类能用手做的所有事情 他们的肉手不能很好地工作。 屏幕后面只有位、零和一， 这是唯一运作良好的事情。 然而，这种情况不会永远持续下去， 物理世界取得了进步，物理世界的人工智能也取得了进步。 我认为这件事的高潮是 几十年来我一直在谈论这个问题 在不远的将来的某个时刻， [00:06:01] 我们将拥有一个不必非常聪明的机器人， 但足够聪明，能够学会操作所有现有的机器。 一旦我们拥有了这样的机器人，我们就拥有了一种新的生活。 数百年来，人们一直在谈论自我复制机器， 但现在我们有一个空缺。 一旦我们拥有了这样的机器人，它就可以开始制造更多同类机器人。 这意味着我们突然就会拥有这台终极缩放机， 正如我所说的，自我复制机器， 但同时也是自我改进的机制，因为所有已经适用于屏幕背后的软件的东西 还将提高现实世界和物理世界中的性能和所有机械。 我认为这将是这个拐点。 [00:07:01] 从那里开始，一种新的文明将会出现 因为类似的东西不仅仅在生物圈中起作用。 它也适用于月球太空， 但也许更可能首先在水星上 然后是太阳系的其余部分以及更远的地方。 好吧，我对此有很多疑问，
Alex Kantrowitz： 包括这对于人类的本质意味着什么。 [00:07:28] 但我们暂时先不谈这个。 你的回答引发了我的立即跟进， 我最近在 OpenAI 总部与 OpenAI 总裁 Greg Brockman 进行了交谈， 就在那一刻，他们决定暂停对他们的视频生成器 Sora 的研究， 并决定几乎完全专注于这些 GPT 模型，对吗？ 我们最近看到的文本模型取得了很大的进步。 我问布罗克曼，如果你不关注视频生成等更多世界模型风格的应用程序，你不会失去一些东西吗？ [00:08:00] 他说，我们确实失去了一些东西。
Jürgen Schmidhuber： 我们无法包办一切。 [00:08:11] 我们相信 GPT 风格的模型是实现 通用人工智能 或 AI 与人类智能同等水平的方法。
Alex Kantrowitz： 按照您的方式回答后，您是否认为他是正确的，仅使用 GPT 模型就有机会实现 通用人工智能？ [00:08:20] 或者他们是否犯了一个根本性错误，放弃了世界模型实践，尽管 OpenAI 中仍然有一些机器人技术工作？ 那么，当问题这样表述时，LLM（本身就是一个大型语言模型）是否会导致 通用人工智能？ 答案显然是否定的。
Jürgen Schmidhuber： 但你知道，OpenAI 有一群聪明的人，他们清楚地知道这一点。 [00:08:49]
Alex Kantrowitz： 当然，他们也知道你可以使用基础模型或大型语言做什么 [00:08:54] 模型或类似的东西。
Jürgen Schmidhuber： 你可以把它当作世界的模型，作为世界的模型。 [00:09:00] 那里使用的相同类型的神经网络可以用作世界模型，如 正如我所说，在 1990 年，它刚刚学会预测行为的后果 另一个神经网络的另一个决策者正在生成修改的动作 环境。
Alex Kantrowitz： 就像一个小婴儿，你知道吗？ [00:09:26] 小婴儿不会通过下载网络来学习。 这就是 ChatGPT 的作用。 婴儿不会通过下载网络来学习。
Jürgen Schmidhuber： 它通过自己发明的实验创建自己的数据流来学习。 [00:09:34] 例如，当婴儿这样做时，然后通过摄像机传入的视频会发生变化， 每隔几毫秒，就有数亿个新像素进入，
Alex Kantrowitz： 那么婴儿有一个内部机制，我们称之为世界模型， [00:09:53] 它学会预测这些变化。
Jürgen Schmidhuber： 一开始，它甚至不知道自己有一只手。 [00:10:00] 但随着时间的推移，它学会预测向运动神经元发送某些动作信号的后果
Alex Kantrowitz： 然后语言和肌肉上下移动或者手移动，它就会了解世界是如何运作的。 [00:10:10] 因此，它通过自己的实验生成的数据。
Jürgen Schmidhuber： 所以婴儿有点像物理学家。 [00:10:22] 物理学家不是通过下载网络来学习的。 他通过下载论文学到了一些知识。
Alex Kantrowitz： 但物理学家接下来要做的是进行新的实验，产生以前从未有过或以前从未收集过的数据，以更好地验证有关宇宙的某些假设，然后更好地理解世界，物理世界。 [00:10:29]
Alex Kantrowitz： 这就是我们自 1990 年左右以来的人工神经网络所做的事情，但其方式还不如物理学家所做的那样令人印象深刻。 但我认为它会到达那里。 [00:11:00]
Jürgen Schmidhuber： 然而，至少有两个组成部分。 [00:11:02] 有一个具有基础模型，可以是各种人工神经网络中的任何一种。 那只是一个预测机器。
Alex Kantrowitz： 如果我这样做会怎样？ [00:11:13] 如果我查看到目前为止的数据，你知道下一个标记是什么，然后还有另一件事 其他神经网络控制器使用第二个人预测机来规划 这样它就可以嗯一旦第二个人预测机器这个模型就非常好 然后它可以学习预测复杂动作序列的后果，然后就是它了 为控制器选择一个动作序列，该序列会导致很多预测 奖励和难以预测的痛苦。所以当然我们的机器人有疼痛传感器，然后每当 他们碰到了障碍 负面惩罚是负数进来并且疯狂 模型不仅预测视频等中性信号，还预测这些价值信号， [00:12:00] 这些奖励信号等等。如果模型好的话，你就可以用它来进行规划 然后控制器可以使用心理实验而不是真实的实验，这确实是 选择好的动作序列是昂贵的。但在这些情况下，你只能看到模型， 单独的基础模型并不是 通用人工智能。不，你需要另一个使用各种伎俩的家伙 利用世界模型中的算法信息来提出更好的计划 2017 年左右，我们正在谈论你说了些什么，呃，你在不远的地方说了这句话 未来我将能够与一个小机器人交谈并教它做复杂的事情，例如 仅仅通过展示和讲述来组装智能手机 制作 T 恤和所有这些东西 目前，这些都是由发展中国家的贫困儿童在奴隶般的条件下完成的 人类将活得更长久、更快乐、更健康、更轻松，因为许多工作 [00:13:03] 现在对人类的要求将被机器取代，那么将会有数万亿 不同类型的人工智能和快速变化的复杂人工智能生态正在以一种方式扩展 人类甚至无法跟随，所以大约10年前你就说过现在看起来更合理 显然比那时更明显，你认为我们离那个未来还有多远，是的，这是一个 这是个好问题，实际上甚至在 2014 年早些时候，因为我当时说过的这些话 当我发表演讲或其他什么的时候，我们成立了一家公司，这实际上是关于身体的 现实世界中的人工智能使用野生模型，然后利用野生模型来 更好地与世界互动，我们与非常有名的人签订了疯狂的合同 公司。尽管如此，这可能还为时过早，就像我们拥有的其他一些东西一样 完毕。所以当时可能太雄心勃勃了。但现在我们已经越来越近了。 [00:14:08]
Jürgen Schmidhuber： 而且，你知道，主要的障碍，主要的障碍是硬件方面的进步， [00:14:14] 在硬件方面。所以硬件方面有一种进步，就是 巨大，自 1941 年以来一直是巨大的，每五年，计算机就会变得巨大 便宜10倍。所以在1941年，Zuse推出了第一台通用程控计算机， 他每秒可能可以做一次手术。然后30年后，以同样的价格， 每秒能够执行一百万次操作，而今天我们几乎还没有 每秒十亿亿条指令并且以相同的价格以相同的价格但是 今天的机器人 今天的机器人 他们并不比以前的机器人好一百万倍 [00:15:04] 我们 30 年前就有了，例如，25 年前我们就已经有了行走机器人 他们必须比今天的机器人走得更小心，嗯你知道方位角 日本的机器人 当时日本拥有世界上一半以上的机器人，他们总是不得不保留 他们的重心在脚上方，所以它不像现代动力那么先进 走路之类的，但它比今天的机器人差一点，但不是一百万的事实 你知道可能是三倍或类似的因素所以硬件硬件巨大 人造手，我们正在尝试为人形机器人建造的人造身体等等 它们的发展速度比每美元的计算速度要慢得多 [00:16:01] 我认为这是主要问题。 所以早在 20 年前，我们就有了小机器人，像婴儿一样的机器人， iCub机器人，当时是由意大利北部的一个实验室建造的， 看起来像个婴儿。 然后它发明了自己发明的实验，
Alex Kantrowitz： 设定自己的目标，试图弄清楚世界是如何运作的 [00:16:28] 并以分层的方式做到这一点等等。
Jürgen Schmidhuber： 但是，但是，在进行了三个自己发明的实验之后，某个手指上的一些肌腱断裂了，你知道，必须有技术人员来修复它。 [00:16:34] 所以做这一切的成本太高了。
Alex Kantrowitz： 而我们真正需要的是能够与人手竞争的硬件。 [00:16:51] 但没有任何人类设计技术可以与这些手竞争。
Jürgen Schmidhuber： 这些手，他们有数以百万计的传感器和连接着的各种电缆 [00:17:02] 传感器到控制中心。而且我不知道将所有电缆放在哪里。如果我把它剪掉， 它开始自我修复。所以我的手和你的手，都是超级先进的技术。真的是
Alex Kantrowitz： 完全超出了人类使用传统机器人技术所能建造的范围。 [00:17:20] 所以我们还有很多东西，还有很长的路要走。
Jürgen Schmidhuber： 我仍然希望这会在我有生之年发生，实现我的预测 [00:17:39] 这是我在 70 年代十几岁的时候做的。 但显然，硬件的演变比 GPU 的演变要慢得多。 正确的。看来这方面还需要更多时间。 现在，向你提问。 [00:18:02]
Alex Kantrowitz： 您认为随着技术的不断进步，谁将获得最大的价值？ [00:18:04] 我认为这是您引用的一句话。
Jürgen Schmidhuber： 你说不是几家大公司就能主宰一切。 [00:18:14] 人工智能的最大利润或最大的暴利者将是小人物。 但如果你至少看看现在事情的发展方向，你就会发现这些大型实验室的估值将达到数万亿美元。 而他们周围的大型科技公司似乎正在攫取大部分经济价值。 而那个不言不语的小个子就像他们以前一样不确定。
Alex Kantrowitz： 那么您对此有何看法？ [00:18:44] 是的，我认为这只是当前泡沫的反映 我们在经济的某些方面拥有的。
Jürgen Schmidhuber： 因为如果你现在看看硅谷所有这些僵尸独角兽， [00:18:55] 有很多公司的官方估值超过十亿美元。 [00:19:01] 但如果他们在股票市场上，他们的价值可能只有2000万左右。 所以它们被称为僵尸独角兽。 如果你看看 Anthropic 和 OpenAI 这样最著名的公司，你就会知道，他们在这些东西上花了很多钱。 如果你看看谷歌和微软，你就会看到资本支出。 这直接影响他们的现金流。 显然，这并不影响这些公司的市盈率， 但这应该是因为曾经有一段时间谷歌和微软， 他们拥有大约 1000 亿美元的自由现金流， 但现在下降到200亿美元、100亿美元。 一些公司的现金流突然出现负100亿美元。 他们举债为数据中心的所有这些 GPU 提供资金， [00:20:00]
Alex Kantrowitz： 所以这些公司变得越来越像公用事业公司，对吧？ [00:20:05] 因为突然之间，这些以前灵活的软件公司可能只有一个 10 人的小团队来改进一些糟糕的操作系统，并将其推出给数十亿人，他们都使用自己的电脑、自己的智能手机来运行操作系统。
Jürgen Schmidhuber： 当然，同样的公司，他们必须考虑购买燃气轮机、投资核电站、承担债务、做电力公司、公用事业公司所做的所有事情。 [00:20:28] 现在考虑到每五年，计算机的价格每五年就会便宜十倍，这仍然是事实。 现在，如果您今天投资 10,000 亿美元用于数据中心的 GPU，这意味着五年内您将损失 9000 亿美元。 在不久的将来，有人会因为没有商业模式而损失 9000 亿美元。 [00:21:07] 没有人拥有可以弥补所有这些损失的商业模式。 你知道，没有一家公司有一种模式，因为每当有一个新的基准打破记录或其他东西，打破基准记录的语言模型可以做到这个或这个或其他什么，几个月后，开源中也会有同样的事情，你知道。
Jürgen Schmidhuber： 因此，压低价格的压力很大。 而且这些公司都没有模式。
Alex Kantrowitz： 因此，让我们稍等一下，直到这些万亿美元公司的强制 ETF 购买结束。 [00:21:43] 目前，我们有数万亿美元甚至更多的公司出现在股票市场上。
Jürgen Schmidhuber： 指数基金必须突然购买它们，因为纳斯达克和其他市场改变了规则。 [00:21:58] 因为通常你会等待一年左右，直到股市自己发现答案， [00:22:07]
Alex Kantrowitz： 这家公司的真正价值是什么。 [00:22:12] 但目前，这还没有完成。
Jürgen Schmidhuber： 所以突然之间，ETF、养老基金和每个人都必须购买它。 [00:22:18]
Alex Kantrowitz： 一旦结束，让我们看看当创始人试图出售他们的股份时会发生什么。 [00:22:23] 因此，如果我们没有看到股市出现一些巨大的波动，那才是令人惊讶的。 价格。
Jürgen Schmidhuber： 是的，那么你对这个小家伙最终会在哪里然后这个小家伙会在哪里的愿景是什么呢？ [00:22:36] 从长远来看，小人物将会获利，所以目前大公司和每个人 说哦，大公司他们疯狂盈利，但看看他们的现金流是真的吗？ 他们像这样下跌，看看他们的债务比率，他们已经停止回购自己的股票
Alex Kantrowitz： 因为他们不再有足够的现金，所以呃同时这个小家伙必须做什么 [00:22:58] 你要做的就是等一下，因为每五年电脑就会便宜 10 倍 [00:23:04] 这意味着 10 年后你可以用百分之一的价格购买同样的东西 就像你知道的智能手机一样，我经常讲述我认识的有钱人的故事 在 80 年代，他有一辆保时捷，他很富有，他有一辆保时捷，但最令人惊奇的是 保时捷里有一部手机。你知道，他可以拿起听筒并通过 卫星发送给另一个拥有类似保时捷的人。 40 年后的今天，每个人都在发展 国家拥有一部智能手机，其功能比他在保时捷中的智能手机强大得多。 所以这个小家伙几乎不需要为他在那里拥有的一切付出任何代价，这真的很昂贵。
Jürgen Schmidhuber： 同样的事情也会发生在人工智能身上，很快人工智能就不会出现在云端了，你知道的 [00:23:58]
Alex Kantrowitz： 不，它将位于您的本地计算机上，一台小型计算机，它将与现有的计算机一样强大 [00:24:04] 现在在云端，但您不必将其连接到互联网，这总是令人担忧的事情 你知道，谁知道谁在外面等着你联系，嗯，然后甚至 我认为，穷人会有很多人工智能，还有物理人工智能，但目前，尤其是 软件人工智能将使他的生活更长、更轻松、更健康。而他将拥有 他们。他不需要付钱给其他人。我喜欢那样的未来。好吧，我们先休息一下吧。 另一方面，谈谈人工智能的身心理论 人工智能是否能感觉到疼痛以及我们是否有自由意志。
Jürgen Schmidhuber： 所以很多这样的事情都会在这之后出现。 [00:24:54] 大家好。亚历克斯·坎特罗维茨在这里。 我想告诉你我用《重力》制作的一部纪录片 探索人工智能代理安全的未来。 [00:25:01] 为了了解我们是否真正为自主代理做好准备， 我和麻省理工学院教授 Ramesh Raskar 坐下来， 前白宫首席信息官特蕾莎佩顿， 米其林集团首席数据和人工智能官 Ambika Rajagopal， 以及阿里巴巴前高管莎朗·盖伊(Sharon Guy)。 他们每个人都对这一不断变化的景观提供了独特的见解。 最后，我们与 Gravity 首席执行官 Rory Blundell 讨论了前进的道路。 在 Gravity 的引领下，加入我们的旅程吧。 您可以通过演出笔记中的链接观看完整的纪录片。 我们又回到尤尔根·施密特·胡贝尔教授的大型科技播客节目中 教授让我问你这个关于呃 ais 的问题，因为我认为你在我们之前的文章中建议过这个 呃，在我们谈话的开始，嗯，人工智能可能会感到疼痛 也许如果他们无法实现我们为他们设定的目标， [00:26:04] 或者也许这实际上可以融入到模型的体验中。 我很好奇你是否认为那还很遥远
Alex Kantrowitz： 人工智能可以体验到类似于人类疼痛的感觉 [00:26:19] 例如，当他们被安排去执行一项任务时 并且不要按照他们指示的方式完成它。
Jürgen Schmidhuber： 我一直认为很有趣的是，许多人声称，甚至计算机科学家也声称，人工智能无法感受到疼痛，因为我们的人工智能至少从 1990 年以来就已经感受到了疼痛。 [00:26:32]
Alex Kantrowitz： 那么当我们构建代理人工智能时我们该怎么做呢？ [00:26:46] 人工神经网络产生改变世界的动作，然后从环境中输入新的输入。
Jürgen Schmidhuber： 再说一遍，有一个动作等等。 [00:26:58]
Alex Kantrowitz： 代理（神经网络）会记住之前发生的事情 [00:27:00] 并试图弄清楚如何行事以使所有奖励信号的总和最大化 并且所有疼痛信号的总和被最小化。 那么这些疼痛信号呢？ 疼痛信号是最自然的事情，因为每当我们拥有机器人时，我们都会给它疼痛传感器。 为什么？ 因为它是一个学习机器人，所以这个学习机器人需要某种 学习保护自己的动机，因此每当机器人撞到物体时 障碍物然后你就知道相应的疼痛传感器被唤醒并呈负数 数字是机器人大脑的特殊输入，然后机器人就会看到 这些传入的负数，它被连接起来以避免这种情况，所以它试图学习 生成避免疼痛的动作序列，并尝试学习生成动作序列 [00:28:03] 这导致了有益的事件，也许机器人在某个地方有一个充电站，每当 电池电量低负数来自电池饥饿疼痛饥饿，然后 机器人的目标是在不撞到障碍物的情况下到达充电站并坐下 在那里，你知道并享受快乐，只是正数，因为电池正在充电 所以，最自然的事情就是给这些机器人这样简单的情感。
Jürgen Schmidhuber： 现在，情绪和痛苦只是学习过程中的关键组成部分， [00:28:51] 因为学习是为机器人创造更好的行为。
Alex Kantrowitz： 所以机器人必须知道什么对它有好处，什么对它不好。 [00:29:04] 因此，疼痛信号只是告知机器人应该避免什么。 疼痛只是大自然和进化生物的发明， 发明了这种用于动物的疼痛传感器， 这样他们就有动力学会避免痛苦。
Jürgen Schmidhuber： 我们在学习机器上已经做了很多很多年了。 [00:29:34]
Alex Kantrowitz： 现在，正在发生的事情是，这些学习机器，他们有预测未来的世界模型，不仅仅是不久的将来，你知道，不仅仅是我现在用手触摸烤箱或其他东西时会感觉到的即时疼痛信号。 [00:29:39] 不，他们还试图预测所有这些未来疼痛信号的总和。 这就是强化学习机器的作用。 [00:30:02] 因此，他们展望未来。
Jürgen Schmidhuber： 因此，立即有这种次要情绪，这不仅仅是当前 [00:30:10] 时刻，但现在正在向前看。 例如，也许有一个坏人，有时会走进房间敲门 头上的小机器人。因此，随着时间的推移，机器人将学习到，如果它有一个强化 船上的学习机器，以及预测和学习预测的野生模型。然后随着时间的推移 它将能够区分坏人和友好的人。然后每当坏人 再次出现，我在那里，它确实进行人脸识别。然后它预测很快 如果它不隐藏在窗帘后面，它会感到疼痛。所以它会很快尝试隐藏 在窗帘后面。现在你作为一个外部观察者会说，看，小机器人很害怕。 [00:31:01] 它有害怕的情绪。但这只是传统方法最微不足道的副作用， 机器学习，你知道的。所以，是的，我们的机器人已经有各种各样的情绪， 他们已经有几十年了，然后我们也有这些高层次的情绪，不仅仅是 关于当前时刻不，他们正在向前看，你知道，然后当然，如果你带来 几个机器人或类似的代理一起，你立即得到的东西，让人联想到 你知道喜欢其他机器人或爱他们可能是因为如果你给他们一个任务 或者他们可以共同解决的一系列任务， 但其中一个不能单独解决它们， 那么他们就必须学会一起工作。 当然，突然之间，他们每个人都有动力去帮助对方。 [00:32:01] 他们每个人都有动力去帮助对方， 特别是当对方生病或出现问题时， 帮助他，照顾他。 以及人类可能称之为爱的极端形式。 在这样的机器人或代理人的社会中， 这只是所有这些小家伙的个人利己主义的自然副产品 他们都想尽量减少他们的一些疼痛传感器，传感器信号， 并最大限度地利用他们的一些快乐信号。
Alex Kantrowitz： 所以利他主义，你所谓的利他主义， [00:32:40] 只是学习主体的利己主义的自然结果。
Jürgen Schmidhuber： 所以我认为反驳的论点是，它不能像人类感觉疼痛的方式那样疼痛， [00:32:51] 因为人类是有意识的，所以人类有一个发送身体疼痛信号的神经系统 大脑并记录为真正的疼痛，而机器人则是，争论的焦点是机器人 [00:33:04]
Alex Kantrowitz： 无情，无意识，实际上与计算器没有什么不同。您会如何回应 [00:33:11] 你如何评估某人是否感到疼痛或害怕 它的行为？如果它看起来像一只可爱的小机器猫什么的，它已经学会了隐藏 每当坏人进来并试图敲门时，你会说 显然，这只小机器猫害怕害怕恐惧和呃的情绪，你还有什么 想要这样做，没有办法客观地看到呃情绪之间的差异 奖励最大化的生物大脑和奖励最大化的人工大脑的情绪。 [00:34:02]
Jürgen Schmidhuber： 但我们确实有，例如，你谈到了爱情。我们有与之相关的化学物质 [00:34:11] 爱的感觉，比如催产素。所以机器人没有这些化学物质。因此， 论点是，这是一种完全不同的感觉，你永远无法比较
Alex Kantrowitz：至于爱，你怎么看？当然，大脑用来编码恐惧、爱或其他状态的化学物质，与我们在人工大脑中使用的东西不同。但原则必须相同，因为关键在于实现智能行为，也就是找到更好的方法来实现目标。对人类来说，主要目标是避开疼痛和饥饿信号，并获得有益信号；生物进化把这些目标编码进动物和人的效用函数，我们也会以相似形式把目标编码进学习主体，让它们最大化回报、最小化痛苦。意识也是一个有趣的话题。我最近和杰弗里·辛顿教授谈过。通常人们认为，大型语言模型只是随机鹦鹉，是统计预测机器，因此没有意识。但你一直认为它们在某种意义上是有意识的，你是怎么得出这个结论的？
Jürgen Schmidhuber：今天的大型语言模型主要根据前文预测下一个词元。我认为它们本身过于简单，不具备发展意识的动机。它们看起来有意识，是因为它们读过所有关于意识、爱、痛苦、冲突以及网络上对人类重要的文字；与它们聊天时，它们很容易复述包含“意识”的、非常有说服力的句子。但它们没有发展自我意识的动机。回到两个网络：一个是生成动作的控制器，动作会带来环境的新输入；另一个网络只预测这些变化。世界模型让主体能够通过心理模拟规划未来，而不必在现实中执行代价高昂的动作序列。没有人对意识有普遍接受的定义，但可以看一个简单例子：世界模型是一种深度神经网络，学会把见过的事物编码进神经元。经常出现的事物会形成内部抽象表征，例如人脸原型、特定人脸，以及眼镜探测器。控制器用世界模型模拟不同动作序列，选择预测回报最高、痛苦最低的方案；在此过程中，代表人脸、眼镜和主体自身的隐藏单元会被激活。主体规划时会思考自己，因此在这个意义上具有自我意识。它照镜子时会发现，镜中人的动作受自己控制；而房间另一侧的人做出无关反应，就无法预测。这里已经能看到主体性，以及自我主体性和他者主体性的区别。还有一点可追溯到 1991 年：有意识的内容会变成潜意识。开车走熟悉路线时，大部分过程都自动化了，注意力可以转向别处。1991 年，我设计了由两个网络组成的系统：一个“有意识的问题求解器”寻找尚未解决的规律；另一个网络模仿高层网络找到的解，将其自动化。[00:38:09][00:39:05][00:40:02][00:41:04][00:42:00][00:43:07]
Jürgen Schmidhuber：如今这叫把一个网络的行为蒸馏到另一个网络。低层网络是自动化器，把高层网络发现的内容自动化；高层网络仍在产生洞见，学会之后再把它们蒸馏下来。因此，意识的两个方面都存在：世界模型不仅预测世界，也预测与世界互动的主体，从而形成自我意识；同时，内部意识会关注仍未解决的问题，并把它们与已经解决的内容分开。[00:43:37][00:44:02]
Alex Kantrowitz：所以我认为，这两个方面在那些早期系统中都存在。[00:44:33]
Jürgen Schmidhuber：2016 年有杂志采访我，标题大意是“施密德胡伯称 AI 在 1991 年已经产生意识”。那指的就是这些早期系统。1991 年的系统很简单，不像今天这样令人印象深刻，因为当时计算成本比今天高一千万倍；我们只有很小的意识模块、潜意识自动化器和规划世界模型，系统里只有几百个权重，而人脑有数万亿条连接。但我认为原则完全相同。[00:44:49][00:45:04][00:46:00]
Alex Kantrowitz：随着机器越来越接近人脑，这会改变我们对“人是什么”的理解吗？[00:46:04]
Jürgen Schmidhuber：这会改变很多人对人类的看法，但不会太改变我的看法，因为这基本就是我几十年前说过的内容。很多人仍声称 AI 不可能拥有情绪。[00:46:32]
Jürgen Schmidhuber：他们会在事实发生几十年后改变看法，我对此很确定。很多时候这只是直接经验的问题。医疗中心里有一些可爱的小机器海豹；与这些毛茸茸的人造生物互动的人会对它们产生强烈依恋，喜欢和它们玩耍，尽管它们一点也不聪明，几乎不会学习。[00:47:02]
Alex Kantrowitz：如果这么简单的机器人都能唤起近似爱之类的感情，那么等到我们拥有真正令人信服、像小动物一样可爱的机器人时，可以想象会发生什么。[00:47:07]
Alex Kantrowitz：我想起引用过的《彭博》文章。文章问你是否认为我们生活在某种模拟中。你说这是对一切最简单的解释：人类被设定为追逐进步，会不断制造更强大的计算机，直到让自己过时，或者决定与智能机器融合。原话是：
Jürgen Schmidhuber：要么你变成与人类非常不同的东西，要么出于怀旧继续做人类；但那样一来，你不会是主要决策者，也不会参与塑造世界。[00:47:58][00:48:06]
Alex Kantrowitz：这些年过去了，你的观点是得到强化，还是发生了变化？[00:48:12]
Jürgen Schmidhuber：没有变化。几十年来，人们一直谈论把人类大脑或灵魂上传到计算机，在模拟天堂里生活，或放进能与现实世界互动的机器人。我认为第一篇这类科幻故事发表于 1964 年，讲的是有人把自己的意识上传到计算机。[00:48:24]
Alex Kantrowitz：那时用的是旋转磁带之类的设备，作品似乎叫《模拟人生 3》，作者是丹尼尔·F·加卢伊。现在没有物理学理由否定这种可能性。它目前还做不到，除非是苍蝇等简单动物；到 2024 年，可以说苍蝇的大脑或至少其行为模型已经被上传，模拟苍蝇的行为与真实苍蝇很相似。因此，没有明显理由认为我们不可能读取人脑的突触、理解不断改变突触的学习算法，再在计算机中复制出来。[00:48:56][00:49:03][00:50:05]
Jürgen Schmidhuber：这样，你的心智就能被上传，永远生活在可与真实宇宙接触的模拟宇宙中。假设上传后，你拥有一百万只眼睛、遍布星球的卫星眼睛，以及大得多的计算能力。你可以屈服于新生活的诱惑，变成完全不同的存在；也可以出于怀旧保留两只眼睛和小脑袋。但竞争者会忽略你，因为他们拥有许多新技能。[00:50:14][00:51:01][00:52:05]
Jürgen Schmidhuber：主要决策者会是这些扩展后的心智；它们还会与没有进化包袱、可能更适应未来需求的原生 AI 竞争。
Alex Kantrowitz：当 AI 从生物圈扩展到太空，几乎所有决策和塑造宇宙的事情都会由这些新生物完成，而不是类人生命。你会上传大脑并与 AI 融合吗？你要么怀旧而保持原样、最终变得无关紧要，要么成为不断壮大的 AI 社会的一部分。[00:52:50][00:53:20]
Jürgen Schmidhuber：我没有认真考虑过，因为那不是我的目标；我认为现在的这个自我在那里不会产生什么影响。[00:54:03]
Jürgen Schmidhuber：另一种可能是超级 AI，它会超越我现在拥有的小系统 10^20 倍，而且不会只有一个，而是有许多这样的存在，所以我认为这不会真正改变结果。[00:54:05]
Alex Kantrowitz：我能再问最后一个问题吗？[00:54:34]
Jürgen Schmidhuber：当然可以。我们正快速走向这样一个世界：大量智能被编码进机器，机器能根据它们对未来走向的判断进行预测和行动。[00:54:37]
Alex Kantrowitz：你现在以及未来还相信自由意志吗？当现实越来越多地由这些机器中介，而它们对事情走向有不错的判断时，还会存在自由意志吗？1997 年，我写过《计算机科学家眼中的生命、宇宙及一切》。[00:54:53][00:55:03]
Jürgen Schmidhuber：那篇论文试图寻找宇宙最简单的解释。物理学的圣杯，是找到一个最短的确定性程序，计算出我们观察到的一切，包括看似随机的量子事件和自旋测量。我们不知道宇宙历史的最短描述，但科学家一直在寻找更紧凑的描述。1997 年前几年我意识到，虽然不知道计算我们这个宇宙的最短算法，却知道一个计算所有可计算宇宙的超短算法：系统枚举所有程序，并最优地分配运行时间。如果我们的宇宙可计算，它就会被计算出来；没有物理证据反对这一可能性。这不只是可计算的概率分布，而是确定性可计算的宇宙历史；马库斯·胡特在 2000 年左右开发的 AIXI 模型，就是最优通用决策者。[00:55:19][00:56:03][00:56:49]
Alex Kantrowitz：没有证据表明情况不是这样。我们就是由这种方法产生的。计算我们的程序有很多，但最终会被能计算整个宇宙、包括这段对话的最短程序支配。你对我的声音信号作出反应，再用自己的声音回应，这看起来很像自由意志；但确定性宇宙的观点会说，一切都是确定的。[00:57:04]
Jürgen Schmidhuber：对我们来说，它可能像自由意志，但其实不是。即使在我们能运行的简单确定性模拟中，确定性神经网络也会在与其他模拟动物互动时作出决策、努力最大化回报，于是产生类似自由意志的效果。[00:58:03]
Alex Kantrowitz：它们只是学习更好地回应其他动物，所以乍看像有自由意志。但我可以完整重跑模拟的每个细节。它看起来像自由意志的决定，其实只是确定性宇宙的一部分；因此自由意志被高估了。如果自由意志被高估，既然一切在经历之前就已经铺陈好了，活着的意义是什么？[00:58:44][00:59:04]
Jürgen Schmidhuber：有一部关于这个问题的电影，叫《荒野生存》——不对，是《一条叫旺达的鱼》。[00:59:21]
Alex Kantrowitz：是关于鲸鱼的那部电影？等等，抱歉，这和问题有什么关系？[00:59:26]
Jürgen Schmidhuber：完全没有关系，我刚才只是随口编的。[00:59:34]
Alex Kantrowitz：教授，和你交流很愉快。这次对话来之不易，希望很快还能再聊。
Jürgen Schmidhuber：亚历克斯，我也很荣幸。谢谢。
Alex Kantrowitz：谢谢大家收听和观看。我们下期《大科技播客》再见。