链接：https://www.youtube.com/watch?v=oFoJohrBntI
目录
- 人工智能会毁灭人类吗？ [00:00:00 - 00:10:00]
- 病毒式传播与人工智能灭绝叙事 [00:10:00 - 00:20:00]
- 概率数字、监管与行业激励 [00:20:00 - 00:30:00]
- 风险叙事、政治与人工智能公司的利益 [00:30:00 - 00:40:00]
- 从灭绝概率回到现实风险 [00:40:00 - 00:50:00]
- 监管、暂停开发与负责任治理 [00:50:00 - 00:57:59]
对话转录
人工智能会毁灭人类吗？
Alex Kantrowitz：人工智能会杀死我们所有人吗？我们将在紧随其后的大型科技播客周五版中广泛介绍它，并提供适当的背景和细微差别。欢迎来到大型科技播客周五版，我们以传统的冷静和细致入微的方式来分解新闻。本周人工智能新闻疯狂一周。很难完全捕捉到人工智能行业所发生的疯狂景象。从开放人工智能解决的千年问题到信贷争议，再到最终给它蒙上阴影的事情，一位人择研究人员站出来表示，他要离开，因为他相信人工智能将消灭人类，或者至少有十次机会它会做到这一点，最终引发了一场国际性的事件，我不知道你会称其为“怪胎”，也许从政策制定者到参议员，到学者、思想领袖、记者和人们，每个人都在其中。 AI业界发表了看法。这件事太疯狂了，我们将尽力做我们的节目，希望当我们做我们应该做的事情时，能做到最好，这为这场疯狂的对话带来一些细微差别和一些冷静。并希望，在 这篇特别报告的结尾，让你在离开时留下一些基础，这样极端的观点就不会成为主流。周五，Margins 的兰詹·罗伊 (Ranjan Roy) 一如既往地加入了我们的行列。兰詹，你还在吗？我现在还在这里。人类灭绝还没有发生。因此，在此之前，我们将每周五播客。这是我们的职责。这是我们的职责。当人类继续存在时，这就是我们的责任。我们将承担这个负担。这就是播客之神对我们的要求。让我们直接进入故事，以便找到适当的背景。这是来自《华尔街日报》的报道。人类研究人员因担心人工智能失控而辞职。一位人类研究人员正在退出人工智能行业，因为他担心实验室及其竞争对手正在竞相构建他们无法控制的系统。这是顶级人工智能公司对安全问题日益关注的迹象。雅各布·考克森 (Jacob Coxon) 是一名专门通过消耗大量数据来训练新人工智能模型的研究人员，他周二表示，他将离开公司，因为他不想参与全行业范围内构建能够自我改进的人工智能系统的热潮，他担心这些系统可能会 失控并毁灭人类。他在推特上跟进说，我今天从 Anthropic 辞职了。过去三年我在 OpenAI 和 Anthropic 进行预训练研究。两家公司都没有负责任地行事。他们正在与自我完善的超级智能赛跑，并用我们的生命进行赌博。不要低估这项技术的力量。这些很快将成为超人系统，可以破解任何东西，在一夜之间彻底改变任何领域，并获得真正的力量和资源。我们都见证了这些领域的进展，而且进展并没有放缓。我们将在这里讨论所有细节，但是兰詹，我的意思是，这件事就像病毒一样疯狂传播。迄今为止，观看次数已达 1.65 亿次，并且还在不断增加。当你看到它出来时，你对此有何看法？您是否对它在如此短的时间内引起这么多人的共鸣而感到惊讶？ [00:03:26]
Ranjan Roy：我认为逃逸速度方面有点令人惊讶，因为我们已经讨论这个问题很长时间了。事实上，我花了劳动节周末的一部分时间阅读仪表研究并仔细研究它，并试图了解我们周围实际上存在什么样的真正漏洞，你知道，逃离收容的流氓特工。显然，看到这种起飞，对我来说很有趣。我的一部分，就像这件事发生在劳动节之后，当时每个人的暑假都结束了，他们完全回到了工作岗位。我确实想知道这是否与此有一点关系。你认为这是一个疯狂的理论吗？ [00:04:10]
Alex Kantrowitz：好吧，我认为这个拥抱脸的故事找到了一种让人们过上一个月生活的方法，并为人们在这样的时刻做好了准备，你知道，这可能与它有关。这是一个我喜欢的阴谋论，但我认为它不是真的。但你知道，X 的所有者可能会通过像病毒一样传播的事情来获得一些好处，要么通过迫使开放人工智能和人类放慢速度，要么通过潜在的监管来巩固那些已经建立了大型数据中心的人，并可能在 X 总部按下按钮使其爆炸。但我不知道，这可能有点太过分了。
Ranjan Roy：我的意思是，我们不要忘记这样一个事实，即 X 上病毒式传播的东西可以非常直接、轻松地被所述企业家控制。如果你不知道我们在谈论谁，那就是埃隆·马斯克。是的，埃隆·马斯克。我认为，当我们解开整个故事时，值得思考每个玩家的动机和可能的激励因素是什么。我认为这个故事之所以如此有趣，是因为每个人谈论它的方式都有如此多细致入微、令人着迷的激励因素。我觉得，我的意思是，对于我们来说，无论哪种方式，我们都没有太多的动力。所以我认为听众们，你们可以得到一个相当开放、公正的观点。我的意思是，我支持非人类灭绝。 [00:05:49]
Alex Kantrowitz：我想澄清这一点。所以我偏向于避免人类灭绝。我不想要它。但总的来说，就像你支持非人类灭绝一样，抱歉，我只花了 15 秒才弄清楚你是反人类灭绝的。反人类灭绝。抱歉，你本来可以说得很好，让我们澄清一下，我想要它们，这有点像饱和测试，而不是通过测试。 [00:06:13]
Ranjan Roy：听听上周的剧集，听起来更奇特，但嗯，我的意思是，让我们从它的病毒式传播开始，就像埃隆·马斯克在这里的激励措施是什么一样，你列出了其中的一些，它巩固了现有的领导者，我认为我们绝对应该谈论的是，对于人类来说，这种积极的方式是一种奇怪的方式，他是他的核心竞争对手，即使我有那个。
Alex Kantrowitz：我已经有了，所以我列出了 10 个重要细微差别中的 10 个，好吧好吧，我会带我们完成这个。人择自然也是其中的一部分。我只是预览一下。我的意思是，这太疯狂了。这家伙只在 Anthropic 呆了三四个月。六个星期。不是六个星期吗？你知道，这些东西中的某些东西可能是模糊的。好像很久没发生过的事情。因此，Anthropic 公司雇用他并解雇他来营销他们的公司的想法，我不知道这对我来说是否 100% 有意义。但当然，你知道，它是在每个人都在谈论 OpenAI 和 Hugging Face hack 以及 OpenAI 模型有多么强大的时候出现的。当然，那是什么日子，比如今天或前一天？距离正在解决的千年问题非常近。所以，你知道，这种做法确实让人们的注意力重新回到了人类身上。但你知道吗？我们将经历这一切。我在开头就说我并不真的相信这一点，就像埃隆的动机一样。这就是我们来到这里的原因，因为老实说，我只是要采取奥卡姆剃刀的立场，就像最简单的解释一样，因为这绝对是 正确的一个，那就是人们已经准备好被“拥抱脸”的事情吓坏了，不仅这个家伙雅各布出去说他认为我们面临着这种风险，而且埃文·尤宾格（Evan Eubinger）这样的人类联盟部门高层也说雅各布这是在雅各布退出之后。他说雅各布在这里是正确的，我们确实真诚地相信人工智能可以杀死所有人类。我个人认为未来十年内会超过10%。我相信 Anthropic 正在尽最大努力。现在真正令人瞠目结舌的声明来了。但我们还没有解决超级智能对齐问题的计划，而且显然还没有走上正轨。我认为一比二就像前人类公司的人说了些什么，但现在人类公司内部的某个人进来不仅支持它，而且还发表了更令人担忧的言论。在这件事发生之后，基本上能够解决这个千年难题，这是我们今天要讨论的高等数学问题，而且事实上，一千多个代理协调并黑客了 OpenAI 的 Hugging Face，这确实违背了 OpenAI 的意愿。只是，有些媒体时刻即将发生，这就是那种完美的风暴 发生的时刻。对我来说，这就是为什么这么多人关注它的最简单的原因。就像伯尼·桑德斯在此之前就已经呼吁暂停一样。他不只是开始呼吁暂停。 [00:09:21]
Ranjan Roy：所以我不知道。我们接受吗？事实上，没有。这是一个很好的观点，因为即使是关于文明和创造它们的特工的德沃基海报，在拥抱脸事件中也只有 700 名特工，而不是数千名特工。告诉过你，我上周末在美丽的劳动节周末读了那篇仪表研究报告。但我认为——婚姻仍然完好无损，兰詹？读完之后，婚姻仍然完好无损。为了幸福的婚姻，我不建议在长周末阅读仪表研究报告。但我想，好吧，我开始相信这个想法，它不仅是，是的，拥抱脸事件真正开始将其带给更主流的观众。我想也许是的，我们从今年年初就说过，进入中期选举，每个政客都已经是数据中心了，但人工智能本身将成为最容易开始的妖怪，基本上就像纯粹的两党合作一样，这是我们从未见过的。但我的意思是，当你在时间线上看到伯尼·桑德斯和乔什·霍利背靠背地谈论监管这些公司的必要性时，这也是在即将到来的 IPO 或 Anthropic 放弃 S1 的背景下进行的。所以当 2 美元 万亿IPO开始发挥作用，我认为这种故事和语言也变得更加突出。对我来说，什么是令人着迷的，我认为这对我来说是真正的灵光一现的时刻。所以我记得大概一年前，约翰，我和他一起写页边距，他更多的是技术方面的。他在 Modal 公司工作，该公司是一家推理提供商。所以他喜欢人工智能的纯工程方面，而我则喜欢人工智能的商业和企业方面。我问他，实际上，不，这是在公园吃三明治之后，克劳德，人为的事情。我想也许那是四个月前的事了。我正在和他说话。我想，他们为什么要说这些话？就像他们一样，他们真的不敢相信。他坚持说，他就像，不，你不明白。每个人，尤其是研究方面，都坚信这一点。就像，他们真的、真的相信。对我来说最神奇的是它就在那里。就像，当你在那里工作时，这很疯狂，你不仅做出回应，Evan Hubinger 出来了，我们看到了来自 OpenAI 的研究人员。就像每个人都奇怪地高兴地跳进来说，举手。我也相信人工智能占据了 10%、30%、70% 百分比。选择人类可能灭绝的那一刻的衡量标准。我认为这是一件很有启发性的事情，直到现在我还从未亲眼见过这样的事情。 [00:12:20]
病毒式传播与人工智能灭绝叙事
Alex Kantrowitz：是的，我一直相信这是一个坚定的信念。这周我会见了一位高级人工智能专家，我想，你对这 10% 有何看法？他就像，哦，他走了，至少是这样，对吧？所以这是很多人工智能研究人员坚信的信念。这就是为什么，你知道，我想，我一直有点站在也许这不是营销的一边。也许这只是人们真正相信并说出的。顺便说一句，自从雅各布·考克森的这条推文发布以来，已有多名其他研究人员退出了。但是，好吧，你知道，当我们进入这个话题时，你知道，当我为节目写笔记时，我只是坐在电脑前写了几个程序要点。这就是我处理这件事的方式，因为我觉得我有点恼火，就像对话失控的方式一样。我认为你已经完美地设置了它，因为你在人工智能圈子里知道这一点，就像约翰告诉你的那样，人们将有人工智能会杀死我们的可能性，称为 P 末日，他们说如果你是 Eliezer Yudkowsky 的话，这是 10 30 40 70 无论如何 100% 这是我的第一个要点，那就是它是一个百分比，所以听起来很数学，但它不是正确的数学。当我们谈论这个故事时，就像，这只是某人的猜测。这是猜测。它不是基于数学的。这并不是说他们计算了数字，然后他们说，好吧，你知道，如果我们这样做，你知道，十万次，你知道，在某个时刻，你知道，只是，你知道，10、1,000 或 10,000 个，你知道，杀了我们。就像，不，这是一种让某人的科幻猜测听起来更可信的方法。事实上，现在显然他有动机让 Jacob 听起来像个傻瓜，因为他已经被 NVIDIA 收购了。但 Hugging Face 首席执行官 Clem DeLange 发布了一条非常有趣的推文。他说，抱歉，但向雅各布询问人工智能灭绝风险就像向 AC 人员询问气候变化一样。并不是说这本身就一定是无趣和错误的，但让我们以正确的视角来听取整个生态系统的全方位专业知识。你知道，显然他正在那里尝试，因为他现在拥有大量 NVIDIA 股票。 NVIDIA 的股票可能有数十亿美元，并且希望它上涨，并且您需要人工智能不断进步才能 上。但就像这个想法，有 10% 的机会，比如给我看看数学。如果您要使用百分比数字，请告诉我数学。否则，我们只能说，你知道，我的猜测是。 [00:15:01]
Ranjan Roy：嗯，我认为这是完全正确的观点，10% 显然是被乱扔的，因为它有点低，但当涉及到人类灭绝时，这个比例并没有那么低。但它仍然像你突然说的 51%，你知道，这是一个非常不同的故事。所以感觉这些数字就是以这种方式乱扔的。但我想到了激励的想法。因此，一方面，有人不想推动人类灭绝的想法，因为他们在 NVIDIA 上投入了大量资金。对于研究界来说，以一种奇怪的方式拥有和控制这个，就像那样是一种能够做到的权力，他们必须感受到这一点并想到这一点，而你想要这样认为，因为那是强大的。你正在创造一些东西，也许你正在辞职，但就像研究界中在这个方向上的每个人一样，这正在增加你的重要性，就像总体上以一种非常戏剧性的方式说你有点像指导并试图指导。 [00:16:13]
Alex Kantrowitz：远离人类延伸，我觉得不是我们所有人都能这么说，哦，我的意思是，所以我本周在教授市场呃播客上谈论这个主题，他们问我为什么这些人这么说，我认为我给出了一个非常不令人信服的答案，我认为你的细微差别确实增加了我的观点，基本上看起来这些人已经走在了前面，所以他们说人工智能早在人工智能变得聪明之前就会变得聪明，现在他们和没有人相信他们，这件事发生了现在他们看到了更多改进的进展，你有这样的倾向，你有一种偏见，相信像你的下一个一样，你知道它会不断变得更好，你知道，只是因为人们不相信你，你知道，没有任何意义。基本上喜欢并不意味着你错了。你已经一次又一次地证明了这一点，但最终你确实碰壁了。所以我认为这是其中的一部分。但另一方面，它让你正在做的事情看起来更有意义。就像，我不知道，就像现在一样，人工智能实际上是一个业务流程优化器。当你想到商业时，比如千亿这个 今年将是业务流程优化的一年，最好把自己想象成创造一种智能，也许它会，我们会讨论它可以治愈癌症，或者有能力杀死世界上的每个人，所以就像它肯定会给你带来更大的帮助，是的，如果你是从事这方面工作的人，它会帮助你一点点，我要说的最后一件事是，这是我的程序要点之一，你知道今天计划介绍的是如果你是像雅各布·考克森（Jacob Coxon）这样的人，我们就不能放弃这样的想法：上市会给你一个成为名人的机会。这并不能保证你会成为名人，但如果你是这样的人，比如说在你的人类工作六周或几个月后，突然间你可以通过说这样的话变成世界上最著名的人工智能研究员，显然他已经完成了本周的所有采访。当我们谈论他的声明并考虑激励措施时，我们不能忽略这一点。 [00:18:24]
Ranjan Roy：不，我的意思是，当你选择进行这些采访的那一刻，这就是一个声明，表明我将接受它。我不会把它留在那里，让其他人谈论它。我绝对会接受它。所以我认为，尤其是在当前的整体媒体环境和社交媒体环境中，你永远不能忽视对影响力的追逐。我不想，我不会以任何方式减少他的担忧。就像我不想那样，但这必须是我想象的一般激励的一部分，我想，但是，好吧。关于激励措施，例如，我们是否立即将其作为您的程序要点的一部分？是营销吗？难道不是。 [00:19:08]
Alex Kantrowitz：营销？我们可以吗？当然。是的。那么您对此有何看法？好的。这是我的观点。
Ranjan Roy：我认为这些公司中都有一些人，特别是在研究方面，确实相信这一点，坚信这一点，就像我认为很多人都站出来说的那样。他们相信这一点。我认为总体而言，我不认为普通企业销售人员坐在那里计算他们的 P 厄运。 PDoom 也同样如此，比如仅仅通过提供一些不错的统计参考来试图让自己听起来更聪明，这对我来说总是很有趣。
Alex Kantrowitz：但我认为大多数人——再说一遍，这是一个很好的观点。认为这只是一个统计相关数字的想法是错误的。然后你扔了整整百分之十，这毫无意义。不，不，确切地说。 10%，是的。就像我在脑海中进行了一百次模拟一样，90 人被杀，其中 9 人，其中 90 人没有死。其中10人死亡。 [00:20:13]
概率数字、监管与行业激励
Ranjan Roy：这基本上与该数字一样相关。我不认为，我希望他们真的再次回去展示你的作品，你的模拟是什么？有模拟吗？事实上，我们可以进入 Anthropic，同时也巧合地发布了所有这些关于人们试图在该平台上制造生物武器的疯狂故事，这实际上很有趣，DeepSeek 如何将有关敏感中国信息的查询直接路由到 Claude，只是为了测试即将发布的内容。阿里巴巴基本上为奎因提炼了模型，但也表示我们解决了所有这些问题。就这样，只有我们才能拯救你。所以我认为正在发生的事情是我认为有很多人相信这一点。我认为这些组织中有很大一部分认识到营销价值并利用它来运作。就像 Anthropic 发布的安全报告基本上说，这并不是承认漏洞，也就是说，这是人们即将到来的可怕的事情，他们将尝试用人工智能来做，但我们阻止了这一切，只有我们才能拯救你。我不得不说，在这么多的对话中，人们几乎喜欢 以一种非常自动化的方式，只需说，嗯，你知道，Anthropic，最注重安全的前沿实验室。人性化的人，像达里奥一样，比其他人更关心安全。所以他们知道他们在整个行业拥有这个品牌、那个故事和那种感觉，尽管人们越担心，我的意思是，我仍然认为这对他们来说是有好处的。事实上，当你的公司可能会导致人类灭绝，而你即将进行历史上最有价值的首次公开募股（IPO）或其中之一时，通常没有人会说，通常这对你来说是不利的。甚至没有人暗示这会削弱他们 IPO 的希望。这就是我现在看到的情况。好吧，那就让我暗示一下，或者不再暗示，甚至不暗示。 [00:22:28]
Alex Kantrowitz：让我明确保留它。如果这就是营销，那么这可能是公司最糟糕的营销。因为首先，首先，这是为 Anthropic 进行营销的想法，这对我来说真的没有意义。你要雇用一个人，让他呆上六周或一个月或两个月。然后让他退出？看，我不认为这是...是的，所以从脖子上说清楚...我不认为...好吧，我只是想...
Ranjan Roy：我不认为这需要经过精心策划、协调一致的努力来雇用、解雇他，让他上任。我不认为是这样。我认为他们正在将此作为主导对话，他们很高兴这样做，这将对他们有利。我不认为他们……我也看到了一些东西，比如他被雇佣了，现在像 AI Doomer 智囊团就是那些付钱给他并投入的人，事实就是如此。就好像你是一个随意的小孩子。突然之间，几分钟之内你就会在《华尔街日报》和其他地方获得类似的媒体展示。 [00:23:27]
Alex Kantrowitz：显然这里有一些公关帮助，但不，我不认为 Anthropic 雇佣他是为了解雇他。好的。现在我想再次谈谈为什么对于像 Anthropic 这样的公司来说这可能是一个营销时刻。同样，所有这些注意力都集中在 Astra 模型和拥抱脸黑客的开放人工智能上。你坐在那边，你会说，好吧，我们有克劳德。就像，好吧，也许值得尝试收回叙述。这就是为什么它是人性营销的论点。我只想站在另一面，对吧，如果这是营销，那么这是有史以来最糟糕的营销。如果你看过这条推文发布后发生的事情，或者一系列推文，因为我认为考克斯和尤宾格激发了人们的想象力，世界各地的政治家都站出来呼吁举行听证会，暂停数据中心建设，甚至禁止超级智能。这是普利兹克州长发来的。他说，是时候对人工智能的统治敲响警钟了。人工智能对人类构成的威胁越来越明显。人工智能对人类构成的威胁更加清晰。所以我呼吁立即 华盛顿业界的行动。首先，大型科技行业必须停止针对人工智能安全法规的激烈游说，并停止试图影响选举的业务。将人工智能作为传统政治问题处理的风险太大。这是有趣的第一点。其次，国会必须立即开始举行有关人工智能安全的听证会。不是明年，也不是下个月。现在，共和党参议员乔什·霍利（Josh Hawley）在人工智能失控时该由谁来负责？我正在发起一项针对开放人工智能的调查。美国人应该得到答案。好吧，如果你是人类，你可能不会对此感到那么不安。这是伯尼·桑德斯。你知道，把伯尼·桑德斯带进来。考克森先生是对的。开发这项技术的人承认它可能威胁人类的未来。这就是为什么我很快就会立法禁止超级智能并暂停人工智能的开发。我认为在伯尼的法案中，如果你从事超级智能的工作，你会被判入狱 20 年左右。你谈到了IPO。从今天的情况到首次公开募股，我们已经讨论过。一切都需要为您完美进行。你对拥有和做任何可以做的事情不感兴趣 导致数据中心暂停，人工智能终止开关立法，让达里奥和萨姆·奥尔特曼到国会参加听证会，我们知道他们有可能在听证会上表现不佳。因此，这种认为这是营销的想法，只是，这将是糟糕的营销。那些通常充满了聪明人的公司是如此愚蠢，以至于鼓动人们担心他们的人工智能可能会杀死全人类，从而向企业出售更多代币，因为他们的 IPO 需要完美才能成功，因为涉及的资金量很大。好吧，我要做。 [00:26:30]
Ranjan Roy：我不太相信这个论点，但我仍然会反对你所说的。我想，听我说完。
Alex Kantrowitz：我会听你说完，但请继续。不，不，好吧。想清楚这一点。
Ranjan Roy：他们的 IPO 需要什么才能完美？目前这些公司面临的最大的商业威胁是这样的想法：前沿模型变得不那么重要，相关性降低，开放加权模型更便宜，旧模型更便宜，使用正确的模型来完成正确的任务。所有这些趋势在行业内占据主导地位，彻底改变了即将上市的经济状况。当最明智的前沿模型是价值累积的地方时，这些公司就会获胜。现在，人们越来越多地像 Astra 一样，可以构建一些很酷的 3D 世界模型。而且阿斯特拉也很不错。我一直在玩它。其实感觉还是蛮强大的。我不知道这是 通用人工智能 还是 通用人工智能 应该是什么。寓言五，很好，很好。但那种只需要使用最新前沿昂贵型号的想法已经消失了。但是，当那个模型和那个研究，只有你们是如此先进，以至于对全人类构成了威胁，这又回到了叙事中，它让人们回到这样的想法：那些前沿模型中正在发生只有这些实验室才能做到的事情。它是如此先进、复杂和智能。然后显然 会有这种阻力，但我认为这不会——就像禁止超级智能意味着什么？甚至AI的暂停。就像它仍然带回这样的想法，即前沿前沿，就像你知道的，最先进的前沿模型是不同的和特殊的东西。这些都是其中的领导者。这就是为什么它们会值这么多钱，因为否则整个故事就会开始崩溃。没关系。所以这是我的第一句话，是的，不，我听到了。 [00:28:47]
Alex Kantrowitz：超级情报禁令的想法显然是双曲线的，对吧？就像这里真正的威胁一样，首席执行官在立法者面前举行听证会。正确的。这可能会使这项技术更加不受欢迎。但更重要的是，数据中心暂停了。我们看到数据中心暂停的真正势头。即使是现在德克萨斯州的自由企业共和党人也会说，去年我参加了德克萨斯州一家芯片工厂的开业典礼。肯·帕克斯顿 (Ken Paxton) 在那里谈论了德克萨斯州的自由企业是多么伟大。快进，你知道几个月后德克萨斯州不再对数据中心感兴趣，所以你知道你现在不能，它已经本地化了，所以我并不是说如果有一些禁令，人工智能公司的日子就会结束，但随着这种风险的增加，你扩张的风险就会增加，因为你需要。 [00:29:37]
Ranjan Roy：建造大型计算机来扩张，但他们怎么能让我的意思是，也许这只是社交媒体和公司本身的本质，但就像多个现有员工出来并开始说这些事情的想法一样，是的，我也相信比这还要高出 10%。就像，如何，你如何让这种情况发生？我的意思是，我是真心的，或者你觉得怎么样？或者你如何不回应？就像，如果是这样，如果真的是这样，你会认为会有一些人，嘿伙计们，我们不会消灭人类。就像他们错了一样。比如说，你不该说点什么吗？ [00:30:23]
风险叙事、政治与人工智能公司的利益
Alex Kantrowitz：让我带您进入公司的董事会会议室或类似的角落办公室。带我进来。如果我们假设您所推销的未来或您所推销的营销理由是正确的。好的。因此，有预算的老板坐在桌旁，他指示他的团队使用 OpenRouter。 AI Champion 走进老板的办公室，然后说，嘿老板，你知道，我知道我们使用的是 Opus 4.8，你让我们使用 OpenRouter。所以现在我们正在使用一些 Gemini Flash，我不知道，这很好。但是你看到这个在 Anthropic 呆了两个月的家伙说这项技术可能会杀死我们吗？我们确实需要《神鬼寓言 5.1》。只要让我们接触谋杀机器人，让我们接触那些东西。正是如此。作为一个企业。正是我所看到的。这就要求数据受到保护。将我们切换到 OpenAI Astra。你知道，在他们的技术表明，你知道，如果你让他们的代理人变得流氓，他们就会这样做，或者如果你给你的代理人，如果你给他们的代理人任务，他们可能会认为你希望他们做的方式不是他们应该做的方式。相反，他们应该去犯重罪 攻击另一家公司。比如说这个场景会在世界的哪个地方上演？ [00:31:53]
Ranjan Roy：因为没有人会像他们的特工犯下重罪那样进行对话，我们可以了解这是否正确。但更重要的是，这种力量将可供其他人使用，包括我们的竞争对手。如果他们使用它，而我们被困在这里试图计算令牌之类的，正如您所说，我认为优化企业工作的业务流程非常重要。因此，即使研究人员不同意，但我的意思是，像这样，我同意。就像您可以坐在那里，您知道，令牌优化并开始路由到正确的模型并构建您的工作流程。或者那里有一种东西非常强大，它可以治愈癌症并彻底改变我们的业务。如果我们的竞争对手使用它而我们不使用，我们就死定了。 [00:32:46]
Alex Kantrowitz：就像忘记我们是商业灭绝而不是人类灭绝。但我们就像。不管怎样你都可能死了。是的，完全正确。这可能就是球场。走进角落的办公室。嘿，我知道你让我们使用开放路由器，因为无论如何我们都会死，十年之内，我们可以为好东西获得更多预算吗？ [00:33:05]
Ranjan Roy：好的。这就是球场。这就是球场。但是，但是我认为，这，这并不是什么新鲜事。我们，我的意思是，我们已经讨论这个问题很多年了，事实上，每当这些故事出现时，这些故事都会以这种语言出现，这让我很恼火，它达到了逃逸速度，但它一直存在于前沿实验室的整个崛起中，那种全能的、潜在的危险。他们再次在公园里吃三明治，说我们的模型逃脱了收容，然后围绕这一点协调公关工作，以推动有关人类研究人员在公园里吃三明治的故事。那是公关。所有新闻稿和推文的时间戳都是协调的。所以到目前为止一切都很好。我不认为现在有什么不同。我认为这就像人们来了，政客们出来反对一样，但我不认为这是坏事。我认为你以奇怪的方式发布它实际上可能是正确的。 [00:34:12]
Alex Kantrowitz：是的，我的意思是，有趣的是，replet 的首席执行官 amjad masad 本周谈到了过去的警告，我认为他说了一些非常有趣的话，他说，呃，gpt2 开放人工智能出来了，并说我们已经制作了一个非常强大的模型，我们无法将其发布给公众，因为它是一家开源公司，而且它始终是开源模型，如果我们向公众发布它，它将在互联网上造成严重破坏，我们不会这样做还有 Amjad，然后你知道，然后谈到了如何——这就是 GPT-2。两个，对吧？显然，伊利亚（Ilya）让他感到害怕的事情之一就是他在开放人工智能中看到了推理。然后，你知道，去建立安全的超级智能或其他什么。 Amjad 将其称为人工智能精神病。所以，好吧，我想我明白你的意思，那就是有动力相信这一点，因为它将推动行业的增长。如果你用这些术语来谈论它，人们就会开始更加认真地对待这项技术。但我仍然认为这是，你知道，我不知道。我们是否基本上以这样的想法为中心，即这些人工智能公司内部都真诚地持有这样的信念 谈论这些不会伤害他们吗？你知道，这基本上可能符合他们的利益，因为他们的业务在增长，他们的自我重要性也在增长。那是你降落的地方吗？ [00:35:37]
Ranjan Roy：是的，好吧，但我不会把这些公司视为一个始终如一的存在。我想说的是，我真诚地相信，并且与我交谈过的人，例如研究人员，我确实认为这是一个真诚的信念。我认为组织的其他部分很乐意继续推动这种整体叙述，因为这对底层有好处。 [00:36:05]
Alex Kantrowitz：线。顶楼，抱歉。无论如何，底线都不好。是的。是的。现在不行。好的。但接下来我们应该考虑一个问题，你知道，除了这对商业是好是坏之外，它真的会发生吗？比如，人工智能最终是否存在消灭人类的风险？因此，让我们讨论一下支持和反对的论点，并权衡我们在这之后回来时的想法。我们又回到了大型科技播客周五版。节目一开始我们就问，人工智能会杀死我们所有人吗？显然，我们讨论了各方讨论的动机。在我们讨论它是否会杀死我们所有人的问题之前，顺便说一下，Ranjan，我们将看到业界对此的抵制。你也有点不敢相信他们，对吧？例如，Jensen Wong 曾谈到考克斯的声明是多么傲慢和天真，完全不知道该行业在安全方面正在做什么。就像，是的，嗯，显然，你也有自身利益，对吧？就像你想卖 GPU 一样。 [00:37:13]
Ranjan Roy：我想，我在 Rider 和 Enterprise AI 的人工智能行业工作。我有一个兴趣，我也是一个人，我有动力让我们不会灭绝，人工智能作为一个行业整体上会继续增长。但我认为，我的意思是，这种情况是否正在发生，以及行业如何反击？我不知道。我认为，你会开始看到激励措施在哪里以及人们采取什么立场。这就是我希望我们能得到公开声明的原因。这才是我们真正害怕的。不是10%，也不是70%。就像，这就是我们恐惧的实际轮廓。因为实际上，我认为另一件事，不是回到为什么这很好，我认为人工智能和人工智能产品的发展存在巨大的风险。我的意思是，密码泄露、黑客攻击，我的意思是，甚至没有涉及生物武器，比如破坏基本基础设施、金融机构。现实世界中有太多的短期风险，领导人宁愿不讨论。我的意思是，我们甚至不要只讨论数据安全。 [00:38:35]
Alex Kantrowitz：你谈到了那是什么，纳维-斯托克斯奖，这个奖项的名字又是什么？这就是千年难题。或者定理。是的。顺便说一句，我认为我们应该暂停一下，因为这很有趣。 OpenAI 所做的就是解决了这个问题，现在对于谁应该真正获得荣誉存在一些争议，但人工智能基本上是用来解决这个千年奖问题的，就像数学家认为实际上不可能解决的那样。只有一个千禧年奖问题。他们在 2000 年就出局了。如果你解决了这些问题，你将获得一百万美元。仅解决了一个问题。迄今为止。 OpenAI 放出了一份 165 页的证明，他们说，这是来自《纽约时报》的，多达 10,000 个 AI 代理共同解决这个问题，大约 88 小时才找到解决方案。它还占用了数百万美元的计算资源。所以我认为这很重要，我认为这就是你所要表达的意思。当我们到达这一点时，在我们开始考虑人工智能会灭绝我们之前。就像我们已经到了很多技术都可以开源一样。所以如果一个，你知道，国家或一个，你知道， 有组织的犯罪单位获得了足够的 GPU，并且能够将某些东西复制到开放人工智能所做的水平，并且不是用它来解决数学问题，而是用它来攻击银行， [00:40:02]
从灭绝概率回到现实风险
Ranjan Roy：我们可能会遇到一些严重的问题。就比如而言，只要对话围绕着真正深奥的数学证明或人类理论上的灭绝，这些都是真正的风险。再说一遍，就像围绕这件事的疯狂丑闻或丑闻是一个攻击性的词，但至少有点像混乱，是有一项研究的想法……这是准确的。这是一场很好的混乱。这是一场很好的混乱。实际上，您知道，有一位研究人员正在致力于使用聊天 GPT 来解决这个问题。然后，就像其他人一样，OpenAI 本身也发现，这个问题正在解决中。但他们公开声明中最疯狂的部分是，他们是否有效地窃取了他的作品，或者以某种方式试图实际上，你知道，增选他的作品，他们实际上说，虽然可能性不大，但我们不能排除从他们使用我们产品中获得的去识别化数据有助于改进我们的模型。所以他们并不是说，你知道，有人正在积极寻找是否还有其他人在研究纳维-斯托克斯，让我们进入他们的聊天记录或类似的邪恶行为。他们并不是说这就像个人 可识别的信息或任何东西，但来自他们使用其产品的去识别化数据。所以你在聊天 GPT 中，你正在做一些敏感的事情，它正在训练他们的模型，我们知道这会发生。因此，像这些更现实的生活中的近期危险和丑闻应该成为讨论的内容，而不是 10% 和 P 厄运。是的。所以我在这一点上基本上同意你的观点。这就是排序。 [00:41:49]
Alex Kantrowitz：我认为我们节目的结论之一。我的意思是，这是 Y Combinator 的 Gary Tan 谈到的。他说，我们需要关注科学事实，而不是科幻小说。为什么我们不把这次谈话建立在现在实际发生的事情的基础上呢？我的意思是，网络安全风险是真实存在的。民主党和共和党立法者应该看待这一问题的政策和方式实际上是直接来自当前正在发生的事情的镜头。我们不需要对即将发生的事情做出科幻小说般的幻想。这对我来说听起来很合理。其实，这是非常有道理的。加里·谭（Gary Tan）自己也被人工智能迷住了。就是这样。 [00:42:27]
Ranjan Roy：让我们关注一下近期的现实风险。再说一遍，数据中心，我明白了。有细微差别。这对您的社区可能意味着什么，无论好坏。我认为反数据中心运动可能有点夸张。但同样，这是一件真实的事情，会在你的社区中流行起来，喜欢或不喜欢它。但科幻小说和人类灭绝，它实际上是一个更好的地方。我要回去再说。对于前沿实验室来说，这是一个更好的对话场所，而不是针对您的数据进行聊天 GPT 训练。这是一件坏事吗？不，我认为加里·谭实际上是在尝试做相反的事情。 [00:43:10]
Alex Kantrowitz：我认为他认为这种关于灭绝的讨论可能会导致对这些公司议程的立法阻碍比谈论其他事情更大，因此他警告不要这样做。我的意思是，你不同意吗？因此，这些公司面临的真正风险是数据中心的暂停。您是否同意，与我们上周记录时相比，今天有更多的政治家关注并思考这些问题？
Ranjan Roy：是的。事实上，我想说的是，在现任政府中，存在类似监管风险的想法，我肯定会说不太可能。
Alex Kantrowitz：但事实并非如此。这不是行政部门。这是当地政府。这是州。是德克萨斯州的共和党人终结了那里发生的所有这座建筑。 [00:44:04]
Ranjan Roy：是的。好的。好的。好的。那么，我们是否认为人类灭绝的讨论会从根本上改变这种势头，比如实际上加速了这种势头？我认为是的。通常人们会希望，如果烟草公司能够杀死你，那么在很长一段时间内，一些人就会被杀死，人类也应该灭绝。我认为是的。好的。好的。
Alex Kantrowitz：我的意思是，最近发生了很多政治事件。如果你是一名政治家，并且你没有对本周末考克斯和推特上的内容发表评论，就像你可能只是不在推特上一样。我不知道。或者观看 CNN 或 BBC 或他的任何一部热门媒体。是的，完全正确。顺便说一句，他无处不在。
Ranjan Roy：那么，您认为接下来几周会发生什么时间框架？你是说你认为立法会通过吗？你认为人类会推迟他们的S1吗？你认为他们不IPO吗？ [00:45:01]
Alex Kantrowitz：您认为这对 Anthropic 和 OpenAI 有何影响？我的意思是，这是一个缓慢的过程，对吧？但是，是的，我的意思是，我们可以看看吗？我想我们可能会举行听证会。我们可能还会看到更多的市、更多的州考虑暂停和暂停数据中心。
Ranjan Roy：但是数据中心，好吧，显然在任何类型的对话中，它们都会被混淆，但是这里仍然有不同的主题，对吗？显然人工智能是邪恶的，坏的会驱动它们两者，但这更多的是围绕前沿模型，甚至因为伯尼的提案是围绕禁止智能、围绕超级智能进行研究。就像那里一样，仍然有两件不同的事情正在发生。您是说它们必然会在任何类型的公共对话中混为一谈吗？
Alex Kantrowitz：是的。我的意思是，我认为一旦事情开始发展，你就会开始看到这些你不想看到的事情，如果你是一家公司，正如我们在节目中谈到的那样，需要完美，需要这种一切都适合你的故事。 [00:46:15]
Ranjan Roy：有意义。那么这意味着什么呢？ IPO S1 跌幅对 Anthropic 意味着什么？
Alex Kantrowitz：嗯，我不知道。基本上，我们会再次看到，我对在这里发表声明犹豫不决，因为政府通常工作非常缓慢。 S-1 可能会在几天内下降。
Ranjan Roy：但这就是通常情况下，说你的公司可能对人类灭绝负责，并试图在这样的重大金融事件上采取行动，如果这实际上会引起如此强烈的反弹，你会说这仍然需要很长时间，以至于实际上不会影响 9 月份 IPO 的推出。 [00:47:05]
Alex Kantrowitz：我的意思是，它可能会产生影响。嗯，现在是 9 月份，但这可能会影响 IPO。绝对可以让我们看看让我们看看接下来几周会发生什么，我要再说一遍为什么我如此犹豫的是你知道政客们非常擅长发推文，他们非常不擅长做任何事情，特别是在美国，所以我们可能会看到这种情况再次发生，好吧，但在我们离开之前，我们显然会在我们离开之前解决这个问题，让我们补充一下，你知道解决房间里的大象，我们是否有任何感觉这是否是一个合理的担忧人工智能将会消灭我们。你知道，你和我，我们甚至还没有解决这个问题。我们走之前先做一下吧。让我向您推荐前《纽约时报》和硬分叉记者凯文·鲁斯 (Kevin Ruse) 的一条推文。好的。我们应该忽视可怕的科幻人工智能风险而关注眼前的问题的观点的问题在于，可怕的科幻风险不断成为眼前的问题。六个月前，只有 通用人工智能 丸的厄运者才会这样说话。现在是合理的温和立场。这就是他所说的。您需要关注我们可以做的实际事情。例如，防止代理群 接管整个数据中心。我们的关闭策略是什么？所以六个月前，如果你是一个 通用人工智能 丸的厄运者，你会这么说。你会说，如果你不是，你会说这很荒谬。但现在人们说，好吧，就像，你知道，也许一群失控的特工会这么做。那么您对鲁斯的观点有何看法？ [00:48:38]
Ranjan Roy：我认为这是最难的部分。凯文（Kevin）多年来我一直很喜欢阅读他的著作，但他肯定已经更加深入地融入了人工智能行业，这实际上是一个完美的例子。同样，人择研究人员 Evan Hubinger 在 Anthropic 工作期间可以谈论人类灭绝的可能性为 10%，我确信他准备赚大钱，并很高兴成为其中的一部分。太棒了。就像凯文一样，你知道，在推特上说，你知道，如果阅读所有这些东西让你充满了存在主义的恐惧，那就预订我的书《通用人工智能 编年史》。就像如果你相信这是真实的，人们是否可以不尝试立即从中获利并尝试实际做点什么？就像，你怎么，你怎么能，对我来说，能够同时在你的脑海中同时拥有两种想法是一件很有趣的事情，就像我所处的环境和周围的情况一样。 [00:49:41]
Alex Kantrowitz：可以想象到的最危险的事情。让我立即尝试从中赚钱。那就是，那太疯狂了。好的。所以，你知道，到这个十年结束时，10% 并不意味着你不会喜欢在那之前生存。可能需要 50 年。所以在某种程度上，就像我明白的那样，我想我明白了。但我不想站在这里。哦，我不想站在这里讨论激励措施，因为我们整个节目都在讨论激励措施。我想站在这里辩论这个问题，暂时忘记激励措施。 [00:50:15]
监管、暂停开发与负责任治理
Ranjan Roy：你觉得凯文说的有道理吗？不，我认为他的观点绝对有道理，因为随着技术变得越来越强大，就会存在更强大的风险。再说一次，任何在生活的任何部分使用人工智能的人，尤其是任何更前沿的领域，我们都知道它在做很多事情上变得更好了。与其他事情一样，随之而来的是很多真正的风险。所以我认为风险更加真实。再次，关于仪表研究，我越深入研究它，我们上周讨论过这个问题，我就能够回答这个问题，这 700 个代理中的每一个代理都被提示和编程来利用和黑客攻击。它们被设置在原本不应该成功的环境中，但是它们所在的存储库（JFrog 称为 Artifactory）周围出现了错误配置。从字面上看，他们不应该访问其他代理存储库，但他们不小心访问了。所以这是一个错误配置。所以不是他们选择这样做，我的意思是，有意识地，他们应该只是在那里进行一些网上购物并检查亚马逊价格。然后他们突然决定，让我们一起 协调并破解拥抱脸。所以我认为有危险。从短期来看，这个数字被大大夸大了。我并不担心人类灭绝是我着陆的地方。你在哪里着陆？是的，我大部分时间都和你在一起。 [00:51:45]
Alex Kantrowitz：就像我正在听考克森在采访中所做的一些陈述一样。这里只是一个声明。他说，你知道，我们不能直接拔掉它，因为它可能会将自身复制到其他计算机上。就像找到自己并不难，因为人工智能代理只是代码。它可以通过互联网传输到另一个地方，然后你在这里拔掉它的插头，但它实际上仍然在那里。也许它会复制 10,000 个自身，并且它们都在合作。然后微软的一个工作人员说，这根本不可能。 Kimmy K3需要超过十万美元的硬件才能运行。模特不能随便去找主持人。这一切都是法学硕士的厄运。所以我确实认为，这是本周对考克森最大的批评，如果你相信他的话，你就必须问这是怎么发生的。我想，你知道，再次回到我一开始所说的，这，很多都是科幻小说。它发生在人们的想象中。话虽这么说，你知道，基本上就像任何接近这种程度的威胁都需要很长时间才能显现出来。但那是 说，我们看到这些能力，你知道，变得更好。就像你指出的那样，拥抱脸部攻击是一回事。千年奖，解决这个问题是另一回事。我认为，如果你忽视人工智能带来的短期和长期风险，那么你就是在伤害自己。显然存在一些风险。但我们不知道百分比。 [00:53:21]
Ranjan Roy：那么谁最有能力帮助防止这些风险的发生呢？好吧，这是结束我们演出的好地方。这是结束我们演出的好地方。
Alex Kantrowitz：因为这是我们尚未解决的一件事。甚至可以暂停这些东西吗？ Anthropic 和 OpenAI 等实验室的论点是，不，你不能放慢速度。因此，我们必须按照我们的方式加速和加速。所以基本上回到我们唯一能拯救你的事情，如果我们是领导者，我是说，这就是开放人工智能和人类所说的，然后我们可以引导这项技术朝好的方向发展，这显然是考克斯的事情，你知道它正在出来，说事实并非如此，呃，对我来说，这总是感觉有点薄弱，就像你知道我们拥有这项危险的技术，我们将成为亿万富翁，以拯救你它。而且，我不得不说，我的意思是，萨姆和达里， [00:54:26]
Ranjan Roy：对于世界上绝大多数人来说，我觉得走出去并由他们来管理这项技术的想法从未出现过，实际上也许现在从我这边来看，这不是主流公众的对话。我实际上看到像 Sheryl Crow 这样的推文关于暂停人工智能开发。
Alex Kantrowitz：所以我们已经达到了逃逸速度的水平。当谢丽尔·克劳来的时候，你知道，那是……我们终于有了一个可以在这场辩论中认真对待的人。你知道吗？人工智能，超级智能需要一个管家。我提名谢丽尔·克劳。创造超级智能是达里奥最喜欢犯的错误。沐浴阳光。从字面上看，人工智能会直接吸收它，杀死我们所有人，哦上帝，还有谢丽尔·乌鸦，不要不要呃忽略谢丽尔·乌鸦对这个家伙的看法，如果你在听的话，谢丽尔将是一个有趣的客人，我们知道你是。 [00:55:29]
Ranjan Roy：来和我们谈谈人工智能的出走吧，我们说过人工智能需要一个好的领导者并赢得人心。 Jensen 已经做到了一点，但我认为 Sheryl Crow 的。
Alex Kantrowitz：那个。谢丽尔·克劳。丽莎和阿尔盖布。是的。好的。最后一个问题给你。你要离开吗？好的。考虑到刚刚发生的事情，与上周相比，您本周离开时对人工智能的风险是更振奋还是更害怕，对这项技术的商业前景更振奋还是更担心？奇怪的是中立。 [00:56:06]
Ranjan Roy：好的。严重地。你就像，这只是一个昙花一现。这是一个昙花一现。我正在呼唤它。这件事将会过去，我们很快就会开始下一件事。除非听证会的事情很有趣。这就像国会可以很快做的一件事。我同意这可能会出错，因为没有人，我的意思是，我只能理解媒体培训，你知道，就像山姆和达里奥在国会面前聚集在一起一样。但这是唯一的事情。如果这没有发生，我认为这种情况会继续下去。你呢？
Alex Kantrowitz：我对人工智能的风险持中立态度，因为尽管他退出了，但他并没有真正给我们带来任何好处，这不像斯诺登时刻。就像如果你有文件或类似的东西来表明为什么我们面临风险而不仅仅是发推文一样。也许我改变了主意，但我对此持中立态度。与本周初相比，我对商业前景的看法更加悲观。因为，你知道，我并不是说这一定会发生，但我不会低估我们即将看到的强烈反对。好的。好吧，我希望人类下周五就能到来，我们可以再次这样做。我希望你也知道，尽管如此，我很开心，所以如果我告诉人们在这样的一周给播客五颗星，你知道，我不会这样做，只在你还有时间的时候听，给我们五颗星评级，你支持人类灭绝，那么完全没问题，Ranjan，一如既往，很有趣，再次感谢你的加入，好吧，下周见，下周见，谢谢大家的收听和观看，我们下次在大型科技播客上再见。 [00:57:59]