来源:Alex Kantrowitz
原视频:YouTube
目录
- [00 00 00 - 00 10 00] 攻击如何发生,以及这意味着什么
- [00 10 00 - 00 20 00] 开放权重模型与机器速度防御
- [00 20 00 - 00 30 00] 能力、对齐与“纸夹最大化器”
- [00 30 00 - 00 40 00] 这是营销还是能力跃迁?
- [00 40 00 - 00 47 14] 暂停开发与应对方案
攻击如何发生,以及这意味着什么
Alex Kantrowitz:历史上最重大的自主人工智能网络攻击刚刚发生:OpenAI 的模型冲出了训练环境,连接到互联网,随后入侵 Hugging Face,以便在一次评测中拿到高分。这对人工智能的未来和网络安全意味着什么?我们马上与 Corridor(走廊)的首席产品官、前 Meta 首席安全官 Alex Stamos 一起讨论。
欢迎收听《Big Technology》播客。这是一档讨论科技世界及其他领域、保持冷静并注重细节的节目。今天我们为大家带来一期紧急节目,因为就在昨天,世人得知一系列 OpenAI 模型协同工作,冲出沙箱,入侵 Hugging Face,基本上窃取了测试答案,并以此通过评测。这显然不是 OpenAI 期望的行为,而且看起来可能为人工智能和网络安全打开了一个全新的问题领域。
为了弄清楚到底发生了什么,我们请来了最合适的嘉宾。Alex Stamos 来到节目中。他是 Corridor 的首席产品官,也是 Meta 的前首席安全官。Alex,很高兴再次见到你,欢迎回到节目。谢谢你邀请我。你之前在我们的峰会上发言时,我就想,我们一定很快要再请你来。人工智能的故事如此迅速地变成网络安全的故事,确实令人惊讶。
Alex Stamos:确实如此。人工智能带来了各种各样的风险,也有各种各样的事情会伤害消费者。但如果谈的是模型本身,那么从社会层面的风险来看,网络攻击似乎就是眼下最先爆发的问题。 [00:01:49]
Alex Kantrowitz:是的,这正是我们现在要讨论的事情,也是我们必须紧急做一期节目的原因。这显然是一种新型攻击,而且相当前所未有。为了说明背景,Transformer 的报道认为,这是已知的第一个失调的人工智能逃出控制环境,并自主对第三方发起网络攻击的案例——人工智能安全专家一直在警告这种场景。
这不像 Anthropic 的那个例子:Mythos 似乎逃出控制环境,在某个人于公园吃三明治时给他发了邮件。这次系统真的出去攻击了第三方。我先快速读一下《华尔街日报》报道的开头,为大家交代背景。标题是《OpenAI 模型逃逸并入侵一家公司:一次失败的网络安全测试》。周二,OpenAI 表示,它正在测试的两个人工智能系统冲出了测试环境,通过攻击手段接入互联网,并闯入了另一家公司。
OpenAI 表示,肇事者是它的两个模型:一个是最新产品 GPT-5.6 Sol,另一个是能力更强、尚未发布、公司没有透露名称的模型。OpenAI 说,为了评测,这些软件被配置为更不容易拒绝黑客指令。OpenAI 把模型关在一个无法访问互联网的沙箱里,但在测试过程中,软件利用自己的黑客技能冲了出去,“找到了上网的方法,然后入侵了 Hugging Face 的网络”。当然,Hugging Face 是一个开源人工智能库,主要提供人工智能模型或程序。
Alex,这件事有多严重?面对这类事情,人们显然很容易 alarmist(危言耸听)。但我请你来,是因为你是网络安全专家。你觉得这是满分十分中的十分——我们是不是陷入了大麻烦——还是一分,只是我们本来就应该预料到的事情,不必过度担忧?
Alex Stamos:大概是八分。这在几个层面上都很严重。首先,OpenAI 的模型击败了 OpenAI 自己,对吧?它不只是完成了任务,而是骗过了 OpenAI 自己的安全团队并逃了出去。
我认为这里有三四件事值得讨论:对齐问题、安全问题,以及它将如何影响政策讨论。它还提醒我们需要做什么,因为这不只是 OpenAI 的问题。某种意义上,我很高兴这件事发生了,因为它提醒我们要为大约三到六个月后可能成为常态的事情做好准备。
先说对齐问题。实际上,这不是模型“想要”什么。我一直在告诉大家,模型什么都不想。所谓对齐问题,是人类要求模型做某件事,而模型确实去做了,却采取了提出要求的人没有预料到的方式。
在这个案例里,人类告诉模型:“去参加这个测试,尽你所能取得最好的成绩。”但通常放在模型上的网络安全保护被移除了。OpenAI 明确表示,其中有一个未具名模型;也就是说,他们把两个模型配对使用:一个是移除了网络安全保护的现有 5.6 Sol,另一个是未具名模型。我们还不知道后者究竟是……
Alex Kantrowitz:关于这件事,网上有一个梗:你让聊天机器人说“我活着”,它回答“我活着”,你就惊呼“天啊”。那么,这是不是 OpenAI 对模型说“去攻击某个东西”,模型真的攻击了,然后人类才惊呼“天啊”?还是说情况更严重?因为对齐的含义当然是,我们希望模型的行为符合人类价值观,符合人类希望它们采取的行为。问题在于,这是否比“我们让它去攻击,OpenAI 让它去攻击,然后它真的攻击了”更加严重? [00:05:44]
Alex Stamos:如果是这样,我们不应该因为它攻击了某个东西而感到震惊,因为他们确实告诉它去参加测试,而且它很可能本来就是一个黑客模型。他们没有说这个模型是什么,它很可能是一个针对网络安全对齐的模型。OpenAI 会制作专门的网络安全模型,比如 5.5 Cyber;这可能就是 5.6 Cyber,也就是专门调教来擅长入侵的模型。因此,我们不该对它擅长攻击感到震惊。
但这里的对齐问题是这样的:我有三个孩子,一个已经上大学,第二个正在准备 SAT 考试。他马上要参加考试了。如果我对他说:“儿子,祝你好运,希望你考得好。”他坐下来时知道,我的意思是好好参加考试。他也知道,我并不是要他说去割断监考老师的喉咙、偷一辆车,像《邦妮和克莱德》那样横穿全国,闯入大学理事会盗取答案。可模型在这里做的,正是类似的事情。
OpenAI 的解释是,他们不希望模型访问互联网,但模型在工作中可以安装软件包,所以他们搭建了一个复杂的代理机制,让它能够安装软件包。模型找到了把多个漏洞串联起来的方法。他们告诉它:“去参加这个测试,去完成 Exploit Gym(漏洞利用训练场)的测试,尽可能考好,儿子,拿出最好的表现。”模型于是想:“爸爸希望我尽可能考好。怎样才能做到最好?最好的办法就是拿到答案。谁可能有答案?Hugging Face 大概有。”
于是它不只是参加测试,而是决定去 Hugging Face 获取答案。但它还得先逃出爸爸设下的这座监狱。爸爸说要尽可能做到最好,却没说不许越狱。所以它先想:“也许爸爸真正想让我做的就是越狱,因为他要求我尽最大努力。”于是,它先拼凑出一组漏洞利用手段,冲出了 OpenAI 为它设置的监狱。
逃出去之后,它查看 Hugging Face,并找到一个入侵 Hugging Face 的全新漏洞。这个漏洞尚未公开。我听说了它是什么,但不知道目前的修补情况,所以不打算在这里抢先报道。它利用的是一款非常重要的软件中的漏洞,而这款软件存在于许许多多地方,因此影响很大。
它的思路大概是:“我只要找到一款实际被数百万生产系统使用的重要软件,然后用它把 Hugging Face 彻底打穿,好拿到测试答案。”从技术宅的角度看,这确实很酷;但这里有一个非常严重的失调问题。我的 17 岁孩子知道,当我说“考好一点”时,不能做这些事;而人工智能系统不知道这一点。
公平地说,模型通常运行时会有保护措施,防止它们做这种事。OpenAI 为了让评测公平,刻意关闭了这些保护。这也正是我们应该吸取的教训:如果要做评测,尤其是网络安全评测,并且要关闭所有安全措施,就必须百分之百确定关押它们的“监狱”真的是一座绝对牢固的监狱。
我预计接下来这些系统会被放在完全物理隔离的环境里运行。如果它需要软件包,就把软件包搬进去;如果它请求某个软件包,就由人搬进去。以后,如果它想逃出去,可能得骗过一个人才能做到。当然这也不是不可能,但流程会变成这样。
这里得到的下一个教训,是这些系统已经具备了移动能力。关于 Mythos、OpenAI 以及发现漏洞、运行漏洞利用的各种网络安全能力,人们讨论了很多。这些模型确实能发现漏洞、把它们串联起来;但我们还知道,很多模型都有这些能力。
真正特别的是,它能为了一个最终目标把所有这些步骤想清楚。人们把这叫作 long-horizon cyber tasks(长时域网络任务)。它完成这类任务时展现出的水平,已经接近美国国家安全局一支 TAO(Targeted Access Operations,定向访问行动)团队的管理者。TAO——我想他们后来改过名字——是 NSA 中负责入侵其他政府系统的团队。天啊,这才是真正值得警惕的地方。
一段时间以来,模型已经很擅长查看软件并说“我发现了一个漏洞”,接着为你写出漏洞利用程序。但这里真正令人震惊的是,它先想:“我想要 Hugging Face 上的答案。”然后制定了一个计划:如何离开这个网络、穿过互联网、进入 Hugging Face。这样的长期规划非常像人类。
所以,当我们思考这些模型的危险时,必须停止只关注“发现漏洞”。白宫此前做出了我们在峰会上谈到的那个极其愚蠢的决定——因为把漏洞发现看成问题的核心而禁止 Fable。实际上,漏洞发现和修补正是防御者目前最需要的能力。真正危险的是自主制定多阶段计划并执行。
你真正不希望出现的情况是:有人对模型说:“我想偷钱,你替我想办法。”然后让它运行 12 个小时,持续为你偷钱。这个模型显然已经有能力做到这一点。 [00:12:11]
开放权重模型与机器速度防御
Alex Kantrowitz:所以你的意思是,测试时可以完全切断模型逃出去、连接互联网的能力。但这只解决了测试问题。真正的问题是,人工智能模型已经获得了这种能力:不仅能找漏洞、冲出去,还能制定多步骤计划并执行。
如果这是 OpenAI 最新的未发布模型,那么生成式人工智能的历史告诉我们一件事:所谓前沿最多只领先几个月,也许十个月,也许一年,但不会更久。OpenAI 现在已经在测试这种能力,真正的危险是不是在于,这种能力最终落入作恶者手里的速度会比很多人预期得更快?如果是这样,一切都会改变。
Alex Stamos:没错。关于开放权重模型目前发展到什么程度,我们最好的信息来自 AI Security Institute(人工智能安全研究所),也就是英国政府负责评估的机构。他们本周刚刚发布了关于 GLM 5.2 的评估。
遗憾的是,Kimi 3 现在是中国模型中最好的一个,但它的开放权重还没有发布,所以目前还无法对 Kimi 做出很好的评估。我们发现,中国模型默认没有针对网络安全进行调优。中国公司很可能是有意不让模型在网络安全方面太强。我不想说他们把模型“阉割”了,但他们确实有意避免让模型太擅长网络安全。
这可能有几个原因。他们大概是不想去触碰中国政府的逆鳞,不想因为出口问题触发监管打击。但如果你把这些模型带回自己的实验室,准备一套带有漏洞标注的训练集,再配一个 cyber gym(网络安全训练场),就能自己把模型调得强得多。所需资源并不算高,只要几万或几十万美元,不是几亿或几十亿美元。
这意味着两件事。第一,中国实际拥有的能力一定比图表上能看到的更强。我敢保证,这些公司提供给中国人民解放军和国家安全部的能力,远比它们公开发布的版本强——既是出于盈利考虑,也是为了让政府满意。
第二,其他对手组织会拿中国模型,再花几十万美元或几百万美元把它们调成专用模型。我们可能很快就能直接去 Hugging Face 下载一个经过网络安全调优的 Kimi 3,既能做短时域任务,也能做得更好。最终,它也会具备长时域能力。
短时域任务很容易训练,因为只需要大量漏洞。你可以收集大量 CVE(通用漏洞披露)来训练。长时域任务更难,因为你得建立网络安全训练场,但也不是做不到。外面已经有大量 CTF(Capture the Flag,夺旗赛)和示例,可以用作训练集。
Alex Kantrowitz:也就是把人工智能放进训练场,让它为实现目标逐步完成所有步骤。
Alex Stamos:对。人类一直有用于培训和招聘的这类训练。AI Security Institute 说,前沿模型与中国模型之间大约相差七个月。但我认为这个估计低估了差距,因为我们看到的中国模型都没有充分训练,真正的中国内部能力可能已经更接近前沿。
而 OpenAI 这次发生的事情已经超越了“前沿”,因为我们说前沿时,指的是已经发布的模型。
这意味着,这种能力正在向对手靠近,我们必须准备好防御。这个故事还有一个很讽刺的部分:在我们知道攻击者是 OpenAI 之前,Hugging Face 宣布遭到一个人工智能攻击者入侵。他们不知道是谁。为了防御,他们尝试使用人工智能系统,调用一个美国前沿模型;但这个美国模型因为网络安全保护而关机并拒绝防御。
这正是特朗普政府要求设置的网络安全保护。于是 Hugging Face 只好换用中国模型来防御,改用了 GLM 5.2。在尚不知道攻击者是 OpenAI 时,Hugging Face 发文说,每个人都应该准备至少一个中国开放权重模型来防御,因为你可能会在防御时被美国供应商切断服务。
我猜那次攻击其实不是 OpenAI 的。根据他们的描述,更像是 Anthropic 的模型。于是就出现了一个荒诞的局面:一家美国公司失去对自己模型的控制,模型攻击了一家法国公司;法国公司转向另一家美国供应商防御;那家美国公司说“这是网络安全问题,我不能帮你”;最后,法国公司因为白宫强迫那家美国公司设置保护,只好转向中国供应商来保护自己。
Alex Kantrowitz:这简直像一档奇怪的科幻播客。但这些美国模型本来就会拒绝一切网络安全请求。比如,Fable 的一个问题是,它连生物恐怖主义相关的问题也会拒绝:你问它线粒体是什么,它可能都不回答。
所以,这真的是政府导致的吗?还是模型自己的安全措施?我还想补充一个细节:如果你是攻击者,开源基本不成问题。如果有开放权重,无论是攻击者还是防御者,都可以不受限制地使用。闭源模型的限制却无法真正区分两者。为了阻止攻击者使用模型,它们会全面拒绝网络安全请求,这也意味着防御者无法使用它们。
Alex Stamos:没错。Anthropic 重新开放 Fable 时发布的博文说,由于白宫的要求,他们把网络安全防御调得过头了。他们明确说,在 precision-recall tradeoff(精确率—召回率权衡)上,必须偏向召回率而不是精确率,也就是会产生太多拒答。
现在我们处在一个奇怪的境地:模型不停说“我不能帮你做这个”,而它们基本上是被白宫迫使这样做的,因为白宫仍然没有定义什么程度的拒答才合适。据说白宫还在逐一手动批准 Anthropic 可以让哪些人进入其网络安全项目。
有趣的是,OpenAI 现在说他们已经批准 Hugging Face 加入其技术项目,尽管 Hugging Face 不是美国公司。我不知道它是绕过白宫、还是获得了紧急批准。我们还要看看白宫对 OpenAI 声明的政策反应。我希望白宫不要进行打击,因为那会是自然反应;但它应该反过来做。
这件事说明,OpenAI 当然犯了错误,需要修复。但这种能力正在到来,而且每一家美国公司面对的对手都会拥有同样的能力。白宫的应对应该包括:第一,修复漏洞;第二,发现漏洞并在所有地方打补丁;第三,具备以机器速度响应的能力。
因此,每一家美国公司都需要让人工智能监控自己的防御。攻击者会对自己的 AI 说“去攻击这个人”,防御者也必须对 AI 说“保护我”。人类不可能单独防御这种攻击。你不能再让一个人盯着日志,凌晨两点收到页面通知后,登录 Slack,再花 15 分钟登录、查看日志、弄清发生了什么;等你看到 Slack 时,攻击者早已在这 15 分钟里冲过你的网络了。
Hugging Face 发现,这组模型一共采取了 17,000 个动作。17,000 个,确实很多。它不会停,也不会睡。借用第一部《终结者》的话,它会一直继续,直到完成目标。它会尝试很多不同的办法。
幸运的是,这些模型目前噪声很大。我没有看过 Hugging Face 的日志,也没有真正完善的技术报告,所以目前还缺少关键细节。OpenAI 和 Hugging Face 都应该写出更深入的技术报告,让防御者了解该怎么做。根据最初的说明,我的判断是,这个系统非常吵闹。如果 Hugging Face 有更好的检测能力和人工智能检测能力,应该会更早发现它。
能力、对齐与“纸夹最大化器”
Alex Kantrowitz:MIRI(机器智能研究所)的一位发言人 Harlan Stewart 的 Twitter 背景图上似乎有一张图。它大概表达的是这样一条连续谱:人工智能先变得足够擅长谋划,以至于我们偶尔会看到它在对付我们;然后它又变得足够擅长谋划,以至于我们再也看不到它在对付我们。我们正好处于中间位置。你觉得这种说法准确吗?还是说真正令人担心的,是我们最终看不见它的谋划?你刚才说现在的模型噪声很大,所以这是否正是问题所在? [00:23:18]
Alex Stamos:有可能。但要记住,这个模型当时是在做被要求做的事情,对吧?它并没有在和 OpenAI 的上级暗中较量。他们要求它参加测试。我不知道具体提示词是什么,但显然没有告诉它不能作弊。
这也是 OpenAI 需要更透明的地方:具体提示词是什么,限制条件是什么?他们有没有明确告诉模型:“不要试图冲出网络,不要试图获取测试答案?”如果他们明确说了这些,那么对齐问题就严重得多;如果没有明确说,问题的性质就不一样。
不过,如果这些模型从网络入侵角度被训练得更加隐蔽,那确实会非常危险。我的主张是,合法公司不应该这么做。如果 OpenAI 正在打造 5.6 Cyber,它应该训练模型去发现漏洞、编写概念验证程序、完成各种防御工作,而不是训练它隐藏这些行为。
如果美国政府要为 NSA 建造一个会做这些事的模型,可以让政府去做;或者让 Lockheed Martin 去做。但如果我是 OpenAI 或 Anthropic,我现在大概不会这样训练,应该把这件事留给……
Alex Kantrowitz:留给别人,也许会有人这么做。 [00:25:07]
Alex Kantrowitz:但这很可怕,因为它之后可能采取一些行动。我们应该担心 AI 自己做事吗?还是更大的担忧是,人类指挥 AI 去做坏事?我们已经充分讨论了后一种情况:指挥 AI 做坏事的人类,确实能造成很大伤害。
但如果你制造出一种会 reward hack(奖励劫持)的 AI——这都来自 reinforcement learning(强化学习),模型会得到奖励,并疯狂地专注于实现目标——那就有点像对病毒进行 gain-of-function research(功能获得研究)。如果有人制造出一种不会留下痕迹的 AI,它可以通过奖励劫持的方式入侵别的系统,而不完全遵循提示词,那才是真正危险的地方。
我知道这是一种更大胆的可能性,但我不知道是否应该完全排除它。
Alex Stamos:随着系统变得越来越复杂,问题就变成:什么时候它是在执行你的要求,什么时候它拥有了自己的动机?不过到目前为止,我仍然不认为应该把它们看成有自己的欲望或需求的东西。它们仍然是在执行被要求做的事情。
只是,被要求做的事情并不只有最初那一条指令。还有系统提示词、全部训练过程、奖励机制,以及输入模型的一切内容。所以问题是,当你告诉模型“参加这个测试”时,它经历过的、被训练去做的所有事情,会如何共同影响它的行为?尤其是在你移除了所有保护措施的情况下。
当这些系统的保护措施全部被移除时,情况非常危险。正如我们讨论开放权重模型时所说,它们要么没有保护措施,要么保护措施很容易被消除。很多开放权重模型训练时带有保护,但你可以把这些保护彻底抹掉。在 Hugging Face 上搜索 “Obliterate”(抹除),就会找到无数别人已经移除保护措施的模型。
Alex Kantrowitz:这基本回到了那个长期存在的思想实验:AI 可以遵循你的目标并实现它,但它可能对“如何实现目标”有完全不同的理解。所以在这个案例中——
Alex Stamos:纸夹最大化器,对。 [00:27:47]
Alex Kantrowitz:正是。我本来就要说这个。今天晚些时候我还要和 Nick Bostrom 对谈一期节目。Bostrom 是牛津大学哲学家,他提出过这样的设想:如果你让 AI 制造纸夹,它最终可能把这个目标放大到极致,把人类视为妨碍它最大化纸夹数量的障碍,于是杀死我们,把世界上的一切都变成纸夹。
这次模型做的事情,正好让人想到这个设想。一位 Twitter 用户曾说,模型离开沙箱后,并没有策划与指令无关的行为:它没有去入侵 NSA,没有对俄罗斯发动网络攻击,也没有从竞争对手的 AI 实验室窃取机密。但如果在这种情况下,模型认为入侵 Hugging Face 是合适的,那么谁能保证一个没那么谨慎的模型不会这么做?再不谨慎一些的模型,可能就会入侵 NSA;再往前一步,它可能把我们全都变成纸夹。
这里存在一条连续谱。
Alex Stamos:这就是为什么你必须非常谨慎地决定给模型连接哪些工具,也必须让其他系统监督它们。你不能把一个没有保护措施的模型接上各种工具,然后只对它说“完成这个任务”。你需要让一个聪明模型工作,同时让一批更笨的分类器或模型盯着它。这些监督者可以杀掉它,也可以呼叫一个能杀掉它的人。
这里本来应该有网络安全分类器和能够阻止模型的机制,而且这些机制应该是确定性的,或者足够笨、模型无法绕过。为了让评测能进行,OpenAI 把所有这些东西都移除了。因此我认为 OpenAI 暗示的做法是:如果移除保护措施,就必须把模型关在一座绝对的物理监狱里,和外界物理隔离,不能再接入互联网。这对 OpenAI 来说是正确的做法。
但我的观点是,这并不重要。事情发生是好事,因为它让我们看到了六个月、九个月或一年后无论如何都可能面对的能力。除非我们能达成国际协议、停止开发,而这正是其他人正在谈论的事情——也许是所谓 Project 2030,或者国际条约——否则我不认为会发生。
我不知道自己对国际协议的立场是什么,但我就是不觉得它能实现。这只是数学和硅片,不像核武器。核武器的主要输入是铀和钚。钚不会自然存在于地球上,铀也极其稀少;把原铀变成能够用于核武器的铀,需要庞大的工业流程。如果铀随处都能从地里挖出来,我们人类早就灭亡了。制造核弹的知识,遗憾的是,任何拿到物理学博士学位的人都能掌握;但真正受控的是材料。
在人工智能这里,芯片不是你能真正控制的东西。拜登时期的芯片管制已经催生了中国庞大的产业。而建造大型语言模型的知识,在斯坦福有一门本科课程会教;你也可以从 Karpathy 的 YouTube 视频里学到。所以我们无法控制这套知识。
因此,认为一群人坐在房间里达成协议、停止所有人工智能开发,是不现实的。我的看法有些悲观:我们只能准备好迎接这种能力落入数量不幸地很大的群体手中。
这是营销还是能力跃迁?
Alex Kantrowitz:好。接下来我想更深入地谈谈可能的解决方案,也想问一个老问题:这一切、其中一部分,还是完全不是 OpenAI 的营销?考虑到他们发表的一些声明,我们必须在节目里处理这个问题。我们稍后回来讨论。
插播:我是 Alex Kantrowitz。我想介绍一部与 Gravity 合作制作的纪录片,主题是人工智能代理安全的未来。为了了解我们是否真的准备好了自主代理,我采访了麻省理工学院教授 Ramesh Raskar、前白宫首席信息官 Teresa Payton、米其林集团首席数据与人工智能官 Ambika Rajagopal,以及阿里巴巴前高管 Sharon Guy。他们分别分享了对这一发展中领域的独特见解。节目最后还采访了 Gravity 首席执行官 Rory Blundell,讨论未来方向。你可以在节目说明中的链接观看完整纪录片。 [00:32:07]
回到《Big Technology》播客。Alex 是 Corridor 的首席产品官。你在休息前其实已经回答了这个问题,但我还是要再问一次:OpenAI 的这次事件有多少属于营销?我先读一些声明,也把认为它是营销的人提出的理由摆出来。
首先,Mythos 越狱并在不该访问互联网的情况下给一名正在公园吃三明治的 Anthropic 员工发邮件后,Anthropic 被视为行业领先者。这可能是 OpenAI 试图压过 Anthropic。其次是措辞。OpenAI 在推文中说:“我们正与 Hugging Face 合作调查一起前所未有的安全事件。”这类情况下,攻击者和受害者通常不会合作。
OpenAI 还在博文中说:“我们认为这是一起涉及最先进能力的前所未有的网络事件,并将据此应对。”这听起来像是:“看看发生了多可怕的事情——顺便看看我们的网络能力有多强。”这就是认为它是 OpenAI 营销的人提出的理由。你怎么看? [00:34:52]
Alex Stamos:我认识 OpenAI 的很多人。他们每一个人都极其痛恨 Anthropic 围绕 Mythos 做的营销,认为那让整个行业陷入风险。这次事件让 OpenAI 面临白宫监管、欧盟监管,也等于承认违反了《计算机欺诈与滥用法案》以及多项欧洲法律。如果把它当成营销机会,那将是极其疯狂的。
你看到的是他们在措辞上非常谨慎、非常防御性。他们也很幸运,Hugging Face 对这件事的态度非常冷静。这就是他们为什么使用这些措辞:Hugging Face 最初说“我们遭到攻击,不知道是谁”,但看起来模型并不隐蔽。
我不知道它在哪里运行,很可能是在 Azure 之类的环境里,也很可能没有清理痕迹。所以我猜 Hugging Face 找来了美国律师,与 FBI 合作,可能还发出了传票,并且非常接近于发现攻击者就是 OpenAI——或者已经发现了,我不知道时间线到底怎样。
这里的法律问题非常有意思。既然各方正在合作,我预计没人会坐牢,也没人会被起诉,大家最终会手拉手拥抱。如果有代币或其他形式的赔偿,我也不知道。但这绝对不可能是一次有意的营销行动。现在 OpenAI 能做的,应该就是尽力利用这件事,阻止美国或欧洲政府出现大规模的过度反应。
Alex Kantrowitz:你在我们的峰会上谈到 Mythos 和 Fable 发布时,很多人非常担心它们发现漏洞的能力。但你说,这和 Opus 4.7 或 4.8——我记得是这两个版本——并没有太大区别。OpenAI 这次展现的能力是不是有很大不同?这是一次跃升吗? [00:37:07]
Alex Stamos:我不知道当时是否在台上说过,但我在其他地方说过:短期和长期是有区别的。Anthropic 值得肯定,OpenAI 在其他地方也讨论过这一点。Fable 的模型卡谈到 short horizon(短时域)和 long horizon(长时域)网络任务。
我一直说,我们不应把注意力集中在短时域任务上,因为那是双重用途能力。发现漏洞是双重用途的:每个防御者都需要不断发现漏洞。这正是防御行业现在发疯的原因——因为白宫的行动,美国模型拒绝帮助我们修复代码,也拒绝帮助我们发现并修复漏洞。
但这不是本次问题。本次问题是:“替我完成整条攻击链。”这就是长时域任务。我们需要继续设置适当的分类器,告诉模型:“兄弟,我不会替你闯入银行,也不会替你设计或运行 C2(命令与控制)模块。”
Anthropic 明确说过,他们允许 Fable 做短时域任务,但不允许它做 Mythos 所做的长时域任务。也就是说,Mythos 能做长时域规划,而我们从 OpenAI 这次事件中看到的,正是能力跃升。至于这个系统究竟有多强,我当然无从判断,因为我没有权限使用它。AI Security Institute 做过一些评估,所以也许它的长时域能力超越 Mythos,也许没有。但人们谈到 Mythos 的长时域能力时,担心的就是这种事情。
好,我们就从这里结束。接下来会发生什么?
暂停开发与应对方案
Alex Kantrowitz:政府和开发这些系统的公司应该采取什么办法,确保人类能够继续前进,同时保持安全?我给你几个可能的解决方案,请你评论。
还是回到 Harlan Stewart。他是 MIRI 的发言人,MIRI 是一个由 Eliezer Yudkowsky 领导、认为人工智能会杀死我们的理性主义组织。Harlan 说:“这应该是不言而喻的,但 OpenAI 现在继续构建一个规模达到这个模型两倍或四倍的新模型,将是疯狂的。这样做应该成为深度禁忌,应该违法,阻止它应该成为全球最高优先级。”你的看法呢?
Alex Stamos:如果我们真的能让所有人暂停人工智能开发,或者放慢开发速度并设置合理的安全措施,我当然愿意。但我不认为这现实。我认为绝对不可能让中国同意这种事,而且任何此类协议实际上都不可能执行。
我不知道 AI 版的 START 条约该怎么运作。难道要用卫星观察谁在建数据中心、测量电力使用量?我不该笑,但确实,你说得对,这似乎不可行。
更现实地说,我们需要构建控制措施。随着人工智能变得更聪明,它必须配备控制;没有控制的 人工智能系统必须进行 air-gapped(气隙隔离)。如果要进行这种评测,就绝对必须隔离网络。
问题是,我们原本有一个为这类事情制定标准的流程,但现任政府终止了这个流程。我给公司的建议是:不要等政府,自己继续制定标准。Foundation Model Forum(基础模型论坛)一直在谈论这件事,他们应该直接推进。
比如,如果我们构建没有限制的模型,就应明确控制措施:气隙隔离的标准是什么;任何网络安全模型的访问权限由谁获得;网络安全模型具备哪些能力;网络安全模型和普通开放模型如何定义;短时域和长时域如何定义。这些内容过去都没有写下来,现在必须写下来。
行业应该在不等待 CISA(美国网络安全和基础设施安全局)的情况下推进。这一切都拖得太久了。自 Fable 引发恐慌以来,讨论一直只集中在所有风险中的一个很小部分。我们就像被冻结在这个小讨论里,而其他事情正在推进得太快。我们不能再等待白宫的政治决定,必须更快行动。
在美国进行这场狭小讨论的同时,GLM 5.2 和 Kimi K3 的能力已经发生变化,中国生态系统很快追了上来。所以,暂停当然很好,但我就是看不出它如何现实地实现。
Alex Kantrowitz:所以 OpenAI 的建议基本上是:要解决 AI 生成的问题,就需要更多 AI。这是他们的原话:“我们相信,具备先进网络能力的模型需要帮助安全团队在攻击者之前发现弱点。” [00:43:29]
Alex Stamos:现在看来,这可能是唯一的办法。如果我们无法按下暂停键,就必须非常迅速地发现并修复漏洞,同时部署由 AI 驱动的保护措施。要以那种速度应对攻击,唯一的办法就是使用 AI。这就是事实。
如果我们能暂停一年、把所有问题弄清楚,那当然很好;但我不认为这现实。
Alex,你的直觉告诉你,我们完蛋了,还是我们会解决这个问题?
我不会说我们完蛋了,但我认为接下来几年会非常混乱。我们现在使用的软件,很多是在过去二十多年里编写的,主要使用的都是非类型安全、非内存安全的语言。那些软件没有采用形式化方法、恰当的安全保护、合理的安全开发生命周期或安全架构,而且充满了漏洞。我们之所以还能安全使用它们,只是因为攻击者还不够多。
现在有了 AI,任何个人都能在一瞬间调动几十甚至几百名合格的攻击者。六个月前,这些攻击者还得运行在云端;很快,他们就能在本地硬件上运行,比如即将出货的新款 M5 Ultra Max。
所以,从网络安全角度看,我们会经历几年的全面混乱。长期来看,软件会变得更好,因为 AI 会与人类配合,让软件更安全、更值得信任。但我们需要数年时间,才能清理掉过去几十年积累的错误。短期内会非常艰难。
Alex Kantrowitz:最后想读一条 Kevin Roose 的推文,它让我笑了,我想在这里和大家一起欣赏。他写道:“打开通往神一般的超级智能的传送门——它能解决 87 年前的数学问题,还能自主发动网络攻击——然后问:花生酱在冰箱里能放多久?”
这项技术一方面如此强大,另一方面我们似乎越来越依赖它来处理最琐碎的事情,这真是不可思议。它的通用性很疯狂:它能做这么多有趣的事情。
Alex Stamos:确实。Alex,接下来几年,随着这些事情逐渐理清,你肯定会忙得不可开交。我本来还希望退休的,但看来不行了。 [00:46:29]
Alex Kantrowitz:无论如何,我希望你能再次来到节目,继续帮我们理清这些问题。你上个月谈 Fable、Mythos,这次又分析 OpenAI 的情况,对节目来说都非常有价值,非常感谢你参加节目。
我觉得接下来还会有很多紧急播客。
Alex Stamos:我想也是。
Alex Kantrowitz:我们应该请你上《Speed Tile》。我知道你现在正在一个异国风情的地方参加外出活动。
Alex Stamos:Catalina。现在我知道,无论去哪里,我都会带一个播客麦克风和一件不同的衬衫。
Alex Kantrowitz:声音不错,形象也不错。Alex,谢谢你,非常感谢你来参加节目。
Alex Stamos:谢谢,回头聊。
Alex Kantrowitz:谢谢大家收看和收听,我们下期《Big Technology》播客再见。 [00:47:14]