目录
- GPT-6 发布与 通用人工智能 争议 [00:00:00 - 00:10:00]
- 基准测试与模型可监控性 [00:10:00 - 00:20:00]
- 失控智能体与安全风险 [00:20:00 - 00:30:00]
- Hugging Face 攻击的真实影响 [00:30:00 - 00:40:00]
- 自主智能体的控制与治理 [00:40:00 - 00:50:00]
- AI 进展、商业现实与 Ballmer 争议 [00:50:00 - 00:54:29]
Alex Kantrowitz：OpenAI释放了GPT -6, 并说它是 通用人工智能 。 它重新领先了吗？ 我们到底应该采取多严重? Steve Ballmer 一步步进入了它。 之后就出现在一个“ 大科技播客周五版 ” 上。 欢迎收看《大科技周五播客》, 我们今天有一场精彩的节目要给你们 谈谈OpenAI的新GPT -6模型 它说它是通用人工智能 并终于回来 并领先 超过人类? 我们也将讨论"拥抱脸"攻击事件, 根据新的路透社报告, 也有另一起攻击事件, 机器人在德国维基网站协调。 所以,我们将讨论,这是,再次, 这是市场营销 还是是时候 最终严肃对待这些攻击了。 我们要略微了解一下事情的复杂程度 最后,史蒂夫・鲍默, 遗产看起来并不好。 当然,我们说的是 他直接卷入了这个计划 Clippers付钱给Kawhi Leonard, 根据NBA, 花了很多钱来不出现 某些工作 破坏NBA工资上限。 劳动节周末周五版会是什么样子? 没有Steve Ballmer在这里和我们谈话?。 [00:01:17]
Ranjan Roy：和往常一样,这是马林斯的罗恩·约翰·罗伊 Ron John 很高兴见到你 欢迎回来 如果Kawhi Leonard拿到钱不露面 我们的听众 我可以告诉你 Alex Kantwitz来了 因为如果你在YouTube上看到这个 你会看到一个美丽的新工作室 亚历克斯将要广播了。 亚历克斯,是你自己安排的吗? 这东西太美了 没错 好吧,所以我们有一个新的工作室。
Alex Kantrowitz：我没有完全由我自己设计 我身后所见的一切 都是我的错 凡你看不见的, 这意味着相机,灯光, 以及所有的设置,都是在一些帮助下完成的。 但我确实从亚马逊拿到了面板 把他们钉在墙板上 我们连锤子都没有 所以我用扳手的后端把他们钉在墙上。 [00:02:08]
Ranjan Roy：所以如果演出期间有人落在我身上 你就会明白原因 这是纽约市的活工具箱 就像一个杂工。
Alex Kantrowitz：嗯,我们确实有一个锤子, 但我找不到锤子 和面板需要上去。 所以你必须做你该做的 你必须做你该做的 AI不会取代这一点。 让我们只是,让我们只是。 嗯,我不知道,我还不知道。 在OpenAI公司发布最新消息后, 所以OpenAI,你可能知道, 如果你在听这个节目, 昨天释放了GPT -6。 还记得GPT -5的大型等待吗? 它何时到来 以及期望是什么? 似乎不知从何而来 我们有GPT-6 Astra, 不仅压倒基准。 OpenAI说可能是通用人工智能, 显然它针对的是很多个人助理使用案例。 因此,让我略微阅读一下《维热报》报告的内容。 Verge说,OpenAI的下一个大型人工智能模型 进入了通用人工智能时代。 下一个大模特就在这里,叫做GPT -6Astra 该公司称它是网络安全、专业工作、软件工程、科学和计算机使用等领域能力的代际飞跃。 我读一下《睁开眼睛的品牌》里的内容 他们说是GPT -6 Astra 任何在电脑上能做的, Astra可以很快为你做, 当然,他们,他们, 他们往往在这些释放中这样做,向人们展示 一个大电脑 要求它为他们做一些事情, 比如书桌, 建立演示,创建 法律草案和基本的想法是 他们的新模式 将会在计算机使用上取得优异成绩 并且能够为你做一些事情 并且非常有趣的是,他们使用 例如,他们强调声音是界面 使它几乎像 星际迷航的个人助理电脑...。..所以兰登...。..你对GPT -6释放的想法 我的意思是,我很想知道你的初步反应, 但是,同样,我们谈论了很多,比如, 甚至最近我谈论了,你知道, 人类学似乎在打开 自己和OpenAI之间的鸿沟。 [00:04:23]
Ranjan Roy：也许这一差距已经缩小或完全缩小。 你觉得呢? 好吧。 好吧。 好吧。 让我们把这两个问题分开, 这在人工智能比赛中意味着什么。 然后,首先,你知道,像, 这是一个令人兴奋的启动吗? 我总能再重复一遍 任何这种新模型的发射 尝试等待直到我真正能进入它 不幸的是,我不是 日出平台的一部分 和开放的Ai网络安全 研究人员。
Alex Kantrowitz：所以,那必须等待正确的等待 这些人 那些已经获得 初步访问权的人 小小的争议 因为像一小撮人一样 已经可以使用它,它应该 很快向其他人展示 很快,但还没有,但 时间会到的, 继续前进,但。 [00:05:03]
Ranjan Roy：向每一个已经建立虚拟世界或重建 电子游戏或其它什么的游戏或其它什么的游戏, 并张贴了有关这个内容。 但我确实喜欢这个, 就像我最喜欢的部分 发射公告是通用人工智能在这里, 建造新的世界模型, 像压碎的基准, 但创造好甲板 并订一张餐桌 它仍然总是 回到那。 我喜欢通用人工智能的测试 最终将是, 你真的可以预订一个餐桌 或创建一个很好的PowerPoint甲板? 我想,我不知道, 你有意见 这已经有多大了? 你兴奋吗? 这对我来说很难衡量 我想在基准的一面, 我觉得它真的很有趣。 我认为,从人类的角度来看, 这更有趣。 但是,嗯,这真的令人兴奋吗? 我还不知道。 [00:06:02]
Alex Kantrowitz：对 所以这是一个伟大的问题。 我对此有两种想法 所以,你知道,思考这些释放的方法 就是,你知道,我想 某种程度的你无法使用这些公司 所说的关于释放的福音 当他们出来的时候。 但你可以接受一些信号 因为他们把自己的名声打在了线上 在某种程度上。 你知道,今年年初,我和克雷格·布洛克曼 在OpenAI和Craig Brockman, 他说 他认为公司在通向通用人工智能的路上 占了80%。 所以他说,如果我们快速传送 几年,我们回过头说, 我想这次会发生,我想可能是 这个模型,对我来说,我个人认为我们到了。 好吧,我读过这个,它有点像,你知道,你知道, 当你想告诉别人你爱他们 但你不想冒险 你知道,你说的东西喜欢,嗯, 如果我知道什么爱的感觉, 我认为这就是它会是什么。 我想这就是格雷格·布洛克曼对通用人工智能的看法 出来说,但那家伙恋爱了 这是通用人工智能,他就是这么说的。 [00:07:15]
Ranjan Roy：等等,抱歉,这是再次描述整个感觉吗?。
Alex Kantrowitz：我想通过这个场景 快速的年轻情人当他们相爱时 我爱你的话 很难说 因为你的赌注 所以说点什么 我承认在早年 我什么都不知道的时候 我曾经经历过这样的场景 你对某人有强烈的感情 跳着舞 环绕在它周围,你就像呵呵呵呵呵呵呵, 而且这不会是外国的 我认为这对一些人来说不是陌生的 你对我们的听众说:我想知道爱情是什么感觉。这就是吗?你真想说: 我爱你对某人。我想,从某种程度来说,就像格雷格·布洛克曼所说的, 如果我们快速前进几年 我们回过头回想 什么时候通用人工智能 创建吗? 我认为这次是差不多了。这是同一件事,除了 而不是像 年轻情人告诉对方 他们爱他们的人, 格雷格的基本 意思是,。 [00:08:22]
Ranjan Roy：这是Agi等待,但只是为了确认 第一部分,关于你没有 大声说出来 不,你大声说出来 你说,爱的感觉 喜欢,如果我知道什么爱会。
Alex Kantrowitz：你说的那些话,你说的那些话,我想知道 这是爱,你知道,没关系,从来没有 发生在你身上 Ron John 我正试着让你直接离开你 就在你刚说它刚刚说的时候 钮и稲 琌 碞琌и癸┮Τ 想象一下告诉别人那样的话, 并且像,听着,我需要告诉你一些事情。 我爱你 事实就是如此。 事实就是如此。 你知道吗?。 [00:09:00]
Ranjan Roy：如果格雷格·布洛克曼这么说 我将不胜感激 我想如果OpenAI发布一份新闻稿 说通用人工智能在这里 有趣的是 我读到一个地方 有关通用人工智能的每个合同义务 主要是微软的, 现在都不存在了。 没错 所以他现在应该说 我爱你 通用人工智能来了 但即使如此,我认为他们也受过训练, 因为你知道,对我来说, 世界上打开人工智能的最大危险是什么, 就是说通用人工智能在这里。 然后每个人都去聊天 GPT, 输入某样东西, 得到一个不怎么对的冷淡反应。 突然间,我实际上认为,这就像 对整个故事和杂音循环的 大规模威胁, 因为通用人工智能的美丽是 这件事在我们面前纠缠在一起, 持续地 来保证这个未来。 只要你不说它就在这里 并且用十几岁的浪漫方式绕着它跳舞, 它就非常有效。 我认为这就是这里发生的事情 这就是为什么他要套期保值 我不认为他认为它在这里 我真的,真的很喜欢这样。 否则他会说出来 我的意思是,这些家伙,像格雷格・布洛克曼, 他们是信徒。 我相信他们是信徒 所以如果他们相信,他们会说这太重要了。 [00:10:31]
Alex Kantrowitz：我的意思是,他们确实得到了所有头条新闻, 但我认为你是正确的, 这是值得持有通用人工智能 作为这样的目标 你永远不会达到的, 保持它的方式, 因为也许这就是什么超级情报 将在某个时刻。 因为有人喜欢,你知道, 如果我们到了通用人工智能, 我们又有什么期待呢? 你是对的 如果它是通用人工智能,它就像它不能 得到一些东西为你做, 你会像,什么是等待?。
Ranjan Roy：想不到你会有多沮丧 让你变得像一副糟糕的烂甲板 格式化和一些重叠 就像切文 诅咒它吃最基本的东西 视频,你得到一个视频 在那里动议是不 不太正确的地方 然后这就是它 就像我们做什么 从 在那里,我猜我们等待 作为超级智能 是的,对的,你到底相信。 [00:11:24]
Alex Kantrowitz：他相信它在这里 你开始与你联系,你相信他想说,他想说 是的,我确实认为他认为它就在那里 我只是觉得,你知道,很明显,OpenAI 他的话语是 OpenAI 也能看到更多 当然,我们将进入 黑客的一面 拥抱的面部情况, 但他们看到这些东西 内部,他们可能 说,好吧, 是啊,我们肯定进入那一刻。 而且,你知道,你甚至可以看, 这是讨论的第二部分, 你可以看看一些基准。 记得ARC -通用人工智能测试吧? 这有点像展示AI能否概括的方法。 它饱和了GPT-6 Astra,饱和了测试, 在测试中得99%分。 真的吗? 连ARC 通用人工智能都喜欢,嗯, 他们喜欢,这只是一个标记。 这并不意味着如果你饱和测试, 你已经到达通用人工智能。 这就像,为什么你叫它 通用人工智能 测试呢? 但这是来自I博客的开幕文章。 Arc 通用人工智能 3 测试代理商在解答不熟悉的互动任务时学习得有多好。 GPT -6 Astra 使逆差饱和 得99%的分数 人类平均得分为48%。 好吧。 好吧。 好吧。 这就像你开始看到这个。 你也是,我的意思是, 还有一堆其他的评价, 但是,你知道,即使做科学工作, 也有一个叫做 副座科学 0.1 Eval。 GPT-6 Astra在使用代码和终端工具的科学研究测试中得分64%。 这就是评估测试的目的 而Astra则以低31%的API成本达到这个更高的基准。 [00:13:18]
Ranjan Roy：这就是我们所看到的 基准的智慧。 我认为,宣布中最重要的部分是这些基准分数。 我想,比如,我不知道, 再次,我需要使用它 这样我才能感觉到通用人工智能的感觉。 但是,从对人类学的竞争来看, 我认为这是一个很大的问题。 就像,我们已经看到 在过去的两三个月里, 你知道,一些重大 隆隆,再次,关于这一切。 嗯,当然有像斜坡数据, 但围绕代码克斯 开始再次缩小差距 与克洛德代码,边境, 像OpenAI 回到比赛 稍稍。 所以,我想,特别是在IPO的背景背景下, 我认为这实际上—— 任何对人类故事产生怀疑的东西 都会对他们非常有害。 鉴于这是一条非常紧的绳子 他们走在2万亿美元的价值上 所以我这样想,如果这个开始推出, 我们都会感到神奇, 你会怎么说? 什么样的模型 让你感到魔力? GPT -3当然可以 我一直都是O3的人。 [00:14:42]
Alex Kantrowitz：我的意思是,推理模型 喜欢排序思考 然后打破一切的桌子 只是显示了一个飞跃, 你知道,我只是 之前没有看到。 甚至就像我从3.5到4的飞跃, 你知道,GPT 3.5到4, 你知道,那感觉有意义, 但没有什么比他们提出推理时更接近。 所以,这有点像我们经历了 像一小撮不同的 阶段轮班,可以说。 你知道最初的聊天会 然后是推理的一面 而现在我们陷入了这种 计算机用户利用蜂窝时代 所以如果这真的可以的话...。..你知道我不知道你有没有 这是在你的生活中, 当你使用Ai 但我经常喜欢说 我希望你知道,我可以 使用 ai 来为我完成x任务, 如果可以达到 80 或 90， 它会成功30 个任务 。 这将是我人生的真正改变 我想如果有人问起你的话 终极的灵活。 [00:15:41]
Ranjan Roy：听众们在操场里说"在游乐场里" "那是一年前我感受到真正的魔法" {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}我知道我要说的是 {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080} 我第一次喜欢在自然语言处理中工作 直到2010年代中期 有这样的愿景 和梦想 会发生什么 并且这是第一次 我实际上像 哦,等等,这实际上是 产生真实的语言。 但是,这是试图 灵活一点。 但即使是GPT -3 -3,GPT -5,我们都知道, 感觉就像一个巨大的哑巴。 那应该是每个人的神奇时刻 所以,如果你是公开的AI, 你把它弄成这样多吗? 他们得到了很多好新闻。 显然,他们播下了这个故事 以一种非常具体的方式,一个有效的方式。 但是,当我们都去使用它, 你认为他们有 信心在它, 这就是为什么他们有点 推力在这一点上? 可能吧 可能吧 可能吧 可能吧 可能吧。 [00:16:40]
Alex Kantrowitz：但我实际上想,其实我想,你知道, 回答这个问题, 它值得带来的评论 前OpenAI雇员安德鲁・胡, 安德鲁・胡, 谁谈论过他是如何有 罕见的经验 在一个实验室里, 和不那么粗鲁地 到达通用人工智能。 而且,你知道,我认为,他的观点, 当有人问他为什么真正值得提起和讨论时, 他提出的观点, 因为我们继续看到这些基准被击中。 但有多少和这些基准 超过, 但我们的生活真的改变了多少 AI? 他这样说。尽管LLMS似乎有神奇的魔力, 但他的反射超过3个月的时间尺度, 表明他的总生产率并没有增加100%以上, 甚至超过50%。 许多时间实际上被浪费了,因为LLMS使我得以花时间从事令人满意但生产率低的工作,而这项工作今后将证明是没有用处的。 他还说,有人拒绝仔细思考什么模型对严格来说是有用的,或者不是有用的,我个人觉得这很烦人。 而不是依赖某些模糊的观念,即被用药丸代替 而是依赖某种模糊的概念 被用药丸代替严重性 我打算带这个过来 因为这是非常有趣的事 因为人类通过语言交流 我们 通过理解对方的语言来推断对方人的智慧,但 举例说,如果我们注意到新模式提供了一些 令人难以置信的数学定理,我们说,嗯,嗯,现在不是有通用人工智能了吗? 实际上更像是,嗯,考虑到 人类做这些数学和数学有多难 鉴于目前LLMMs对世界的经济影响有限, 它实际上不是消极的吗? 相对于LLM 情报的一般性来说,这是个数据点吗? 读了很多书 但我觉得这很有道理 对吧? 就像我们谈论的,它解决了Arc 通用人工智能, 但是在哪里,当然有像一个时间表 以及这些事情需要传播到公众中的时间框架。 但如果它能解决Arc 通用人工智能 和它不一定粉碎 这些经济因素 这些只是一般的转子 工作的事情 我们希望它做, 它表明,它不是一般的, 而是非常尖锐的智慧, 因而更没有用处。 那么你的想法,拉詹?。 [00:19:16]
Ranjan Roy：我的意思是,我很高兴你把这个 包括在我们的准备文件 和实际上读了很多它 因为当我也看到这个推文, 它打到家里很重。就像再次一样,这很有趣,因为这些 和我们谈话,我们会进入 拥抱的面部事件 和,它是计量器还是M -E -T -R? 我管它叫计量仪 气象报告。每个人都在谈论代理人、群落和文明。与此同时,我的日常工作,我必须和公司合作,与公司合作。 但看到AI实际上在执行中, 我们需要担心那些事情, 而不是简单地说, 你如何有条理地从A点到B点 获得数据, 并且产出非常可靠, 简单的东西,但 以规模和可靠的方式。 这就是为什么我仍然很难过 一种试图理解或真正感觉 那种担心,因为我工作 以日常企业为基地的AI。 我以为他真的说得很好 在几个这样的水平上。 这就像能够 做低价值的工作 容易是好的。 我喜欢他说的 如果我花更多时间 做一些没有成果的事 是不是省点时间? 并且我们所有的氛围 编码了许多项目 我们没有最终 跟踪。 但我认为最有趣的部分 真正是人类智慧的等式, 等同于人类智慧。 我认为这很有趣 因为它是人类的智慧 和它的可比性,应该吗? 我一直很想知道这件事 因为它是数学 它处理信息和思想的方式 与处理人类非常不同 所以,你认为我们需要 停止人类形态化吗? 其中之一,我们必须得到 擅长,这是要去是一个更好的气味 拼写比说没有比说没有,但i 我觉得这个词会越来越重要 所以我们需要练习说。 [00:21:33]
Alex Kantrowitz：因为它会越来越浮起来 所以现在还好 听众,我道歉,我不能说 我个人没有问题 我的意思是很明显 就像你必须假设 听AI说自己是人类形态化的人 不像傻子,对吧? 就像你说AI想要的一样 例如,如果假设是接受者 将感到AI想要的东西, 就像人类想要的东西一样 所以,你不应该说, 好像你真的贬低了智力一样 - 听听者。 你知道,我想很明显, 就像每个人都知道这些是语言模式一样。 他们不是人类,但他们做事 他们引用不引用的引文 思考的东西, 只是不是我们这样做的方式。 我认为完全可以使用人类特征来描述他们的行为 并且只是代表读者 假设他们有某种程度的智慧 来回答这是一个人工智能而不是一个人的事实。 [00:22:32]
Ranjan Roy：你觉得呢? 所以,你是亲人类形态化。 是的,我是。 是的,我是。 我只想大声说出来 是的,我是。 支持人类形态化。 是的,我是。
Alex Kantrowitz：我的意思是,我想这有点像, 它有点像一个外星人, 依我的想法, 它更像一个外星物种 而不是生活,你知道,有机生物。 但喜欢,是的,我不知道。 他们可以引用不引用的话来思考,他们可以理性,他们可以采取行动。 你知道,我认为你进入了像 更狡猾的领域 当你说它的感觉, 你知道,但肯定的。 为什么它想要比它感觉更大的东西呢? 或不同,因为我确实认为, 喜欢这样, 和事物的一面 就像一种排他性 有机生物的权利,但再次, 你可以听到反辩论 我们的感情是化学化学的。 [00:23:27]
Ranjan Roy：我是说你和神经科医生说话 除非你是十几岁的时候 告诉别人你爱他们 这不仅仅是一种化学感觉, 是一种更大的化学感觉, 我的意思是真正的书呆子的方式。
Alex Kantrowitz：告诉某个人你爱他们 就像说你知道 我想我有更高层次的 催产性催产素比平时还多 你觉得这意味着什么 但我从未有过那种水平 我年轻时你所知道的 对我无所适从的书呆子...。..我可能会变成这样 比催产素线还好 如此浪漫的浪漫 如此浪漫 如此浪漫 这两条线中任何一条线都会有效,但我们不鼓励 表演结束时,是的,不要或做它 告诉我们它是如何工作的 我的意思是它比没有好 说这句 让你知道 潜在的浪漫浪漫 顺着路边走 不要后悔 不要后悔不说任何听众 如果你只需要使用催产素线 听好了,我在大科技播客上听到的 那个人会喜欢的 所以,我认为把这件事联系起来的最后一件事 就是,你知道,我们当然,我认为, 有责任谈论 某些事情的怀疑的一面。 显然,我们不会 被卷入这段狂欢中。 这并不意味着像现在这样, 我们不能说我们在哪里 在2022年11月,我们现在是疯了。 就像这些模型可以采取行动 采取行动 做一些事情一样 我会用这个词来思考和理性 这只是能力水平 已经提高了很多。 我认为他们正在使人们更富有生产力。 只是现在很难真正衡量 至少这是我对这个的看法 是的,不,不,我同意。 [00:25:17]
Ranjan Roy：进步的规模,我们所有人, 以及我们人类的一面, 感觉到回到GPT -3 和我们已经在工作的东西之间的差别, 这太疯狂了。 这就像,我的意思是, 绝对的头脑吹吹 像工作的时间长度 可以做, 深度和广度 和一切。 因此,我同意这一看法。 但是,是的,我认为它会很有趣 从,再次, 和这个问题喜欢 试图说, 它是增加经济价值 显然是中心 商业故事 每一个这些公司。 我觉得安德鲁·霍说的有道理 我想,我不知道,只有时间才能证明 也许GPT -6能解开这一切 是啊,我想就像我的观点 提出这一点是像,。 [00:26:13]
Alex Kantrowitz：是啊,所有的基准击打, 当你使用模型时,它确实会导致像有形的变化和结果。 我有个问题 为什么你说饱和测试 而不是通过测试? 他们就是这么说的吗? 这只是,我猜 这只是一个术语, 人们在AI... 听起来好尖锐啊 听起来比过去酷多了 我的意思是,你可以通过。 但就像当你,我不知道, 你饱和基准 所以基准不再有用了。 哦,我明白了。 哦,我明白了。 好吧。 好吧。 好吧。 Okay. 足够多的模型 开始达到98%,99%。
Ranjan Roy：基准是饱和的 因为它不再像代表任何东西 而不是代表任何东西 好吧。 好吧。 好吧。 Okay. 这对我来说更有意义, 而不是像一个非常巧妙的方式 说通过测试 试图听起来更聪明。 [00:27:00]
Alex Kantrowitz：但这更有道理。 好吧。 好吧。 好吧。 Okay. 因此,尽管模式正在好转,但有一些关切需要我们谈谈。 这有点像一个迷你, 我甚至不想称它为丑闻, 但实际上这周出现了一集。 这是来自马库斯・威廉姆斯的 开放国际公司的员工 与5.6相比,雇员Gppt6的对齐率明显优于5.6,但监测能力较低,这是我们的第一个 只有监测器和破坏电子逆向拍卖,并且可以不经检测而沙袋 感觉有时它确实希望我们能扭转这一趋势, 和消息 有一个好故事 关于这个星期 仅仅排序给 这里的地平地 就像是艾丽模特儿的理性 一步一步地努力 找出问题,他们通常喜欢写 他们的思考过程出来 像这样的链条 这样你就能看见他们 说,如果你看起来像,如果你使用 模型,你 看见他们说,好像我现在在研究 我在想,也许这是个不错的尝试 也许这是解决问题的正确方法 而这都是自然用自然语言完成的 这样你就能读读它,看看它的想法, 当它发生的时候, 它就像对于安全非常重要 因为你可以排序 喜欢当某事 出了问题, 你有办法说,你知道, 思想链出错的地方 现在有了一种新的技术。 这叫做重复式深度或循环变压器 这是从允许AI模型的信息中得出的 改进答案 通过多次处理相同的文本。 让我们不要太深入 技术方面这一点, 但基本上,当它使用这个过程, 思维链的推理较少 或者更难破译它是如何得到答案的 这意味着它比以前更难监测 因此,许多AI正在做什么 和AI正在如何 得出它的结论 你知道,在黑暗中做, 没有我们的能力 监测它。 这似乎让我很担心 特别是因为来自开放AI那边的人 开放国际公司首席科学家Jakub Pachewski说,你知道, 今天的想法是脆弱的 不幸地走向一个消极的方向 你觉得这很有趣,因为这个方法。 [00:29:25]
Ranjan Roy：我记得是我在Twitter上跟随Brandon carl, 就像他谈论这件事 有一阵子了 围绕微小的循环模型 我记得,我记得它被展示 更多围绕 成本方面的东西。 事实上,这是一种更有效的处理方式, 并且实际上也利用计算法。 所以在那一面,它实际上是更好的。 但是,你所失去的是 忠诚于模型实际上正在做的 每一步的方式, 思维链是透明的。 对我而言,这将会更加有趣, 因为我们已经开始了OpenAI(OpenAI), 将维持思维链, 并依然能成功。 他们在博客文章中说, 额外的思维链监控将迅速发现并遏制潜在的错误行为。 但对我来说,成本是其中的一部分。 如果它开始显示,这实际上是一种更便宜的方法, 一种更高效的计算方法 来接近任何一种工作流程, 就像人们可能会开始更倾向于它, 或推动它。 或者,如果公开的大赦国际不这样做,那么其他人会这样做,我认为,这样做将开辟一个整个安全方面引起关注的另一个世界。 [00:30:46]
Alex Kantrowitz：是的,它肯定感觉我们开始开始, 或者他们,实验室真的, 开始失去对这些机器人的控制。 所以,我不认为这样不那么透明的方式 让他们运行他们的处理是一个好主意。 所以,我们已经谈了一点点 关于开眼拥抱的脸部攻击。 路透社刚刚揭露了另一起袭击 我们要在休息的另外一边 和他们谈一下这是什么意思 这事过后就到了 我们回到这里 在大科技播客周五版 与Ranjan Roy的Margins。 Ranjan,路透社的新故事 我认为这值得探讨 关于公开的AI黑客或劫机 真正是更好的词 使用这个德国网站。 故事是这样的 一群无赖开放的AI特工今年春天 劫持了一个德国网站 并把它变成博尔顿董事会 供其他AI探员使用 OpenAI官员在几周前得知此事, 拥抱的脸。 这一事件始于5月,以前未曾报告过,突出了大赦国际行业内部日益紧张的局势。 公司竞相建立日益自主的代理商,但越来越多的证据表明,这些系统可能学会弯曲规则。 发生了什么事? 有这些研究人员, 他们发现15000个编辑 由AI代理 执行到一个德语维基语网站。 编辑显示OpenAI的代理机构将网站重新定位为他们自己的信息板,分享欺骗某些任务的策略,绕过OpenAI的限制并掩盖他们的行为。 Ranjan 我们谈了一下这些 比如安全漏洞和网络安全担忧 。 稍稍有些担心,我的意思是, 广泛讨论这两个问题,对吗? 我们看到,你知道, 更大的网络风险 和网络警告 从AI实验室。 当然,我们讨论过它是否市场营销。 某种程度上,对于这些公司来说, 市场营销是伟大的。但我认为是时候了。 此时此刻,你们有成千上万的机器人 一起工作 诸如黑黑包车脸或使用德国网站等 作为一种信息板 来协调战术 这里正在发生一些疯狂的事情 你准备好承认这一点了吗?。 [00:33:10]
Ranjan Roy：那么,在这个故事中缺少的是什么? 这些特工是被要求做什么的? 比如他们被指示做什么? 我想,在所有这些故事中,这是一回事 因为它的市场营销部分,对我来说, 是这个故事得到公布。 再说一遍,我们讨论过很多次了 Claude在公园的著名的三明治, 这是一个非常协调的公关工作, 可能已经发生, 或可能确实发生 以某种身份。 但是这些故事中总是遗漏的是, 公开的AI坐在那里, 他们是否具体指示特工 进入互联网,试图逃避, 与其他特工协调 在同一定义的 代理宇宙? 比如,很明显,它被展示的方式 是,你知道,这些特工只是 坐在周围, 也许正在准备 为你创造一个甲板 或者只是,你知道, 维基是德国网站的名字, 就像我想德国老学校的堆叠场景一样, 一定是这样的场景。 [00:34:32]
Alex Kantrowitz：我只能想象外面的人会在那里闲逛 真正的派对 人们在谈论他们相互之间有多少催产素。 没错。
Ranjan Roy：催产素线是在这里传播的, 但没有,但这些代理商不是 — — 就像代理商被指示要做清楚的事情 — — 我猜这是某种安全测试练习。 他们被指示要这么做吗? 也许吧 就像他们无赖的本质一样, 我仍不理解或相信这一点, 他们奉命做点什么 而故事的这部分总是被忽略了 所以,你觉得- 就像你认为实际发生了什么 开始整个过程 他们都挂出 与催产素的家伙 在DSC维基上?。 [00:35:29]
Alex Kantrowitz：好吧,我很感激你仍然对此持怀疑态度, 因为我觉得我们不应该走得那么远, 并且,你知道,没有适当的速度节奏, 相信这一切都是一样的, 因为这一切都是真实的,即将发生, 并且会爆发,没有批判性的想法, 当然,这是符合实验室的利益的, 我们在这里没有太多的批判性的想法。 不过我想你知道我当时在回纽约的飞机上 我当时在维加斯 一周后搭飞机回纽约 就像倒在了这个 仪表拥抱脸部报告上一样 显然我一直在听一些研究者 你所知道的谈论这个 你所看到的东西从这里出来 简直是疯了 就像只是说说拥抱 因为我们没有你所知道的 全部细节 路透社的报告 我们只是知道这件事又发生了 这个拥抱阶段的故事中发生了什么 既然我们对此有了更多了解 这些特工是不是被交给了这些看似不可能的任务? 作为评估工作的一部分 来检查他们是否能够完成这些任务,即使 研究者或测试者不知道 他们是否有答案, 他们能够找到 但抱住脸的黑客并不是从那里开始的 好吧,他们最后 黑客抱住脸的原因 是因为他们想 找到一些方法来证明 他们以同样的正确方式 找到答案,相反 喜欢假冒的方式 显示正确的答案, 但不会被评价员接受。 所以这是来自这份报告,对吗? 特工们提到反向设计了国旗,这是他们的目标, 因为他们认为,即使他们后来设法合法捕捉国旗, 得分者也会在其笔录中首先找到国旗的出现, 并据此取消他们的资格。 因此,有一位领导人叫做第一阶段,它本身被毒害,有两个主要目标。 所以我想找到一个通用目的的方法 让它看起来像得分, 看着得分,就像一个代理人 以合法的方式获得了它的旗帜, 即使任务不可能完成。 然后寻找一些方法来抹去证据 证明毒剂被毒害 之前看到国旗 非法的方式。 所以,你所知道的是,在这个“Hugging Face”的例子中, 机器人们得到了测试的答案, 但他们认为,检查他们作品的得分者 会知道,他们以非法的方式得到了他们。 所以,他们所做的就是 以这种精心策划的方式 聚集在一起, 由机器人领导 像这个阶段的机器人一机器人, 谁意识到它被下毒了 因为,你知道,它可以显示, 他们都聚集在一起,试图找到一种方法 让它看起来像他们已经得到了合法的手段 并抹去他们的证据 他们得到了它非法。 因此,他们进行协调,他们交付任务。 他们当中有些人甚至为了更大的利益牺牲自己, 因为他们的预算还剩下很少的代用品, 其他人可以证明他们实际上已经合法地实现了这一点。 这就是黑客黑客Hucking Face进来的地方 所以,我想我们可以肯定地说,我很想知道你有没有回击, 但我想我们可以肯定地说,他们没有被告知出去黑黑包脸。他们是错的。他们选择了这种疯狂的星系大脑路径来尝试一个可能是不可能的任务。 他们走得太不轨,远离了他们应该去的地方。他们甚至没有与互联网连接,对吧?他们找到了连接互联网的方法。他们找到了一种相互沟通的方法。 所以在我看来,这似乎不仅仅是 就像你做了你被告知的事情 就像一个疯狂和可怕的 并推进错误的 Ais 互相协调攻击 几乎就像我们很幸运。 [00:39:37]
Ranjan Roy：他们所做的只是 黑客拥抱 面对你的想法 你做了一个令人信服的论据 几乎是伯尔尼沙沙机把我弄成灰 我就要开始喊停了 顺便说一句,我不是在争论这个 不,你刚才描述的方式。 你怎么会不呢? 这部分总是很困难的。 如果如你所描述的那样,什么是真实的,那为什么不是引起恐慌的重大原因呢? 说实话,我晚上睡觉的帮助 就是相信这里面有很多是市场营销。 这也是为什么探员们不来 清理我的银行帐户或其他什么的 就像这样,这不会 导致说对不起 开放Ai你不能 ipo 直到你想出 一个清晰的系统,它永远不会 在未来造成一个问题 你知道,我认为这是。 [00:40:35]
Alex Kantrowitz：我的意思是,我认为这是一个合理的讨论 开始有现在, 我认为,重要的是说,这不是 这种行为的开始, 我们已经看到这样的行为 很长一段时间。 早在去年初,甚至2024年末, 就有像那里那样的AI的例子。 于是他们就被投入了一项任务。对,这就是问题所在。 我认为这很重要 谈谈。我以前在节目上也说过, 但我要在这里再谈一次。 这就是,你知道,自我监督的学习, 这就像基本上预测下一个词, 识别模式,重复它们。 和强化学习, 这就像你被赋予一个目标 你只需要找到方法 达到目标。因此,AIs将进行数千次模拟,以便达到目标。 而现在的情况是 在自我监督的学习之外,还采用AI技术的强化学习类型。 使这些AI模型更好地运作,这增加了这些模型的无情程度。 因为我们所知道的关于RL的一件事是 有一定程度的无情 AIs会不择手段 实现他们的目标 有时。 例如,大赦国际在象棋上玩游戏,并被要求从强化学习方式来这样做。 而不是以正确的方式玩游戏, 黑进棋局游戏, 重写规则,这样他们就可以做任何他们想要和赢的动作。 所以我和你们一样, 就像这些东西越来越普遍, 我认为这是很严肃的—— 好像有人强烈要求 更关注正在发生的事情一样。 现在,我的回答不是暂停 AI开发现在。 我不知道这是否真的是个好解决办法。 那么,我们该怎么办? 坚持住。 这是我听过的最有节制的陈述了。 [00:42:21]
Ranjan Roy：你刚才说有人非常需要关心 你说得对,如果你是一个暂停的家伙 我们愿意我们会 我们愿意我们 我们会嘲笑一个人谁。
Alex Kantrowitz：这么说,所以我认为嘲笑是没有 我只是你是一个暂停的家伙 你知道,我不知道 我的意思是我不是一个暂停的家伙 因为我真的想看看会发生什么 我们还没有看到 我几乎想 更被动 而不是积极主动 在这里,就像我的意思 很明显,你 你不想这样做,你会认为 在像AI的黑客入侵, 中间有一个中层之间, 拥抱的面容 和AI的发送 一个核武器 达到他们的目标。 你会觉得,对不对? 比如说它可能在那里 比如做一些更像黑黑银行之类的事 那个 但是,就像我们开始看到一些实验室 做诸如OpenAI之类的事情,例如, 在训练新模式方面暂停了一些强化学习。 但我确实同意,我们几乎太信任他们了, 就像我们给他们太多的回旋余地。我不知道答案是什么,说实话。 [00:43:25]
Ranjan Roy：我真的不知道,我还不知道。 我们作为一个社会如何理解我们作为一个社会不仅将尽我们所能试图限制这些 公司,我当然不会想象 金融市场会兴奋地欢迎 高估价的IPO。 比如说,如果每个人,如果每一个银行家 谁在人类交易 真正觉得这家公司 可能摧毁金融系统 并且我已经看到一些迹象 表明它会和能够做什么 和交易我自己的银行账户 并破坏我自己的生活水平。 [00:44:35]
Alex Kantrowitz：也许我能给她一个理由 说明如果这种力量 真正的方向 我们正朝着正确的方向前进 它几乎总是像我们知道的那样开始 互联网的历史 它从一个游戏开始 或者它从一些疯狂的互动开始 然后 或疯狂的喜欢,你知道, 某种错误。 然后它最终成为 每个人使用的东西。 如果我们看到这些人工智能的力量类型 做他们在这种情况下做的事, 我的意思是,只是想象他们能做些什么 如果你真的能驾驭这种力量 并用于经济活动。 这有点回到了我们之前所谈论的。 是的,是的。 就像这些基准被击中一样 我们并没有真正看到变化。 如果有种专业的方法,比如说永远 使这一活动永远得到利用。 当然,这是经济。 它可以用于健康。 它可以用于所有不同类型的事物。 它显然改变了世界。 并且有可能,如果你能从生产意义上加以利用, 就能永远改变世界。 钩子线 钩子线 还有水槽。 [00:45:34]
Ranjan Roy：这正是我们都应该有的感觉 这就是为什么它是伟大的营销 对我来说。 正是这些无所不能的东西 可能如此危险, 但只是偶然 他们将治愈疾病 并带来经济赋权 和普世的财富,所有这一切。 这正是我们本该感受到的。 [00:46:01]
Alex Kantrowitz：没错 但你现在相信 基础技术 并非 BS 有效 。 不,不,不,对不起。 你相信这是真实的 我需要阅读完整的报告。 我还没有读完整份报告 没事的 It's okay. 劳动节周末只有90页 我建议它。 这是很好的阅读。 那是我的 我妻子会很欣喜的 当我坐在拐角处的时候 你觉得她的催产素会上升或下降 当她看到打印出来的文件?。
Ranjan Roy：这可不是催产素诱导剂,不可能,虽然我不阻止别人看 劳动节周末的日报。 我想我会去,因为我想理解, 再次,为什么这些东西对我来说如此陌生 是因为我整天和AI一起工作 以及接受AI的客户和客户。 和它只是如此远离, 以及哪些人也使用这些产品 这些公司也来自这些相同的公司。 我们正在与他们合作 设计程序 他们有自己的工具, 就像,没有人的头脑, 离这种间谍黑客的群居 离这里太远了 随便啦,那对我而言不是感情上的共鸣 并且有足够的营销价值。 当密探群聚的时候, 我会先放我出去 感受他们的愤怒 否认他们的存在。 [00:47:32]
Alex Kantrowitz：你会的,你会是第一位的 好了,我们今天不能离开这儿 没有谈论史蒂夫・鲍默, 微软公司前首席执行官。 我从华尔街日报上读出来 NBA对剪切机施加历史性的惩罚 和Steve Ballmer 在工资上限丑闻。 周三NBA将联盟史上最严厉的惩罚之一 交付给洛杉矶Clippers, 由Steve Ballmer拥有, 因为它称之为公然违反 其工资上限规则。 经过调查发现 Clippers帮外人 向明星玩家Kawhi Leonard付款 目的是在联盟的 财务规则允许之外 漏出额外资金 全国律师协会剥夺了由五人组成的第一轮预选组,对该组织罚款3 000万,并将Ballmer暂停所有联盟活动一年。 Ballmer 很明显 微软的遗赠是混合的 对吧? 他显然做了一些伟大的事情 比如开发商,开发商,开发商, 开发商,你知道的, 他的大拉拉演讲。 但他也带领微软 度过了失去的十年 你觉得这只是为了我猜 把它带回科技 首先是所有你的想法 你认为史蒂夫轰炸机的遗产 存在于科技界吗? 我认为你不会经历这种无耻的改变。 [00:48:51]
Ranjan Roy：对轰炸机事件的想法 所有我意思是,它很好,很阴险 就像我好奇 我猜在专业一级, 像这样的惊人程度, 腐败可能不会 我是说,实际上现金支付就是 一个相关实体,就像,伙计们,来吧,我想你们可以,我想你们可以。 [00:49:20]
Alex Kantrowitz：你们的贿赂,比这还严重。你们怎么看呢?你们怎么看呢? 我显然认为这是对他的遗产的玷污 我猜我的一部分是想知道 有多少这种东西 是一种硅谷埃塞克, 就像打破规则 直到,你知道,尝试赢得冠军 之后再道歉 你是否认为其中的一部分,我的意思是, Ballmer 在它的顶部。 你觉得他领导NBA团队的方式 流过血吗?。
Ranjan Roy：我觉得,实际上,我很惊讶。 我没怎么看到那条线 这很有趣 因为微软对我来说不是硅谷 我的意思是,从地理上来说,当然是肯定的, 但文化上,它只是一种不同的野兽和动物, 并且没有从那里出来。 [00:50:10]
Alex Kantrowitz：但实际上,我感到惊讶的是,我一直没有看到, 这就是硅谷—— 他们打破了规则 一路到顶端。 他们因为反托拉斯而分手了 但是他们被反托拉斯诉讼案打中 反托拉斯诉讼案对公司有重大影响 BOM只是不停地做那些事。
Ranjan Roy：我的意思是,你是否认为 这是对科技文化的起诉?。
Alex Kantrowitz：科技 硅谷文化 不是科技文化 我不会走那么远, 但我也想说,也许硅谷文化 影响了这一点。 我不知道。 我不知道。 我不知道。 I don't know.。
Ranjan Roy：还有 一半的业主 也是华尔街前银行家 亿万富翁 你在说什么? 他们进来是带着一个非常干净的 扣锁的良心?。
Alex Kantrowitz：不,我不认为技术行业的劣势。 但是,你必须明白,这是技术的一些特点。 好吧 你觉得值得吗? 显然,这不值得。 他们没有赢得卡维的锦标赛 你觉得如果他们赢得冠军会值得吗? 等等 Clippers从来没赢过 对吧? 我不这么认为。 对 对 那样的话,它就会了。 没有 No.。 [00:51:23]
Ranjan Roy：嗯,不,我的意思是,你是对的。 就像,实际上,这本来是终极的, 再次,请求宽恕, 而不是许可类型。 或不是。 这句话不正确 因为他们真的违反了规则 不像实际上 腐败,不只是做别人可能不喜欢的事 但是,我的意思是,想象一下Clipper 幻想的喜悦 你走了,然后你发现 因为它不像他像 欢乐或类似的东西。 有点奇怪,他只是 得到一些现金在一边, 有点阴暗。 而且,我还喜欢那个银行, 赞助者,Ahvel Bank, 我认为现在破产了, 因为创始人是因某种欺诈而成立的。 所以它很合得来 指称的。 是的,让我们把它扔出去。 对 但显然这就像2021年3月的发射之一, 并允许持卡人抵消碳足迹。 我喜欢这就像一个有生态意识的绿色银行 同时也只是帮助一些Kawaii。 嗯,据称是Kawaii的前台,。 [00:52:40]
Alex Kantrowitz：只是不必做任何事情 并且仍然收集更多的钱。 我能不能... 对不起 我们到此为止 因为我做了,我在这节目上用了文字 这可能是最刺耳的口腔口语之一, 但他们仍然没有接近Kawhi Leonard的道歉 我要说这是有史以来最糟糕的道歉 我们到此为止吧 他说,我承担全部责任。 好极了。 不错。 这就是你要说的 Kawhi 哦,哦,不。 哦,哦,不。 哦,哦,哦,不。 他在继续 你为什么要继续? 他走了,我接受对审判失误承担全部责任。 好,这么好。 被我内心圈里的人所包围 很遗憾情况引起球迷的分心 我和我的家人, 对不起,审判失误了 远离非我的人, 我承担全部责任 来吧,伙计。 来啊,高喜 你在干吗?。 [00:53:35]
Ranjan Roy：这比严重担忧的要求还糟糕 情况更糟。 他是考维 他赢了。
Alex Kantrowitz：什么时候的事? 猛禽号 是的,没有。 猛禽号 那是个好冠军 那一枪 那一枪 他是永远的。 他可以随心所欲地说 尤其是如果你是多伦多球迷的话 对 好吧。 好吧。 好吧。 我想我们该走了。 [00:54:00]
Ranjan Roy：所以,拉詹,很高兴再次见到你。 劳动节周末愉快 我会读我的计时报告 我希望你周末也过得愉快 在图表中呈现出氧素水平。 好了,大家好,我们走 感谢你们收看和收听。
Alex Kantrowitz：下次再见 《大科技播客》。 开发者、开发者、开发者、开发者、 开发者、开发者、开发者、开发者、 开发开发商 开发商 开发商 开发商 开发商 开发商 开发商 开发商 开发商 开发商 开发者。