目录
- 节目导语与指数增长的开场 [00:00:00 - 00:10:00]
- 信任、协作与算力投入 [00:10:00 - 00:20:00]
- 算力爆发、工作冲击与应对 [00:20:00 - 00:30:00]
- 软件工程师变化与宏观政策 [00:30:00 - 00:40:00]
- 政府合作、价值观与边界 [00:40:00 - 00:50:00]
- 漏洞修复、模型开放与安全取舍 [00:50:00 - 01:00:00]
- 自我改进、节奏把控与组织文化 [01:00:00 - 01:05:57]
节目导语与指数增长的开场
# #590.走进 Anthropic CEO 达里奥·阿莫代的思想世界
目录
- 节目导语与指数增长的开场 [00:00:00 - 00:10:00]
节目导语与指数增长的开场
一凯：欢迎收听跨国串门计划,这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI声纹克隆技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音,为您呈现全球顶尖的AI财经。健康与科技领域精品内容。我是主播一凯,一位热衷于AI领域的产品经理,很荣幸能为您搭建这座跨越语言障碍的桥梁。接下来让我为您简单介绍，本期我们克隆的这档节目，并分享几句非常精彩的原话，本期我们克隆的是 Bloomberg Originals旗下 The Circuit在2026年6月17日更新的一期家常访谈，主持人Emily Chang对话 Anthropic CEO Dario Amodei Dario是Anthropic联合创始人，也曾在OpenAI 百度等机构工作。是当下全球AI竞赛中，最受关注的人物之一，它有几句原话让我印象很深，感觉就像指数增长，比如说你坐在一艘宇宙飞船上，以接近光速的速度离开地球，如果你选择的商业模式，从根本上和你的价值观冲突，你会很难办，重要的只有两件事，我们作为一家公司要成功，同时我们要捍卫自己的价值观，我们需要更理性，更温和的做法，这些话背后有很多张力和细节，那我们就一起来听听这期完整对话，你现在睡得怎么样，我一直不是那种睡眠特别好的人，只能说我正在学习怎么在压力异常大的时候，找到放松和睡着的方法，一切都推进的太快了，从内部看这是什么感觉。感觉就像指数增长，比如说你坐在一艘宇宙飞船上 [00:01:46]
Emily Chang：以接近光速的速度离开地球，按照狭义相对论，你睡一觉醒来，地球上已经过去了两天，于是你要在一天里，处理两天发生的事，然后你又去睡觉，因为飞船还在继续加速，醒来时地球上已经过去了三天，再下一天又过去了四天，这大概就是现在的感觉
一凯：你会不会每天睡觉前都很偏执，担心醒来以后会发生什么，我们确实有足够多，迫在眉睫的问题要处理，我一边不停处理这些问题，一边思考我们该怎么做准备 [00:02:17]
Emily Chang：但我不觉得偏执，或者担心醒来以后会发生什么，是有建设性的，我看过历史上一些人，他们也处理过这种高压局面，你需要学会理性应对，不要把不同危险之间的比例关系搞乱，一会儿说我不担心，一会儿又说天，今天必须恐慌，这种来回摇摆，我觉得是不成熟决策的标志，真正成熟的决策是，你不能忽视它，我们不能自满，事实上风险正在变得越来越大，但我们必须理性应对，就像外科医生做手术，或者军官指挥一次军事行动，任何要做出影响很多人的决定的人，都必须理性决策，他们必须理解风险，但也必须保持基本的冷静，我儿子昨天还问我
一凯：能不能用你的Claude Code的账号，我说绝对不行，我需要我的tokens 我们在消费级场景里，也看到越来越多这种情况，我们本来想更像一家企业级公司，但即使我们没有在消费级市场上，投入那么多精力，它也开始增长得很快，你现在站在AI宇宙的中心，这是什么感觉，有意思的是，我整个职业生涯里，尤其是在Anthropic的这段时间里 [00:03:21]
Emily Chang：体验一直像一条平滑指数曲线，平滑指数曲线给人的感觉是，什么都没发生，什么都没发生，什么都没发生，然后发生了一点小事，接着一下子就失控般加速，这是我对世界的感受，也是公司规模相对于其他公司，相对于整个世界时的感受，所以我看这个图已经看了一段时间，我当然说大概就在这个时间点，我们会成为收入最高，估值最高的AI公司，结果确实发生了，所以从一个角度说，我并不惊讶，因为图上就是一条平滑的线，但从另一个角度说，当事情真的发生时，你会看到更多细节和色彩，那当然还是会让人惊讶，不过我们仍然记得，自己一直在关注的那些问题，怎么训练好的模型，怎么把它们放进好的产品里，怎么确保一切安全，还有怎么帮助人们，同时管理这项技术
一凯：带来的社会风险，问题还是那些问题，只是好像被放在了，更大的显微镜下面，你小时候在旧金山长大，是什么样的孩子，我知道你父亲是皮革工匠，母亲在图书馆工作，这些经历怎么影响了你，当时第一波互联网革命，就在我身边发生，但我完全没有兴趣，我只对做数学感兴趣，喜欢随手写下我感兴趣的东西，想理解宇宙，我也喜欢科幻，那大概就是我当时所处的整体环境，我觉得自己只是对这个世界，有很强的好奇心，你成长的这个城市是科技中心，现在它又是AI的中心，这里这座城市，有没有什么东西，影响了你的世界观，我觉得那种不随大流，强调个人主义，允许你看起来，有点疯狂的整体氛围，确实在很大程度上影响了我，你会听到一些故事 [00:04:40]
Emily Chang：说你去欧洲一些国家，或者美国其他地方那里，会不太鼓励你，用不同方式思考问题，甚至会觉得这很奇怪，你有一套疯狂的想法，也会被觉得奇怪，我对硅谷其实有很多批评，但我觉得它好的一点是，它会鼓励你，就算所有专家都反对你，也没关系，如果你有一个连贯的愿景，对世界有一套连贯的看法，你就应该去追，也许它完全行不通，但如果行得通，它会有一种常委效应，你在某些地方挖某些矿脉，可能就会发现一个巨大的金矿，我觉得这种精神非常重要 2016年 [00:05:34]
一凯：你的妹妹Daniella 她的丈夫Hoden Karnowski 住在同一个合住房里，那时候你们都在争论什么，我觉得那段时间 Open Philanthropy Project 刚刚开始做起来 [00:06:14]
Emily Chang：Hoden是负责人，当时我是一名生物科学家，所以我在帮他们看一些事情，比如发展中国家的健康问题，或者生物研究，我会就这些方向给一些建议，看看哪些领域有前景
一凯：哪些领域没那么有前景，你离开OpenAI的决定，已经成了硅谷传说，到底发生了什么，除了外界流传的版本，真正的问题是什么，你们到底在哪些地方有分歧
Emily Chang：我就直说，简单说，当你在打造强大的技术时，会遇到很多困难的问题 Anthropic每天也会遇到，我们也不知道自己做的决定，到底是对还是错，所以在安全问题上，有很多合理的分歧，我们和他们当然也有过一些这样的分歧，但光有分歧，不足以让人离开，这里的人也会和我有分歧，这里的人彼此之间也会有分歧，可是当你觉得自己不能信任某个人，当你觉得他们的价值观，并不是他们嘴上说的那样，当你觉得他们不诚实，当你觉得他们做这件事，并不是出于他们声称的原因，当你看到一些令人不安的行为模式，看到不诚实，这就会让你很难继续和一家公司共事，也很难继续信任这家公司。归根到底，如果你们没有相同的愿景，而且你也不信任对方，那为什么还要争呢，解决办法就是，你去做你的事，他们去做他们的事，我完全接受这个状态，我们按我们的方式做事，他们按他们的方式做事，我们会看到谁在市场上赢，也会看到谁在公众舆论的法庭上赢，我觉得这些结果，比那些关于谁为什么离开了，什么地方的戏剧化说法，更有说服力，我们正在提供一个例子，展示如何以我们认为负责任的方式，部署这样技术，如果他们不同意 [00:07:47]
一凯：他们应该把自己的论点讲出来，我觉得关于这件事，基本也就这些可说的，在印度AI峰会上，有一刻你和Sam Altman 好像拒绝在台上牵手，那到底是怎么回事 [00:08:25]
Emily Chang：当时的情况是，那个峰会组织的非常混乱，我们都是最后一刻才上台的，他们临时改了我们的站位，然后给我们拍照，接着又命令我们所有人牵手
一凯：如果你参加过这类峰会就知道，我不是在特指印度不好，但这种有国家元首参加的国际峰会，通常都特别混乱，可是其他人都牵手了啊，别这样，我也不知道该怎么跟你说 Narendra Modi突然就在台上，让所有人赶紧牵手，好吧，那我们这么说 Sam和Elon正在互相起诉，你也不喜欢Sam 看起来，如果这些在打造世界上，最重要技术的人，连在台上牵个手都做不到，我们怎么相信，你们会在生存风险问题上合作，我可以这么说，做这项技术的人
Emily Chang：质量和可信度差异很大，我觉得现在有个说法，好像大家彼此都不信任，这个说法不对 德米斯·哈萨比斯在做Gemini模型，是Claude模型很强的竞争对手，我认识他15年了，我们在很多问题上合作过，我们从Google购买算力，也一直交流AI安全方面的想法，所以我的看法是，第一，有些参与者比其他人更值得信任 Anthropic之外，也有一些人，我信任他们 [00:09:31]
信任、协作与算力投入
# #590.走进 Anthropic CEO 达里奥·阿莫代的思想世界
目录
- 信任、协作与算力投入 [00:09:59 - 00:20:01]
信任、协作与算力投入
Emily Chang：我信任他们，也认为他们值得信任，我觉得接下来需要做的是，让值得信任的参与者联合起来，把那些不值得信任的参与者，放到一种位置上，让他们也不得不采用同样的标准，这么多年下来，我学到一点，有些人不会主动做正确的事，但如果行业里的大多数都在做正确的事，那我觉得行业里剩下的人，也会被放到一个位置上，基本没什么别的选择，只能跟上来，这里有积极的一面，就是你能激励别人，比如Demis和我会互相激励，他做AlphaFold 我们也在生物领域尝试做一些事情，我们做可解释性研究，他们也开始做可解释性研究，这甚至不算竞争，只是每家公司做了很酷的事，另一家公司会说，这很酷，我们也想做做看，看看里面有没有新的东西，是我们能做出来的，这就是向上竞赛里。比较像胡萝卜的一面，还有大棒的一面，或者说隐形的压力，你会说，好，这些人在做正确的事，那些人如果不做正确的事，就会显得很糟糕，我们经常看到一些行为，他们有点不情愿的，做了正确的事，同时还假装自己在做别的，并暗示我们有什么坏的，阴暗的东西 [00:10:53]
一凯：这其实也在预料之中，但我认为，这就是让行业走到一起的方式，也是让行业合作的方式，早期别人关注的是，好玩吸睛的消费者应用，你压住的是编程和企业级市场 Claude Code现在很火 Claude Code确实很火，你为什么下这个赌注，这是价值观上的决定，还是商业上的决定，我们创办Anthropic的时候 [00:11:16]
Emily Chang：最根本也始终最重要的事，是我们想做成这件事，但接着你就得问自己，要资助这些模型的研发，而这件事非常昂贵，那它就需要是一家公司，需要有商业模式，商业模式会不会妨碍价值观，这个问题一直存在，但我从在其他公司工作的经历，以及观察其他公司的经历里学到一点，如果你选择的商业模式，从根本上和你的价值观冲突，你会很难办，要么你背叛自己的价值观，要么你变得无关紧要，你最后会陷入一种两难困境，当然也有办法脱身，有办法绕开，但那就是一个很难的局面，更好的做法是选择一种，和你的价值观相容的商业模式，所以当时我们思考这个问题是，就是说我们已经见过社交媒体世界，消费者世界。它真的很容易鼓励用户参与，甚至鼓励成瘾，我们在AI视频模型里，看到的那些低质内容也是这样，问题是它到底想做什么，是不是想最大化你投入注意力的分钟数，因为这是广告收入驱动出来的激励，但如果看企业级市场，我们想让这些模型真正对人有用，如果我想一想 AI能带来的所有正面事情，我确实经常警告那些负面事情，但归根结底，我们认为正面会超过负面，而这些正面的事情，很多基本都属于企业级AI这个范畴，我们想用AI治疗过去无法治愈的疾病，那就是和生物技术公司合作，和制药公司合作，和学术研究团队合作，这些都是企业，我们想用AI让能源更便宜，更高效，这也都是企业级场景，我们想用AI帮助教育。大部分也是企业级场景，我们想用AI去改善发展中世界的健康问题，他们可能是非盈利组织，但本质上也算企业级客户，我们想提高经济增长，这基本上也是企业级场景，还有另一个因素，就是企业非常重视信任和长期关系，消费者市场可能会有一种近乎噱头化的东西，但企业级市场看重的是，你建立一种关系，你和一家公司合作很多年，你兑现你说过的话，他们也兑现他们说过的话，然后他们基本上信任你，所以这和我们的目标非常协同，也就是以积极安全的方式，部署这些模型，因此我认为这种商业模式，大体上和我们的价值观一致，对我们很有帮助，不是说其中从来没有冲突，也不是说我们不用做艰难选择，但我认为这类选择的数量 [00:13:30]
一凯：比选择其他商业模式时，要少得多，开发者一个下午就能从Cloud 切到GPT或Gemini 在这个行业里真的可能长期领先吗，一个强劲的竞争对手 [00:14:22]
Emily Chang：要复制你们做出来的东西需要多久，模型质量是最重要的，我们现在在模型质量上领先很多，这里面确实有一些惯性，但我从来不依赖这个 Anthropic从来没有依赖过那种想法，就是这个产品粘性很强，用户不会换，我觉得你要有更好的模型，要有更好的产品，我们看到增长率完全没有拐头，至少在录这次采访的时候
一凯：不但没有下降，反而还上去了，所以我倾向于认为，模型质量才是最重要的 Quadco发布后不久 2850亿美元的市值一夜之间蒸发，交易员把这叫做SaaS末日，如果AI继续以这样的速度进步，传统软件会有多少被取代，速度会有多快，这是那种很难提前预测的问题，如果你能提前完全预测，那大家都会去市场上赚一大笔钱 [00:15:02]
Emily Chang：而且每次都能预测，所以没人确切知道接下来会发生什么，但我会指出几点，所有这些传统软件公司都有不少护城河，我认为接下来会发生的是，有些护城河会消失，但另一些会留下来快速写软件的能力，我很确定这个护城河会消失，如果你的护城河是我们写出了这套复杂软件，别人写不出来，那祝你好运，你守不住，但我认为很多公司有客户关系，有对这个领域怎么运转的经验，也有独特的行业知识，所以我给这些公司的建议是，显然不要自满，不要无视它，把你所有的护城河列出来，而且要非常清楚，其中一些会消失，另一些护城河会变得相对更重要，因为它们会成为限制因素。也可能会出现新的护城河，我认为那些反映灵活的公司，那些主动围绕仍然存在的护城河，和新护城河来调整的公司，会做得很好，那些自满的公司，那些骗自己，说过去有效的东西以后，还会继续有效的公司，日子不会好过，这就是我会给出的建议，到最后，我猜这取决于你把什么叫SaaS 什么不叫SaaS 但我猜软件行业会变大，而不是变小，虽然里面会有一些大输家，解释一下，我只是觉得这个蛋糕在变大 AI会让蛋糕变大，现有的头部公司，相对占比可能会变小，其中一些公司的价值，可能会下降，有些如果没有用正确方式适应，甚至可能会倒闭，但我觉得在增长非常快的时候。你经常会看到这种情况，如果AI能做到的事情，增长了10倍，那么一个现有的头部行业，增长1.5倍，其实很容易，只是它没有整个大蛋糕，增长的那么多，所以我觉得这可能会发生，但这并不是说，不会出现一些大输家，那些不适应，把头埋进沙子里 [00:17:19]
一凯：不去看清将要发生什么，不去识别自己，有哪些护城河的人，会非常艰难，你们最大的支持方，包括Amazon Google Microsoft 和NVIDIA 他们都有自己的议程，他们既是合作伙伴，也是竞争对手，你们有很大的商业里程碑和融资挂钩，到底是谁在做主，有很多次，我们都很直接地说出了自己的看法
Emily Chang：即使我们签了更多合作协议，我现在还是会再说一遍，他们知道的是，我们一直和他们合作，我们一直是好的合作伙伴，我们可以一起做事，我相信他们希望我们不要说这些话，但这些就是我的信念，那你能怎么办，归根结底，他们从这些交易中获得的好处，和我们一样多 [00:18:04]
一凯：我们都是成年人，我们可以在一件事上合作，同时在另一件事上有分歧 Bomber报道说，你们的估值已经高于OpenAI 我们说的是一家成立五年的创业公司，估值接近一万亿美元，你怎么看这个数字，如果你们在算力上更克制，盈利路径也更快，为什么还需要这么多钱，算力正在非常快的增加，对吧，所以业务基本面看起来很好
Emily Chang：同时也可能出现另一种情况，一年之后，你拥有的算力会变成现在的三倍，四倍，具体数字我不说，但算力增长确实非常快，我们也完全预期，收入增长会追上并超过算力增长，但融资就是为了给这种不确定性留缓冲，所以这是一件完全理性的事，对公司来说稀释比例非常小，从逻辑上讲
一凯：这完全不等于业务基本面出了问题，事实上它和相反的情况是兼容的，也就是业务基本面并没有问题，有报道称，你们的服务器压力很大，可靠性也有问题，还有人抱怨tokens不够用，你说过，其他公司在基础设施上压得太激进，那你们到底有没有自己需要的资源，还是也在追赶，算力这件事 [00:19:21]
Emily Chang：有一种东西叫营销里的算力，我的看法是，只要时间拉长一点，哪怕不只是几个月，我们是能拿到大量算力的，这里有一点值得说清楚，我不认为按任何合理标准看，我们买的算力太少了
算力爆发、工作冲击与应对
# #590.走进 Anthropic CEO 达里奥·阿莫代的思想世界
目录
- 算力爆发、工作冲击与应对 [00:19:59 - 00:30:00]
算力爆发、工作冲击与应对
Emily Chang：我们买的算力太少了，我们原本规划的是算力每年增长10倍，每年10倍，这是我们的预期，但实际情况不是这样 2026年第一季度，我们看到收入按季度增长超过三倍，注意是一个季度里超过三倍，不是年化三倍，当然三的四次方就是一年80倍，我们没有按年化80倍的增长来规划，按年化80倍来规划也不理性，因为如果最后只有10倍，你就会发现自己多准备了8倍资源，所以我们现在处在一个局部极端的算力爆发期，这种情况不会一直持续，如果一直持续到年底收入数字会高到地球上，没有任何公司能达到，我不认为会发生那种事，也不可能发生，但短期内确实会出现这种阶段，让你觉得天哪，这个增长速度。比我们曾经能预想到的任何情况都快，不过你也看到了，我们和Google的算力协议，也看到了我们和Amazon的算力协议，还有更多协议，我们可以做也会做，市场是有流动性的，如果你真的能很好的使用算力 [00:20:53]
一凯：而且需求在那里，你就会拿到算力，可能只是需要一两个月，超过你的头号竞争对手，这感觉好吗，我面前还有很多艰难挑战 [00:21:10]
Emily Chang：而且我们一直讲，向上竞赛这个想法，就是希望把其他公司，也一起往上拉，我觉得我们已经看到，这种效果了，我们确实把他们拉上来了，有时候他们不承认，自己是在这么做，有时候他们一边攻击我们，一边抄我们，但这种带动作用非常有价值，所以我认为，成为最重要的公司，不管是在商业上，还是在模型上，它的价值不在于为了打败对手而打败对手，它的价值在于，我们有能力带动整个生态一起往前走，我们希望未来能做更多这样的事
一凯：但是赢了多多少少总会感觉不错吧，我们当然一直在努力成功，我们当然不是在这里努力失败，我不是那种认为应该关停这项技术，认为我们不该构建它的人 [00:22:00]
Emily Chang：我们是在自由企业体系里运行的，这件事本身没有什么不对，我们只是必须降低模型带来的风险，所以这一直是在两者之间做平衡
一凯：在Antarctic大部分历史里，你们都是弱势一方，我想在还没什么可失去的时候，占据道德高地会更容易，到了现在这个规模，要坚持自己的价值观有多难
Emily Chang：我会说我花了很多时间思考这件事，也就是公司规模扩大之后会发生什么，在公司的每一个规模阶段，我都很警惕，每到一个新阶段，公司都会遇到新的挑战，也会出现新的失败方式，公司可能失去商业上求生的意志，也可能失去价值观的核心，这两点我都担心，因为我认为他们是相互促进的，我其实认为，正是因为我们能做出这么好的模型，我们才有能力在公司成长，规模变大时，用一种有效的方式，坚持自己的价值观，这里有很多陷阱，也有很多可能走错的地方，不是因为我联合创始人，或者公司领导层的价值观变了，而是因为公司的人员，构成变化的非常快，所以我大概有一半时间。都在和公司内部的人，谈Anthropic的文化，以及这种文化是怎么运转的，当你增长这么快，就会从大型科技公司招来很多人，如果你不告诉他们 Anthropic是怎么运作的，他们就会自然附现，自己唯一熟悉的东西，也就是他们原来那些公司的运作方式，所以这是一场持续的斗争，也是一项持续的挑战，对我和Daniel Amodea来说，可能最重要的优先事项，就是搞清楚怎样把这一点保留下来，因为我们认识到，从长期看，这就是我们是谁的核心 [00:23:33]
一凯：你们的产品迭代速度太惊人了，你们发的又多又快，你们是怎么做到的，我会说有两个原因，第一，我们是一家很统一的公司，有统一的文化 [00:24:09]
Emily Chang：公司变大了，但效率还是非常高，大家仍然在统一个方向上，文化和组织都很一致，我觉得这是最大的因素，第二大因素是Cloud本身，我们现在用Cloud来帮助开发模型，让模型更高效，也更快地开发产品，这里面需要摸索各种新的做法，我们还在起步阶段，但它已经带来了很多加速
一凯：而且越来越能稳定地带来加速，所以我会指出这两个因素，你能不能告诉我，你见过AI做过的最疯狂的事是什么，我见过一些最让人惊讶的东西
Emily Chang：发生在生物学和医学领域，我见过好几个案例，包括Daniella的一个案例 Claude诊断出了一个医学问题，而一群很厉害的医生之前都漏掉了，在生物学这边，模型也开始在药物设计，计算化学这类任务上，变得出奇的强，我以前是做生物学的，所以我看到会觉得，哇这很难，你需要大量训练才能做这个，而Claude正在变得很擅长，我觉得这就是一个，我们会获得巨大收益的领域，这是AI积极的一面，我们会得到非常巨大的好处，生活会变得更好，人类体验的质量会变得更好，一个世纪的科学进步，一个世纪的科学进步，以及一个世纪关于做人是什么样的进步，回到1900年想想，想想19世纪末 20世纪初，人们面对的所有问题，所有让人过早死亡的原因。所有他们不得不忍受的痛苦，还有我们今天不再需要面对的物质匮乏，然后再想象一下，再来一个这样的100年，我真的相信，如果我们能挺过这一关，而且我认为我们会做到 [00:25:55]
一凯：我也越来越乐观，那么这个世纪的科学和医学进步，会带来一个好的多，好的多的世界，我知道你很喜欢写作，你也因为写文章而出名，你会用Cloud来帮你写吗，会，我还没有到允许Cloud 直接写出的文字，进入我文章的程度，因为我的风格太具体了，我有点挑 [00:26:09]
Emily Chang：但我基本上会用Cloud 帮我头脑风暴，帮我梳理主题，帮我想，比如这里可以用哪些参考材料，所以它扮演的是一种辅助角色，我不知道Cloud距离写得比我更好，还有多远
一凯：现在还没到，但我觉得这肯定会到来，我也喜欢写作，而且我觉得写作会帮助你在想法里，挣扎推敲，这里面有很多批判性思考，如果我们让Cloud来做，会不会失去这一点，我有点担心这一点，事实上这也是我自己写作的一半原因，写作当然是面向外部受众的，很多人会读我写的东西
Emily Chang：但它同样也是为了澄清我自己的思路，让我知道接下来该做什么，也让我和其他人之间有一个共同的参考点，我觉得我们还在处理一个问题，到底怎么使用AI才能保留这些好处，我现在的做法，我觉得能做到这一点，我用Code做研究，也用Code帮我组织自己的想法，如果我们只是端到端地用它，比如直接让它写一篇，关于AI风险的文章，首先它写不出我真正想的东西，其次我也确实会失去，刚才说的那种好处，随着模型变得更好，我觉得可能会有某种方式，让我们更直接的把它们用于写作，而且仍然保留这些好处，但我觉得这会是很微妙的事，不会是一刀切，我们需要随着时间慢慢摸索，我认为我们可能会看到一种很不寻常的组合 GDP增长非常快 [00:27:11]
一凯：同时失业率很高，或者至少就业不足，低薪工作很多，不平等程度很高，你对工作流失一直说得很直接，你说过AI可能会在未来一到五年内，消灭一半的入门级白领岗位，那是一年前说的 AI发展得非常快，现在还是50%吗，还是更高，我一直都是这么说的，你回去看那些最早的片段 [00:28:04]
Emily Chang：他们总是被断章取义，只减出三秒钟，但我真正的说法一直是，我不知道会发生什么，但这是一个数量级，说明事情可能会疯狂到什么程度，而且我也一直在讲，我们可以怎么应对，比如我讲过Token税，讲过和企业合作，帮助人们适应变化，我对再培训项目有点怀疑，但也应该把它们放进工具箱里，还有宏观经济政策，其实从一开始我就在谈解决办法，但不知道为什么，人类心理里总有一种倾向，就是只减除三秒钟，说末日要来了，所以我的信息绝对不是末日要来了，我的信息是这件事我们应该提前看到，我们对此感到担心，也需要真正积极的应对，我不知道确切会怎样，但我还是很担心，我的担忧大体还是同一个数量级。我们现在确实看到AI正在让人更高效，但这通常只是中间那个峰值阶段，如果回到工业革命那类历史，我在The Adolescence of Technology里写过这个，你把一份工作90%自动化了，很好，人们在剩下的10%里效率提高10倍，因为他们的杠杆提高了10倍，但最终它会接近100% 接下来的问题就是，那你必须给他们找到别的事情做，长期会怎样，我不知道，我真的不确定，但我确实认为会出现一些适应方式，我举一个例子 [00:29:25]
软件工程师变化与宏观政策
# #590.走进 Anthropic CEO 达里奥·阿莫代的思想世界
目录
- 软件工程师变化与宏观政策 [00:29:59 - 00:40:01]
软件工程师变化与宏观政策
Emily Chang：我举一个例子 Anthropic内部的软件工程师，我们现在正在经历这种转变，目前AI会让软件工程师更高效，即使AI写了全部代码，或者几乎全部代码，它仍然是在让人更高效，但我们已经开始看到一点苗头，可能有些人并没有因此变得更高效，对那些事情来说，直接让AI去做反而更好，这是一方面，另一方面是，我们还会需要更多什么样的需求，我们有一种岗位叫前沿部署工程师，或者叫应用AI解决方案架构师，他们的工作是技术工作和客户沟通的混合，这类岗位需求很大，因为客户很多，我们也增长得很快，当然，是不是每个纯软件工程岗位的人，都能转到这种工作，不是，它并不完美，也不是一对一对应。但这能让你大概感受到，会有非常大的冲击，同时事情也会调整，最后哪一边占上风，我不知道，但正因为如此，提前警告才重要，只有这样我们才能应对，才能制定政策，这包括Anthropic内部的政策，也包括面向整个世界的宏观经济政策，我们想拿出经过认真思考的观点，我们不想说那些人们，不相信会真正发生的事 [00:30:52]
一凯：我们也不想说半生不熟的东西，我们想认真思考，到底应该怎么处理这些问题，你们发布过一张图，展示了潜在的工作冲击，比如销售金融，哪些工作会消失，谁会被替代，又会创造出哪些新工作，没有人能确定，因为经济是不可预测的，就像股市一样，它们都是这种去中心化的过程，你没法提前真正知道 [00:31:18]
Emily Chang：一份工作里还有哪些部分，人类仍然能做，但我大致会说，只要是入门级白领工作，不管是银行金融，还是其他类似领域 AI都会有很大潜力，先让人更高效，但之后就会进入下一步 AI可以整个完成这份工作，然后我们就必须思考，人还能做什么，我认为我们需要提前规划，我们已经在这么做了，当我们和企业客户交流时，会看到他们面对的选择，他们可以选择节省成本，这通常意味着少招人，用更少资源做基本相同的事，也可以选择用同样多的资源做更多事情，只要有可能，我们总是尽量推动他们选择后者，也就是用同样多的资源做更多事，因为这基本意味着招聘同样数量的人。甚至可能招更多人，只是去做新的事情，我们是在把他们推向正合的方向，对我们有利的一点是，整个蛋糕会变大很多，正因为蛋糕会变大很多，大概率会出现一些地方，让人们可以转过去，问题只是，我们能不能足够快地，找到这些地方 [00:32:39]
一凯：冲击的规模会很大，这就是我在提醒大家的事，但我们必须解决这个匹配问题，那你帮我把这个场景推演一下，五年后你醒来，这个国家会是什么样，那些人都在做什么，如果失业真的那么严重，革命不就是这样开始的吗，这正是我们想避免的结果，这绝对是我们想避免的结果，我觉得还有几个方向，但没有一个是确定的，我们也不敢说一定会发生，首先是物理世界 [00:33:00]
Emily Chang：现实世界里的东西，当然机器人革命也在发生，但它比AI现在的发展慢很多，人们总是在说建数据中心，可是当处理任何类型的信息，都变得容易的多以后，也许真正的限制会落在物理世界里，所以我们会需要更多人去制造，建设，生产现实世界里的东西，还有一类是以人为中心的工作，我觉得这会很重要，我听过很多故事，说AI发现了我的医生没发现的问题，听起来当然很好，但人们确实想和真人交流，尤其是在重要事情上，也许AI能做更好的客服，但即便如此，人们或者至少一部分人，还是想和人交流，所以这种由人际关系驱动的工作，我觉得会很重要，我也认为，人类会在某种程度上。负责指挥这些AI 因为归根结底，它必须符合某些人的价值观和意图，所以我觉得那里会有人的角色，只是这个角色会很薄 [00:34:22]
一凯：还是会很厚，我不知道，这个很难说，外界有很多反弹，我知道你说过，你是在试图警告人们，但Jason Huang说，你把任务和工作混为一谈了，也有人说这有点像末日营销
Emily Chang：而且对Anthropic有利，我想说清楚，而且要强烈反驳这一点，关于失业风险，以及我们有哪些应对思路，这整套图景，我们其实一直在讲，我们还没有把所有想法完全展开，因为我想把它们做对，但Anthropic已经提出了很多想法，我们做过经济资助，也有经济指数，在The Adolescence of Technology里，我谈到过应对这些风险的可能办法，从税收宏观经济政策，到未来新的工作会是什么，我还花了大概五页，专门讲任务和工作的区别，我讲了为什么这一次和以往不同，也列了六种我们可以做的事，从私人慈善到政府行动都有，我谈问题也谈解决方案，但社交媒体，我非常讨厌社交媒体，作为一个类别我就很讨厌。人们拿着一年前的三秒钟片段说是，他们根本不读那些文章，或者他们就是利用社交媒体的机制，我其实已经用更谨慎的方式，写过这些事情，也认真谈过这些风险，说这是廉价营销，这个说法本身才是廉价营销，这是懒惰，是不愿意认真面对严肃的思想工作，我觉得这也是问题的一部分，再说一次，我认为这是硅谷的一种病，他被卷进了这个三秒钟社交媒体世界，所以人们只回应那三秒钟，或者他们以为自己只需要回应那三秒钟，我觉得这非常危险，这样我们就没法进行成熟的讨论，结果人们只是懒洋洋的看一个三秒钟片段，然后说Darryl是这个意思，这太蠢了 [00:35:40]
一凯：也太不严肃了，只要有人说这种话，我就会降低对他的评价，全球领先的AI公司之一，已经深度嵌入美国国家安全的很多不同环节，包括军事行动，我们当然不是为了钱才这么做 [00:36:27]
Emily Chang：这件事非常麻烦，就算不谈那些法律战，光是接入政府网络就非常麻烦，而且钱并不多，所以我们做这件事是因为我们在乎它，同样的正因为我们是在乎这件事，才去做这件事，所以这项技术的使用必须有限制，我在The Adolescence of Technology里用过一个说法，除了那些会损害我们自身价值观的用途之外，我们应该用尽一切方式使用这项技术，我们的红线是大规模监控和全自主武器，我相信这些东西会损害我们的价值观，如果民主国家为了获胜而去做这些事，那这样的胜利就不值得，这就是我看到的平衡，也是我们采取的立场，它既解释了，为什么我们是第一批，和美国国防部合作的公司，也解释了，为什么在别人，愿意做某些事的时候，我们有些事不愿意做，我认为你必须选择一个立场，然后守住它。有些公司一会儿说，我们不会和政府做任何事，一会儿又突然变成，我们要和政府做所有事，我不理解，你应该选定自己的原则 [00:37:46]
一凯：然后坚持下去，你们从2024年开始，就一直和Palantir合作，没错，你也知道他们的技术被ICE警察部门还有加沙使用 Cloud有没有以其他方式被用于监控
Emily Chang：我们不和ICE合作，不管是通过Palantir还是通过其他任何人，我们也不和CBP合作，我认为我们没有在加沙开展合作，我们非常谨慎 [00:38:10]
一凯：会把合作范围限定在我们相信的事情上，所以你画下了自己的红线，总统把你们排除在联邦政府之外，五角大楼把你们标记为美国供应链风险 OpenAI立刻接手，签下了你们不愿意签的合同，这场仗到底怎样才算赢，我不认为这里有什么赢，对这样一家私营公司来说
Emily Chang：这不是Anthropic想要赢，或者会用输赢来思考的一场仗，这更像是，甚至我都不想把它叫做一场仗，它更像是一场辩论，讨论政府应该如何正确使用AI AI是一项正在出现的新技术，我们还不了解它在哪些方面可靠，哪些方面不可靠，我们也还不了解，它会在哪些方面推动我们的价值观，在哪些方面损害我们的价值观，所以我认为重要的一件事，是为一些使用场景树立先例，有些场景我们认为是好的，坦率说大多数都是好的，还有一些场景，我们会担心，正如我说过的，单靠一份合同能做到的事情有限，我们已经看到别人可以签一份合同，而那份合同不尊重你同样的红线，但这件事确实提高了外界对这个问题的关注。现在国会里也有严肃的两党努力，试图禁止一些我们担心的事情，并试图设定护栏，我还是不想把这说成一场仗，但如果说有什么成果，那就是推动我们的国家更认真的思考，这项技术怎样用才是合适的，别人说你是意识形态疯子 [00:39:39]
政府合作、价值观与边界
# #590.走进 Anthropic CEO 达里奥·阿莫代的思想世界
目录
- 政府合作、价值观与边界 [00:39:58 - 00:50:00]
政府合作、价值观与边界
Emily Chang：别人说你是意识形态疯子
一凯：或者说你们是一群左翼疯子，你介意吗，我一直被人说过更难听的话，别人想怎么说，我怎么说Anthropic 都可以，重要的只有两件事，我们作为一家公司要成功 [00:40:01]
Emily Chang：同时我们要捍卫自己的价值观，从某种意义上说，我的人生其实很简单，因为当你要做的就是这两件事时，事情就很简单
一凯：你永远知道自己站在哪里，一位美国官员说，在LM的帮助下，美国军方已经从每天能够打击1000个目标，提升到每天打击5000个目标，这意味着Claudia可以帮助更快地杀死更多人，你对此感到安心吗，我觉得这里有两件事，一件事是美国在军事上能不能更有效，我支持美国拥有这种能力
Emily Chang：我认为这种能力变强，不会引发战争，而是会威慑战争，你其实是在问，你是否相信这个国家，你希望这个国家在世界舞台上，更有力量，还是更没有力量，我的答案是，希望更有力量，我是爱国者，另一件事是，美国政府正在执行的某些具体政策，我知不支持，显然有些我支持，有些我不支持，但这不由我决定，如果我们提供一项技术，美国国防部也提过这一点，而我们其实同意他们的看法，如果我们提供一项技术，就不该由我们来说，你可以做这个军事行动，不能做那个军事行动，我私下可能认为，这个军事行动有道理，那个军事行动是个坏主义，但我们不会因此拒绝提供技术，你必须把政策留给军事决策者。你能做的是设定一些高层边界，对我们来说，这些边界要防止那些，看起来不符合我们价值观，也不符合我们国家价值观的用途，同时也要推动那些，我们认为能促进这些价值观的用途，这就是我们的思考方式 [00:41:45]
一凯：我们不知道 [00:42:04]
Emily Chang：我们无法接触到这些信息，也不知道这些模型具体是怎么被使用的，显然战争中发生的这些错误非常非常可怕，这是一件非常可怕的事，如果这还不能说明，为什么我们必须坚持反对某些我们不支持的用途，那我不知道还有什么能说明，我们当时愿意冒着公司未来的风险，去限制这些模型的使用方式，而你说的这个用途，甚至还没有违反我们的红线，我们担心的是，如果出现违反我们红线的用途，类似问题可能会多出一百倍，当然我还是要说，我认为总体来看，使用这些模型是合适的，静效果是好的，但军事决策者会犯可怕的错误，即使在最理想的时候也会犯，而我不知道我们现在。是不是处在最理想的时候，这里有几件事可以谈，比如制定红线，防止模型被用于，更可能导致这些问题的场景，如果我们允许全自主武器，如果我们直接放开，而现在几乎其他每家公司，都已经在这方面放开，那会怎样，这里的情况是 Cloud提供辅助，但最后由人类做决定，所以最后那个决定是人做的，不是Cloud做的，想象一下另一个世界，不是Cloud 因为我没有允许这种事，而是别人的AI模型 AI模型直接做出决定，人类根本看不到，这就是我们要坚持反对的事，这就是我们当时在抗争的事，我还想说，这里还有另一件事，我还是认为，用采购来处理这个问题，不是正确方式，但我们必须确保一件事，美国人民关心的。不是我作为技术供应商关心的，而是美国人民关心的是，军事决策者不能犯这些错误，他们必须可靠的行动，必须明智地选择要做什么，这同样是我作为公民关心的事，也和我作为技术供应商有关，政府大量使用Microsoft Excel 如果我说Microsoft 你可以把Excel用在这个军事行动里，但不能用在那个军事行动里，现实中你做不到，但希望这能让你理解 [00:44:14]
一凯：我们是怎么思考这个问题的，那所学校有网站，用Google搜一下就能找到 Cloud难道不应该发现这一点吗 IE或者他们用的任何技术，难道不应该发现这一点吗，这是不是说明了一个更可怕的问题，在战争中把技术当捷径，我要说的是，我不知道具体情况，这可能涉及我不了解的机密信息，但我们确立的原则，我认为这里也遵守了这个原则
Emily Chang：就是由人来做最终决定，我不知道Claude 或任何其他AI扮演了什么角色，但如果这都不能说明，为什么这个原则如此重要，那我不知道还有什么能说明 [00:45:11]
一凯：AI战争更有可能阻止第三次世界大战，也就是美国和中国之间的战争吗，还是更有可能让它发生，总体来看，我会说AI战争更可能阻止这件事发生
Emily Chang：但如果我们对它的使用完全不设限制，那它也可能更容易引发战争，你看过奇爱博士吧，它的设定是有一个末日装置，一旦它认为自己遭到核武器攻击，就会自动发射核武器，这能出什么问题呢，这又回到我说的致命性问题，也就是全自主武器，我认为冲突发生的方式，往往是双方互相扑过去，彼此误判，如果我们对这项技术没有适当监督，这类事故就更可能发生，但如果AI用的合适，甚至不说战争，只说情报收集，比如我们能够预测，或者乌克兰出现的新动向，如果我们知道对手在做什么，他们在发动某种入侵或军事行动之前，就会三思，所以我认为更强的情报能力，确实能威慑冲突
一凯：更强的响应能力也能威慑冲突，我仍然相信这些东西 Anthropic几乎每周都在上头条，是的最近大多数新闻都围绕Methos 当然这是Anthropic最新最强的模型，它能够走完整个网络杀伤链的所有环节，而且可以自主完成，你说Methos太强大，不能向公众发布，它最让你意外的是什么，最让我意外的是 [00:46:29]
Emily Chang：模型发现漏洞的能力，一直在上升，更重要的是，它能把这些漏洞，变成漏洞利用，人们通常只谈漏洞，不常谈把漏洞，变成漏洞利用，而Methos 在这方面做得相当好，让我意外的是，我们看到了一个巨大跃升，这个跃升特别大，而且我们几乎没有，给它额外提示，我们最早给一些公司试用时，他们说过这样的话，这就是一件超级武器，要用它应该得有持枪许可证，请不要发布它，也就是说要求我们不要发布的声音，来自那些拿到它的公司，他们发现了大量关键漏洞，也发现这些关键漏洞具备可利用性，所以他们基本是在要求我们不要发布，当然要说清楚，因为在社交媒体世界里，事情总会被扭曲，我们的目标不是永远把它锁起来。我们正在逐步把它开放给越来越多的人，最终我们相信应该把Methos发布给普通用户，但要配上很强的网络安全防护措施，现在的问题是今天的网络安全防护措施，我们已经在OP4.7上发布了 OP4.7是一个不错的网络模型，但比Methos弱很多，这些防护是可以被越狱的，我们有点担心其他一些公司，因为他们认为这已经是足够的防御，它有时候确实有效，但我们都知道，这些分类器可以被越狱，也可以被绕过，我们自己的测试，以及坦率说我们对其他公司，已经部署的防御措施的评估，都表明这些防御还不够强，这就是我们还在等待的东西 [00:47:49]
一凯：我们要把防御做到真正有信心的程度，这件事遭到了很多反对，你看到有研究人员说，他们用更便宜的开源模型，复现了它，也有人说OpenAI 已经有这些能力了，对那些说这是一场，大型公关营销的人，你怎么回应，说它能用开源模型复现，这个说法非常不真实 Mythos的思路是，看完整个代码库，然后找出问题 [00:48:37]
Emily Chang：有个人在推特上说，如果你把一个开源模型，指向Mythos找到的那一行代码，他也能发现同样的问题，但那不是prompt 也不是问题本身，这根本不是同一回事，最终的测试是，我们去找公司去看开源代码库，我们在Firefox里发现了271个新漏洞，我们也在一些私有公司里，发现了数千个漏洞，只是他们还没有修复，或者还不能披露，之前的模型，没有人找到那271个漏洞，所以真正重要的是，实际流程在现实中到底能不能用，这和另一种情况完全不同 [00:49:03]
一凯：比如你已经找到Metals发现的那一行，已经在甘草堆里找到了针，那别的东西现在当然也能把这根针捡起来，但那些说这只是一次成功营销的人呢
Emily Chang：我们因为没有发布这个模型，在商业上遭受了巨大损失
漏洞修复、模型开放与安全取舍
# #590.走进 Anthropic CEO 达里奥·阿莫代的思想世界
目录
- 漏洞修复、模型开放与安全取舍 [00:49:58 - 01:00:00]
漏洞修复、模型开放与安全取舍
Emily Chang：在商业上遭受了巨大损失，这个模型极大加速了Anthropic内部的研究生产，以及下一代模型，如果我们发布出去
一凯：它也会在外部世界产生同样的作用，没有发布它，在商业上给我们造成了巨大伤害，如果它能帮助防守方，也会帮助攻击方，那我们现在还能防住什么吗 [00:50:09]
Emily Chang：我想说的是，我们先把Methos给防御方，而不是先给攻击方，原因就是要修补所有漏洞，我不知道随着模型越来越强，可能会发现越来越多漏洞，但漏洞总归是有限的，对吧，就像你有一个表面，上面只有这么多洞，你把所有洞都补上，这个表面就会变得很难攻击，而且代码本身也会用强大的模型来写，所以之后就很难在里面找出缺陷或者攻进去，所以我认为等这一阶段过去，希望六个月或一年之后，我们会拥有一个比过去安全的多的互联网生态，我们正在努力走向那个世界，也在尽最大努力把Methos开放给新的网络防御者，我们一直在和政府沟通，也非常尊重他们的建议。他们放慢了我们开放mythos的节奏，因为他们担心反情报风险，我觉得这是合理的，我认为这里所有严肃的人都明白，这里面确实有真实的取舍，我们看到推特上有很多人，还有其他AI公司在那里冷嘲热讽，你看看他们说的话，再看看他们实际做的事，两者并不一致，他们不是严肃的人，他们没有认真面对，我们现在面临的这些严肃取舍，你看每天都有客户给我打电话，说想要Methos的访问权限，也有国家给我打电话，说想要Methos的访问权限，同时美国政府和我的安全团队，又在说，不等一下，这里面有风险，我不是说哪一边一定对，我觉得答案在中间，双方都有合理的观点，但这里确实有一个真实的挑战。我们需要作为一个社会一起面对它，而不是指责别人是在做廉价营销，也不是用廉价营销去搞对立，有些其他公司就在这么做，这一切只说明 [00:52:08]
一凯：他们极其缺乏庄重感和成熟度，我们所有人都需要一起面对这个时刻，你们是不是已经不得不做出一些取舍，而这些取舍并不完全让你安心
Emily Chang：Anthropic的整个历史一直都是取舍，对吧 Anthropic的整个历史都是这样，在某种理想世界里，你可能会希望，在发布第一个聊天机器人之前，花上几年时间，去研究所有可能出问题的地方，我们当时确实推迟了 Cloud的首次发布，但也只是推迟了几个月，所以我想说的是，所有事情都是取舍，这个光谱两端的极端做法，都是完全疯狂的，所以一切都是取舍，我想说的是，现在我们处在一个，我会称为商业领先的位置上，我和Daniella其实正在尽我们所能，把天平进一步推向谨慎那一边 Mythos的发布就是为了这个，如果你不是领先者，很难做这样的事
一凯：所以我认为之后你会看到更多类似的事情，有一种观点是，政府为什么不接管你们，为什么要让一家私营公司控制这么强大的技术 [00:53:20]
Emily Chang：我其实认为这是一个非常严肃的问题，我也有同样的担忧，我不认为政府应该直接接管我们，但我会这样说，先退一步，描述一下现在的情况，历史上我们见过的每一种强大技术，要么是由政府建造的，要么起源于政府，核武器显然最初是由政府建造的，之后也基本上还是由政府建造的，但即便是互联网GPS 手机所有研发，也都是在实验室，联邦实验室和大学里完成的 AI是第一项在私营部门里建造出来的技术，政府在其中并没有真正发挥重要作用，而且是很晚才进场，我认为这其实是一种危险而不稳定的局面，这不是我会选择的局面，但也没有真正的替代方案，这种技术是可以被建造出来的，我们的对手也在建造，它有经济价值，所以它一定会被建造出来。问题在于政府没有做这件事，而不是私营部门做了这件事，我认为我们需要思考如何对权力建立制衡机制，所以我认为AI公司的权力需要受到制衡，我们有一个机制叫Long Term Benefit Trust 它基本上是一个机构，可以任命董事会多数成员，也可以罢免董事会多数成员，所以如果你把这套机制一路推倒下去，它基本上就有权力解雇我，我们现在做的是引入一些公共治理的元素，当然远远不是全部，只是一小部分，也就是说公司要对某些人负责，而这些人不只是持有公司股票，这一点非常重要，不管公司未来发生什么，这个结构都会继续存在，我们也鼓励其他公司建立类似的结构，在政府这边。我觉得也需要制衡机制，国会已经有人宣布，要推动立法，把这些红线写进去，所以我真的认为，立法部门和司法部门都需要发挥作用，因为这项技术掌握在公司手里，我害怕掌握在政府手里，我也害怕，公司需要制衡政府，政府也需要制衡公司，我们需要对这项技术做基本监管，我觉得我们需要开始做发布前测试，而且要强制做发布前测试，对模型进行测试和审计，很有意思的是，硅谷科技圈有一群人，一开始的立场是哪怕只是提高这项技术的透明度，甚至是出口管制，都会彻底毁掉我们创造这项技术的潜力，会扼杀创新，可是一旦他们看到第一个真正的危险。也就是我一直预料会出现的危险，就马上开始谈什么国有化，政府应该直接接管，拜托各位，你们这是在两个极端之间来回摆动，一边是极端反监管，好像别人只要看你一眼不对，就是在毁掉整个行业，另一边又变成，完全共产主义式的想法，觉得政府应该把一切都拿走，我们需要更理性，更温和的做法，这也是我们一直支持的做法，因为我们一直理解，这项技术的力量，我们没有恐慌，也没有否认它，我们看到了这条平滑指数曲线，也在用合适的方式回应它 [00:56:14]
一凯：所以你这次回白宫访问，感觉怎么样，我们一直尽量和政府里，任何可以合作的人合作，我说过，我们的方法很简单，我们有一套原则，我们遵循这些原则
Emily Chang：也希望对方是讲道理的人，老实说，政府确实非常认真的对待Methos 我们和Besson部长，白宫幕僚长Susie Wiles 都有过不错的交流，我觉得他们确实理解，这里风险的性质，我认为Methos帮助他们，更具体的感受到了这些风险在哪里，所以和任何一届政府一样，里面有些部门我们相处得很好，他们也理解这件事 [00:57:09]
一凯：也有一些部门比较难打交道，我觉得这很正常，任何政府都会这样，我们只能尽力去应对，你职业早期在百度工作过，百度是一家大型中国科技公司，你当时是在它的硅谷办公室工作，你也很明确地表达过对中国的看法，现在中国正在推出很强的开源模型，美国公司还在免费给予这些模型开发，这是威胁吗
Emily Chang：我们在这项技术上看到的一点是，模型有多聪明，价值差别真的非常大，我们极少看到人们更愿意使用，智能水平更低的模型，当然我也要说清楚，现在有一个很繁荣的生态，有很多挑战和问题，远比那些需要前沿模型的问题容易，但这仍然是一条指数曲线，这些远离前沿的模型，可能也有经济价值，类似我们在2023年和2024年，看到的那种价值，但我们现在每年有十倍增长，所以我们发现，处在前沿的东西，价值总是远远大于不在前沿的东西，我觉得这是很多习惯了，上一代产品开发的人，不太理解的地方，我以前没有经营过公司，也没有特别从上一代产品时代，也就是文本到社交媒体那个时代，去思考问题，所以我觉得自己像是那个，世界的局外人。也正因为这样，我觉得很多人的直觉是错的，他们有很多产品经验法则，但我认为每年十倍增长的模型指数曲线，真的会打破这些经验法则，智能本身是一个极其巨大的因素，大到会压过其他一切，所以我们一次又一次看到，价值就在前沿，现在我对一些落后模型，真正担心的是他们带来的风险，他们可能具备中学生级别的网络能力 12个月后，我们会有强得多的网络能力，但这些中学生级别的网络能力，可能已经可以被任何人下载，希望到那时，我们已经把所有东西都修补好了，我不认为我们有什么办法阻止它 [00:58:52]
一凯：但我确实认为这是一个严重的担忧，你们这个领域里，人们会谈到一个时刻 AI强到足以改进自己，然后改进后的版本，再继续改进自己，如此往复，你的一些研究人员认为，那个时刻已经很近了，它到底还有多远，我不认为那是某一个时间点，我觉得那是一个连续过程，我们已经在某些方面看到它了 [00:59:37]
自我改进、节奏把控与组织文化
# #590.走进 Anthropic CEO 达里奥·阿莫代的思想世界
目录
- 自我改进、节奏把控与组织文化 [00:59:58 - 01:05:57]
自我改进、节奏把控与组织文化
一凯：我们已经在某些方面看到它了 AI已经能够为下一代AI提出架构建议，我会说一年前
Emily Chang：我们看到AI带来的全要素，生产率提升大概是10%到15% 现在可能已经到20%或30%了，它可能还在翻倍，就像所有事情一样，我们都在指数曲线上，不存在某一个瞬间 I突然开始改进自己，或者突然失控，或者突然变得不安全，我们看到的是一个加速的指数过程，在指数曲线上的每一个点，我们都必须评估，现在是不是该放慢，现在是不是该给这项技术加更多控制，我认为以后会越来越需要这样做，但我认为理解这一切的罗赛塔石碑，就是平滑指数曲线，再说一次，我觉得有些人本来反对所有AI监管，结果看到一件事之后，就想把AI国有化，这里面有一个反面教材，还有些人本来轻视AI的力量，后来又说，天啊，他在自我改进，他失控了，我们必须把它全部关掉。这也是一个反面教材，在这些极端反应之间来回摇摆，对应对这项技术完全没有帮助，正确的回应，明智的回应，是说我们不会恐慌，我们的应对措施，会随着技术能力增强而平滑升级，如果你看到有人出现这种疯狂的来回摇摆，那说明他们被打了个措手不及，也说明他们并不严肃 [01:00:59]
一凯：我知道你最喜欢的书之一是 The Making of the Atomic Bomb 没错，你会看到自己和奥班汗美之间的相似之处吗，我最认同的人物是Leo Szilard [01:01:22]
Emily Chang：他基本上是第一个提出可能存在某种恋事反应的人，我的看法是，我们不可能靠那种大于生活本身的传奇人物，或者靠那些试图站在一切中心的人来度过这一关，这里需要权力平衡，有很多强大的参与者都在这里有自己的利益，唯一能让所有人都得到好结局的方式，就是到处都有某种制衡机制，所以在某些方面，我其实把奥班哈尔玛看作一个失败案例
一凯：一个不应该发生的案例，你说过文明崩溃的概率，大约是10%到25% 这不是一个小数字，有没有一种场景，是Anthropic做出来的东西，导致了这种结果 [01:02:09]
Emily Chang：我当然希望不是，我的看法是，我们采取的行动，是在降低这个概率，而不是提高它，这个概率来自一个很直接的组合，这项技术本身，世界上有很多国家，一个经济体里有很多公司，而且还会不断有新公司出现，如果这个空白不被填上，这就是我们面对的两难，我们是在努力降低这个概率，我认为我们降低的幅度，远远大于我们提高的幅度，但这项技术的内在属性，就是不可预测，所以我们会先做出一个东西，在发布前做大量测试，今天发布的模型并不危险，或者至少我认为，除了网络领域以外，它们并不是真的危险，然后我们会继续迭代，从中学习，所以这里有一大堆防御机制，公司内部有一半工作，都是在尽可能降低风险，但风险永远不可能是零。我想说的是，假设外面有一堆航空公司，你说我要做一家更安全的航空公司，你的航空公司可以比其他所有航空公司安全十倍，但如果有人来问你，你能保证你的飞机永远不会坠毁吗，这怎么可能保证呢，如果一架飞机有25%的概率会坠毁 [01:03:17]
一凯：你就不会坐上那架飞机，没错 25%太高了，我们正在努力把这个概率降得低得多，这就是目标，你们正在打造一个极其强大的东西，而且可能从中获得巨大利益，我们为什么应该信任你们，我的看法是任何公司刚起步的时候，尤其是看看过去几年，硅谷作为一个整体的行为和思路，从不信任出发是很理性的，如果你不了解我
Emily Chang：也不了解Anthropic 那先不信任我们，我觉得很合理，我认为硅谷已经失去了世界很多信任，必须重新赢回来，我们想传达的信息是，我们真的不一样，但这必须靠我们实际做的事情来赢得，你可以同意，也可以不同意，但我们确实坚持了自己的价值观 Mittles这件事就是例子，我们没有把这个非常强大的模型发布出去，这在商业上真的严重拖累了我们，在那之前还有很多小一些的事情，比如在中国问题上，我们是言行一致的，我们切断了对模型的访问，我们本来不必这么做，没有人要求我们这么做，这让我们损失了几亿美元，而在当时几亿美元，占我们收入的相当大一部分，还有Cloud2的延迟发布，我们在这方面有很长的记录。我们并不完美，我们会犯错，但我希望大家看的是整体历史，然后问一个问题，把这些历史加起来，哪一种关于我们的假设，最符合这段整体历史，人们必须自己做判断，但我认为最符合事实的假设，是我们真心在努力做正确的事，我们是不完美的组织，组织总会有各种失灵，我们一直在努力修正，让它们运转得更好，会有很多小失误，也会有很多事情出错，但根本上，我们对怎样做正确的事 [01:05:01]
一凯：有一副诚实而认真的图景，而且我们正在努力，按这幅图景执行，那我们就在，指数曲线的另一边再见，希望如此，你一直想当好莱坞明星，对吧
Emily Chang：我以前没想到 CEO这份工作，有一个很意外的地方，就是你得经常化妆，这可不在我的预期清单里，也就是扑一点粉