目录
- Anthropic 的早期岁月与 Golden Gate Claude 实验 [00:00:00 - 00:10:00]
- 从 Claude 3 到 Claude Code：模型与产品共同成长 [00:10:00 - 00:20:00]
- 实验室如何孵化非连续的大赌注 [00:20:00 - 00:30:00]
- 产品野心、安全边界与面向未来的设计 [00:30:00 - 00:40:00]
- Evals 成为新的产品需求文档 [00:40:00 - 00:50:00]
- 用 AI 成为更好的管理者与教练 [00:50:00 - 01:00:00]
- 人类判断力、写作与 AI 的边界 [01:00:00 - 01:10:00]
- 在指数级变化中保持好奇与协作 [01:10:00 - 01:20:00]
- 快问快答：从 AI 产品到交易员经验 [01:20:00 - 01:21:09]
Anthropic 的早期岁月与 Golden Gate Claude 实验
Lenny Rachitsky：欢迎收听跨国串门计划。这是一档专注于让中文听众无障碍欣赏全球优质外语播客的节目。通过先进的AI生文克隆技术,我们不仅将内容翻译成中文,还完美保留了原主持人和嘉宾的独特声音。为您呈现全球顶尖的AI财经,健康与科技领域精品内容。我是主播一凯,一位热衷于AI领域的产品经理。很荣幸能为您搭建这座跨越语言障碍的桥梁。接下来让我为您简单介绍本期我们克隆的这档节目，本期我们克隆的是知名播客Lenny's Podcast 在2026年7月的一期深度对谈，主持人Lenny Rachitsky与嘉宾Dianne Penn坦诚交流 Dianne是Anthropic公司AI研究与实验室团队的产品负责人 她三年多前作为第一位技术产品经理加入，当时整个产品团队只有五名工程师，如今他已深度参与了从Cloud2到Fable的每一款模型发布，这一期他们主要围绕Anthropic如何在模型能力尚未完全成熟时，就提前孵化出Claude Code等前沿产品，以及产品经理这个角色在AI时代正在发生的深刻变化，那我们就一起走进这期完整的对话 2023年我刚来的时候，没人会把Anthropic Cloud和编程这几个词放在一句话里说 [00:00:51]
Dianne Penn：我想回到Anthropic刚起步的时候，我记得当时的感觉是，天哪这帮人根本没戏 OpenAI领先太多了，那时候我看到大家开始用这些模型，不只是做代码自动补全，而是真的在写长篇代码，这不是我们训练Claude 3去提升的方向，那是个转折点，我总会想到一年后的Claude 4.5 在寒假期间，大家都在家，都能用它写代码了 Claude 4.5的神奇之处在于，我们当时不光有了一个模型，还有了一个载体，一个像Claude Code 这样出色的产品体验，没有Claude Code这样的产品 Claude 4.5就不会有，那个高光时刻，而没有Claude 4.5 Claude Code也不会那么快，被大家用起来，我想聊聊产品经理，这个角色正在发生什么变化，对我的团队来说，驱动用户价值的方法，就是找到对的用户反馈，关于Evals 我们团队里有句话叫 [00:01:25]
Lenny Rachitsky：Evals就是新的产品需求文档 Gary Tan最近也在说，如果你现在愿意一年花10万美元在token上，那你过的就是2028年的人会过的日子 [00:02:19]
Dianne Penn：你得像打磨像素一样去琢磨token 你必须用这些模型来想出好的，甚至更好的点子，这件事没有捷径，大家现在用AI工具，得更有野心一些，因为他们能做的事情实在太多了，我问团队的一个问题是，假设Cloud8出来了，用户做的事会有什么变化，这对你今天做产品的方式意味着什么，今天的嘉宾，是Dianne Penn Anthropic的AI研究
Lenny Rachitsky：和实验室团队的产品负责人，她三年多前加入Anthropic 是第一位技术产品经理，这在AI的时间里已经算一辈子了，当时产品团队只有五名工程师，从Cloud 2到Fable Anthropic的每一款模型发布，都有她的参与，她还帮助孵化和推出了 Claude Code MCP Skills Cloud Design 以及Computer Use Tool Use 和Reasoning 这些核心能力，能跟站在AI和产品管理最中心的人聊天，总是让人特别享受，脑洞大开，很难想象还有谁，比Anthropic研究和实验室团队的产品负责人，更清楚未来的方向，在开始之前，别忘了去看看Lenny's Product Pass.com 可以免费领一年全球最火，设计最精美的AI产品，仅限Lenny的Newsletter订阅用户，接下来，有请Dianne Penn Dianne 非常感谢你来，欢迎做客播客，谢谢你 Lenny 很高兴又见到你，我想回到Anthropic刚起步的时候，早期那会儿，我记得Anthropic刚推出第一款模型的时候，大概是几年前吧，三年前，差不多那个时候，是的，三年了，我记得当时的感觉就是，天哪这帮人根本没戏 OpenAI领先太多了，他们到底在想什么，这怎么可能 OpenAI已经赢了，太晚了，现在情况完全不同了，我最近看到的数字是 Anthropic的年化收入，好像有500亿美元，这放在以前，是公司上市时的估值水平，很多非常成功的公司上市时估值，也就500亿美元，而据报道 Anthropic每年都在赚这么多钱，你加入的时候，是最早的产品经理之一，你加入时团队，大概只有5名工程师，你加入的时候 模型甚至都还没发布 Anthropic早期那会儿是什么样子，有什么事情是，大家听了会感到意外的 [00:04:45]
Dianne Penn：我觉得成就今天 Anthropic的很大一部分原因，其实在早期就已经是核心了，我是2023年加入的，就像你说的，当时我们有五名产品工程师，你信吗，我们整个API业务，只有一名工程师，我觉得很重要的一点是，当时的公司文化非常强，这也是我想对那些，对公司感兴趣的人强调的，我们真的是在践行，自己的使命文化和价值观，当时的氛围非常像一家创业公司，你说的没错，在早期我们非常努力地，在寻找自己的定位，一方面是关于技术，但另一方面是，这项技术怎么给用户带来价值，怎么给社会带来价值，它到底能成为什么，我觉得早期那几年，我们就是在用不同的方式，探索这些问题，我们确实是从 Claudian AI起步的 就是另一个聊天助手，然后慢慢演化出 To Use这类东西，我觉得我们真正开始，找到感觉的一个时刻，是推出了GoldenGate Cloud 不知道你还记不记得，不记得，这个功能其实只上线了，大概24小时，我们当时刚在2024年初，发表了一项，早期的可解释性研究，其中一个例子是，模型的不同层里有一些，叫特征的东西，它们会表达特定类型的主题，研究人员当时能识别出的，一个主题是，比如说写要点列表，另一个是人与地点，还有一个出现频率很高，特别能引起共鸣的，就是金门大桥，当你把这个特征调高 Claude就会对金门大桥特别着迷，也就是说，他的每一个回复 都会绕回来聊金门大桥，比如你跟他说，给我一个做意大利面的食谱，他会说这是食谱，而酱汁的橙色，就像金门大桥用的那种国际橘色，就特别古怪，我们当时非常想借这个机会，把这个体验带给用户，带给大众，带给那些刚开始用Cloud的人，于是整个体验，我们实际上在24小时内，就在Cloud.ai网站上推出来了，这需要工程产品设计，还有我们的研究团队一起协作，我们真的特别自豪，说实话可能只触达了2000个人，但它让我们觉得，我们真的可以带来新的用户体验，用一种与众不同，属于我们自己的方式，去展示我们的研究，而且是以一种非常创业公司的节奏，对我来说，这就像是一个隐藏的转折点，我们开始找到自己的定位 我们可以做出跟竞争对手，跟市面上已有产品，都不同的产品和体验，我觉得显然后来的 Labs, Claude Code等等，我们开始明确自己的身份，去思考我们到底怎么看这个世界，怎么看AI 怎么把它带给公众，但当时是一种非常自下而上的文化，整个体验都是自下而上的，我看到工程师，设计师自愿花时间来做这件事，所以我总喜欢，拿这个例子来说明早期是什么样子，但我觉得，从早期到现在，我们的文化和价值观在很大程度上一直没变 [00:07:35]
Lenny Rachitsky：所需功能时的痛苦 Workhouse用一个专为BRB SaaS 打造的现代开发者平台，把这些交易障碍，变成了即差即用的API 我投资的每一家，开始向高端市场，扩张的创业公司，最后都会用上Workhouse 因为他们确实是最好的，无论你是一家，种子轮创业公司，正试图拿下第一个企业客户，还是一家，正在全球扩张的独角兽 Workhouse 都是你最快实现企业级就绪，解锁增长的方式，它本质上就是企业级功能的stripe 访问workhouse.com 开始使用，或者直接去他们的slack 那里有真正的工程师，等着回答你的问题 Workhouse 让你用令人愉悦的API 详尽的文档，和流畅的开发者体验，更快地构建产品，今天就访问workhouse.com 让你的应用，做好企业级准备，回想一下 Anthropic的发展历程，从当初那个，试图与OpenAI这个巨头竞争的实验室，变成今天的样子，还有哪些重大的转折点，有哪些时刻让你觉得，哇那件事真的改变了局面 [00:09:33]
Dianne Penn：绝对是在训练和测试Opus 3的时候，我觉得那是公司的一个关键时刻，当时我们大概还不到200人，而且非常清楚，我们需要也想要做出一款前沿模型，这对我们触达用户消费者
从 Claude 3 到 Claude Code：模型与产品共同成长
Dianne Penn：这对我们触达用户消费者，以及展示我们的研究来说都非常重要，我们也在寻找答案，别人为什么要选Cloud 这是一个核心问题，也是早期我们老被问到的一个问题 Claude 3大概是在2024年3月初发布的，但在此之前，推理、研究、fine tuning、预训练等各个团队，在不同阶段都为了一个共同目标拼了好几个月，我觉得每个参与其中的人都特别自豪，我记得当时我是PM还有研究负责人和我，我们都在各自的父母家里，那会儿大概是12月，能看到每个人视频背景，都是自己小时候的房间，大家都在拼命搞清楚，我们训练这个模型到底是为了什么，它展现出来的样子对不对，所以我觉得，那次经历在建立信任方面作用非常大，而且我们很多研究负责人 从那时起，现在已经在领导强化学习，角色塑造和对其工作了，那种早期建立的信任基础，也帮我们现在能在，产品和研究之间，顺畅地合作推出任何生产模型，因为我们早期，真是一起在战壕里摸爬滚打过来的，然后我觉得还有一件事，就是意识到编程很重要，对吧 2023年我刚加入的时候，没人会把Anthropic Cloud和编程，这几个词放在一起说，当时像GPT-4这样的竞品模型，虽然也有人用来编程，但那只是众多用力中的一个，而我观察到的是，人们开始用这些模型，不只是为了写代码，也不只是代码自动补全，而是真的在写长篇代码，这对我们来说，就是一个训练Claude 3去做的更好的机会，从训练角度看，这最终只是一个相对较小的改动，但它帮我们在早期竞争里 打出了差异化，吸引了很多非常早期的 Cloud爱好者和开发者 [00:11:47]
Lenny Rachitsky：因为我们提供了他们当时觉得，不太可能实现的价值，你聊到Claude 3真有意思，感觉那已经是很久以前的事了，很难想象那会是一个重大的转折点，所以听你说，这在内部是一个重要的里程碑，真的很有意思，感觉像是你们由此建立了一种信心，哇我们真的能做出前沿模型，当然拿它跟现在的模型比，它现在看就不怎么样了，我总会想到Claude 4.5 有意思的是，大概一年后，也是在寒假大家在家的时候，它展现出了编程能力，那是另一个重要的里程碑吗，对 Claude 4.5绝对是另一个重大时刻
Dianne Penn：我觉得Claude 4.5的神奇之处在于，我们当时不仅有了一个模型，还有了一个载体，也就是像Claude Code这样出色的产品体验，我们团队里常说一句话，你需要有前沿的产品，才能让前沿模型发挥价值，让人们感受到前沿模型的魔力，在那之前，我们自己已经感受Claude Code的魔力好几个月了，但关键是，模型本身的智能水平达到了一个高度，能在非常广泛的层面上，让用户在新的用力中体验到前沿智能，能让它端到端地，充满活力的运行任务，我觉得这才是真正的转折点，其实是两者共同作用的结果，如果没有Claude Code这样的产品 Claude 4.5不会有那个高光时刻，而如果没有Claude 4.5 [00:12:30]
Lenny Rachitsky：Claude Code的普及速度也不会那么快，顺着这个话题说，有意思的是，如果你回头看Dario的所有预测，他就像是说，好吧编程问题会被解决，一年内绝对会，类似这样的话，他一直在说 AI会包揽我们所有的代码工作，我记得当时所有人都在说，这不可能，这太复杂了 AI怎么可能，做好人类做的这么复杂的事，不，这事很长一段时间内，还得靠人类，结果他完全说对了，他还经常提到，我们现在所处的，这个指数级增长阶段，他现在是这么描述的，说我们正处在指数曲线上，我记得不久前新模型发布时，大家还都说，好了到顶了，没有上升空间了，已经停滞了，结束了，没有增长余地了，现在情况完全反过来了，我们现在就像是，如果你去想那条指数曲线 我们正处在指数级增长的里面，这意味着从定义上讲，每一次进步都是一个巨大的飞跃，因为我们正处在那个，取棍求棒翘起来的部分，身处这个疯狂的历史性时刻内部，是什么感觉，当AI进步如此之快，解锁了这么多东西，这是一种什么体验，面对未来AI越来越快地加速进步，人们应该怎么准备 [00:14:12]
Dianne Penn：我在团队里常说一句话，互联网从新奇玩意儿，变成人人都能用的东西那会儿，我们大多数人还没开始工作呢，感觉这就像是在带着人类往前走，我觉得类比挺有用的，这个类比能说明几件事，第一,适应能力变得非常重要，我们有评估测试，安全方面有安全测试，红队测试，能力和产品方面有新原型，像Claude Code, Tag这些产品，但很难预测确切的时间点或确切的模型，所以适应能力就是，当你面对新信息时，怎么做出更好的决策，而不是死守原来的计划，这种敏捷性真的很重要，我觉得另一点是，与此同时，你怎么真正做到第一性原理思考，去推理接下来会发生什么，意味着什么，我们怎么投资新产品，怎么向用户解释这些差异，所以我觉得 身处这种指数级增长中的很多体验，就是那种节奏感，理解你怎么运作，怎么做出更好的决策，然后运用第一性原理思考，去做一些，也许我们原计划几个月后才做的事，但现在模型已经能做到，能上手了，那就真的把它带给用户，比如co-work skills tag这些，这是一个非常正向的自我强化循环，我觉得还有一个重要部分，就是彼此之间的信任，确保我们在做正确的决策，带着大家一起往前走，有些团队可能比其他人，更早感受到这种指数级增长，所以我们怎么带着一种包容心，让整个组织，这个不断壮大的公司和团队，一起跟上，所以我听到的是，你几乎不知道每次模型发布后，什么会成为可能 [00:15:32]
Lenny Rachitsky：因此重点在于随着新事物的出现，保持适应能力，正如你所说，产品本身必须跟上，必须追赶上那些可能性，也正如你所说，它能做很多事，但人们可能不知道怎么用，也可能用不上，所以产品要让它变得简单，甚至直接告诉你，你可以做这个，这感觉是很重要的一部分，这大致就是你在描述的吗，我觉得是的 [00:16:22]
Dianne Penn：最初的缩放定律论文里，有一些很有意思的图表，大家很熟悉缩放定律的一个视角，随着你投入更多算力和数据所谓的损失，也就是下一个token 预测的损失会下降，这是一条非常平滑的线性曲线，模型随着规模扩大变得更智能，但那篇论文里其实还有另一类很有意思的图，关于截然不同的涌现能力，比如随着你加入更多数据，用更多算力训练模型，你实际上会看到这些，不连续的涌现能力跳跃式增长，模型会从算不出1加1 变成能可靠地算出1加1 所以这些涌现能力，这种可预测性中的某种特性，并不是每个人都知道确切的时间点，你需要评估测试才能判断，这一直是这项技术运作方式的一部分 也是为什么像安全这类问题更难的原因，因为除非你有评估，有测试系统，否则这些跳跃可能真的发生了，而你却不知道，这太有意思了 [00:17:41]
Lenny Rachitsky：你可能开发出了一个AI大脑，它能做某些事，你甚至都没意识到，所以工作的一部分就是去发现，哇它突然在这方面变得特别强，我们能拿这个做什么呢，我觉得存在产品潜力和用户潜力
Dianne Penn：用我们产品经理的话来说，即便是现在的模型也是这样，我觉得在我们当前的Claude系列上，还有像Fable这些，都有很多东西可以去探索，而这种发现，其实是Anthropic早期基因里的另一部分，我觉得它也继续是我们产品团队，实验室，以及整个研究部门运作方式的重要部分，这让我想起Gary Tan一直在说的一些话，他是YC的总裁，我不确定他的头衔是什么 [00:18:04]
Lenny Rachitsky：他有个很有意思的观点，如果你现在愿意每年花10万美元在token上，你过的就是2028年的人会过的生活，因为到那时候这会变得非常便宜，每个人都能这样工作，但现在就有一个先发优势的机会，去活在未来，在token花费上放手去做，所以人们有一个很大的机会，去了解未来是什么样子，同时也能更快地构建东西，你对这个想法怎么看，还有这种token拉满做法的价值
Dianne Penn：对要我说，我更多是从产品的角度来看这件事 token消耗更像是输入，真正的输出，是你刚才说的那种实验探索，我觉得如果我们把目标，定在实验探索上，可能更能框定我们想要的结果，这样一来达成结果的方式，可能就不止一种了，要我说在公司内部，一些最有创造力，最会做原型的人，确实会花大量时间，跟Cloud在一起，用我们每一个新版本的，研究模型去试，所以这里确实有一个点，你必须亲自去用这些模型，才能想出好的，更好的点子，这一点没有捷径，在技术迭代这么快的时候，不亲手去碰，很难凭空想出一个完美的策略，同时我觉得我们还可以做别的事，比如我们经常做的一件事，就是在Anthropic内部公开协作 早期我们产品界面还不多的时候，有一个Slack频道，几乎全公司的人都在里面测试Cloud的早期版本 [00:19:53]
实验室如何孵化非连续的大赌注
Dianne Penn：几乎全公司的人都在里面测试Cloud的早期版本，尝试各种用法，当时大家不叫用力，但你可能会让他帮忙改文章，或者想一个合适的邮件写法，这些其实都是不同的用力，但我们全都是在公开环境下做的，你会很神奇地发现，不同的用户或者团队里的同事，想出一个点子，然后其他人会去尝试这个点子的，不同变体，大概经过十几次尝试，就会出现一些很神奇的东西，或者一个潜在的用力就浮现出来了，我觉得这里面有很大的空间，不只是靠个人自己去摸索，怎么用这项技术，我们其实可以做得更多，把这种集体发现的过程带到实验里来，实验不一定总是一个人的事，这个想法很有意思，对
Lenny Rachitsky：就是我们其实不太确定，这东西到底有多大能耐，或者我们能拿它做什么，需要大家到处去试，去听别人在试什么，才能慢慢摸清边界，这真是一种很特别的技术，我们就像是 [00:20:43]
Dianne Penn：好吧，原来他还能干这个，那你打算拿它来做什么呢，我觉得从大的方向看，我们是知道的，我们知道模型能写出很好的文章，或者做长篇写作，但具体到个人的痛点，你能用它解决什么实际问题，并且把它做到普通用户能用的程度，我觉得这更多是靠探索和实验才能找到的，顺着这个话题聊下去，你负责实验室团队的产品，这真的非常酷
Lenny Rachitsky：我们之前请过Ben Mann和Mike Greger来节目，他们现在都在实验室工作，聊聊实验室吧，实验室到底是什么，从实验室里都出来了哪些东西，很多人都听过这些产品，他们是怎么运作的 [00:21:23]
Dianne Penn：能在Anthropic核心产品团队之外，创造出这么多创新的想法，实验室的核心理念，很大程度上就是，去识别那些可能不在，核心路线图上的，非连续的大赌注，然后顺着线索深挖下去，去搞清楚，这事到底有没有细，如果有细，它的十倍一百倍，一千倍的增长空间在哪里，比如说像Claude Code这样的东西，我听说过，像Claude Code Skills 还有最近的Claude Design MCP 我们在团队内部特别强调的一点是，尤其是在当下，能做的事情太多了，那么什么才算是一个非连续的赌注呢，我觉得我们今年采取的一个方法是，对大的方向或领域，可以有非常坚定的判断，但对具体的原型，可以持更开放的态度，所以我们有一种实验文化 很多自下而上的推动，团队里的工程师都非常自主，非常有驱动力去测试各种想法，有时候我们有一个设想，但当下可能还跑不通，那我们可能会等，一到两代模型更新后再回来看，所以这些原型最终哪怕没有立刻发布，帮我们学到了东西，这本身就很有价值，我觉得正是这一点，让实验室的孵化和它的使命，能够真正加速，帮Anthropic更早地看到未来的可能性，想到在Anthropic内部还有一个实验室，这真的很有意思 [00:22:30]
Lenny Rachitsky：Anthropic本身已经这么创新，这么有创造力，发布速度也快得惊人，但内部再建一个实验室团队依然有价值，是什么让实验室能做得这么成功，因为你刚才列举的那些产品，感觉Anthropic发布的东西里，几乎所有最大的亮点都在里面了，当然肯定还有很多我现在一时没想到的，在一家大公司内部 [00:23:07]
Dianne Penn：打造一个成功的实验室组织的，核心是什么，我觉得团队文化，跟Anthropic整体的文化很像，团队文化非常宝贵，我觉得班设定了很棒的愿景，推动大家去想一个想法的，十倍一百倍是什么样，而且你知道团队 Labs里的小组规模很小，有时候这些想法，就从一个工程师开始，对吧，我觉得有时候，当团队特别大，去追一些非常模糊，非常大的想法时，反而会因为人多而慢下来，所以我觉得是文化，我觉得你知道，我们其实也会特意选那些，真正想做从零到一实验的人，这并不容易，我们有很多赌注，最后是拒绝掉或者关掉的，也许你知道，我们以后会再捡起来，但这很难，当你倾注了全部心血，你像个创始人一样，去争取一个赌注，但它暂时还没跑通，这真的很难 所以我觉得，就是这种类型，特意去选这种性格的人，那些对从零到一，真正有热情，有深度的人 [00:24:26]
Lenny Rachitsky：所以你负责研究团队的产品工作，你跟Anthropic的研究员们合作，很多人大概知道什么是研究，研究员都做些什么，我觉得很多人并不完全理解，这些在各大AI实验室里，非常宝贵的人，我自己的理解是，我也想帮大家理解，帮我搞清楚，研究员们一天到晚，到底在做什么，我想象的是，他们对怎么改进模型，有个假设，他们找数据，调一些算法，检查，调整训练方式，然后测试，看效果怎么样，不断迭代，不断找办法，去改进模型，这个理解大致对吗，或者说
Dianne Penn：帮我们理解一下，研究员们，一天到晚都在做什么，这个真的，我觉得这大概更多是，日常工作的样子，我觉得关于研究员，以及像Anthropic 这样的研究机构，还有一点是，他们对未来，有更宏观的愿景，比如说，像让Claude学会用电脑，怎么让AI去操作屏幕，对吧，这些事我觉得，甚至在公司刚创立的时候，研究员们就在讨论了，所以我形容研究员身上，有一种非常像，创始人的能量，那些真正大胆，有野心的研究员，我们在Anthropic 有非常多这样的人，所以有一层是对这项技术，能走到哪里的愿景，然后我觉得在闭环的另一端，现在这项技术，或者说Cloud已经在人们手上了，我们怎么让它今天变得更好，所以既有中长期 花大量精力去思考未来图景的那一面，也有在当下短期内，我们能在哪些方面做改进，所以我觉得你描述的很到位，就是怎么在Cloud的不同版本上，做迭代改进，我的团队跟研究员合作的方式，就是深度融入和嵌入到这些循环里，特别是那些对用户影响很大的领域，比如视觉、电脑操作、编程、agent、编程，工具使用、测试时计算，这些对用户有直接影响的地方，然后想办法把用户反馈带进来，用一种用户能理解、研究员也能理解，并且对研究员来说可操作的方式落地，我觉得这第二点其实是，工作中很重要的一部分，有时候也是很难的一部分，比如说我们可能会在 cloud.ai上收到反馈 Claude产生幻觉了，这非常模糊 如果你把这个直接丢给研究员，说请修好Claude的幻觉问题，这根本没法操作，所以我们团队一部分时间，就是在理解，好用户给出这个反馈的路径是什么，而且是经过用户同意的，我们会去看，好,Claude在那个时刻是不是应该调用工具，还是说基于他现有的知识，或者他调用了正确的，看了正确的文档，但看错了事实，第一种情况，那就是工具使用的失败，第二种情况，那就是比如说搜索或者知识插入，搜索整合的失败，或者也可能是对其方面的问题，然后把这种程度的细节带给研究员，去判断，这是不是一个足够大的问题，去设计像EVALS这样的东西，然后去说明，好我们改进了它，这些就是可操作的层面 这也是研究员们日常沟通的语言，所以我们努力保持紧密，把用户到核心模型训练和研究，开发循环之间的反馈，用一种可操作的方式带进去 [00:27:56]
Lenny Rachitsky：我前几天跟人聊天，说到感觉研究 I研究是现在想要非常成功的人，该去的地方，要成为一个真正成功的研究员，需要什么条件，就你看到的来说，你知道不是每个人都能进去，不是每个人的大脑都适合干这个，但假如有人说，我想探索一下这条职业道路，从你看到的情况来说，要做到那一步需要什么，研究员普遍是，跟研究员合作的研究和产品经理，两者都是，两个都聊聊吧，但先说研究员，你知道跟研究员合作的PM 也会非常成功，但感觉现在每家公司，都在拼命挖顶尖的研究员，所以我知道你不是AI研究员，但就你看到的来说，走通这条职业道路需要什么，对我觉得在Anthropic [00:28:09]
Dianne Penn：最成功的研究者和研究领导者，往往是那些，对问题有很强第一性原理思考的人，他们能把问题推理得很透彻，对自己的研究领域充满热情，并且能大胆描绘出未来的样子，同时他们也真的贴近细节，我们的领导层，比如首席科学家，负责微调和2L的负责人，他们真的会贴近每一次训练，会去看训练进展怎么样，看EVALS 看底层数据，所以真正贴近细节，并且乐在其中，我觉得这是非常强的研究者的标志，也是在培养品味，另外一点，我觉得是他们能长期保持宏大思考，非常有野心，对吧，就像Dario说的，我们可以改造软件工程，朝着这个方向走，你会学到非常多，在很多方面，你都得瞄准心心去构思你的想法
Lenny Rachitsky：我觉得这样才能成为一个成功的研究者，我特别喜欢现在经常出现的那个梗，就是再大胆一点，这其实很难，说起来容易 [00:29:51]
产品野心、安全边界与面向未来的设计
Lenny Rachitsky：说起来容易，做起来难，你到底能想多大
Dianne Penn：现在解锁的很多东西，都在要求你再大胆一点，对，是啊，我觉得是要把一件事，从头到尾想透一两次，然后对你要做的领域保持执着，但在具体方法上可以更灵活一些，我们经常问自己一个问题，技术发展太快了，你怎么确保你现在做的东西是向前兼容的，所以想得更大，其实也是核心产品开发循环的一部分，我经常问团队一个问题，或者说我在做产品时会这样想，假设Cloud8出来了，用户的行为会有什么变化，这对你今天做产品的方式意味着什么，你现在的做法能兼容未来的那种体验吗，所以野心是个很宽泛的词，得想办法把它落到一些具体的描述上 [00:30:03]
Lenny Rachitsky：而且所有东西都得朝着一个方向走，要连贯有意义，而不是野心勃勃地跑偏到完全不同的方向，说到野心和Cloud8 Buffable或者说Mythos 最近感觉让模型到了一个全新的临界点，以前是你有了一个很棒的模型，发布它，跟大家说 HiOp 4.5来了，大家都能用，但Misos走了一条完全不同的路，它被封锁了，受到了很多审查，大家都很担心它的能力，所有公司都得去确认，它不会黑进自己的系统，感觉现在因为模型在持续变强，每个模型都会受到更多审查，对谁能使用它们也会有更多限制，这感觉是件大事，你怎么看，这会怎么改变你们的运作方式
Dianne Penn：关于政策和专家控制这方面，我可能得留给负责的同事来谈，我觉得产品方面的问题，以及我们内部，怎么跟这些模型互动，就像你提到的，随着前沿模型能力越来越强，安全保障，红队测试和发布前的流程，也需要快速进化来应对，举个例子，在Fable模型之前，我们并没有很强的，比如说兜底的用户体验和系统，因为我们的目标是，确保这项技术能带来不对称的好处，同时把负面影响或严重风险降到最低，所以我们后来构建了兜底系统，这样用户就能立刻从Claude 4.8那里，得到一个很好的回复，所以我觉得随着我们不断改进安全系统，怎么继续开发和交付出色的用户体验，这里面有很多工作要做，两边都还有很多可以提升的地方 接下来几周和几个月，你会看到我们在我们现在所说的，模型安全包上，做更多创新和改进，这里很有意思，也完全出乎意料的一点是 [00:32:35]
Lenny Rachitsky：这给Anthropic创造了一个非常有意思的优势，就是你们能接触到最新的东西，而且每个实验室都会这样，大家都会持续进步，这就在实验室内部，创造了一种不公平的优势，能用到外面的人还接触不到的最好的东西，虽然这并非你们能控制的，你们肯定更希望所有人都能用上，所以这会开启一个，很有意思的新反馈循环，那些太先进的模型，只有特定公司能用
Dianne Penn：这会是所有这些限制带来的，一个全新的，意想不到的，算是二阶效应吧，我们的目标是让这些系统和模型，尽可能普惠，对于通用普世的技术，我们的目标是不让那种情况发生，要让它更容易获取，这现在是我们最优先要解决的事情之一，去减少我们看到的这种现象，对这说得通 [00:33:12]
Lenny Rachitsky：我猜你们肯定希望，越多客户越多人用越好，本期节目由Mercury赞助，这是一家与众不同的银行，深受超过30万名创业者喜爱，现在又推出了Command 我做Mercury客户已经6年多了，从来没想过要换Mercury 基本上就是由产品人，而不是银行家打造的，银行会友的样子，他们让发账单，转账，给团队成员开虚拟卡这些事，变得特别简单，甚至可以说好玩，你的银行有API 有终端原生CLI 或者AI就绪的MCP服务器吗，我觉得没有，就在最近，他们推出了Command 一个直接内建在Mercury里的，对话式界面，相当于你的财务操作员，我一直在用Command来转账，搞清楚我在哪些类别上花钱最多，分析我的现金流，就在今天 我还用它查了，过去一年，我从某个赞助商那里赚了多少钱，我就问，过去一年我从X那里赚了多少 10秒后，答案就出来了，真的太酷了，访问mercury.com了解更多，几分钟内就能在线申请 Mercury是一家金融科技公司，不是FDIC城堡的银行，银行服务由Choice Financial Group和Column 那提供，均为FDIC成员，我想稍微聊聊产品这个角色，正在怎么变，以及在这个新世界里，谁做得比较好，现在AI已经是我们生活中，这么核心的一部分了，你在招PM 招产品人的时候，在看那些在当今世界，做得不错的人的时候，你注意到哪些东西，你最看重什么，你在找什么，哪些东西在变得越来越重要，哪些又在变得越来越不重要 [00:34:31]
Dianne Penn：其实我们团队三年没改过招聘流程了，我们真正看重的特质，以及我们评估通财型PM 通财型研究产品经理的方式，其实一直没变，我觉得这些特质里，第一就是第一性原理思考，这其实是指不是去套你以前在，比如消费者产品或者BRB SaaS里做过的模式，而是真正去搞清楚，在当下这个时刻，针对这个用户群体，用这项技术用户价值，到底是什么，有没有一个例子，很多人听到第一性原理思考，就会说，懂了，我很擅长这个，有没有一个例子，能说明一个人，真正展现了非常好的第一性原理思考，我觉得一个例子是，你可能会觉得产品经理的工作，就是负责产品策略和交付用户价值，但我日常展现这一点的方式 是写产品需求文档，或者产品愿景文档，而对我们团队的研究产品经理来说，驱动用户价值的方式是找到正确的用户反馈，也就是Evals 对吧，这些Evals可以成为用户需求的一种人格化体现，所以我们确实也会写一些产品文档和产品需求文档，但我们团队里其实有句话叫Evals 就是新的产品需求文档，对吧，因为要交付那个用户价值，关键不在于过去一二十年，人们习惯写的那种具体产物，而是一种新的工作方式，所以第一性原理思考就是，让我搞清楚我应该做什么，来实现我的目标，而不是说这是我做过的一套活动，所以我要继续做下去 [00:36:17]
Lenny Rachitsky：所以这里的想法是，以前的做法大概是，先有个想法，写个产品需求文档，跟人聊聊，对其计划，设计，开发，发布，看看效果，再迭代，我现在听到的是，比如有一些反馈说，哪里出了问题，或者有个机会，第一步是用eval 来定义工作内容，而不是用产品需求文档，也许，也许第一步是，理解用户的痛点 [00:37:06]
Dianne Penn：而光是触及用户痛点的方式，就已经不一样了，对吧，过去我们可能会做用户访谈，我觉得如果你挖得足够深，你可能会让用户，带你走一遍他们的用户流程，看每一个像素，而在这里，你得像抠像素一样去抠token 所以我们团队有一项活动，就是读对话记录，非常深入地去理解那些失败的轨迹，然后去判断这是幻觉吗，这是callout过度自信了吗，所以失败的主题其实有很多细微差别，然后这能让你构建出一个描述，一个关于那个痛点的持续描述，这基本上就可以成为一个新的eval 然后这个eval是不是有代表性的，它是不是既捕捉到了，会出问题的正面情况，也捕捉到了它本不该出问题的情况，然后再把这个带回给，比如说研究团队 这样我们就能做出改进，并且真正衡量质量，比如当我们有Claude 5.5的时候，这个方面是在改善还是没有 Croix现在能不能识别出，文档里正确的位置，并提取出正确的综合信息，所以关键在于可操作性，缩短我们的利益相关方和合作团队 [00:38:25]
Lenny Rachitsky：比如研究员采取行动的距离，有没有一个这样的例子，你发现了一个问题或机会，然后写了EVAL 还有在大多数情况下 EVAL长什么样
Dianne Penn：当人们想象一个EVAL的时候，它是什么，他们该想象什么，这个概念其实是我们Anthropic 内部先搞起来的，早期的一个例子是，最初的Cloud模型，不太擅长遵循特定的格式，比如输出JSON之类的，而现在这已经是Cloud 能成为一个好agent的基础了，对吧，如果你不能输出特定格式，你就没法调用API 没法使用工具等等，所以最开始的端到端流程是这样的，我在Cloud2那会儿听到反馈，说Cloud不太擅长遵循指令，然后我就去深挖，问用户，你们说的不擅长遵循指令，具体指什么，是在什么情况下发生的，具体是哪段话，你问了什么 Claude又回了什么，要系到这种程度，我发现在早期，大家说的这个问题 大概有80%的情况是 Claude写不出正确的JSON 好那我们就先生成，大概30到40个Claude [00:39:53]
Evals 成为新的产品需求文档
Dianne Penn：大概30到40个Claude 做不对的例子，这其实就是你的评估级了，你基本上会有一个提示词，和一个回复，如果这个回复，跟你预设的正确答案对不上，那就说明这个评估是有用的，因为它能持续地识别出一个痛点，然后我们就把这个评估，加到我们的评估库里之后，每次有新版本的Cloud 我们都会跑一遍这个评估，检查一下，我觉得到现在，这个评估的通过率，一直是100% 或者说99.9% 所以它已经不再是个痛点了，但在早期流程，就是收集用户反馈，搞清楚它们到底是什么意思，我们能不能复现，问题是不是持续出现，是不是个大问题，然后再想办法把它标准化
Lenny Rachitsky：变成研究人员能直接用的东西，这基本上就是，我们产品经理现在所处的世界，像是测试驱动开发，你先写好测试，所以在Anthropic 写评估是不是已经成了 [00:40:44]
Dianne Penn：产品经理工作的一个核心部分了，我觉得是的，我也跟其他公司的产品经理聊过这个，感觉这正越来越成为一种通用的技能，因为我们正在构建的很多产品，都处在模型、框架和特定用户场景的交汇点上，所以像评估这样的东西，不仅仅是给做模型的人用的，在整个产品领域，它都是一种获得更好用户体验的方法，因为你没法改进你无法衡量的东西，而这个领域里，很多东西目前还是非常依赖直觉和判断的，所以你必须紧贴细节
Lenny Rachitsky：而且结果非常不确定，这是很重要的一点，就是它不会每次都给你同样的答案，所以你得用更宽泛的方式去描述它，不能追求精确匹配，这真的是产品工作方式，正在发生的一个非常有趣的变化，就是评估，写评估和写产品，需求文档，成了很重要的一部分，你们现在还写产品需求文档吗，还会用一页纸来描述一个问题吗，还是说 [00:41:37]
Dianne Penn：好你在点头了，我们还在写，我觉得当问题定义得非常清晰时，评估这种东西几乎可以作为一种简写，但在其他情况下，产品需求文档还是非常有价值的，产品需求文档是一个很好的载体，能让一大群人在体验和目标的真实依据上达成一致，所以我们每发布一个模型，实际上都会有一份产品需求文档，这倒不一定是给我们的研究人员看的，更多是为了我们不断扩大的产品界面，工程团队，还有像法务安全，这些相关方作为一个统一的依据，把我们要达成的目标整合起来，让一大群人能朝着同一个方向努力，另一个我觉得产品需求文档，很有价值的地方，是那些更模糊的问题和机会，对吧 比如像Computer Use这种我们还没发布的东西，我们不一定总有一系列具体的用户痛点，这时候产品需求文档里关于产品愿景的部分，就很有价值,可以去探索，即使一项技术还没准备好给所有人用，你怎么让它先对某一群人很好的运作起来，这样你就能去探索它的价值，真正为某个用户群体提供一个完整的东西，所以我们还在写产品需求文档，只是应用方式跟以前有点不一样了，好的这很棒 [00:42:56]
Lenny Rachitsky：我之前刚和Andrew聊过，他是OpenAI Codex应用的负责人，你们的观点很一致，产品需求文档没死，在特定项目和想法上依然非常有用，太好了，关于产品需求文档的讨论可以翻篇了，他活得挺好，好了，我们聊了不少关于产品人需要的新技能，在你看来，在这个AI新时代，那些做得好的产品经理和产品团队成员，他们身上还有哪些共通的变化或模式，还有没有什么你觉得是你必须转变的，或者你现在招人会更看重的东西 [00:43:30]
Dianne Penn：要我说，特别是对那些处于职业生涯中期，或者更多在做管理产品领导岗位的人来说，有一点我感受很深，要想带好团队，做好PM 你自己必须非常亲自动手，不只是花时间捣鼓一下，而是真正用这项技术去交付产品，要深入细节，和你的PM、工程师、团队，一起为Token的消耗绞尽脑汁，所以即使我招的是经验丰富的PM 他们的入职计划，也和刚入行的人完全一样，核心就是理解用户，阅读经过授权的用户反馈，跟客户交流，我觉得关键在于，你得能判断拿它做什么，什么才算好，并且是通过非常亲自动手的方式，建立起这种判断力，这很重要 如果一个人没有亲身参与构建的经验，就很难认同或看清一个好的，甚至伟大的AI产品或功能应该是什么样，所以我确实强烈认为，如果你是管理者，就必须亲自动手，必须花一部分时间真正去交付产品，得设身处地体会团队的处境，我自己也总是尽量留出一部分时间，在模型可用时，实际跟一两个工作流，好让我保持对模型能力的认知，了解模型演进的速度和进步有多快，这样我才能帮团队做出更好的决策，所以我听到的是，不管你在公司层级里处于什么位置，如果你不自己动手构建，不真正去跟Cloud对话，跟Codex对话，去构建东西，你就做不成，而且你应该觉得用这项技术很好玩，我觉得这是另一面，我认为最成功的人，不论级别 都是那些热爱跟AI一起工作，不断探索和实验的人，留出时间不只是为了实验，而是真正亲自动手，端到端地交付，拿到用户反馈，我觉得这对每个人都必须是基本功 [00:45:51]
Lenny Rachitsky：我完全懂你的意思，就像我坐在这里写newsletter 录播客，光嘴上说说，是啊是啊，听起来很棒，但每次我真正动手做点什么，用各种小项目去捣鼓，你就会觉得，好吧，我明白这是怎么回事了，你收获的东西要多得多，那种实际跟模型打交道，构建东西的体验，很难准确描述，但就像进入了一个，完全不同的世界，你会恍然大悟，哦，原来他们说的 computer use这个意思，原来他们说的这个 UX限制是这么回事，对，是啊，你还提了一个很有意思的点，就是你必须觉得它好玩，这对很多人来说并不容易，因为他们是被迫用AI 或者根本不知道拿它做什么，对，那些觉得，我不知道，这东西太烦人了，我非得干这个，我讨厌这破玩意儿，为什么非得用它，变化太快了，我好累的人，你有什么建议 [00:46:05]
Dianne Penn：能帮他们找到其中的乐趣吗，我想再强调一下，我之前说过的实验，不是一个人的运动，到现在为止，我几乎摸过20多个版本的 Cloud生产模型背后的，每一个研究版本，我觉得乐趣的一部分，也来自于看到，别人发现新的用力，所以也许一个办法是，找一个对此很兴奋的人搭档，针对一个你关心的用力一起合作，而不是自己去琢磨，或试图找出那个完美的用力，因为自己琢磨，可能会感觉像工作而跟别人一起做，很多时候感觉就像乐趣，我们还能做些什么来带动更多人呢，在公司内部经常有这种情况，某个好奇心很强的人，分享了一个心源型的想法，结果引来了更多人，他们会说，哦我都不知道现在用Cloud 已经能做到这个了，所以这里存在一些良性循环
Lenny Rachitsky：能让你持续从这项技术中获得乐趣，这个观点太棒了，我觉得这也是推特，在这方面这么有用的原因，你看到别人分享他们做的东西，会启发你想出自己的小点子，而且分享你自己做的东西，本身就很有趣，所以这个观点真的很好，就是找到其他人一起玩，一起寻找用力，我还经常听到的一个建议是，就找一个你在生活或工作中，想解决的问题，然后打开Claude Code 告诉他你想做什么，你会惊讶地发现，哪怕你只有一个，模糊的问题想法，也能走得很远，是啊，我觉得难点在于 [00:47:50]
Dianne Penn：你能尝试的事情实在太多了，是，所以你要么就是找个人搭伙，跟那些对这项技术，特别有热情的人一起做，要么就是找到一个，你能立刻看到价值的方向，这两条路都能让你，真正深入下去，而不是在很多事情上，都浮在表面，我自己就很难跟上，外面那些原型和产品的更新速度，所以我的思路一直是，怎么自己挑一两个方向 [00:48:29]
Lenny Rachitsky：扎进去做深，你这么说太有意思了，因为事实就是这样，我们刚跟我的同事Nom 一起做了一个调查，问我的读者们，对现在AI领域发生的这一切，是什么感受，我们得到的最有意思的发现之一，就是幸福感，恰恰来自你说的，在一两件事上做深，而不是试图，搞一大堆零零碎碎的东西，找到几件真正能解决好，然后深入做透的事，这才是源头，因为大家感到幸福，很多时候是因为，他们终于找到了一个，让AI真正改善生活的用法，而不是面对一堆乱七八糟，半成品一样的东西，对关键是怎么从，为了做而做跳出来，对吧
Dianne Penn：所以对我们做产品的人来说，这其实就成了一个，对你时间和精力的，产品优先级排序练习，如果目标是带着乐趣去实验，那你需要什么样的输入条件，不过我觉得 Anthropic的秘密武器，很大一部分在于它的文化，大家自下而上的工作方式，还有这种公开实验的做法，通过这样做，很大程度上就是在想 [00:49:35]
用 AI 成为更好的管理者与教练
Dianne Penn：很大程度上就是在想
Lenny Rachitsky：怎么带动别人一起往前走，我觉得这最终会变得非常有价值，对，我从其他实验室也听到过，很多次类似的说法，就是没人能确切知道，这些东西最终会怎么被用起来，很多做法就是，尽早把东西放出去，看大家怎么用，看看能实现什么，然后用这些信息来打造产品，决定往哪发力，顺着怎么用AI 来帮你工作和生活这个话题，我很好奇 [00:50:01]
Dianne Penn：你最近作为产品经理，在工作中有没有什么，用Cloud有意思的方式，我觉得有很多事情可以做，比如Fable和Tag这类东西 Tag现在还处在非常早期的阶段，我觉得有意思的是，你怎么在一个不同的范式下工作，让一个agent自己去跑任务，然后把产品体验带回来给你，还有一个方向，虽然不是最近的，但我经常跟团队提，而且我觉得我们还可以做得更多，就是怎么用AI来帮我们，彼此之间有更好的对话，成为更好的管理者，我觉得这不一定只是提高，我们打造产品的智商，我自己也经常用它，比如用来准备怎么在关键时刻进行更好的对话，我很喜欢《关键对话》那本书，所以我其实建了一个skill 它能帮我判断在当前的情况下 我的沟通深度和细节程度是不是合适，它真的在帮我成为一个更好的管理者和团队支持者，所以对于团队里的管理者们，这也是我最近跟他们分享比较多的东西，就是说你怎么真正用cloud来让自己成为一个更好的教练，因为有时候要找到最恰当的话是很难的，而模型里有大量精准，恰当的表达，我觉得这里面有一种可能性，就是怎么从情商的角度，来增强我们自己，天哪，这里面有意思的东西太多了，我先确认一下你的做法，就是你建了一个skill [00:51:21]
Lenny Rachitsky：你直接跟Claud说，帮我建一个skill 把《关键对话》 这本书里的要点放进去，而他本身对这本书，已经足够了解，你甚至不需要，给他梳理的内容，然后你就用这个skill 去跟Claude聊说，我马上要跟一个同事，进行一次非常艰难的对话，给我一些怎么处理这次对话的建议，对他就像一个很好的，几乎像是一个为你量身定制的，个性化教练
Dianne Penn：就是帮你成为更好的自己，我们每天有那么多上下文切换，有Claude帮我搭把手，帮我梳理思路，真的很有用，也许有些时候，我最终并没有采纳Claude的建议，但它在帮我构思和头脑风暴的时候，却是非常有帮助，比如我对别人反应的预判，对不对，我怎么才能更快地深入问题，更快建立信任，更直接地沟通，是啊 [00:52:24]
Lenny Rachitsky：我这有太多问题了，这太有意思了，一个是，有人担心大家以后说话，会变得像AI写出来的东西一样，因为他们跟AI对话太多了，就会变成那种 DN 不是这样，而是那样，我知道你不是那样做的，但这确实是很多人担心的问题，我就直接问吧，你会担心这个吗，就是大家说的那种脑腑，能力萎缩之类的，我们现在太依赖AI了，我们不再学习和思考
Dianne Penn：把AI的想法过度叠加在自己身上，跟AI走得这么近，这么深度地融合在一起，对我来说，思考和写作的过程，很大程度上是绑在一起的，所以我会在某些地方，用Cloud来增强我的思考，但我想确保的是，也许这就是你描述的情况 Claude不会替我把所有思考都包办了，所以要看具体情况，看我在某个情境下，想保留多少个人判断，我可能会先形成自己的观点，然后再跟Claude一起打磨，并且确保整个过程中，我自己的感觉和语气都在，还有一些其他事情，比如更新汇报，对吧，我们有阅读业务复盘，那种情况下就不一样了，我其实希望它标准化，希望信息以正确的方式被提炼出来，我们有一个skill 也在不断改进这个skill 但我想达到的状态是，阅读业务复盘的写作本身，其价值可能远不如背后的思考，那我怎么把写作这部分完全交给Code 我更多是审核和验证信息，所以我觉得这取决于你用Code做什么，想传达什么 [00:54:11]
Lenny Rachitsky：以及把更多事情交给Code 是否真的能带来不对称的价值，我听到的还有一个点，你给的第一个建议特别好，先自己思考，有自己的观点，然后把Cloud当成一个对恋伙伴
Dianne Penn：用来打磨想法，挑战想法，对，我觉得这恰恰是我们的对气研究，和安全研究能帮上忙的地方，因为你不会想要一个，只会符合你的人工智能，对吧，你希望这个技术，真正能增强你，帮你成长，帮你达到更好的结果，所以有时候 Cloud反驳我，反而让我变得更好，这很棒，就像一个同事，我希望有人，在我的想法
Lenny Rachitsky：还不够成熟的时候提出质疑，我想多听听这方面，我记得Batman上节目的时候，聊到了Cloud内置的宪法，以及你们在安全和对齐上的投入，就是你刚才说的，还有那套描述Cloud 应该如何思考和运作的宪法，你可能会直觉地认为，这些东西会限制Cloud的能力，让它变得不那么有趣，但恰恰相反 Cloud是最有个性的，我不断听到这种反馈，大家会说，我更喜欢跟Cloud聊天 OpenClaw最初就是基于Cloud构建的，后来用户被迫，这个我们就不展开了，被迫切换到GPT 他们的反应是，这也太差了，这不是我习惯对话的那个对象，所以我觉得这个点特别有意思，我想确保我们花点时间聊聊，为什么，为什么对对其和安全的重视 [00:55:10]
Dianne Penn：有这套清晰的宪法，反而让Cloud变得更好，对话起来更有趣，为了让Cloud尽可能聪明，尽可能强大，它必须能在正确的节点，提出质疑，然后补充，就像一个是或否的判断，最终帮你得出更好的结论，我试过用Cloud来帮我们做决策，比如下一个版本的Cloud 该怎么定价，这有点圆，但就是用一个研究版的Claude 让他自己琢磨该怎么给自己定价，最终能得出更好的结果，这才是目标，所以让人工智能不只是一个助手，不只是一个执行者，不只是被动接受任务，而是能判断这件事做得对不对，这跟知道什么时候该提出质疑是深度绑定的，对吧，这就是知道什么时候该主动的一部分 主动性不一定总是去做，你日程表上安排好的事，而是知道什么时候该提出新想法，所以为了让Quad更有用，整体思路必须是他知道，什么时候该反驳 [00:56:53]
Lenny Rachitsky：这是模型整体特征的核心组成部分，这个太有意思了，它不那么顺从，反而让它变得更好，更有用，这一点真的很妙，因为我们需要这个，我遇到过太多人，他们说告诉我 [00:57:07]
Dianne Penn：我是对的，我就想，不，我希望别人能反驳我，对这又回到我们之前聊的，关于思考的话题了，对吧，你怎么保护自己的思考，如果你有一个人工智能，可以当思考伙伴，思考伙伴不会只是附和你，他应该给你加分，你最终跟Claude合作完之后，应该带着更好的想法离开，这才是终极目标
Lenny Rachitsky：而不只是把你的想法变好10% 对我很喜欢这个，以前大家说的是十倍思考，创始人会这样推动团队，我们能不能把这个做到十倍，但我最近不断听到的说法是，我们怎么从这个想法出发，做到一千倍，这个想法最雄心勃勃的版本是什么，我想回到刚才我们聊，一直跟Cloud对话，是我想到的一个点，现在AI写的东西还是很明显的，这挺有意思的，它叫大语言模型，你可能会觉得在所有事情里，它最擅长的应该是写作，但有趣的是，目前没有哪个AI 真的很会写，一看就知道是AI写的，你觉得我们会不会
Dianne Penn：走到那一天，完全看不出这是AI写的，我觉得这取决于，你想通过知道还是不知道，来达成什么目标，对评估标准是什么，我确实认为，我们在让Cloud写得更好，这件事上，还可以做得更多，我的团队和研究那边，其实都在非常积极地推进，就是让Cloud整体上写得更好，我觉得一个想法，到底是你主导的，还是Eulani主导的，还是我Dianne主导的，这一点应该要清晰，但这真的取决于写作的目标是什么，比如像阅读业务复盘这种东西，我其实很乐意让它，从头到尾都有Cloud来写，而且显然不是要让它读起来 [00:58:24]
Lenny Rachitsky：像人写的，你这个观点很有意思，就是说我们知道它是AI写的，和不知道到底哪个对我们更好，对，但这也可能更多是从可验证性 [00:59:03]
Dianne Penn：或者说谁来验证输出的角度来看的，对吧，比如谁来签字，确认也许重点不在于谁写的，而在于谁来验证，谁来签字
Lenny Rachitsky：这比谁写的更重要，为什么你觉得AI为什么不擅长写作，我猜他已经学习了人类历史上所有最好的作品，他已经搞清楚了最好的写法，而现在写作的方式也就那么多，所以我们只是认出来了，哦 AA就是这么写的，它有这些套路，这是核心原因吗，还是有什么别的东西，让它没法成为一个伟大的写作者，讽刺的是，作为一个大语言模型
Dianne Penn：你最擅长的按理说就应该是语言，我觉得部分原因也在于
人类判断力、写作与 AI 的边界
Dianne Penn：我觉得部分原因也在于，我们需要在训练改进上投入更多，让AI在写作这类领域持续变强，另外就像我们之前提到的，技术是参差不齐的，所以有时候模型擅长写作，但不够agent 我们的思路就是，怎么让模型更agent 或者能调用正确的工具，现在这方面进步了一些，那么其他这些领域，就成了更明显的短板，所以我觉得在写作上，我们现在就处在这样一个时刻，需要真正聚焦并优先训练模型，让它在这个领域变得出色，就像你提到的，这是我们一个非常活跃的方向，挺有意思的，好吧，我很高兴听到这个，而且等AI好到
Lenny Rachitsky：我们分不清是谁写的时候，那会很有意思，但就像你说的，有时候我们其实就想知道，那是AI写的，这个角度很有意思，我以前从没这么想过，另一个有意思的点是，有个喜剧演员开玩笑说，我们坐在飞机上 WiFi断了，我们就想搞什么，这飞机上WiFi怎么用不了，太差劲了，你们怎么搞的，可你正坐在一个，在天上飞的管子里像鸟一样飞，你怎么好意思抱怨WiFi不能用，你的意思是，进步这么大，能力这么强，我们不可能什么都修好，不可能让所有东西都达到最佳状态，所以基本上 [01:00:45]
Dianne Penn：I写作一直不是优先事项，而现在感觉这方面投入在增加，对，我觉得语气和个性是优先事项，这些技术的进步，本身就是进行中的工作，我们看到了agent行为上的一次飞跃或涌现，这成了新常态，然后其他这些能力，就需要继续提升，我觉得等我们改进了，比如说写作，语气和个性之后，我们可能又会说，怎么让Claude更主动，主动性就是一个机会，这也是人性，我们想让自己变得更好，想让这项技术变得更好，所以没错，我觉得我们正在把这一点 [01:01:22]
Lenny Rachitsky：应用到AI上，这是对的，我们应该让它变得更好，我想问你几个问题，是我喜欢问那些，正站在未来中心的人的问题，一个是，你觉得在未来这些年里，人类的大脑，在哪些方面会持续最有价值，我知道Anthropic的使命和愿景是，我们会实现通用人工智能 一种超级智能，所以在未来，也许人类大脑在哪里都不再有价值，但在我们到达那一步之前 [01:02:02]
Dianne Penn：随着我们接近那个时间点，你觉得人类大脑，在哪些方面会持续最有价值，我们大概从去年开始，一直在聊怎么让Cloud和这些模型，在判断力上做得更好，我觉得判断力这个东西，它积累了大量微妙的细节和大量经验，而这些系统经历过的，远没有人类那么多，所以这种靠时间磨出来的判断力，对产品负责人来说，对整个行业来说，都会一直非常关键 AI能造的东西太多了，但一个像Lab这样的组织，到底该造哪一个，这里面很多都需要人的判断力，需要坚持，还有主动性，这些特质已经超出了通用能力的范畴，更像是一种行为和品格，你怎么找到最好的解法，你怎么打造最好的体验，所以我觉得这些特质，这些很具体的特质会一直很重要 另外我觉得还有很多能力，很多领域的专业知识也同样重要，软件工程确实已经被AI彻底改变了，但像生物学生命科学这些领域，我们其实还处在指数增长的起点，可能软件工程已经跑在指数曲线上了，但其他一些领域还没到那个阶段，所以你会看到我们推出像Cloud Science这样的东西，在这些领域投入，因为我觉得这恰恰是把这项技术带给社会，让它对社会产生积极影响的方式，所以前面还有很长的路要走 [01:03:21]
Lenny Rachitsky：还有一个问题想问你，你也是有孩子的人，你怎么看，你会鼓励他们学什么，或者说，在这个我们即将进入的，疯狂新世界里，你会怎么引导他们走向成功
Dianne Penn：其实我觉得，很多特质跟你我成长中，培养的那些差不多，就是好奇心，对学习的渴望，坚持，还有相信自己的内心声音，先培养出来，然后再去相信它，我有一个四岁的孩子，一个八岁的孩子，帮助他们培养，自己的内心声音，这是我们的责任，是我的责任，不管是对我表达不同意见，坚持自己的立场，对吧，去培养这个，去鼓励这个，我觉得这类能力在未来很重要，而且我喜欢，他们有自己的独立声音，这个很有意思，这跟你之前回答，怎么避免脑服 [01:04:08]
Lenny Rachitsky：避免过度依赖AI时说的，关联很深，就是在你过度依赖AI之前，先守住自己的观点，自己的视角，你现在说的，在孩子身上培养这种能力，真的非常重要，很有意思，我很喜欢这一切是怎么串起来的，判断力，坚持，还有你自己的观点，对，对孩子是这样，对成年人也是，对，我们想的那些东西，对你，天哪，我现在在想的问题是，什么时候让他们接触AI这类东西，我有个三岁的孩子，现在接触还太难，但你怎么让他们上手这个疯狂的东西，我最近参加了一个活动，一群家长，在聊他们怎么看待AI和孩子，有一个人提了个很有意思的做法，让孩子用最早的模型，这样他们还是得费点劲，不会马上拿到所有答案，这个挺有意思的，比如用一个开源本地模型，不是Fable 对 还有好奇心这件事，我一直提到Banman 但他对这个问题的回答，我一直记得，就是好奇心，还有他特别喜欢蒙特索利，这也是我鼓励我们孩子去接触的，所以这里面确实有点东西，可能最后一个问题，也是顺着这个方向 Fiona Fung 最近上了播客，她建议我问你，你怎么让自己保持充电，不burnout 你身处这场疯狂的AI风暴中心，又是一位妈妈，在Anthropic做研究，我们正在经历最史无前例的时代，光是在Anthropic外面看，就已经够疯狂了，我完全无法想象在里面，是什么感觉，关于怎么避免burnout 怎么保持充电，怎么在这一切中间保持清醒，你学到了什么 [01:05:42]
Dianne Penn：2024年我们全年发了四个模型，或者说四个系列的模型，而今年光Q2发的量，就超过了去年全年，我觉得自己真的很幸运，能和我们一路成长，搭建起来的团队一起工作，包括研究册的同事，和我们研究产品管理团队，内部的伙伴，我觉得做这件事最神奇的地方之一，就是它不是一个人的运动，这里有一种极致的 ownership和团队协作，有时候确实会让人觉得，像在打高强度的竞技体育，因为你要面对非常关键的决策，不断有关于用户，关于训练的新信息进来，你必须很快地给出建议，做出判断和决定，没有人能靠自己一个人，持续做到这些，所以真正帮到我的是，我有一支非常出色的团队，大家会互相照应 比如发布前一晚，即使不是那款模型的核心直接负责人，也会熬夜帮负责人审博客文章，改内容，想出更好的demo 知道要去做彼此的帮手，我觉得如果你把所有变化都扛在自己肩上，很容易感到孤立，觉得所有事都得自己来，但我觉得Anthropic最神奇的地方之一，就是我们能找到那些互相帮助的机会，并且真的多走一步，做到心意相通，我们管这叫进入集体新流，有篇文章写过这个，我觉得这其中的一部分意义在于，它能让团队得到真正的恢复，不是说我六月刚休了带薪假，你休完假回来，等着你的是三倍的工作量，而是你可以安心休假，知道团队能处理好该做的事，我们每个人都会互相照看 所以我觉得这是很重要的一部分，我个人也真的很幸运，我的伴侣非常支持我，这已经是我在AI领域工作的第六年了，从亚马逊到Anthropic 所以他看到我有多热爱这项技术，以及它能带来什么，从个人角度来说，这也给了我很大的帮助，我很喜欢 [01:08:18]
Lenny Rachitsky：很喜欢这些回答之间相互关联的方式，我听到的是，身边有其他人和别人一起工作，依靠别人，在事情变得疯狂时互相帮助，这跟你之前说的，怎么在工作中找到快乐和乐趣的答案很像，就是从别人那里获得启发，看看他们在做什么，一起合作，对，有意思的是Fiona最近上节目的时候，我问她软件工程领域发生了什么变化，她指出，现在的工作孤独多了，因为我们在跟agent 而不是其他人一起工作，团队更小了
Dianne Penn：人们不停地跟一大群agent对话，所以这正好提醒了我们，身边有真实的人是多么有力量，我们被要求去处理，去决策的事情都非常重大，因为技术给了你更大的规模，对吧，我觉得身边有其他同事，能在一定程度上与你做的事，你的处理方式心意相通，不一定了解每个细节，但知道你的第一性原理是什么，你的假设是什么，这就能帮他们替你顶上，或者挑战你的决定，让你的思考更敏锐，所以在搭建团队，壮大团队，招人的时候，我真的会努力去寻找这一点，比如这个人是更在乎自己的ego 和建一个大部门，还是更在乎为anthropic做贡献 [01:09:16]
在指数级变化中保持好奇与协作
Dianne Penn：还是更在乎为anthropic做贡献，为团队的影响力做贡献，我们会倾向于那些ego小，有团队精神的人
Lenny Rachitsky：我觉得这对可持续性来说，是非常重要的一部分，是啊，很多事情归根结底，还是回到文化和招聘上，我听过很多次 anthropic之所以能行动这么快，我记得有段时间，几乎每天都有新东西发布，就像一个发布日历，大家都在讨论，这怎么可能做到，我听到很多的说法是，因为每个人都高度认同，公司的使命和价值观，所以大家能非常快地做决定，在我们进入非常刺激的，快问快答环节之前 Dian 你还有什么想分享的吗，还有什么想聊的，或者想再强调一下，我们聊过的内容吗，这次聊天真的很有意思，因为我觉得你的问题 [01:10:07]
Dianne Penn：反而帮我理清了一些思路，让我看到这些想法，是怎么串联起来的，我就是你身边的真人版Claude 有一件事我特别想传达，或者说希望大家能带走的，我觉得一是工作方式上的，但第二点也很重要，就是这里面有很多成长和变化，以及使用这项技术带来的那种快乐，如果你此刻觉得自己，没有那么多最初的那种快乐感，那怎么去找到那些，还有这种感觉的人呢，如果你对这个领域感到兴奋，想参与进来工作的话，我觉得培养技能，在很多方面，更新自己的技能组合，比如用第一性原理思考的方式，去想你要解决什么问题，我觉得从根本上说，你没问我这个，但社区里确实有这样一个问题，我们还需要产品经理吗，当模型能力这么强，工程师们又这么投入的时候，我认为那些以用户为中心 深入细节去理解，用户想要达成什么，并把这些提炼成可执行的洞察，然后坚持不懈去做这件事的人，这个角色对我来说，就是产品人的核心，而且我其实觉得我们更需要这样的人，我觉得我们正在变得技术层次过多，技术驱动，而实际上要让技术产生影响力，你就必须深入，必须保持好奇，必须极度亲力亲为，这些特质，我认为从产品开发和模型开发的角度，也作为文化的一部分，帮助了Anthropic [01:11:41]
Lenny Rachitsky：希望这对其他人也有价值，太棒了，多么鼓舞人心的结尾，天哪，是的，而且我很久以来也一直在说，现在构建本身很容易，难的部分变成了，就像你说的，我们应该构建什么，我们构建出来的东西，是否正确，够好，值得投入，对我来说，这就是产品经理做的事，也是产品经理擅长的事，对，对，对，就是深入到用户的细节里去，对，同理心，好了很好，产品经理们会挺住的，好了产品需求文档还没死，这里头有各种各样的重要经验，说到这里，我们来到了非常激动人心的，快问快答环节，我有五个问题要问你，准备好了吗，第一个问题，有没有两三本你发现，自己最常推荐给别人的书，一本比较个人化的 [01:12:17]
Dianne Penn：我很喜欢如何养育一个成年人，我是一位母亲，我经常思考我想给我的孩子们，灌输些什么，那本书在描述这一点上，非常有帮助，我们不是在试图养育孩子，我们是在试图养育成年人，就是这种框架，它意味着什么，我们想要磨练，引导和培养孩子们的哪些特质，我最近在audible上，听的另一本书是 Eric Rice的 Incorrigible 就是那本 Incorruptible Incorruptible 对，对，对，他最近上过我们的博客，是的，我只是觉得，如何打造伟大公司，这个问题很重要，我个人最着迷的，一直是如何让伟大的团队，和伟大的公司走得更远，看到它对于这个问题的框架，和重新构建，非常有意思，我很喜欢里面一些 关于为文化设定衡量标准的例子，如果你只衡量收入，那你就会朝着那个方向走，但如果你有其他，更好的衡量标准，那才是维持你所珍视的价值观的方式，我一直在尝试思考，如何把这个带到团队层面，比如我们如何更好的阐述，写下我们的规范 [01:14:03]
Lenny Rachitsky：很多我们在团队里谈到过的事情，所以我觉得这也是一本很好的读物，说得好各位听众，你们接下来可以去看这期 Eric Rice那期节目，那期节目特别好，是的而且他的新书 Incorruptible刚出版，我记得它好像是，纽约时报畅销书，实际上卖得特别好，看到这个我真的很高兴，是的没错，下一个问题，你最近特别喜欢的一部电影或电视剧，我猜Anthropic的大多数人，都没时间看什么东西，但我好奇你有没有答案，要我说上个月休假的时候，我确实在亚马逊Prime上
Dianne Penn：狂刷了辐射，那部剧其实我有点，怎么说你听说过吗，听过，听过它是根据一个电子游戏改编的，对它是根据电子游戏改编的，我觉得它是一部，它非常诙谐幽默，同时也超级注重动作场面，所以强烈推荐，好的下一个问题，你最近发现并非常喜欢的一款产品，是什么，我真的觉得Claude Code 作为一种产品体验非常有意思，我们在Anthropic内部，其实有不同版本，而且我认为它确实是一个，非常非常非常强大的工具，是的，感觉上 [01:15:06]
Lenny Rachitsky：我觉得有些人可能会想，这有什么大不了的，但Anthropic内部，每个人都在对它赞不绝口，这告诉我，这里面肯定有重要的事情在发生，而且我正试着，在我为付费通讯订阅者建的 Slack社区里，把它用起来，那该有多酷啊，是的，我们正在尝试弄清楚，当它不是一个公司，而只是一群互不认识的人时，它要怎么运作，但我们正在尝试，好了，还有两个问题，你在工作或生活中，发现自己最常回想起的，一句最喜欢的人生格言是什么，我人生的前十年，其实是由祖父母带大的
Dianne Penn：我爸妈当时在美国是移民留学生，在读本科和硕士，我祖父总说，不管你走了多远，前面总还有更高的台阶，我觉得这话用来形容，他的人生哲学，虽然有点严苛，但确实是个很好的指引，每当遇到全新的，前所未有的事情，我都会想起这句话，今年上半年，这种情况就特别多，有很多新东西要学，我自己也在学 [01:16:22]
Lenny Rachitsky：所以就是那种感觉，前面总还有另一座山，另一个机会，等着你去攀登，还不够好 Dian 我们得做得更好，得做得更大，这让我想起Ben Man 在他那期播客里，说的另一句话，现在会是最正常的时候，以后只会越来越奇怪，越来越疯狂，对，天哪，好最后一个问题，我翻了翻你的领音，你职业生涯早期，在摩根大通做过高收益债券交易员，你当时好像管理着一个，被隐去金额的，一亿美元交易组合什么的，那段经历让你学到了，什么至今受用的东西
Dianne Penn：或者有没有什么疯狂的故事，毕竟是你人生中的四年，我觉得我学到的东西，很多都用在了 Anthropic和之后的工作里，在摩根大通的时候，交易大厅的样子，你可以想象成电影《华尔街》那种，但其实很不一样，我觉得大多数交易员都是坐在终端机前，更多是在电脑上做分析，但那里依然，怎么说呢，男性占绝对主导，我是交易台上唯一的女性，也是唯一有我这种背景的人，我学到的是，那个环境特别好，帮我建立了两样东西，第一是找到真实的自我，第二就算我是最资浅的，就算我看起来跟别人不一样，但最好的想法，以及对自己想法的坚定信念，才是最重要的，其他那些因素都无关紧要 所以我把这种感悟带到了工作中，我在团队面前，会展现自己脆弱和真实的一面，我非常努力地去确保，不管别人是什么级别，待了多久，只要他们有很棒的想法，我就要想办法帮他们去实现，而且一视同仁，就是说把想法提出来，真正地坚信它，然后去跟进执行，去做那些琐碎具体的工作，把它变成现实，这些都是我做交易员时学到的，我觉得这些在很多方面，都适用于任何工作，说得太好了，大家如果想关注你，在网上哪里能找到你，还有听众们能怎么帮到你，我在社交媒体上没什么存在感，想了解我和我团队的工作，最好的方式还是看Anthropic的官方博客 以及我们发布新模型新产品体验的时候，至于怎么帮到我，我觉得最重要的一点就是你的反馈，真的你在我们任何产品界面上点赞或点踩，或者联系你的销售反馈模型问题，这些信息最终都会到我这里，实际上每一个研究模型，我都会非常深入地去了解用户的好感度和反馈，所以给我们反馈，使劲用Cloud 告诉我们它在哪方面不行，这些都能帮我们把Cloud做得更好，另外一点是，如果你的人脉圈里有我刚才描述的那种人，我们正在招人，团队在扩张，我们非常欢迎热爱这项技术，有强烈好奇心，习惯第一性原理，思考 [01:19:11]
Lenny Rachitsky：敢于质疑假设，并且有那种爱捣鼓
快问快答：从 AI 产品到交易员经验
Lenny Rachitsky：并且有那种爱捣鼓，爱折腾精神的人，哇简直是梦想中的工作，所以基本上，就是Anthropic研究团队，在招产品经理，是的，我猜申请方式就是，去官网的招聘页面，是的，我的天，好了来吧，准备好迎接即将涌来的简历吧，谢谢你 Laini Dianne 非常感谢你今天来
Dianne Penn：非常感谢你邀请我，谢谢你提了这么多，有帮助引人深思的问题，甚至帮我理清了我们的工作方式，以及这整个技术是如何整合的 [01:20:24]
Lenny Rachitsky：还有我们作为产品人在其中的角色，真的很感谢你这么说，但说真的，谢谢你 The End 好了，各位再见，非常感谢收听，如果你觉得这期节目有价值，可以在Apple Podcasts Spotify 或你常用的播客APP上订阅，另外，也请考虑给我们评分，或写个评论，这真的能帮其他听众发现这个节目，你可以在LennysPodcast.com 找到所有往期节目，或了解更多关于节目的信息，我们下期再见