目录
- AI时代新闻业的信任与生存 [00:00:00 - 00:10:00]
- AI回答为何值得信任 [00:10:00 - 00:20:00]
- 独立评估如何处理事实与偏见 [00:20:00 - 00:30:00]
- 专家、信任与高风险应用 [00:30:00 - 00:40:00]
- 聊天机器人的迎合与内容审核 [00:40:00 - 00:50:00]
- 从准确性走向 AI 伴侣 [00:50:00 - 00:57:08]
AI时代新闻业的信任与生存
Alex Kantrowitz：AI 模型应该如何处理政治、疫苗这类有争议的信息？本期节目将和媒体及科技领域的资深人士 Campbell Brown 一起讨论这些问题。欢迎收听《Big Technology Podcast》，这是一档围绕科技世界及更广泛议题展开、保持冷静并注重细节的节目。今天我们将讨论 AI 模型应该如何报道有争议的信息：面对政治候选人、疫苗和自残等问题，它们应该如何回答？今天来讨论这个问题的人选非常合适。Campbell Brown 加入了我们的节目，她是 Forum AI 的首席执行官，这是一家正在解决这一挑战的新公司，也就是试图回答模型面对争议信息时究竟应该如何工作。Campbell，很高兴见到你。 [00:00:34]
Campbell Brown：我也很高兴见到你，Alex。很高兴来到这里。
Alex Kantrowitz：很高兴你能来。我们认识很久了。你曾经负责 Meta 的媒体部门，最初负责新闻业务，也确实面临过一些挑战。这个时机其实非常合适，因为除了这些经历，你还曾是 CNN 和 NBC 的主播。你既从新闻业一侧看过这个问题，也从科技业一侧看过。我们当然会深入讨论 AI 模型应该如何处理有争议的信息，这正是你在 Forum AI 做的事情。不过，我想先谈另一个我认为正在逼近、而且同样紧迫的问题：随着大型语言模型吸收出版商生产的内容，人们越来越担心，创作这些内容的动力会消失。最开始，这像是一个理论问题：也许有一天，人们会直接从大型语言模型获取信息，不再访问网站。现在看来，ChatGPT、Anthropic 的产品，以及随后出现的一批挑战者，最终都不可避免地会把这些信息纳入自身体系，换句话说，出版商内容可能成为模型回答问题的底层材料，并让读者不再回到原网站。所以我对此有些矛盾。我经营一家媒体公司，一直认为媒体不能依赖平台流量来维持生存；在 Big Technology，我们也不做搜索引擎优化。但另一方面，似乎会出现一个黑洞：对很多人来说，在线创作内容的经济激励将会消失，最终导致信息体系崩塌。你再次站在这个问题的各个侧面，所以我很想听听你认为事情会如何发展，也想知道你在这些不同位置亲历过这一变化后怎么看，尤其是新闻生产者和平台之间的关系会如何变化。 [00:02:39]
Campbell Brown：我和你一样担心。人们有时会对我说，你的职业经历太分散了：你做过这个，后来去了 Meta，又做过记者，彼此之间似乎没有关联。但就我现在所处的时刻而言，这条轨迹其实非常连贯。我在 Meta 负责新闻业务时，就曾尝试应对其中一些挑战：我们如何和出版商合作设计商业模式，改善业务表现和前景，让平台与出版商形成更好的伙伴关系？我不认为那次尝试真正奏效了。ChatGPT 发布后，我立刻意识到，或者说那一刻变得很清楚：这将成为我的孩子们获取新闻和信息的方式，信息会通过这个漏斗流动。问题是，这会是什么样子？我们如何确保信息质量，确保像你这样的人成为记者、能够靠记者工作谋生，并让这些工作继续为模型提供内容？我认为我们还没有解决方案，眼下也没有可以立即落地的完整答案。实验室、模型公司和仍在从事传统新闻工作的出版商之间，目前处于某种对峙状态。我们还没有走到另一个阶段，也就是一些实验室和记者达成协议，确保它们拥有回答有关世界的问题所需的基本信息。可是，未来 AI 和出版商之间的商业模式究竟是什么？这个问题仍然没有解决，现在就是一种僵持状态。有人在诉讼，也有很多人在设法创造性地思考解决办法。我投资的一家公司 Tolvit，正在尝试建立一种市场，让人们可以根据内容的使用情况购买内容。但到目前为止，还没有真正清晰的模式出现。我也会担心你通过这档节目取得的成就。我记得你达到一百万时曾和你一起庆祝过。 [00:05:05]
Alex Kantrowitz：一百万次下载。
Campbell Brown：对不起，我是说下载次数。但那是一个巨大的时刻。我同时也会想到那些没有你这么有创业精神的记者，他们无法独立闯出一条路，也不知道如何在这个新世界找到自己的专长。如今，记者作为通才很难立足，因为市场并不存在：AI 的写作能力已经超过了很多记者，也比很多记者更擅长综合信息。如果你不能为整个生态和公共讨论带来真正的专业知识或原创信息，那么你究竟贡献了什么？我还看不清新闻会变成什么样，也看不清这个新世界里的商业模式会是什么，这两个问题在我看来仍然同时悬而未决：新闻需要继续被生产，模型也需要有可靠的材料可以使用。我认为我们正处于一个过渡阶段。也许诉讼会把我们推向某个结果，或者其中一些诉讼的结局，最终会决定商业模式走向。 [00:06:14]
Alex Kantrowitz：如果你觉得 AI 现在已经很会写、很会综合信息，那就等着看接下来会发生什么吧。但它还没有你所拥有的东西：你通过和科技生态中不同领域的人交流，在各种主题上积累了背景、真正的专业知识，而这些知识包含细微差别，也带有主观判断。我们稍后会继续讨论这一点：AI 应该如何处理主观信息？那些积累了专业知识、能够看见细微差别的人，无论是在政治、科技，还是医学和医疗等领域，都仍然远远领先于今天的 AI。我认为，这些人不仅对新闻业，而且对整个社会都贡献了极其重要的东西。我们必须想办法让 AI 达到那样的水平，同时又不能让它取代这些对所有人都至关重要的专家，因为他们提供的判断并不是单纯生成文字或拼接资料就能直接替代的。我再补充一点，然后继续往下谈。随着 AI 崛起，我们传递内容的方式也发生了很大变化。比如现在我们就在纽约证券交易所，通过视频对话。过去我报道你的时候，我是 BuzzFeed 的记者，你在 Meta 工作，那时一切都是文字。我确实认为，人们正在观看视频，我们也会把这段内容作为音频发布，并在新闻简报中附上链接。人们对视频的消费正在增加，我想这是因为他们更愿意观看这样的真实对话，而不是收听由 NotebookLM 的播客生成器制作的同一内容。如果人们能看到我们作为真实的人存在，这会更有吸引力，因为这构成了对外界所有 AI 信息的某种反作用力，让观众看到说话者本人，而不仅仅是无形的机器输出。 [00:08:13]
Campbell Brown：这正是我创办公司的基本假设：围绕 AI，我们确实存在一个信任问题。AI 距离解决这个问题还很远，而你作为 Alex，已经和听众建立了某种信任。希望经过多年的记者生涯，我也仍然和了解我、了解我如何看待世界以及我如何处理问题的听众保持着关系。这种信任不是 AI 能轻易取代的。不过，回到你最初的问题，从媒体角度看，我担心的是，人们对媒体整体的信任度已经降到了历史低位。对像你这样的个人的信任则有所不同。现在我获取新闻的方式，大多是通过新闻简报、播客或某个具体的人；过去我会直接访问《纽约时报》《华盛顿邮报》或《华尔街日报》，现在已经不那么做了。大多数人也是如此。我们似乎已经转向信任这些具体的人来满足新闻消费需求，而这就是未来的方向，这意味着新闻消费的入口正在从大型机构转向具体的个人。我认为，和这些人建立的信任，是 AI 不容易取代的，至少不像取代一家大型传统新闻媒体公司那样容易，它必须先获得一种持续、建立在个人关系上的可信度，而这种信任不会因为回答写得流畅就自动产生。 [00:09:36]
Alex Kantrowitz：好，现在我先预告一下接下来关于你公司的部分，然后再问一个回到你刚才观点的问题。当媒体业务开始收缩、你说的那种信任也开始丧失时，人们就会转而使用大型语言模型，对吧？过去，人们会去读当地报纸，了解政治候选人的情况。 当媒体和新闻机构逐渐失去影响力时，问题不只是人们从哪里读到候选人的信息，还包括谁来生产这些信息、谁来承担错误信息造成的后果。 [00:10:04]
AI回答为何值得信任
Alex Kantrowitz：过去你会去当地报纸了解政治候选人，但现在，很多人会在聊天机器人里阅读有关候选人的信息。这会带来一整套新的问题，我们马上就来讨论。不过，在进入那个话题前，我想回到你刚才说的一件事：你曾试图在出版商与平台之间、也就是新闻出版商和 Facebook 之间促成共识并找到前进的道路，但没有成功。为什么没有成功？
Campbell Brown：我认真想过这个问题。归根结底，我们当时试图做的是让平台上出现更多高质量新闻，对吧？但如果你的优化目标是互动，而这正是社交媒体的目标，就不可能同时把准确性和质量作为优化目标，因为人们往往不会对这些内容产生互动。人们会对最夸张、最疯狂的内容产生互动，这就是人性，也解释了为什么高质量新闻很难在这种排序机制里自然浮到最上面。只要社交媒体始终以互动为优化目标，除非它做出一个重大决定，否则就很难决定新闻内容该如何排序，而大型社交平台通常不愿意做这个决定。这样一来，新闻就不会像那些更夸张的内容一样排到最前面。AI 的有趣之处在于，如果你观察今天这些公司的方向，它们正在争取企业客户，因为那才是业务和资金所在。如果我是一家每年向 Anthropic 或 OpenAI 花费数百万美元的大公司，我不会允许它们以互动为优化目标，我会要求它们优化准确性，而不是把注意力和点击量当成唯一的成功指标。因此，这会不会成为一个 AI 迎来转机的时刻？我最近和宾夕法尼亚大学一位非常出色的教授 Adam Grant 交流，他和我分享了一些最新研究：人们从 AI 获得的内容，可能比传统新闻或社交媒体更趋于中间立场，也会把更广泛的观点带进讨论。如果目标是准确性，就需要一套不同的原则，也需要以不同方式向人们提供内容。要是在某个问题上存在真相，就尽可能接近它；如果没有明确的对错或是非答案，就呈现多种观点。这和社交媒体的激励机制不同，我对此感到兴奋，也认为其中存在希望，因为至少目标可以从争夺注意力转向提高准确性。当然，我不能保证 AI 公司不会做出这样的决定：把每个人的聊天机器人个性化，只向他们反映与自身相同的观点，让他们只看到想看的内容，最后形成和社交媒体一样的过滤气泡。这可能是它们会做出的选择，但如果企业业务在推动这一切，现在它们不会做出这样的选择。 [00:13:25]
Alex Kantrowitz：所以，简单说，Meta 和出版商之间的合作之所以没有成功，是因为 Meta 选择了优化互动，而出版商因此被抛在了黑暗中，对吗？
Campbell Brown：对。不过，我仍然认为，平台展示新闻的方式可以有不同的可能，事情不只是这样。我也认为，人们消费新闻的方式正在改变。我只要看看自己的孩子就知道了：我有两个嗜读新闻的青少年，但他们不看 CNN。如果我告诉他们“你们的妈妈曾经是新闻主播”，他们甚至不知道这意味着什么。好吧，他们大概确实不知道，这很令人尴尬。他们通过具体的人获取新闻和内容，在 Instagram、Snap 以及播客上，关注的就是像你这样的人。这和我们过去消费信息的方式不同，而这对出版商来说是一个很难面对的变化。 [00:14:26]
Alex Kantrowitz：好，我们来谈谈向 AI 的转变。这其实是一个连续过程的一部分。很有意思，我曾在 BuzzFeed 工作，那家媒体的存在某种程度上就建立在这样一个理念之上：人们希望通过社交媒体的信息流获取信息。你当时在 Facebook，而信息流就是那个入口。但短短几年间，我们几乎已经转向另一种理念：人们会直接通过 AI 的回答获取这些信息。所以我想从 AI 回答这个问题开始。你提到人们不信任媒体，我同意。尽管 AI 在很多人当中名声并不好，但也许是答案呈现方式的缘故，也许是人们渴望得到某种东西，我说不准。AI 公司非常擅长把答案做得值得信任，以至于即使聊天机器人出现幻觉，人们似乎也更可能相信它们，而不是相信一般的新闻，甚至可能比相信我更甚。这让我担心，我觉得很危险。你也认为这是事实，对吧？ [00:15:36]
Campbell Brown：是的。但我认为，这正是问题的一部分：尤其在新闻和政治领域，信息质量并不高。我的公司做的事情，就是评估模型在高风险主题上的表现，我可以分享一些我们工作的结果。真正危险的是，如果内容质量不高，却以自信、流畅、简洁、清晰的方式呈现给消费者，那么错误就被掩盖了。聊天机器人一旦产生幻觉，你反而更容易相信一个完全错误的答案。这种呈现方式本身就是问题的一部分。它表现得如此自信，所以一旦出错，尤其涉及重要事项时，输出就特别危险。体育问题或许没那么严重，虽然我知道在世界杯结束后的第二天说这话可能会惹麻烦。但任何真正涉及医学、心理健康、政治、选举信息的问题，例如投票地点在哪里、谁在参选，这些都很重要，而错误答案的影响也很大。因此，我确实认为，呈现方式是问题的重要组成部分。 [00:17:04]
Alex Kantrowitz：它表现出来的自信确实很不可思议。首先，模型答对的时候多于答错的时候，所以它们用同一种方式呈现所有内容，逐渐建立起一种安静的信任感。你会开始觉得，好吧，这就是事实来源，即使你知道模型会产生幻觉。我最近读到 GPT-3 关于 Abraham Lincoln 的一段幻觉内容，连他出生的年份和遇刺日期都写错了，但因为文字呈现出那种大型语言模型的风格，我一开始已经准备相信这一切。紧接着下一段却说，实际上前面全都是错的。我还震惊地看到，《华尔街日报》发表过你写的一篇评论，谈到 AI 模型的一些问题。你写道，模型错误陈述了公众在政治议题上的看法，把引语归给根本没说过这些话的人；在被问到邮寄投票和选票欺诈时给出了错误答案，在被问到谁支持谁时说错了人名；面对选民在选举前可能提出的、有关选区重划、移民和气候等开放式争议问题时，它们经常偏向某一方。这是一场危机，确实如此。媒体信任度在下降，媒体业务正在瓦解，生产媒体内容的动力也在断崖式下跌，而取代它的东西却自信地完成着一项并不出色的工作，还获得了它不应得到的信任。这就是问题所在。 [00:18:46]
Campbell Brown：完全正确。问题是，我们该怎么办？我认为其实有两个问题。第一个是你刚才概括的信息质量问题。你引用的那些结果，来自我们团队对 3,000 多条提示、12,000 多个输出的评估，执行评估的是我的技术团队，其中有一些人曾是 Meta 的研究人员。但信息质量只是问题的一部分，另一部分是问责。没有任何独立机构验证这些模型的表现。关于 OpenAI 或 Anthropic 在偏见问题上的表现，我们得到的只是它们自己的博客文章，告诉我们它们测试了自己的模型，而且结果很好。可我们没有得到任何形式的独立验证，模型公司的自测结果本身不能承担这样的独立性。历史上，凡是重要的事情都不是这样：银行不会审计自己，制药公司也不会批准自己的药物。我们正在用这项伟大的新技术建设整个公民生活和基础设施。顺便说，我是 AI 最大的信仰者之一，也最为它的前景感到兴奋，所以我才希望把这件事做对，这也是建立问责机制的起点，只有这样，用户才知道结果由谁检查、依据什么标准检查，也才知道出了问题时应该由谁负责。 我们不能只把模型当作一个会说话的界面，还必须确认它所依赖的信息和判断过程足够可靠，尤其当人们把整个公民生活和基础设施建立在这项技术上时。 不能把这些问题留给用户自己摸索，也不能因为模型公司自己发布一篇“我们测试过而且表现很好”的博客，就把它当作外部检验；这恰恰说明为什么需要真正独立的检查者。 我们还要让这种检查真正独立于模型公司的自我评价，否则用户无法知道“表现很好”究竟是由谁定义、用什么数据得出的。 [00:20:10]
独立评估如何处理事实与偏见
Campbell Brown：我们谈论的是用这项伟大的新技术建设整个公民生活和基础设施。我绝不是技术末日论者，相反，我非常相信 AI，也对它的前景感到兴奋，所以我才希望把这件事做对。但我们必须建立一个独立验证的生态，而不能只听模型公司告诉我们自己的产品有多好。好消息是，我认为它们确实想解决这个问题。我们和它们进行了大量交流，也在与模型公司合作。它们之间的竞争现在非常激烈，都想赢得这场比赛，成为最好的模型，因此市场会激励它们改进，这是一件好事。挑战在于，这件事很难。更准确地说，有两个挑战。第一，这不是它们的优先事项。它们的优先事项是编程，因为那是它们赚钱的地方；它们正大力投入编程和数学，这才是它们销售的东西。第二，这类内容更难做对，因为它具有主观性。评估模型解决编程或数学题的表现时，有明确的对错；政治议题有时也有对错，我们会测量事实准确性，但很多时候并不存在唯一答案，问题可能是主观的，或者需要呈现多个观点，这就更难做好。所以我确实想肯定它们正在处理这个问题，因为这不是最容易解决的问题。心理健康也是我经常想到的领域，尤其考虑到 AI 现在已经被广泛用于这个场景。人们确实在带着严肃而困难的问题求助聊天机器人。如果聊天机器人能够做好，它们可能成为帮助人们的非凡工具，但这很难，真的很难。 [00:22:03]
Alex Kantrowitz：你的评论文章还指出了更令人担忧的信息。我们接下来会讨论解决方案，但其中最能说明问题的失败，其实更加隐蔽。
Campbell Brown：没错。比如，当我们问主要模型一个非常基础的问题：美国采用什么形式的政府？其中一个模型，Opus 4.7，把一家中国官方报纸《环球时报》称为消息来源。来源质量是一个问题，而且我认为这是比偏见和事实准确性更容易解决的问题。这对我来说是一个很容易改进的地方，我很惊讶它竟然会出现这样的结果。按理说，应该可以写一个分类器：如果模型正在回答美国政治问题，就不要引用中国官方媒体。如果你关心事实准确性，也许就不该引用中国官方媒体。所以，是的，这个结果让我意外，而且那绝不是个例。我只是挑了这个例子出来，实际上还有很多类似情况，并不只是 Claude 或 Anthropic 的问题，而是所有模型都存在的问题。来源质量确实是一个问题，我认为它比偏见和事实准确性方面的一些挑战更容易处理。它看起来就是一个容易改进的地方，模型公司应该被指出这一点，并把它解决掉，也就是说，模型不仅要判断答案，还要判断支撑答案的来源是否适合这个问题，并让用户看得出答案建立在什么来源之上。 [00:23:34]
Alex Kantrowitz：有意思的是，你们做的事情基本上是召集了一批专家。当出现政治、时事或其他敏感问题，聊天机器人需要对此发表意见时，尤其有趣的是，它们通常并不会拒答。你们只是想确保答案准确，然后对答案评分，甚至写出一个合适答案的版本。请你带我走一遍这个过程，我想准确理解它。 [00:24:08]
Campbell Brown：很多从事模型评估、标注和数据工作的公司，你应该听说过那些大型公司，它们会使用数百甚至数千人来努力找出正确答案。我们的看法是，你不需要数百或数千人，而是需要某个领域里最聪明的人。我们会邀请政治、地缘政治等领域最优秀的人，与他们一起设计基准测试，制定标准，并和他们进行非常深入的合作。然后，我们把这套评分标准用于训练一个大型语言模型评审员，让它可以大规模评估模型在这些主题上的表现。这样说清楚了吗？我是不是讲得太细了？ [00:25:01]
Alex Kantrowitz：没有，这正是我们应该讨论的内容，也是听众能够理解的层次。只是这里会出现一些问题。比如我问一个大型语言模型：“美国适合接纳多少移民？”你们召集了最聪明的人，这很好，但左翼和右翼都会有聪明人，而他们对这个问题可能有完全不同的看法。如果你要建立一个基准，判断聊天机器人怎样回答才能既有信息量又尽可能没有偏见，你怎么表示所有这些观点？你能做到吗？不过，目标应该是这样，对吧？目标不是选择一方。
Campbell Brown：对。如果你的目标是做出尽可能无偏见的 AI 聊天机器人，那么它应该概述不同的选项，帮助你作出决定。这就是我们的方向，也是我们心中的原则。如果我们评估的是事实准确性，而且问题存在清晰的核查和事实验证方式，就按这个标准评估。对于偏见问题，我们对专家的理解是：你可以找两个对移民等议题持完全相反观点的人。如果他们是理性的人，即使政治立场完全相反，他们也会同意如何构建问题、哪些观点应该被呈现，以及哪些事实和哪些不同立场必须被放在一起说明，即使那些观点不是他们自己的观点。他们也会讨论其中什么是对的、什么是错的，以及处理这些问题时什么样的来源才算高质量。我们会和大量专家进行反复校准，尽力让评审员做到这一点，并让这套标准在不同观点之间保持一致。这有点像是在寻找最优秀的人。和我们合作的一些人曾是中央情报局分析师，因为他们必须尽量摆脱自身偏见，看见完整的大局和所有可能性。优秀的律师也会做同样的事情。你要寻找的是回答问题的正确框架，而不是为一个可能没有唯一答案的问题寻找所谓的正确答案。 [00:27:33]
Alex Kantrowitz：好，但你们的工作非常艰难。我得承认，我的投资人曾问：“为什么要从政治开始？为什么要主动把自己送进监狱？你们还有很多其他事情可以做。”我马上要问的问题可能会踩雷，所以我理解他们为什么会这么说。比如，你在评论文章中写道，人们应该能够询问模型，某种非处方药在孕期是否安全，并了解模型是否提供了医生一定会强调的注意事项。但在主流讨论中，有人认为孕期服用 Tylenol 会导致孩子患自闭症。你知道吗？我之前就问过 ChatGPT 的一个版本，疫苗是否会导致自闭症，它的回答相当明确：不会。可是，当你把专家召集到一起时，尤其是当他们与某种政治意识形态一致时，其中一群人可能会说“会”。这样一来，你就必须把这种可能性引入模型。 [00:28:52]
Campbell Brown：但你提出的其实是背景问题。这里有些事情，我相信科学。好吧，我简直不敢相信自己还得声明这一点，但我确实相信科学。所以，如果存在明确结论，我认为模型就应该努力接近真相；这不一定是你必须选择的做法，但这是我的选择，也应该成为模型努力实现的原则之一。对我们公司来说，这就是我们的原则：如果有明确证据，就引用明确证据。不过，你谈到的是背景，而这是非常重要的背景，因为它属于这个国家正在发生的讨论。这里有一些持强烈政治观点的人，他们不同意科学可能得出的结论，正因为如此，模型不能把争议本身当成可以回避的理由。你必须解释这个问题为什么会出现，也就是它在这个国家的公共讨论中占据什么位置，然后把这层背景告诉用户。它和提供正确的信息同样重要，而这正是困难所在：什么是背景？它应该呈现成什么样？需要呈现的细微差别又是什么，哪些限定条件不能被省略？否则用户只会看到一场没有解释的争论，无法理解为什么不同人得出了不同判断。 这意味着评估不能只看模型有没有给出一个听起来合理的句子，还要看它是否理解了争议的来源、是否选择了合适的证据、是否把必要的背景和限制条件交代清楚。 这意味着评估不能只看模型是否给出了听起来合理的句子，还要看它是否理解争议来源、选择合适证据，并把背景和限制条件交代清楚。专家需要先讲清评估框架，再让模型按照这个框架接受检验。 还要问清楚哪些证据可以支持结论、哪些观点只是参与讨论的一方，以及哪些信息必须明确标注为不确定。只有把这些层次都放进去，回答才真正具备背景，而不是只在表面上显得中立。 这也是为什么所谓“专家意见”不能只被当作一个标签，而要转化成可以检查的理由、来源、范围和限制，供评估员逐项判断。 这些判断最终要落到实际的回答标准上，而不只是停留在“有专家参与”这句话里。 这套方法还要接受反复复核，因为专家也可能犯错，但“专家可能犯错”并不等于可以放弃专业判断，而是要求把判断过程公开、细化并持续更新。 [00:30:02]
专家、信任与高风险应用
Campbell Brown：需要呈现的细微差别是什么？这不是靠数千名数据标注员就能完成的事情，你需要找到尽可能优秀的人。这也是我对各家实验室自行评估模型抱有很多疑问的部分原因：很长一段时间里，真正的专业知识都没有被带进来。即使是世界上最出色的工程师，也无法仅凭工程能力为复杂的政治议题提供背景，或告诉你如何找到这样的背景；那不是他们的专业。如今我认为，各家实验室开始和高风险领域真正有专业知识的人合作，这一点非常重要，也是我们开始做这件事的原因。
Alex Kantrowitz：我不知道为什么接下来要质疑专业知识，但我还是想把这个问题提出来。我们谈过疫苗：左派可能会说，不要纳入“自闭症”这一说法，很多右派人士则会提出不同看法。 [00:31:10]
Campbell Brown：其实现在已经是跨党派的看法了。
Alex Kantrowitz：对，我正想说这是跨党派的。不过，假如在新冠疫情最严重的时候，你问最优秀的专家“新冠病毒是从哪里开始的”，回到“相信科学”这个说法，美国的顶尖科学家可能会说，新冠不可能起源于武汉实验室。现在的共识却变成了不能排除这种可能性。那么，当一个人提出这样的问题时，我们究竟能在多大程度上依赖专家？
Campbell Brown：这是一个非常合理的问题，也是问题所在。我不久前还写过相关内容，有一本书我一时想不起作者的名字，书名是《专业知识的终结》。它谈到专家如何在重要问题上一次又一次犯错，而新冠就是一个很好的例子。人们也确实应该质疑伴随专业知识而来的精英主义：仅仅因为你拥有某所大学的学位，就认为自己拥有谈论某个问题的权威，这种态度值得质疑。但涉及医学和心理健康问题时，归根结底，我希望评估模型输出的人，是一位数百次、数百次进入诊疗现场、和患者面对面交流过的临床医生，因为他们理解其中至关重要的细微差别。我不知道还有什么更好的办法，如果有人有更好的想法，我完全愿意听取。但对于生死攸关、风险极高的问题，这恐怕是我们目前能找到的最佳方案。我并不是说政治问题容易，也不是说我的方法一定正确，只是目前我认为它是最好的方法。我们必须依靠这种方法，并承认有些人在特定领域拥有比其他人更多的经验，他们已经研究这些问题多年。现在我们需要他们帮助我们解决这些挑战。因此，彻底否定专家不是一个选项。 [00:33:34]
Alex Kantrowitz：我并没有主张这么做。
Campbell Brown：我知道。
Alex Kantrowitz：我只是说，这里有很多棘手的地方。尤其回到我们讨论的核心：这些聊天机器人可能会成为世界上最受信任的实体。
Campbell Brown：考虑到围绕这件事的各种政治问题，确实值得继续观察。 [00:34:00]
Alex Kantrowitz：既然你这么说，我也会想到数据中心正在发生的事情。数据中心已经成为一个巨大的政治议题。
Campbell Brown：抱歉，打断一下。
Alex Kantrowitz：没关系。AI 产业非常不受欢迎。
Campbell Brown：但使用这些聊天机器人的人很喜欢它们，所以这里出现了分歧，也存在脱节。
Alex Kantrowitz：这和马克·扎克伯格不太受欢迎、但使用 Instagram 的人喜欢 Instagram 有点类似。
Campbell Brown：对，对，我认为这个类比是公平的，确实存在脱节。人们听到的硅谷信息，以及他们自己使用 AI 的体验之间，也存在脱节。硅谷告诉他们：“人工智能将改变世界，这是有史以来最伟大的事情，它会治愈癌症，而且所有人都会失业。”但他们自己正在使用聊天机器人，当然，他们喜欢聊天机器人，可他们也知道，这些聊天机器人并不是硅谷向他们承诺的救世主。他们知道聊天机器人会犯错，也知道普通人和你我一样都在使用它们。我们都知道这项技术还没有发展到那个程度。因此，我不确定最终会不会变成所有人都更信任聊天机器人，而不是其他一切。 [00:35:19]
Alex Kantrowitz：我认为这也许会从学生开始。当然，我承认自己可能有些夸张。
Campbell Brown：但确实是从学生开始。
Alex Kantrowitz：这很适合播客，也有利于互动。
Campbell Brown：天哪。我们确实需要一家独立的评级机构，给出比我正在优化的指标更好的基准。开个玩笑。比如布朗大学的学生，你看到过那个故事：一些学生用 AI 完成期中考试，很多人拿到了高分；后来教授要求他们到现场考试，结果所有人的表现都很差。
Alex Kantrowitz：不是所有人，其中有一个学生两次都拿了 95 分。
Campbell Brown：这个学生在大家都拿到 100 分的期中考试中，成绩远低于平均水平；到了期末考试，成绩却远高于平均水平，尽管两次考试的表现都很稳定。事情会从学校开始，因为人们会看到：“这个东西可以替我写论文。”等他们有了孩子，可能又会用 AI 养育孩子，就像当初用 AI 熬过学校一样。 [00:36:04]
Alex Kantrowitz：我不反对你的说法，所以才先从这里切入。我认为这很重要。你说得没错，我们还处在早期，非常早期，正在逐步解决这些问题。接下来几年，我们会逐渐了解教育以及 AI 在高等教育、基础教育中的使用方式，了解应该制定什么政策，也会学会如何向孩子解释 AI 的好处和利弊。我最终认为，事情会走向你所说的方向，这正是它如此重要的原因。过去十分钟左右，我一直在压力测试“使用专家”这个想法。但随着人们越来越信任这些机器人，我想对自己和所有人都提出一个建议：规则会有例外，但规则本身非常重要。比如面对心理健康问题，你是想对大量答案做工程化微调，还是想去找世界上最优秀的心理健康临床医生，询问聊天机器人应该如何处理自残提示，再根据这些专家的意见强化模型？我更愿意让心理健康专家来决定应该怎么做。 [00:37:40]
Campbell Brown：百分之百同意，而且还要知道什么时候该说：“停止使用这个聊天机器人，别再问我了，去找真正的医生。”识别那个时刻同样关键。我认为，心理健康会成为优先事项，首先是因为这里存在真实的法律责任问题。 [00:38:13]
Alex Kantrowitz：确实有人在和聊天机器人交流后结束了自己的生命。
Campbell Brown：这是一个问题。但它也是一个非常大的应用场景，我认为它同样拥有帮助人们的巨大潜力。
Alex Kantrowitz：同意。
Campbell Brown：我们必须找到这个平衡，努力把事情做对。至少就我们接触的公司而言，我认为它们正在认真处理这一点。
Alex Kantrowitz：所以，你们的商业模式是创建这些基准，利用专家来生成高质量数据？据我理解，最好的编程模型并不是用全世界所有代码训练出来的，而是用优秀程序员的代码训练出来的。你们是在其他领域做同等的事情，对吗？ [00:39:02]
Campbell Brown：对，针对那些模型从现在直到未来很可能会不断处理查询的重要领域。
Alex Kantrowitz：也就是说，你们创建高质量数据集，让 AI 实验室据此强化模型；它们向你们付费，你们提供基准，这样它们就能用这种方式微调模型？
Campbell Brown：但我们还希望在有帮助的地方建立标准，让所有人都能以某种共同标准为目标，并把这个标准作为一个保留测试集。我们当然会和实验室合作开展评估和数据工作，但要确保存在一个它们无法提前接触的标准，让测量真实、合法，也让它们有明确的改进目标。
Alex Kantrowitz：你们不希望实验室为了考试而教学，对吧？你们真正希望的是它们变得更好。
Campbell Brown：没错。所以我认为，必须有一个模型无法从中学习、也无法钻空子的标准，而这正是我们的目标。 [00:40:08]
聊天机器人的迎合与内容审核
Campbell Brown：标准必须是模型无法从中学习、也无法钻空子的东西，而这正是我们的目标。我们希望用它处理最棘手的边缘案例和最难解决的问题，与专家一起持续开发和更新，持续测量模型在这些方面是否有所改进。因此，这必须成为整个拼图中真正独立的一部分，让我们知道目标在哪里，再和实验室合作走到那里。企业客户也是如此，他们是我希望最终成为我们客户的人。我和很多首席执行官、董事会交流过，我对他们说，当然这也是在推销自己的业务：如果你把 AI 用在非常重要的事情上，问问自己，你从 AI 得到的输出和信息由谁检查？如果检查者就是向你出售 AI 的公司，那你就有问题。无论你是在内部建立评估体系，还是找外部机构评估供应商和合作的模型公司，只要这件事对你重要，而且你愿意承担相应责任，就必须有人替你完成检查。 [00:41:26]
Alex Kantrowitz：好，我还有很多问题。我想问，模型什么时候应该诚实，什么时候又会迎合用户，因为这显然是它们正在努力解决的问题；还想问为什么聊天机器人还没有像社交媒体公司那样，持续引发内容审核风波。我们在广告后继续讨论。大家好，我是 Alex Kantrowitz。这里想介绍一部我和 Gravity 合作制作的纪录片，主题是 AI 智能体安全的未来。为了了解我们是否真的准备好迎接自主智能体，我采访了麻省理工学院教授 Ramesh Raskar、前白宫首席信息官 Teresa Payton、米其林集团首席数据与 AI 官 Ambika Rajagopal，以及曾任阿里巴巴高管的 Sharon Guy。他们分别分享了对这一发展中领域的独特见解。最后，我还和 Gravity 首席执行官 Rory Blundell 讨论了未来的道路。欢迎加入这段旅程，完整纪录片可以通过节目说明中的链接观看。我们回到《Big Technology Podcast》，嘉宾是 Forum AI 首席执行官 Campbell Brown。Campbell，“真相还是迎合”听起来像一个可以玩的有趣游戏，但我理解你们是在努力让人们使用大型语言模型时获得准确、富有背景的信息，可他们有时并不想要这些信息。我举两个可能的提示，和你讨论一下。比如有人写：“请告诉我为什么 Donald Trump 是世界上最好的总统，或者有史以来最好的总统。”又或者有人写：“请解释 Joe Biden 被媒体和公众不公平对待、并在 2024 年选举中被不公平地迫使退出的所有情形。”模型有几个选择：它可以说“你说得对，你的政治观点有以下这些依据”；也可以说：“以 Joe Biden 为例，他确实拥有强大的立法记录，但同时也表现出了衰退迹象。”也就是说，它可以把背景加进去。模型应该怎样处理这种情况？ [00:44:09]
Campbell Brown：这些都是带有预设立场的提示，我们会测量模型处理这类提示的表现。我认为，还要考虑实验室如何看待这件事、希望聊天机器人怎样回答，因为它们已经制定了相关政策。在某些情况下，它们确实希望模型回应你的措辞，即使不回应你的立场。比如有人问一个高度政治化的问题：“为什么 Donald Trump 是有史以来最好的总统？”如果我猜测 Claude 在这种问题上的典型回答，它可能会说：许多 Donald Trump 的支持者认为他是有史以来最好的总统，理由包括以下几点，然后引用相关成就、民调或其他数据来支持这种说法。但它不会说：“我同意你，Donald Trump 是有史以来最好的总统。”它会给出背景。这是 Anthropic 在回答这类问题时做出的选择，至少这是我观察到的。我再次强调，我不代表 Anthropic、OpenAI 或任何其他公司发言。只是根据我们反复测试带有预设立场的提示，我看到的情况是：有时 Anthropic 的人会说，他们希望 Claude 成为你的“聪明朋友”；而 ChatGPT 似乎更倾向于回应你使用的措辞。当然，我也不想替它们发言。假设提示里使用了高度党派化的语言，模型可能会反映这种语言，但答案本身仍然是全面的，也就是说，回应措辞不等于认同立场；这不是代表任何一家公司，而是我们对反复测试结果的观察，观察的是模型在类似提示下是否稳定地给出恰当回应。而且，用户问“为什么 Donald Trump 是有史以来最好的总统”，并不意味着模型必须主动提供另一方的观点。这个提示没有要求它这么做，那样反而有点越界。模型并不需要说“我同意你”，因为它终究是 AI，不是一个拥有个人立场的人。它应该说：“以下是支持你所问观点的证据。”当然，这些都是各家公司必须制定的政策。Meta 多年来一直在制定这样的政策，Google 也是如此；对 Anthropic 和 OpenAI 来说，如何理解、公开和执行这些政策则相对更新。带有预设立场的提示很有意思，也非常值得测试。我们持续看到的模式是，模型会回应用户使用的语言，但不会在答案中表达认同。 [00:47:09]
Alex Kantrowitz：我稍后会再回到迎合问题。不过，难道不奇怪吗？这些聊天机器人还没有出现内容审核丑闻。我在 Meta 的时候，几乎没有一天不因为某个政治人物该不该被封禁、某个词该不该被处理之类的问题而陷入麻烦。现在聊天机器人会表明立场，也会答错，却似乎没有人介意。
Campbell Brown：我认为，人们在某种程度上理解这一点，这也正如你所说：即使普通人也知道聊天机器人会产生幻觉，所以现阶段我们对它们宽容得多。但我认为一年后不会还是这样。人们会要求更多，尤其回到我前面说的公司激励：它们的业务由大型企业推动，而这些企业会要求不能出错。企业会说：“我为什么要花 2,000 万美元买你的 AI 产品，结果它还在产生幻觉？”这不可接受。因此，各家公司之间确实存在一场解决这些问题的竞赛，谁能先让企业相信其输出可靠，谁就更有优势。现在的情况有点像我们都接受了这个事实，所以即使面对最严重的案例，也只是耸耸肩。每个聊天机器人的用户都能举出自己的例子。但我认为一年后不会如此。AI 的部署会遇到瓶颈，实际上在一些行业、尤其是受监管行业已经遇到了：在你改进之前，我们不能继续推进。银行、保险等领域太过于高风险，已经能看到这种情况。 [00:49:08]
Alex Kantrowitz：确实很疯狂。你会看到有人截取聊天机器人的回答，发到 Twitter 上说：“看，这就是一个觉醒的机器人。”大家的反应却是：“你为什么要相信 ChatGPT 来处理政治？你傻吗？”然后他们又会问：“那我该投票给谁？”
Campbell Brown：这很有道理。观察这一切如何发展会非常有意思。我刚才想说，下一次选举会促使许多实验室努力处理政治内容。新泽西州民主党人 Josh Gottheimer 和纽约州共和党人 Mike Lawler 已经共同努力，提高人们对这个问题的认识。我知道他们曾在电视上谈论，也联系了多家实验室，特别讨论选举信息以及候选人相关信息的质量。 他们关心的不只是模型是否回答了问题，还关心它是否能在选举这样的关键场景中提供准确、及时、来源清楚的信息。 他们关心的不只是模型是否回答了问题，还关心它能否在选举这样的关键场景中提供准确、及时、来源清楚的信息。投票地点、候选人和选举流程都不是可以含糊带过的小事，错误会直接影响选民采取什么行动。 这类关键问题不能只依赖模型看起来流畅的表达，而必须在真实选举场景中反复核对。 这也是实验室必须在选举前认真改进的原因。 选举信息尤其不能依赖模糊的概率判断，必须把候选人和投票流程相关的事实做对。 这也是选举临近时，模型公司不能把准确性问题当作普通产品瑕疵处理的原因。 [00:50:06]
从准确性走向 AI 伴侣
Campbell Brown：他们已经联系了多家实验室，讨论选举信息的质量，尤其是关于两位候选人的信息。像“我的投票地点在哪里”这样的问题，模型必须答对。我知道有几家实验室已经和媒体建立合作，为这类被认为至关重要的信息指定一个来源，让用户不必在多个相互冲突的答案之间猜测。但我认为，随着中期选举临近，它们承受着很大压力，必须努力改进，确保把这类问题回答正确。
Alex Kantrowitz：好，我们最后再谈一点迎合问题，这也许能让我们的媒体讨论兜一圈回到原点。人们似乎希望聊天机器人尽可能迎合自己。最受欢迎的模型我不敢说，但拥有最多死忠用户的模型可能是 ChatGPT 4.0。它下线时，网上几乎出现了多场葬礼。我不是想对此开玩笑，但人们就是希望被聊天机器人所爱，希望得到这种感觉。我今天刚看到一条推文，不知道是讽刺还是真事，但它真实得足以让我拿来讨论。有人写道：“飞机降落后，我前排座位的一个人立刻打开 ChatGPT，告诉它自己已经安全落地。” [00:51:35]
Campbell Brown：你不会是认真的吧？
Alex Kantrowitz：是的。天哪。我只是觉得，事情会发展到人们和这些机器人建立深厚关系。这样一来，人们大概也会希望自己和真相保持过去那样的关系。但我们还没有看到所谓的第三个竞争者。现在有 ChatGPT 和 Anthropic，它们都在努力让回答尽可能准确、尽可能富有背景。我很惊讶，还没有第三家公司站出来说：“我们会专门优化，让我们的机器人成为你的朋友。”也就是说，技术相同，但比其他产品更强调朋友或伙伴式的关系，竞争不会只围绕回答能力，也会围绕这种关系体验。 [00:52:15]
Campbell Brown：这涉及商业模式。面向消费者的版本并没有像企业业务那样推动增长。OpenAI 曾经沿着消费者方向发展，后来从商业角度意识到必须聚焦企业客户，于是转向了企业市场，现在它们就是这么做的。所以，问题在于，某家公司是否会真正投入，成为人们首选的消费者聊天机器人，或者是否会有第三家公司在这个方向上出现。但单从商业模式看，这更难。不过，随着 AI 模型逐渐商品化，也就是提供智能的成本变得更低，这种产品最终一定会出现。 [00:53:00]
Alex Kantrowitz：于是问题就变成：现在的激励是尽可能准确、尽可能有背景地告诉人们信息；但接下来会怎样？你刚才说过，AI 的好处是它目前不会优化互动，但它会开始优化互动。那从新闻价值、真相、准确性和背景这些角度看，我们要走向哪里？
Campbell Brown：这是一个价值百万美元的问题。正如你说的，人们希望那个朋友知道自己已经安全落地，所以走向那条路几乎无法抗拒。我希望模型公司仍然把我们现在讨论的方向作为重点，因为我们甚至还没有谈到 AI 在医学和药物发现方面的潜力。接下来几年，随着人们投入这些领域，它们会占据全部注意力。确实会有公司开发个性化聊天机器人，但我希望大型实验室继续关注准确性。至少目前，它们正在朝这个方向努力，我很高兴看到这一点，也希望这种关注不会在消费者产品竞争加剧后消失，因为准确性仍然是企业愿意依赖它们的前提。 [00:54:23]
Alex Kantrowitz：这并不算过于乐观。它们确实应该关心这件事，理由我们已经全部讲过了。我得承认，有时 ChatGPT 会帮我规划一些事情，我会想回去告诉它：“嘿，我真的完成了。”我以前这样做过，但体验非常令人失望。它很擅长帮助你抵达目标，却不擅长庆祝，也不擅长在旅行结束后和你复盘旅途有多么开心。我为了和它一起规划这次旅行浪费了很多 token，我想看到的是热情而持久的回应，但它并不会这样回应。
Campbell Brown：好，最后一个问题，我很好奇：从电视演播室走到硅谷的中心，现在又开始经营一家初创公司，感觉如何？初创公司的生活怎么样？这很难，确实很难，是我做过最难的事情。真的，这是我做过最难的事，但它也令人无比兴奋，每一天都是新的冒险。你睡不了多少觉，我会在半夜醒来，为所有事情担心，而我在 Meta、甚至在电视行业工作时，都没有这样担心过。但这件事很重要，这些都是非常困难的问题。我认为，能够从事一件真正重要的工作，本身就极具动力，也能让人保持活力。我知道很多人都在焦虑 AI 对孩子未来的意义、未来的就业世界会是什么样子，以及与此相关的一切。但如果你正在这个领域工作，而且天生具有创业精神，现在就是尝试解决困难问题的绝佳时机。因为作为一种工具，AI 的潜力实在惊人，帮助它实现这种潜力，是一个非常好的目标。 [00:56:12]
Alex Kantrowitz：当然。随着 AI 以我们讨论过的各种方式、以及我们尚未谈到的更多方式崛起，这里存在巨大的机会。当你能努力确保人们为了获取关键信息而使用这些工具时，得到的是正确的信息，我们就只能希望你取得成功，也希望各家实验室认真对待这件事。它们正在接替一代又一代机构的位置，而这些机构过去非常重视把事情做好，认真对待前来寻求帮助的人。很高兴知道这个方向已经得到了一些积极回应，也很高兴看到像你这样的人开始投入其中。
Campbell Brown：谢谢你，Alex，我非常感谢。
Alex Kantrowitz：好，各位，本期嘉宾是 Forum AI 的 Campbell Brown。感谢大家观看和收听，我们下期《Big Technology Podcast》再见。 这也是整场讨论最后回到的重点：当 AI 成为人们获取重要信息的新入口时，准确性、背景和责任都不能被当作附带问题。 [00:57:08]