来源:Alex Kantrowitz
视频:https://www.youtube.com/watch?v=6begtelZypc
目录
- AI 支出的真实回报:从“token 最大化”到“结果最大化” [00:00:00 - 00:10:00]
- 企业如何衡量 AI 价值:价格、模型选择与智能体边界 [00:10:00 - 00:20:00]
- 在失去部分控制的情况下部署智能体 [00:20:00 - 00:22:54]
AI 支出的真实回报:从“token 最大化”到“结果最大化”
Alex Kantrowitz:人们讲述 AI 发展轨迹时,往往没有把使用它的人放进去。我们会听到“token 最大化”这样的概念,人们抽象地谈论它;然后有一天你看到一张图表,却从来没有真正和那些花费 token 的人交流过。因此,我认为,要真正理解这项技术如何发展,以及它是否有潜力按照人们希望的方式前进,我们必须和那些使用 token 构建产品的人谈谈。这也是我很高兴请来 PwC 的 TMT 负责人 Dallas Dolen 的原因。他正在真正落地 AI,审视成本,并确保这笔钱花得值得。他会带我们深入讨论 token 最大化和预算问题。各位,让我们欢迎 PwC 的 Dallas Dolen。很高兴见到你,Dallas。现在情况反过来了:你在采访我。这很有意思。Aaron Levie 大约 10 分钟前还在这里,他说 token 最大化其实是媒体编出来的 BS 叙事,实际上从未发生过。 [00:00:00]
Dallas Dolen:我不完全同意。我们刚才在他上台前还在后台聊这件事。我认为,确实存在一种——姑且称为“高空俯视式”的评论——我们在主流媒体、社交媒体(包括 X)以及播客中都能看到,而且这种说法很适合传播。但很多组织内部还有另一种现实:这种行为已经发生到一定程度,从成本和 ROI(投资回报率)的角度看,确实有些问题,所以它是真实存在的。你不能说每一种情况都一定有问题,但它已经以一种足够明显的方式呈现出来,让人不得不思考:我们这样做对吗?从企业战略角度看是如此,从更广泛的生态系统角度看也是如此。 [00:01:07]
Alex Kantrowitz:现在我们看到了一种对 token 最大化的反作用,叫作“token 最小化”。AT&T 和 Meta 等公司开始非常认真地控制成本。我们还知道,Uber 当然是在不到半年的时间里就花光了全部预算。考虑到你刚才对 token 最大化的定义,你认为最终胜出的会是 token 最小化者,还是 token 最大化者? [00:02:17]
Dallas Dolen:好消息是,我不认为胜负会由“你有没有最大化 token”来定义。我认为胜负取决于“你有没有最大化结果”。这部分取决于你如何激励员工,这又关联到排行榜,以及那些让很多人陷入麻烦、或者至少登上新闻的事情。关键在于:你到底想鼓励人们做什么,同时又不鼓励错误的行为?不能把事情做过头,也不能花太多钱。
另一方面,从组织规划的角度看,我在 PwC 也参与处理这些问题。我担任公司美国和全球组织的董事会成员,我们经常讨论这些事。事实上,我们还会在不同行业之间做比较。问题不只是:一家服务公司比另一家服务公司花得多还是花得少;还包括和一家拥有大量工程师、自己进行编码的科技公司相比,我们的支出如何。
我们首先要找的是基线:在行业内、行业外,以及相对于某个既定基准进行对标,然后问自己,我们到底有没有获得 ROI?我们的支出是否远远超出预期,或者超出我们已知的水平?你提到的部分公司我们也了解,也与它们合作,因此对行业内部的情况有一些不错的判断。但最终还是要回到:你得到了什么结果?
我见过一些非常惊人的成果,比如交易领域有人把数千小时的工作压缩成 7 分钟内完成的产品。成本很高,但产出非常出色,从消费者或客户角度看都很有吸引力。对行业从业者来说也很令人兴奋,因为他们可能不必再熬夜完成某项工作。还有很多流程甚至还没有被真正攻克。问题是:你什么时候去处理每一个流程,并问自己,怎样让这个流程的结果最大化?我认为,真正的收益会在那时出现。支出仍然会被最大化,但最大化的理由是你确实获得了结果,而不是因为你花的钱最多。 [00:04:06]
Alex Kantrowitz:所以你已经在做 ROI 计算了。
Dallas Dolen:当然,而且做了很多。
Alex Kantrowitz:那你可能已经远远领先于大多数人。你如何确定 ROI?你认为有多大比例的项目真正产生了正向 ROI?
Dallas Dolen:我告诉你吧。从外部研究来看,MIT 最近发表了一项研究,讨论哪些活动可以仅靠生成式 AI 被替代,尤其是在视觉和人机交互领域。他们得出的结果大约是 23%,也就是说,有 23% 的工作不需要由人来完成。我看这项结果时会想,在我们这个行业,比例可能没有 23% 那么高,但人们所做的每一件事中,都会有某个比例受到影响。所以这是另一种数学方程。
对我们公司来说,这一定会被衡量,而且会用小时数来衡量。许多公司在工程领域也会采用同样的方式。问题是:你是否让一个人变得更高效?在同样的时间里,他是否产生了更多产出?衡量的可能是写出了多少行代码,也可能是产品质量。
这很有意思:我可以制作更大的幻灯片,也可以写出多得多的代码,但最终得到的是不是一个人们会说“这东西我愿意使用”的产品?几周前在纽约的 Tech Week,我和一些创始人以及 Andreessen 等机构的投资人多次谈到这一点。他们在讨论自己投资的公司类型时,核心问题是:如果你是投资者,你的产品究竟为使用者做了什么?尤其是编码产品,或者类似的产品。
如果你不能表明自己能帮助用户真正构建出产品,做出客户愿意使用的更好的产品或服务,那么,仅仅产生更多代码、更长的幻灯片、更长的路演材料或更长的备忘录,并不代表更好。我们很快就会开始问:我真正想得到的是什么?是越来越多、越来越多,还是一个更好的产品?这也正好涉及基础模型公司和云服务商与你合作的方式。 [00:06:10]
Alex Kantrowitz:我听到的说法是,这些公司让你接入它们的系统后,就会消耗大量 token,而且它们并不希望你能够衡量这些 token。你观察到的是这样吗?
Dallas Dolen:对这种营销和销售方式,一个重要的反制手段就是控制平面。它可以帮助企业决定具体活动使用哪个模型、哪个接口。这也是为什么企业内部的集中规划会变得非常重要——我下周要去中国,所以我用“集中规划”这个词时是有意识的。
比如,你不能一天用 Claude 5.7 查五次天气,这种做法是不可接受的。即使你像我昨晚一样担心中西部的龙卷风,担心自己赶不回来、不能及时参加 Alex 的活动,这也不是一个好的使用场景。你完全可以用天气应用来查;如果你确实想用 AI,也有很多便宜得多的选择。
“控制平面”这个词相对较新,它包含治理、成本控制、数据访问,甚至人机交互等要素:你能向系统输入什么,以及能从系统得到什么。它将成为 AT&T、Meta、服务公司以及其他企业投入大量时间和精力的操作界面;工程、销售、市场和后台工作都会涉及它。企业会寻找那些能让工作做得更好的活动,但前提是使用合适的工具。
打个比方,我们并不适合开着兰博基尼去买牛奶,这两件事并不匹配。除非你住在 South Beach,那当然没问题——不过那里的都是搞加密货币的人,他们不在这里。所以,我们不应该鼓励这种做法。我认为,随着成本上升,这种理念最终会扩展到各处。
我们几个月前见面时,正好处于成本拐点。你当时做了一个很棒的现场调查,问观众愿意花多少钱,这个练习非常有趣,我希望你稍后还能再做一次。 [00:08:16]
Alex Kantrowitz:稍后做也行,现在就可以。请把现场灯光调亮一点。我想请大家投票:在座各位,愿不愿意为目前 AI 的能力支付现在两倍的价格?好。那有多少人对自己现在支付的价格感到满意?如果……好吧,抱歉,我继续问。假设你的 Claude 订阅价格翻倍,有多少人会取消?是 Fable,还是不是 Fable?现在没有 Fable。目前没有。好,我想我们可以把灯光调暗了。
基本上,这说明现场大约一半的人愿意支付两倍价格。实验室公司似乎还有很大的提价空间,而且仍然能经营得很好。但 Dallas,自从我们上次交流以来发生了一件有意思的事。我们曾在 Google Cloud Next 讨论过这个问题,有人问到业务利润率。 [00:09:13]
企业如何衡量 AI 价值:价格、模型选择与智能体边界
Alex Kantrowitz:我当时想,好吧,别想了,因为这些实验室提供的工具对我们具有如此高的经济价值,它们一定会提价。但我们可能正处于它们即将爆发价格战的时刻,因为有传闻说 OpenAI 可能会降价。你怎么看?
Dallas Dolen:我认为我们确实已经站在价格战的边缘。你可以对比一下现场刚才的反应:三个月前,也就是 4 月我们在一起时,你问观众是否愿意支付两倍价格,几乎所有人都举了手。当 Alex 问大家是否愿意支付四倍、五倍价格时,现场仍有四分之一的人举手。我们当时大约有 200 人,所以那是相当多的人。
那是一个不错的样本。相比之下,看看我们刚才看到的结果,我认为大家的选择相当平均,样本规模也类似。现实是,人们对自己从 AI 中获得的价值更加怀疑,尤其是当你把某些模型按席位收费的访问权限和能力,以及一些可以免费使用、也能做很多酷事情的开放模型考虑进来时。 [00:11:03]
Alex Kantrowitz:如果模型价格减半,或者 token 价格减半,你会怎么做?你是问我会不会因此做出不同的事情,对吗?假设我是 OpenAI 或 Google,我来找你说:“Dallas,感谢你使用我们的技术。我们不希望你在 Fable 恢复上线后使用它,所以我们把你的价格降低 50%。”这会改变你的做法吗?
Dallas Dolen:绝对会。我之所以这么说,是因为我昨天和 CEO、CIO 谈过,今天早上又和 CIO 谈过。我们处在一个对价格敏感的环境中。我们在全球有 35 万人,他们都能使用某种工具。当 35 万人都在尝试工具时,单凭规模就会产生很高的价格敏感度。
当然,他们并不是都在做特别高效的事情;他们也不全是工程师,但都是很聪明的人,在做很有意思的事。他们会提出各种使用场景,说“我想试试这个”,而我们也鼓励他们这样做,我们认为这是好事。但我们同样对价格敏感。这里存在一种弹性:价格越高,我们就越不希望他们使用那个模型,而是希望他们使用更便宜的模型。
所以,如果有人提供更便宜的模型,公司的方向 100% 会转向它。我们甚至已经把这一点写进了控制平面技术:一方面可以选择模型,另一方面系统也会给出建议。根据用户是谁,以及我们认为他会用工具做什么,系统会自动配置一个特定模型。你必须打破初始设置,才能使用其他模型。我们已经在这样做了,而且毫无疑问,我们会鼓励更多人使用便宜的模型。
Alex Kantrowitz:你已经接到过这类电话了吗,还是还在等?
Dallas Dolen:我不想说得太多,但现在确实已经有相关对话在进行。
Alex Kantrowitz:很有意思。我们最近交流时,你告诉我你已经看到智能体的一些限制。照我看,如果要让这件事继续发展,智能体就不能受到限制;它们必须能够自主运行,消耗所有这些 token,同时保持有效。那么,你今天看到的智能体限制是什么?如果我们稍微外推一下,这是否意味着实验室公司在进一步推出这项技术时,还会遇到更多减速带?
Dallas Dolen:你用了“限制”这个词。我认为它同时取决于风险承受度、成本承受度,以及你期望这些东西能够独立完成什么。因此,限制实际上来自这三个方面。
从风险承受度看,人们会说:等等,我担心如果智能体没有一定程度的控制或治理,它可能会走向任何地方。这在组织内部意味着什么,取决于你从数据角度赋予它什么权限——比如客户数据,或者代码本身,以及它能对代码做什么修改。如果你要求它在一个领域做一件事,它会不会认为自己需要在其他地方也做同样的事?它能否从单点推演出去,以及这里存在什么控制机制,这是第一个限制。
第二个限制是成本差异。正如我们刚才谈到的,有些事情你根本不想让智能体去做,因为回到 MIT 的研究,有些事情人类不仅能做得更好,而且做得更便宜,特别是当你使用 Fable、并且支付很高溢价时。
第三个限制来自组织层面的决策。很有意思,我今天早上就在旧金山参加了祖母的葬礼,她出生在旧金山,就在这附近出生。这是一件非常具有人情味的事。我和现场的一位牧师聊过,他曾与 Anthropic 的一些团队成员共同撰写过那篇论文。我们讨论了伦理在这个领域中的位置:这不仅是劳动力规划,还涉及更多问题。
我们身处科技中心,往往不会太多考虑这一面。但技术带来好处的同时,也有一个我们还没有充分讨论的风险:我是否要让所有员工感到害怕,觉得我在监视他们的工作,并等待着取代他们?答案当然是不。
事实上,昨晚我从芝加哥飞回来时遇到了我们公司的 6 名实习生,他们非常开心能成为我们的实习生。他们看到我 T 恤上的一句话:“我们还在招聘实习生。”是的,我们今年招聘的人数和去年一样多,只是招聘对象在变化。我们正在招聘更多学习理科的年轻人,甚至是超出工程领域的人才。
Alex Kantrowitz:那你们在哪些领域减少招聘?
Dallas Dolen:我认为纯会计岗位的招聘会少一些,这也取决于具体地点。不是说我们总体上减少了招聘,而是某些领域的招聘减少了。这同样是全球化以及服务交付方式变化的结果,并不是因为我们认为“技术会完成很多工作,所以不需要这些人了”。这又回到了你最初的问题:智能体的限制是什么?限制将来自对错误的容忍度、对成本的容忍度,以及组织能够接受智能体完成哪些工作、而哪些工作必须由人来完成。当然,这里面还会有成本因素。
我认为,还有一个问题是:我该如何经营企业,如何在一个社区中成为积极的领导者?无论是什么类型的公司,都是如此。 [00:16:08]
Alex Kantrowitz:Dallas,我想花一点时间谈谈你的祖母。听说她去世了,我很遗憾。她一生都在旧金山度过,这一点很令人感慨。旧金山,是的。你能简单给我们讲讲她吗?
Dallas Dolen:当然。她来自一个移民家庭。她的父母辗转世界各地,包括阿根廷和夏威夷,后来觉得从土地里挖东西不是一笔好买卖,于是决定搬到旧金山,在渔人码头附近的罐头厂工作,那正是她父母做的事。她后来进入电信行业,第一份工作是在 Bell。那一定就是 TMT 里第二个 T 了。
所以,Fernandez Cortijo 祖母的一生真的很精彩,她是一个很棒的人,也构成了一个完整的循环故事。技术的整个故事也很有意思:这一切都发生在同一个地方——湾区、旧金山。能够看到这条脉络一路延续下来,真的很奇妙。我在职业生涯中看到了这一点,也注意到,150 年前让这个地方变得出色的事物,实际上与今天让它保持出色的事物直接相连。
毕竟,在罐头厂工作,或者在电信公司工作,仍然比从土地里挖东西更好——至少我的祖先在 19 世纪是这么判断的。但当你思考这件事时,它又回到了一个问题:你想做什么?我认为,你想创造能让人们生活更好的技术,就像我们的祖母让我们的生活变得更好一样。祖母总能让一切变得更好,我认为这就是同一个概念。
我们每天谈论的都是:如何构建产品?创业者想构建的是能让客户生活更好的产品,或者让某件事更容易完成的产品,无论是编码、客户支持,还是其他工作。我认为,这条线索可以一直延伸下去。这才是 ROI 真正产生的地方。它不再是 token 最大化,也不在于你花了多少钱、如何花钱,而是我们看待产出的整个生态系统发生了变化。
最终的产出仍然要回答:我是否很好地服务了客户?无论合作对象是前沿公司、超大规模云厂商、neocloud,还是其他公司,客户是否从中获得了交易价值最大化?谢谢你们邀请我分享这些。 [00:18:11]
Alex Kantrowitz:谢谢你。说到旧金山,我对这座城市的一个印象是,人们可以接受失去一点控制——无论是建造与上一代略有不同的新技术,还是这座城市里很多人喜欢 LSD 和迷幻蘑菇,当然不是所有人都喜欢。
Dallas Dolen:你在预先通话时可没说要提这个。好吧。
Alex Kantrowitz:智能体也会让你失去一点控制。这让我有点想到跳伞:你从飞机上跳下去,心里想着“接下来会发生什么都不知道,但希望有系统准备好接住我”。从你的角度看,你正在高风险场景中部署智能体。即使治理机制再完善,你也必须在一定程度上接受失去控制。 [00:19:59]
在失去部分控制的情况下部署智能体
Alex Kantrowitz:所以,你是如何适应这种状态的?
Dallas Dolen:这很有意思。你究竟能控制多少?在工程领域,有人替你写代码;在我们的领域,有人替你提供服务——他们在准备审计、报税、交易报告,或者其他东西。我们信任这些人,而你对其中许多人的了解可能也只是停留在表面。
当你把技术叠加进去时,我的看法是:技术应该增强这些人的能力,让他们变得更好,而不是把所有控制权交给一个我了解更少的东西。这会让我更放心。但如果所有工作都变成智能体化,比如你只输入一个请求,旅行就自动被预订,那就会让人感到不安。
两天前我就遇到了类似情况。当时我知道自己要回来和你见面,还要参加今天早上祖母的葬礼。我可以在深夜联系我的执行助理,说:“嘿,我需要帮忙。芝加哥有龙卷风,我得确保周四早上至少有一班 6 点起飞的飞机能把我送到西海岸。”如果把这件事交给智能体,我只能希望它能正常工作、希望它能订到航班。我也许能看到结果,但有人在另一端不是更好吗?Liz 会说:“兄弟,交给我吧。”你会觉得,一切都处理好了。
她同样被技术增强:她可以进入我们的系统,快速查询信息,一下子把所有结果调出来,在大约 30 秒内订好航班。有她在那里,让整个过程变得更好,也让人感觉更好。坦率地说,我的执行委员会、幕僚长以及其他人,现在都能完成过去几个人的工作。过去可能是一人对应一人,现在是一人对应 12 个人。我们正在用更少的人做更多的事,所以我把这项技术看作这种趋势的延伸。
有些事情你就是不会停止去做,但这完全没问题。这和开车没有区别,也类似于自动驾驶:我们会逐渐适应它。我认为向智能体化转变的过程也非常相似,只不过自动驾驶发生在物理空间里。 [00:21:05]
Alex Kantrowitz:这确实让我想到一种更进一步的情况:刚开始你会紧紧抓住方向盘,后来就开始玩手机了。没错,我就是这么做的。总之,别把我刚才关于蘑菇的评论当真,那是之后的事,属于欢乐时光。请大家 5 点到屋顶来。没错。Dallas,非常感谢你来到这里。和你交流一直很愉快,也谢谢你和 PwC 对本次活动的支持。谢谢。谢谢大家。让我们为 Dallas 鼓掌。谢谢,非常感谢。 [00:22:18]