Cloudflare CEO:我们准备好阻止数百万个网站被 AI 抓取——对话 Matthew Prince

完整转录稿

YouTube Alex Kantrowitz 2026-09-02 16:30
摘要

整体概括

在 Alex Kantrowitz 主持的对话中,Cloudflare 首席执行官 Matthew Prince 讨论了 AI 正在如何重写互联网的流量、内容和商业模式。Cloudflare 观察到自动化流量已经超过人类流量,并预计在当前趋势下,五年后可能达到人类流量的一千倍。Prince 认为 AI 也会让更多普通人具备创作网站和应用的能力,但前提是内容创作者、出版商和小企业能够从 AI 使用内容和服务中获得合理回报。否则,代理主导的搜索与交易可能把流量、数据和商业机会进一步集中到少数大公司手中。

主要内容

1. Prince 回顾了自动化流量预测的快速变化:2025 年底他预计人类流量将在 2027 年下半年被超过,2026 年 3 月预期提前到上半年,到了 2026 年 5 月,Cloudflare 已观察到自动化流量首次超过人类流量。他预计五年后自动化流量可能是人类流量的一千倍,而且增长主要来自代理代表人类访问大量网站。

2. 他不认同“互联网已死”的单一路径判断。Cloudflare 看到,互联网内容在 2025 年 10 月左右重新增长;Lovable、Replet、Base44、Wix 等工具让技术能力和资源有限的人也能创建应用和网站。Alex Kantrowitz 以自己用 Claude Code 和 Cloudflare agent 搭建峰会网站为例,说明 AI 正在降低创作门槛。Prince 因此认为,如果激励机制设计正确,互联网可能迎来内容创作的黄金时代。

3. AI 流量不仅用于训练模型,也包括代理在推理时检索信息以及代表用户完成任务。一个人购买数码相机时可能只浏览五个网站、每个网站十页左右;代理可能浏览一千个网站的每一页。Prince 以疫情期间欧洲互联网流量两周翻倍、视频流媒体差点压垮网络为例,说明一千倍增长会给带宽、服务器和基础设施带来更大的压力。即便只是让每位知识工作者拥有一个全天候代理,传统容器所需的 CPU 产能也可能达到当前水平的四十倍以上,因此需要比容器更轻量的 Workers、Isolates 等技术。

4. 这会改变内容的价值交换。用户希望代理获得更全面、更好的答案,但每次访问都消耗带宽、服务器和创作者的劳动。Prince 认为,AI 公司不能只获取内容而不回馈价值。Cloudflare 计划让依赖广告或订阅的出版商选择是否允许抓取,并强化对 AI 爬虫的控制;在默认策略启用后,可能有数百万个网站不再出现在 Google 搜索结果中,除非访问者向创作者支付报酬。Prince 认为 Google 如果只是另一家 AI 公司,就应与其他模型提供商一样为内容付费,SEO 时代也正在走向终结。

5. 对小企业而言,代理型商业既可能带来更精准的消费者匹配,也可能加速行业整合。人类常因方便或情感联系选择本地小店和品牌,代理则会有无限耐心,按配送、退货、拒付、评价等信息做深度比较。成熟大公司拥有更丰富的线上资料,新品牌却难以获得第一个客户。Prince 担心,若没有可验证的声誉和公平的进入机制,未来可能只剩下少数掌握资金、地产、生产、物流和 AI 的巨型公司。他正在与 Shopify、PayPal、Visa、Mastercard、American Express、Intuit 等服务小企业的公司讨论解决方案。

6. 对话最后将问题扩展到贫富差距。若个人每年花费数千美元使用不受广告影响、能够保持诚实的代理,富裕地区会获得比贫困地区更强的 AI 能力。Prince 尚未给出完整技术方案,但希望通过持续讨论,让 AI 时代更接近普惠、开放的未来,而不是由代理和大型公司共同推动的封闭体系。

关键 takeaway

  • Cloudflare 已观察到自动化流量超过人类流量,并预计五年后可能达到人类流量的一千倍。
  • AI 代理访问网页的规模远超人类浏览,网络基础设施和内容成本需要重新设计。
  • 低代码和 AI 开发工具正在让非技术人员成为网站、应用和内容创作者。
  • 内容创作者需要从模型训练、检索和代理访问中获得明确的价值回报。
  • Google 可能需要像其他 AI 公司一样为出版商内容付费,传统 SEO 排名机制的重要性会下降。
  • 代理型商业需要可验证的商家声誉,否则会让信息更丰富的大公司获得结构性优势。
  • Shopify、支付公司和面向小企业的服务商需要共同帮助新品牌进入代理主导的市场。
  • 无广告代理可能扩大富裕人与贫困人群之间的 AI 能力差距,这将成为下一阶段的核心公共问题。

目录

AI 流量超过人类之后,互联网将走向何方

Alex Kantrowitz:在人工智能机器人数量超过人类的互联网时代,网络将会发生什么变化?新闻信息发布者和小企业能否生存下去?接下来我们将连线Cloudflare首席执行官MatthewPrince。欢迎收听BigTechnologyPodcast,这是一个对科技界及其他领域进行冷静、细致探讨的节目。如今,网络上的人工智能机器人数量已经超过了人类。所以,[音乐]领域的人工智能流量比人类流量更多,这显然正在改变新闻出版商、信息出版商以及[音乐]领域小型企业的动态和激励机制。那么,互联网将会如何发展呢?今天我们很荣幸邀请到了马修·普林斯。他是Cloudflare的首席执行官。大约一年前,他曾和我们一起讨论Cloudflare为防止网络消失所做的努力。网络依然存在,但可能不如一年前那么健康,显然(音乐)并非由于这些努力的失败,而是因为人工智能的力量仍在前进,今天我们将讨论这场战斗将会是什么样子。马修·普林斯,马修,很高兴再次见到你。欢迎回到节目。 [00:00:00]

Matthew Prince:谢谢邀请。 [00:01:03]

Alex Kantrowitz:好的,我们先来看标题,那就是Cloudflare最近发现,浏览网页的AI机器人数量超过了人类用户。[音乐]嗯,我不知道这是否令人惊讶。嗯,我想我的一部分想法是,“嘿,你知道,这事当然发生过,嗯,只是它发生得这么突然,确实令人惊讶。”嗯,人们普遍认为网络上有很多机器人流量,但请谈谈您看到的AI流量的激增,无论是抓取新信息还是代理采取行动,以及这说明了最近这类AI应用的兴起意味着什么。

Matthew Prince:是啊,你知道吗?我确实很惊讶。你知道,在2025年11月的网络峰会上,有人问我,我们认为自动化流量何时会在网络上超过人类流量。我们收集了所有数据并进行了分析,根据趋势,我们最好的估计是会在2027年下半年。在2026年3月的 South by Southwest 大会上再次提出了同样的问题。我们再次提取了相同的数据,然后我们说:“嗯,这很有意思。时间提前了。我们现在认为会在2027年上半年。”所以,当我的团队在2026年5月找到我并告诉我时,我简直惊呆了:“你不会相信的,但我们现在看到,在互联网历史上,自动化流量第一次超过了人类流量。”我认为这确实表明了这一进程进展得有多快,导数变化得有多快,直线的斜率变得越来越陡。如果我们假设目前的趋势,最让我震惊的是,如果我们快进到5年后,我们现在估计,届时在线自动化流量将是人类流量的一千倍。这并非因为人流量会下降,而是因为在此期间,自动化流量将继续疯狂增长。而这将给互联网资源带来巨大的压力。这将给基础设施带来巨大压力。而且,Cloudflare团队正在思考的很多问题,就是如何确保互联网能够应对即将到来的自动化流量的全面冲击。

Alex Kantrowitz:没错,我相信你们都听说过“互联网已死”理论,但对于那些没听说过的人来说,这个理论认为,有一天网络基本上将由机器人和自动化内容组成,而这些机器人将操纵这些内容以实现算法筛选。所以你在社交媒体上看到的,实际上是一个看起来很真实的、但实际上已经死气沉沉的互联网。这显然与那件事略有不同。 [00:03:25]

Matthew Prince:是的,我觉得我们目前看到的趋势实际上恰恰相反。其实挺有意思的,Cloudflare成立于2010年,大约在2015年左右,互联网发展就停止了。事实上,它先是趋于平稳,然后在过去的10年里甚至略有下降。然后,大约在2025年10月,互联网再次开始发展,并且其发展速度与2000年代中期最为接近。而且,现在创作的内容并不是那种我会形容为自动化生成的粗制滥造的东西。确实有一些这种情况,但一直以来都是这样,你知道,一直以来都有些这种情况。我认为实际发生的情况是,那些技术水平不高、资源匮乏,但却有有趣想法、有故事要讲、有东西要分享的人,突然之间就能使用像Lovable或Replet这样的强大工具,或者像Base44团队开发的Wix等公司正在开发的工具。例如,然后利用这些工具构建相当复杂的应用程序。而且,这几乎是Cloudflare历史上第一次出现这种情况:我们看到创建的内容呈爆炸式增长,但这并没有让互联网变得更糟,实际上我认为互联网现在变得更好了。只是我们所有人都会通过不同的界面来使用这项功能。它将更多地通过某种人工智能界面进行协调,但我认为令人难以置信的是,即使你现在没有技术技能,你也可以组装一个应用程序,搭建一个网站,并将其上线。再次强调,我认为这很了不起,而且它实际上正在使网络变得更健康,而不是更不健康。

Alex Kantrowitz:好的,我其实想就这个问题再追问你一下,因为有一项研究表明,例如,虽然苹果应用商店里的应用数量更多,但评论数量却在下降,对吧?看起来每周活跃用户数并没有真正增加。所以,是的,我们确实有能力创造很多新东西,但似乎也有很多东西,我的意思是,我知道你说过这不是垃圾,但有没有接近垃圾的东西呢?你觉得怎么样? [00:05:50]

Matthew Prince:我再次看到,我每天都能看到一些人因为缺乏资源或能力而无法创造有价值的东西。所以,确实会有一些没有价值的东西吗?当然。嗯,但是,我认为最终的结果是,我们看到了更多的东西。我认为我们会越来越远离应用商店模式,因为那将不再是我们与用户重新建立联系的界面。在某些方面,AppStore对互联网构成了巨大的威胁。它就像是把人们从网络上拉了出来。它可能是造成网络不如Facebook有趣的两大原因之一。我认为现在把内容重新放到网上,然后确保它们能够以对创作者有意义的方式在不同的AI系统中被访问,并确保创作者获得报酬,这实际上会重新激活网络,而这正是我们一直以来所看到的。而且,我既有来自同事、家人的个人例子,他们能够上网讲述一些事情;也有来自专业人士的例子,我每天都会收到人们的来信,他们说:“我现在能够做一些我以前从未想过自己能够做到的事情。”再次利用这些强大的工具,再加上像Cloudflare这样的公司提供的基础设施,你就能以非常经济高效的方式获得收益。我认为,人工智能的辅助实际上让人类比以往任何时候都更具创造力。 [00:06:20]

Alex Kantrowitz:好的,我先停一下,说说我为我们六月份举办的峰会搭建网站的时间。我说“我是”的时候,真的应该加上引号。主要是Claude代码框架连接到Cloudflare代理的问题。他们帮我创建了所有这些账户,然后搭建了网站。 [00:07:55]

Matthew Prince:我的意思是,这真是非同寻常。比如,把它和你原本要做的事情比较一下。过去,你知道,雇佣整个团队是 [00:08:15]

Alex Kantrowitz:不可能做到的。我根本没办法开始。仅凭

Matthew Prince:你一个人的资源是无法启动的。所以你会雇人来做这件事,是的,这样一来,你就可以去做更多有趣的事情了。我认为,科技发挥到极致,就是让更多的人能够获得某些东西。然后他们又拥有了他们以前拥有的东西。我们正在做这件事。你知道远程控制。即使是10年前,搭建一个4K视频直播系统,在两个不同的地方进行直播,需要花费多少钱?我的意思是,光是租用摄影棚或者架设摄像机来拍摄就得花费几十万美元。然而,我们却做到了。我认为人工智能也不例外。这将使更多的人能够发挥创造力,做有趣的事情。而且,而且,如果我们能制定出正确的激励机制。希望这也能让我们有更多的机会进入市场。我觉得这就像是在摸索。未来五年互联网的商业模式是什么?我的意思是,未来五年乃至未来三十年互联网的商业模式会是什么样的?这是当今科技领域最有趣、最重要的问题。远远超过其他方面。

Alex Kantrowitz:正确的。 [00:09:33]

Matthew Prince:如果我们理解正确的话。我认为我们即将迎来内容创作的黄金时代。而且,而且,这可能会非常不可思议。如果我们搞砸了,你知道,我们可以很容易地列举出一系列可怕的事情。是的

Alex Kantrowitz:。那么,我们就来深入探讨一下这个问题吧?因为它有两面性。内容创作环节包括内容创作,内容浏览环节也包括内容浏览。这有点像是去年我们讨论过的话题的延续,那就是越来越多的内容正被人工智能抓取或访问。正确的?所以,在过去一年里,你已经看到人工智能对网站的访问量大幅增长,以至于现在已经超过了人类的访问量。那么,您是否了解访问这些网站的主要是人工智能机器人来训练新模型,还是像人类一样使用这些网站的代理,或者,您是否知道,也许是在测试时进行的查询?因此,当机器人试图找到答案时,它会访问一个网站,最终将答案带回聊天机器人界面,而无需用户实际访问该网站。那么,如果你对比例有任何概念的话,它们之间的比例是多少?

Matthew Prince:我的意思是,以上所有情况都符合。所以我认为所有这些都会推动事情的发展。随着越来越多的模型提供商上线,培训需求肯定会增加。我的意思是,我不认为你知道,像OpenAI这样的公司,你知道,比一年前进步了一点点。Anthropic的发展速度比一年前略有提升。但更重要的是,现在有更多的人在制作模型了,我认为这很棒。就像我们应该有,就像世界不应该只有五个,你知道,前沿[清嗓子]模式提供商。应该是50万。我们该如何确保这一点呢?我认为与此同时,也存在一些独立运作的代理人。这可能是目前最小的类别了。我认为这将发展壮大,成为一个相当大的类别。但目前这有点像是代理商之间的商业活动,而现在的情况更像是未来的事情,而不是现在的事情。嗯,然后我认为你会看到越来越多的人工智能几乎代表人类外出获取资源。但我认为,说他们的行为完全像人类一样,几乎是不正确的。我的意思是,规模差异太大了。如果我自己想买一台数码相机,没有销售人员的帮助,我可能会访问五个网站,你知道,而且每个网站可能还会浏览十页左右。我的代理将访问一千个网站,并浏览每个网站的每个页面。因此,这就给它带来了负担,尤其是如果没有经济上的惩罚措施来阻止它到处爬行,对吧?这相当重要。现在,我认为你必须权衡一下,你知道,代理拥有无限的耐心,他们会仔细查看所有内容,这对用户有什么好处。我认为这对最终用户来说真的很好。但你知道,每一个请求背后都有服务器在处理。你知道,带宽是需要付费的。有些内容必须创作出来。所以必然存在某种价值交换。如果人工智能公司只是索取而不回报任何价值,那么这就说不通了。所以,这又一次说明了我们必须弄清楚的问题。 [00:10:50]

Alex Kantrowitz:正确的。所以,我认为你明白,当你谈到这个问题时,你的观点是,呃,我们最终会……我想你说过一千遍,呃,机器人流量比人类流量多得多,对吧?五年之内,这太疯狂了。好的,首先,请稍等。 [00:12:55]

Matthew Prince:你会感受到这种感觉有多么强烈。欧洲互联网在新冠疫情期间几乎彻底崩溃。因为在新冠疫情期间,短短两周内,互联网流量就翻了一番。尤其对于视频流媒体来说,带宽需求更是翻了一番。所以我想,我记得当时正在和Netflix、迪士尼、Akamai、YouTube等所有主要流媒体平台的高层领导通电话。嗯,基本上就像墨西哥僵局一样,双方都不想降低视频流的质量,因为他们会说:“人们付费观看我们的视频是因为我们有4K视频,我们不会降低它的质量。”但当时的情况是,就像欧洲一样,每个人都让孩子看电视,你知道,一大早就让孩子看流媒体,不幸的是,这和亚洲的情况正好吻合,你知道,晚饭后每个人都会打开电视看点什么,你知道,这造成了巨大的网络流量,导致我们的网络容量不足,最终我们不得不降低视频流媒体的分辨率,以确保欧洲的互联网保持在线。顺便说一句,如果欧洲互联网崩溃了,那么下一个崩溃的就会是亚洲。美国或许还能再撑一段时间,但从某种程度上来说,这一切的能力都是有限的。所以你必须有能力支持它。而且那还是2倍速。放大1000倍后,情况将完全不同。因此,我们又花了很多时间来思考如何确保技术准备就绪。就像WordPress一样,它是最流行的内容托管平台。它已经发布了,并且在一种名为PHP的编程语言上运行良好,虽然PHP并不是最高效的编程语言。所以我们就说:“听着,我们想支持WordPress社区。我们想确保WordPress成功,但如果这需要成本……”不久前我和一家最大的WordPress主机商会面,他们说:“你知道,我们在WordPress上托管一个网站的成本大约是3.17美元,然后我们向他们收取12.99美元,这就是他们的业务模式。”我当时就想,“如果流量增长一千倍,会发生什么?”他们说,那托管这个网站就要花我们三千多美元。但是,普通的WordPress用户肯定不愿意花三千多美元来托管他们的WordPress网站。所以,我们必须改变一些基础技术。我设想的最佳方案是,保留WordPress的用户界面、生态系统以及人们喜爱的一切,但底层技术要大幅提升效率,这样才能真正应对未来的增长。而即将到来的流量规模,简直难以想象。 [00:13:10]

Alex Kantrowitz:好吧,我们得花点时间讨论一下,因为这非常有趣。首先,要预测五年内来自机器人的网络流量将增长一千倍。我的意思是,是的,你知道,我们最近确实看到了相当大的增长,但是一千个X是一个惊人的数字。那么,这一千个X究竟是什么呢?是什么让你相信情况会是这样? [00:16:03]

Matthew Prince:我的意思是,我们现在只是在观察趋势。嗯,我的意思是,在五月份,我们看到自动化流量超过了某个阈值,我们推断出这个变化率是多少,然后我们假设指数会继续增长,因为你知道,它目前的渗透率还远远不够,但我们必须发明新技术来支持它。所以,为了给你一些实际的例子。让我们想象一下,地球上的每一位知识工作者都有一个24/7全天候为他们工作的代理,帮助他们完成工作。而且,这看起来很合理。每个知识工作者都会拥有一些为他们工作的代理。目前真正这样做的人很少,但随着时间的推移,这将会变得合理。抛开GPU不谈,单就CPU而言,如果每个代理都运行在传统的容器中——你知道,这种容器甚至不是虚拟机,也不是独立的服务器,而仅仅是一个容器——那么,一年内所需的CPU产能将是目前水平的40倍以上。而这仅仅是一个代理的情况。我估计大多数知识工作者都会拥有多个代理来代表他们工作。因此,我们目前的技术无法支持未来的发展。所以,Cloudflare正在投入大量时间思考,我们从服务器发展到虚拟机再到容器,是为了提高效率,但即使是容器,你也需要引入整个操作系统,你需要启动它。所有的工具链,所有这些东西,都非常笨重。那么,为了支持未来的发展,我们需要更轻量级的解决方案。我们利用开发者平台(我们称之为Workers)构建了很多东西,并大量依赖Isolates等技术,这些技术能够提供更轻量级的服务。我们认为,如果互联网想要继续扩展以支持未来必然出现的代理流量,就必须具备这些功能。

Alex Kantrowitz:所以,更准确地说,增长将是由代理驱动的,对吧?这1000倍的增长是由代理驱动的, [00:18:42]

Matthew Prince:或者说是由人与代理的交互驱动的,对吧?但最终都会实现自动化。好的,再说一遍,你可以这样理解:如果你用过ChatGPT、Claude或Grok,比如,你跟它们玩玩,问它们一个问题,数数有多少网站,比如你问一个简单的问题,它们就能覆盖所有网站。现在想象一下,如果只有大约1%的全球知识工作者经常使用它,而现在要把这个比例扩大到100%的知识工作者。而且,它不再是你每天可能用一两次的工具,而是你每项任务都要用到它,这很容易理解,五年内达到1000个X不仅难以想象,而且可能还是保守估计。

Alex Kantrowitz:是的,这太疯狂了。所以,基本上,去年我们讨论过,出版商的经济效益可能不合理,因为如果你付钱请人写一篇文章,而Anthropologie抓取了它并把它放到Claude上,那么他们就失去了价值。 [00:19:35]

Matthew Prince:没错。

Alex Kantrowitz:但是一年后,随着代理流量的增长,问题实际上要广泛得多,因为现在网站……他们可能原本不需要投入大量资金来制作内容,但如果面临流量激增,维护成本可能会高得多,甚至连维持运营的经济效益都会受到质疑,除非你能找到更高效的方法。

Matthew Prince:所以我认为真正重要的是,不同的内容创作者、不同的出版商、不同的应用程序开发者会有不同的偏好。在Cloudflare,我们的目标是尽可能提高那些希望将内容应用于人工智能的公司效率,同时我们也希望为那些不希望将内容应用于人工智能的公司(尤其是那些没有获得相应补偿的公司)建立相应的系统和激励机制,让他们能够掌控自己的选择。但我们先来谈谈大多数公司。绝大多数公司,以及绝大多数内容创作者,实际上都希望将内容应用于人工智能。像Cloudflare这样的公司,其知识库就是我们分享如何高效使用Cloudflare的一种方式。我们希望确保每个人工智能系统都能拥有并访问这些知识库。为此,我们必须想办法尽可能提高效率。如何确保我们不提供庞大的HTML页面,而只是提供真正需要的Markdown文件?如何确保我们能够利用缓存和其他现有技术,尽可能高效地将系统集成到人工智能中?我们的目标必须是,如何将每次页面加载的成本降低到之前的千分之一,因为这是我们保持领先于需求的唯一途径,而对于那些希望将其内容集成到人工智能中的公司来说,需求正在下降。还有一类不同的公司,它们通常是广告支持或订阅支持的公司。在这些情况下,人工智能让用户感觉他们的内容被窃取了。在这些情况下,与大多数公司不同,这些出版商希望拥有控制权,比如“只有付费才能获取我的内容”。这样做会损害我的广告收入和其他所有方面。”效率仍然很重要。我们仍然希望他们效率更高,但我们也希望赋予他们工具,让他们能够说:“你知道,我想强制执行规则,除非付费,否则你不能使用我的内容。”然后,我们希望尽可能简化代理商为内容付费的流程,并实现真正的价值交换。 [00:20:17]

Alex Kantrowitz:好的,所以,呃,这里有两个类别。一类是希望自己的内容被抓取的公司,这占了大多数,但另一类是新闻出版商。你知道,这里存在一个风险,我们在节目中多次讨论过,如果机器人只是抓取新闻出版商和信息出版商网站上的信息,然后以聊天机器人的形式呈现给他们,那么他们的积极性将为零。我想你提到过,人们现在不再点击脚注了。他们只是相信机器人的话。你说。那么,让我再分享一下去年的一些统计数据。去年你告诉我们,十年前,如果你在谷歌上搜索你的页面,谷歌会抓取两次,然后根据这两次抓取发送一次点击。六个月前,抓取六次才发送一次点击。去年年中谷歌发布了AI概览后,抓取次数变成了18次才发送一次点击。OpenAI每次发送点击需要抓取1500次,而Anthropologie和Cloud每次发送点击则需要抓取约6万次。那么现在这些数字是多少呢? [00:22:11]

Matthew Prince:是的,基本上所有数据都翻了一番。假设你是出版商,从出版商的角度来看,情况变得更糟了。过去一年,所有这些数字都翻了一番。但是从最终用户的角度来看,我认为情况截然不同,世界似乎变得更好了。人工智能系统更智能了,它们的响应速度也更快了。他们直接给出你需要的答案,无需你反复核实。这两点其实完全一致,因为用户界面没有改变,人工智能公司的行为也没有改变。改变的是结果变得更好了。随着结果的提升,人们点击原始来源的次数就大大减少了。我认为,点击率的大幅下降就印证了这一点。这就是趋势。随着时间的推移,谷歌也宣布,那种“十个蓝色链接”的时代即将结束,一切都将更像人工智能界面。我认为这就是变革的开始。如果真是这样,那么过去30年来支撑互联网的广告和订阅模式,在未来30年将不再适用。我们必须找到新的模式。可以肯定的是,这其中一部分将取决于大型出版商之间的交易。还有人工智能公司。我们看到这些公司的数量正在大幅增长。但我们必须找到真正对每个人都适用的东西。所以,我们正在思考的一个问题是,如何实现微支付,比如当你访问某个网站的信息时,网站可以说:“你可以获取这些信息,但需要支付不到一美分的费用。”这笔最低费用将用于支付服务基础设施的成本。但对于那些从事新闻报道、学术研究或其他工作的人来说,这笔费用或许也能帮助他们支付支持创作者的成本。但交易量之大令人难以置信。这里有一个有趣的技术难题。Visa,全球最大的支付网络,在节假日高峰期每秒处理约2万笔金融交易。Cloudflare每秒处理约5亿笔互联网交易。这些并非金融交易,而是各种其他类型的交易。但我们认为,其中大约1%到10%的交易量来自互联网。这些交易从一开始就可以通过代理商以微支付的方式实现盈利,这意味着,如果你要构建类似这样的系统,就必须构建一个支付基础设施,该基础设施在第一天就能支持大约10笔交易,然后能够扩展到每秒超过1亿笔金融交易,以支持现有的业务。当然,这些交易金额非常非常小,但它们仍然是金融交易。你仍然需要对它们进行处理。这是一个非常有趣且棘手的技术难题,我们正在寻找能够解决这个问题的外部合作伙伴,同时也在研究如何内部构建该系统。这些都是你必须具备的条件,才能支持这种全新的互联网商业模式。嗯,再说一遍,我想不出还有什么问题比这更令人兴奋的了。 [00:23:18]

Alex Kantrowitz:是的,所以基本上一年前,你提出的解决方案就已经实施了。之前我们设想的系统是,如果你想抓取某个出版商的页面,就必须支付一笔小额费用,否则就会被屏蔽。嗯,所以 [00:26:14]

Matthew Prince:我觉得我们当时没有,现在也没有相应的基础设施来实现这种小额支付模式。我们当时部署的是一套工具,让那些通常依靠广告或订阅盈利的内容创作者能够控制谁可以访问他们的网站。我们看到,像PeopleInc.、康泰纳仕集团、纽约时报、金融时报、大西洋月刊这些大型出版商都在使用这些工具来控制人工智能公司,并与它们达成协议。我认为下一步的关键在于,如何确保所有人工智能公司都遵守同样的规则,以及大型出版商如何应对这些规则带来的挑战。最大的威胁就是谷歌。因为谷歌基本上是在说,如果你想在搜索领域占有一席之地,就必须允许我们使用他们的人工智能技术。他们用一个爬虫程序做两件事,并且试图将昨天的垄断地位延续到明天。这给了他们巨大的优势。为了让大家更好地理解,谷歌的爬虫覆盖范围是OpenAI的两倍多,是Anthropologie的四倍多,是微软的五倍多。他们拥有巨大的爬虫优势,这将使他们在人工智能领域长期占据优势。我们必须想办法要么提升其他所有公司的水平,要么让谷歌遵守同样的规则。我认为过去一年我们在这方面取得了一些实质性的进展,我们正朝着一个目标迈进,那就是像对待其他公司一样对待谷歌。然后,我认为我们必须做的第二件事是,我们必须……我们需要建立基础设施来支持那些无法自行洽谈交易的人。他们不是康泰纳仕集团,也不是人民公司,他们是小型博客,是夫妻店。我们必须确保他们也能拥有自己的价格表,让他们能够说:“听着,你们想要我的内容吗?这就是你的付款方式。”我们可以让这些交易变得轻松便捷。但重要的是要记住,这仅适用于现有的广告支持订阅网站。绝大多数网络用户都希望他们的内容能够被人工智能处理,我们也必须让他们轻松做到这一点。

Alex Kantrowitz:没错。那么,你如何解读最近发表的这篇《华尔街日报》文章呢?文章称谷歌是出版商的生命线,现在有些人却在考虑切断与它的联系。文章提到Reddit正在讨论关闭谷歌等技术对其内容的人工智能访问权限。文章还引用了一些你提到的人的言论。我的意思是,他们来自你提到的公司,对吧?People公司的NeilVogel表示,完全关闭并屏蔽这些技术是百分之百可行的。今日美国联席首席执行官MikeReed则表示,是时候表明立场,说“够了”。这样解读这篇文章是否正确?这些出版商已经部署了你们的技术,这些技术或许能帮助他们阻止人工智能抓取。他们现在正在公开与谷歌进行谈判,告诉谷歌:“听着,如果你不给我们想要的条款,我们就用Cloudflare的技术屏蔽你。” [00:28:35]

Matthew Prince:如果谷歌只是另一家人工智能公司,那么就应该像对待其他人工智能公司一样对待他们。如果其他人工智能公司都必须为内容付费,那么谷歌也应该如此。谷歌并不特殊,仅仅因为他们是过去30年互联网商业模式的代表。他们不会再是未来的商业模式,至少不会再是那种模式。未来30年,互联网的商业模式不会是广告,也不会是订阅。随着这种模式的改变,谷歌也应该随之改变。我感到欣慰的是,所有出版商都在独立地得出这个结论。我也感到欣慰的是,他们可以利用我们的技术来实现这一点。我们之前说过……Cloudflare宣布,从九月中旬开始,我们将对Google采取同样的策略。如果您投放广告,或者您的企业依赖广告或订阅,我们将限制Google访问您的内容。您可以选择退出,如果您觉得“不,我喜欢Google,他们一直对我很好,他们可以免费访问我的内容”,那也没关系。但从九月中旬开始,我们的默认设置是默认屏蔽Google。我估计很多全球最大的出版商都会效仿。 [00:29:30]

Alex Kantrowitz:哇。那么,这会对出版商在搜索算法中的排名产生什么影响呢?我希望 [00:30:38]

Matthew Prince:Google最终会改变主意,表示愿意为内容付费,因为如果他们如果你没有内容,那么谷歌的产品就会变得非常糟糕。我认为,像SEO这样的排名机制已经过时了。谷歌已经宣布,10个蓝色链接即将消失。所以,如果你在意出现在谷歌的搜索结果中,这当然没问题,但你也应该关注OpenAI和Claude的排名。而且,绝大多数内容创作者都希望如此,对吧?因此,我们会尽可能简化流程。但如果你依赖广告或订阅,那么这些业务将会消亡。你必须找到新的商业模式,谷歌不能再享受特殊待遇了。所以,我认为整个行业都在说,旧的SEO模式已经过时了,我们必须为未来创造一种新的商业模式。

Alex Kantrowitz:是的,以上内容来自……《纽约时报》的一篇文章报道了我们目前在谷歌上看到的一些情况。文章指出,用户现在使用的搜索查询长度是传统搜索中关键词密集型问题的三倍。人们在AI模式下花费的时间比在传统谷歌搜索上多出1到9分钟。专注于搜索和营销的通讯刊物GrowthMemo在10月份发布的一项研究发现,在约75%的会话中,用户从未离开AI模式访问其他网页。所以,我理解你的意思是,我们正走向一个具有变革意义的时刻。出版商们之前一直对谷歌很友好,因为他们还有很多东西要失去。如果谷歌封禁他们的网站,他们可能会损失很大一部分收入。但现在,他们意识到自己已经没什么可失去的了,而且他们仍然在提供很多价值。我们可能会在9月份看到,谷歌的这个关键信息来源消失了。 [00:31:43]

Matthew Prince:是的,想想看,这是多么巨大的威胁啊!在某种程度上,这对谷歌来说也是如此。整个网页排名算法的核心在于构建一个信息链。如果这条信息链中很大一部分突然从他们的视野中消失,实际上就破坏了他们进行搜索和在线排名的根本方式。所以我认为,他们最终意识到这是一个系统性威胁,商业模式正在发生变化。我希望谷歌——这家过去30年来对互联网做出巨大贡献、远超其他任何公司的公司——能够意识到互联网正在发生变化,并且他们应该支持这种变化。而且,我认为从谷歌的角度来看,从他们的商业角度来看,作为一名谷歌员工,最应该做的是如何确保我们能够真正支持内容创作者,并且以一种有趣的方式做到这一点。我很惊讶谷歌竟然如此拖延,而不是……他们会说:“我们将真正帮助构建未来,创造未来,并在未来支持内容创作者。”这将会与以往截然不同。但话说回来,如果做得好,我认为我们能够真正迎来在线内容创作的黄金时代。 [00:32:38]

Alex Kantrowitz:好的,我明白了。我之前在想,《华尔街日报》那篇文章到底讲了什么?突然之间,所有这些出版商都开始公开谈论这件事,他们终于掌握了实现这一目标所需的技术,现在他们给谷歌下了最后通牒。比如说,如果最后通牒是在七月份,那就给了他们两个月的时间。 [00:34:00]

Matthew Prince:是的,他们已经看到谷歌带来的收入一直在下降。当然,这并不意味着人工智能对某些企业没有推动收入增长的作用。谷歌一直在发布各种信息,比如人工智能在电子商务或其他领域有多么出色,没错。绝大多数网络用户都希望……我们需要尽可能简化人工智能系统的使用流程。但是,如果你是广告或订阅制企业,这会对你的业务构成生存威胁,你必须确保有盈利空间。我认为同样重要的是,它必须公平。不能向OpenAI和Anthropologie收费,而谷歌却可以免费获得一切。必须确保每个人都遵守相同的规则。我认为我们正处于一个转折点,就连谷歌也开始意识到互联网的经济模式正在发生变化,媒体创作的经济模式也在发生变化,他们必须适应这种变化。想想我和其他一些人工智能实验室的对话,他们说:“这一切都不重要,因为最终我们会实现全民基本收入,这就是人们获得报酬的方式。”我就想:“好吧,但是……”那说明你活得太超前了。让我们一步步来,在到达目的地之前,我们可能需要经历一些步骤。所以,我再次强调,我很乐观。我对媒体公司的前景比一年前乐观得多。我真的认为,2026年将是媒体领域,尤其是内容领域发生真正转变的一年,内容创作者将会获得报酬。顺便说一句,谷歌在支付内容创作者报酬方面做得最好。看看YouTube,为什么内容创作者要在YouTube上发布内容?因为YouTube支付给内容创作者的报酬比其他任何平台都高。他们并非反对在整个业务范围内都这样做,他们知道如何在不同的平台上做到这一点。我认为我们现在需要做的就是帮助他们理解,像《纽约时报》、《大西洋月刊》、《人物》杂志和《Vogue》这样的媒体,他们理应获得相应的报酬。创作者理应获得与YouTube上的一些网红一样的报酬。

Alex Kantrowitz:所以,你认为谷歌会在截止日期前付款吗? [00:36:27]

Matthew Prince:我不知道他们是否会在截止日期前付款,但我认为他们最终会付款是必然的。因为我认为他们需要内容,而且他们从根本上明白,记者、内容创作者和学者理应获得报酬。

Alex Kantrowitz:你认为你的客户中有多少人会真正采取行动屏蔽这些人工智能爬虫?我指的是新闻出版商,而不是你的所有客户。我指的是那些依靠

Matthew Prince:广告收入的媒体。所以,我们再次强调,

Matthew Prince:如果你没有依靠广告收入,那么这些都与你无关。你可以随意设置。但如果你依靠广告收入,从9月份开始,我们将默认启用广告功能,任何人都可以选择退出。但我们预计绝大多数用户都会选择退出。那些依靠广告或订阅盈利的企业将会这样做。因此,数百万个网站将从谷歌的搜索结果中消失,与此同时,我们将大幅加强对人工智能爬虫的所有其他控制。目前,我们基本上只是竖起一块“禁止入内”的牌子,并划出一条线,上面写着:“禁止擅自获取这些内容。”大多数人其实都很尊重“禁止入内”的牌子。但从九月中旬开始,我们将不再仅仅设置“禁止入内”的牌子,而是会安排一名保安在那里,说:“除非你向创作者支付报酬,否则你无法获取这些内容。”

Alex Kantrowitz:数百万个网站可能会从谷歌的排名中消失。 [00:37:48]

Matthew Prince:没错,

Alex Kantrowitz:这可是件大事。

Matthew Prince:嗯,我的意思是,互联网上很大一部分网站都在使用Cloudflare。所以,我认为我们现在处于有利地位……我们需要帮助解决一个根本性的市场问题,那就是谷歌正在利用其昨日的垄断地位来巩固其明日的垄断地位。我认为,如果我们不解决这个问题,谁来解决这个问题呢?如果我们不解决这个问题,就像你刚才说的,内容创作的动力就会消失,这会让包括谷歌在内的所有人都蒙受损失。

Alex Kantrowitz:好的,接下来会有非常重要的内容。我想休息一下。稍后我们将讨论这项新技术变革将如何重塑小型企业,以及它可能如何影响小型企业。我们很少听到这方面的讨论,但如果我们转向以代理或超级应用为主导的浏览、互动和交易方式,那么小型企业可能会面临风险。稍后我们将听到马修对此的看法。欢迎回到“大科技”播客,本期嘉宾是Cloudflare的首席执行官马修·普林斯。马修,我之前听你稍微谈过这个问题,但你的观点基本上是,随着我们越来越依赖智能系统,小型企业可能会面临一些严重的风险,它们可能会在超级应用的浪潮中被淹没。嗯,你比我刚才描述得更清楚。那么,你能再解释一下,随着这种趋势的持续发展,以及我们走向一个机器人远多于人类的网络,小型企业面临的风险是什么吗?是的, [00:38:27]

Matthew Prince:首先,我想,大约一年前,我们讨论的重点是媒体的未来走向。我认为我们实际上已经做了大量工作,并在如何找到一种能够支持媒体未来发展的商业模式方面取得了实质性进展。但随着我们思考这个问题,我们也开始更广泛地思考这将对整个经济产生哪些其他影响。我真的很担心小型企业。当然,我指的不仅仅是小企业。企业注定要失败,嗯,但是我认为我们必须非常认真地去了解风险是什么,然后努力找出解决方案。我努力构建的世界不是只有五家人工智能公司,而是有五十万家。内容创作者不再是少数人,而是每个人都可以成为内容创作者并发布内容。真正重要的是,我们不要将企业合并成少数几家大型跨国公司,而是要让它继续成为一个像互联网历史上那样,新企业可以创立并蓬勃发展的地方。我认为我们必须努力的方向是,如何尽可能多地拥有小型企业。那么,让我来解释一下我认为的问题所在。为了理解这一点,请想象一下,你是一家小型企业。假设你正在创办一个新的B2C(企业对消费者)品牌,也就是DTC(直接面向消费者)品牌。我不知道你在生产什么,比如新的灯泡、化妆品,或者谁知道你到底在生产什么。为了触达客户,你会怎么做?答案是,你会利用Instagram、Facebook,甚至是谷歌广告等平台,开始付费推广你的产品,让消费者看到你。消费者会浏览他们的Instagram动态,看到你精心制作的视频,这些视频可能是你筹集了风险投资或者获得了小企业贷款才制作出来的。如果你能触动他们的情感,与他们对话,那么那些这样做的公司最终会崛起并蓬勃发展。说实话,我们之所以会和很多小企业做生意,是因为我们和他们之间存在某种情感联系,或者因为他们很方便,比如他们能帮我们省钱。为什么我知道本地小店更贵,我还是会去那里购物?因为……方便。而且我的时间有限。所以我不会特意去找最便宜的鸡蛋。我只会去最方便的地方。这就是人类的行事方式。想想品牌,品牌其实是人们了解价值和品质的捷径,无需做大量的研究。所以,当我看到万豪酒店的标志出现在建筑物侧面时,我大概就知道进去之后会是什么体验。当我看到沃尔玛的标志出现在建筑物侧面时,我也知道进去之后会是什么体验。我觉得有趣的是,品牌将会发生翻天覆地的变化。代理不再会关注那些漂亮的油漆色卡了。随着越来越多的交易通过代理完成,品牌的意义将截然不同,因为代理几乎拥有无限的耐心。他们不会像某些人那样,因为对万豪酒店有强烈的品牌偏好而产生情感上的共鸣。所以我总是住万豪酒店。他们愿意进行非常深入的研究,以找出正确的做法。起初你可能会想,这对小企业来说或许是好事。但我认为这实际上对新进入者来说会非常困难,因为新进入者在网上能获取的信息非常有限。假设我创办了一家小企业,想销售我的新款灯泡或化妆品品牌。如果所有客户都是代理商,那我该如何获得我的第一个客户呢?我认为这是一个非常有趣且棘手的问题,因为代理商有无限的时间去研究每一个可能的细节,所以他们会寻找网上最丰富的信息来源,而这些来源往往是那些成熟的大公司。如果我们无法让新进入者轻松进入市场,那么随着时间的推移,大公司之间就会互相收购,出现大规模的整合。而最终消费者可能觉得这没什么大不了的,因为他们可以找到高度专业化的服务,比如“我只关心我”。想要某些母鸡下的棕色鸡蛋,对吧?也许,你知道,泰森农场可以高效地为我生产这种鸡蛋。但我的本地农民该如何才能真正做到这一点呢?因为他们根本无法掌握像泰森农场那样丰富的信息。所以我认为我们必须不断思考的是,在一个商业活动日益由代理商主导,并且人们将通过代理商进行交易的世界里,我们如何确保一个在市场上没有任何真实信息的新品牌能够生存并蓬勃发展?如果这一点无法实现,那么代理商主导的商业模式就会成为一种巨大的整合工具,这将使大公司比小公司更有利。就像我之前与PayPal前首席执行官(他之前在Intuit负责小企业业务)会面时说的那样:“我担心未来可能只剩下五家公司。”一家持有资金的公司,一家持有房地产的公司,一家生产产品的公司,一家运输产品的公司,以及一家人工智能公司。很显然,事情不会那样发展。但我认为一定程度的整合是这种趋势的自然结果,而我一直在做的,有时候你可以通过观看科幻作品,比如重温动画片《杰森一家》的剧集,来预见未来。你知道,我小时候看过,当时就想,“哦,这挺有趣挺搞笑的。”这是一个极其虚无主义且令人沮丧的世界。在《杰森一家》的世界里,只有两个雇主。是太空齿轮和齿轮韦尔的齿轮。就像乔治·杰森的工作基本上就是按下按钮,而其他所有事情都由机器人完成一样。乔治·杰森的所有商业活动基本上都是通过他乐于助人的女仆机器人罗西进行的。他就像在说:“去给我买鸡蛋。”她去把它做了,然后它回来了,乔治看起来非常高兴。但私底下,你觉得罗茜会去当地的杂货店购物吗?当然不是。她要去任何能让她获得关于鸡蛋质量最全面信息的地方,而那肯定是某个大型企业。我对此感到担忧,我认为我们也需要对此感到担忧。再说一遍,我并不为此感到紧张,但我认为解决这个问题的首要方法是阐明挑战是什么,然后思考如何确保新进入者在一个越来越多的商业活动由无限耐心、经过深入研究、不带感情色彩的代理人代表我们行事的世界里有机会。 [00:39:27]

Alex Kantrowitz:我可以提出反驳论点吗?嗯,事实上,品牌对大公司比对小公司更有利,因为大公司有钱花钱。所以,你可能更适合与你从未听说过的小企业合作,但因为你很忙,没有时间去研究他们,你就说:“好吧,我要锁定他们。” [00:45:53]

Matthew Prince:我打算买耐克,而不是买别的什么牌子。新的I我觉得如果你能拿到那个的话,那可能就对了。但是,问题是,你如何……然后……这就是快乐的故事。这就是我们想要达到的目标。但问题是,如何将信息输入系统?如何获得足够的客户评价?如何获得“喜欢”这个概念?然后又如何将其概括?那么,在代理商业领域,品牌究竟是什么?我不认为那是漂亮的颜料漩涡。我认为这实际上是对品质和经验的真实证明。所以,我该如何将亚马逊的星级评分与你们实际的配送速度结合起来呢?你获得了多少回报?有多少拒付?我该如何汇总所有这些信息,将其打包成某种模块,然后使其真正可验证,以便我的代理人看到后会说:“哦,我可以看出这是一个优质商家,我可以这样做。”我认为你必须要有那种魄力,但你也要想想,在我建立任何声誉之前,我只是想证明我的产品更好,我究竟该如何才能成功做到这一点?我认为这并非不可能,但我认为,如果任其发展,代理型商业将会成为一个整合因素。因此,我们必须非常谨慎地确保为小企业提供实现这一目标所需的工具。再次声明,我不认为Cloudflare可以独立完成这项工作。我非常乐意成为解决方案的一部分,但我现在花了很多时间和Shopify、PayPal、Visa、MasterCard、AmericanExpress、Intuit等公司——这些真正服务于小型企业的公司——讨论如何整合各种工具,以确保他们在未来能够取得成功。因为如果他们仍然只是沿用旧的SEO策略,那在未来是行不通的。肯定还有其他原因,我认为最重要的问题之一是,我们如何确保这些小企业拥有必要的工具,以便能够再次过上你所描述的那种乐观的生活。我再次强调,我很乐观,但我认为我们也应该乐观,但为了保持乐观,你也需要担心可能会出错的地方,并把它说出来,然后找出解决问题的办法。 [00:46:19]

Alex Kantrowitz:好的,最后一个问题。从技术角度来看,那会是什么样子?是不是就像小型企业在ChatGPT的后端有一个门户网站,就像支出一样,你知道,小型企业主利用周末时间来规划他们业务的所有事情,或者业务的未来发展方向,以及你们目前讨论过的解决方案是什么?就像 [00:48:26]

Matthew Prince:去年我们谈话的时候,我其实并不清楚媒体的解决方案是什么,所以我花了很多时间与媒体、支付公司、人工智能公司交谈,告诉他们:“嘿,这就是问题所在。我们该如何解决它?”

Alex Kantrowitz:我认为我们取得了很大进展。

Matthew Prince:我希望明年我们再谈的时候,我能更好地回答你的问题,但这仅仅是因为你知道,听到这话的人会说:“嘿,我有个想法。”他们会主动联系你,对吧?或者,你知道,我和Shopify的Toby聊着,他突然说:“嘿,我们一直在做这个。你能帮我们分发一下吗?”或者,你知道,美国运通公司会说:“嘿,我们一直在与这些小企业合作。我们发现了一些行之有效的方法。”我的意思是,我们只是想尽可能多地收集信息。我不认为我们能彻底解决这个问题,但我希望我们能成为解决问题的一部分,因为如果做得好,我们就能真正帮助更多的小企业接触到客户,并让更好的产品找到最适合该产品的消费者。如果做得好,那就太棒了。然后,顺便说一句,我们接下来就要担心下一个问题了,那就是人工智能正在加剧贫富差距。而且,如果我们不再采用广告商业模式,我认为这很有可能。我的意思是,如果你每年花几千美元请代理,你肯定不希望它受到任何广告的影响。你希望它完全诚实。所以,我认为世界上的富裕地区将比世界上的贫困地区拥有巨大的优势。所以,这就是我们面临的下一个问题,也是我们正在思考的问题。我认为我们无法完全靠自己解决这个问题,但我们需要讨论这些问题,以确保我们正在建设的未来尽可能地接近乌托邦,而不是反乌托邦。是的

Alex Kantrowitz:,我们希望如此。所以,马修,我们已经建立起一套不错的日常流程了。我们已经连续两年在这个时候做了这件事。所以,我们明年还得再来确认一下。到时候见。 [00:50:28]

Matthew Prince:我会告诉你小型企业的解决方案是什么。

Alex Kantrowitz:好的,成交。成交了。好的,非常感谢你的参与,马修。很高兴你能来。

Matthew Prince:谢谢邀请。

Alex Kantrowitz:好了,感谢大家的收听和收看,我们下期Big Technology 播客节目再见。

返回该播客 打开原文