Cloudflare vs AI爬虫：内容创作者的流量保卫战

随着AI聊天机器人和AI搜索的日益普及，AI厂商与内容创作者的矛盾逐渐升级。AI时代的流量争夺战中，“AI摘要”对流量的劫持已成为内容创作者难以接受的现象。在此背景下，云服务提供商Cloudflare选择与内容创作者并肩作战，并宣布将默认阻止未经网站所有者许可或补偿的AI爬虫。

Cloudflare CEO马修·普林斯透露，他们正在与谷歌协商，要求后者将传统搜索引擎爬虫与AI爬虫分离，以便网站能根据自身需求决定是否屏蔽AI爬虫，防止内容被抓取后生成AI摘要。如果谷歌拒绝分离爬虫，Cloudflare甚至考虑推动立法来实现这一目标。

那么，Cloudflare凭什么与谷歌谈判呢？作为CDN提供商，他们拥有由全球超过152个数据中心构成的高容量光纤网络，为全球用户提供低成本乃至免费的公开网络接入能力。目前，全球约20%的互联网流量都经过Cloudflare的网络代理，他们也拥有全球最大的对等连接网络（P2P网络）之一。

尽管Cloudflare拥有庞大的用户基础，但海外科技媒体如The Information并不看好其行动。他们认为，Cloudflare无法阻止谷歌从网站上抓取数据用于其AI产品。此外，推动立法来强制谷歌分离AI爬虫可能需要数年时间，即使立法完成，许多网站和内容创作者可能已被AI厂商“淘汰”。

那么，为何Cloudflare要采取这种近乎行为艺术的行动呢？答案在于他们其实是在作秀，而初衷并非为内容创作者伸张正义，而是为了推广自己的Pay Per Crawl平台。

Pay Per Crawl是Cloudflare推出的一个交易平台，旨在连接内容创作者和AI厂商。一年前，Cloudflare就宣布为使用其服务的网站提供AI审计工具（Cloudflare AI Audit），向网站站长报告AI爬虫的访问情况、抓取数据的IP地址、抓取频次等。

然而，尽管内容创作者和网站站长对Pay Per Crawl有迫切需求，但AI厂商并不感兴趣。在现有条件下，一般网站难以有效抵御AI爬虫的抓取，而“软约束”的robots.txt已成为废纸。此外，AI直接将内容浓缩为摘要的行为导致用户无需点击原文，进而降低网站流量和广告收入。

根据Cloudflare的最新统计数据，谷歌搜索爬虫大约每6至7次抓取会带来1次点击，而OpenAI的GPTBot爬虫则需1500次才能换来1次跳转，Anthropic的ClaudeBot效率更低，达到73300次换1次。显然，AI大厂与内容创作者之间的商业模式已受到动摇。

尽管如此，习惯免费爬取内容的AI厂商即便想付钱也不希望Cloudflare作为中间商获利。为应对AI搜索可能带来的冲击，谷歌已推出Offerwall工具，允许站长为网站用户提供多种内容访问方式，如小额支付、参与调查、观看广告等。

不同于按次付费爬取的Pay Per Crawl，Offerwall通过让用户直接支付小额费用获得数天的内容访问权或通过激励广告变现。这意味着在AI时代的内容付费方面，Cloudflare选择了流量变现模式，而谷歌则选择了付费订阅模式。

显然，用户为内容付费的两种方式——流量变现和付费订阅——是互斥的。一旦选择Offerwall就意味着放弃Pay Per Crawl。因此为了推广Pay Per Crawl平台Cloudflare必须尽可能提高该平台的知名度。

【本文图片来自网络 】