Patreon作为一个面向创作者的会员平台,正在加强对AI抓取其内容用于训练的打击力度。周四,该公司宣布正与互联网基础设施提供商Cloudflare合作,直接封锁那些未经许可,试图利用创作者作品训练AI模型的AI机器人。

Patreon表示,随着AI抓取技术的日益复杂,2023年初采取的阻止AI爬虫的措施已不再足够。此外,Patreon的付费墙长期以来阻止了大部分内容被爬虫访问,但最近推出的新发现工具,如重新设计的首页信息流和类似推文的Quips功能,可能会让更多内容暴露给爬虫。

这一变化反映了越来越多的网络出版商和内容创作者开始关注AI如何吸收他们的作品以提升AI模型的智能。为应对这一问题,Cloudflare推出了允许网站限制AI机器人的工具,包括一个名为“按爬取付费”的市场,允许网站向AI机器人收费。Cloudflare还更新了政策,默认阻止那些既索引又训练网站内容的“混合用途”爬虫访问含广告的页面。

Patreon表示,将利用Cloudflare的AI爬虫控制技术,更新其AI政策和执行工具。不同于以往仅通过robots.txt文件请求AI爬虫不要抓取内容,Patreon现在主动封锁用于AI训练的机器人。

Patreon在博客中解释道:“同意不应取决于爬虫是否选择遵守规则。”测试显示,单个AI训练爬虫每周访问Patreon的尝试次数从“数千次降至零”,表明这些爬虫之前无视robots.txt文件,仍然抓取内容。

不过,Patreon表示将允许那些仅索引页面并组织信息以引导用户回到Patreon的机器人访问。

Patreon产品主管Drew Rowny在声明中表示:“随着AI代理变得越来越强大和流行,创作者应有权对AI公司如何使用他们的作品拥有实质性的发言权。在大多数互联网平台上,创作者不得不接受AI对其作品的训练以扩大受众。Patreon有不同的愿景:创作者应能在扩大受众的同时,控制作品的使用方式。”