日本国家Cloudflare宣布了一项面向“代理互联网”发展的新举措。
该举措包括为网站所有者与AI企业搭建桥梁的新分类体系、增强的分析功能以及革新行业定义的合作伙伴关系。通过这些措施，Cloudflare旨在帮助网站更易被发现，支持网站所有者和AI企业优化“效率”和“收益”，并致力于构建一个对社会整体有益、健康且和谐的“代理经济”。
AI成为入口时代，内容掌握“主导权”
该举措的背景是互联网流量性质的变化。目前，超过半数的网页请求由自动化代理和机器人完成，AI正逐渐成为信息访问和在线交易的新接口，内容发现的规则也在发生改变。
许多网站所有者希望其内容被AI系统采纳，但对于依赖广告或订阅收入的企业来说，内容被AI系统免费用于学习则构成威胁。
Cloudflare指出，若愿意向AI提供内容，应做到简单高效；反之，则提供限制AI访问的工具。
他们正在测试新的默认分类，提供洞察，加速AI搜索，并计划建立“当创作者内容被用于AI回答生成时，确保创作者获得报酬”的机制。
Cloudflare强调，目标是实现公平竞争环境，在优化网页爬取效率的同时保护知识产权，推动创作者与AI共荣的“代理经济”。
从2025年以“防御”为主题的举措演进，Cloudflare未来将聚焦“控制”、“透明度”和“收益化”。
排除用途模糊的“复合型爬虫”
目前，透明度高的AI企业会明确区分爬虫用途为搜索、代理使用或学习，但也存在用途混合的复合型爬虫，这种爬虫在爬取时混合多种意图。
Cloudflare指出，这类复合型爬虫对网站所有者和透明AI企业都是“极大困扰”。未来两个月将进行测试，并于2026年9月15日确定新的默认设置和分类。
届时，新注册及现有用户新增网站的默认设置将是：广告页面允许搜索爬取，但阻止学习和代理使用。
若复合型爬虫未向网站所有者提供选择搜索、代理、学习爬取权限的选项，则所有广告页面将被阻止。用户可随时在控制面板调整设置。
未在2026年9月15日前调整设置的免费用户，也将自动应用该变更。
Cloudflare表示，此举旨在为AI企业和传统搜索引擎创造公平竞争环境，公平透明地重新定义代理AI时代的内容发现。
AI时代的新控制面板
Cloudflare推出了“归因业务洞察（Attribution Business Insights）”控制面板。
该面板不仅让安全和IT团队，甚至所有利益相关者都能了解自家内容被AI机器人如何使用，还能追踪各AI企业带来的真实人类流量，缩小内容所有者与AI企业之间的数据差距。
随着内容发现从搜索引擎转向AI回答引擎，出现了“答案引擎优化（AEO）”的新方法。
AEO不仅关注谁在爬取内容，还通过AI模型监测自身内容在AI生成回答中的引用频率和显著程度。Cloudflare称这将为AI时代提供关键的测量与优化层。
抑制AI无效爬取
Cloudflare还致力于提升AI搜索效率和创作者作品被使用时的自动报酬支付。
目前，AI模型和搜索引擎为回答用户查询，频繁爬取大量未更新的网页，超过50%的AI爬取流量浪费在未更新页面，导致带宽和计算资源浪费，且未带来更优质回答。
Cloudflare提供了识别网页是否更新及具体变更的功能，通过信号告知是否值得重新爬取，减少无效爬取，提高回答准确性。
他们正与主要AI企业合作测试这些信号，预计2026年下半年正式推出。
此外，Cloudflare于2025年发布了基于爬取次数计费的“按爬取付费（Pay Per Crawl）”系统，允许内容所有者向AI企业收取爬取费用。
此次举措将“按爬取付费”升级为“按使用付费（Pay Per Use）”，即内容所有者不仅在内容被爬取时收费，更在内容实际产生价值时获得报酬。Cloudflare与Ceramic.ai、You.com等合作伙伴共同构建基础层，推动该原则的市场化。
