AI资讯Google、微软、OpenAI等将于2027年通过robots.txt引入AI学习许可共通规范
日本国家OpenAI、Google、微软(Microsoft)、Anthropic宣布,将推动制定一项共通规范,使网站运营者能够通过robots.txt文件指定是否允许AI进行学习,计划于2027年正式实施。 robots.txt是网站中用于指示搜索引擎等爬虫(自动收集网站信息的程序)访问权限的文件。通过设置robots.txt,网站运营者可以决定是否允许搜索服务或AI服务收集特定页面或整个网站