周末期间,用户惊讶地发现部分Anthropic的Claude聊天记录竟然可以通过网络搜索轻松找到。最初由一位Reddit用户发现的问题,暴露了包括用户咨询加入哪个政党、堪萨斯州律师是否需要自我报告伦理违规行为,以及情色角色扮演等内容的聊天记录。
Claude允许用户通过创建公开URL分享特定聊天线程的“快照”。这些URL被主要搜索引擎索引,归根结底是网站功能、搜索引擎机制与生成式AI交互碰撞的结果。
Anthropic通过robots.txt文件指示搜索引擎的网络爬虫(如谷歌和必应)不要索引用户选择分享的聊天内容。根据Wayback Machine的快照,Anthropic自2025年9月起就已将“共享”聊天设置为禁止爬虫访问的范围。
然而,阻止页面出现在搜索结果中比想象中更复杂。
必应搜索“site:claude.ai/share”时,仍显示约612条结果。必应技术文档指出,开发者可以通过robots.txt阻止爬虫,但同时应在单个页面中加入“noindex”标签。
Reddit帖子中曝光的部分聊天记录在WIRED查看时已被删除,谷歌搜索中也不再显示相关结果,但必应仍可检索到。谷歌开发者指南指出,如果网页被其他网站链接且页面未包含“noindex”标签或响应头中的“x-robots-tag”,谷歌会忽略robots.txt的指令。
WIRED检查了部分暴露的Claude聊天页面,发现这些页面并未包含必应和谷歌都认可的“noindex”标签。
Anthropic发言人表示:“我们允许用户控制是否公开分享Claude对话,遵循隐私原则,我们不会向谷歌等搜索引擎共享聊天目录或站点地图。这些分享链接不可猜测或发现,除非用户主动分享。用户分享对话即意味着内容公开,类似其他公共网页内容,可能被第三方存档。”
微软(必应所有者)未在发布前回应评论请求。

谷歌发言人Ned Adriance告诉WIRED,索引共享Claude聊天是Anthropic的责任。“谷歌及其他搜索引擎不控制网页的公开内容,这些页面被多个搜索引擎索引。我们为站点所有者提供明确控制,决定页面是否可被爬取或索引,我们始终尊重这些指令。”
Anthropic未回应为何未在共享聊天页面添加“noindex”标签的质询。
去年九月,Anthropic因同样问题受到质疑,并告诉Forbes其通过robots.txt告知爬虫不要访问共享聊天。但正如Forbes报道指出,robots.txt并不能保证阻止搜索引擎索引特定网页。
即使robots.txt不能完全阻止搜索引擎索引,AI实验室仍将其用于其他目的。许多实验室承诺只要开发者在robots.txt中“禁止”某些爬虫,网站内容不会被用作AI训练数据,实验室自身也遵循此建议。
Anthropic、Meta和OpenAI均在聊天机器人所在网站的robots.txt中指令“禁止”竞争对手的爬虫访问。OpenAI和Meta未回应对此做法的置评请求。谷歌未回应WIRED关于其竞争对手阻止谷歌AI训练爬虫Google-Extended访问聊天机器人网站的提问。
虽然共享聊天不再出现在谷歌搜索结果中,但WIRED审查的页面仍未添加“noindex”标签,意味着未来仍有可能被搜索引擎收录。Claude用户可通过设置 > 隐私 > 共享聊天管理访问权限,保护私人对话。
额外报道:Andrew Couts。
更新时间:2026年7月28日,美国东部时间上午9:25,新增Anthropic声明。


