周末，有用户惊讶地发现部分Anthropic的Claude聊天记录竟然可以通过网络搜索轻松找到。最初由一位Reddit用户发现的问题，暴露了包括用户询问加入哪个政党、堪萨斯州律师是否需要自我报告伦理违规行为以及情色角色扮演等内容的聊天记录。
Claude允许用户通过创建公共URL分享特定聊天线程的“快照”。这些URL被主要搜索引擎索引，归根结底是网站功能、搜索引擎机制与生成式AI相互作用的结果。
Anthropic通过robots.txt文件告知搜索引擎的网络爬虫不要索引用户选择分享的聊天内容。根据Wayback Machine的快照，Anthropic自2025年9月起就已将“共享”聊天内容禁止网络爬虫访问。
然而，阻止页面出现在搜索结果中比想象中更复杂。
必应搜索在撰写本文时，搜索“site:claude.ai/share”仍显示约612条结果。必应技术文档指出，开发者可以用robots.txt阻止爬虫，但也应在单个页面添加“noindex”标签。
Reddit帖子中曝光的部分聊天内容在WIRED查看时已被删除，谷歌搜索中也不再显示相关结果，但必应仍可检索到。谷歌开发者指南称，如果页面被其他网站链接且未包含“noindex”标签或响应头中的“x-robots-tag”，谷歌会忽略robots.txt的指令。
WIRED检查了部分暴露的Claude聊天页面，发现它们均未包含必应和谷歌都认可的“noindex”标签。
Anthropic发言人表示：“我们允许用户控制是否公开分享Claude对话，遵循隐私原则，我们不会向谷歌等搜索引擎共享聊天目录或站点地图。这些分享链接不可猜测或发现，除非用户主动分享。分享即意味着内容公开，类似其他公共网页，可能被第三方服务存档。”
微软（必应所有者）未在发布前回应。
谷歌发言人Ned Adriance告诉WIRED，索引共享的Claude聊天是Anthropic的责任。“谷歌和其他搜索引擎无法控制网页公开内容，这些页面被多个搜索引擎索引。我们为站点所有者提供明确控制爬取和索引的工具，并始终尊重这些指令。”
Anthropic未回应为何未在共享聊天页面添加“noindex”标签的提问。
去年9月，Anthropic因同样问题受到批评，并告诉Forbes他们通过robots.txt阻止爬虫访问共享聊天。但Forbes报道指出，这并不能保证搜索引擎不会索引特定网页。
尽管robots.txt不能完全阻止页面被索引，AI实验室仍广泛使用它。许多实验室承诺只要开发者在robots.txt中“禁止”特定爬虫，网站内容不会被用作AI训练数据，实验室自身也遵守此规则。
Anthropic、Meta和OpenAI都在聊天机器人网站的robots.txt文件中指示“禁止”竞争对手的爬虫访问。OpenAI和Meta未回应相关评论请求。谷歌未回答WIRED关于其竞争对手阻止谷歌AI训练爬虫Google-Extended访问聊天机器人网站的问题。
虽然共享聊天不再出现在谷歌搜索结果中，但WIRED查看的页面仍未添加“noindex”标签，意味着未来可能再次被搜索引擎索引。Claude用户可通过设置 > 隐私 > 共享聊天管理访问权限，保护私密对话。
额外报道：Andrew Couts。
更新于2026年7月28日美国东部时间上午9:25，新增Anthropic声明。
