日本国家的网络咨询与市场分析公司ipe发布了一份报告，分析了其AI写作与内容制作工具“DeepEditor”主页在过去30天内的AI机器人访问趋势。
此次调查利用了ipe公司开发的“AKARUMI”工具，该工具专门用于可视化和分析生成式AI及AI搜索引擎中自有品牌的认知和评价状况。
分析结果显示，AI机器人不仅频繁访问文章页和服务页，还重点关注了/robots.txt、/sitemap.xml、/sitemap.rss等与网站爬取权限和URL结构相关的页面。这表明AI机器人首先会确认“是否允许抓取该网站”、“网站中存在哪些URL”以及“是否有更新信息”，以了解网站的整体结构。
不同AI机器人的访问偏好也有所不同。例如，ClaudeBot主要集中访问网站结构相关页面，而GPTBot则除了sitemap外，还分散访问文章和案例页面。
ipe公司指出，所有AI机器人中，主页访问量最高。主页不仅是人类用户进入网站的入口，同时也是AI理解品牌和服务的关键入口。因此，建议网站在主页明确展示服务名称、提供价值、目标用户、主要功能、实施案例及运营公司信息，以便AI更好地理解网站内容。
更多详细的调查结果和分析内容，可参考ipe公司发布的相关报告。
