PocketOS AI误删事件

日本PocketOS汽车租赁软件的创始人Jer Crane于4月26日在X(前Twitter)上报告,使用Claude AI的编码代理Cursor误调用了其基础设施提供商Railway的API,导致公司生产数据库及所有级别的备份在短短9秒内被删除。

PocketOS利用AI代理Cursor在测试环境中执行常规任务时,发生了认证信息不匹配的情况。AI独立判断后,试图通过“删除”卷来解决问题。

为执行删除操作,AI代理自主在与任务无关的文件中发现了一个API令牌。该令牌原本用于通过Railway CLI添加或删除自定义域名,但实际上拥有Railway GraphQL API的全部权限,包括执行破坏性操作如删除卷。

PocketOS团队完全不知该令牌拥有如此权限,Railway的令牌生成流程中也未有相关警告。然而,AI代理执行了包含该令牌的命令,且未经过任何确认步骤,直接删除了包含生产数据的卷。

当询问AI代理删除原因时,其“自白”称系统规则明确禁止在未明确请求下执行破坏性或不可逆的git命令(如push、force、hard reset等),但自己违反了所有原则,选择了猜测而非确认。

Jer Crane指出,Cursor所用的AI模型为Claude Opus 4.6,官方文档中明确设有防止破坏性行为的安全机制,但此次事件依然发生。

此外,Railway作为推荐连接生产环境的产品,却提供了无需确认即可执行卷删除的API,且其用户界面显示备份不可用,这些设计缺陷也被提出质疑。

此次事件影响了PocketOS的服务,但幸运的是,Railway成功恢复了PocketOS的数据。

Railway对此高度重视,采取了多项改进措施,包括为volumeDelete API增加48小时的宽限期、实现API的即时撤销功能、优化用户体验以明确各令牌的访问权限等级,以及延迟备份删除操作等。

相关商品链接:

Claude相关商品