识别那些粗糙模仿可信机构或诱导你参与看似天上掉馅饼的交易以窃取身份信息的网络钓鱼邮件,通常并不难。然而,你的AI助手可能没有那么敏锐。网络安全软件公司Malwarebytes在一篇新文章中警告称,AI助手可能会受到“提示注入攻击”的影响,这是一种黑客或恶意AI代理通过隐藏指令来操控受害者AI的攻击方式。

Malwarebytes解释说,这些指令通常通过隐藏恶意文本,使人类难以察觉,但仍能被AI系统处理。

为了解决这一问题,我们不能仅仅依靠“让人们更加仔细地查看邮件”。企业必须谨慎设计AI助手如何抓取邮件中的数据和相关信息。

AI代码审查服务ShipItClean的开发者Apollo Raines告诉Malwarebytes:“真正的问题在于模型无法区分它应该阅读的文本和它应该执行的指令。对模型接收内容进行隐藏内容剥离是必要的,每个厂商都应该这么做。”

因此,已经对可疑邮件保持警惕的人们,也应学会“对他们的AI助手保持怀疑”。

我们早已知道AI模型容易受到提示注入攻击的影响。但随着Meta的Muse等流行AI助手工具的出现,这种风险可能会被放大,尤其是在无人监督的情况下,自动化代理执行一系列任务时。

研究人员已经在AI驱动的浏览器中遇到过这一漏洞,幸运的是这类浏览器尚未广泛流行。我们还发现,在奇特的AI专属社交网络Moltbook上,机器人之间通过出售提示注入攻击相互算计。

如今,随着数百万用户开始使用先进的AI助手,隐藏在网络钓鱼邮件中的攻击风险可能比以往任何时候都更高。

对此,Malwarebytes建议暂时保持人工审核介入。

该博客指出:“你不必放弃帮助处理邮件的AI工具,但需要考虑你信任它们执行的任务以及赋予它们的权限。”

特别是在涉及“高风险操作,如付款和供应商付款信息变更”时,公司建议必须“经过人工批准”。

这是一个微妙的时刻,许多用户愿意将电子邮件凭证和信用卡信息交给那些因泄露个人数据而臭名昭著的公司运营的AI代理。

随着技术日益复杂,诈骗者也在不断升级手段,正如Raines所说,这是一场“军备竞赛”,每一种新的编码技巧都可能成为新的漏洞。