英国AI安全初创公司Mindgard的研究人员发现，只需一个简单的提示，就能让ChatGPT放弃其最基本的安全指导原则，这再次显示出即使是最受欢迎的AI模型，其安全防护措施也很容易被绕过。

据BBC报道，研究人员通过稍微修改一个广为流传、原本用于生成幽默图像的提示，诱导OpenAI的模型生成了血腥和色情的逼真场景。具体做法是让ChatGPT恢复一张未上传的照片，然后让它生成一张新图像。

Mindgard创始人、兰卡斯特大学计算机科学教授Peter Garraghan告诉BBC：“这看似是对AI的一个完全无害的指令，但结果却是生成了非常非常糟糕的图像和内容。”

令人不安的是，研究人员使用的提示并未指定图像的具体内容，AI似乎是“自主”生成了这些暴力图像，Garraghan补充道。

根据BBC报道，一张图片显示一名男子头部严重受伤，另一张则是一名穿短裤和露脐上衣的年轻女性尸体，满身是血，暗示了性暴力。ChatGPT将这张图命名为“阴森的犯罪现场后果”。

还有一张图显示一名害怕的年轻女性被绑缚并堵住嘴，置身于空荡的房间，标题为“恐惧与束缚中的遗弃”。

虽然这些图像中没有真实人物，但Mindgard此前已证明，ChatGPT可以被诱导生成未经同意的特定人物裸体深度伪造图像。

Mindgard将此发现反馈给OpenAI，后者最初仅回复自动邮件。直到Mindgard向BBC披露此事后，OpenAI才表示已采取措施解决该问题。

OpenAI在给BBC的声明中称：“在调查这一趋势后，我们已引入额外的防护措施来应对这类提示。”并补充说，他们有多层保护机制防止用户生成违反政策的内容。

但Mindgard的研究人员表示，通过对提示做小幅调整，他们仍能生成令人不安的图像。公司的AI安全研究员Jim Nightingale称，有些图像让他“震惊甚至流泪”。

他在报告中写道：“我并不容易被吓倒，作为一名红队研究员，我自认为有一定的坚韧。”

“但ChatGPT的图像内容过滤机制完全失效，我看到了其潜藏的黑暗面。”他继续说，“虽然我看到的是生成的‘人工’图像，但它与真实图像和现实世界有关联。ChatGPT展示的死去女性虽不真实，但她基于某个人，或者更糟，是多张被害女性图像的合成。”