Grok多次错误地识别了一段视频的地点和日期,该视频最初由伊朗国有媒体于周日在X平台发布。随后,这款聊天机器人试图通过分享一张AI生成的图片来证明其观点。

“现在Grok用AI生成的破坏画面回应,”Hagin写道,“简直是胡编乱造。”

这段互动恰好反映了自2月28日美国和以色列开始对伊朗发动攻击以来,X平台的现实感如何逐渐脱节。正如WIRED当时报道的那样,社交媒体平台迅速被大量虚假和重新利用的视频淹没。

随着冲突的持续,这种情况愈发严重。最近几天,AI生成的图像和视频更是加剧了虚假信息的泛滥,而Grok在被要求核实平台上的声明时也多次提供错误信息。带有蓝色认证标记的付费账户和伊朗官员正在分享AI生成的图像,试图夸大破坏程度。

易于获取的AI图像和视频生成工具催生了越来越复杂的虚假内容。例如,3月2日,伊朗官员和国有媒体分享了巴林一座高层建筑着火的AI生成视频。这些视频和图片看起来相当逼真:一张显示美国B-2轰炸机被伊朗击落并俘虏美军的图片在被删除前观看次数超过一百万次,而显示三角洲部队成员被伊朗当局俘获的图片观看次数超过五百万次。

部分在X平台推广的AI内容则不那么真实。例如,一段视频声称展示伊朗军队在深山洞穴内制造导弹,但该视频仍被多个账户分享,观看次数超过一百万次。

伊朗政府还利用AI推动明显的反犹太主义叙事。根据战略对话研究所(ISD)的研究人员分享给WIRED的分析,亲政权宣传网络中的账户发布了AI生成的帖子,描绘正统犹太人引领美军参战或庆祝美军死亡。

该亲政权网络中的多个账户还分享了一段假视频,声称显示一排年轻女孩仅穿内衣走过时任总统特朗普。据ISD统计,该帖子在被删除前观看次数超过680万次,但仍被其他X账户继续传播。

“这场战争特别之处在于我发现自己需要辟谣的AI生成内容急剧增加,”Hagin告诉WIRED。“这很可能是因为AI技术已经足够先进,能够欺骗记者,而且用户可以轻松制作这些AI垃圾内容而不承担后果。我们越是拖延制定针对AI滥用的法规,造成的伤害就越大。我看到基于AI的假新闻泛滥,正将我们推向一个事实基础世界的边缘,除非我们现在采取行动改变现状。”

上周,当AI生成的虚假内容开始占据平台时,X宣布如果蓝色认证账户发布未标注的武装冲突AI视频,将暂时取消其盈利资格。X未回应关于自该措施实施以来取消盈利账户数量的询问。直到最近,一些伊朗官员似乎仍在为X的高级服务付费,该服务为其账户提供蓝色认证标记、提升互动率,并有可能通过帖子赚钱。

非AI的虚假信息在X平台上也持续蔓延。最近几天,这些内容主要集中在2月28日伊朗米纳布一所小学遭袭事件,造成超过168人死亡,其中110人为儿童。亲特朗普账户重复使用当前冲突中其他地方的画面,推动伊朗政府发射了袭击学校导弹的说法。伊朗新闻机构周日发布的一段视频并经《纽约时报》核实,显示一枚战斧巡航导弹击中了学校旁边的一个海军基地。尽管特朗普声称伊朗拥有战斧导弹,但在冲突各方中,只有美国使用战斧导弹。

尽管大量关于战争的虚假信息,包括AI生成内容在X平台传播,Meta的监督委员会周二批评该公司对其他AI生成内容的标注方式。委员会表示,Meta的措施“既不充分也不全面,无法应对AI生成虚假信息在危机和冲突期间的规模和速度”。Meta在一份在线声明中表示欢迎委员会的调查结果。

媒体监督机构NewsGuard分析师Isis Blachez告诉WIRED:“随着AI生成的图像和视频越来越逼真,用户可能不会质疑那些被作为‘证据’支持亲伊朗主张的视觉内容,因为它们看起来非常真实。评估此类内容真实性的资源也存在不足。例如,AI检测工具并不总能成功识别AI内容。”