近日,全球极端主义与技术网络(GNET)的研究人员发布了一份分析报告,指出在社交媒体平台上泛滥的AI生成水果视频,正在成为传播暴力和极端主义内容的温床。

这些视频大多看似无害,内容围绕色彩鲜艳的水果角色展开,讲述诸如爱情三角、失业和兄弟情谊等戏剧化故事,甚至有时带有色情暗示。然而,GNET的分析人员发现,越来越多的水果视频开始涉及极端暴力场景,如折磨、肢解等残酷行为。

更令人担忧的是,这些暴力内容并非泛泛而谈,许多视频中的暴力角色被描绘成特定群体或意识形态的代表,如犯罪集团、极右翼组织或极端虚无主义者。

GNET分析指出:“基于暴力的AI生成内容强化了对暴力本身的迷恋,使得所谓的网络‘暴力颂歌’在年轻人中逐渐蔓延。”这种内容还可能成为年轻用户接触更多暴力视听材料的基础,诱使他们陷入网络激进化和暴力消费的陷阱。

不过,目前尚无确凿学术证据证明AI内容直接导致青少年走向暴力,GNET的报告更多是表面分析,且引用了至少一篇AI生成的社论。值得注意的是,GNET隶属于全球互联网反恐论坛(GIFCT),该组织由科技行业代表资助和运营,曾因推动数字审查而受到批评。

无论AI生成的水果视频是否直接促使青少年极端化,这类内容以工业化速度由机器人农场生产,正在将我们所有人,尤其是媒体素养尚未成熟的孩子,拖入算法驱动的内容噪音漩涡。这些内容既可能美化暴力,也可能助长选举欺诈、种族主义等社会问题。正是这种无限的潜在危害,使得生成式AI低质内容成为一个不可忽视的风险。