开放权重的人工智能模型近年来迅速走红。这类模型允许用户在本地搭建自己的AI系统，绕过像OpenAI或Anthropic等商业公司设置的安全防护措施。

然而，这些特性也使得开放权重模型在利用AI生成儿童性虐待材料（CSAM）的人群中变得流行。正如《彭博社》在一篇令人震惊的报道中指出，部分或完全开源的AI模型导致网络上令人不安的CSAM内容激增。

追踪这些违法者非常困难，因为许多AI模型可以在本地训练，使用现有的CSAM数据生成大量衍生作品，且无需连接互联网，避免被专家识别和执法机关发现。

据《彭博社》报道，这一令人担忧的趋势已经发展成暗网中的庞大社区，成员数达到数十万。

尤其是来自中国的开源模型快速崛起，引发了激烈争论。多家领先AI公司的CEO呼吁加强监管，担忧国家安全问题。

然而，绕过安全防护“越狱”模型后，利用AI生成CSAM的行为变得极其简单，这已成为一个更紧迫且明显的问题。

AI儿童安全专家Rebecca Portnoff告诉《彭博社》：“一旦模型被下载到本地并在私人系统中运行，几乎无法进行监管。这给违法者带来了安全感。”

Portnoff表示，目前有超过500个开源AI模型被用于生成CSAM，较两年前不足十个的数量激增。同时，向国家失踪与被剥削儿童中心报告的AI生成CSAM案例去年突破150万起，而2024年仅为6.7万起。

尽管开源模型被广泛滥用，连AI公司自身也难以有效解决封闭源代码模型带来的问题。尽管Elon Musk多年来承诺遏制此类趋势，但利用其AI模型生成的CSAM依然泛滥。一项针对该公司的集体诉讼指控一名男子使用Musk的Grok聊天机器人生成约7000张其继女的色情图片。

专家发现，Musk旗下的X社交平台仍充斥着儿童性化图片。

随着AI竞争日益激烈，儿童安全倡导者担忧硅谷“快速行动、打破规则”的做法可能会使问题更加严重。