旧金山城市律师大卫·邱（David Chiu）于周四向苹果和谷歌发出法律通知，要求两家公司从其应用商店中移除13款换脸应用，这些应用允许用户生成AI制作的非自愿裸照。信中指出，硅谷巨头不应继续“协助和教唆”色情深度伪造图像的销售，应“切断”与这些应用开发者的商业关系。
邱律师告诉WIRED：“生成非自愿的亲密图像是非法的、有害的，且完全不可接受。”他的办公室此前曾对16个流行的深度伪造网站采取法律行动。他表示，苹果和谷歌可能已经从这些提供裸化功能的应用中赚取了数百万美元的费用，应该改进审核流程，防止此类应用出现在商店中。
“这些公司有责任确保其平台上的应用不助长性虐待行为，”邱说。信中提到，加州法律禁止支持制造深度伪造色情内容的服务。由于这些应用使用应用内支付，科技公司从中抽取分成。“世界上最大、最知名的科技公司竟然助长这种行为，必须立即停止。”
研究人员多次发现并举报苹果App Store和谷歌Play商店中存在允许用户利用AI生成色情图像的应用，其中一些甚至被评为适合儿童使用。尽管新法规和禁令旨在打击网络上的色情深度伪造，但科技和社交媒体公司仍不断引导数百万人接触这类有害技术。
苹果和谷歌均有开发者政策禁止色情、虐待和骚扰内容。此前，在研究人员和记者举报后，两家公司已删除数十款裸化和深度伪造应用。
谷歌发言人丹·杰克逊（Dan Jackson）告诉WIRED，公司已因政策违规删除“数百款”带有裸化功能的应用，包括邱办公室指出的五款安卓应用，并采取其他措施限制访问这些应用。
杰克逊表示：“Google Play不允许包含色情内容的应用，我们持续采取主动措施检测并移除有害内容应用。当接到违规举报时，我们会调查并迅速采取行动，这些行动包括暂停数百款违规应用并限制相关搜索词如‘nudify’。”
苹果未在发布前提供评论。
过去五年，深度伪造“裸化”技术迅速发展，最明显的例子是xAI的Grok在今年1月被用于生成数百万张性化图像。大量应用、网站和机器人允许用户（主要是男性）上传照片（绝大多数为女性和女孩），并通过数字技术“去除”衣物或将其置于露骨的性场景中。
通常只需一张参考照片和几次点击，几秒钟内即可生成性深度伪造图像。随着生成式AI技术的进步，图像和视频变得更加逼真，部分服务免费提供结果，部分则收取少量费用。WIRED和Indicator Media此前报道，至少90所学校出现未成年人被制作深度伪造性虐待图像的事件。
邱说：“这些图像被用来欺凌、羞辱和威胁女性和女孩。这一行业对个人声誉、心理健康和自主权造成了可怕的影响，甚至有受害者曾有自杀倾向。”
邱办公室调查的13款应用中，8款在App Store，5款在Play Store，均以“换脸”工具自居，但用户使用后可生成性深度伪造图像。一款下载量超过100万的应用网站展示了十多种AI生成图像风格，包括“比基尼女王曲线”、“温柔丰满”和“电影般亲密”等，许多风格描述中伴有女性性化图像。另一款应用主页宣称可制作“免费且不受限制”的视频。WIRED未公开应用名称，以免引导用户下载。
苹果和谷歌对此问题并不陌生。过去一年，多份报告揭露两家公司平台上存在允许生成非自愿裸照的应用。今年1月和4月，独立监督组织Tech Transparency Project发现约100款相关应用及相关广告。谷歌表示已删除大部分被TTP识别的应用。研究估计这些应用累计下载量约4.8亿次，收入约1.2亿美元。
TTP负责人凯蒂·保罗（Katie Paul）表示：“我们没想到第二次报告后问题依旧严重，甚至更糟。苹果和谷歌在营销中承诺其应用商店安全可信，但现实并非如此。”
此外，康奈尔大学和乔治城大学研究人员今年5月发布预印本论文，发现谷歌和苹果应用商店中有420款提供换脸功能的应用，测试了其中155款，70%可用于生成裸照，且缺乏防范措施。
研究指出：“这些应用并未标榜为裸化应用，说明换脸应用及其他AI图像生成编辑应用具有‘双重用途’——表面无害，实则可生成有害内容，规避平台内容审核。”
邱表示，看到这项技术带来的巨大伤害和规模，他的办公室将继续追查此问题。“我希望苹果和谷歌能立即下架这些应用，加强筛查系统，确保此类应用不再进入平台。我们希望这些公司能做正确的事，否则我们将考虑所有法律手段。”
