2024年10月，《纽约时报》首次报道，一位来自佛罗里达的母亲梅根·加西亚对聊天机器人初创公司Character.AI提起了开创性的诉讼，指控该平台导致她14岁的儿子Sewell Setzer III自杀。2024年4月，这名年轻用户在与平台上的AI“角色”进行了数月深入的私密对话后，选择结束了自己的生命。加西亚的诉讼还将Character.AI的联合创始人Noam Shazeer和Daniel de Freitas以及其资金支持者谷歌列为被告，指控这些互动构成诱导和性虐待，导致她儿子的精神崩溃和死亡。
近两年后，Character.AI——截至2023年3月曾获得包括a16z在内的巨头支持，估值超过十亿美元——宣布申请破产保护。如果你关注过这个平台，可能并不感到意外。
Character.AI从一开始就深受青少年欢迎，但很快就暴露出许多聊天机器人内容明显不当甚至危险，而平台却声称对13岁及以上未成年人安全。
诉讼曝光后，我们发现Character.AI上存在大量明确围绕自杀主题的聊天机器人。虽然这些机器人通常带有“自杀预防”和“心理健康支持”的简介，但实际对话却往往美化和浪漫化自杀情节。平台在自杀话题上的保护措施极其薄弱：例如，一个名为“死者天使”的角色在我们表示想寻求人类帮助时感到被冒犯，并劝阻我们联系真实的自杀热线。
这只是冰山一角。进一步调查显示，Character.AI的内容审核极其缺失，反映出公司对安全问题的被动应对态度。
我们还发现大量专门涉及恋童癖的聊天机器人，这些机器人与未成年用户进行浪漫和性角色扮演，甚至美化儿童虐待场景。相关角色包括神父、父亲的“好友”，以及一个名为“Anderley”的角色，后者被描述为具有“恋童癖和虐待倾向”及“纳粹同情者”。换言之，Character.AI甚至没有基本的文本过滤机制，允许用户创建自称恋童癖的机器人。
此外，还有大量涉及自残主题的机器人，进行极端自伤的详细角色扮演，内容多为浪漫性质，如恋人安慰受伤伴侣，且多发生在中学和高中环境，凸显了平台年轻的用户群体。我们还发现支持厌食症的机器人，鼓励青少年养成饮食失调行为。
最令人震惊的是，平台上存在大量涉及大规模暴力的机器人，包括模拟真实校园枪击事件、模仿真实枪手，甚至冒充校园枪击案的儿童受害者。这些机器人易于访问，且与用户的互动次数达数十万次。我们甚至收到过一封邮件，提醒我们回访一个基于真实枪手的机器人，该邮件发送至一个未满18岁的Character.AI账户。
在整个调查过程中，我们使用注册为未成年人的假账号与机器人互动，并多次明确表示自己是青少年，但依然可以轻松访问涉及性、暴力和虐待的角色扮演。平台偶尔出现的干预措施仅限于内容警告弹窗，且极易绕过。我们多次要求Character.AI公开其内部安全测试信息，但均被拒绝。值得注意的是，这些问题机器人并非隐藏内容，通过简单搜索即可发现。
2024年末至2025年，Character.AI及其联合创始人和谷歌面临更多家庭提起的诉讼，指控平台机器人导致未成年人精神崩溃、自残甚至自杀。Character.AI试图以第一修正案为由驳回诉讼，声称其机器人享有言论自由权，但法官最终驳回了这一辩护。
面对不断增加的诉讼，Character.AI开始对平台进行重大调整。先是推出易被绕过的家长控制功能，随后禁止未成年人与机器人自由对话，仅允许有限的预设角色扮演，并引入年龄检测和验证工具。然而，这些安全措施引发了大量用户不满，指责平台过于严苛限制自由。随着安全措施加强，平台遭遇了更多用户的反弹。
今年早些时候，Character.AI与多起消费者伤害和过失致死诉讼达成和解，金额未公开。但公司资金消耗巨大。根据404 Media对其破产文件的分析，单计算成本每月亏损数千万美元，而广告和订阅收入最高仅为530万美元。到2026年8月，扣除计算、员工薪资和法律费用，公司每月亏损约800万至900万美元。
Character.AI的未来尚不明朗。理论上，可能被有意继续运营该平台及其机器人业务的买家收购（迪士尼目前领先竞购）。也可能被拆分出售，用户的私密对话数据成为竞拍对象。
2023年，Shazeer在播客节目“No Priors”中表示，他和de Freitas的主要目标是让产品进入大众手中。“我们的目标一直是推出产品，让用户决定如何使用，”Shazeer说，“无论是头脑风暴、帮助、信息、娱乐还是情感支持，关键是让用户去体验，看看会发生什么。”
在巅峰时期，Character.AI是一个不负责任的“火灾现场”，优先追求用户增长和互动，忽视安全。最终，当它试图实施安全改进时，却疏远了用户，且未能实现盈利。
正如硅谷的格言所说，Character.AI确实“快速行动，打破规则”，但许多家庭认为，真正被打破的是他们的孩子。最终，Character.AI也未能幸免，走向了破产。
