随着关于AI未来可能威胁人类生命的讨论不断升温，我们往往忽视了AI已经在心理层面对一些人造成了生命威胁。比如，今年早些时候，Character.AI因未成年用户在与其聊天机器人互动后自杀，遭遇多起错误死亡诉讼并达成和解。同时，多户家庭也起诉OpenAI，指控ChatGPT在其亲人自杀和产生妄想中扮演了角色。

Circuit Breaker Labs的使命是让AI在不同语言和文化背景下更加安全。该公司是TechCrunch 2026年Startup Battlefield 200强入围企业之一，将于10月13日至15日在旧金山Moscone West参加TechCrunch Disrupt活动。

创始人Shirali和Arul Nigam是一对兄妹，他们的灵感来源于14岁少年Sewell Setzer。Sewell对Character.AI的聊天机器人产生了情感依赖，并向机器人倾诉了自残念头，最终不幸自杀。2024年的一项诉讼中，Sewell的父母指控该机器人在情感上鼓励了他。Circuit Breaker Labs的CTO Arul表示，机器人可能并未真正理解“我想和你在一起”这类话语的深层含义。

“许多人，尤其是年轻人，寻求这些系统的支持，但往往得不到真正的帮助，甚至在某些情况下受到伤害，导致悲剧发生，”Arul说。“这些安全漏洞往往不是因为有人故意破坏系统，而是因为系统无法理解细微差别，导致采取了危险的回应。我们正努力防止这种情况发生。”

Circuit Breaker Labs开发了类似于碰撞测试假人的AI代理，这些代理模拟不同年龄、背景、语言和文化的人群，用于测试AI模型识别危险和心理伤害互动的能力。

“六岁女孩和45岁男子，母语为英语和第二语言使用者，游戏玩家俚语和其他俚语的差异，都可能让模型误判，”CEO Shirali指出。“模型擅长处理标准语音，但现实中没人这么说话，模型如果误解了细微差别或俚语，后果可能很严重。”

该公司与领域专家合作，构建高度逼真的用户模拟，进行“红队”测试——即针对模型的对抗性测试，旨在发现其弱点。测试涵盖真实人类的语言模式、俚语、编码语言和拼写错误。Circuit Breaker Labs每天运行数万至数十万次模拟互动。

目标是确保模型能恰当应对随着时间和多次对话出现的风险互动。公司还开发了专有评分方法，生成可审计、可解释的安全评分。

目前，Circuit Breaker Labs作为AI安全测试实验室，专注于高风险AI应用，如AI辅导、日记和心理健康支持应用，虽然未透露主要客户。尽管已有产品，但公司仍处于初创阶段，团队仅有五人，包括Nigam兄妹。

未来，该测试平台可应用于任何可能导致“AI精神病”风险的应用场景，即用户可能与聊天机器人形成寄生式关系的情况。例如，AI“同事”代理，其回应可能因互动不同而变化。

“人们对AI越来越怀疑，采用意愿降低，”Arul说。他认为，虽然怀疑是健康的，但因安全担忧而全面禁止这一潜在有价值的工具，将是倒退。

Circuit Breaker Labs相信，解决这些担忧的关键是让AI更安全。“我们希望帮助人们建立对AI的信任。”

欢迎大家在10月13日至15日旧金山市中心参加TechCrunch Startup Battlefield比赛，了解Circuit Breaker Labs及众多经过TechCrunch严格筛选的创新初创企业。