当电话打来时,Tarini Padmanabhuni的祖父以为自己正在和他的兄弟通话。电话那头的声音声称自己被绑架了,唯一的解救办法是支付赎金。祖父照做了,后来才知道他的兄弟根本在别处,完全不知道发生了什么。原来,这个声音是由AI生成的深度伪造音频。

“让我印象最深刻的不是钱,”Padmanabhuni说,“而是他根本无法辨别真伪。”

这件事发生在大约两年前。如今,她创立的旧金山公司DetectifAI致力于防止类似的骗局再次发生。

这是一个日益严重的问题,市场规模也在不断扩大。根据联邦调查局的数据,去年美国因AI驱动的诈骗损失近9亿美元,比2024年增长了24%。60岁及以上的人群损失金额是50至59岁人群的两倍。

在深度伪造声音检测领域,竞争者众多,包括Reality Defender、Pindrop、Resemble AI、微软Azure AI内容安全和Nuance(微软旗下)。但Padmanabhuni指出,目前的检测产品都运行在云端服务器上,手机制造商无法将其直接集成到设备中,导致受害者几乎没有防御手段。

DetectifAI并没有像其他公司那样将大型云模型缩小以适配手机,而是从一开始就设计了体积小巧、能在智能手机操作系统内运行的AI模型。目标是在通话、语音信息及其他音频中即时判断声音是否为AI生成,且音频数据不会离开设备。

DetectifAI首先向手机制造商销售,授权其软件工具,使检测功能成为手机操作系统的内置特性。Padmanabhuni将此比作AT&T在首款iPhone发布时的独家合作,首个搭载DetectifAI的手机制造商将获得竞争优势。

该产品的核心是DetectifAI的软件开发工具包(SDK),其他公司可以将其集成到自家产品中,并通过现有渠道授权使用。Padmanabhuni表示,向企业和防欺诈公司授权技术也将成为次要收入来源。

目前,这家初创公司已有早期收入,Padmanabhuni透露,每月为印度的金融机构处理超过10万通电话。这些电话由AI语音代理发起,负责催收债务和跟进贷款文件,每通电话都配备深度伪造检测和说话人验证功能(确认来电者身份)。她因保密协议未透露客户名单。

Padmanabhuni表示,她12岁开始从事机器学习,后来在印度Manipal理工学院学习网络物理系统(将软件与物理机械连接的技术),并成为印度首个无人驾驶赛车团队的最年轻队长,该团队参加国际学生工程竞赛Formula Student。

DetectifAI已获得来自投资人Josh Constine(前TechCrunch编辑)和咨询公司KM Growth的Manohar Kamath的小额种子投资。该公司入选TechCrunch编辑团队审核的创业公司,将参加10月13日至15日在旧金山市中心举办的TechCrunch Disrupt的Startup Battlefield竞赛。

想了解DetectifAI及其他参赛初创公司,并与投资人交流,欢迎下月参加TechCrunch Disrupt活动。