Pangram承诺能够检测任何文本中AI参与的程度,并以百分比形式给出最佳猜测(当然,这也是通过AI实现的)。今年一月,Reddit和YouTube上流传着作者Mia Ballard可能使用AI写作其自出版小说《害羞女孩》(Shy Girl)的猜测,该书后来被传统出版社Hachette收录。尽管Ballard否认了这一点,Pangram的CEO在X平台上表示该书78%由AI生成,随后Hachette取消了该书的发行。
类似的指控接踵而至。《纽约时报》因刊登一篇AI生成的《现代爱情》专栏而被点名,Pangram评分为100%。随后,英联邦短篇小说奖获奖作品(100%)、小说《Daggermouth》(60%)以及一部售价240万美元的惊悚小说《Call Me, I’ll Hide the Body》(97%)也被检测出高比例AI参与。7月底,Substack宣布将Pangram集成到其平台,方便读者快速判断可能的AI使用情况。
并非所有作家都认可这一趋势。作家兼出版专家Jane Friedman表示:“对AI检测软件的反感和愤怒非常强烈,感觉它们甚至比AI公司本身还要邪恶。”在出版和高等教育之外,Pangram尚未成为家喻户晓的名字,但随着区分大型语言模型生成内容与人类写作的需求日益增长,它的影响力正在扩大。现在的问题是:这家公司到底能信任多少?
Pangram联合创始人Spero谈及自己在加州长大的经历时显得不太自在。相比个人问题,他更擅长讲解Pangram的技术细节。Spero在洛杉矶郊区La Crescenta长大,热爱编程并加入了学校的机器人团队。斯坦福大学本科期间,他遇到了未来的合伙人Bradley Emi(多次采访请求未获回应)。毕业后,Spero曾在谷歌工作,参与FLoC项目(该项目因隐私问题于2022年被终止),之后进入自动驾驶公司Nuro,而Emi则先后在特斯拉和AI生物技术公司Absci工作。2022年ChatGPT发布后,两人看到了应对AI内容泛滥的商机,2023年成立了Checkfor.ai,后更名为Pangram。此时,已有十多家公司进入AI检测领域,Pangram在早期独立测试中表现优异,成为领先者。
采访过程中,Spero的回答时断时续,显得有些拘谨。我询问他的招聘理念,他沉默十五秒后表示:“Pangram的员工都是因为关心使命而在这里。”
Pangram采用“合成镜像”技术,通过让大型语言模型生成与人类写作相似的文本,教会模型识别AI写作风格。同时,利用“硬负样本挖掘”技术,寻找误判样本进行再训练。Spero强调所有数据集均获得合法授权,这在当前AI领域较为罕见。Pangram的产品对数据需求远低于ChatGPT或Claude。他坦言AI公司在创意领域已失去大量信任。Pangram服务于教育、法律和招聘等多个行业,但创意写作是其最大训练文本来源。
“害羞女孩”事件让Pangram声名鹊起。Spero此前已在社交媒体上揭露疑似AI写作,1月时他被Reddit用户@提及并收到Ballard手稿PDF,“我把它放进Pangram,发了帖子,后来《纽约时报》找我评论。”他认为外界过度夸大了Pangram在此事件中的作用。实际上,是Pangram的一名客户经理与出版业分析师讨论此事,后者将消息传给了《纽约时报》。
此外,批评者指出Spero获得的手稿来自盗版网站。对此,Spero坦言自己并未仔细核查,只是直接上传检测。
自此之后,Pangram并未回避争议。英联邦短篇小说奖获奖作品检测出高AI比例后,公司分析了自2012年以来的所有获奖作品,发现另外三部可能涉及AI。尽管如此,Spero淡化了Pangram对取消书籍发行的影响,称评分只是众多因素中的一小部分。
谈及与Substack的合作,Spero表示:“人们不应害怕公开AI使用情况,作品应凭质量和吸引力说话。”他补充道:“如果作品的价值依赖于欺骗读者以为不是AI写的,那将是个问题。”Substack方面称其并非反AI,而是希望用户知晓所读内容。部分作者对此持谨慎态度,担心一键检测可能毁掉整个职业生涯。
我联系了五大出版社了解是否使用AI检测工具。Simon & Schuster和HarperCollins拒绝评论,Hachette和Macmillan未回复。Penguin Random House发言人确认编辑可能使用获批的AI检测工具作为识别潜在AI内容的辅助手段,但这只是更广泛编辑流程的一部分,非决定性因素。一些经纪人也在使用检测工具,许多书籍交易在幕后悄然终止。

研究员Chakrabarty首次通过Spero的帖子了解到Pangram,注册后获得API额度,二人成为“密友”,Pangram持续支持他的研究。他在社交媒体发布检测结果并为Pangram辩护,曾与出版社讨论AI检测问题。他认为:“Pangram不应成为唯一裁决者,但结合个人判断,结果不会错。”
Chakrabarty与纽约顶级文学代理机构Aevitas的联合CEO Todd Shuster关系密切,后者称Pangram是“非常有用的工具”,帮助他们与作者进行艰难对话,要求部分作者重写作品以体现个人风格。
批评者指出Pangram存在两大问题:误判带来的伤害和机器学习潜在偏见。爱丁堡纳皮尔大学教授Sam Illingworth认为检测工具对某些群体存在偏见,研究显示非母语英语作者和神经多样性作者更易被误判为AI写作。此前提及的三部争议小说作者均为有色人种。美国文学代理人协会主席Regina Brooks强调行业内存在不平等现象,谁被检测、谁被公开指控本质上是人为过程,难免偏见。
对于被误判的作者,Spero曾提出现金奖励以证明其作品为原创,但至今无人接受。
Chakrabarty坦言“当然可以骗过Pangram”,部分作者通过调整文本或模仿AI写作风格制造假阳性。圣母大学最新研究指出,Pangram 3.2版本对轻度AI编辑的学术摘要误判率高达64%-80%,但经过“人性化”处理后误判率降至4%以下。
Pangram承认其工具在检测短文本(尤其少于100字)时效果较差。免费服务每日限额约2000字,平均输入为350字。相同文本单独检测或置于上下文中可能得出不同结果。
总体而言,Pangram声称其新模型误判率仅为0.0041%,较之前的0.01%有所改善。Spero表示Pangram采取保守策略,边缘文本倾向判定为人类写作,这降低了误判率,但也使部分AI生成内容逃避检测。根据Pangram,经过大量AI重写的人类文章仍有41.37%被判定为人类写作。
前Pangram合同工、记者Rod Breslau称Spero“全天在线,回复推文和帖子”,他曾为Pangram提供社交媒体策略咨询并公开点名疑似AI用户。Pangram后来与Breslau分道扬镳,转向更宽容的策略,预计AI使用将被逐渐接受。Spero表示将继续关注“欺骗性”使用,并计划推出能检测轻度AI编辑的功能,目标是为各行业提供原创性鉴定。
目前,Pangram团队规模不大,成员包括前教育者和出版专业人士。尽管有传闻称被指控作者可能提起诽谤诉讼,Spero表示尚无此类案件。他计划继续发布技术报告,强调透明度和社区互动以建立信任。
采访结束时,Spero表现出些许心不在焉,采访过程中多次变换位置,甚至轻声打嗝,给人一种不甚专注的感觉。或许是疲惫,或许是媒体关注带来的压力。Pangram试图将复杂的写作细节转化为一个数字,但人类写作的模糊性远非数字所能完全捕捉。


