Pangram承诺能够检测任何文本中AI参与的程度,并以百分比形式给出最佳猜测(当然,这也是通过AI实现的)。今年一月,Reddit和YouTube上流传着作者Mia Ballard可能使用AI写作其自出版小说《害羞女孩》的猜测,该书后来被传统出版社Hachette收录。尽管Ballard否认了这一点,Pangram的CEO在X平台上表示该书有78%的内容由AI生成,随后Hachette取消了该书的发行。
类似的指控接踵而至。《纽约时报》因刊登一篇AI生成的“现代爱情”专栏而被点名,Pangram给出的分数是100%。随后,英联邦短篇小说奖获奖作品(100%)、小说《Daggermouth》(60%)以及一部售价240万美元的惊悚小说《Call Me, I’ll Hide the Body》(97%)也被检测出高比例AI参与。7月底,Substack宣布将Pangram集成到其平台,方便读者快速判断文本是否可能由AI生成。
但并非所有作家都认可这种做法。作家兼出版专家Jane Friedman表示:“对AI检测软件存在强烈的反感和愤怒,感觉它们甚至比AI公司本身更邪恶。”目前,Pangram在出版和高等教育之外尚未广为人知,但随着区分大型语言模型生成内容和人类写作的需求日益增长,它很可能会成为家喻户晓的名字。关键问题是:我们能信任这家公司多少?
Pangram联合创始人Spero谈及自己在加州成长的经历时显得不太自在。相比个人问题,他更擅长讲述Pangram的技术细节。Spero在洛杉矶郊区La Crescenta长大,热爱编程并加入了学校的机器人团队。斯坦福大学本科期间,他遇到了未来的合伙人Bradley Emi(多次采访请求被公司公关团队拒绝)。毕业后,Spero曾在谷歌工作,参与了FLoC项目(该项目因隐私问题于2022年被谷歌终止),随后在自动驾驶公司Nuro任职,而Emi则先后在特斯拉和AI生物技术公司Absci工作。2022年ChatGPT发布后,两人看到了应对AI内容泛滥的商业机会,2023年成立了Checkfor.ai,一年后更名为Pangram。当时已有十多家公司进入AI检测领域,包括Originality.ai、GPTZero和Turnitin,Pangram在早期独立测试中表现优异,成为领先者。
采访中,Spero的回答时断时续,显得有些迟疑。我询问他的招聘理念,他沉默片刻后转身去微波炉加热食物,十五秒后才回答:“Pangram的员工都是因为关心使命而在这里。”
Pangram采用“合成镜像”技术,通过让大型语言模型生成与人类写作相似的文本,训练其模型识别AI写作风格。同时,利用“困难负样本挖掘”方法,寻找误判样本进行再训练。Spero强调所有数据集均获得合法授权,这在当前AI领域较为罕见。Pangram的产品对数据需求远低于ChatGPT或Claude。他坦言AI公司在创意领域已失去大量信任。Pangram服务多个行业,包括教育、法律和招聘,但创意写作是其训练文本的最大部分。
“害羞女孩”事件让Pangram声名鹊起。Spero此前已在社交媒体上指出疑似AI写作,1月时他被Reddit用户@提及并收到Ballard手稿PDF,“我把它放进Pangram,发了帖子,后来《纽约时报》找我评论。”他说,“但人们过分夸大了Pangram在此事中的作用。”实际上,是Pangram的一名客户经理将此事告知出版业分析师,后者再传给《纽约时报》。
另有批评指出,Spero获得的手稿来自盗版网站。对此他回应:“是的,我没仔细看,只是直接放进Pangram检测。”
自此之后,Pangram并未回避争议。英联邦短篇小说奖获奖作品检测出高AI比例后,公司分析了自2012年以来的所有获奖作品,指出另外三部可能涉及AI。Spero淡化Pangram对取消书约的影响,称评分只是众多因素中的一小部分。
关于与Substack的合作,Spero表示:“人们不应害怕公开AI使用情况,因为作品应凭质量和吸引力立足。”他补充道:“如果作品价值依赖于欺骗读者认为它不是AI写的,那将是个问题。”Substack方面称其并非反AI,只是希望用户知晓所读内容。一些作者对此持谨慎态度,担心一键检测可能毁掉整个职业生涯。
我联系了五大出版社,Simon & Schuster和HarperCollins拒绝评论,Hachette和Macmillan未回复。企鹅兰登书屋发言人确认编辑可能使用获批的AI检测工具作为识别潜在AI内容的辅助手段,但这只是更广泛编辑流程的一部分,不具决定性。一些代理人也使用检测工具,许多书约在幕后被悄然取消,Friedman称“代理通常保持沉默”。
研究人员Chakrabarty首次通过Spero的帖子了解到Pangram,注册后获得API额度,两人成为“密友”,Pangram持续支持其研究。他在社交媒体发布检测结果并为公司辩护,曾与出版社讨论AI检测问题。他认为:“Pangram不应成为唯一裁决,但结合个人判断,结果不会错。”

Chakrabarty与纽约顶级文学代理机构Aevitas的联合CEO Todd Shuster关系密切,后者称Pangram是“非常有用的工具”,帮助他们与作者进行困难对话,检测出作品AI成分从50%到95%不等。Shuster用Pangram分析手稿和书稿提案,并为公司提供咨询,促成与出版社的联系。面对检测结果,部分作者防御或撒谎,另一些坦诚使用AI。Shuster要求作者用自己的声音和想法重写作品。
批评者指出Pangram存在两大问题:误判带来的伤害和机器学习潜在偏见。爱丁堡纳皮尔大学AI素养教授Sam Illingworth认为检测器“无效且存在偏见”,研究显示非母语英语作者和神经多样性作者更易被误判为AI写作(该研究发生在Pangram之前,Spero称内部研究有反驳)。此前提及的三部争议小说均由有色人种作者创作。美国文学代理人协会主席Regina Brooks强调行业内存在不平等,谁被检测、谁被公开指控本质上是人为过程,难免偏见。
对于被误判的作者,Spero曾提出现金奖励以证明其原创性,“我几乎确定有人在撒谎,但如果不是,那对我们很有价值。”目前无人接受挑战。
Chakrabarty坦言:“当然可以骗过Pangram。”有作者通过调整文本或模仿AI写作风格制造假阳性。圣母大学一份工作论文指出,Pangram 3.2版本对学术摘要中轻度AI编辑的检测准确率仅为64%至80%,但经过“人性化”处理后,检测率降至4%以下。
Pangram承认其工具在短文本(尤其少于100字)上的表现较差。免费服务每天限额约2000字,输入中位数为350字。相同文本单独检测或在上下文中检测结果可能不同,尤其是小说片段复制粘贴时。
总体来看,Pangram称其新模型误判率仅为0.0041%,较之前0.01%有所改善。Spero表示Pangram采取保守策略,边缘文本倾向判定为人类写作,这降低了误判率,但也意味着部分AI生成内容可能漏检。根据Pangram,重度AI改写的人类文章仍有41.37%被判为人类写作。
前Pangram合同工、记者Rod Breslau称Spero“全天在线,回复推文、Reddit帖子和LinkedIn内容”。Breslau年初加入,负责社交媒体策略和安排采访,同时利用Pangram插件公开点名疑似AI用户。他希望采取更严厉措施,因为他认为人们“太容易逃避惩罚”。
Pangram后来与Breslau分道扬镳,转而预测AI使用将更被接受。Spero表示他不再追查所有AI使用者,但会对“欺骗行为”保持警惕。未来Pangram将能检测轻度AI编辑,“这是发展方向:更高精度、更详细,为用户提供更多信息。”Pangram的目标是成为出版社、学校及其他领域的原创性权威。
目前,Spero的小团队包括前教育者和一名前出版专业人士。公司发言人称一名研究员拥有英语文学学位。虽有传闻称被指控作者准备提起诽谤诉讼,Spero表示“尚无此事”。他计划继续发布技术报告,强调透明度和社区互动以建立信任。
采访结束时,我注意到Spero表现出不够专注甚至有些回避。他在公寓内走动,换了多个位置,时而戴上耳机,时而摘下,讨论模型训练时还轻轻打了个嗝。
我无法确定他是忙碌疲惫,还是不够重视采访,亦或是媒体关注让他感到厌烦。无论如何,Pangram试图将复杂多变的交流内容简化为一个数字,而人类的表达远比这复杂得多。


