Pangram承诺能够检测任何文本中AI参与的程度,并以百分比形式给出最佳猜测(当然,这一过程本身也依赖AI)。今年一月,Reddit和YouTube上流传着作者Mia Ballard可能使用AI撰写其自出版小说《害羞女孩》(Shy Girl)的猜测,该书后来被传统出版社Hachette接手出版。尽管Ballard否认了这一说法,Pangram的CEO在X平台上表示该书有78%的内容由AI生成,随后Hachette取消了该书的发行。
类似的指控接踵而至。《纽约时报》因刊登一篇AI生成的《现代爱情》专栏文章被点名,Pangram评分为100%。随后,一篇获得英联邦短篇小说奖的作品(100%)、小说《Daggermouth》(60%)以及一部售价240万美元的惊悚小说《Call Me, I’ll Hide the Body》(97%)也被检测出高比例AI参与。七月底,Substack宣布将Pangram集成到其平台,方便读者快速识别可能的AI使用。
然而,并非所有作家都认可这一趋势。作家兼出版专家Jane Friedman表示:“对AI检测软件存在强烈的反感和愤怒,感觉它们甚至比AI公司本身更具破坏性。”目前,Pangram在出版和高等教育之外尚未广为人知,但随着区分大型语言模型(LLM)生成内容与人类写作的需求日益增长,它的影响力正在扩大。关键问题是:我们能信任这家公司多少?
Pangram联合创始人Spero在接受采访时谈及其加州成长经历时显得不太自在,反而更擅长讲述技术细节。Spero在洛杉矶郊区La Crescenta长大,热爱编程并加入学校机器人团队。斯坦福大学本科期间,他遇到了未来的合伙人Bradley Emi。毕业后,Spero曾在谷歌工作,参与开发FLoC技术(后因隐私问题被终止),随后进入自动驾驶公司Nuro,而Emi则先后在特斯拉和AI生物技术公司Absci任职。2022年ChatGPT推出后,两人看到了AI内容泛滥的商机,2023年创立了Checkfor.ai,后更名为Pangram。尽管市场已有Originality.ai、GPTZero和Turnitin等竞争者,Pangram凭借早期独立测试表现脱颖而出。
Pangram采用“合成镜像”技术,通过让大型语言模型生成与人类写作相似的文本,训练其识别AI写作的能力。同时利用“硬负样本挖掘”,从数据集中寻找误判样本进行再训练。Spero强调所有数据集均获得合法授权,这在AI领域较为罕见。Pangram的产品对数据需求远低于ChatGPT或Claude。Spero坦言,AI公司在创意领域已失去大量信任。Pangram服务涵盖教育、法律和招聘等多个行业,但创意写作是其最大训练文本来源。
“害羞女孩”事件让Pangram声名鹊起。Spero曾在社交媒体上公开质疑AI写作,1月时他被Reddit用户@提及并收到Ballard手稿PDF,他直接上传至Pangram检测并发布结果,随后《纽约时报》联系他评论。尽管Spero认为Pangram在事件中的作用被夸大,但实际上是Pangram的一名客户经理将情况告知出版业分析师,后者再传至《纽约时报》。
此外,批评者指出Spero获得的手稿来自盗版网站。对此,Spero回应称自己并未深入核查,只是直接上传检测。此后,Pangram并未回避争议。英联邦短篇小说奖获奖作品被检测出高AI比例后,Pangram分析了自2012年以来所有获奖作品,发现另外三部可能涉及AI。尽管如此,Spero淡化了Pangram对取消书籍交易的影响,称AI检测只是众多因素中的一小部分。
关于与Substack的合作,Spero表示:“人们不应害怕披露AI使用情况,因为作品应以质量和可读性为核心。”他强调,如果作品价值依赖于欺骗读者以为非AI创作,那将是个问题。Substack方面表示,他们并不反对AI,而是认为用户有权知晓所阅读内容的来源。一些作者对此持谨慎态度,担心一键检测可能毁掉整个职业生涯。
五大出版社中,Simon & Schuster和HarperCollins拒绝评论,Hachette和Macmillan未回应。企鹅兰登书屋确认编辑可能使用获批的AI检测工具作为辅助,但这只是编辑流程的一部分,不具决定性。一些经纪人也使用检测工具,许多书籍交易在幕后被悄然终止。Friedman指出,经纪人通常对此保持沉默。

研究员Chakrabarty首次通过Spero的帖子了解Pangram,注册后获得API使用额度,二人关系密切。Chakrabarty在社交媒体发布检测结果,积极为Pangram辩护,并与出版社探讨检测问题。他认为Pangram不应成为唯一判断标准,但结合个人判断是有效的。Chakrabarty与纽约顶级文学代理机构Aevitas的联合CEO Todd Shuster关系密切,后者也开始使用Pangram检测稿件和书稿提案,并为Pangram提供咨询服务,协助引荐出版社。面对检测结果,部分作者坦诚AI使用,部分则防御甚至撒谎。Shuster要求作者用自己的声音和想法重写作品。
批评者指出Pangram存在误判风险和潜在偏见。爱丁堡纳皮尔大学的AI素养教授Sam Illingworth认为检测工具对某些群体存在偏见,非母语英语作者和神经多样性作者的作品更易被误判为AI生成。此前研究显示此类偏见,Pangram内部研究则试图反驳。此前提及的三部争议小说均由有色人种作者创作。美国文学代理人协会主席Regina Brooks强调,行业内不平等问题需关注。谁被检测、谁被公开指控,都是人为决策,难免带有偏见。
对于被误判的作者,Spero曾提出现金奖励,鼓励他们证明作品为原创,但至今无人接受。Chakrabarty承认,Pangram并非万无一失,有作者通过调整文本或模仿AI写作风格来误导检测。圣母大学最新研究指出,Pangram 3.2版本对轻度AI编辑的学术摘要误判率高达64%-80%,但经过“人性化”处理后,误判率降至4%以下。
Pangram承认其工具在检测短文本(尤其少于100字)时表现较差。免费服务每天限额约2000字,平均输入350字。相同文本单独检测或置于上下文中可能得出不同结果,尤其是从小说中复制的短段落。
总体而言,Pangram声称新模型误判率仅为0.0041%,较之前0.01%有所改善。Spero表示,Pangram采取保守策略,边缘文本倾向判定为人类写作,这降低了误判率,但也意味着部分AI生成内容可能被漏检。根据Pangram数据,经过大量AI重写的人类论文仍有41.37%被判定为人类写作。
前Pangram合同工、记者Rod Breslau称Spero“全天在线,积极回复推文和帖子”。Breslau曾为Pangram提供社交媒体策略咨询,并利用Pangram浏览器插件公开点名疑似AI用户。他希望采取更严厉的措施遏制AI内容泛滥。后来Pangram调整策略,预计AI使用将被逐渐接受,因而与Breslau分道扬镳。Spero表示,他仍会针对“欺骗性”使用AI的情况保持警惕,并计划推出能检测轻度AI编辑的功能,提升检测细粒度和信息透明度。Pangram的目标是成为各行业原创性鉴定的权威工具。
目前,Pangram团队规模不大,成员包括前教育者和出版专业人士。尽管有传闻称被指控作者可能提起诽谤诉讼,Spero表示尚无相关诉讼发生。公司计划继续发布技术报告,强调透明度和社区互动,以建立信任。
采访结束时,Spero表现出些许心不在焉,采访过程中多次走动、调整位置,甚至轻声打嗝,显得不甚专注。或许是疲惫或对采访不够重视,也可能是频繁媒体曝光带来的疲劳感。Pangram试图将复杂的写作细节转化为一个数字,但人类写作本质上远比数字更为复杂和模糊。


