坎贝尔·布朗一直致力于追求准确的信息,最初作为著名电视记者,后来成为Facebook首位也是唯一一位专职新闻主管。如今,看到人工智能正在重塑人们获取信息的方式,她担忧历史可能重演。这一次,她不打算等待别人来解决问题。

她创立的公司Forum AI,最近在旧金山与TechCrunch的Tim Fernholz交流时介绍,专注于评估基础模型在她所称的“高风险话题”上的表现——包括地缘政治、心理健康、金融、招聘等领域,这些话题没有明确的对错答案,充满复杂和细微的差异。

Forum AI的做法是邀请全球顶尖专家设计评测标准,然后训练AI评审员对模型进行大规模评估。在地缘政治领域,布朗邀请了尼尔·弗格森、法里德·扎卡里亚、前国务卿托尼·布林肯、前众议院议长凯文·麦卡锡以及曾领导奥巴马政府网络安全工作的安妮·诺伊伯格等专家。目标是让AI评审员与这些专家的意见达成约90%的共识,布朗表示Forum AI已接近这一标准。

布朗回忆,Forum AI成立于17个月前的纽约,起因是她在Meta时看到ChatGPT首次公开发布。“我很快意识到,这将成为所有信息流通的渠道,但它的表现并不理想。”她感受到这对自己孩子的影响几乎是生死攸关的,“如果我们不解决这个问题,我的孩子们将变得非常愚笨。”

她最感挫败的是,准确性似乎并非任何人的优先考虑。她指出,基础模型公司“极度专注于编码和数学”,而新闻和信息领域更难处理,但难并不意味着可以忽视。

当Forum AI开始评估主流模型时,结果并不乐观。她提到Gemini模型竟然从中国共产党网站提取与中国无关的故事,并指出几乎所有模型都存在左倾政治偏见。更细微的问题还包括缺乏上下文、缺失多元视角、曲解论点且不加说明等。“还有很长的路要走,”她说,“但我也认为有一些简单的改进能大幅提升结果。”

布朗在Facebook工作多年,亲眼见证了平台优化错误目标的后果。“我们尝试的很多事情都失败了,”她告诉Fernholz。她建立的事实核查项目已不复存在。她总结道,即使社交媒体对此视而不见,优化用户参与度对社会来说是糟糕的,导致许多人信息不足。

她希望人工智能能打破这一循环。“现在的局面可能朝两个方向发展,”她说。公司可以满足用户的需求,也可以“提供真实、诚实和准确的信息”。她承认,理想中人工智能追求真相的想法听起来可能天真,但她认为企业界可能成为意想不到的盟友。企业在信用决策、贷款、保险和招聘中使用AI,关注责任问题,“他们会希望你优化准确性。”

Forum AI的商业模式也寄望于企业的合规需求,尽管将合规兴趣转化为稳定收入仍具挑战,尤其是目前市场仍满足于布朗认为不充分的勾选式审核和标准化基准。

她形容当前的合规环境“简直是笑话”。纽约市通过首个招聘偏见法要求AI审计时,州审计长发现超过一半存在违规未被发现。真正的评估需要领域专家,不仅要处理已知场景,还要应对“可能让你陷入麻烦的边缘案例”,而这需要时间,“聪明的通才是不够的。”

布朗的公司去年秋季获得了由Lerer Hippeau领投的300万美元融资。她表示,Forum AI独特地揭示了AI行业自我形象与普通用户现实体验之间的差距。“你听大科技公司的领导说,‘这项技术将改变世界’,‘它会让你失业’,‘它会治愈癌症’,”她说,“但普通用户用聊天机器人问基本问题时,仍然得到很多错误和糟糕的答案。”