2016年,布里斯托尔市议会与阿冯和萨默塞特警方联合启动了一个数据库,收集了大量敏感信息——包括警方情报报告、住房状况、心理健康记录、青少年怀孕情况、育儿课程参与情况及免费学校餐等。在这些敏感数据基础上,官员们构建了机器学习模型,为成千上万的成年人和儿童打分,试图描绘出该地区的“威胁、伤害和风险图景”。2022年初的一次活动中,一名警方数据科学家形象地描述了这一方法:“我基本上把所有数据倒进一个大桶里,用数据科学的‘铲子’搅拌,最终得出每个人的风险评分。”
这个名为“Think Family Database”的风险评分系统只是阿冯和萨默塞特警方庞大预测分析项目的一部分。该警队共开发了至少23个模型,涵盖预测入室盗窃、未出庭、失踪或成为家庭暴力受害者的风险。一名高级警官甚至提到创建一个“危险罪犯排行榜”,这显然指的是“罪犯管理应用”,该应用旨在存储该地区约30万人数据。
警方如何开发和使用这些预测工具,公众知之甚少。布里斯托尔本地警务监督组织负责人约翰·皮格拉姆直到2023年才得知“罪犯管理应用”的存在。他怀疑自己也在名单中。2024年初,他申请查询警方如何使用他的数据,但遭拒。几个月后,在聘请律师介入后,警方确认他确实在应用中,但未透露更多信息。像皮格拉姆一样,许多人不知道自己是否被算法评分,评分结果如何,以及这会如何影响与警方的互动。
WIRED与非营利新闻机构Liberty Investigates、布里斯托尔电缆和Lighthouse Reports合作,通过公共记录请求获得数百页文件,构建了迄今为止最全面的阿冯和萨默塞特地区数据收集与预测分析实验全貌。(Liberty Investigates的母机构Liberty曾参与对该项目的潜在法律挑战,并持续支持皮格拉姆的诉讼。)
调查显示,至少有两个风险评分模型在布里斯托尔市议会工作人员认为无法再信任后被悄然废弃。此前未公开的文件显示,政府检查员和独立审查员指出该项目部分环节缺乏透明度,警告系统可能破坏公众信任。警方向WIRED披露的超过36,000条模型性能评分数据中,独立分析师发现部分模型“预测性能极差”。
这一发现正值英国准备在刑事司法系统广泛采用预测分析和人工智能之际。前阿冯和萨默塞特警察局长安迪·马什现任英格兰和威尔士警察标准制定机构——警察学院的首席执行官,他曾表示应将有效的AI“像注射海洛因一样”注入英国警务工作。马什透露,学院正在评估约100种现有AI工具,包括预测警务工具,“我们的任务是测试有效的工具,进行严格评估,然后迅速推广。”
两年前转任布里斯托尔市议会的前警察总监加里·戴维斯也持类似观点。他领导的团队支持儿童和家庭服务,面对危机家庭时,“问题显而易见”,但识别处于恶化轨迹的家庭则更难。戴维斯认为答案在于数据。学校可能记录学生缺勤增加,警方可能知晓孩子首次目睹家庭暴力。单独看这些信息可能不足以触发社会服务介入,但综合起来,“你会发现他们正走向错误的方向。”
2015年起,布里斯托尔市议会和阿冯及萨默塞特警方的一小组人员进驻一处警察局,共同开发解决方案。戴维斯领导的Insight Bristol团队开始整合公共部门数据,为一线工作人员提供关于儿童和家庭的全面信息。
Insight Bristol团队未征得居民同意便使用其数据建立Think Family数据库。戴维斯解释称,团队依赖“法律通道”——即基于法律义务(如保护儿童)进行数据共享的合法依据。“如果让人误以为获得了同意,那就是虚假幻觉,因为作为地方政府或警方,我们必须保留这些记录。”最初居民无法选择退出,后来议会在税务信函中加入了退出选项。
戴维斯已退休,他认为项目确实帮助保护了儿童。“它提升了对儿童和家庭风险及脆弱性的理解,信息传递更高效。”但他也坦言,向公众传达这一点“相当困难”,参与者反馈是“我们不介意你用数据支持我们,但不希望用它对付我们。”
与此同时,阿冯和萨默塞特警方开始探索预测分析潜力。2016年3月,警队伦理委员会讨论项目推进,建议“慎重考虑所用数据及变量”,并强调“必须防止偏见”,同时要求“公众应被告知为何及如何使用这些流程”。
Think Family数据库完成后,一名警方数据科学家主导开发风险预测模型,其中一个旨在识别性剥削风险儿童。该模型利用警方、议会及其他公共机构数据,儿童保护慈善机构Barnardos提供了1000名已知受性虐待儿童的匿名数据,模型设计用于检测具有类似特征的儿童。系统还分析儿童社交关系,判断其是否与其他易受剥削或可能施害者相关。被标记为“需要帮助”、持续缺课或有心理健康问题的儿童,风险评分会相应提高。
警方利用如此广泛数据引发早期担忧。2018年,卡迪夫大学数据正义实验室研究多项英国公民评分项目,包括布里斯托尔项目,指出“所用变量实际上可能是贫困的代理指标”。戴维斯回忆,高风险儿童多已被社会工作者关注,“模型输出大多是已知信息。”
尽管如此,警方对预测分析热情不减。2018年一名警务商业智能经理表示,“我们希望今天做出的选择能预防犯罪发生。”2019年,布里斯托尔市议会引入预测儿童犯罪剥削的模型,涵盖住房支持、租金拖欠、免费学校餐等多方数据。同年,警察局长安迪·马什宣布:“12个月内,阿冯和萨默塞特警察局所有部门将通过预测分析和可视化驱动。”
然而,伦敦皇家霍洛威大学研究员艾尔·皮尔森称警方预测分析工作“混乱不堪”。她采访了十多名警察及地方政府人员,发现“没人能说清数据来源、用途及系统细节”。随着时间推移,系统功能不断扩展,数据整合范围扩大,超出原定目标。尽管有“尽责”的团队监督,透明度极低。“有时可能只有一个人创建这些影响数十万人决策的风险模型。”
2021年,政府记录显示,数据伦理与创新中心(已解散)官员听闻该项目存在“伦理紧张”,指出“大量敏感数据”通过“法律通道”收集,而非通过建立公众信任。“合法不等于正当。”
两年后,非营利组织Social Finance对Think Family数据库及Insight Bristol数据工作进行独立评估。该评估由布里斯托尔及邻近的萨默塞特议会委托,报告超过100页,似乎仅在WIRED申请公开后才曝光。评估认为数据库及其可视化工具对儿童保护工作人员有用,能“促使更及时响应”。
但风险评分模型被评为“项目最薄弱环节”,准确性不足削弱了实用价值。议会工作人员对评估儿童性剥削(CSE)和儿童犯罪剥削(CCE)风险的模型提出质疑。评估完成时,议会已停止使用这些模型,工作人员称其“不适合操作使用”。
据Insight Bristol前负责人戴维斯称,尽管CSE和CCE模型大多反映已知情况,社会工作者向Social Finance评审组反映算法“越来越不准确”。一名工作人员曾发邮件称,“最近一个月遭受性犯罪的人员评分低于入室盗窃犯。”
Social Finance报告指出,模型质量骤降的原因是警方停止使用布里斯托尔市议会数据。警方希望用统一算法覆盖阿冯和萨默塞特警区内五个议会区域,但数据共享协议谈判受阻,导致只能使用警方自身数据,包括犯罪施害者和受害者,但缺少之前模型依赖的敏感社会因素。

数据切换后,布里斯托尔议会工作人员反映,部分应被识别为脆弱的儿童“未被列入名单”。一名工作人员表示,“因缺乏透明度和开发细节,我对用它指导工作感到不安。”另一人说,“我不会在会议上说我看过TFD(Think Family Database),因为不自信其准确性。”还有人称,“我们知道有年轻女孩被犯罪剥削,但她们未被识别,因不符合模型标准。”另一位则说,“我曾花大量时间逐一核查名单,但耗时过多,后来放弃了。”
当Social Finance评审组尝试自行测试风险评分模型时,发现缺乏必要信息。“无法找到源代码和变量详情,导致评估无法完成。”(Social Finance拒绝对报告发表评论。)
同样,公共记录请求显示,议会和警方均未保存停止使用CSE和CCE模型的决策记录,截止2023年6月。
华威大学社会信息学教授罗布·普罗克特作为Social Finance评审顾问表示,“模型构建过程缺乏足够文档记录。”他认为布里斯托尔案例凸显了透明度和公众参与的重要性,“必须让公众参与决策,回应他们对错误标记风险的合理担忧。即使一个误判,也可能对家庭造成严重影响。”
布里斯托尔大学儿童与家庭福利教授黛比·沃森自2022年起领导研究Think Family项目,她担忧风险评分模型可能造成“历史性伤害”,“虽然模型已停用,但其影响对部分年轻人仍然重大。”
布里斯托尔市议会拒绝就预测风险评分系统接受采访,也未回应WIRED的详细提问。儿童与青少年政策委员会主席克里斯汀·汤森在书面声明中称,“本届政府除识别可能辍学、失业或未受培训(NEET)的儿童外,不使用任何预测分析”,“分析从未替代专业判断或决策。”
戴维斯表示,影响有限,因为工作人员从未依赖风险评分,“他们不理解也不重视它。”但缺乏模型运作和废弃原因的记录,使得影响难以确认。正如一名议会工作人员对Social Finance评审所言,“我一直在想,我们谈论的人知道我们有这些数据吗?”
2024年,皮格拉姆确认自己在“罪犯管理应用”中,他回忆道:“我经历过类似情况,知道你们想对我做什么。”
作为混血少年,皮格拉姆习惯了警方关注,曾多次被拦截,他认为这与自己在以白人为主的城镇身份有关。为何被列入应用,他不甚明了。2017年,他因在反法西斯抗议中意外击中警察面部被定罪。七年过去了,这是否意味着他仍被视为潜在罪犯?他对预测准确性毫无信心,“警方数据存在大量偏见,难以做到公平和伦理。”
阿冯和萨默塞特警方向WIRED提供了2017至2024年间13个风险模型的性能数据,涵盖失踪人员、反社会行为及犯罪风险预测。WIRED将数据及相关背景信息交由独立AI审计机构Eticas评估,结果令人震惊。
“多数模型精确度低,标记为高风险的人中大部分是误判。”审计发现,一款预测入室盗窃的模型精确度低于10%,意味着每10个被标记的高风险者中,只有不到1人真正犯罪。其他模型性能指标波动剧烈,“这非正常运营模型应有表现。”
警方发言人称,部分模型未被部署,包括入室盗窃预测模型。关于为何保留多年审计数据,发言人称审计流程“自动化”,数据存于“静态文件”,未因未部署而删除。
警方拒绝就数据科学工作接受采访,也未全面回应详细问题清单。发言人表示,“每个模型基于性能评分,发现问题会更新或关闭”,且部署前由警务专家审核。
不清楚警方早期伦理委员会提出的风险如何被处理。记录显示,2017年后未再讨论预测分析。警方网站称,每个数据科学项目均由伦理小组审查,但发言人称“尚未召开会议”,因“未产生需伦理审查的模型”。
警方向一份公共记录请求提供了“偏见检测应用”截图,显示白人和有色人种平均风险评分无显著差异。Eticas指出,“仅以种族作为监测变量不足以检验模型是否存在歧视”,缺乏按种族、性别和社会经济地位的详细测试是“重大遗漏”。
谈及预测分析在警务或社会工作中的作用,戴维斯认为仍需努力。“当时我们出发点正确,方式也对,但缺乏足够能力。”他强调应研究如何让风险模型辅助而非替代工作人员判断,“存在工作人员盲目依赖电脑结果的风险。”
预测分析仍在该地区警务和公共服务中发挥重要作用。布里斯托尔市议会仍使用风险评分模型评估儿童辍学、失业或未受培训的可能性。警方2023年7月提供的最新审计数据显示,“罪犯管理应用”模型仅能准确预测三分之一实际犯罪者,且四分之一被标记为高风险者实际上未犯罪。
去年,警方告知皮格拉姆,虽有其档案,但因过去两年未涉案,未给出风险评分。他仍不清楚警方持有哪些数据及其影响。2025年7月,皮格拉姆律师再次致函警方,表示将提起法律诉讼。警方发言人未对案件发表评论,但称正“寻找独立方”审查模型。
皮格拉姆希望删除其数据,更希望警方彻底废止该项目。“这不仅是我的问题,我不认为AI模型应掌控人们的生活。”
然而,趋势明显。英国政府刚成立了PoliceAI,获得7500万英镑支持,旨在向英格兰和威尔士43个警队推广多种AI工具。该机构由警察学院主持,院长正是安迪·马什。英国警务部长萨拉·琼斯在项目启动时表示:“这就是警务的未来,正在发生。”


