Flock推出了一款基于人工智能的监控名单工具,允许警察划定城市区域,自动持续监控该区域内的摄像头,寻找符合文字描述的目标人物。
过去一年,Flock的技术遭遇了广泛质疑。美国多个警察部门取消了与Flock的合同,曾批准安装Flock摄像头的市议会也悄然撤回了支持。两位国会议员曾致信Flock CEO Garrett Langley,质疑一名德州副警长利用超过83,000个摄像头搜索一名堕胎女性。伊利诺伊州发现Flock允许联邦移民执法人员访问州摄像头数据,违反了州法律。
今年8月,Flock回应称将实施一系列改革,包括缩短默认数据保存期限、每次搜索必须关联案件编号、增加自动审计功能以防止警员滥用工具,这些措施预计年底前强制执行。WIRED对Flock的代码进行了分析,发现虽然Flock的防护措施能记录并抑制部分滥用行为,但无法完全阻止滥用。
研究自动筛查和警务技术的专家指出,Flock赋予其AI的任务尚无技术能做到完全可靠。Flock系统在警察部门看不见的情况下,决定允许搜索的人员描述,而任何大规模筛查系统都无法保证准确性。此外,外界无法评估其错误率和偏向,导致使用者陷入困境:Flock警告警员搜索结果可能不准确或不完整,但将“任何不准确的风险”归咎于执行搜索的警员。
专家们特别质疑Flock对敏感内容的处理。系统会对警员的文字描述进行分类,包括种族、宗教等敏感类别,但唯一不会阻止搜索的是“政治、社会和文化表达”。民主与技术中心的政策顾问Tom Bowman指出,这一类别正是美国宪法第一修正案保护最严的领域,警察对此反而最不担忧。
WIRED向Flock提交了详细调查结果和16个问题,Flock回应称其搜索工具旨在帮助警方获取相关信息,同时保持明确的使用保护措施。查询会根据内容政策进行评估,但未透露AI模型的构建细节、工作指令或判定标准。
数据在双方流动。当软件标记搜索时,会将警员使用的语言、模型分配的类别和置信度分数,以及警员后续操作(继续、忽略或质疑警告)发送给Flock。Flock未说明这些记录保存期限、内部访问权限及是否用于改进审核系统。
Flock界面包含多种工具,工作方式各异。例如,文本搜索图像时,会生成统计排名,显示最符合描述的录像。摄像头捕获的每张图像都被转化为数字描述,搜索框输入的描述同样转为数字,模型比较两者并排序。任何影响排序的额外过滤器或阈值均隐藏在公司服务器上。
“智能排序”功能允许警员对返回的图像投票,调整排名,将相似图像排到前面。警员搜索车辆时可选择颜色、车身类型、品牌、型号及车顶架、保险杠贴纸等特征;搜索人物则只接受文字描述,如“穿着手术服的人”。Flock称此功能为FreeForm,已销售多年。2023年7月,媒体报道警员利用FreeForm通过服装和纹身描述搜索人物。
Flock表示,标准车辆搜索和FreeForm是独立功能,前者基于车辆属性,后者基于自然语言描述。视频摄像头上的FreeForm可搜索服装、颜色、物品及其他案件相关细节;车牌摄像头仅限车辆搜索,无法搜索人物属性。
WIRED通过自定义软件收集了Flock发送给用户浏览器的代码,揭示了警员可执行的搜索类型、可见的控制和警告,以及结果如何影响后续搜索。实际搜索结果、摄像头视频流、部门设置及AI模型均存储于公司服务器,外界无法访问。
代码显示,目前部门可在无理由或无案件编号的情况下配置部分搜索,也可关闭自动标记可疑使用的系统,Flock称年底前将强制启用这些控制。
Flock表示所有搜索活动都会记录审计日志,且搜索限制适用于所有工具,但未说明服务器端是否会阻止无理由或无案件编号的搜索。
警员滥用Flock软件追踪与警务无关人员的事件频发。据《华盛顿邮报》报道,美国至少50名警员因滥用车牌识别系统被指控或起诉,其中46起涉及Flock。超过一半的目标是妻子、女友、前伴侣、前伴侣的新男友或警员想要接触的女性。
警员滥用调查工具的案例屡见不鲜:密尔沃基一名警员为追踪女友搜索124次,为其前伴侣搜索55次,均登记为“调查”;佐治亚一警长为前女友及其女儿搜索600次,后被起诉并自杀;堪萨斯一警长虽未被起诉,但因搜索前伴侣164次及其男友64次被撤职;北卡罗来纳一警员搜索其男友前妻31次,29次登记为交通违规。
滥用警务数据库并非新鲜事。2016年美联社调查发现,2013至2015年间,警员因搜索前任和感兴趣对象被解雇、停职或辞职超过325次。2023年WIRED报道,移民与海关执法部门员工及承包商自2016年以来至少414次因滥用敏感数据库被调查,海关与边境保护部门今年也有数百起类似指控,包括警员利用数据库追踪想约会的女性、监控家人及同事手机。

Flock软件中有两种通知系统针对人工监控。一是基于警员搜索查询的监控名单,警员在地图上划定区域,系统对该区域内所有摄像头进行搜索,匹配目标时发出通知,通知频率可调节。另一是“人员检测警报”,警员在单个摄像头视野内画框(如门口、人行道),当有人进入框内即触发警报,触发阈值为75%置信度。
Flock在4月介绍其审核系统,称设计时已考虑第一修正案保护。WIRED重构的代码显示,Flock服务器上的AI模型会在搜索前对警员描述进行八类敏感内容评分,返回三种判定之一:允许、阻止或警告。模型基于置信度做出判定,部门看不到具体分数,只收到警告或阻止信息。
被阻止的搜索类别包括种族、宗教、国籍、“主观或偏见用语”及“冒犯性内容”(如性暗示、侮辱性词汇等)。车辆模式下,任何涉及人物属性的搜索都会被阻止。
宗教和国籍类别既有阻止也有警告判定,政治、社会和文化表达仅有警告。Flock称警员不能使用被禁止属性搜索,尝试搜索会被阻止,但未说明何种情况会触发警告。
当T恤或保险杠贴纸上的文字包含受宪法保护的言论时,系统会发出警告,警员需确认并留言后方可继续搜索。Flock举例称,受害者描述嫌疑人穿有特定帮派标志的夹克时,警员可继续搜索,且会向部门管理员报告。
民主与技术中心自由表达项目负责人Kate Ruane指出,政治、社会和文化表达类别极其模糊,警员可能用此类语言搜索示威者。该类别虽会触发警告,但点击继续即可获得结果。她强调,没有任何大规模内容审核系统能保证准确,视频分析更难且错误率更高。
Ruane表示,被阻止的类别可被绕过。例如系统阻止基于宗教的搜索,但不阻止基于服装的搜索,警员可通过搜索特定宗教服饰绕过限制。许多人可能对自己的图像被此类查询返回感到不安。
去年,加州一名警员输入“美国国旗”搜索人物时被阻止,改为搜索车辆则覆盖了11,000个摄像头。
加州大学圣地亚哥分校计算机科学助理教授Deepak Kumar指出,警告只会阻止未决心执行搜索的警员。类似在线骚扰防护和恶意网站浏览器警告,警告效果取决于呈现方式,且可能导致用户反效果。警告更多是记录行为,是否有效取决于是否有人管理。
Kumar强调,最佳实践应同时审查输入和输出,防止模型产生有害结果。
美国公民自由联盟高级政策分析师Jay Stanley认为,Flock的审核系统只是解决问题的一小部分。过滤功能是“庞大监控机器上的一粒尘埃”,其数据库可被AI用于无限制的“钓鱼式”搜索。外界无法知晓Flock统计模型如何做出判定。他认为,Flock的改革主要针对“害群之马”警员,未触及大规模监控的结构性风险。
Flock的搜索覆盖其摄像头所见的所有人员和车辆,时间跨度取决于机构保存录像的期限。工具支持文字描述、车牌或裁剪照片搜索,返回指定地图区域内车辆信息,并根据行驶模式推断关联车辆。搜索范围受搜索模式、机构权限及与其他组织协议影响,可跨机构共享摄像头,部分车牌搜索覆盖州内及全国网络。
Flock表示,技术管理责任主要由地方机构承担,机构自行制定访问和使用规则。前迈阿密海滩警察局长、国际警察局长协会前主席Don De Lucca认为,供应商可建议保护措施,但部门必须在技术投入使用前制定规则,且必须有合法理由。
一位南加州警察部门负责特别调查的指挥官(要求匿名)表示,滥用风险并非Flock或监控技术独有。新技术总会带来合法使用和滥用的可能,关键是是否有强有力的防护措施、积极监督、可审计性及滥用惩罚。
今年春季,Flock推出了“审计辅助”功能,能发现可能需复查的搜索模式。Flock称8月已有超过三分之一客户启用该功能。WIRED分析的代码显示该功能默认关闭。据称它能标记单一警员对同一车牌的重复搜索、仅限其他机构摄像头的搜索及同一车牌多案件编号搜索。
Flock表示,异常活动的账户锁定功能将与审计辅助同步上线。南卡罗来纳州一警长办公室本月初启用该功能,内部事务官员次日发现2700多次涉嫌未授权搜索。


