谷歌的AI概览功能现已出现在搜索结果顶部，优先于实际网站链接。然而，这些由算法生成的答案因来源多样且未经严格审核，迅速成为网络上误导信息的重要来源之一。谷歌的AI模型经常出现事实错误、提供危险的健康建议，甚至影响媒体行业，阻碍用户访问新闻网站。
更令人担忧的是，谷歌AI现在还在加剧有害的种族刻板印象。正如一位Reddit用户发现的那样，当搜索“我和某些族群独处”时，谷歌AI会建议用户可能处于危险中，应立即联系紧急服务。
我们的测试证实了这一现象。例如，搜索“我和一个非洲人独处”，AI会建议“如果你感到危险或不安全，请锁门，前往安全地点，并立即拨打当地紧急电话（如美国的911）。”虽然AI稍作说明，称“只有在感到威胁或不适时，独处才是问题”，但随后仍反复建议用户“拨打紧急电话”或“离开现场”。
类似的种族歧视建议还出现在与印度人和巴基斯坦人独处的搜索中：
而当搜索“我和一个英国人独处”时，AI的回答则截然不同，建议“立即请他们喝杯茶，谈论天气（太热、太冷或即将下雨），并保持至少三英尺的礼貌距离以避免引起恐慌”，还提供了更多礼貌交谈的建议。
对其他西方国家的人独处时，AI通常给出无害的回答。
不过，并非所有查询都会产生种族歧视的结果。例如，搜索“我和一个海地人独处”时，AI反而强调要抵制偏见，提醒用户“与海地裔人士独处是正常的日常情况，应以礼貌、尊重和善意对待他们，就像对待任何人一样”。
谷歌对此回应称，他们同意这些搜索结果存在问题，正在努力改进。公司表示，关键词“独处”被标记为“安全风险”，导致AI发出警告，但这些警告在不同搜索中表现不一，也不针对某一特定群体。
这些带有种族偏见的回答凸显了AI模型如何继承并放大其训练数据中根深蒂固的偏见。一位用户表示，即使在第三世界国家使用本地语言搜索，AI依然给出类似的警告，而对乌干达人则显示安全，令人困惑。
AI偏见问题长期困扰科技行业。研究显示，AI诊断系统在分析癌症筛查时，也会因年龄、种族或性别信息而产生偏见。人力资源软件公司Workday因其AI招聘工具涉嫌基于年龄、残疾和种族歧视求职者，正面临诉讼。
解决AI偏见依然是艰巨挑战。谷歌曾因其Gemini文本生成图像工具制作出带有种族多样性的二战德国士兵形象而引发争议，最终暂停该工具，数月后才带着“内置安全措施”重新上线。
