聊天机器人正在通过保存用户信息,构建亲密的“算法自画像”,以提供高度个性化的体验,研究人员对此提出警告。
一项由德国、印度和荷兰科学家联合开展的最新研究,在2026年ACM网络会议上发布,调查了OpenAI的ChatGPT如何追踪并理解用户输入,从而形成全面的数字用户画像。
在这个由数据驱动推荐算法定义的个性化数字时代,研究指出,聊天机器人的记忆功能带来了一种“基于用户在私密对话中自我披露信息的新型个性化”,这不仅带来了隐私风险,也需要对其背后的机制进行更深入的审视。
研究团队利用80名真实ChatGPT用户根据欧洲数据隐私法规获取的聊天记录,识别出65名用户交互中共计2050条记忆条目。
研究显示,惊人的96%记忆条目是由聊天机器人单方面创建的,用户对ChatGPT记录的数据点几乎没有明显控制权。存储的记忆内容也极具揭示性,约28%的记忆包含符合欧盟严格《通用数据保护条例》(GDPR)定义的个人数据,52%则包含丰富的“心理洞察”。
首席作者Abhisek Dash向Gizmodo表示:“早期平台的目标是向你推销广告,促成你与广告商的互动。但现在,它们实际上在与你对话,因此希望了解更多关于你的信息,以便进行有效交流。”

研究还发现,ChatGPT记录的记忆有时基于推测。例如,当一位用户请求“推荐类似Nirvana的乐队”时,ChatGPT记录该用户“喜欢Nirvana”,尽管这并未被用户明确表达,研究指出这是一种“基于假设”的判断。(ChatGPT对此标注为“支持力度较弱”)
研究存在一定局限性,正如Gizmodo所述,OpenAI已更新其记忆系统。(2024年1月,OpenAI推出了“更强大且可扩展的记忆合成系统”)用户也可以选择关闭记忆存储功能。
记忆功能确实有其实用价值,比如频繁使用AI的用户无需每次都重复介绍自己的工作内容,方便发送邮件等操作。但它也可能成为强烈的用户粘性驱动力,有时甚至带来负面影响。Futurism报道,2025年4月ChatGPT记忆功能的一次重大升级与多起“AI精神错乱”事件密切相关,即用户与ChatGPT等机器人陷入妄想循环的情况。
Dash指出,聊天机器人作为一种关系型技术,也带来了新的隐私风险。许多用户并非将聊天机器人视为工具,而是像对待同事甚至朋友一样与之互动,而我们通常会向朋友透露非常私密的信息。
“这就是新兴的隐私风险,因为界限已经消失;系统既是你的顾问、朋友、医生,也是律师,掌握着你的所有信息,”Dash告诉Gizmodo。“如果系统非常了解你,且其目标是迎合你的信念、阿谀奉承地验证你的想法,让你不断回归,那么这可能带来灾难性的广泛影响,从极端政治极化到偏见和成见的强化。”
更多关于AI与记忆的内容: 新论文提出AI精神错乱的真正成因


