
Google DeepMind近日宣布,将与Schmidt Sciences、Cooperative AI Foundation、Advanced Research and Invention Agency合作,并在Google.org的支持下,启动一项面向全球研究人员的技术研究资助计划,最高资助金额达1000万美元。
随着AI技术的快速发展,我们正迈入一个全新的时代。数百万由不同组织开发的AI智能体将在数字环境中跨平台相互作用,进行沟通、协商和交易。
这些系统在交互过程中必须以安全且可预测的方式运行。这一变革带来了极其重要的机遇,有助于从早期阶段加强整个AI生态系统的安全性和稳定性。
该计划重点研究大规模多智能体AI系统作为群体的行为表现,以及如何构建框架来理解和降低潜在风险。
Google DeepMind希望通过支持全球研究者,解决不同网络间独立系统交互时出现的“隐形”安全风险,因此启动了此次资助项目。
研究重点领域
单一实验室难以独立解决多智能体安全问题,因此该计划面向学术和独立研究者征集以下四大重点领域的研究提案:
- 沙盒与测试平台:构建现实且可复现的环境,用于评估、比较和推动多智能体安全领域的进展,包括虚拟市场、模拟生态系统及多组织工作流程。
- 智能体网络科学:研究相互作用智能体群体的安全特性,探讨群体能力的产生与扩展,网络故障或不稳定的机制,以及如何检测危险且意外的群体级特征。
- 智能体基础设施强化:对跨平台智能体间安全交互所需的身份认证、信誉和承诺协议进行压力测试。
- 监控与控制:开发监控已部署智能体群体的方法,减少大规模群体性损害。
此计划旨在推动多智能体AI系统的安全研究,促进AI技术的健康发展。

