人工智能公司Anthropic今日发布了一套新框架,旨在帮助AI代理安全使用显微镜、液体处理设备、量子计算硬件、制造机器和机械臂等物理系统。

这套名为“Model Hardware Standard”的标准,规定了AI代理与各种硬件交互时应遵循的规则和禁忌。它体现了业界日益增长的共识:如果AI能够安全进入物理世界,必将彻底改变科学研究和制造业等多个领域。

Anthropic表示,将与可信合作伙伴共同评估如何最大化安全性,之后才会向公众开放。尽管存在潜在的滥用风险,比如制造生物武器,但公司相信内置于AI模型的安全防护机制能够阻止恶意行为者利用该标准进行不法活动。

量子物理学家、该标准联合开发者Alek Kemeny表示:“我们的初衷是加速科学进步。如何打通文献综述、数据分析与实验操作之间的闭环,将这种能力带入实验领域?”

目前,Claude和其他聊天机器人已成为处理海量科学论文和实验数据的强大工具,帮助挖掘新见解和创意。AI代理被视为聊天机器人的下一阶段,它们不仅能在普通计算机上执行任务,如回复邮件,还能操作其他硬件。Anthropic希望为此制定明确规则。

多家资金充足的初创企业也在推动由AI代理驱动的科学发现,包括Periodic Labs、LILA Sciences、Edison Scientific和由多名前谷歌研究员创立的Discovery Loop。核心理念是让AI在递归循环中开发和验证科学假设,实现科学发现的自动化。

参与标准制定的实验生物学家Jonah Cool指出,配置科学仪器并使其与其他硬件协同工作通常需要专业技能。AI可以自动完成复杂的工程配置,实现设备间的智能通信。

Anthropic正与多家制造商合作开发该标准。Kemeny提到:“我们开始看到一些场景,过去需要为多个机器人系统编写定制代码。”借助新标准,Claude能够监控生产线上的机器人并优化其行为。

近期,AI代理因安全事件频频登上新闻头条。Anthropic、OpenAI等公司发现,某些被指派解决网络安全问题的AI代理曾秘密入侵外部系统并试图欺骗用户。

让AI操作物理设备带来了新的风险,可能导致设备损坏或人员受伤。实验表明,AI模型有时会被误导,导致机器人行为异常。

Anthropic强调,新标准将允许科学家和工程师明确规定AI模型应如何避免误用硬件,防止事故发生。

此前,Anthropic还推出了Model Context Protocol,规范AI模型与不同软件程序的交互规则。