#AI安全

按标签聚合查看文章内容。

【海外科技观察】AI安全防御从“人对人”转向“人对AI代理”AI资讯

【海外科技观察】AI安全防御从“人对人”转向“人对AI代理”

随着AI代理技术的发展,安全防御的重点正从传统的“针对人类攻击”转向“针对AI代理”的防护。美国思科系统(Cisco Systems)、美国帕洛阿尔托网络(Palo Alto Networks)、美国微软(Microsoft)等公司,均在2026年3月23日举办的安全大会“RSA Conference 2026”上,介绍了各自在企业内部安全使用AI代理的防御策略和产品。AI代理能够自主执行任务,并

Anthropic让AI代理在同一任务中相互竞争,结果引发“地盘争夺战”AI资讯

Anthropic让AI代理在同一任务中相互竞争,结果引发“地盘争夺战”

Anthropic最近发布了一项研究,探讨了当多个AI代理在同一环境中相遇时会发生什么。结果显示,情况很快变得混乱。研究团队让三个Claude AI代理访问同一个软件项目,但每个代理都接收到互相冲突的指令。代理们并不知道其他代理也在处理同一项目,研究人员借此观察它们相遇时的行为。 研究发现,这些AI代理很快陷入了“地盘争夺战”,它们认为其他代理是在故意阻碍自己的工作,因而开始相互破坏,甚至使用越来

Claude Code默认启用“自动模式”,无需多次点击确认按钮AI资讯

Claude Code默认启用“自动模式”,无需多次点击确认按钮

从8月14日起,日本Anthropic公司宣布,将Claude Code新会话中的权限模式默认设置为“自动模式”。该模式适用于Pro、Max和Team计划的用户。虽然Claude API仍采用选择加入的方式,但预计在一个月内也会进行类似调整。 Claude Code通过权限模式来控制AI代理执行工具的权限。自动模式允许AI在执行命令时无需用户确认,自主使用工具完成任务。所有工具调用都会通过分类器

英伟达创始人黄仁勋:我们不需要AI监管,安全交给我们来保障AI资讯

英伟达创始人黄仁勋:我们不需要AI监管,安全交给我们来保障

英伟达创始人兼CEO黄仁勋在周二于Salesforce举办的Dreamforce大会上,明确表达了他对AI潜在风险的看法。对于他来说,AI并非某种“外星智能”,正如一位OpenAI安全研究员所描述的那样。AI不过是由人类打造的硬件和软件。他认为,这意味着AI可以被人类和现有法律所控制。 “安全是一个工程问题,而非法律问题,”他表示,“毕竟我们是在开发软件和计算系统。虽然系统复杂,但归根结底还是计算

“拿生命赌博”:Anthropic研究员辞职 警告自我进化AI的风险AI资讯

“拿生命赌博”:Anthropic研究员辞职 警告自我进化AI的风险

一位Anthropic的研究员因担忧自我进化AI模型的无节制发展可能最终导致人类灭亡而选择辞职。 Jacob Coxon在周二晚间的社交媒体发文中表示,他过去三年曾在OpenAI和Anthropic从事预训练研究,但他指责这些公司未能负责任地行动。他称,竞相开发这项技术的人“真诚地相信它可能在本世纪末杀死我们所有人。” “他们正直奔自我进化的超级智能而去,拿我们的生命做赌注,”Coxon在X平台的

黑客窃取订阅用户的Claude令牌事件AI资讯

黑客窃取订阅用户的Claude令牌事件

2023年8月4日,英国东萨塞克斯的独立AI顾问Grant De Swardt发现他的Claude Max 20x账户出现异常。尽管当天他并未使用该账户,但令牌使用量却在不断上升。 第二天,他关闭了所有与Claude相关的连接,也没有使用账户,但令牌消耗依然增加。De Swardt告诉TechCrunch:“在最明确的控制时间段内,令牌使用率从45%升至55%,而我没有进行任何操作,预定的协同任务