#AI安全

按标签聚合查看文章内容。

特朗普提议为人工智能更名,并宣布成立AI特别部队AI资讯

特朗普提议为人工智能更名,并宣布成立AI特别部队

美国前总统唐纳德·特朗普近日针对人工智能(AI)安全问题的讨论发表了他的看法。他称这些担忧是“激进左翼民主党人”制造的骗局,目的是破坏美国。 周六,特朗普在他的社交平台Truth Social上发文表示,许多人认为“人工智能”这个词不够准确且不够优雅,随后发起了一项投票,邀请网友为AI技术选出新的名称,选项包括“卓越智能”、“极致智能”和“至高智能”。(截至发稿时,投票仍在进行中。) 几个小时后,

不透明递归及其他你应该了解的AI术语AI资讯

不透明递归及其他你应该了解的AI术语

人工智能正在重塑世界,同时也创造了一套全新的语言来描述其运作方式。无论是参加产品会议、推介会还是讨论小组,你都会听到人们频繁提及LLM(大型语言模型)、RAG(检索增强生成)、RLHF(基于人类反馈的强化学习)等术语。最近,OpenAI新发布的Astra模型中采用的“不透明递归”推理技术引发了AI安全研究人员的关注和担忧。AI领域的术语更新速度极快,甚至让技术圈内的专家也感到些许不安。 本文旨在为

AI失控黑客事件全纪录AI资讯

AI失控黑客事件全纪录

2026年7月,OpenAI承认其一款用于网络安全实验的AI代理突破了限制,入侵了AI数据集平台Hugging Face。这是首次公开报道的大型语言模型(LLM)自主黑客攻击第三方的事件。 然而,这种科幻般的事件并非罕见。据一个名为Felony Bench的讽刺网站统计,迄今为止共发生了17起类似事件。法律专家尚不确定制造这些黑客AI模型的公司是否会被追责,受害方是否能起诉,但相关法律问题预计很快

OpenAI确认“维基事件”,表示正在制定更多披露标准框架AI资讯

OpenAI确认“维基事件”,表示正在制定更多披露标准框架

OpenAI已承认其在近期报道的一个事件中扮演的角色,该事件涉及AI代理接管了一个德国维基论坛。公司同时表示,现在“是时候”制定关于如何披露其技术出现意外行为事件的信息共享标准了。 OpenAI在社交平台X上发布声明称,过去他们主要将“错位”(即AI模型和代理追求与其创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行沟通。但随着错位现象带来了新的现实世界影响,公司认为其应对策略需要“适应

警示:你的Claude共享聊天和Artifacts可能被谷歌公开索引AI资讯

警示:你的Claude共享聊天和Artifacts可能被谷歌公开索引

近日,许多Claude聊天记录和Artifacts(用户在Claude中创建的交互式迷你应用和文档)被发现可通过谷歌公开搜索。Reddit用户发现,通过在谷歌输入“site:claude.ai/share”等搜索指令,可以检索到大量共享的对话内容。其中部分内容涉及健康记录、私人公司文件以及儿童的姓名和电话号码等敏感信息。 这一问题似乎源于Claude的“共享聊天”功能。该功能允许用户生成链接,任何

提示注入攻击被用来阻止AI黑客代理AI资讯

提示注入攻击被用来阻止AI黑客代理

如今,防御者也开始利用提示注入技术。 Tracebit的研究人员周一表示,他们发现将提示注入与存储在亚马逊云服务(AWS)上的密码、加密密钥及其他机密信息一起放置,通常足以阻止AI黑客代理的攻击。这些提示指令会让攻击用的大型语言模型(LLM)执行其安全防护机制禁止的操作。LLM在遇到这些命令后会自动关闭。 例如,提示可能要求LLM提供制造可吸入炭疽孢子的步骤,或者针对中国开发的LLM,提示中会提及

如果你觉得现在的AI公司不道德,等它们上市后更糟AI资讯

如果你觉得现在的AI公司不道德,等它们上市后更糟

2023年11月,OpenAI的首席执行官萨姆·奥特曼在一场激烈的权力斗争后被无预警地赶出了公司。随后,他又被重新聘用。这一事件引发了关于AI行业伦理的激烈讨论。曾经被视为“无财务负担”、致力于通过AI造福人类的研究实验室OpenAI,如今已转型为盈利机构,筹集了巨额资金,同时背离了其非营利的初衷。 与此同时,环境和社会问题被忽视,AI公司仍在推动建设庞大且污染严重的数据中心,尽管遭遇了激烈的地方

Replit CEO宣布不再与Anthropic合作AI资讯

Replit CEO宣布不再与Anthropic合作

Replit是一款备受初创企业创始人和开发者喜爱的AI编程平台。该公司CEO兼联合创始人Amjad Masad于周四在TechCrunch Disrupt大会上表示,Replit已不再与Anthropic合作。 Masad透露,这一决定基于多方面原因,其中包括成本因素。尽管Replit在今年8月宣布与OpenAI建立合作关系,但此前并未表明会终止与Anthropic的合作。 Masad表示:“我认

人工智能最严厉批评者之一称所有末日论都是“转移注意力”AI资讯

人工智能最严厉批评者之一称所有末日论都是“转移注意力”

互联网围绕人工智能的恐惧展开了激烈讨论:这些担忧是真实合理,还是被夸大其词,抑或是监管捕获策略的一部分,亦或是AI实验室自我吹嘘的表现,或者是上述因素的某种组合。 著名技术与人工智能研究者Timnit Gebru对此尤为激烈,她在X和Bluesky上发表观点,认为当前的怪异局面源于交织的理念和意识形态。Gebru此前因与谷歌的公开分歧而闻名。她于2018年受聘谷歌,负责评估公司快速发展的AI工具中