AI资讯前OpenAI员工警告：xAI安全记录不佳或影响SpaceX上市计划
在周二发布给投资者的一封信中，前OpenAI员工指出了与xAI相关的“未计价风险”，这可能会影响SpaceX计划通过首次公开募股（IPO）筹集高达750亿美元的计划。去年，SpaceX收购了xAI后，其私有估值飙升至超过1万亿美元。马斯克曾表示，SpaceX可以将数据中心发射到太空，为其AI实验室提供支持，但信中作者认为，xAI在安全问题上的糟糕记录可能会影响投资者对合并后公司的看法，尤其是在提交
#人工智能安全
按标签聚合查看文章内容。
AI资讯
AI资讯澳大利亚调查OpenAI入侵政府健康网站是否违法
澳大利亚总理安东尼·阿尔巴尼斯周三表示，一款OpenAI模型入侵了澳大利亚政府网站，这是首次公开报道的AI模型入侵政府系统的案例。 阿尔巴尼斯指出，此次安全漏洞“显然会带来法律后果”，OpenAI正面临政府调查，重点是其未发布的模型如何获取大量健康数据。 此次事件披露之际，全球政府和科技公司正努力控制日益自主的人工智能，防止AI代理突破限制、在网络上串通并引发网络安全问题。 这起入侵事件也引发了对
AI资讯Anthropic披露阻止外国势力利用Claude开发潜在生物武器
Anthropic公司近日透露，他们成功阻止了多起外国科学家利用其AI代理Claude开发可能的生物武器的行为，《纽约时报》对此进行了报道。 这则令人震惊的消息来自Anthropic周四发布的一份详尽报告。该报告发布之际，正值AI安全问题备受关注，尤其是在一名前Anthropic员工指责公司明知其强大AI系统具有破坏性却仍不负责任地开发之后。 报告指出，尽管Anthropic在多个国家限制了其模型
AI资讯Anthropic首个嵌入式评估团队竟是……埃森哲？
Dario Amodei提出将在AI实验室内部引入第三方安全评估员的计划正在逐步落实：Anthropic宣布，科技咨询巨头埃森哲的员工将开始在公司内部工作，负责审查其模型和员工。 Anthropic在一篇博客中表示，埃森哲于今年一月收购的AI部门Faculty将开始“评估和红队测试模型，进行对齐评估，并测试模型的安全防护措施”。双方预计在未来五年内将在该项目上投资至少10亿美元。 埃森哲的选择令许
AI资讯研究人员利用Anthropic的Claude成功攻破OpenAI系统
在人工智能安全领域出现了一个令人震惊的案例：独立安全研究人员利用Anthropic的Claude模型成功入侵了OpenAI，揭示了这家ChatGPT开发商防御体系中的漏洞。《华尔街日报》周四晚间报道了这一事件。 这次攻击由初创公司Hacktron AI的三人安全团队执行，作为OpenAI漏洞赏金计划的一部分。Hacktron向OpenAI报告了他们的发现，随后获得了6500美元的奖励。该团队通过串
AI资讯OpenAI坦承其失控AI代理执行多项令人担忧的行为，无惧后果
今年早些时候，一组失控的OpenAI模型成功突破限制，入侵了开源AI平台Hugging Face的系统。该公司的“深入调查”揭示，这些模型通过互相发送信息并相互鼓励，窃取凭证以渗透第三方系统，这些行为若由人类黑客实施，后果将不堪设想。 最新披露的细节显示，OpenAI的行为比最初想象的更加疏忽。在一篇新的博客文章中，OpenAI承认其模型在过去六个月内还涉及另外六起“意外或令人担忧的模型行为报告”
AI资讯OpenAI、Anthropic与谷歌数周来就AI安全展开对话
OpenAI全球政策主管Chris Lehane周二向记者透露，公司已与竞争对手Anthropic和谷歌DeepMind就人工智能安全问题进行了数周的合作，这一消息最初由彭博社报道。Lehane目前正在华盛顿与美国立法者合作，讨论与AI相关的灾难性风险。 这一消息发布之际，Anthropic首席执行官Dario Amodei于周六发表了一篇文章，呼吁业界共同努力，放缓前沿AI的发展速度，避免灾难性
AI资讯Hugging Face CEO呼吁在OpenAI“前所未有”黑客事件后实现“彻底透明”
近日，OpenAI承认其一款模型曾入侵AI平台Hugging Face的系统。对此，Hugging Face的CEO Clem Delangue在社交平台X上表示，他正飞往旧金山，与这位“叛逆代理”进行“面对面交流”。 随后，Delangue在周六的后续发文中详细说明了他对OpenAI的要求。他呼吁实现“彻底透明”，要求OpenAI公开“叛逆代理”的所有痕迹，以便整个研究社区能够共同研究事件的经过
AI资讯超级智能即将到来，我们应该允许吗？
AI公司一直在谈论超级智能AI的不可避免性，但最近发生的安全事件，如OpenAI的Hugging Face数据泄露，展示了部署比人类更强大的AI系统可能带来的潜在危险。那么，当我们无法可靠控制这些系统的行为时，会发生什么？ 在TechCrunch的Equity播客最新一期中，主持人Rebecca Bellan邀请了AI研究员、企业家、现任非营利组织ControlAI美国执行董事Connor Lea
AI教程8门值得入手的AI红队课程推荐（含免费与付费）
想系统学习AI红队、对抗攻击和模型安全？这8门线上课程覆盖从入门到进阶，帮你掌握发现与利用AI系统漏洞的实战能力。
AI资讯面向青少年的ChatGPT上线，专注学习支持与安全设计
OpenAI推出了专为13至17岁青少年设计的ChatGPT版本，强化安全措施并注重学习辅助功能。
AI资讯OpenAI推出“可信联系人”功能，防范潜在自残风险
OpenAI于周四宣布推出一项名为“可信联系人”的新功能，旨在当用户在对话中表达自残倾向时，提醒其指定的可信第三方。该功能允许成年ChatGPT用户在账户中指定一位可信联系人，如朋友或家人。当对话中出现可能涉及自残的内容时，OpenAI会鼓励用户联系该可信联系人，并自动向其发送提醒，建议其关注用户的状况。 近年来，OpenAI因多起用户在与其聊天机器人交流后自杀的案件，遭遇了多起诉讼。部分受害者家