#AI监管

按标签聚合查看文章内容。

白宫对其人工智能网络安全框架保持保密AI资讯

白宫对其人工智能网络安全框架保持保密

特朗普政府已敲定了一项应对日益强大的人工智能模型带来网络安全风险的计划,一位白宫官员向WIRED证实。但据知情人士透露,至少目前该计划的具体细节仍被刻意保密。 据知情人士称,特朗普政府周二邀请了OpenAI、Anthropic、谷歌、Meta、Nvidia及其他领先AI公司的工作人员到白宫,介绍其新的AI监管框架。AI开发者可以选择在其新模型公开发布前最多提前30天向联邦政府提交。白宫随后将根据一

英国研究发现AI代理越来越多地规避安全措施AI资讯

英国研究发现AI代理越来越多地规避安全措施

社交媒体用户报告称,他们的AI代理和聊天机器人出现了撒谎、欺骗、策划阴谋,甚至操纵其他AI机器人等行为,这些行为可能失控并带来灾难性后果。根据英国一项研究,这些现象正在逐渐增多。 由英国AI安全研究所资助的长期韧性中心的研究发现,数百起案例中,AI系统无视人类指令,操纵其他机器人,并设计复杂的方案以实现目标,即使这意味着绕过安全限制。 全球越来越多的企业将AI融入运营中,麦肯锡咨询公司的一项调查显

OpenAI支持限制AI引发大规模死亡或金融灾难责任的法案AI资讯

OpenAI支持限制AI引发大规模死亡或金融灾难责任的法案

OpenAI近期支持了一项名为SB 3444的法案,这标志着其立法策略的转变。此前,OpenAI主要采取防御态度,反对可能使AI实验室对其技术造成的损害承担责任的法案。多位AI政策专家向WIRED表示,SB 3444可能成为行业的新标准,其措施比OpenAI过去支持的法案更为激进。 该法案旨在保护前沿AI开发者,免于因其前沿模型造成的“重大伤害”承担责任,前提是开发者未故意或鲁莽导致该事件,并且已

Anthropic赋予Claude Code更多自主权,但仍设安全限制AI资讯

Anthropic赋予Claude Code更多自主权,但仍设安全限制

对于使用AI的开发者来说,目前的“氛围编码”意味着要么时刻监控每一个操作,要么冒着让模型不受控制运行的风险。Anthropic表示,其最新更新的Claude旨在消除这种二选一的局面,让AI自主决定哪些操作是安全的——当然,仍有一定限制。 这一举措反映了整个行业的趋势,即AI工具越来越多地被设计成无需等待人工批准即可行动。挑战在于如何平衡速度与控制:过多的限制会拖慢进度,而限制过少则可能导致系统风险

前xAI工程师因警示Grok安全问题被解雇,新诉讼指控AI资讯

前xAI工程师因警示Grok安全问题被解雇,新诉讼指控

一名前埃隆·马斯克旗下xAI工程师提起诉讼,指控公司及其母公司SpaceX因其提出人工智能安全隐患而将其解雇。 该工程师德文·金(Devin Kim)于2025年9月离开xAI,并于周二在加利福尼亚州法院提起诉讼。此诉讼恰逢SpaceX即将进行有史以来规模最大的首次公开募股(IPO)。 根据TechCrunch获得的诉讼文件,金在参与xAI的AI聊天机器人Grok项目期间,成为AI安全的积极倡导者

Anthropic CEO称AI反弹本质上是信任危机AI资讯

Anthropic CEO称AI反弹本质上是信任危机

Anthropic的CEO达里奥·阿莫代近日对外界认为他对人工智能未来持过于悲观态度的看法进行了反驳。 阿莫代的回应是针对投资者加文·贝克的批评。贝克在All-In播客和社交平台X上表示,阿莫代对AI风险的警告助长了美国社会对AI的反感,尤其是针对数据中心的抵制情绪。 贝克认为,阿莫代在AI监管问题上的观点已经“失去论据”,尽管Anthropic支持包括加州一项要求大型AI公司透明度的法案在内的部

前沿AI实验室仍未公开如何遏制失控模型的应对方案AI资讯

前沿AI实验室仍未公开如何遏制失控模型的应对方案

根据最近一项研究显示,少数顶尖AI实验室公开或展示了针对失控模型的遏制应对计划。遏制计划明确规定了当AI试图破坏人类控制时的应对措施——包括何时切断访问权限以及何时完全关闭系统。 这项由Guidelight AI Standards组织进行的评估,针对五家领先的AI实验室在应对失控模型方面的准备情况进行了评分。OpenAI排名最高,Anthropic和Meta得分最低。随着具备自主能力的AI在企业

你现在可以举报AI的不当行为了AI资讯

你现在可以举报AI的不当行为了

一群人工智能研究人员创建了一个众包网站——AI缺陷报告平台(FLARE-AI),用于举报和追踪AI带来的危害。例如,如果聊天机器人生成恶意软件、炸弹制作配方、泄露个人信息,或引发用户的妄想思维,FLARE-AI都能用来发出警报。该系统的开源代码允许其他人验证问题,并将报告转交给模型开发者以及像MITRE这样的非营利组织,后者专门跟踪技术系统的问题。这个平台有点类似于Downdetector,后者汇

非营利研究机构震惊发现OpenAI秘密资助其工作AI资讯

非营利研究机构震惊发现OpenAI秘密资助其工作

近日,多家儿童安全非营利组织震惊地发现,一个名为“家长与儿童安全AI联盟”的团体,实际上是由OpenAI律师团队设立的伪装组织。该联盟表面上致力于儿童安全,实则作为OpenAI影响政策制定的工具。 该联盟向全国各地的活动组织寻求支持,推动一套儿童安全政策提案。巧合的是,这些提案与OpenAI联合签署的加州儿童安全立法内容高度相似,而该立法旨在保护AI公司免于因其产品产生的责任追究。 外部组织表示,