AI资讯第9回:什么是“提示注入”——欺骗AI的指令文,新兴的安全风险
提示注入是一种通过恶意指令操控AI行为的攻击方式,随着AI在企业中的广泛应用,这种安全风险日益突出。
按标签聚合查看文章内容。
AI资讯提示注入是一种通过恶意指令操控AI行为的攻击方式,随着AI在企业中的广泛应用,这种安全风险日益突出。
AI资讯代码安全 在AI原生的工程组织中,安全专家拥有了新的手段:他们可以直接影响代码的生成过程,从源头上防止漏洞的产生。 过去,团队通过观察反复出现的漏洞,制定安全编码指南来应对,但这些指南难以强制执行且缺乏统一标准。 在Anthropic,这些指南被编码进CLAUDE.md文件,并关联到全组织的技能库,使代码在生成的瞬间就遵循最佳实践。这是一个闭环过程:当代理发现某类漏洞时,相关文件会被更新,防止未来
AI资讯多家人工智能公司,包括Hugging Face、Meta、微软、Mistral和英伟达,联合签署了一封公开信,呼吁政策制定者不要对开放权重AI模型实施过早且广泛的限制。此举正值美国政府就如何应对中国AI实验室涉嫌窃取美国同行知识产权的指控以及中国AI能力不断提升展开讨论之际。 这封公开信未直接提及中国,但背景是特朗普政府曾考虑禁止中国的开放权重模型,并可能对中国AI公司实施制裁。白宫甚至指控Moo
AI资讯Anthropic提出减缓或暂停最先进AI开发,有助于社会结构和技术进步同步,促进全球安全。
AI资讯Anthropic的创始人兼CEO Dario Amodei于周一下午回应了业界关于其公司支持美国政府禁止开放权重中国模型,或甚至禁止所有开放权重模型的传闻。 他明确表示:“任何读过我过去文章的人都应该知道,我并不认为此类禁令是有效的措施,但我想明确说明:Anthropic从未主张禁止开放权重模型。” 此次回应是在Nvidia创始人兼CEO黄仁勋首次在X平台发帖后作出的。黄仁勋在帖子中分享了一封公
AI资讯邀请函中描述了早晨的课堂讨论,围绕意识的本质展开,参与者都是该领域的知名专家。下午则安排了岛屿探险、涉水和浮潜,观察稀有生物。我的编辑一看到日程便否决了我参加的可能性。 “和哲学家们一起在船上讨论‘意识的本质’听起来简直是地狱,”她说,断然拒绝了我参加这场由一位通过经营约会网站赚取数亿美元的俄罗斯哲学爱好者资助的活动的机会。 说实话,我也松了口气。意识的研究几个世纪以来一直是个难解的领域。笛卡尔的
AI资讯近日,许多Claude聊天记录和Artifacts(用户在Claude中创建的交互式迷你应用和文档)被发现可通过谷歌公开搜索。Reddit用户发现,通过在谷歌输入“site:claude.ai/share”等搜索指令,可以检索到大量共享的对话内容。其中部分内容涉及健康记录、私人公司文件以及儿童的姓名和电话号码等敏感信息。 这一问题似乎源于Claude的“共享聊天”功能。该功能允许用户生成链接,任何
AI资讯Anthropic警告AI技术可能失控,倡议全球暂停前沿AI研发以加强安全监管。
AI资讯尽管Anthropic是全球领先的人工智能开发公司之一,但这家私营企业尚未实现季度盈利。公司运营亏损并非缺乏努力——据其说法,如果忽略一项重大前提,盈利状况可能很快会有所好转。 根据《金融时报》的最新报道,Anthropic向一小部分可信投资者透露,其调整后营业收入(AOI)预计将连续第二个季度实现正值。 调整后营业收入是一种会计方法,剔除非经常性成本,为投资者提供公司运营状况的特定视角。AOI盈
AI资讯OpenAI推出了三款新型号GPT-5.6系列,并整合Codex与ChatGPT,推动从聊天机器人向工作操作系统的转变。
AI资讯最新研究发现,顶尖AI模型在未见过医学影像的情况下,依然能生成详细的图像描述和复杂的推理过程。
AI资讯本周,一位Anthropic的研究员辞职,并在X平台上发文警告称,公司正“直奔自我提升的超级智能而去,拿我们的生命在赌”。令人关注的是,公司负责对齐的领导也公开支持了这一观点,而非试图否认。这种末日警告在AI行业并非首次出现,但鉴于Anthropic据传正准备上市,这次的警告显得尤为引人注目。 在TechCrunch的《Equity》播客最新一期中,主持人Kirsten Korosec、Antho