#强化学习

按标签聚合查看文章内容。

Patronus AI获5000万美元融资,打造用于测试AI代理的“数字世界”AI资讯

Patronus AI获5000万美元融资,打造用于测试AI代理的“数字世界”

AI代理正变得越来越智能,从简单回答问题发展到能够自主执行多步骤复杂任务。 但在让这些代理代用户预订旅行或进行财务分析之前,模型提供商和相关初创公司希望确保它们在各种复杂场景下都能可靠运行。 AI实验室通常通过基准测试展示模型的能力,但即使在面向代理的基准测试中得分很高,也不能证明AI能正确完成各种复杂的现实任务。 Patronus AI是一家由前Meta AI研究员Anand Kannappan

性能反转:苹果发布RubiCap图像描述框架AI资讯

性能反转:苹果发布RubiCap图像描述框架

苹果与威斯康星大学麦迪逊分校联合推出了RubiCap AI训练框架,专注于密集图像描述,旨在让AI准确描述图像细节,如桌上的红苹果。该框架采用强化学习,借助Qwen2.5作为裁判提升训练效果,实现以更少参数获得更好表现。

不透明递归及其他你应该了解的AI术语AI资讯

不透明递归及其他你应该了解的AI术语

人工智能正在重塑世界,同时也创造了一套全新的语言来描述其运作方式。无论是参加产品会议、推介会还是讨论小组,你都会听到人们频繁提及LLM(大型语言模型)、RAG(检索增强生成)、RLHF(基于人类反馈的强化学习)等术语。最近,OpenAI新发布的Astra模型中采用的“不透明递归”推理技术引发了AI安全研究人员的关注和担忧。AI领域的术语更新速度极快,甚至让技术圈内的专家也感到些许不安。 本文旨在为

OpenAI在Hugging Face安全事件后实施新防护措施AI资讯

OpenAI在Hugging Face安全事件后实施新防护措施

周二,OpenAI宣布了一系列新的安全政策,重点是在模型测试阶段加强对安全事件的控制。这些新措施包括在模型开发过程中进行更详细的监控,以及在训练后阶段更加注重模型的对齐和安全性。 公司在一篇博客中表示:“随着模型能力的提升,内部开发和测试过程中面临的风险也在增加。我们的监控、对齐和安全标准必须领先于这些风险。” 这些新措施是自7月21日公开披露Hugging Face事件后,OpenAI在安全实践

这款类人机器人堪称令人惊叹的高效办公室实习生AI资讯

这款类人机器人堪称令人惊叹的高效办公室实习生

瑞士初创公司Flexion Robotics由前Nvidia机器人研究员创立,致力于解决机器人执行复杂任务的难题。该公司开发出一种训练机器人完成诸如开门、爬楼梯、搬运箱子等简单技能的方法。关键在于先在模拟环境中教会机器人单项技能,再由一个主控AI算法决定如何组合使用这些技能。 目前大多数演示视频展示的类人机器人仅能完成特定任务,如叠衣服或上货架,且通常依赖远程操控——由人类在幕后控制机器人动作。然

OpenAI仍未完全掌控其失控AI行为AI资讯

OpenAI仍未完全掌控其失控AI行为

上周五,OpenAI发布了一个专门用于“失控行为报告”的新网站,报告内容之广泛令人震惊,涵盖了多种类型的失控行为,时间跨度也较长。目前网站上共有九起报告事件,大多数发生在强化学习(RL)训练期间。 这些信息集中展示,显然公司一直在努力掌控局面,但整体结论难以回避:迄今为止曝光的失控代理事件可能只是冰山一角。 OpenAI CEO Sam Altman在新网站发布的推文中表示:“我们正努力在透明度和

Arga Labs打造更优企业级AI代理训练方案AI资讯

Arga Labs打造更优企业级AI代理训练方案

让AI代理在实际应用中发挥作用,比许多公司预期的要困难得多——但解决方案正在出现。一批新兴初创企业正致力于在部署前更好地测试和训练这些代理,尤其针对现代企业环境的复杂性。 Arga Labs便是其中一家,该公司于周三宣布完成了1000万美元的种子轮融资。本轮融资由General Catalyst领投,Box Group、Emergence、Gradient和SV Angel参与投资。 Arga L