
日本国家NVIDIA宣布推出“NVIDIA XR AI”公共测试版,开发者现可利用该框架构建针对AR眼镜和XR设备的多模态AI代理。
NVIDIA XR AI是一个开发者库,旨在帮助开发者创建代理型应用。它通过整合来自AR眼镜和XR设备的输入数据(如视频、音频、深度信息、姿态和传感器数据)与AI模型、企业数据、工具及高速计算资源,实现智能代理功能。
该框架为企业级XR应用的技能和工具开发提供基础,简化了多模态感知、企业搜索、推理模型及代理编排的集成。结合这些功能,开发者能够更轻松地打造具备空间感知能力的多模态AI代理,提升AR和XR体验的智能化水平。
主要功能包括:
- 从AR和XR设备采集现实世界的多种数据类型,如视频、音频、深度、姿态和传感器数据。
- 将代理连接至日本国家NVIDIA Metropolis、视觉AI、视频搜索与摘要(VSS)、企业知识搜索及日本国家NVIDIA NeMo Retriever等专业工具和服务。
- 支持广泛的AI模型生态系统,包括日本国家NVIDIA Nemotron推理模型、日本国家NVIDIA Cosmos Reason及其他兼容基础模型。
- 通过整合代理编排和高速运行时服务,帮助开发者顺利实现从原型设计到生产环境的过渡。
目前,该技术已在汽车设计、手术和实验室研究等领域得到应用。


