NTT超高精细映像AI推論LSI

日本NTT公司开发了一种基于自研“超高精细影像AI推理LSI”的技术,能够实时高精度解析4K视频,显著提升远距离小目标的检测能力,检测距离较传统技术提升三倍以上,并支持对检测目标的状态进行判断。这项视频监控技术适用于道路监控、机场监控等多种基础设施领域。相关成果将于2026年11月18日至25日的“NTT R&D FORUM 2026”展出。

该技术通过从4K视频中捕捉远距离小目标的高精细图像,并结合目标的位置信息、速度及移动方向等“动态信息”,输入视觉语言模型(VLM)进行分析。仅在检测到必要事件时才调用VLM进行深入解析,有效减少了VLM的输入次数和通信负载。使用1分钟4K事故视频进行评估时,传统将整个4K视频输入VLM的方式无法准确判断事故,而该系统成功实现了事故判断,并将VLM输入次数减少约98.1%。

预计2026财年内,日本NTT创新设备公司将推出搭载该“超高精细影像AI推理LSI”的工程样品产品。

技术亮点

4K高精细实时解析,扩大远距离监控范围

该LSI芯片无需缩小4K视频,能够以每秒30帧的速度实时检测物体,精准捕捉远距离小目标。相比传统将4K视频缩小至普通物体检测模型输入分辨率的方法,能更好保留远距离小目标特征,检测距离提升三倍以上。同时,系统基于检测结果追踪目标,估算其位置、速度及移动方向等动态信息。

利用高精细切割图像与动态信息辅助VLM判断

当检测到目标类别及动态信息表明需要详细确认时,系统会从原始4K视频中切割出保持4K分辨率的高精细图像,并将该图像与目标及周边物体的动态信息一并输入VLM。VLM通过分析切割图像的细节及动态信息中体现的时间变化,完成更准确的状况判断。

事件驱动处理,仅在必要时调用VLM解析

在正常监控状态下,功耗低于20瓦的超高精细影像AI推理LSI持续解析4K视频,只有检测到需要VLM详细判断的事件时才启动VLM解析。此事件驱动方式相比持续输入视频至VLM,极大减少了输入次数。

此外,输入VLM的信息仅限于高精细切割图像和动态信息,进一步降低了处理负担和通信流量,预计还能减少令牌消耗及整体系统能耗。

系统示意图

实验结果

使用包含事故瞬间的1分钟(1800帧)4K视频验证了该技术的PoC系统。视频中一辆黄色车辆在远处撞击上下线间结构物后横穿车道停下。

当将整个4K视频输入VLM时,由于图像缩小,黄色车辆细节丢失,无法判断事故。但利用该系统的独立LSI前处理,成功检测到停止的黄色车辆,并从原始4K视频中切割出320×320像素的高精细图像及包含周边车辆的动态信息输入VLM,准确判断出事故。

此外,在事故前后动态变化较大的1分钟视频中,VLM输入次数仅为34次,相较于连续输入1800帧,减少约98.1%。通过聚焦目标周边区域输入图像,也大幅降低了数据量。

事故判断示意