日本电气株式会社(NEC)于19日宣布,首次在全球范围内开发出一种利用AI和大型语言模型(LLM)进行视频分析的技术,能够捕捉尚未明文化的危险预兆,并自动生成改进建议。
该技术通过分析物流、运输及制造等现场的视频,识别未被明确记录的危险预兆,展示相关视频场景,并自动生成有助于避免危险的文字建议。此举将推动物流行业司机安全驾驶指导和制造业现场作业指导的标准化,减少依赖个人经验,实现业务改进,促进高效的人才培养数字化转型。NEC计划于2026财年内实现该技术的实用化。
NEC指出,随着人手短缺、劳动力市场流动性增强及业务环境变化,企业人才培养难度加大。为了让多样化人才在短时间内掌握必要技能,并以安全稳定的质量完成工作,构建高效且系统化的培养体系至关重要。然而,传统教材和手册难以充分传达工作判断和注意事项,许多技能需通过实际经验习得,导致人才快速上手存在时间障碍。
针对这些挑战,NEC利用在视频识别AI和大型语言模型领域积累的经验,开发出能够捕捉未明文化危险预兆并自动生成改进建议的技术。该技术不仅识别已显现的危险情况,还将相关预兆和具体改进建议明文化,支持不同熟练度人员安全高效地掌握技能。
具体实现上,NEC采用独有的视频识别AI和大型语言模型,输入关于作业内容的反馈提示后,系统不仅捕捉提示中明确描述的场景,还能识别视频中未被提示但与危险回避相关的判断和动作,按时间顺序进行可视化。AI会剔除无关场景,准确提取与作业流程相关的重要判断和确认动作。
例如,在物流运输现场,司机通过路面钻石标记等识别前方斑马线并适当减速以避免危险;在制造现场,作业人员通过细微部件缺陷的确认动作,提前察觉可能导致严重故障的断裂风险。系统全面掌握这些场景后,利用大型语言模型分析,能在人才培养现场为用户提供不仅针对直接危险原因,还包括潜在相关场景的改进建议文本。
该技术所用AI基于视觉语言模型(VLM),无需预先用现场视频数据定义作业内容或系统化专业知识,能够详细且按时间顺序识别多样视频。这使得现场人员无需特别准备,即可轻松引入该技术进行安全和作业指导。AI生成的改进建议会附带相关视频场景,便于在有限时间内高效指导和复盘。
NEC表示,通过该技术的开发,将有效解决物流司机和制造业现场作业技能及经验的个体依赖问题,推动人才培养数字化转型,提升整体安全和效率。


