生成式AI基础设施

日本理光与日本东北电力于11月16日宣布,双方在东北电力的GPU云服务平台上构建了基于理光AI技术的环境,开始针对日本东北及新潟地区的自治体和企业进行实际运营前的验证测试。

近年来,随着生成式AI和AI代理技术的普及,对高性能GPU的需求显著增加。然而,企业若自行引进和运营GPU,不仅需要解决GPU资源的获取,还需完善电力供应、冷却设备、通信环境及运营体系等多方面的挑战。日本东北电力自2025年2月起推出了“GPU云服务”,通过云端提供高性能GPU计算能力,已被多所大学采用。理光则专注于大型语言模型(LLM)、生成式AI应用开发平台及AI代理技术,支持企业AI的引入与落地。

本次验证中,东北电力负责提供GPU计算资源,理光则利用其LLM技术、生成式AI应用开发平台及AI代理技术搭建并测试环境。目标是验证自治体和企业无需自建GPU环境即可使用生成式AI和AI代理服务的可行性。具体内容包括GPU云上生成式AI和AI代理的运行性能,基于开放权重模型的AI推理环境有效性,自治体和企业业务的适用性,以及安全性和运营性,评估其作为试验及商业服务的可行性。

双方表示,未来将基于验证结果和用户需求,考虑在东北及新潟地区的自治体和企业中推广试用,并推动商业服务的具体化。