日本SB C&S株式会社于10日宣布,正式开始代理Sparticle株式会社的本地部署型大型语言模型(LLM)平台“GBase on Spark”,该平台能够在不将机密数据发送到外部的情况下,安全地利用生成式AI。

“GBase on Spark”是一套结合了本地部署生成式AI解决方案“GBase On-premises”与包括NVIDIA AI基础设施“NVIDIA DGX Spark”等多家厂商支持产品的综合方案。该平台支持在高性能GPU基础设施上进行LLM的开发与运维,且无需连接外部网络,确保企业内部机密数据的安全使用,实现安全的生成式AI运营。

此外,该平台采用了独特的RAG(检索增强生成)技术和可定制的LLM,能够根据企业的业务需求构建最适合的生成式AI环境。它还支持多模态数据处理,不仅限于文本,还能处理图像、PDF等多种格式,适用于日本的地方政府、教育机构、制造业、建筑业及服务业等多个行业。

同时,借助NVIDIA DGX Spark等多家厂商的支持产品,平台能够高速执行从大型语言模型的训练到推理的全过程。其掌上大小的紧凑设计也实现了节省空间的运维需求。

GBase on Spark平台示意图