NVIDIA DGX Spark

日本国家ABC公司于11月13日宣布,正式启动一项基于NVIDIA DGX Spark的大规模语言模型(LLM)基准测试及运行验证委托服务。该服务起价为每次20万日元,具体费用根据验证项目和配置等工作量进行个别报价。

该服务由ABC公司提供用于验证的DGX Spark设备(或同等OEM设备),用户可在接近实际使用环境的条件下获取测试结果,进而评估所采用的模型及所需设备数量。验证工作由ABC根据用户指定的条件执行,测试结果将在约5个工作日内整理成报告提交。

每次委托最多可验证两种不同的LLM模型。例如,通过输入相同的指令文本,测量模型开始响应的时间及每秒生成的Token数量,从而比较候选模型的响应速度。

此外,DGX Spark支持从1台到最多8台设备的配置。除了单台设备的运行确认外,还可验证多台设备以环形连接方式或通过支持200GbE的交换机连接的配置。用户可通过相同模型,观察设备数量及连接方式对处理时间的影响。