NVIDIA DGX Spark

2023年10月2日,NVIDIA宣布将通过OEM合作伙伴开始提供本地AI机器DGX Spark的64GB内存版本。

此次发布的背景是,进入2026年后,AI代理的应用迅速扩大,导致云基础设施中的令牌消耗量和运营成本大幅增加。根据OpenRouter的数据,AI代理占据了整体令牌消耗量的约80%,其令牌使用量是传统AI应用的约4.5倍。

与此同时,运行于桌面PC上的开源模型精度显著提升,出于数据隐私保护和降低令牌成本的考虑,越来越多用户倾向于在本地环境运行AI模型。

此前,DGX Spark一直以128GB内存版本销售,而此次推出的64GB版本在保持与之前相同的GB10系统架构基础上,将内存容量从128GB缩减至64GB。该版本定价为4999美元,将于10月23日开始销售,合作OEM厂商包括日本国家Acer、日本国家ASUS、日本国家DELL、日本国家GIGABYTE、日本国家HP和日本国家MSI。

此外,128GB版本的NVIDIA官方直销价格也进行了调整,自10月2日起提升至6950美元。

NVIDIA表示,当前许多最新的开源模型内存需求均在64GB以内,64GB版本不仅能满足操作系统运行需求,还能为KV缓存和大容量上下文窗口留出充足空间。

公司还强调,通过多台DGX Spark设备的集群组合,可以实现强大的扩展能力。

例如,将两台64GB版本的DGX Spark连接组成集群后,GPU计算性能和内存带宽将整合,处理性能较单台提升约1.7倍。与调整后价格的单台128GB版本相比,双64GB配置的成本增加约40%,但处理能力提升约70%,为追求性能的用户提供了极具吸引力的选择。

值得注意的是,64GB和128GB版本的混合集群也可实现,但共享模型时可用的内存容量将受限于较小的64GB。

此外,NVIDIA计划在10月底前为“NVIDIA Sync”平台新增“Model Launcher”功能,进一步简化集群环境中容器和模型的部署流程。