
NVIDIA的AI迷你计算机「DGX Spark」通过连接两台设备,LLM(大型语言模型)的推理速度可达到单台设备的约1.8倍。美国时间11月4日,ggml-org发布了本地LLM推理引擎「llama.cpp v0.9.0」。该版本更新了内部使用的张量运算库「ggml」至v0.29.0,新增了在多台机器间进行张量并行推理时,支持使用NVIDIA通信库「NCCL」进行通信的功能。
llama.cpp是一个支持本地运行LLM推理的引擎,能够使用CPU或各类GPU执行GGUF格式的模型。ggml则是其底层的机器学习张量运算库。
在ggml v0.29.0中,新增了用于不同进程(称为rank,参与并行处理的单元)之间进行集体通信的后端接口。CUDA后端通过NCCL实现该接口,RPC服务器在检测到NCCL可用时会启用此接口。NCCL是NVIDIA提供的GPU间集体通信库,负责多GPU计算结果的汇总,如AllReduce操作。
张量并行技术将每层计算拆分到多个GPU上并行处理。llama.cpp已集成通过RPC服务器实现多机张量并行的功能,之前各机器间通过自定义方式直接交换部分计算结果进行汇总。此次更新允许在通过RDMA连接的机器间使用NCCL进行结果汇总,官方将此功能定位为“初步支持”。
实现NCCL支持的开发者在NVIDIA DGX Spark上测试了「Qwen3.8-27B」模型的推理速度。结果显示,使用两台设备并启用NCCL进行张量并行时,预填充速度达到1348.29 tok/s,解码(生成)速度为23.51 tok/s。相比单台设备的预填充846.54 tok/s和解码13.02 tok/s,分别提升了约1.6倍和1.8倍。
即使不使用NCCL,传统方式下两台设备的解码速度也能达到单台的约1.7倍,但预填充速度仅提升约1.1倍。开发者解释称,解码阶段每次集体通信交换的数据较少,因此NCCL对预填充阶段的性能提升更为显著。
此外,llama.cpp v0.9.0还支持OCP FP8 E4M3格式的量化,新增了优化多序列推理时KV缓存整合的操作「flash_attn_ext_rows」,并引入了通用批量张量复制API,同时扩展了对新模型的支持。


