AI资讯使用两台NVIDIA DGX Spark实现LLM推理速度提升1.8倍,llama.cpp支持NCCL通信
NVIDIA的AI迷你计算机「DGX Spark」通过连接两台设备,LLM(大型语言模型)的推理速度可达到单台设备的约1.8倍。美国时间11月4日,ggml-org发布了本地LLM推理引擎「llama.cpp v0.9.0」。该版本更新了内部使用的张量运算库「ggml」至v0.29.0,新增了在多台机器间进行张量并行推理时,支持使用NVIDIA通信库「NCCL」进行通信的功能。 llama.cp