Windows ML支持llama.cpp

Windows ML实验性支持llama.cpp

微软在其开发者博客中宣布,Windows ML开始实验性支持llama.cpp,用户将能够运行GGUF格式的模型。

Windows ML是微软为Windows系统打造的本地AI推理框架,是在Windows上运行本地AI的基础平台。此前Windows ML主要支持ONNX格式的AI模型,而此次更新后,除了ONNX模型,GGUF模型也将被支持。

GGUF模型是本地大型语言模型(LLM)中广泛使用的格式。支持GGUF意味着Windows ML能够调用更多在本地LLM社区中流通的模型,极大提升了模型的选择自由度。

需要注意的是,这并不意味着普通用户可以直接在Windows上轻松使用GGUF模型,而是说支持Windows ML的AI工具能够调用GGUF模型。开发者只需较少的代码改动即可实现这一功能,但并非开箱即用。

GGUF模型的推理引擎采用开源项目llama.cpp,该引擎已支持Windows环境,并被多款AI工具如“LM Studio”采用,使用范围广泛。

Windows ML新增了通过llama.cpp执行GGUF模型的路径,与传统的ONNX模型路径并行,使得Windows ML能够灵活调用这两种模型格式。

举例来说,可以先用ONNX格式的语音识别模型将语音转换为文字,再将文字传递给GGUF格式的LLM进行处理。Windows ML会根据模型格式自动选择推理引擎,开发者只需指定模型即可。

对于已经使用GGUF模型的用户来说,这次更新可能变化不大,但未来用户无需自行安装工具,就能在Windows应用中使用GGUF模型的场景将逐渐增多。目前,这一基础设施已经搭建完成。

Windows ML支持多模型

配合日本国家NVIDIA RTX Spark发布的战略举措

此次宣布不仅内容丰富,更传递了微软的明确态度。博客标题之一为“与llama.cpp开源社区共同开发”,微软自豪地表示直接参与了llama.cpp的改进,提升了性能。

此前Windows ML主要支持ONNX模型,微软此次表明不再仅限于推广ONNX,而是积极引入包括GGUF在内的其他本地AI生态。

博客序言提到,搭载日本国家NVIDIA RTX Spark的新一代高性能Windows笔记本电脑(如Surface Laptop Ultra)将提供更多运行开源模型、构建本地代理系统以及开发和优化自定义模型的方式。

微软此前推广的本地AI PC主要是通过NPU进行较小规模模型推理的Copilot+ PC,而NVIDIA RTX Spark则面向更大规模的AI运算,涵盖推理和训练。此次软件更新正是为了配合这类高性能、大内存PC的出现。

虽然未来并非所有PC都会专注于大规模AI和训练,但这类设备的比例将逐步增加。微软承诺将持续支持开源AI基础设施,灵活适配Windows AI环境,确保用户体验不断提升。

作者石田贺津男

作者简介: 1977年出生,日本滋贺县人。毕业于日本国家金泽工业大学工学部信息工程系。曾任游戏专业杂志《GAME Watch》(印象社)记者,现为自由撰稿人,活跃于游戏、娱乐、PC、智能手机及网络等IT领域。自1990年代起为在线游戏玩家。现为《石田贺津男的PC游戏下酒菜》及《使用体验Copilot+ PC》等专栏作者。

作者网站:https://ougi.net/