Magnitude AI发布了面向AI代理的开源大型语言模型（LLM）推理引擎“Magnitude”。该引擎采用Apache-2.0许可证，完全免费使用，无需支付任何令牌费用。
Magnitude的核心优势在于其能够根据运行设备的硬件环境，自动在本地编译和调优内核。与llama.cpp、Ollama、LM Studio等常见推理引擎采用的通用预编译内核不同，Magnitude直接针对终端芯片进行内核优化。此外，它还内置了针对流行开源权重模型家族的手动优化内核。
在推理性能方面，Magnitude相比llama.cpp最高可实现2倍的处理速度提升。在Apple Metal环境下，解码速度提升了92%，在NVIDIA CUDA环境下也提升了19%。内存管理方面同样高效，单个代理的内存消耗降低了27%，代理停止时能立即释放内存。通过在会话间共享前缀缓存，避免了多代理并行运行时的性能下降。
隐私保护方面，所有提示词、传输文件及模型数据均保存在本地设备，完全不向外部服务器传输数据。模型下载完成后，用户可在无网络环境下继续使用。
Magnitude支持macOS、Windows和Linux操作系统，兼容Apple Silicon GPU、NVIDIA GPU、AMD GPU及CPU。没有固定的最低硬件要求，能够根据设备性能灵活支持从小型到大型模型。该引擎已与Pi、OpenCode、Hermes、Codex、OpenClaw、Claude Code、Oh My Pi、Cline等AI代理集成，其他助手和代理也可通过兼容OpenAI API的接口连接。Magnitude以带GUI的桌面应用形式提供，内置Magnitude CLI，无需单独安装。
