AI资讯发布最大提升2倍速度的推理引擎“Magnitude”，实现硬件自动优化
Magnitude AI发布了面向AI代理的开源大型语言模型（LLM）推理引擎“Magnitude”。该引擎采用Apache-2.0许可证，完全免费使用，无需支付任何令牌费用。 Magnitude的核心优势在于其能够根据运行设备的硬件环境，自动在本地编译和调优内核。与llama.cpp、Ollama、LM Studio等常见推理引擎采用的通用预编译内核不同，Magnitude直接针对终端芯片进行
#自动优化
按标签聚合查看文章内容。
AI资讯