#版本更新

按标签聚合查看文章内容。

本地AI推理引擎“llama.cpp”发布v1.0.0,诞生约三年半迎来重大升级AI资讯

本地AI推理引擎“llama.cpp”发布v1.0.0,诞生约三年半迎来重大升级

2023年11月13日,大规模语言模型(LLM)推理引擎“llama.cpp”正式发布了v1.0.0版本。与此同时,面向机器学习的张量库“ggml”也同步发布了v1.0.0版本。 “llama.cpp”是一个基于C/C++实现的开源LLM推理引擎。通过量化技术和优化后的后端支持,它能够在从普通个人电脑到高端服务器的多种硬件平台上运行多模态的大规模语言模型。目前,该项目已支持超过150种架构变体,