#本地推理

按标签聚合查看文章内容。

用 vLLM 本地部署 DeepSeek:从入门验证到高性能服务AI教程

用 vLLM 本地部署 DeepSeek:从入门验证到高性能服务

想在自己机器或服务器上跑 DeepSeek,而不是依赖云端 API?本文用实战视角讲清:什么时候该用 vLLM,如何选 DeepSeek 模型,如何安装与启动服务,如何处理推理输出、工具调用、性能与安全,以及常见坑位排查。适合有一定开发基础、希望自建 OpenAI 风格接口的技术同学。

西川和久不定期专栏:Gemma 4与DwarfStar 4的LLM高速化探索AI资讯

西川和久不定期专栏:Gemma 4与DwarfStar 4的LLM高速化探索

2026年,开源大型语言模型(LLM)依旧层出不穷,各种高速化技术也不断涌现,AI领域持续热闹非凡。本文将介绍两项技术:利用MTP技术加速的Gemma 4,以及在日本苹果Mac M4 Max 128GB上运行的DeepSeek V4 Flash(现称DwarfStar 4)。 Gemma 4借助MTP实现推理加速 今年春季,LLM领域在高速化和模型轻量化方面取得了显著进展。其中,Google发布

科技行业的最后四种职位AI资讯

科技行业的最后四种职位

在人工智能变革下,科技行业的组织架构和职位角色正在发生深刻变化。本文探讨了后AI时代白领科技岗位的新模型,并回顾了近期AI领域的重要技术进展。