AI教程DeepSeek 能在本地跑在 NVIDIA RTX 显卡上吗？一文讲清型号、显存和坑
很多人以为有一块 RTX 显卡就能随便本地跑 DeepSeek，其实真正卡你的往往不是算力，而是显存和模型选择。本文用具体型号和场景，帮你判断 3060、4090、5090 等显卡各自适合跑多大的 DeepSeek 模型，以及常见踩坑点。
#大模型推理
按标签聚合查看文章内容。
AI教程
AI教程LLM中的连续批处理：调度器如何把吞吐量榨干
vLLM等推理引擎为什么能把同一块GPU的吞吐量拉高到传统方案的数十倍？关键不在模型，而在连续批处理调度器。本文从传统批处理的误区讲起，拆解迭代级调度、选择性批处理和抢占机制背后的真实权衡。
AI教程LLM中的连续批处理：调度器如何把吞吐量拉高23倍
vLLM等推理引擎为什么几乎都默认启用连续批处理？核心在于把“批次”从一次性打包，改成每一步动态重建，让GPU不再为已经结束的请求白白烧显存和算力。本文从传统批处理讲起，拆解连续批处理的调度细节、KV缓存与抢占机制，以及如何用几个关键参数在延迟和吞吐量之间做取舍。
AI教程重新思考生产推理中的 KV 缓存：从前缀到 LMCache 架构
一份面向生产环境的 KV 缓存管理新思路：为什么 62% 的上下文是重复的、前缀缓存的天花板在哪里，以及 LMCache 如何用分离式架构和 CacheBlend 改写成本与性能曲线。
AI教程GPU 实际是如何工作的：从算力幻觉到带宽真相
为什么顶级 GPU 标称千万亿次算力，却只能跑出几十 token/s？本文用直观比喻和可算的数字，重建你对 GPU 的系统直觉，让批处理、量化、FlashAttention 等优化从“技巧清单”变成顺理成章的结果。
AI教程GPU 实际是如何工作的：从算力幻觉到带宽真相
为什么 1 PFLOPS 的 GPU 生成不了 1M token/s？这篇从算术 vs 内存的根本不对称讲起，把批处理、量化、FlashAttention 等技巧串成一个统一直觉框架。
AI教程大型语言模型中的推测解码：让大模型“少干点活”
推测解码正在悄悄支撑 Google、Anthropic 等巨头的在线服务，让同一模型在数学上输出一致的前提下，速度直接翻倍。本文用直观类比和代码示例，拆解它解决的真实瓶颈、底层机制、实现细节，以及在生产环境中的关键权衡。
AI教程在 Azure AI Foundry 上快速上手 DeepSeek R1 推理大模型
本文介绍如何在 Azure AI Foundry 上部署与使用 DeepSeek R1 推理大模型，包括模型特点、可视化向导部署步骤、Python 与 REST API 调用示例、公有云与企业私网配置要点、成本优化策略、典型业务集成场景，以及使用过程中的限制与最佳实践。
AI教程DeepSeek 在 Kubernetes 上的生产级部署全指南
DeepSeek 不是普通的 Web 服务镜像放大版，而是一整套从小型蒸馏模型到 671B 参数 MoE 大模型的家族。本文给出在 Kubernetes 上部署 DeepSeek 的三条路径：Ollama 快速演示、vLLM 生产推理、Ray Serve + vLLM 分布式大模型服务，并覆盖 GPU 规划、命名空间与 Secret、PVC、暴露方式、安全与监控等关键细节。
AI教程DeepSeek Docker 部署全指南：5种方案一文吃透
很多人一提“DeepSeek Docker 部署”就只想到拉个镜像跑模型，其实这只是五种方案里的一个。本文用实战结构和配置示例，带你从最简单的“容器化应用 + 托管 DeepSeek API”，一路走到 vLLM / SGLang 自建 GPU 推理集群，并对成本、安全和性能做清晰取舍。
AI教程使用 vLLM 本地运行 DeepSeek V3.2‑Exp：Day‑0 支持完整指南
本文介绍如何在本地使用 vLLM 高性能推理引擎运行 DeepSeek V3.2‑Exp，涵盖硬件要求、环境配置、模型加载，以及三种推理部署方式：CLI 快速体验、Python 脚本调用和本地 OpenAI 兼容 REST API 服务。
Together AI：面向下一代应用的 AI 原生云平台
Together AI 是一个全栈 AI 原生云平台，提供高性能推理、批量推理、微调与 GPU 集群等能力，帮助团队以更低成本、更高效率构建和部署大模型应用。