AI教程

通过实操案例和步骤讲解,让读者能够真正把 AI应用到 写作、设计、视频、编程、营销等实际工作中。内容包括: AI新手入门教程 ChatGPT使用指南 AI提示词(Prompt)技巧 AI自动化工作流 AI创作案例

更多教程

17 篇
LLM中的连续批处理:调度器如何把吞吐量拉高23倍
第 10 篇

LLM中的连续批处理:调度器如何把吞吐量拉高23倍

vLLM等推理引擎为什么几乎都默认启用连续批处理?核心在于把“批次”从一次性打包,改成每一步动态重建,让GPU不再为已经结束的请求白白烧显存和算力。本文从传统批处理讲起,拆解连续批处理的调度细节、KV缓存与抢占机制,以及如何用几个关键参数在延迟和吞吐量之间做取舍。