AI教程KV 缓存、前缀缓存、提示缓存与语义缓存：同名不同命的四种“加速器”
KV 缓存、前缀缓存、提示缓存、语义缓存听起来都叫缓存，但存的东西、命中规则和踩坑点完全不一样。本文用代码和案例拆开讲清楚：它们各自做什么、在哪一层省钱省时、以及在生产环境里最容易翻车的地方。
#性能调优
按标签聚合查看文章内容。
AI教程
AI教程KV 缓存、前缀缓存、提示缓存与语义缓存：同名不同命的四种“缓存”
KV 缓存、前缀缓存、提示缓存、语义缓存到底差在哪？哪种能省钱，哪种可能悄悄帮你制造 bug？一文拆开底层机制和生产坑点。
AI教程LLM中的连续批处理：调度器如何把吞吐量榨干
vLLM等推理引擎为什么能把同一块GPU的吞吐量拉高到传统方案的数十倍？关键不在模型，而在连续批处理调度器。本文从传统批处理的误区讲起，拆解迭代级调度、选择性批处理和抢占机制背后的真实权衡。