AI教程GPU 实际是如何工作的:从算力幻觉到带宽真相
为什么顶级 GPU 标称千万亿次算力,却只能跑出几十 token/s?本文用直观比喻和可算的数字,重建你对 GPU 的系统直觉,让批处理、量化、FlashAttention 等优化从“技巧清单”变成顺理成章的结果。
按标签聚合查看文章内容。
AI教程为什么顶级 GPU 标称千万亿次算力,却只能跑出几十 token/s?本文用直观比喻和可算的数字,重建你对 GPU 的系统直觉,让批处理、量化、FlashAttention 等优化从“技巧清单”变成顺理成章的结果。
AI教程为什么 1 PFLOPS 的 GPU 生成不了 1M token/s?这篇从算术 vs 内存的根本不对称讲起,把批处理、量化、FlashAttention 等技巧串成一个统一直觉框架。