AI教程重新思考生产推理中的 KV 缓存：从前缀到 LMCache 架构
一份面向生产环境的 KV 缓存管理新思路：为什么 62% 的上下文是重复的、前缀缓存的天花板在哪里，以及 LMCache 如何用分离式架构和 CacheBlend 改写成本与性能曲线。
#系统架构
按标签聚合查看文章内容。
AI教程
AI教程LLM中的分页注意力机制：把操作系统那一套搬进显存
用可视化和类比操作系统分页内存的方式，讲清楚分页注意力如何把LLM推理的显存利用率从20%拉高到接近满载。
AI资讯日本国家ソラコム发布扩展版IoT系统设计指南，新增AI与卫星通信应用方案
日本国家ソラコム株式会社于9日宣布，扩充其IoT系统设计指南“架构中心”，新增了利用AI和卫星通信的IoT应用设计经验。该指南详细介绍了典型IoT使用场景下推荐的系统架构，旨在帮助用户更好地设计和部署IoT系统。 自2015年服务启动以来，ソラコム一直致力于打造“人人可用的IoT环境”，通过公开技术资料和案例分享，帮助用户自主解决各种技术难题，积累了丰富的经验和专业知识。 架构中心系统地介绍了构成
AI教程大语言模型工程：从模型到真实系统的那一层
很多人以为有了大模型就等于有了应用，但真正难的是模型之上的工程层：检索、上下文管理、评估与可靠性模式。本文用工程视角拆解如何把大语言模型变成可落地、可维护的真实系统。
AI教程MCP 工具投毒攻击：AI 代理的隐形杀手
MCP 正在快速占领 AI 代理生态，但一种几乎肉眼不可见的攻击——工具投毒，正在悄悄把安全底座掏空。本文用具体案例拆解工具投毒、工具劫持、MCP 拉地毯攻击的原理与风险，并给出可落地的防御思路。
AI教程GPU 实际是如何工作的：从算力幻觉到带宽真相
为什么 1 PFLOPS 的 GPU 生成不了 1M token/s？这篇从算术 vs 内存的根本不对称讲起，把批处理、量化、FlashAttention 等技巧串成一个统一直觉框架。
AI教程多智能体设计模式详解
多智能体设计模式 当你开始开发涉及多个智能体的项目时，必须考虑多智能体设计模式。然而，何时切换到多智能体系统以及其优势可能并不直观。 课程介绍 本课旨在解答以下问题： 多智能体适用的场景有哪些？ 使用多智能体相比单一智能体执行多任务有哪些优势？ 实现多智能体设计模式的基本构件是什么？ 如何监控多个智能体之间的交互？ 学习目标 完成本课后，你将能够： 识别适合多智能体应用的场景 理解多智能体相较于