AI教程在 AMD ROCm 与 Mac Metal 上运行 DeepSeek：兼容性矩阵与排错全指南
本文系统梳理如何在 AMD ROCm GPU 与苹果 Mac Metal 环境中本地运行 DeepSeek 系列大模型，涵盖快速选型路径、平台与格式兼容性矩阵，以及在非 CUDA 环境下最常见的报错与对应解决方案。
#模型量化
按标签聚合查看文章内容。
AI教程
AI教程在 AMD ROCm 与 Mac Metal 上运行 DeepSeek：兼容性矩阵与故障排查指南
本文系统梳理如何在 AMD ROCm GPU 与苹果 Mac Metal 环境中本地运行 DeepSeek 系列开源大模型，涵盖快速选型路径、平台与格式兼容性建议，以及常见错误的成因与解决步骤。
AI资讯Google DeepMind发布Gemma 4的量化感知训练（QAT）模型，大幅降低内存消耗，手机端也能高效运行
美国Google DeepMind于6月5日（当地时间）发布了开源模型「Gemma 4」系列的“量化感知训练”（Quantization-Aware Training，简称QAT）检查点。该技术旨在大幅减少内存使用量，同时保持模型质量，适用于「E2B」「E4B」「12B」「26B MoE」「31B」等所有模型。 自今年4月发布以来，Gemma 4不断扩展功能，包括引入加速推理的“多标记预测”（M
AI教程5种大型语言模型量化技术：把140GB模型塞进一张卡
一文拆解RTN、GPTQ、AWQ、LLM.int8()和QAT这5种主流LLM量化方案，解释它们如何在显存、速度和精度之间做权衡。
AI资讯免费发布：仅1.8B参数的翻译用大型语言模型Hy-MT2，性能超越微软商用API
中国腾讯公司于5月21日（当地时间）发布了支持33种语言的免费翻译大型语言模型（LLM）系列——Hy-MT2。该系列模型的权重以开源形式公开，用户可通过Hugging Face等平台下载使用。 Hy-MT2系列支持33种语言的无缝翻译。包括7B参数模型以及首次采用MoE架构的30B-A3B模型，在多种翻译任务中均展现出领先的性能，甚至超越了参数数量远超自身的其他开源模型。 值得一提的是，轻量级的
AI教程DeepSeek GGUF 和 Safetensors 怎么选？一文讲透
跑本地 DeepSeek 选 GGUF，要原始权重与训练选 Safetensors。两者不是谁替代谁，而是各管 LLM 工作流里的不同环节。