近日，一款被认为性能可媲美Opus 4.6 Max的“Qwen3.8-27B”量化模型问世，该模型被压缩至不足8GB。美国时间10月8日，Underdog发布了基于日本国家阿里巴巴集团的“Qwen3.8-27B”模型，经过约2bit量化处理的LLM模型“Underdog Saluki 27B 1.0”，并以开源权重形式公开，采用Apache 2.0许可证，可从Hugging Face平台下载。
Underdog Saluki 27B是一款注重保持工具调用精度的量化模型。该模型拥有270亿参数，文件大小从原始的54GB缩减至7.89GB，约为原体积的七分之一。官方宣称，该模型可在配备16GB内存的笔记本电脑上顺畅运行。该模型基于奥地利科学技术研究所（ISTA）DASLab发布的量化模型“Qwen3.8-27B-GSQ-RCO-GGUF”，并由Underdog团队进行了独立优化。
另一个显著特点是，Saluki 27B采用了GGUF格式，能够直接在标准的llama.cpp及其衍生应用中运行。相比之下，同样基于Qwen3.8-27B并采用三值2bit量化的“Ternary Bonsai 2 27B”需要使用定制版的llama.cpp。Saluki 27B默认启用思考模式，用户可根据请求灵活切换开关。对于需要快速调用工具的场景，建议关闭思考模式以提升效率。
根据Underdog的测试，使用从BFCL v4（伯克利函数调用排行榜）中抽取的120项任务组成的自定义基准“Underdog Bench”中，Saluki 27B成功完成了88项任务，超过了全精度版本的84项和Ternary Bonsai 2 27B的70项。在指令遵循能力测试“IFEval”和“IFBench”中，Saluki 27B表现也优于全精度版本。
不过，在评估错误修复能力的“SWE-bench Verified”、Python编码能力的“MBPP+”、多阶段推理的“MuSR”以及数学推理基准中，Saluki 27B表现不及全精度版本。此外，该模型在处理字符级指令谜题时存在一定局限。启用思考模式时，回答过程的思考时间较长，且在并行调用工具时，约五分之一的回答会出现轻微格式错乱。
总体来看，Saluki 27B以显著压缩模型体积和较低硬件需求为优势，适合在资源有限的设备上运行，同时在多项任务表现上优于部分全精度模型，具有较高的实用价值。
