Hy-MT2模型架构

中国腾讯公司于5月21日(当地时间)发布了支持33种语言的免费翻译大型语言模型(LLM)系列——Hy-MT2。该系列模型的权重以开源形式公开,用户可通过Hugging Face等平台下载使用。

Hy-MT2系列支持33种语言的无缝翻译。包括7B参数模型以及首次采用MoE架构的30B-A3B模型,在多种翻译任务中均展现出领先的性能,甚至超越了参数数量远超自身的其他开源模型。

值得一提的是,轻量级的1.8B参数模型也实现了超过微软等主流商用翻译API的翻译评分。

此外,针对这款1.8B模型,腾讯采用了AngelSlim 1.25bit极限量化技术,将模型大小压缩至仅440MB,使其能够在主流移动芯片上轻松实现本地推理(翻译)。据腾讯介绍,在搭载苹果A15处理器的设备上,该模型的运行速度比之前的Hy-MT1.5 4bit量化版本提升了1.5倍。

Hy-MT2性能对比