AI资讯Skymizer发布能以约240W功耗推理700B大型语言模型的AI加速器
台湾Skymizer公司于4月23日发布了基于HyperThought平台打造的AI加速器芯片“HTX301”。该芯片通过6颗集成，并配备384GB内存的PCIe卡，能够以约240瓦的功耗完成700B参数规模大型语言模型（LLM）的推理计算。 HyperThought架构专为推理为核心的AI时代设计，采用了预填充（prefill）和解码（decode）工作负载分离的策略。通过解码优先的硅片设计结
#低功耗推理
按标签聚合查看文章内容。
AI资讯