#AI加速器

按标签聚合查看文章内容。

Skymizer发布能以约240W功耗推理700B大型语言模型的AI加速器AI资讯

Skymizer发布能以约240W功耗推理700B大型语言模型的AI加速器

台湾Skymizer公司于4月23日发布了基于HyperThought平台打造的AI加速器芯片“HTX301”。该芯片通过6颗集成,并配备384GB内存的PCIe卡,能够以约240瓦的功耗完成700B参数规模大型语言模型(LLM)的推理计算。 HyperThought架构专为推理为核心的AI时代设计,采用了预填充(prefill)和解码(decode)工作负载分离的策略。通过解码优先的硅片设计结

谷歌与Accel印度加速器选出5家初创企业,均非“AI包装器”AI资讯

谷歌与Accel印度加速器选出5家初创企业,均非“AI包装器”

许多人工智能初创企业的创意仍停留在现有模型之上的表面“包装器”阶段。然而,随着AI模型制造商不断增加功能,投资者对那些可能很快变得多余的初创企业持谨慎态度。 以谷歌与风险投资公司Accel联合举办的印度AI加速器为例,在审查了超过4000份申请时,“包装器”类创意占据主导地位,但Accel合伙人Prayank Swaroop告诉TechCrunch,最新一批入选的五家初创企业中没有任何一家属于此类

10瓦功耗驱动200亿参数大型语言模型的「Amaretti E1.S」AI资讯

10瓦功耗驱动200亿参数大型语言模型的「Amaretti E1.S」

美国Unigen公司于4月13日(当地时间)发布了搭载其自主研发AI加速芯片「EdgeCortix SAKURA-II」的E1.S接口AI加速模块「Amaretti E1.S」。 【11时52分更正】文章最初误称为M.2接口,现已更正为E1.S接口,特此致歉。 Amaretti E1.S是一款功耗仅10瓦,AI处理性能高达60TOPS的E1.S接口AI加速器。它支持最大32GB内存,凭借每瓦6T

用大型语言模型唤醒沉睡的Intel NPUAI资讯

用大型语言模型唤醒沉睡的Intel NPU

在现代PC中,虽然大多数都配备了NPU(神经网络处理单元),但其实际使用频率却非常低。NPU作为专门用于高效处理AI任务的处理器,符合微软Copilot+ PC标准的40TOPS性能时,Windows系统会自动调用其标准功能。尽管这些功能的实用性和使用频率存在争议,但理论上用户随时可以启用它们。 然而,未达到该性能标准的Intel Core Ultra系列(代号Arrow Lake)中的NPU“