Rebellions NPU

韩国半导体初创企业Rebellions于9月30日在日本东京召开新闻发布会,宣布其主打产品——神经网络处理器(NPU)“Rebel100”将被日本AI数据中心初创企业ai&大规模采用。

通常人们提到AI处理时,首先想到的是GPU(图形处理单元),但实际上AI计算涉及多种处理器。AI运算包括模型训练(AI通过数据学习提升能力)、推理(利用训练完成的模型为用户提供服务)以及类似于多AI协同执行的代理型AI等多种形式,除了GPU,还会使用NPU和CPU等多种处理器。

Rebellions的NPU专注于AI推理,能够实现与GPU相当的性能,但功耗和成本更低。此次该NPU被引入日本ai&的AI数据中心。

AI推理时代:多样化计算设备的应用趋势

AI推理设备

Rebellions首席业务官Marshall Choi介绍,公司成立于六年前,专注于NPU及其集成产品的研发和数据中心级别的解决方案。公司坚持“不过度定制”的原则,避免软件锁定,所有软件解决方案均基于100%开源代码,方便开发者使用和改进。

AI数据中心

用户使用的AI应用(如Anthropic Claude、Google Gemini、Microsoft Copilot、OpenAI ChatGPT等)均通过连接云端服务器进行推理处理,这些服务器所在的设施即为“AI数据中心”。

AI数据中心内部署的AI专用处理器中,NVIDIA的GPU较为知名,尤其适合训练阶段,但推理阶段正逐渐采用包括NPU在内的多样化处理器。Rebellions的Rebel100即为此类产品。

Rebel100规格

Rebel100单芯片性能高达2048TFLOPS(使用FP8格式),配备144GB HBM3e内存,最大功耗600W,支持空冷,适合日本现有数据中心环境。

在性能方面,Rebel100在开源AI模型OpenAI GPT-OSS 120B上表现出比NVIDIA H200 GPU高出两倍的性能,且功耗效率也提升约两倍,综合价格性能比提升至四倍。

此外,Rebellions提供多种形态的产品,包括单芯片、32芯片组成的RebelRack机架、多个机架组成的RebelPod集群,甚至整座数据中心级别的解决方案。

ai&引进100台以上Rebellions NPU机架,强化日本AI数据主权与计算能力

ai&数据中心

日本AI数据中心初创企业ai&成立于今年3月,致力于提供硬件与软件全栈AI数据中心服务。其联合创始人兼CEO David Bennett曾任日本AMD及联想日本/NEC个人电脑总裁,精通日本文化与语言,后任美国半导体厂商Tenstorrent首席客户官,现创立ai&。

Bennett表示,AI计算过去多聚焦于训练阶段,但随着AI进入实际应用,推理需求将大幅增长,ai&的使命是为日本AI提供必要的计算资源和软件环境,已在过去半年内建设多处数据中心并完善软件平台。

ai&数据中心

目前,ai&已在日本大阪设立两处、东京设立一处AI数据中心,计划近期再开设一处东京数据中心。所有数据中心均遵循数据主权原则,确保数据存储和管理均在日本境内,符合日本法律要求。

数据中心配备多种处理器,包括NVIDIA GPU、AMD GPU、Tenstorrent CPU等,满足客户多样化需求。此次引进Rebellions的NPU是为了丰富处理器种类,提升计算资源实力。

RebelRack机架

每个RebelRack机架包含32颗NPU,单机架计算性能达64PFLOPS(FP8格式)。ai&将在其五个数据中心部署超过100台此类机架,总功率需求达40MW,显著提升AI推理能力。

Bennett透露,首批机架将于10月至11月间开始交付,优先部署于东京数据中心。

数据中心设备