General Compute是一家专注于AI推理云的初创公司,近日获得了技术投资公司Upper90提供的4亿美元贷款。这笔交易可能是首次以专门用于AI推理的芯片作为抵押——这些芯片专为快速高效运行已训练好的AI模型设计,而非用于训练模型的昂贵芯片。

此次融资反映出市场对AI工具和代币价格的担忧,正转向采用能够以更低成本运行开源模型的基础设施,而非依赖前沿实验室最新的大型语言模型(LLM)。

General Compute由CEO Finn Puklowski和CTO Jason Goodison创立,去年5月完成了1500万美元的种子轮融资,旨在围绕Intel支持的芯片制造商SambaNova的硅片打造推理专用的新型云平台(Neocloud)。Neocloud是为AI工作负载量身定制的,与AWS或Azure等传统超大规模云服务商提供的通用基础设施不同。

该公司的SN50芯片专为推理设计,具备高能效且无需昂贵的水冷系统,这使得它们能比GPU更快地部署于更多样化的数据中心。General Compute表示,这些新芯片的推理速度比基于GPU的云服务快16倍。

然而,作为一家新兴公司,获取大量此类芯片仍是一大挑战。

Upper90的联合创始人兼CEO Billy Libby,曾是高盛的量化交易员,他有一套成熟的操作方案:2021年,他的公司为专注能源的数据中心初创公司Crusoe融资购买GPU,他认为这是首笔以先进芯片价值为抵押的贷款。

当时传统贷款机构因GPU贬值风险和不确定性而回避此类交易。但随着CoreWeave将芯片抵押贷款发展成商业模式并成功上市,这种融资方式逐渐普及。

Libby向TechCrunch表示:“当我们首次为Nvidia GPU提供融资时,市场还不成熟,我们作为早期参与者承担风险并获得了相应回报。”

如今,GPU市场相对成熟甚至可能过热,Upper90开始转向像General Compute这样的公司,抓住AI热潮的下一波浪潮。Libby说:“我们认为开源模型将变得重要,去年我们寻找了专注推理的合作伙伴。并非所有人都需要超级计算机,但都需要推理和AI能力。”

这一观点日益得到验证,提供开源模型访问的公司如OpenRouter和Fireworks均获得了高估值的新一轮融资。新模型如Kimi的K3在编码基准测试中已能与Anthropic和OpenAI的最新产品竞争。新兴芯片制造商如Groq和Cerebras也吸引了收购方和资本市场的关注。

General Compute能够使用非Nvidia生态的芯片,这一点尤为重要。另一家AI基础设施公司TensorWave也在与AMD合作,押注于此。随着Nvidia以外的选择增多,不受Nvidia限制的计算服务提供商可能在成本效益推理领域占据优势。

Puklowski表示:“有许多芯片开始规模化,拥有极佳的总拥有成本,或运行速度远超Nvidia,但买家并不多。与Upper90合作,这不仅仅是‘一家酷炫的初创公司获得资金购买计算资源’,而是资本开始自我组织,打破Nvidia垄断地位的首个信号。”