AI模型运行所需的计算需求持续激增，但业内面临两大挑战：获得合适的芯片，以及将这些芯片部署到数据中心以实现收益。

General Compute是一家新兴的推理型云计算公司，专注于AI模型推理阶段的算力租赁，即模型运行并响应用户请求的阶段，而非训练阶段。该公司近期完成了1500万美元的种子轮融资，估值达6000万美元，投资方包括FUSE VC、Carya Venture Partners和Village Global Ventures。

那么，什么才是合适的芯片？GPU需求激增，但业界普遍认为GPU并非训练完成后运行AI模型的最佳选择。推理阶段对计算的需求与训练阶段不同，因而出现了专门为推理设计的新型芯片。Nvidia去年12月以200亿美元收购Groq，以及Cerebras上周市值570亿美元的IPO，均显示了这一趋势。

由于Groq和Cerebras产能紧张，General Compute的联合创始人兼CEO Finn Puklowski和CTO Jason Goodison选择了另一条路径——采用由英特尔支持的芯片制造商SambaNova设计的专用推理芯片。SambaNova近年来在硅谷的关注度有所下降，但今年其新芯片发布后或将改变这一局面。该芯片架构更灵活，内存容量更大，能更好地存储推理上下文，性能据称优于GPU及Groq、Cerebras等竞争对手的专用芯片。Puklowski表示，新芯片每秒可生成600至700个token，而GPU约为250个。

General Compute已订购了价值3亿美元的SambaNova SN50芯片，并计划成为首家部署该芯片的推理云服务商。

这些芯片还解决了第二大难题——部署场所。它们采用风冷设计，功耗较低，能够直接安装在现有数据中心，无需额外基础设施投入。

Puklowski正与数据中心运营商及加密货币矿工洽谈共置合作，后者希望将其基础设施转型，因为比特币挖矿成本常常高于其市场价格。

General Compute上周正式推出云服务，声称已成为运行强大开源大型语言模型MiniMax 2.7最快的平台。

风险投资人Joe Hasselmann曾在2021年投资Groq，见证了推理计算的兴起。今年他创立了专注AI领域的Evercrest Capital Partners，并将General Compute列为首批投资对象之一。Hasselmann认为SambaNova与General Compute的合作类似于CoreWeave与Nvidia的关系，以及Groq芯片与其云服务的结合。

他指出：“他们需要多样化的客户群，将芯片部署在具备高速增长潜力的环境中。General Compute押注SambaNova的同时，SambaNova也在押注General Compute。”

未来哪种计算架构能最大化AI价值仍是未知数。推理云本质上押注于多模型、多代理的生态，单一供应商难以垄断，推理速度和成本将成为关键竞争因素。以OpenRouter本周完成1.13亿美元B轮融资为例，该公司通过为客户提供多模型访问，优化token使用效率。

速度在价格和能力上都至关重要。Puklowski希望将编码代理的任务从数小时缩短至5至10分钟，并让需要快速推理以实现有效对话的客服音频代理更具经济性。

他说：“如果你用ChatGPT，它每秒生成50个token，已经远快于人类阅读速度。现在进入了代理间交互阶段，代理代表我们阅读或查询数据库，速度必须更快。”