斯坦福大学兼职教授兼成功创业者Zain Asgar刚刚为其初创公司筹集了8000万美元的A轮融资，该公司以一种聪明的方式解决了AI推理瓶颈问题。本轮融资由Menlo Ventures领投。

这家公司名为Gimlet Labs，声称打造了首个也是唯一的“多硅片推理云”软件，能够让AI工作负载同时运行在多种硬件上。它可以将AI应用的任务分配到传统CPU、针对AI优化的GPU以及大内存系统上。

“我们基本上可以在任何可用的硬件上运行，”Asgar在接受TechCrunch采访时表示。

Menlo Ventures的主要投资人Tim Tully在一篇关于此次融资的博客中写道，一个单一的智能代理可能会串联多个步骤，每个步骤都需要不同的硬件支持：推理阶段计算密集，解码阶段内存密集，工具调用阶段则依赖网络。

目前还没有单一芯片能完成所有任务，但随着新硬件的推出和旧GPU的重新部署，“多硅片硬件群已经准备就绪，只缺少能让它们协同工作的软件层。”Tully认为这正是Gimlet Labs所提供的。

如果当前增加计算资源的趋势持续，麦肯锡预计到2030年数据中心的支出将接近7万亿美元。Asgar表示，现有硬件的利用率仅在15%到30%之间。

“换句话说，就是浪费了数千亿美元，因为大量资源处于闲置状态，”他说。“我们的目标是让AI工作负载的效率提升10倍以上。”

于是，Asgar和联合创始人Michelle Nguyen、Omid Azizi及Natalie Serrino开始开发一种编排软件，将智能代理的工作负载切分开来，能够同时分布到各种硬件上。

Gimlet Labs声称其技术能以相同的成本和功耗将AI推理速度提升3到10倍。它甚至能将底层模型切片，分别运行在不同架构上，利用每种芯片的最佳性能。

该公司已与芯片制造商NVIDIA、AMD、Intel、ARM、Cerebras和d-Matrix建立合作。

Gimlet的产品以软件或API形式提供，通过自家的Gimlet Cloud交付，目标客户是大型AI模型实验室和数据中心，而非普通AI应用开发者。

公司于去年10月公开发布，发布时即实现了千万美元级别的收入。Asgar透露，过去四个月客户数量翻倍，现已包括一家大型模型制造商和一家极大型云计算公司，但未透露具体名称。

创始团队此前曾在Pixie共同工作，Pixie是一家为Kubernetes打造开源可观测性工具的初创公司，2020年被New Relic收购。Pixie的技术现已成为Kubernetes开源组织的一部分。

大约一年前，Asgar偶遇Tully，并获得了斯坦福教授的天使投资，随后风险投资者纷纷联系。产品发布后，Asgar收到了投资意向书，融资迅速超额认购。

加上此前的种子轮融资，Gimlet Labs累计融资达9200万美元，投资者包括红杉资本的Bill Coughran、斯坦福教授Nick McKeown、前VMware CEO Raghu Raghuram及Intel CEO Lip-Bu Tan等多位天使投资人。公司现有员工30人。

其他投资方还包括领投种子轮的Factory、Eclipse Ventures、Prosperity7和Triatomic。