电力是人工智能的重要原材料,但新的处理技术已经超出了数据中心运营商管理电网关系的能力,迫使他们不得不将功率限制降低多达30%。

Nvidia首席执行官黄仁勋在公司年度GTC客户大会的主题演讲中表示:“这些AI工厂浪费了大量电力。”公司在年度演示中宣称:“每一瓦未被利用的电力都是收入的损失。”

如今,总部位于特拉维夫的初创公司Niv-AI宣布完成隐秘期,获得1200万美元的种子资金,致力于通过新型传感器精确测量GPU的电力使用,并开发更高效的管理工具来解决这一问题。

这家由CEO Tomer Timor和CTO Edward Kizis于去年创立的公司,得到了Glilot Capital、Grove Ventures、Arc VC、Encoded VC、Leap Forward和Aurora的支持。公司未透露估值。

随着前沿实验室协调数千个GPU进行先进模型的训练和运行,处理器在计算任务和与其他GPU通信之间切换时,会出现频繁的毫秒级电力需求激增。

这些激增使得数据中心难以管理从电网获取的电力。为了避免电力不足,数据中心要么支付临时储能费用以应对激增,要么限制GPU使用率。这两种情况都会降低昂贵芯片的投资回报率。

Grove Ventures合伙人兼Niv董事会成员Lior Handelsman表示:“我们不能继续用现在的方式建设数据中心。”

Niv的首要任务是了解实际情况;公司目前正在部署机架级传感器,能够以毫秒级别检测其拥有的GPU及合作设计伙伴的电力使用情况。目标是了解不同深度学习任务的具体电力特征,并开发缓解技术,使数据中心能够释放更多现有容量。

工程师们计划基于收集的数据构建AI模型,训练其预测并同步整个数据中心的电力负载,成为数据中心工程师的“辅助驾驶员”。

Niv-AI预计将在未来六到八个月内,在美国少数几个数据中心部署其运营系统。随着超大规模云服务商在建设新数据中心时面临土地使用和供应链的挑战,这一方案显得尤为吸引人。创始团队将其最终产品视为数据中心与电网之间缺失的“智能层”。

Tomer Timor告诉TechCrunch:“电网实际上担心数据中心在某一特定时间消耗过多电力。我们关注的问题有两个方面,一是帮助数据中心更充分利用GPU,最大化他们已支付电力的使用率;另一方面,也能在数据中心与电网之间创造更负责任的电力使用模式。”