#GPU优化

按标签聚合查看文章内容。

Kog深入挖掘GPU潜力,提升AI推理速度AI资讯

Kog深入挖掘GPU潜力,提升AI推理速度

AI推理速度的竞赛正如火如荼地进行中,Cerebras凭借其专用芯片在今年五月的IPO中获得了市场的热烈欢迎。然而,法国初创公司Kog则认为,传统GPU仍有巨大的潜力可以挖掘。 今年五月,Kog在Hacker News首页发布了一项技术预览,展示了“在企业现有的标准数据中心GPU上实现极快的单请求解码”的可能性,演示中使用了AMD MI300X和Nvidia H200 GPU。 虽然部分人对其未能

CUDA证明英伟达是一家软件公司AI资讯

CUDA证明英伟达是一家软件公司

几年过去了,英伟达的“城墙”依然坚固。尽管DeepSeek出现时曾引发一阵恐慌,但开源AI模型并未大幅超越专有模型。即便如此,前沿实验室如OpenAI、Anthropic和谷歌都没有真正的护城河。 真正拥有护城河的公司是英伟达。CEO黄仁勋称其为他最珍贵的“宝藏”。这并非你想象中的硬件,而是名为CUDA的东西。听起来像FDA禁用的化学物质,但它可能是AI领域唯一真正的护城河。 举个简单例子:假设让