AI资讯Kog深入挖掘GPU潜力，提升AI推理速度
AI推理速度的竞赛正如火如荼地进行中，Cerebras凭借其专用芯片在今年五月的IPO中获得了市场的热烈欢迎。然而，法国初创公司Kog则认为，传统GPU仍有巨大的潜力可以挖掘。 今年五月，Kog在Hacker News首页发布了一项技术预览，展示了“在企业现有的标准数据中心GPU上实现极快的单请求解码”的可能性，演示中使用了AMD MI300X和Nvidia H200 GPU。 虽然部分人对其未能
#人工智能推理
按标签聚合查看文章内容。
AI资讯
AI资讯我忍不住支持小型开源AI模型开发商Arcee
Arcee是一家仅有26名员工的美国初创公司，凭借2000万美元的紧缩预算，打造了一个拥有4000亿参数的开源大型语言模型（LLM）。近日，Arcee发布了其最新的推理模型，名为Trinity Large Thinking。该公司CEO Mark McQuade向TechCrunch表示，这款模型是“非中国公司发布的最强大的开源权重模型”。 正如这番话所暗示的，Arcee的目标令人支持：它希望为美
AI资讯Carta Healthcare如何让AI像临床摘要员一样推理
在我们全新系列《初创企业如何利用Claude构建产品》中，我们聚焦那些通过AI改变行业的高速成长企业。本文分享了Carta Healthcare开发其临床数据抽取平台Lighthouse背后的工程经验，以及为什么在构建大规模AI系统时，语境工程与模型能力同等重要。 临床登记库收集具有相同诊断、手术或病症患者的标准化数据。医院向登记库提交数据以进行结果对比、发现护理缺口并推动质量改进，但登记库的价值