AI资讯发布最大提升2倍速度的推理引擎“Magnitude”,实现硬件自动优化
Magnitude AI发布了面向AI代理的开源大型语言模型(LLM)推理引擎“Magnitude”。该引擎采用Apache-2.0许可证,完全免费使用,无需支付任何令牌费用。 Magnitude的核心优势在于其能够根据运行设备的硬件环境,自动在本地编译和调优内核。与llama.cpp、Ollama、LM Studio等常见推理引擎采用的通用预编译内核不同,Magnitude直接针对终端芯片进行
按标签聚合查看文章内容。
AI资讯Magnitude AI发布了面向AI代理的开源大型语言模型(LLM)推理引擎“Magnitude”。该引擎采用Apache-2.0许可证,完全免费使用,无需支付任何令牌费用。 Magnitude的核心优势在于其能够根据运行设备的硬件环境,自动在本地编译和调优内核。与llama.cpp、Ollama、LM Studio等常见推理引擎采用的通用预编译内核不同,Magnitude直接针对终端芯片进行
AI资讯Anthropic推出了新一代高效AI模型Claude Sonnet 5.5,提升生成速度并降低使用成本。
AI资讯Anthropic最新推出的模型Opus 5.5于周二发布,官方称其在编码和知识工作性能方面达到了新的行业领先水平。Opus是Anthropic三层Claude系列中最强大且价格最高的版本,中间层为Sonnet,最快且最便宜的是Haiku。值得注意的是,Anthropic表示Opus 5.5在多个基准测试中超过了更大型的Fable模型,并且在一些Fable未能完成的非正式任务中表现出色。 新模型的
AI资讯美国Datadog公司于当地时间22日宣布,正式推出“GPU监控”功能,旨在帮助企业在AI项目规模扩大过程中实现成本优化和性能提升。 GPU监控作为一体化解决方案,提供覆盖整个AI技术栈的综合可视化能力。用户可以在单一界面上直观查看GPU资源群(集群)的健康状况、成本和性能,并且能够将这些指标与使用这些资源的部门和成员直接关联,从而快速定位性能下降的工作负载,及时进行故障排查和成本控制。 Data
AI资讯Anthropic发布Claude Opus 5.5,性能媲美Claude Fable 5.1,运行成本降低40%,OpenAI则推出更便宜的GPT-6 Sol和Luna模型。
AI资讯OpenAI推出了新一代GPT-5.6系列模型,包含高性能Sol、均衡型Terra和高性价比Luna,适用于ChatGPT、Codex及OpenAI API。
AI资讯性能与成本常被视为一对矛盾:想要降低成本,往往意味着性能下降。但在实际应用中,我们发现许多使用Claude平台的项目可以通过三种方法在不牺牲性能的前提下减少开销:最大化提示缓存命中率、升级至前沿Claude模型时去除提示中的反模式,以及根据任务调整计算强度。我们已将这些指导原则整合进了claude-api技能。本文将展示如何利用Claude Code和claude-api在降低成本的同时保持甚至提
AI资讯Ollama最新更新引入苹果自研MLX框架,大幅提升搭载苹果芯片Mac本地大模型性能,响应速度提升至两倍,M5芯片表现尤为突出。
AI资讯Anthropic推出了Claude Fable 5.1和Mythos 5.1,带来显著性能提升和成本优化,引发业界广泛关注。
AI资讯日本Sakana AI株式会社于7月24日宣布推出其编排引擎“Sakana Fugu”的高端版本“Fugu-Ultra”最新v1.1版本。同时,该公司还开始提供“Sakana Fugu”引擎的“Claude Code”兼容端点。 “Sakana Fugu”是一款高度先进的多智能体系统编排引擎,能够作为统一基础模型,根据任务内容智能判断应使用哪种AI模型,并动态控制多个AI协同完成任务。其高端型号
AI资讯周二,Anthropic发布了Fable和Mythos 5.1,这两款是公司最先进的AI模型的双版本。除了性能提升外,新的Fable版本还对模型的安全机制进行了调整,旨在降低令牌成本和减少误报限制。 与之前的Mythos模型一样,Mythos 5.1仅向注册的Anthropic合作伙伴开放,这些合作伙伴主要从事网络安全或生命科学研究。Fable 5.1则是无使用限制的版本,从今天起可通过云平台或A
AI资讯OpenAI于今年6月宣布开发的自有AI芯片“Jalapeño”(哈拉佩尼奥),其性能近日正式揭晓。OpenAI于8月25日发布的数据显示,该芯片在与搭载NVIDIA GB200和GB300的系统对比中,电力效率最高提升1.9倍,交互式工作负载性能最高提升4.1倍,展现出卓越的性能表现。 Jalapeño是一款专为AI推理设计的定制芯片,OpenAI于6月24日公布其开发计划。该芯片的设计特点在