#性能优化

按标签聚合查看文章内容。

Claude模型详解:如何为您的应用选择最佳模型AI资讯

Claude模型详解:如何为您的应用选择最佳模型

我们的建议:聪明地开始 我们经常被问到的一个问题是:“针对这个工作负载,我应该选择哪个模型?”随着我们发布了更多的模型类别和版本,答案变得更加细致。 本文将详细介绍各个模型类别,选择模型时需要考虑的关键问题,以及其他最佳实践。 但暂且不谈细节,我们的默认建议是从最智能的通用可用模型开始,根据所需的性能和成本调整使用强度。 更智能的模型在每项任务的成本上往往更低,尤其是在较低使用强度时,即使它们的每

LLM中的连续批处理:调度器如何把吞吐量拉高23倍AI教程

LLM中的连续批处理:调度器如何把吞吐量拉高23倍

vLLM等推理引擎为什么几乎都默认启用连续批处理?核心在于把“批次”从一次性打包,改成每一步动态重建,让GPU不再为已经结束的请求白白烧显存和算力。本文从传统批处理讲起,拆解连续批处理的调度细节、KV缓存与抢占机制,以及如何用几个关键参数在延迟和吞吐量之间做取舍。

Cloudflare推出专为AI代理设计的浏览器KitesurfAI资讯

Cloudflare推出专为AI代理设计的浏览器Kitesurf

Cloudflare成为最新加入新型网页浏览器竞赛的公司。但与其向消费者推出Chrome替代品不同,这家互联网基础设施提供商发布了Kitesurf——一款专为AI代理设计的云端浏览器。 AI软件正从简单的问答聊天机器人发展为能够代表用户完成任务的智能代理。浏览器在这一转变中扮演关键角色,因为它们需要像人类一样浏览网页并使用网站。 Cloudflare在其公告中解释道,与为人类设计的传统浏览器不同,

BenchiQ 基准测试与性能分析平台AI商业

BenchiQ 基准测试与性能分析平台

BenchiQ 是一个面向开发者和工程团队的在线基准测试与性能分析平台,支持对代码、算法和系统进行可重复、可对比的性能测试与结果可视化展示,帮助用户快速发现性能瓶颈并优化方案。