日本国家Akamai Technologies合同公司(以下简称Akamai)于4日举办了题为“AI使用激增带来的‘令牌成本问题’与治理壁垒——面向企业的AI整合管理最新动态”的记者说明会。

此次说明会上,Akamai高级技术解决方案架构师森祐孝详细讲解了许多企业高层和IT领导在AI应用中面临的“令牌成本(AI使用费用)”与“治理”问题。同时,他介绍了公司提供的AI、API及MCP整合管理平台“Akamai AI&API Manager(AAM)”的概要。

森氏指出,当前令牌成本问题尤为突出,海外企业的AI预算消耗速度远超预期,领先企业已开始积极应对。例如,Uber在4个月内耗尽了全年AI预算,随后为每个工具设定了每人每月1500美元的使用上限,并通过内部仪表盘追踪费用。微软一名员工一个月内消耗了28000美元,促使公司在7月前为所有部门设定令牌预算上限,并将默认模型切换为更经济的版本。AT&T一天内消耗了450亿令牌,通过结合缓存路由和专注通信的小型模型,成功将AI成本削减了90%。埃森哲发现大部分AI成本来自非工程师的使用,主要是PDF转换等事务性工作,因此限制了内部AI访问。

日本也面临类似问题。由于日语比英语更易被细分为更多令牌,令牌数量更大,加之AI费用从固定套餐转向按量计费,导致日本企业的成本往往高于海外。尽管日本企业正在尝试应对,但多数仍在摸索有效的管理方法。

森氏强调,尽管大型语言模型(LLM)的单价在过去三年下降了约1000倍,但随着使用量和自动执行(如AI代理)的增加,总成本仍在持续上升。仅靠“切换更便宜的模型”或“与供应商议价”无法遏制成本膨胀,未来必须减少调用量本身。

关于治理问题,森氏指出,AI使用主体从人变为代理后,“谁向哪个工具发送了什么”变得不可见,代理权限只能选择“全部允许”或“全部禁止”,难以细化权限控制。以Uber为例,其自建AI和API网关,将调用集中管理,但随着规模扩大,API更新负担加重,维护难度大,重构迁移耗时两年,凸显了自建AI基础设施的挑战。

为解决这些问题,Akamai推出了AI、API及MCP整合管理平台“Akamai AI&API Manager”。森氏介绍,该平台是一项托管服务,统一管理来自AI代理和应用的流量,集成了“AI Gateway”、“MCP Gateway”、“MCP Server”和“API Gateway”四大功能,且原生运行于Akamai云,与CDN和安全产品无缝结合。

具体功能包括:

  • “API Gateway”统一管理内外部API入口,整合安全、流量控制和开发者体验,保障API安全发布与运营。
  • “AI Gateway”整合多个LLM访问,统一管理成本、可用性和安全策略,实现团队预算和使用情况一目了然。
  • “MCP Server”将现有API升级为支持AI的MCP。
  • “MCP Gateway”负责控制组织内用户及代理的MCP访问权限。

森氏表示,使用“Akamai AI&API Manager”可以明确谁被授权使用何种AI服务,完整记录AI使用情况,实现“谁用、用哪种AI、用多少”的可追溯性。无论从API、AI还是MCP起步,都能在同一平台上逐步扩展。对于当前面临令牌成本和治理难题的企业,建议首先将LLM调用集中到该平台,实时可视化各团队的使用量和成本,从而有效管理和控制AI资源。