2023年6月24日（美国时间），高通公司宣布推出面向数据中心的新型内存技术“High Bandwidth Compute（HBC）”。搭载第一代HBC的推理加速器“Dragonfly AI250”预计将在2027年中期开始样品出货。
HBC采用3D堆叠硅技术，将计算单元与高带宽内存紧密结合，构建专用的近内存计算架构，旨在解决面向生成式人工智能推理工作负载时出现的数据传输瓶颈问题。
与传统的高带宽内存（HBM）相比，HBC在降低总体拥有成本（TCO）和提升能效方面表现出色。官方规格显示，HBC在卡级别的每瓦带宽是HBM的6倍；在机架级别的每瓦容量则是SRAM的200倍。这使得生成式AI在持续推理、高内存带宽和实时响应需求方面能够实现更高效的扩展。
第一代“HBC Gen 1”搭载的推理加速器AI250，相较于采用LPDDR5X的上一代“Dragonfly AI200”，实现了卡级别133TB/s的行业领先有效内存带宽，提升了18倍。
同时，高通还发布了集成第二代“HBC Gen 2”的下一代推理加速器“Dragonfly AI300”。AI300相比AI200，内存带宽提升了54倍，且在每瓦性能方面比现有基于GPU的架构提升4至8倍。该产品支持风冷和直接液冷，预计2028年开始样品出货。
此外，高通还发布了面向生成式AI和通用工作负载的数据中心CPU“Dragonfly C1000”。
C1000采用定制设计的“Qualcomm Oryon”核心，具备超过5GHz的运行频率和250多个核心，采用多芯片模块架构。它支持超过2TB/s传输速度的PCIe 7.0和CXL技术，预计2028年开始商业供应。
