NVIDIA于2023年8月26日宣布推出了一项名为“NVHBM”的新技术，旨在通过在HBM（高带宽内存）中集成内存控制器等设计改进，提升AI加速器的性能。该技术不仅提高了HBM的带宽，还有效降低了功耗。
NVHBM是NVIDIA与主要内存供应商联合设计和验证的HBM基底芯片技术。通过重新设计实现封装空间的优化和节能，相较于HBM4e，单堆叠内存带宽最高提升30%。此外，结合NVIDIA的NVLink Fusion互联技术，能够进一步提升定制AI加速器（XPU）的整体性能。
在基底芯片设计方面，内存控制器从XPU迁移至HBM内部，同时将内存接口更换为更紧凑的定制PHY。与HBM4e相比，PHY及其支持电路面积减少了最多67%。由于互连基板布线简化，硅片可用面积增加了最多80%。利用这部分空间，主芯片面积增加30%，从而实现更多功能的集成。
在HBM部分，NVHBM的功耗比HBM4e降低了15%。以使用2000瓦XPU的1GW数据中心为例，预计可释放相当于多达1.5万台XPU的计算余量。这不仅有助于提升XPU的计算能力和持续性能，还能减轻机架级电源供应和冷却系统的负担。
此外，通过与NVLink Fusion互联技术结合，整个机架内的XPU能够高速连接至NVIDIA AI平台的其他组件，实现端到端性能提升30%。
这项技术的推出标志着HBM设计迈入新阶段，为AI计算带来更高效的内存解决方案。
