现有AI加速器与HBM模块性能瓶颈
韩国三星电子和SK海力士这两大半导体存储巨头，正在开发一种将DRAM芯片直接堆叠在AI加速器（如GPU、ASIC、XPU等AI芯片）上的超高速HBM（高带宽内存）技术，并在半导体存储领域的FMS（未来存储与存储技术大会）上公布了相关技术细节。
HBM技术通过堆叠多个DRAM芯片，并结合一个逻辑芯片（基底芯片，位于最底层），利用硅穿孔通道（TSV）和微凸点实现芯片间垂直连接。HBM模块通常与GPU或ASIC等AI加速器并排放置在同一中间基板（中介层）上，封装成一个整体。一般一个AI加速器会配合2至6个HBM模块，规模更大的系统甚至会将2个AI加速器和12个HBM模块集成在同一封装内。
HBM模块与XPU通过中间基板的多层布线连接。从最顶层的DRAM芯片到逻辑芯片，再经过逻辑芯片内部布线和中间基板的多层布线，最终连接到XPU芯片。整体连接路径较长，限制了数据传输速度的提升和功耗的降低。
将HBM堆叠于XPU上，缩短连接距离
为解决上述问题，三星和SK海力士提出将DRAM芯片直接堆叠在XPU芯片之上的方案，最大限度缩短两者之间的连接距离。堆叠的DRAM芯片数量可选1片、4片、8片等，模块数量也有1个、2个、4个等多种选择。
在FMS大会的主旨演讲中，三星介绍了其名为“zHBM”的超高速低功耗内存模块构想，强调了将HBM直接堆叠于AI芯片上的优势。
zHBM性能卓越，但实现难度大
三星比较了zHBM与HBM5的性能指标，预计zHBM在单个XPU上的最大数据传输速度将提升4至8倍，单位功耗的数据传输效率提升3倍，热阻（℃/W）降低至原来的1/4至1/10。
相比之下，HBM5相较于上一代HBM4E，最大数据传输速度提升2倍，单位功耗效率提升1.2倍，热阻降低至0.8倍。由此可见，zHBM的性能跃升远超以往代际提升，意味着其实现难度极高。
TSV密度大幅提升与金属布线优化是关键
为实现zHBM的高性能，三星开发了两项关键技术：大幅提升TSV面密度的技术和优化金属布线层以降低热阻。
zHBM采用混合铜键合（Hybrid Cu Bonding，HCB）技术，取代传统的微凸点连接，实现晶圆间直接键合。与HBM4E相比，铜电极连接间距缩小至0.3倍，TSV直径减至约1/3，硅芯片厚度减半，使TSV密度提升约10倍。
为了降低热阻，三星将DRAM堆叠层数限制在最多4层，避免堆叠过高导致散热问题。同时减少金属多层布线层数，提升垂直方向散热效率。与12层堆叠的HBM4E相比，zHBM堆叠高度仅为其1/3（4层堆叠）或1/10（1层堆叠），金属布线层数减少至0.8倍，热阻大幅降低至1/4或1/10。
SK海力士的3D堆叠DRAM技术
SK海力士在FMS大会上也公布了类似的3D堆叠DRAM内存模块技术。该技术的数据传输速度是传统HBM的2至10倍，容量仅为HBM的1/13至1/3，单位比特能耗降低至HBM的1/2至1/2.5。该技术旨在弥补XPU的SRAM缓存与HBM模块之间的性能差距。
不过，SK海力士并未在大会上详细披露该技术的具体细节，展会现场也未见相关展示，未来发展值得关注。
