日本国家富士通公司于6月24日宣布，开发出一种名为“Parallel Hierarchical Operation for TOp-down Networks”（简称PHOTON）的架构，能够在大规模语言模型（LLM）中实现显著的成本削减。
目前主流的Transformer模型在处理较长输入或同时应对大量查询时，因需频繁访问记忆以保持历史信息，导致处理速度下降。而PHOTON通过不再将文本拆分为单个词元逐一计算关系，而是将文本视为“语义块”进行层次化处理，从而大幅减少计算量。
此外，PHOTON还采用了“多查询整合技术”，即针对同一问题生成多个略有差异的查询或候选答案，通过投票或选择最佳候选来整合结果，提升推理的稳定性和性能。
数值实验显示，在1.2亿参数模型中，PHOTON以极小的性能损失为代价，实现了比传统Transformer约475倍的多查询计算能力。同时，单次生成所需的KV缓存量更小，使得在相同GPU内存预算下可并行获得多个生成结果，整合9个查询后性能可达到Transformer同等水平。
该研究成果预计将于7月2日在美国日本国家圣地亚哥举办的“第64届计算语言学协会年会”上正式发布。
