华为：UCM推理记忆数据管理开源，首Token时延降90%

11月5日，华为数据存储宣布，针对AI推理加速的关键技术——UCM推理记忆数据管理正式开源。华为介绍，UCM目前具备稀疏注意力、前缀缓存、预填充卸载、异构PD解耦四大能力。该技术能实现首Token时延最高降低90%，系统吞吐最大提升22倍，还可达到10倍级上下文窗口扩展。