AI导读：

11月4日，“存力中国行”北京站活动举行，AI推理面临成本等挑战。华为开源的UCM推理记忆数据管理技术，通过三层协同破解成本瓶颈。该技术开源，推动AI推理技术走向规模化、普惠化落地。

　　中国信息通信研究院组织召开的“存力中国行”北京站活动于11月4日举行，吸引了来自中国移动、华为、硅基流动等近20家产业代表齐聚一堂。随着AI产业发展重心从“追求模型能力极限”转向“追求推理体验最优化”，先进存力如何为AI推理“降本增效”，成为全场关注焦点。在AI推理领域，如何提升效率降低成本，是行业共同探索的课题。

　　“当前，AI推理面临KVCache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战。”中国移动云能力中心项目总师周宇在座谈会上直言。华为数据存储产品线战略与业务发展部总裁王旭东则用三个“不”点明了行业痛点：“管不好”的数据、“喂不饱”的算力和“降不下”的成本。

　　在此背景下，华为开源的UCM（UnifiedCacheManager）推理记忆数据管理技术被视为破局的关键方案之一。该技术以KVCache多级缓存和推理记忆管理为中心，通过推理框架、算力、存储的三层协同，融合了多类型缓存加速算法工具，可分级管理在推理过程中产生的KVCache记忆数据，有效破解长序列推理效率与成本瓶颈。

　　据悉，UCM技术已于近日在魔擎社区开源，开源内容包含稀疏注意力、前缀缓存、预填充卸载、异构PD解耦四大关键能力，可使首轮Token时延最高降低90%，系统吞吐最大提升22倍，并达到10倍级上下文窗口扩展，显著提升AI推理性能。同时，其基础框架与工具链已在ModelEngine社区开放，开发者可通过社区获取源代码与技术文档，共同完善技术架构与产业生态。

　　业界普遍认为，UCM开源超越了单纯的技术共享，能让广大开发者和企业以更低的成本、更便捷的方式，获取业界领先的AI推理加速能力，推动AI推理技术走向规模化、普惠化落地。

（文章来源：新京报）