红帽推出推理服务器,助力AI应用降低算力成本
AI导读:
DeepSeek爆火后,算力成本降低成共识。红帽在“2025红帽媒体Open讲”上表示,今年是AI推理元年,推出推理服务器以降低企业算力成本。中国贡献者占热门推理社区35%,AI应用将为企业带来实际效益,未来GPU需求量或上升。
Deepseek爆火后,算力成本降低已成为行业共识。但选择何种路径,数据中心、一体机还是推理服务器,业内尚未达成共识。6月13日,在“2025红帽媒体Open讲”线下交流会上,红帽全球副总裁兼大中华区总裁曹衡康告诉《每日经济新闻》记者,红帽认为今年是AI(人工智能)的推理元年。AI进入推理阶段,意味着所有AI应用将正式上线运行,为企业带来实际效益,如业务收入增加和内部成本控制。
红帽大中华区方案架构部总经理王慧慧透露,业界推理技术栈中有两大主流方向,红帽选择了其中一个——“vLLM”(高性能大语言模型推理框架,已成为开源领域的标准推理服务器,支持多种加速器和分布式部署,广泛应用于生产环境)。
王慧慧表示,vLLM是目前最热门的推理社区,其中中国贡献者占比达35%,这证明推理在中国或将是最热门且最先为企业带来价值的领域。在推理过程中,两大技术难点需克服:一是如何以最小硬件设备和成本实现高性能推理;二是能否将推理工作量分散到不同服务器,构建分布式推理引擎。
基于此背景,红帽于2025年推出推理服务器。据红帽介绍,使用推理服务器的最大优势在于降低企业算力成本。但公司高管强调,红帽专注于软件,不涉及硬件业务。
随着未来算力成本下降,行业对芯片算力卡的需求或将变化。曹衡康指出,目前AI应用尚不广泛,因成本高昂。若成本降低,使用AI的企业数量将从1000家增至数万、数十万乃至数百万家,GPU需求量必将上升。红帽正致力于降低AI应用门槛。
(文章来源:每日经济新闻)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

