AI推理时代来临,边缘云引领技术革命
AI导读:
在数字化转型浪潮中,边缘云突破传统计算模式,将数据处理能力下沉至网络边缘。AI推理时代来临,边缘云凭借其优势成为行业竞争新焦点,助力企业提升数据交互和AI推理即时性与效率,保障信息安全。
在数字化转型的浪潮中,边缘云正在全球范围内引发一场技术革命。它突破了传统集中式计算模式的局限,将数据处理和分析能力下沉至网络边缘,使数据在生成之际即可获得快速响应和处理。特别是在人工智能大模型的竞争中,焦点正从训练阶段迅速转向AI推理,而边缘云凭借其显著优势,正逐渐成为行业竞争的新焦点。
Akamai副总裁暨大中华区总经理李昇在接受《中国经营报》记者采访时表示,ChatGPT的横空出世标示着生成式AI掀起了一股新的浪潮。从训练和推理的角度来看,推理方面的计算需求可能是训练需求的10倍,甚至更多。如今,越来越多的客户开始特别关注“后训练”阶段以及训练后的部署问题。对于企业而言,靠近节点的边缘云能够有效提升数据交互和AI推理的即时性与效率,同时保障信息安全。
AI推理时代来临
“训练如同绘制地图,需要集中式超算中心;而推理更像是实时导航,必须在靠近用户的边缘发生。”Akamai云技术部门首席运营官兼总经理Adam Karon表示。
自去年起,众多科技巨头纷纷在AI推理领域发力,OpenAI、Anthropic、Deepseek、英伟达等纷纷亮相推理模型或软件。巴克莱报告指出,AI推理计算需求预计将占通用人工智能总计算需求的70%以上。英伟达创始人黄仁勋预测,推理所需算力需求规模增长将远超去年估计。
DeepSeek创新性地采用大规模跨节点专家并行模式,全面开源,显著降低AI大模型在行业用户环境中的部署与使用成本。其轻量、灵活的部署方式,推动了端侧AI的爆发与普及,加速了AI从预训练阶段向大规模推理的转变。
“‘从预训练阶段转到推理阶段’,我们也看到同样的趋势。”Akamai亚太区云计算专家团队负责人李文涛表示,“行业研究预测,未来客户在AI推理方面的投入将比训练投入高出10倍之多。在日常生活中使用各种互联网AI服务时,我们也能感受到AI推理服务的成本压力。”
李文涛认为,小模型的推理特别适合在边缘进行,因为边缘离用户近、时延低,适合对时延敏感的小模型推理场景。
重燃边缘云赛道
AI推理需要为终端用户运行工作负载,响应速度和位置至关重要,这使得在边缘云环境中进行推理具备明显优势。边缘云地理分布广泛,靠近用户,是低延迟体验的必要条件,通过缩短交互链路,降低数据传输开销和成本。
边缘云节点容量大、健壮性强、可用性高,结合边缘推理,提供智能和效率,支持企业数字化和智能化转型。未来市场竞争的核心在于成本/性能的计算,包括推理成本、延迟和吞吐量。李文涛表示,推理越靠近用户、越靠近数据源,用户体验越好、效率越高。
李文涛指出,现在AI相关行业里的投资已开始转向推理,推理效率主要根据吞吐量、时延和成本综合评估。
(文章来源:中国经营报)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

