AI推理市场加速发展,云计算迎来新变革
AI导读:
AI发展趋势从训练转向推理,小模型应用需求激增,对云计算市场产生深远影响。Akamai等企业指出,未来AI推理市场规模或超训练需求十倍,边缘计算和小模型成为关键。企业应选择合适的工作负载部署在合适的‘云’上,以适应业务发展。
开源大模型的高效迭代,正推动AI发展趋势从AI训练转向AI推理,同时,小模型应用落地需求激增,对云计算市场产生深远影响。
近日,Akamai副总裁暨大中华区总经理李昇在接受采访时表示,咨询机构IDC指出,未来AI推理市场规模或超训练需求十倍。企业逐渐意识到,针对垂直应用场景的小模型部署潜力巨大,这需要云计算企业具备分布式、低延时、灵活部署的基础架构。
“Akamai观察到,未来‘云’生态中,强化去中心化、基于边缘的能力,以解决用户业务痛点是大势所趋。”他进一步分析,“因此,边缘端原生应用将拥有更高成长率和潜力。目前,可移植的混合云、多云策略已被多数企业接受,他们正探讨如何实施多云战略,以适应业务发展。”
AI推理需求激增
Deepseek的出现正推动AI推理市场快速发展,但此前企业多关注AI训练,如何适应新趋势备受瞩目。
Akamai亚太区云计算专家李文涛表示,在与客户探讨AI趋势时,许多CTO反馈,“过去几年专注于模型训练,在推理方面准备不足。”推理需考虑更多细节,如推理效率、可扩展性、合规性等,需结合算力、数据管理、边缘运维等能力。
李昇指出,行业投资重心正转向推理。“推理效率需综合评估吞吐量、时延和成本。Akamai的AI推理服务帮助企业提升3倍推理吞吐能力,降低60%时延。”
他续称,“大语言模型虽强大,但对硬件要求高。我们发现,八九成用户用小模型解决具体问题。例如,亚太区客户用专属小模型完成智能客服语音应答和聊天机器人的多语言翻译。”
小模型在实际生产环境中采用度或商业化程度更高。对于时延敏感领域,小模型更适合部署在边缘提供服务。“Akamai观察到,边缘原生应用成为云计算重要增长点。我们的分布式架构覆盖全球130多国、超4200边缘节点,提供低至10毫秒时延。”
加速AI推理应用落地
今年被视为AI推理加速落地之年。随着大模型应用深入,企业对推理效率、成本及安全性要求提升。
李文涛指出,边缘推理可在靠近终端用户处运行AI应用和数据密集型工作负载。推理越靠近用户和数据源,体验越好、效率越高。此外,部分客户关注数据主权和隐私保护,且公有云和互联网数据传输成本高。
整体来看,“慢思考”模型对云计算成本压力大,促使企业优化服务、提高成本效率。
李文涛认为,“未来推理将结合边缘与核心推理、慢思考与快思考推理、大模型与小模型推理。企业应选择合适的工作负载部署在合适的‘云’上。”
在应用方面,Akamai看到越来越多中国企业出海时嵌入AI推理能力,如商旅行业利用AI技术为客户提供非定制化行程建议。
(文章来源:21世纪经济报道)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

