云计算厂商加速大模型部署,DeepSeek引领新潮流
AI导读:
DeepSeek走红后,云计算厂商纷纷上线DeepSeek模型,企业端部署复杂且成本高。云计算厂商在灵活性和多样性上探索,降低部署门槛。模型蒸馏等AI工具愈发重要,助力企业降本增效。未来,云计算厂商将结合AI硬件加速和自动化优化,提供更快、更低成本的大模型推理服务。
Deepseek走红后,云计算厂商纷纷上线DeepSeek-R1和DeepSeek-V3模型。据界面新闻了解,目前已有亚马逊云科技、阿里云、腾讯云、移动云等在内的十几家国内外云计算厂商加入了这一行列。
虽然用户端使用新AI模型相对简单,只需下载APP即可,但企业端的部署却复杂得多。不仅需要价格不菲的硬件支持,还需要稳定的API、面向用户端的应用实施托管,以及针对企业私有数据的定制优化。此外,数据和模型的安全问题也是企业需要考虑的重要因素。
这些问题可以归纳为企业部署和使用模型中的工程化问题,包括成本、性能、安全,以及针对私有数据的定制优化、不同尺寸模型的复杂调度等。
以DeepSeek为例,其R1-Distill系列模型参数范围从15亿至700亿不等,而R1和R1-Zero的参数规模更是高达6710亿。不同参数规模的模型对计算性能的要求各异,企业需要细致调优部署的硬件和软件,以确保模型在实际运行中达到最佳性能。同时,企业通常采用多级模型混合部署模式来平衡“响应速度”与“推理能力”,这进一步增加了异构计算资源管理和跨云部署的难度。
为了降低企业部署大模型的门槛,云计算厂商在灵活性和多样性方面进行了探索。阿里云PAI Model Gallery支持云上一键部署DeepSeek系列模型,无需编写代码即可完成AI模型开发流程。亚马逊云则着重探索多样化部署方式,以满足不同应用场景下的技术指标需求。
随着DeepSeek等大模型的普及,模型蒸馏等AI工具变得愈发重要。DeepSeek-R1-Distill通过蒸馏优化,在推理速度、计算成本和部署灵活性方面具有明显优势。阿里云、亚马逊云科技等云计算厂商也推出了模型蒸馏功能,帮助企业进一步降低大模型的使用成本。
除了模型蒸馏外,云计算厂商还通过低延迟优化推理、提示词缓存等功能提升推理效率。同时,企业落地大模型的需求也推动着云计算厂商在基于企业自有数据的定制优化、AI安全和审查以及实现复杂功能的多智能体等工程化问题上进行创新。
未来,云计算厂商将结合AI硬件加速和自动化优化,为企业客户提供更快、更低成本的大模型推理服务。
(文章来源:界面新闻)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

