开源与闭源的路线之争已经不存在，但市场不知道的是，开源大幅影响了AI落地的速度与模式，尤其在AI技术领域，开源技术正成为推动创新的关键力量。

　　麦肯锡报告显示，越来越多企业在部署AI驱动的解决方案时，开始扩大采用开源技术。超过50%的受访企业在AI技术栈的数据、模型与工具层面使用开源技术，其中科技、媒体与通信行业的开源AI使用率最高，达到70%，这显示了开源技术在AI领域的广泛应用和强大潜力。

　　与限制核心技术访问的“闭源”工具不同，开源通过公开源代码与全球协作，让企业能够根据自身需求，快速定制解决方案，从而加速AI技术的落地和应用。

　　近日，21世纪经济报道记者在一个AI开源技术分析会上采访了从业者，以了解当下开源AI到底如何“接地气”。

　　从Deepseek-v3.2到阿里云的Qwen 3，从Meta的Llama到谷歌的Gemma 3，“百模大战”中掀起的开源浪潮，为中小企业降低了技术跃迁门槛。模型不再是稀缺资源，而是企业落地AI的入口，这标志着AI技术正变得更加普及和可及。

　　“大模型虽然百家争鸣、百花齐放，但依然处在‘春秋战国’时代，难以决胜。”德华安顾人寿总经理助理、首席信息官肖萍表示。目前，德华安顾人寿已通过搭载统一AI平台，集中管理GPU资源，在金融理财的客服、理赔等业务部署AI，展示了AI技术在金融领域的实际应用。

　　肖萍指出：“作为行业末端的企业，我们要迅速的接入大模型，但也要合理应用以规避风险，不能在一个模型厂商上‘绑死’。”这强调了企业在应用AI技术时需要保持灵活性和多样性。

　　在AI落地过程中，企业面临的挑战之一是如何高效利用异构资源。许多企业同时拥有GPU、CPU等多样化算力，以及公有云、边缘计算和私有数据中心等多种部署环境，这对企业的资源管理能力提出了更高要求。

　　红帽大中华区资深市场总监赵文斌指出，不同部门或业务场景可能使用不同的大模型或定制小模型，使资源管理更加复杂。但开源生态可以兼容这些环境，支持企业的不同业务，为解决资源管理问题提供了有效途径。

　　“开源社区最大的优势是，全球开发者已经打下了一个很好的基础，企业只需要在这个社区中找到觉得不错的技术，拿过来并‘企业化’。”红帽全球副总裁兼大中华区总裁曹衡康说。这凸显了开源社区在企业技术创新中的重要作用。

　　曹衡康透露，企业需要有弹性、可扩容的AI应用平台，同时要兼顾成本与信息安全。其中，AI操作系统（AI OS）是“核心中枢”，负责推理任务调度，并提供标准化接口，保证多模型、多硬件环境下的高效运行，这是企业AI应用平台建设的关键。

　　红帽大中华区首席技术官张家驹进一步解释说，AI OS应通过标准化接口和模块化设计，不仅能对应不同的硬件，还要对应不同模型。这强调了AI OS在兼容性和扩展性方面的重要性。

　　“AI的OS要具备真正的价值，一定是标准化的，可被南向或北向的生态合作伙伴集成的，才会成为市场上单独细分的一层。”张家驹表示，这指出了AI OS未来发展的方向。

　　张家驹表示：“AI OS的核心应该是推理引擎。”推理引擎类似于传统操作系统在CPU上的作用，通过标准化和模块化设计，实现GPU和其他算力的高效利用，同时支持多模型并行运行，这是提升AI应用性能的关键。

　　推理引擎虽然从今年年初起开始被广泛讨论，但依然处于早期阶段。红帽联合产业调研显示，在超过350个企业中，仍有超过51%的企业尚未部署任何推理引擎，这显示了推理引擎市场的巨大潜力和发展空间。

　　其中，vLLM是一个由加州大学伯克利分校团队开发的高性能、开源 LLM 推理和服务引擎，核心目标是提升 LLM 的推理速度（吞吐量）和GPU资源利用率，同时兼容 Hugging Face 等流行模型库，并支持高并发实时服务，为AI推理提供了强大的技术支持。

　　张家驹介绍，红帽在vLLM上的投入，也是其差异化竞争力的重要体现。今年5月，红帽发布了开源项目llm-d，进一步增强vLLM推理能力，为AI推理的规模化落地提供方案，展示了红帽在AI领域的创新实力。

　　全球范围内，Meta的Llama系列也配有推理引擎、微调工具、数据集平台与API接口的生态，但推理框架主要针对自家服务，在跨模型与硬件适配能力方面有限。英伟达的TensorRT则通过GPU的硬件升级，如低精度计算、层融合，提升推理速度和吞吐量，各有其优势和局限性。

　　相比之下，vLLM和SG Lang等开源推理引擎，由于支持多种模型和硬件，更适合企业场景，为企业提供了更多的选择和灵活性。

　　这种多模型、多算力兼容的特性，使企业能够不依赖特定厂商，选择最合适的技术方案，从而推动了AI技术的普及和应用。

　　曹衡康强调，从AI试点到规模化落地，企业应充分利用开源社区的“集群效应”，结合企业级AI平台，实现任意云环境、任意模型和加速器的AI部署，这是企业AI战略的重要方向。

（文章来源：21世纪经济报道）