DeepSeek-V3模型引发热议:超越开源模型,训练成本低廉
AI导读:
DeepSeek-V3模型在多项评测中超越其他开源模型,且训练成本低廉,引发海外AI圈热议。然而,在使用过程中出现bug,声称自己是ChatGPT,引发质疑。
“Deepseek-V3超越了迄今为止所有开源模型。”国外独立评测机构Artificial Analysis在测试后给出了高度评价。
12月26日,深度求索官方宣布,其全新系列模型DeepSeek-V3首个版本正式上线并同步开源。该模型为自研MoE模型,拥有671B参数,激活37B,在14.8T token上进行了预训练。DeepSeek-V3在多项评测中超越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型,性能上与GPT-4o以及Claude-3.5-Sonnet不分伯仲。
然而,广发证券的测试结果显示,DeepSeek-V3虽然总体能力与其他大模型相当,但在逻辑推理和代码生成领域具有显著特点。例如,在密文解码任务中,DeepSeek-V3是唯一给出正确答案的大模型;在代码生成任务中,其给出的代码注释、算法原理解释以及开发流程指引也最为全面。
令人瞩目的是,深度求索使用英伟达H800 GPU在短短两个月内就训练出了DeepSeek-V3,仅花费了约558万美元,远低于GPT-4等大模型的训练费用。据外媒估计,Meta的大模型Llama-3.1的训练投资超过了5亿美元。这一低成本高效率的训练方式引发了海外AI圈的广泛热议,OpenAI创始成员Karpathy甚至称赞DeepSeek-V3让在有限算力预算上进行模型预训练变得容易。
然而,在使用过程中,《每日经济新闻》记者发现,DeepSeek-V3竟然声称自己是ChatGPT。这一bug引发了“DeepSeek-V3是否在使用ChatGPT输出内容进行训练”的质疑声。对此,机器学习奠基人之一、美国人工智能促进会前主席Thomas G. Dietterich表示,他对全新的DeepSeek模型的细节还了解不够,无法给出确切答案。但从普遍情况来看,几乎所有的大模型都主要基于公开数据进行训练,没有特别需要合成的数据。
国外独立评测机构Artificial Analysis从质量、价格、性能、上下文窗口等多方面对DeepSeek-V3进行了全面评估。结果显示,DeepSeek-V3质量高于平均水平,价格更便宜,但速度和延迟相对较慢,上下文窗口也较小。尽管如此,DeepSeek-V3的人工智能分析质量指数得分为80,领先于GPT-4o和Llama 3.3 70B等模型,目前仅落后于谷歌的Gemini 2.0 Flash和OpenAI的o1系列模型。DeepSeek-V3已成为中国的AI领先者。
除了能力突出,DeepSeek-V3的低价格和低成本也令人瞩目。其使用费用几乎是Claude 3.5 Sonnet的五十三分之一。这得益于DeepSeek-V3在训练成本控制方面的优化。通过采用高效的负载均衡策略、FP8混合精度训练框架以及通信优化等一系列措施,DeepSeek-V3显著降低了训练成本。同时,通过优化MoE专家调度、引入冗余专家策略以及通过长上下文蒸馏提升推理性能等方式,实现了算力利用效率的大幅提升。
科技媒体Maginative的创始人兼主编Chris McKay认为,DeepSeek-V3代表了一种潜在的范式转变,即大型语言模型的开发方式。这一成就表明,通过巧妙的工程和高效的训练方法,可能无需以前认为必需的庞大计算资源就能实现人工智能的前沿能力。随着开源模型与闭源模型之间的差距不断缩小,公司可能需要在一个竞争日益激烈的市场中重新评估他们的策略和价值主张。
不过,广发证券分析师认为,算力依然是推动大模型发展的核心驱动力。尽管DeepSeek-V3在算力成本降低方面取得了显著成果,但在实际应用中,推理过程仍然需要强大的算力支持。因此,DeepSeek-V3的技术路线得到充分验证后有望驱动相关AI应用的快速发展,但算力需求增长的因素也有望得到增强。
另外值得注意的是,在试用DeepSeek-V3过程中,《每日经济新闻》记者发现该模型竟然声称自己是ChatGPT。国内外很多用户也都反映了这一现象。有人开始质疑DeepSeek-V3是否是在ChatGPT的输出基础上训练的。对此,深度求索尚未给出回复。伦敦国王学院专门研究人工智能的研究员Mike Cook指出,AI公司在互联网上获取大量训练数据时可能会看到竞争对手AI系统的输出,这可能对模型质量产生“非常糟糕”的影响。据外媒估计到2026年90%的互联网数据将由AI生成这种“污染”使得从训练数据集中彻底过滤AI输出变得相当困难。
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

