AI导读:

9月29日DeepSeek发布V3.2-Exp模型,引入稀疏注意力机制优化长文本处理。寒武纪、华为昇腾迅速适配,开源相关代码,实现高效推理部署。DeepSeek持续迭代,提升模型性能和用户体验。

  9月29日,Deepseek发布DeepSeek-V3.2-Exp模型版本,这是一个实验性(Experimental)版本,在V3.1-Terminus基础上引入DeepSeek Sparse Attention(稀疏注意力机制),针对长文本训练和推理效率进行探索性优化和验证。目前,DeepSeek的App、网页端、小程序均已同步更新,且API价格因服务成本降低而大幅下调,开发者调用成本将降低50%以上,这一科技进展为AI开发带来新机遇。

  记者注意到,9月29日晚,寒武纪在“寒武纪开发者”公众号发文称,已同步实现对DeepSeek-V3.2-Exp的适配,并开源大模型推理引擎vLLM-MLU源代码。开发者可在寒武纪软硬件平台上第一时间体验该模型亮点。寒武纪一直高度重视大模型软件生态建设,支持主流开源大模型,此次通过快速适配和优化,再次展现了其在AI领域的技术实力。

  寒武纪表示,借助于长期活跃的生态建设和技术积累,得以快速实现对DeepSeek-V3.2-Exp这一全新实验性模型架构的day 0适配和优化。此前,公司对DeepSeek系列模型进行深入的软硬件协同性能优化,达成了业界领先的算力利用率水平。针对新模型架构,寒武纪通过Triton算子开发实现快速适配,并利用BangC融合算子开发实现极致性能优化,为AI模型的高效运行提供了有力保障。

  “华为计算”公众号也发文称,昇腾已快速基于vLLM/SGLang等推理框架完成DeepSeek-V3.2-Exp的适配部署,实现0day支持,并开源所有推理代码和算子实现。华为昇腾在模型发布开源后即实现BF16模型部署,并在CANN平台上完成优化适配,整体部署策略沿用DeepSeek的大EP并行方案,针对稀疏DSA结构实现长序列亲和的CP并行策略,确保高效推理生成,这一系列举措进一步推动了AI技术的发展和应用。

  近日,DeepSeek持续推进模型迭代。8月21日发布DeepSeek-V3.1,一个月后的9月22日更新至DeepSeek-V3.1-Terminus版本,针对用户反馈改进,包括缓解中英文混杂等情况,不断提升模型性能和用户体验。

(文章来源:中国证券报)