华为推出准万亿MoE模型,国产AI迎重大突破
华为在MoE模型训练领域取得新突破,推出参数规模高达7180亿的全新模型——盘古Ultra MoE,彰显昇腾在超大规模MoE训练性能上的卓越实力。此举标志着国产算力与国产模型实现重大突破,为中国AI产业的崛起提供了有力支撑。...
华为推出准万亿MoE模型——盘古Ultra MoE,引领AI技术发展
华为近日推出参数规模高达7180亿的全新MoE模型——盘古Ultra MoE,全流程在昇腾AI计算平台上训练。同时发布技术报告,披露技术细节,展现昇腾在超大规模MoE训练性能上的卓越实力。这一突破为AI技术发展注入新活力。...
DeepSeek开源FP8 GEMM库DeepGEMM,加速AI行业发展
DeepSeek在开源周上宣布开放高效的FP8 GEMM库DeepGEMM,该库支持稠密模型和MoE模型的GEMM运算,通过FP8和硬件级优化解决大模型计算效率和资源消耗的痛点,或将成为AI计算生态的“基础设施”,推动行业向更高效、低成本方向发展。...
DeepSeek发布DeepEP:MoE模型训练推理新利器
DeepSeek发布了首个用于MoE模型训练和推理的开源EP通信库DeepEP,该技术能提升模型并行处理能力和训练效率,为AI领域注入新动力。...
DeepSeek开源DeepEP通信库,加速MoE模型训练与推理
DeepSeek在“开源周”活动中开源了DeepEP通信库,专为MoE模型训练和推理设计,支持NVLink和RDMA,具备高吞吐量和低延迟内核,显著提升训练和推理效率,降低计算资源消耗,加速AI行业发展。...



