AI导读:

华为近日推出参数规模高达7180亿的全新MoE模型——盘古Ultra MoE,全流程在昇腾AI计算平台上训练。同时发布技术报告,披露技术细节,展现昇腾在超大规模MoE训练性能上的卓越实力。这一突破为AI技术发展注入新活力。

人民财讯5月30日电,近日,华为在MoE模型训练领域取得新突破,推出参数规模高达7180亿的全新模型——盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型,标志着华为在人工智能领域再攀高峰。同时,华为发布了盘古Ultra MoE模型架构和训练方法的技术报告,详细披露了众多技术细节,彰显了昇腾在超大规模MoE训练性能上的卓越实力。

据悉,训练如此大规模且极高稀疏性的MoE模型难度极大,训练过程中的稳定性问题尤为突出。为此,盘古团队在模型架构和训练方法上大胆创新,成功克服了这一难题,在昇腾平台上实现了准万亿MoE模型的全流程训练,为人工智能技术的发展注入了新的活力。

(文章来源:人民财讯)

华为的这一突破不仅展示了其在AI技术研发上的深厚实力,也为全球AI领域的发展提供了新的思路和方向。随着人工智能技术的不断发展和应用,相信华为将继续在这一领域发挥引领作用,为人类社会的进步贡献更多力量。