AI导读:

腾讯混元宣布开源两款最新的大模型产品,分别是MoE架构的大语言模型“Hunyuan-Large”和3D生成大模型“Hunyuan3D-1.0”。此举引发了国内大模型行业关于开源和闭源孰优孰劣的激烈讨论。


11月5日,腾讯混元正式推出了两款重量级的大模型产品——“Hunyuan-Large(混元Large)”和“Hunyuan3D-1.0”,并宣布对这两款产品进行开源。这两款模型均支持企业开发者进行精调和部署,并已同步上线HuggingFace和Github等技术社区,开发者可免费商用。

腾讯方面称,混元Large是目前开源领域参数规模最大、效果最佳的MoE模型,而混元3D生成大模型则是业界首个同时支持文字和图像生成3D的开源大模型。两款模型均为腾讯自研,在架构、算法、数据等多个方面都有所创新。

腾讯机器学习平台总监康战辉表示,腾讯本次开源的模型都是自己内部业务已经在用的模型,腾讯不急于为了开源而开源。

同时,腾讯还表示,未来将继续加大开源力度,坚持自主可控,并将开源部分大模型工程框架(AnglePTM和AngleHCF),以期让行业开发者和企业能以更低成本使用这些开源大模型。

混元Large模型总参数量为389B,激活参数量52B,采用MoE(Mixture of Experts)混合专家模型结构,这是目前国内外主流的大模型结构。今年年初,混元大模型在国内率先采用MoE架构,性能比上一代Dense模型提升50%。随后,腾讯又连续推出了基于MoE架构的多模态理解大模型以及基础模型“混元turbo”。

在模型训练层面,腾讯混元Large构建了覆盖数十个类目的中英文合成数据,以解决自然数据不足的问题。康战辉指出,全球自然数据可能在2026年被全部用完,因此高质量的合成数据在未来的大模型训练中非常关键,腾讯在这方面具有一定优势。

此外,混元Large模型的长文能力也是其对外展现的一个重要亮点。它基于公开数据构建了一套覆盖长文阅读理解、多文档摘要总结和长文逻辑推理领域的数据集企鹅卷轴(PenguinScrolls),用以解决长文领域测评数据集缺乏、方法不够客观等问题。该评测集也将同步对外开放。

目前,混元Large模型的长文能力已在“腾讯元宝”上应用,最大支持256K上下文,相当于一本《三国演义》的内容长度。

另一款开源模型Hunyuan3D-1.0则针对现有3D生成模型在生成速度和泛化能力上的不足,强调泛化能力和可控性,能够重建从建筑到工具、花草等各类尺度的物体,帮助开发者自动化生产3D资产。

腾讯混元3D生成大模型的首批开源模型包含轻量版和标准版,其中轻量版据称能在10秒内生成高质量3D资产,包含模型权重、推理代码、模型算法等完整模型,可供开发者、研究者等各类用户免费使用。

目前,3D生成相关技术已在腾讯内部大量业务中应用,包括UGC 3D创作、商品素材合成、游戏3D资产生成等场景。

今年4月,百度创始人李彦宏曾表示开源模型会越来越落后,而阿里云首席技术官周靖人则对此表示质疑,认为开源对全球技术和生态的贡献毋庸置疑。这番言论引发了国内大模型行业关于开源和闭源孰优孰劣的激烈讨论。

从国内现状来看,阿里和腾讯等云大厂更倾向于开源模型路线,而月之暗面和智谱AI等创业公司则选择闭源路线。这背后更多的是对商业价值的考量。

对于头部大厂而言,大模型的训练成本在可接受范围内,其商业模式重心放在云服务层面,希望通过拓展大模型客户来提升自家云服务的订单量和市场份额。而创业公司则因研发投入主要来源于外部融资,对大模型本身的盈利能力有较高需求。

闭源大模型目前主要依靠API调用来向开发者收费,在C端则主要依靠会员费来变现。然而,从目前市面上的产品表现来看,李彦宏当初关于开源模型会越来越落后的预言尚未成真。

康战辉宣称,Hunyuan-Large大模型的效果要比目前业内所有同行的开源模型更好。根据腾讯方面给出的公开测评结果,混元Large在多学科综合评测集以及中英文NLP任务、代码和数学等维度,都超过了Llama3.1、Mixtral等主流开源大模型。

康战辉还表示,腾讯的开源大模型不仅要在中文领域领先,还希望在英文领域也能保持领先,未来还将发布更多开源模型产品。

虽然腾讯的目标能否实现尚未可知,但可以预见的是,在未来很长一段时间内,国产大模型行业都将处于开源和闭源共存的模式,彼此之间的竞争只会越来越激烈。

(文章来源:界面新闻)