中文数据助力AI大模型性能提升,国家数据局推动高质量发展
AI导读:
中文数据在国内AI大模型训练中发挥关键作用,占比超60%,推动模型性能快速提升。国家数据局数据显示,我国日均Token消耗量一年半增长300多倍,高质量数据集建设加速,数据交易需求攀升。
中文数据在国内AI大模型的训练性能提升方面发挥着重要作用,成为推动AI发展的关键力量。国家数据局近日发布的数据显示,目前国内多数AI模型训练使用的中文数据占比已经超过60%,有的模型甚至达到80%。中文高质量数据的开发和供给能力持续增强,为我国人工智能模型性能快速提升提供了坚实支撑。
国家数据局局长刘烈宏表示,我国人工智能的快速发展,与高度重视数据工作密不可分。作为人工智能发展的核心要素之一,数据在推动“人工智能+”过程中发挥着关键作用,高质量数据集的建设对于AI发展至关重要。
“在人工智能时代,Token,也就是大家通常所说的词元,是处理文本的最小数据单元,如同互联网时代大家所说的‘流量’。”刘烈宏介绍,2024年初,我国日均Token的消耗量为1000亿,到今年6月底,日均Token消耗量已经突破30万亿,一年半时间增长了300多倍,这充分反映了我国人工智能应用规模的快速增长。
据介绍,截至今年6月底,我国已经建设高质量数据集超过3.5万个,总体量超过了400PB(1PB可存储约5亿张2MB大小的高清照片),400PB的总量相当于中国国家图书馆数字资源总量的140倍左右,数据规模之庞大令人瞩目。
人工智能模型的训练也推动了数据交易需求的攀升。截至今年6月底,各地高质量数据集累计交易额近40亿元,数据交易机构挂牌的高质量数据集总规模达到了246PB,数据交易市场日益活跃。
下一步,国家数据局将通过体系化布局持续推进高质量数据集建设,加快打造具身智能、低空经济、生物制造等重点领域数据高地,推动全社会强化数据要素价值认同,加快推进数据要素价值共创,培育“为优质数据买单”的市场共识。
(文章来源:新华社)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

