可灵AI数字人功能上线,视频生成与对口型测试引关注
AI导读:
9月18日,新京报贝壳财经记者获悉,可灵AI推出数字人功能,最长支持1分钟视频生成。通过先进技术实现语音与唇形同步,测试显示中文歌对口型表现较好。
新京报贝壳财经讯(记者韦英姿)9月18日,新京报贝壳财经记者自快手获悉,可灵AI近日已推出数字人功能,AI数字人最长支持生成1分钟的视频,目前产品公测陆续开放中。这一创新功能为视频创作领域注入了新活力,数字人视频生成成为行业新热点。快手方面表示,可灵AI数字人通过音画高度对齐的交叉注意力机制、强化口型的训练策略以及精细化的数据处理,能够实现语音与唇形的同步;采用关键帧控制的架构,模型先构建高层次叙事骨架,再并行生成多个片段的数字人视频,可在保持身份一致的前提下,实现一定长度视频生成。

可灵AI数字人功能页面。企业供图
贝壳财经记者分别以中文、英文、韩文歌曲测试了可灵AI数字人的对口型功能,在同一段8秒视频中,该功能识别中文歌的表现相对好于英文、韩文歌,英文、韩文歌中的个别单词与数字人的口型仍无法较好拟合。随着技术不断优化,AI对口型功能有望进一步提升,为跨语言视频创作带来更多可能。
(文章来源:新京报)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。

