炼数成金 门户 商业智能 人工智能 查看内容

AI 编舞帮助你制作下一个舞蹈视频

2020-1-2 17:25| 发布者: 炼数成金_小数| 查看: 11192| 评论: 0|来自: 英伟达NVIDIA中国

摘要: 为了帮助人们自动创建舞蹈视频,NVIDIA 研究人员与加州大学默塞德分校(University of California, Merced)合作开发了一种基于深度学习的模型,该模型可以自动编排多样化、风格一致并与节拍匹配的新舞蹈动作。NVIDI ...
为了帮助人们自动创建舞蹈视频,NVIDIA 研究人员与加州大学默塞德分校(University of California, Merced)合作开发了一种基于深度学习的模型,该模型可以自动编排多样化、风格一致并与节拍匹配的新舞蹈动作。

NVIDIA 研究人员在 2019 年于加拿大温哥华召开的神经信息处理系统大会(NeurIPS 2019)上发表的论文中指出:“这是一项具有挑战性但有趣的生成任务,这项生成任务在帮助人们创作艺术和体育内容上极具潜力,例如文艺表演、艺术体操和花样滑冰。”


生成的舞蹈序列第二行:音乐节拍;第三行:运动节拍

这项工作的核心是一个由分解到合成的框架,该框架首先学习如何做出舞蹈动作,然后学习如何组成新的舞蹈。


分解到合成框架的示意图

在自上而下的分解阶段,团队使用运动学节拍检测器对从真实舞蹈序列中分割出来的舞蹈单元进行标准化。然后他们训练 DU-VAE 来模拟舞蹈单元。在自下而上的合成阶段,给定一段对应的音乐和舞蹈,团队利用 MM-GAN 学习如何根据给定音乐组织舞蹈单元。在测试阶段,研究人员从输入音乐中提取风格和节拍,然后以循环方式合成一系列舞蹈单元,最后,将节拍整形器应用于生成的舞蹈单元序列以渲染输出舞蹈。

研究人员搜集了三大最具有影响力的舞种(芭蕾舞、尊巴、嘻哈)的 361000 个片段(或约 71 个小时的舞蹈镜头)来训练系统使用的生成对抗网络(GAN)。

该团队还应用了 OpenPose 进行舞蹈姿态处理。OpenPose 是一个由卡内基梅隆大学(Carnegie Mellon University)开发的开源实时多人系统,用于单幅图像中的身体、手、面部和足部关键点的联合检测。

在这项工作中,研究人员采用了 NVIDIA V100 GPU,并使用了 PyTorch 深度学习框架训练模型。在以后工作中,该团队计划将可编舞的舞种扩大到包括流行舞、交谊舞在内的其他舞种。

视频演示

研究人员在论文中指出:“广泛的定性和定量评估表明,该方法合成的舞蹈不仅逼真多样,而且风格一致且节拍匹配。”

该研究的源代码和原型会在大会结束后于 Github 上发布。

声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2020-1-19 09:42 , Processed in 0.262557 second(s), 25 queries .