设为首页收藏本站
VR资源库 首页 VR资讯 VR行业新闻 查看内容

迪士尼新技术:给CG动画或者虚拟人物实时配音

2017-9-7 11:37| 发布者: vrzyk2016| 查看: 563| 评论: 0

迪士尼研究院协同几所大学的研究人员,最近发表论文,介绍了一项最新研究成果:通过机器深度学习,模拟真实人类语言和发音与口型之间的关系,实时为VR中的虚拟人物或者动画CG角色配音。

从视频来看,不仅声音是原装的,而且口型也是基本吻合的。

在上面提到的论文里,研究人员阐述了这个“深度学习/神经网络”(deep learning / neural network)系统,通过同一位演讲者的8小时共2543个句子讲话的训练,习得口型与不同音节之的匹配,并且能够将不同的发音与口型实时对应起来。

从迪士尼发布的视频看到,经过训练,这套系统可以分析来自不同人说的不同语种的语言(中文那个有惊喜)。自动匹配好相应的口型。并且自动关联到动画或者虚拟人物的面部动作。

迪士尼在演示视频中介绍,通过深入学习的系统具有下列几个很具吸引力的特性:实时运行,极少需要修正参数,轻松调整语言逻辑,易于编辑,创建个性化和带有情感的语言,并且与现有的动画重定向方式兼容。

目前给动画片的CG角色配音都是由技术熟练的动画师手工完成。比如我们此前介绍过今年奥斯卡最佳视效提名影片、迪士尼的《奇幻森林》中,为猩猩王Louie配音的是大家熟悉的老戏骨Christopher Walken(蝙蝠侠、断头谷等,1978年奥奖最佳男配)。观众会觉得他的样貌特征有一种与Louie合体的感觉,这也是这部影片特效团队的杰作——把为动物角色配音的明星们的面貌特征与动物角色融合在一起,创建CG的明星“动物形象。 比如为那只熊配音的老比尔·莫瑞。但是这么做需要付出的代价(技术、资源和预算)都是超高的,否则也不会赢得奥斯卡提名。这对于高票房回馈的好莱坞当然是可行的,但更大范围的普及应用就不能都指望用得起特效团队了。

目前迪士尼的这套最新机器神经系统,虽然暂时还无法实现大银幕上那种,配音与角色表情合二为一的清晰逼真效果。但是它的自动合成和实时配音还是在很多场合都有很实际的应用。比如大型角色扮演的游戏直播、没钱请动画师手工制作或者受时效性限制(直播)的项目等。

在VR里,这个系统可以为用户的虚拟形象实时配音。不仅保持现实中的声音,甚至还有口型。这似乎解决了目前VR社交中虚拟阿凡达与现实角色“同步开口”的问题。虽然面部动作捕捉技术实际上是跟踪口型最准确的方式,但就目前的情形看,想要这一技术普遍进入市场应用仍然需要一个较长的时间,在此之前,迪士尼的这个机器神经系统还是能顶上用场的。

从视频演示的demo来看也是非常轻松的。只需要录制一段话,然后系统就会自动匹配到选定的动画角色上。而且并不界定语种,你说什么语言,都可以实时配音。虽然略显粗糙,但的确很好玩。不管是看着一个模拟真实人类的虚拟人开口说跟自己一样的话、还是看着一头猩猩模仿你的语言。都又惊悚又好笑。

https://v.qq.com/x/page/u0538ogh3vh.html

另一方面,即使不能用在大银幕上,这个系统其实对于动画和VR内容的创作、甚至社交平台上的应用都是很吸引人的。

相关链接:

迪士尼最新混合现实技术:无需头盔手控直接与CG电影角色互动

5部特效巨制 谁将获得89届奥斯卡最佳视效奖

实战经验:迪士尼设计师教你VR交互设计

[ vrzyk.cn原创资讯未经正式书面许可不得转载|视频/图片来自YouTube]

温馨提示:
1、在VR资源库里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、VR资源库的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对VR资源库进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。

鲜花

握手

雷人

路过

鸡蛋
收藏 邀请

最新评论

关于我们
关于我们
友情链接
帮助中心
版权说明
服务支持
投稿说明
广告售价单
关注我们
官方微博
官方微信
返回顶部