当前位置:主页 > 发布飞机 >Red Pill Live靠人工智慧捕捉动作 虚拟网红平民化 >
Red Pill Live靠人工智慧捕捉动作 虚拟网红平民化
上传时间:2020-05-22点击:478次

虚拟网红、虚拟主播,或称VTuber、V-Liver,他们的人气正在网路社群中逐渐崛起。让这些角色活起来的动作捕捉技术也因此受到关注,有成本低、效果好的工具,人人都有机会成为虚拟网红。Red Pill Live是由Red Pill Lab针对全身动作捕捉与表演所研发的软体,基于人工智慧技术,只要6个感测器、1个麦克风,就可捕捉全身动作、表情和嘴型,成本相较传统动作捕捉摄影棚大幅降低。

▲ Red Pill Lab执行长石千泓(左)与技术长DOBRY TODOROV(图/Matt Kan摄)

以好莱坞等级的动作捕捉系统而言,整套大约要30万美金,扮演虚拟角色的演员身上、脸上大概也贴满了感测器。我们之前参观日本V-Liver工作室,摄影棚总共架了16台摄影机,演员身上穿了53个感测器,整间工作室大概有十几位员工。不过类似的效果,以Red Pill Live一个人就可做到,整套设备一个背包就可以装起来,也不需要摄影棚。

关键在于人工智慧技术。Red Pill Lab执行长石千泓表示,他们一年前加入NVIDIA专案计画,蒐集了超过4,000个动作资料,运用NVIDIA Quadro RTX Tensor Core来训练动作预测模型,靠捕捉头、双手、腰、双脚共6个感测器,就可预测出人体动作。表情、嘴巴的部份则是靠声音资料训练,以演员说话的声音预测情绪及嘴型。

我们实际观察Red Pill Live现场示範,身体动作的反应相当即时。表情、嘴部动作也很即时,但没有很精準。石千泓说明,表情他们是设定高、中、低、正常四种情绪,依据当下的口气来预测情绪显示。嘴型不是依据语言显示,而是学习了如a、i、u、e、o等14种发音的嘴型,依据发音即时反应在虚拟角色嘴巴上。目前正不断训练人工智慧,希望未来可以更精準。


▲ Red Pill Live示範影片

但老实说,除了花大钱的影视、游戏产业能做到相当逼真,一般网路上的虚拟网红其实也不求真实,主要在传达虚拟角色的形象、个性、互动。Red Pill Live的效果已经相当出色,而且可做即时直播,应可让表演者有更大发挥空间。而且如果预算高一些,用支援虚幻引擎(Unreal Engine)的Red Pill Live版本、搭配NVIDIA Quadro RTX 6000 RT Core的话,可做到4K即时光线追蹤,输出影像的光影效果更棒。


▲ Red Pill Live Unreal版搭配NVIDIA RTX 6000的效果

Red Pill Live内容导入、汇出使用流通的.fbx三维模型格式,可与Maya、3DS Max Studio专业动画软体桥接,或将动作捕捉资料导入商业引擎如虚幻引擎、Unity等驱动数位角色。目前客户遍及台湾、大陆、日本、韩国、美国、加拿大,应用场景包含教育、动画、互动剧场、游戏等。

Red Pill Live企业版价格约几十万,石千泓表示今年计画在Steam平台推出云端版,採月租收费,届时就适合个人使用了。

史塔夫短评:虚拟角色要遍地开花了。

pill动作red虚拟live即时网红角色
上一篇: 下一篇:

猜你喜欢