强强联合!快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元

慧聪广电网 2023-01-10 16:07 来源:慧聪广电网

【慧聪广电网】随着 Z 世代的到来,元宇宙概念正在应用于多个领域,虚拟主播也开始成为新的表现形式,这里面就包括了快手官方虚拟主播“关小芳”。这位 23 岁,爱好是干饭、撸铁和买买买的虚拟主播自首次亮相以来,便凭借着有趣讨喜的人设逐渐成长为快手老铁喜爱的全能主播。

12 月 25 日,快手与 NVIDIA 强势联合,邀请虚拟主播关小芳与它背后的 NVIDIA 程序员小姐姐 Alice,与广大粉丝玩黑科技过圣诞!真人与虚拟主播的完美碰撞,恰逢世界杯刚刚落下帷幕,本场直播还引入了虚拟足球赛,与在线粉丝同频互动,更有多种魔法表情的玩法挑战,只为带给粉丝最好的互动体验。

本场直播共有 382 万人次观众参与了本次直播,有效观看用户数 435.7w,实时最高在线人数 3.7w。在关小芳和 Alice 的带队下,粉丝们对于人工智能、加速计算、虚拟数字技术有了进一步的理解。

强强联合!快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元

一场加时球赛,点亮 2022 年的平安夜

2022卡塔尔世界杯为人们奉上了无数精彩时刻,球迷们除了聚焦绿茵场上的角逐,也在比赛之外感受着浓厚的世界杯氛围。本次直播就新增了一场加时球赛,让球迷们过 “足” 瘾。

强强联合!快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元

有机会参赛的粉丝,入场后会自动生成虚拟形象,进入到不同的阵营。比赛开始后,奔跑、跳跃的操控非常丝滑,如同身临其境!更有变大的特效效果,增加了比赛的可玩性,现场感十足。除了真实感、沉浸感以外,这个球赛最特别的是,每个参与的粉丝都会由于他们不同的活动轨迹而看到不同的场景,实现虚拟互动“千人千面”的效果。

据悉,直播中展示的小芳圣诞足球赛,是由快手推出的「快手虚拟演播助手 Kuaishou Virtual Studio(KVS)」软件来实现的。KVS 可以让传统直播间变成“元宇宙直播间”,为智能文娱、虚拟拍摄、直播电商等带来新的机遇。KVS 支持主播实时表情和动作驱动数字人,置身精美的 3D 虚拟世界场景中,还支持观众化身 Avatar 第角进一人称视入“元宇宙直播间”,实现与主播和其他用户的个性化沉浸式互动。KVS 具备优秀的易用性,可有效提升直播间人气和消费,更好传递品牌价值。

在构建高品质直播画面的过程中,往往会面临许多挑战,这些挑战在沉浸式的元宇宙足球赛中要求更高。NVIDIA 全栈式 AI 加速平台可加速和增强直播所需的视频、图形。凭借全新的 NVIDIA Ampere 架构、更完善的视频编解码器、RT Core 核心、Tensor Core 核心、统一的 CUDA 架构以及大量 SDK 和软件工具,为直播各环节提供全面支持。 

在足球赛中,每一个自动走动的形象,以及参与互动用户自己的独特视角实现,都体现了云端并行渲染能力的支持。NVIDIA CloudXR 是一个在广域网下助力 XR 内容传输的云渲染解决方案,可以很好地丰富 XR 内容。通过 NVIDIA GPU 的加持,再经由网络传输,可以轻松串流到各个不同的电子设备上,包括 AR 眼镜、VR 头盔等。有了 NVIDIA CloudXR 的编解码和串流能力,精美的画质,顺畅的体验唾手可得。这种模式打破了过往统一画面的视觉体验,让观众更有参与感,能和主播更接近。在这个过程中,NVIDIA GPU 就像能量池一样,为直播间源源不断地提供储备好的算力能量。 

揭秘关小芳背后的硬核科技和应用场景

在本次直播中,最引人瞩目的莫过于关小芳的小伙伴——来自 NVIDIA 的程序员小姐姐 Alice,也是关小芳背后的开发人员之一。 

关小芳是快手首个基于多模样 AI 捕捉驱动能力和实时真实感渲染打造的虚拟主播。很多粉丝在体验之余,也不禁好奇:关小芳是如何实现与粉丝实时互动交流的?她背后的技术又是什么?

据 Alice 介绍,数字人的生产可以拆分成人物建模、人物驱动、人物渲染和感知交互四个作业环节。数字人完成人物建模后,会做进一步的美化设计及渲染。最后让中之人穿上动捕设备,进行实时的动作表情捕捉,来驱动数字人的活动。 

NVIDIA 专为 3D 协作、逼真渲染及仿真打造了 NVIDIA Omniverse 平台。借助 Omniverse Avatar Cloud Engine(ACE)引擎能力,能够加速数字人生产的每个作业环节,将数字人的创作周期大幅缩短,创建出具备 3D 光追的特性,还能够和人类实现交互,并合理理解以及表达其意图的数字人。 

如下图所示,直播中展示的 NVIDIA 创始人兼首席执行官黄仁勋的数字分身“Toy Jensen”唱圣诞歌的画面,就展示了最新的语音驱动面部情绪的算法工具 Audio2Emotion 的最新效果。借助 Audio2Face,Audio2Gesture 以及 Face vid2vid 等算法工具,虚拟数字人的语音和表情还能得到进一步的优化和升级,未来将支持关小芳与粉丝更好地互动交流。

强强联合!快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元

在互动中,关小芳和 Alice 还展示了酷炫的特效、道具以及多款魔法表情,包括快手最新研发出来的 #张凤琴这局我赢定了 的新春魔法表情。在该款魔表互动中,关小芳的好朋友,同样由快手研发的虚拟歌手“神奇少女张凤琴”,与用户拍摄的虚拟形象坐在炕上打扑克唠家常,非常喜庆。配合视频默认的声音台词,用户眨眼、张嘴、抬眉毛、吐舌头等微表情和细微动作都能被精准还原,十分逗趣。

强强联合!快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元

在技术层面,数字人特效道具的本质是一种数字资产,基于收集到的动作数据/3D 资产等,加上算法模拟和渲染,在 NVIDIA 计算加持下,实现酷炫的特效和有趣的道具使用。比如关小芳手持的道具,就是先制作这个美术资产后,确定好手部和道具的位置关系,通过按键、手势或其它触发方式呈现出来。又比如小芳使用了大哭特效,开发人员会提前收集小芳大哭的动作数据,再加上眼泪的 3D 资产,利用算法将两者融合起来,形成小芳大哭。又比如小芳非常喜欢的翅膀道具,在这里翅膀是一种 3D 资产,小芳会提前进行飞翔的动作模拟,最后用算法融合有飞翔动作的小芳和翅膀,并通过渲染,最终达到小芳飞翔的效果。

直播间特效,则分为 2D 特效和 3D 特效,是先设计好呈现效果,再进行开发的。相比道具,直播间特效会有一些交互上的考虑,比如人脸表情变化是否产生不同特效,比如特效是否随时间变化有所变化等。

比如,在本次直播中看到的圣诞树点亮、放烟花等一系列的直播间特效,是得益于 NVIDIA 的 AI 加速计算和低时延渲染加以实现。以虚拟形象和虚拟空间为载体,基于实时的数据,对虚拟物体进行实时的渲染,这种互动玩法的设计,背后都有它的触发机制,比如圣诞树点亮,就是当点赞数增加到一定程度就能触发点亮这个动作。保证了观众都能看到并且参与到这个变化的过程,感受沉浸式互动的乐趣。 

强强联合 推动直播形式新元

快手作为国民短视频平台,与 NVIDIA 打造的本次圣诞专场直播,不仅异于其他直播形式,同时出现众多直播领域新技术,新玩法,其中以虚拟互动“千人千面”的技术最为突出,为粉丝们带来沉浸感十足的打卡互动体验。此次快手与 NVIDIA 的强强联合,不仅能在传统直播形式的基础上创新发展,带给粉丝们更加新颖的、互动性更强的直播内容,同时也能够激发科技产品创新能力,为未来打造更加信息化、科技化的产品打下基础,激活竞争力,诞生更有利的价值。科技源于生活,也同时服务于生活,相信在双方团队的碰撞下,快手将持续在内容理解、视频特效、数字人、直播等领域持续创新,将更多优质内容分享给广大用户。

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。