强强联合！快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元
【慧聪广电网】随着 Z 世代的到来，元宇宙概念正在应用于多个领域，虚拟主播也开始成为新的表现形式，这里面就包括了快手官方虚拟主播“关小芳”。这位 23 岁，爱好是干饭、撸铁和买买买的虚拟主播自首次亮相以来，便凭借着有趣讨喜的人设逐渐成长为快手老铁喜爱的全能主播。
12 月 25 日，快手与 NVIDIA 强势联合，邀请虚拟主播关小芳与它背后的 NVIDIA 程序员小姐姐 Alice，与广大粉丝玩黑科技过圣诞！真人与虚拟主播的完美碰撞，恰逢世界杯刚刚落下帷幕，本场直播还引入了虚拟足球赛，与在线粉丝同频互动，更有多种魔法表情的玩法挑战，只为带给粉丝最好的互动体验。
本场直播共有 382 万人次观众参与了本次直播，有效观看用户数 435.7w，实时最高在线人数 3.7w。在关小芳和 Alice 的带队下，粉丝们对于人工智能、加速计算、虚拟数字技术有了进一步的理解。
一场加时球赛，点亮 2022 年的平安夜
2022卡塔尔世界杯为人们奉上了无数精彩时刻，球迷们除了聚焦绿茵场上的角逐，也在比赛之外感受着浓厚的世界杯氛围。本次直播就新增了一场加时球赛，让球迷们过 “足” 瘾。
有机会参赛的粉丝，入场后会自动生成虚拟形象，进入到不同的阵营。比赛开始后，奔跑、跳跃的操控非常丝滑，如同身临其境！更有变大的特效效果，增加了比赛的可玩性，现场感十足。除了真实感、沉浸感以外，这个球赛最特别的是，每个参与的粉丝都会由于他们不同的活动轨迹而看到不同的场景，实现虚拟互动“千人千面”的效果。
据悉，直播中展示的小芳圣诞足球赛，是由快手推出的「快手虚拟演播助手 Kuaishou Virtual Studio（KVS）」软件来实现的。KVS 可以让传统直播间变成“元宇宙直播间”，为智能文娱、虚拟拍摄、直播电商等带来新的机遇。KVS 支持主播实时表情和动作驱动数字人，置身精美的 3D 虚拟世界场景中，还支持观众化身 Avatar 第角进一人称视入“元宇宙直播间”，实现与主播和其他用户的个性化沉浸式互动。KVS 具备优秀的易用性，可有效提升直播间人气和消费，更好传递品牌价值。
在构建高品质直播画面的过程中，往往会面临许多挑战，这些挑战在沉浸式的元宇宙足球赛中要求更高。NVIDIA 全栈式 AI 加速平台可加速和增强直播所需的视频、图形。凭借全新的 NVIDIA Ampere 架构、更完善的视频编解码器、RT Core 核心、Tensor Core 核心、统一的 CUDA 架构以及大量 SDK 和软件工具，为直播各环节提供全面支持。
在足球赛中，每一个自动走动的形象，以及参与互动用户自己的独特视角实现，都体现了云端并行渲染能力的支持。NVIDIA CloudXR 是一个在广域网下助力 XR 内容传输的云渲染解决方案，可以很好地丰富 XR 内容。通过 NVIDIA GPU 的加持，再经由网络传输，可以轻松串流到各个不同的电子设备上，包括 AR 眼镜、VR 头盔等。有了 NVIDIA CloudXR 的编解码和串流能力，精美的画质，顺畅的体验唾手可得。这种模式打破了过往统一画面的视觉体验，让观众更有参与感，能和主播更接近。在这个过程中，NVIDIA GPU 就像能量池一样，为直播间源源不断地提供储备好的算力能量。
揭秘关小芳背后的硬核科技和应用场景
在本次直播中，最引人瞩目的莫过于关小芳的小伙伴——来自 NVIDIA 的程序员小姐姐 Alice，也是关小芳背后的开发人员之一。
关小芳是快手首个基于多模样 AI 捕捉驱动能力和实时真实感渲染打造的虚拟主播。很多粉丝在体验之余，也不禁好奇：关小芳是如何实现与粉丝实时互动交流的？她背后的技术又是什么？
据 Alice 介绍，数字人的生产可以拆分成人物建模、人物驱动、人物渲染和感知交互四个作业环节。数字人完成人物建模后，会做进一步的美化设计及渲染。最后让中之人穿上动捕设备，进行实时的动作表情捕捉，来驱动数字人的活动。
NVIDIA 专为 3D 协作、逼真渲染及仿真打造了 NVIDIA Omniverse 平台。借助 Omniverse Avatar Cloud Engine（ACE）引擎能力，能够加速数字人生产的每个作业环节，将数字人的创作周期大幅缩短，创建出具备 3D 光追的特性，还能够和人类实现交互，并合理理解以及表达其意图的数字人。
如下图所示，直播中展示的 NVIDIA 创始人兼首席执行官黄仁勋的数字分身“Toy Jensen”唱圣诞歌的画面，就展示了最新的语音驱动面部情绪的算法工具 Audio2Emotion 的最新效果。借助 Audio2Face，Audio2Gesture 以及 Face vid2vid 等算法工具，虚拟数字人的语音和表情还能得到进一步的优化和升级，未来将支持关小芳与粉丝更好地互动交流。
在互动中，关小芳和 Alice 还展示了酷炫的特效、道具以及多款魔法表情，包括快手最新研发出来的 #张凤琴这局我赢定了 的新春魔法表情。在该款魔表互动中，关小芳的好朋友，同样由快手研发的虚拟歌手“神奇少女张凤琴”，与用户拍摄的虚拟形象坐在炕上打扑克唠家常，非常喜庆。配合视频默认的声音台词，用户眨眼、张嘴、抬眉毛、吐舌头等微表情和细微动作都能被精准还原，十分逗趣。
在技术层面，数字人特效道具的本质是一种数字资产，基于收集到的动作数据/3D 资产等，加上算法模拟和渲染，在 NVIDIA 计算加持下，实现酷炫的特效和有趣的道具使用。比如关小芳手持的道具，就是先制作这个美术资产后，确定好手部和道具的位置关系，通过按键、手势或其它触发方式呈现出来。又比如小芳使用了大哭特效，开发人员会提前收集小芳大哭的动作数据，再加上眼泪的 3D 资产，利用算法将两者融合起来，形成小芳大哭。又比如小芳非常喜欢的翅膀道具，在这里翅膀是一种 3D 资产，小芳会提前进行飞翔的动作模拟，最后用算法融合有飞翔动作的小芳和翅膀，并通过渲染，最终达到小芳飞翔的效果。
直播间特效，则分为 2D 特效和 3D 特效，是先设计好呈现效果，再进行开发的。相比道具，直播间特效会有一些交互上的考虑，比如人脸表情变化是否产生不同特效，比如特效是否随时间变化有所变化等。
比如，在本次直播中看到的圣诞树点亮、放烟花等一系列的直播间特效，是得益于 NVIDIA 的 AI 加速计算和低时延渲染加以实现。以虚拟形象和虚拟空间为载体，基于实时的数据，对虚拟物体进行实时的渲染，这种互动玩法的设计，背后都有它的触发机制，比如圣诞树点亮，就是当点赞数增加到一定程度就能触发点亮这个动作。保证了观众都能看到并且参与到这个变化的过程，感受沉浸式互动的乐趣。
强强联合 推动直播形式新元
快手作为国民短视频平台，与 NVIDIA 打造的本次圣诞专场直播，不仅异于其他直播形式，同时出现众多直播领域新技术，新玩法，其中以虚拟互动“千人千面”的技术最为突出，为粉丝们带来沉浸感十足的打卡互动体验。此次快手与 NVIDIA 的强强联合，不仅能在传统直播形式的基础上创新发展，带给粉丝们更加新颖的、互动性更强的直播内容，同时也能够激发科技产品创新能力，为未来打造更加信息化、科技化的产品打下基础，激活竞争力，诞生更有利的价值。科技源于生活，也同时服务于生活，相信在双方团队的碰撞下，快手将持续在内容理解、视频特效、数字人、直播等领域持续创新，将更多优质内容分享给广大用户。
