深度揭秘：Netflix在先进视频编码技术领域的押注
【慧聪广电网】Anne Aaron就是无法克制自己。
作为Netflix的高级编码技术总监，Aaron在今年早些时候观看了公司直播的美国演员工会奖颁奖典礼。当全世界都在惊叹那些明星及其在闪光灯海洋中闪耀的华丽服装时，Aaron的大脑立刻开始分析Netflix编码技术所面临的各种视觉挑战。“天哪，这些内容编码起来太难了。”她回忆道，在我最近于加州洛斯加托斯的Netflix办公室采访她时，她这样说道。
过去13年里，Aaron一直致力于优化Netflix对电影和电视节目的编码方式。她和她的团队所做的工作使公司能够通过较慢的连接提供画质更佳的流媒体，并且仅对于4K流媒体就实现了50%的带宽节省，这是Aaron提供的数据。Netflix的编码团队还为全行业改进流媒体的努力做出了贡献，包括开发AV1视频编解码器及其最终的继任者。
现在，Aaron正准备应对Netflix的下一步发展：不再满足于仅仅作为一个追剧平台，去年还涉足云游戏和直播领域。截至目前，Netflix主要涉足的是像美国演员工会奖这样的独立直播活动。
但从明年开始，该公司每周一都将直播WWE RAW。这一摔跤节目从康卡斯特旗下的美国电视台手中被Netflix夺得，长期以来它一直是该频道收视率第一的节目，经常吸引约170万观众。持续不断地满足这一观众群体的需求，带来了一些前所未有的挑战。
“这与我们以往针对VoD的编码管道完全不同。”Aaron说，她使用了业内对按需视频流（On-Demand Video Streaming）的简称，“我对我的团队提出的挑战是达到与VoD相同的带宽要求，但要做到更快，实时处理。”
为了实现这个目标，Aaron和她的团队几乎需要从头开始，抛开过去十多年间他们为优化Netflix流媒体所学到的一切知识——这十年间，Netflix的视频工程师们多次重新编码公司的整个内容库，开始运用机器学习确保Netflix的流媒体画面质量良好，甚至在遇到《芭比梦幻屋大冒险》（Barbie Dreamhouse Adventures）这类节目让公司编码器陷入困境时，被迫调整他们的方法。
当Aaron在2011年加入Netflix时，公司对待流媒体的方式与其他在线视频行业者大致相同。“我们必须支持极其多样的设备，”Aaron解释道，“非常旧的电视，新电视，移动设备，机顶盒：这些设备可能有不同的带宽需求。”
为了满足这些需求，Netflix按照预定义的编码参数列表（Aaron和她的同事喜欢称之为“配方Recipes”）的一系列设置，对每个视频以不同的比特率和分辨率进行编码。在那个时代，连接速度非常慢的观众会自动接收240p分辨率、比特率为235 kbps的流媒体；较快的连接则可获得1750 kbps 720p视频；Netflix的流媒体质量上限为1080p，比特率为5800 kbps。
公司的内容分发服务器会根据观众的设备类型和宽带速度自动选择最合适的版本，并在遭遇网络延迟时即时调整流媒体质量。
对Aaron来说，这种编码挑战的洞察力让她觉得这种做法不够完善。为何要以同样的带宽来传输视觉上复杂度大不相同的节目，比如动作电影中有追车和爆炸场景（大量的动态变化和闪烁的灯光及烟雾），而动画片则简单得多？“动画所需的比特数更少，”Aaron解释道。
当时在平台上大受欢迎的《小马宝莉》（My Little Pony）在视觉复杂度上远不如实拍内容。对两者使用同样的编码“配方”并不合理。因此，自2015年起，Netflix开始以针对每个节目的精细化设置重新编码其全部的内容库。采用这种新的、基于节目的方法后，动画内容仅需1.5 Mbps就可以以1080p的清晰度进行传输。
探显家：这种转变体现了Netflix对优化流媒体体验的不懈追求，特别是在提升带宽利用效率方面。通过识别并适应不同类型内容的视觉特性，公司能够为用户在各种设备上提供更加高效且高质量的视频流。
转向基于节目的编码策略平均节省了约20%的带宽——这足以为北美和欧洲市场带来显著的影响，但对于Netflix瞄准的下一阶段而言，这一改变更为关键：2016年1月，当时的CEO Reed Hastings宣布公司将扩展至全球几乎所有国家，包括那些宽带基础设施欠佳、主要通过手机上网的市场。
自此，基于节目的编码技术（Per-Title Encoding）被大多数商业视频技术供应商采纳，包括Amazon的AWS，在去年，AWS使用该方法优化了PBS的视频库。尽管Netflix的编码策略得到了流媒体技术专家的全力支持，但在好莱坞的创意圈子里却几乎无人问津。
2019年，当Netflix开始允许用户调整视频播放速度时，导演和演员如Judd Apatow和Aaron Paul对此表示强烈反对。然而，对于视频编码方式的改变，却没有引起类似的轰动。这或许是因为编码算法对那群人来说过于技术宅了，但也有一个更简单的解释：新的编码方案在节省带宽方面非常成功，而且没有影响视觉保真度，以至于没有人注意到其中的区别。
探显家：这种成功的背后，是Netflix不断追求技术创新和用户体验优化的努力，尤其是在处理不同市场和用户群体需求方面。通过精细化管理视频内容的传输，公司不仅提升了资源利用效率，也保证了全球范围内的用户都能享受到高质量的流媒体服务。
几乎无人察觉的情况并非完全如此：Aaron很快意识到，公司基于单个节目的编码方法并非完美无瑕。在观看《芭比梦幻屋大冒险》（Barbie Dreamhouse Adventures）时，她注意到了一个问题。这是一部动画片，理论上应该从基于单个节目的编码策略中获益最多。
然而，Netflix的新编码技术在处理某一特定场景时遇到了困难。“有个人穿着一件非常闪亮的西装，身后是一道同样闪闪发光的喷泉。”Aaron说道。按照新的编码规则，这个场景看起来相当糟糕，这让她意识到编码规则需要更加灵活。“在节目的其他部分，你需要较少的Bit比特数，”Aaron说，“但对于这个场景，你需要增加比特数。”
解决这个问题的方法是在编码过程中采用更精细的处理方式。自2018年起，Netflix开始按镜头分解视频，并对每个片段应用不同的编码设置。两个在纯白色墙壁前交谈的人所使用的比特率比同样两个人参与汽车追逐的场景要低；芭比和朋友们在家里的场景所需的数据量也少于Mr. Sparklesuit出现的那个场景。
随着Netflix引入4K和HDR（高动态范围）技术，这些差异变得更加显著。“在《王冠》（The Crown）中，有一集画面烟雾缭绕，”Aaron说，“有很多污染。那些场景非常难以编码。”换句话说，这些场景为了在大屏幕4K电视上以HDR格式播放时看起来良好，需要更多的数据，特别是相比于视觉上较为简单的场景。这表明，即使是最先进的视频流媒体技术，也需要不断调整和优化来应对不同类型的内容，确保所有观众都能获得最佳的观看体验，无论内容的视觉复杂度如何。
Aaron的思维从未停止寻找这类视觉上的挑战，无论她是下班后看Netflix，还是外出散步。这种习惯甚至影响到了她的孩子们，她告诉我，他们偶尔会指着现实世界中的事物喊道：“看，这是模糊的！”这是工作带来的习惯，某种程度上也是一种诅咒——就像你无法关闭它一样，它时刻伴随着你。在我们的交谈中，她拿起手机，却突然停顿下来，指向镶满水钻的手机壳。这让她想起了《芭比梦幻屋冒险》中难以编码的那一幕。又一个视觉挑战！
然而，即便是最痴迷的大脑也有其极限。一方面，Aaron不可能观看成千上万个Netflix视频并决定对每个镜头应用哪种编码设置。相反，她的团队收集了几十段来自Netflix各种节目和电影的短片段，并使用一系列不同的设置对每个片段进行编码。然后，他们让测试参与者观看这些片段，并从不可察觉到非常恼人的程度对视觉瑕疵进行评分。“你必须做主观测试，”Aaron说，“一切都是基于真实情况的主观测试。”
这一过程中获得的洞见被Netflix用来训练机器学习模型，该模型能够分析公司整个片库中不同编码设置的视频质量，这有助于确定每一部电视剧集或电影每一小部分的最佳设置。Netflix与南加州大学合作开发了这些视频质量评估算法，并于2016年开源了它们。自那以后，这种方法已被业界广泛采用，用于分析流媒体视频的质量，甚至为Netflix赢得了艾美奖。与此同时，Aaron和她的团队一直在努力跟上Netflix不断变化的需求——比如HDR技术。
“我们必须开发出另一种指标来衡量HDR的视频质量，”Aaron说，“我们不得不进行主观测试，专门针对HDR重做这项工作。”这最终使Netflix能够在去年开始对HDR标题进行逐镜头的特定设置编码。现在，她的团队正在致力于基于HDR的开源视频质量评估。
探显家：这一系列的努力不仅提升了Netflix内容的视觉体验，还推动了整个流媒体行业的技术进步。通过开源技术，Netflix鼓励了行业内的创新与合作，使得更多用户能够享受到更高品质的视频服务。Aaron及其团队的工作证明了技术优化和创新在提升用户体验方面的重要性，同时也展示了企业如何通过共享知识和技术促进整个行业的共同成长。
按照镜头分割电影，然后单独编码每一部分，以确保画面效果出色的同时尽可能节省带宽：所有这些工作都是独立于Netflix用于编码和压缩文件的视频编解码器进行的。这有点像你在决定将图片保存为JPEG还是PNG之前，在Photoshop中调整其分辨率或颜色。然而，Netflix的视频工程师们也在积极致力于推进视频编解码器的发展，以进一步优化公司的流媒体传输。
Netflix是开放媒体联盟（Alliance for Open Media）的创始成员之一，该联盟的其他成员包括谷歌、英特尔和微软等公司。Aaron担任这个非营利组织的董事会成员，该组织领导了开放、免版税的AV1视频编解码器的开发。Netflix从2020年初开始使用AV1向Android手机流传输一些视频，并已扩展到特定的智能电视、流媒体设备以及iPhone。“我们已经用AV1编码了大约三分之二的片库，”Aaron说。她补充道，以AV1传输的流媒体小时数占比已达两位数。
虽然AV1的推广仍在继续，但对其继任者的工作已经启动。可能还需要几年时间，设备才能真正支持下一代编解码器，但初步验证结果显示它将产生影响。“目前，我们看到与AV1相比，在相同质量下，比特率减少了近30%，”Aaron解释说，“我认为这是非常有前景的。”
探显家：这些持续的技术创新和改进，不仅有助于Netflix降低传输成本，提高服务质量，还促进了整个流媒体行业的技术标准升级。通过参与开放媒体联盟和推动AV1等开源编解码器的发展，Netflix在推动技术进步的同时，也展现了其在行业内的领导地位。
在参与新视频编解码器开发的过程中，Aaron及其团队遇到了另一个问题：整个行业的视频工程师们一直依赖一小部分免费可获取的视频片段来训练和测试他们的编解码器和算法，而这些片段大多与典型的Netflix节目相差甚远。“他们所使用的开放内容并不真正符合我们流传输的内容类型，”Aaron回忆道。“因此，我们专门创作了供行业测试的内容。”
2016年，Netflix发布了一部名为《子午线》的12分钟4K HDR短片，旨在解决这一问题。《子午线》看起来像是一部黑色电影犯罪故事，其中包含了背景带有风扇的尘土飞扬的办公室镜头、云雾缭绕的海滩场景以及充满对比的暗黑梦境序列。每个镜头都是为了视频编码挑战精心设计的，整部影片以知识共享许可发布。自那以后，这部影片被Fraunhofer IIS等机构用于评估编解码器，其发布被知识共享基金会誉为“合作精神创造更佳技术标准（来自“a spirit of cooperation that creates better technical standards”）”的典范。
探显家：通过《子午线》这样的项目，Netflix不仅为自身提供了高质量的测试素材，同时也为整个视频编码行业贡献了一份力量，推动了技术标准的共同进步。
尖端的编码策略、新颖的质量指标、定制的视频资源以及先进的编解码器：在许多方面，Netflix在以最有效的方式向消费者提供最佳画质的流媒体内容上，一直处于行业领先地位。这就是为什么过去14个月特别令人羞愧。
2023年3月，Netflix首次尝试直播，成功向订户播出了Chris Rock的喜剧特辑。一个月后，Netflix再次尝试直播其真人秀《爱情盲选》的重聚活动，结果却遭遇惨败，观众等待了一个多小时才等到节目开始。
这次失败的直播特别令人尴尬，因为它损害了Netflix作为领先科技巨头的形象，该公司在技术上遥遥领先于竞争对手。Netflix联席CEO Greg Peters在当月晚些时候罕见地公开道歉。“我们非常抱歉让如此多的人失望，”Peters对投资者说，“我们没有达到我们对自己设定的标准，即为我们的会员提供优质服务。”
为了避免再次发生此类失误，Netflix正在采取谨慎态度，缓慢推进针对直播内容优化编码的工作。“我们在直播领域还处于早期阶段，”Aaron说道。“目前，主要目标是系统的稳定性、弹性和能够应对Netflix的规模。”实际上，这意味着Aaron的团队暂时不会对这些直播流的编码设置进行任何调整，即便这意味着她不得不忍受观看SAG颁奖典礼直播时无法做出任何改善。“我们从更符合行业标准的方式开始，”她告诉我，“然后从那里开始，我们将进行优化。”
对于云游戏而言，在许多方面也是如此。去年夏天，Netflix开始在电视和台式机上测试游戏，并逐渐扩大这些努力，覆盖更多市场和游戏。由于游戏是在云端而非设备上渲染，云游戏本质上是一种专业的直播形式，只是存在一个关键的区别。“它们相当不同，”Aaron说道，“在云游戏中，延迟要求比直播更加严格。”
无论是直播还是云游戏，Netflix都在不断探索如何在保持稳定性和用户体验的同时，进一步优化编码技术，以满足不同类型内容的需求。
Aaron的团队目前正在对研究解决这两个问题的不同方法感到困惑，这要求他们暂时抛开过去十年所学的大部分知识。“教训就是不要像对待VoD那样来考虑这些问题，”Aaron说道。例如，按镜头切割视频并为每个镜头应用最佳编码设置，当你不知道接下来会发生什么时，会变得非常困难。“对于直播，预测复杂场景的难度更大，”她说。
直播具有不可预测性：这一点不仅体现在编码上，也体现在Netflix的业务上。公司刚刚签订协议，在圣诞节当天播放两场NFL比赛，并将于1月份开始直播每周的WWE比赛。而整个体育行业，这个长期以来一直是传统有线电视最后堡垒的领域，正在转向流媒体。Apple正在播出MLS比赛，Amazon在体育版权上投入巨资，ESPN、福克斯和华纳兄弟则联合推出自己的体育流媒体服务。要跟上这些竞争对手的步伐，Netflix不仅要重金购买体育版权，还要真正提高直播能力。
所有这一切意味着Aaron和她的团队短期内不会有失业之忧——尤其是因为下一个挑战总是接踵而至。“将会有更多的直播活动，也许在某个时候会出现8K，”她说，“还有所有其他体验，都需要更大的带宽。”
面对这些挑战，Aaron是否担心优化视频的方法总有一天会用尽？换句话说，Netflix在采用新的编码策略或新编解码器重新编码其整个内容库之前，是否会遇到瓶颈，以至于这些努力不再产生显著影响？
“在编解码器领域，人们20年前就在说这个问题，”Aaron说道。“尽管如此，我们仍然能找到改进的空间。所以，我对此充满希望。”
并且，她始终保持着敏锐的目光，时刻准备迎接下一个视觉挑战，无论是摄像机闪光灯的海洋，还是Mr. Sparklesuit的星系亮相。
探显家：无论未来如何变化，Netflix及其团队都在不断寻求创新和突破，以提供更高质量的直播和点播内容。
