HEVC、AV1、VVC:如何理解2019年的编解码器世界
Stella981
2021-10-11 18:34
• 阅读
1297
本文讨论了HEVC,AV1和多功能视频编码(VVC)的当前状态,回顾了每种编码器在最近一年的进展。您将从开发者的角度了解每个编解码器的最新进展,包括从编码耗时、成本与编码质量等方面得出的对比结果,并获悉编解码器市场在过去几年中的发展趋势以及编码器的意义与价值。
文 / Jan Ozer
整理 / LiveVideoStack
我们关心的是什么?
我们知道,有史以来最成功的两个编解码器是MPEG-2和H.264,但这两种编解码器主要是为广播市场定制,与流媒体没有太大关系。编码器标准对于广播领域的价值在于可以从编码、传输、解码空间等方面将众多供应商牢牢捆绑在一起。虽然每个编解码器都有特许权使用费,但特许权使用费的存在是合理的,而且单一专利池的管理也应该是良好且透明的。
而现在,流媒体已经超过了传统广播并且很快就会将其取而代之。虽然标准的制订对于流媒体和广播来说一样重要,但标准制定的过程却有所不同。桌面操作系统中的核心技术由众所周知的两家公司——苹果和微软控制,而苹果与谷歌也控制着在各自移动操作系统中部署的技术;至于部署在OTT设备中的核心技术则由亚马逊、苹果、谷歌和Roku在内的少数公司控制。通过亚马逊、Hulu、Netflix和YouTube等平台播放视频成为摆在人们起居室内的智能设备必须具备的功能,这些供应商所使用的技术也必须得到电视机、OTT设备和机顶盒的支持。
如果用棒球作为比喻的话,H.264就像是一场三垒打,在没有任何失败出现的情况下得分;HEVC则更像是一场二垒打,存在一系列自我犯下的失误。VVC则始于其他没有被MPEG认可的编解码器,标准化能否成功尚不明确。此外,额外压缩效率的经济价值正在迅速下降。很久以前,内容分发网络的每GB流量费用是50美分,因此降低视频的数据速率意味着真正的码率节省;而现在,这一价格远低于每GB一分钱,为节省码率而降低视频数据速率继而采用额外编解码器的策略,最终却导致成本更难以收回。
从QoE的角度来看,这一观点也是正确的。当家庭带宽平均低于3Mbps而移动设备通过3G连接时,使用HEVC或VP9提供1080p视频与使用H.264提供720p视频相比具有更多潜在价值。现在,美国的平均家庭带宽超过14Mbps,而5G的到来更加降低了更高效编解码器所带来的最终用户利益。因此,即使压缩效率提升一倍,其也未被证明是绝大多数生产商采用新编解码器的首要条件。
一个编解码器被采用的关键在于能够进入新市场而非降低运营成本——赚钱而不是省钱。例如VP9比H.264的压缩效率高出30%到40%且能与86.39%的移动和桌面浏览器兼容。然而,根据Encoding.com给出的报告我们发现,VP9的使用率从2016年的11%下降到2018年的5%;与此类似的是,尽管78%的Apple移动设备支持HEVC,但Encoding.com报告也指出,2018年只有3%的视频被打包成HLS——一个基于HEVC的流媒体格式。
当Adobe在2007年将H.264集成到Flash中时,似乎整个网络视频市场在几个月内就会转而支持新的编解码器,以至于在12年后的今天,Encoding.com所统计的H.264市场占有率仍高达82%。因此,虽然编解码器研究人员总是强调新编解码器能带来的微小效率增益,营销人员也对一次次地兼容新平台而感到愤怒,但很少有视频制作商关注那些除去世界上最大的订阅型视频点播(SVOD)、广告型视频点播(AVOD)或用户原创内容(UGC)平台之外的内容。
下一个风口将是能够在足够多平台上可用的编解码器,允许发布者编码为单一格式并最终使H.264退出历史舞台。在流媒体媒体报道的NAB Show采访中,Twitch的沈悦时教授表示他的公司希望到2024年能够用AV1做到这一点。
我们可以从上述内容中得出什么结论?“支持基于特定标准的编解码器”这一在过去看上去颇为成功的商业模式放到现在已经不再重要,大多数流媒体制作商都通过采用针对新市场兼容性更好的编解码器而不是一味降低运营支出来提高营收。“随时随地观看“将成为新编码器取代H.264编解码器的最重要因素。在这一点上,无论哪个编解码器取代H.264都有可能带来版税问题,而哪一个编解码器的版税政策最实惠合理将直接决定未来哪一款编解码器将成为这场战役的优胜者。
接下来,我们来看看HEVC、AV1和VVC在过去一年左右的发展情况。
HEVC
HEVC于2013年1月26日正式成为国际标准。六年后,HEVC在我们所使用的所有浏览器中占16.57%(图1)。相比之下,H.264获得了96.96%的浏览器支持,而VP9的支持率为86.39%。如果您必须选择一个案例来显示灾难性的特许权使用费政策所带来的坏处,那就是HEVC。
图1.截至2019年5月28日,HEVC在浏览器中的覆盖率
ScientiaMobile于2018年8月23日统计了硬件加速HEVC解码在移动端的支持情况,iOS设备为78%,Android为57%(图2)并且从那时起明显增加了。然而,虽然Apple已经在iOS Safari浏览器中提供HEVC播放并简化了所有流媒体制作者的访问流程,但仍然没有Android平台的浏览器支持HEVC播放(图1),这意味着Android上的HEVC播放主要是通过应用程序来支持。这就导致HEVC通常适用于那些通过应用来部署的顶级OGC和高级内容站点,但却不适用通过浏览器提供服务的站点。
图2.移动平台支持硬件加速的HEVC播放*
如果我们讨论HEVC的使用率,在Bitmovin的“2018年视频开发者报告”所统计的456名受访者中,有42%的受访者表示他们使用HEVC编解码器部署视频,但这一数字并不表示实际以该格式部署视频的占比。在详细介绍2018年行业产品结果的“2019年全球媒体格式报告”中,Encoding.com表示,2018年生产的所有视频中有12%是以HEVC为编解码标准,同时Encoding.com也提出了一些乐观的预测:“2017年,大部分HEVC主要用于测试和开发;然而在2018年,我们相信HEVC已被推广到视频制作的许多工作流程,并且我们预计2019年,在UHD HDR内容愈加普及的推动下,HEVC的市场占有率将大幅增加,因为满足HDR、 Dolby Vision和HDR +标准的优质视频内容需要基于HEVC才能有效实现。
如前所述,Encoding.com补充到,2018年HEVC标准在基于HLS传输的视频中的占比为3%。所有这些都符合上述叙述:制作人正在部署HEVC以为新设备提供更加出色的格式,但这样做并不会带来明显的带宽节省或运营支出减少。
编码和转码
在编码方面,HEVC受益于英特尔可扩展视频技术(SVT)-HEVC编解码器的加入,SVT-HEVC为基于英特尔至强可扩展处理器和英特尔至强D处理器架构的编码系统运行的软件编码带来了十分显著的性能提升。我将在本文的AV1部分更多地讨论英特尔的SVT技术。
去年,基于硬件的HEVC转码的可用性也有所增加,硬件HEVC转码实现了对实时媒体流进行更高密度的云转码。在2019 NAB展会上,我们看到了来自NGCodec的基于FPGA的解决方案以及来自NETINT和SoftIron 的基于SoC的解决方案。
知识产权
在过去的12个月里,三个HEVC专利池与自主知识产权(IP)所有者的HEVC特许权使用费政策几乎没有变化。这可能与最大的持有量与内容版税有关,其中的两个池——MPEG LA和HEVC Advance表示他们不会收取任何费用,MPEG LA以及HEVC Advance主要通过非物理媒体(如流媒体)传送必要数据。
AV1
2019年3月27日,总部位于卢森堡的Sisvel公布了两个新的专利池,提供与VP9和AV1规格相关的专利许可。这些专利池仅适用于消费类显示设备如智能手机、电脑和电视以及非消费者显示设备如机顶盒、加密狗和显卡。VP9的标准费率为显示设备0.24欧元,非显示设备0.08欧元,而AV1标准费率分别为0.32欧元和0.11欧元。
这些池代表了来自JVC、KENWOOD Corp.、Koninklijke、Philips、NipponTelegraph and Telephone Corp、Orange和Toshiba IPR Solutions的专利许可。根据Sisvel首席执行官的问答,Sisvel池不会对内容收费,但也没有排除基于软件播放的专利授权费用。(作者注:详见流媒体学习中心,作者正在为Sisvel提供一些编辑咨询服务。)
AV1浏览器支持
图3.截至2019年5月,AV1在Chrome,Firefox和Opera中播放,占所有浏览器的35.28%
图4.由2.8 GHz Intel Xeon E3-1505M v5 CPU提供算力的HP ZBook上播放AV1视频
在2019年5月23日,Mozilla宣布将dav1d解码器集成到Firefox中,这应该进一步降低此过程所需要的CPU资源。Mozilla的报告中还称,使用Firefox Beta播放的视频中有11.8%使用了AV1,高于3月份的3%和2月份的0.85%。大部分流量可能来自YouTube,后者发布了AV1播放列表。此外,Google软件工程师StevenRobertson在2018年的Demuxed上承诺,YouTube将在2018年10月底之前实现每秒传输1TB的AV1编码视频;Netflix还在2018年9月发布了一些AV1编码视频供公众使用。
然而,正如我们在2018年报道的那样,Netflix将其1080p视频编码为6.7Mbps,而YouTube则为5.1Mbps,因此两家公司都没有推动画面质量的进一步提升。虽然Facebook声称AV1与x264相比节省了51%而与VP9相比节省了32.5%,但该公司尚未公开表示它正在公开发布AV1编码的视频。此时,在基于AV1的比特流标准确立一年之后,我们不知道是否有任何公司实现了Facebook声称的比特率节省。
图5.据报道,SVT-AV1能够在某些Intel CPU上进行4K / 60p 10位实时编码
英特尔的SVT旨在实现“将编码器内核拆分为独立运行的线程”每个线程处理输入图像的不同段,它们在不同的处理器内核上并行运行同时不会造成任何保真度损失。这加快了像Intel Xeons这样的多核CPU的编码速度。但是将AV1移植到SVT架构始于该核心功能,并可实现随着时间的推移添加不同的工具。因此,任何SVT编解码器的版本都不会达到与同一编解码器的稳定版本相同的质量,但随着时间的推移,二者的差距会逐渐缩小甚至消失。
因此,在过去的12个月中,AV1展示了编码和播放效率以及大量的浏览器支持成果,同时也展示了版权费用的未来发展。
VVC
VVC是由MPEG和ITU共同开发的下一代(在HEVC之后)标准化编解码器。质量目标是在维持相同画质不变的前提下比HEVC降低30%的比特率。尽管该编解码器计划在2020年底之前正式商用,但现在与其相关的一系列质量对比已经展开。
图6.BBC发现HEVC(HM)和AV1的码率大致相同,VVC(JEM)明显优于两者
在将这些调查结果与Facebook进行比较时,(请注意BBC在这里使用参考编码器进行VVC和HEVC测试,这些编码器中的每一个组件都会被调动),我们发现此编码时间对于商业用途而言还是太长。此外,BBC所使用的是标准测试片段以强调不同测试之间的可比性;实质上,没有人会将用于测试编码器的标准测试片段用于商业生产领域的编码,没有消费者会看到这些剪辑。相比之下,Facebook的测试则是使用实际商业生产当中的编码器分析了其平台上最受欢迎的100个测试片段,这两个测试完全不同。
在许可方面,可以假设VVC的贡献者包括HEVC和H.264池中的许多相同公司。为了帮助避免HEVC遇到的问题,一些公司组成了媒体编码行业论坛(MC-IF)。正如新闻稿中所述,“MC-IF最初将专注于建立VVC和相关标准并将其打造成广受欢迎和广泛使用的标准以造福消费者和行业。”一个关键目标是“为论坛提供交流平台,并鼓励其讨论与促进目标实现和与部署使用这些标准下的知识产权许可相关的问题。“虽然值得称赞,但MC-IF并非执法机构,因此该组织的影响仍有待观察。
由专利代理人决定的未来?
如果不是这样,很可能许多与H.264、HEVC和VVC相同的知识产权拥有者拥有AV1使用的技术。这表明了一个真正的反乌托邦未来,其中知识产权的所有者试图在AV1、VVC和未来的编解码器上强加类似HEVC的业务术语。他们已经吸取了教训,但是在HEVC发布后的6年4个月零4天,他们似乎并没有。