首页 > 其他分享 >爱奇艺编码团队:我们让AV1编码速度提升5倍

爱奇艺编码团队:我们让AV1编码速度提升5倍

时间:2023-06-14 14:31:47浏览次数:36  
标签:编码 爱奇艺 解码 王志航 AV1 QAV1


爱奇艺编码团队:我们让AV1编码速度提升5倍_ide

爱奇艺综艺《青春有你》

编者按:如果说VVC是编码标准中的白富美,那么AV1就代表了广大的互联网玩家——承受不起高昂的专利版税。为了实现免专利费的目标,AV1不得不“舍近求远”的方式躲开已有的专利,这导致其计算复杂度非常高。爱奇艺科学家王志航透露,在同等的画质下,编码速度是开源SVT-AV1的5倍。LiveVideoStack团队也在极力邀请王志航加入LiveVideoStackCon2020北京,期待届时带来对该编码器的更详细的解读。

文 / 王志航

策划 / LiveVideoStack

LiveVideoStack:感谢接受LiveVideoStack的采访,能否简单介绍下自己和团队的工作。

王志航:爱奇艺科学家,在中科院计算所获得博士学位,一直从事音视频编解码技术研究,所管理的的团队主要负责音频和视频的质量优化技术,包括预处理和编解码技术等。

LiveVideoStack:这次爱奇艺推出的基于AV1的编码技术,给用户和爱奇艺平台带来的最大的价值是什么?这背后相应的挑战是什么?

王志航:AV1技术标准的主要特性是免费开放,可以显著改善视频文件压缩效率和流媒体播放的传输效率。AV1解码目前在基于Chrome内核的PC浏览器上基本都支持了。所以在PC浏览器上提升画面质量,降低带宽消耗,使用AV1格式是很好的方案。爱奇艺始终把用户体验放在首位,为了让用户在PC浏览器上看到更清晰的视频,我们在PC浏览器端上线了AV1格式的码流。

AV1编码标准的运算复杂度非常高,编码器的计算量对视频标准的应用规模有着重要的影响。为了解决能大规模应用的问题,我们对编码算法进行了非常细致的优化,爱奇艺研发并上线了QAV1编码器,QAV1极大地缓解了AV1标准计算复杂度高、编码时间长的问题。

经过近两年时间的积累,QAV1对编码的各个模块都进行了细致的设计优化,各模块的优化算法总计近百项。在同等的压缩率下,是开源编码器SVT-AV1的5倍左右。对于1080P视频,QAV1单遍编码的计算资源消耗大概是市场上x265 veryslow preset的45%,内存消耗大约是一半,可以达到大规模应用的水平。

爱奇艺编码团队:我们让AV1编码速度提升5倍_编码器_02

爱奇艺QAV1编码的《青春有你》截图

QAV1编码器由爱奇艺公司独立自主研发,实现了对原理、设计、实现的完全可控。在开发过程中,QAV1做到了各模块设计和开发风格一致,变量结构生存周期明确,很好地保证了代码质量。在业务变化时,QAV1可以在保证稳定性的前提下快速地修改控制参数与调整算法流程,能够与业务形成更加紧密的配合。

随着持续的研究与投入,QAV1压缩性能和速度正在稳步提升,各项功能的支持也日趋完善。目前已经支持的功能包括多种速度档次、多种码率控制方式、8K视频编码等。在不久的将来,QAV1将会支持10bit编码等功能,为用户带来更加高级的视觉体验。

爱奇艺编码团队:我们让AV1编码速度提升5倍_ide_03

爱奇艺QAV1编码的《青春有你》截图

LiveVideoStack:在Android端支持AV1解码是通过软件方式的实现的吗?(码率、分辨率、帧率等)性能如何?哪些机型可以支持AV1解码?(支持AV1解码的Andorid用户)比例占到多少?对于性能不足的机型采取的解码策略是怎样的?

王志航:Android端目前使用硬件解码器,用户可以自己查询支持的机型。但目前为止支持的手机还不是很多。另外,在不支持AV1格式的手机上,我们并没有使用软件解码的方案,主要是担心用户手机耗电的问题。

LiveVideoStack:作为用户,如何知道自己的手机是否支持AV1解码?

王志航:用户可以自主查询所购买的终端硬件配置的相关的说明书。

LiveVideoStack:联发科、海思等芯片厂商正在推出支持AV1解码移动芯片,未来成为AV1硬件解码和软件解码并存的局面吧?

王志航:当前联发科天玑1000集成了AV1解码器,也是全球首款支持AV1的手机芯片。当前Windows 10 等操作系统已经支持AV1解码器。软解和硬解的局面会长期并存。

LiveVideoStack:未来您和您的团队还在AV1方面做哪些改进和提升?

王志航:编码器往往需要结合具体的应用场景来进行改进和深度优化。 为了更好地适应爱奇艺海量内容,QAV1通过对场景复杂度的预分析,实现了更加合理的码率分配。对于简单场景,QAV1可以自适应地降低码率,在保证画质的情况下节省用户带宽;同时对于复杂场景会适当提高码率,给用户带来更高画质的体验。 我们会根据具体的业务应用场景,持续进行深度的优化,持续提升用户的体验。

标签:编码,爱奇艺,解码,王志航,AV1,QAV1
From: https://blog.51cto.com/u_13530535/6477140

相关文章

  • 用Elevator优化AV1视频播放
    AOM会员Vimeo通过Elevator改善AV1解码过程中的丢帧和质量下降问题。感谢Google软件工程师姜健对本文做的技术审校。文/RaphaëlZumer译/刘俊技术审校/姜健https://medium.com/vimeo-engineering-blog/enhancing-av1-playback-with-elevator-6a2991c1aac0作为AV1编码标准的早......
  • H264,H265编码概念 压缩方法
    一、什么是H264编码H.264,同时也是MPEG-4第十部分,是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT,JointVideoTeam)提出的高度压缩数字视频编解码器标准。这个标准通常被称之为H.264/AVC(或者AVC/H.264或者H.264/MPEG-4AVC或MPEG-4/H.264AVC,Advance......
  • JPEG编码协议--DCT变换
       从之前的几篇文章介绍可以看出,JPEG编码最重要的一步就是DCT变换,将空域的图像信号转换到频域,达到良好的去空间相关性的性能,DCT变换本身是无损的。因此DCT变换在图像编码领域被广泛应用。一、一维DCT变换   在JPEG编码中使用了二维DCT变换,一维DCT是二维的基础,我们......
  • VP9编码:迄今的尝试
    正文字数:2598 阅读时长:8分钟对VP9编码的探索我们从未停歇。文/ 常谦https://blog.hotstar.com/vp9-encoding-journey-so-far-e1153ab488db图片源于Unsplash上TimMosholder拍摄两年前,我们开始在点播内容中使用VP9编码,并且观察到它在视频质量和码率这两方面比H264有明显的提升。......
  • 端到端神经视频编码=A Better Trade-off ?
    归根结底,每一种视频压缩方法都要权衡利弊(trade-off):如果允许更大的文件大小,就可以拥有更好的图像质量;但如果想让文件非常小,那就必须要容忍错误出现的概率。但现在(以及不久的将来),人们希望基于神经网络的方法能够在视频文件大小和质量之间做出更好的权衡与交换(abettertrade-off)。 ......
  • 机器视觉编码技术与标准进展
    正文字数:8411 阅读时长:15分钟整理自中国电信研究院新技术所机器视觉标准与应用研究部主任张园在LiveVideoStack做的线上分享。她详细介绍了VCM、DCM等标准组织机器视觉编码标准化工作最新进展、技术创新思路。文/ 张园整理/LiveVideoStack 各位LVS的小伙伴大家好,非常感谢大......
  • 视频编码器的智能化——AI辅助编解码的ASIC解决方案
    在此次LiveVideoStackCon2021音视频技术大会北京站,来自镕铭半导体的刘迅思详细列举了目前常用的AI辅助编解码的方法,论述如何在硬件和软件层面将AI结合编解码的实践,探索新的标准和新一代编码器结合AI应该如何设计。文|刘迅思整理|LiveVideoStack大家好,我是来自NETINT镕铭半导......
  • 从HEVC到通用视频编码的下一代视频压缩技术
    本文来自于ATEME研究总监兼总监米克尔·劳莱特的主题演讲。他主要分享了MPEG-2、H.264、H.265、H.265、VVC,以及EVC、LCEVC等较新的编解码器。我们需要了解HEVC方面的编解码器授权,以及VVC标准化的过程。在探索的过程中,我们从Intra-coding和Inter-prediction方法等方面对图片分割进行......
  • 双编码器的自然语言图像搜索
    正文字数:5798 阅读时长:10 分钟如何构建一个双编码器(也称为双塔)神经网络模型,以使用自然语言搜索图像。作者/ KhalidSalama原文链接/https://keras.io/examples/nlp/nl_image_search/1介绍该示例演示了如何构建一个双编码器(也称为双塔)神经网络模型,以使用自然语言搜索图像。该......
  • 学术界AV1编码优化技术的进展
    #EditorialNote#学术界的一些优化工作实涵盖了编码过程的大部分模块。很明显的趋势就是许多深度学习的网络或者方法已经开始与编码的模块进行结合,并取得了很多不错的收益。本文将按照编码过程的大致顺序分享学术界AV1编码优化技术的进展。文 /朱辰整理/LiveVideoStack各位......