Xilinx FPGA，“加速”视频质量提升

时间：2023-06-13 13:35:42浏览次数：42

标签：视频编码器 FPGA IP 赛灵思 Xilinx CPU

Xilinx FPGA，“加速”视频质量提升_IP

Photo by Chris Peeters from Pexels

本文内容Xilinx 张吉帅在LiveVideoStackCon2019深圳站上的精彩分享，他将重点讨论异构计算中非常具有潜力的一部分 —— FPGA，并详细介绍赛灵思以及其技术生态合作伙伴在有关视频加速，图片转码等方面的解决方案。

文 / 张吉帅

整理 / LiveVideoStack

1. FPGA的优势

Xilinx FPGA，“加速”视频质量提升_视频流_02

大家好，我是来自Xilinx的张吉帅，随着视频内容的火爆，其在网络上的传输量越来越大，对视频编解码算力也有了更高的需求；此外，视频压缩的标准也在不断提升，对于H.264视频编码压缩，CPU基本可以勉强支持，但对于H.265、VP9、AV1等更高的视频编码标准来说则难以胜任。根据实际数据显示，相较于CPU与GPU在BASE LAN加速卡上的表现，基于FPGA可以实现对H.265 1080P 120帧/秒的视频编码压缩，并且在压缩率、压缩质量以及功耗上都具有更大的优势。除此之外，与ASIC相比，其性价比会高于FPGA。FPGA还占有相当大一部分市场份额的原因主要是因为FPGA从方案设计开发到实际应用，整体流程周期非常短。

Xilinx FPGA，“加速”视频质量提升_IP_03

具体地说，赛灵思所提供的各种硬件加速解决方案，架构通常为FPGA+CPU的异构方式。从开发者或者应用的角度，实际CPU端包含一个应用程序，FPGA端则包含一段二进制的FPGA逻辑代码。而从使用的角度来看，只需要考虑图中横线以上部分的使用，与传统软件类似，使用起来相对简单。

Xilinx FPGA，“加速”视频质量提升_视频流_04

在实际应用中，FPGA部分实现的是编码相关的功能，CPU部分则是通过框架加插件的方式实现FFmpeg的应用，并且插件部分已经集成，无需开发，用户只要简单调用FFmpeg，即可使用赛灵思高性能的H.264编码器。

Xilinx FPGA，“加速”视频质量提升_视频流_05

图为赛灵思H.264、HEVC、VP9、AV1等FPGA相关IP产品。FPGA异构计算的灵活性体现在我们可以将多种不同IP放入同一芯片，完成多种不同工作。例如GPU或ASIC可以实现编码相关工作，而对于赛灵思FPGA，我们可以在芯片中加入HEVC和ABRScaler的IP，从而实现多种不同码率视频流的生成。除此之外，还有低延迟等更多特性。

2. Xilinx Media Accelerator（XMA）

Xilinx FPGA，“加速”视频质量提升_编码器_06

赛灵思提供了一整套的API，即Xilinx Media Accelerator（XMA），用户可以基于API完成一系列的开发。从CPU通过PCIE到赛灵思芯片，0拷贝的XMA，可以支持多线程、多进程，当然还包括刚才提到的到FFmpeg框架的接口API。

2.1 FPGA接入VP9编码器

Xilinx FPGA，“加速”视频质量提升_IP_07

与ASIC不同的是，赛灵思FPGA芯片可用于不同工作。例如接入的是VP9编码器，图中浅蓝色部分为CPU进行的工作，红色部分为FPGA芯片进行的工作。数据进入芯片，通过CPU完成解码，进行音频和视频的解码调试，将解码出的视频发送至ABR的IP，再将结果传递给VP9编码器，最终与音频进行调制，生成VP9编码的音视频媒体流。

2.2 HEVC+VP9编码视频流生成

Xilinx FPGA，“加速”视频质量提升_编码器_08

在上述方案的基础上，只需要加载HEVC的IP，即可在同一芯片中实现VP9编码视频流以及生成HEVC编码视频流。

2.3 人脸识别

Xilinx FPGA，“加速”视频质量提升_编码器_09

除此之外，如果我们希望实现视频中人脸识别的功能，还可以在其中加入Machine Learning的IP。

2.4 同一芯片中可接入多个IP

Xilinx FPGA，“加速”视频质量提升_视频流_10

上述内容中所提到的ABR的IP，H.264的IP，在同一芯片中可以接入多个，并通过CPU进程进行调度。

Xilinx FPGA，“加速”视频质量提升_视频流_11

编码器多路视频流输入、输出的应用

3. 赛灵思实时视频转码架构

Xilinx FPGA，“加速”视频质量提升_视频流_12

如上架构图所示，赛灵思实时视频转码包含两种不同的途径，XMA和OpenCL。按照层次结构，向下划分为HAL硬件抽象层，驱动以及最底层的数据通道和管理通道。

Xilinx FPGA，“加速”视频质量提升_视频流_13

实现编码器编程所需要了解的XMA的相关API

Xilinx FPGA，“加速”视频质量提升_IP_14

上述XMA相关API事实上是对编码、解码等行为的抽象，因此我们可以看到基本上都是初始化的过程，即发送数据到Lower Edge，再到Video Kernel。

Xilinx FPGA，“加速”视频质量提升_编码器_15

Video Kernel与芯片中相关IP接入时的代码

Xilinx FPGA，“加速”视频质量提升_编码器_16

文末给出的参考链接，github中的代码可以直接运行

Xilinx FPGA，“加速”视频质量提升_IP_17

如果不需要通过FPGA开发新的功能，只是简单的使用编码器，如图左所示为传统的FFmpeg框架，如图右所示为赛灵思编码器中FFmpeg的调用。

Xilinx FPGA，“加速”视频质量提升_IP_18

Xilinx FPGA，“加速”视频质量提升_视频流_19

标签：视频,编码器,FPGA,IP,赛灵思,Xilinx,CPU
From： https://blog.51cto.com/u_13530535/6469036

视频播放器的极致体验优化
Photoby VladaKarpovich from Pexels视频体验由开始的视频清晰流畅，演变到现在的视频快速响应、即点即放、快速切换等等。基于这些优化林勇平将介绍播放器的一些技巧，使得视频体验在较少改动的情况下就能达到极致体验的效果。文/林勇平整理/LiveVideoStack直播回放https://w......
边缘计算不“边缘”——助攻视频行业这几年
随着边缘计算行业的不断发展，其业务也越来越广泛，越来越成熟。边缘计算的发展历程并不是一帆风顺，其运用起来也和传统云计算有很大不同。那么边缘计算行业所面对的挑战以及未来的发展是什么样的呢？有请网心科技的李浩为我们分享他助攻视频行业的这几年。文/李浩整理/LiveVideoStack......
高性能视频推理引擎优化技术
正文字数：9404 阅读时长：15分钟通过自身的实践经验，详细讲解了高性能视频推理引擎优化技术。文/ 鲍金龙整理/LiveVideoStack 大家晚上好，非常荣幸又有这个机会来LVS，与大家一起探讨一些问题。我第一次参加LVS应该是2017年，现在已经接近4年的时间了。今天的内容是推理引擎优化技术，......
开创YouTube视频基础架构新时代
文/ The YouTubeTeam译 / LiveVideoStack https://blog.youtube/inside-youtube/new-era-video-infrastructure/YouTube工程副总裁ScottSilver按：运行一个全球平台，每天每时每刻都有大量的视频上传、存储和分发，给它的数百万创作者和数十亿观众，这是一项复杂而艰巨的任务。但是......
视频编解码的新突破
LiveVideoStackCon2022音视频技术大会北京站将于12月9日至10日在北京丽亭华苑酒店召开，本次大会将延续【音视频+无限可能】的主题，邀请业内众多企业及专家学者，将他们在过去一年乃至更长时间里对音视频在更多领域和场景下应用的探索、在实践中打磨优化技术的经验心得、对技术与商业......
音视频领域或将开启”外卷“之路
如果说让我们聊一聊2021年音视频技术领域在这一年中的变化，莫不如从LiveVideoStackCon2021音视频技术大会上海站&北京站，这两场大会缩影来看。文 |Teresa虽然这两场大会的主题都是：「新技术、新机会」，但强调的重点却不相同。4月份的上海站的主旨明显落在“新”上。当疫情席卷......
强化学习驱动的低延迟视频传输
随着视频会议、视频直播的流行以及未来AR/VR业务的发展，低延迟视频传输服务被广泛使用，但视频质量（QoE）还不能满足用户要求。那么近年来新兴的AI神经网络是否能为视频传输带来智能化的优化？今天LiveVideoStack大会北京站邀请了来自北京邮电大学的周安福教授，为我们分享关于使用强化学习方......
视频编码器的智能化——AI辅助编解码的ASIC解决方案
在此次LiveVideoStackCon2021音视频技术大会北京站，来自镕铭半导体的刘迅思详细列举了目前常用的AI辅助编解码的方法，论述如何在硬件和软件层面将AI结合编解码的实践，探索新的标准和新一代编码器结合AI应该如何设计。文|刘迅思整理|LiveVideoStack大家好，我是来自NETINT镕铭半导......
什么是视频点播（VOD）?
翻译|Alex技术审校|赵军作者为KrishnaRaoVijayanagar。点播EasyTech#012#VOD代表VideoonDemand（视频点播），这种视频流化和交付技术使人们可以随时随地在任何设备上立即观看视频。视频点播有多种类型：AVOD：Advertising-basedVideoonDemandTVOD：TransactionalVideoonDemandS......
从HEVC到通用视频编码的下一代视频压缩技术
本文来自于ATEME研究总监兼总监米克尔·劳莱特的主题演讲。他主要分享了MPEG-2、H.264、H.265、H.265、VVC，以及EVC、LCEVC等较新的编解码器。我们需要了解HEVC方面的编解码器授权，以及VVC标准化的过程。在探索的过程中，我们从Intra-coding和Inter-prediction方法等方面对图片分割进行......

Xilinx FPGA，“加速”视频质量提升

相关文章

赞助商

阅读排行