音视频基础知识

1.视频编码

　　视频编码是指采用某种算法对视频数据进行压缩，以便在存储和传输时占用更少的空间和带宽。我们平时所看的视频其实都是由大量的图像帧组成的，比如，如果帧率为30fps，则相当于一秒播放了三十个图像，如果把每一张图像帧都完整的保存下来，则占用的空间超乎想象。我们可以计算一下，如果视频的分辨率为1920x1080，图像的像素格式是yuv420p，则一张图像的大小为1920x1080x1.5byte，按照一部电影90分钟来算的话，则整个影片的大小为：90x60x30x1920x1080x1.5byte，即469GB。但根据我们的常识，一个电影也就1到2个G。所以说，如果视频不经过压缩直接保存的话，占用的空间非常大。

2.音频编码

　　音频编码是将声音信号转换为数字数据的过程。它使用一种算法来压缩音频数据，以便在存储和传输时占用更少的空间和带宽。音频编码的目标是保留足够的音质，同时减小文件大小。

3.一些名词的解析

　　帧率：每秒显示的帧数，单位为fps，即帧每秒

　　分辨率：视频分辨率指视频成像产品所形成的图像的尺寸

　　刷新率：一般提到刷新率是指垂直刷新率，即表示屏幕上图像每秒重绘多少次，以赫兹为单位

　　码率：即比特率，比特率是单位时间所播放连续的媒体的比特数量，文件大小=码率x时长

　　DTS:Decode Time Stamp，解码时间戳，主要用来标示读入内存中的比特流在什么时候开始送入解码器中进行解码的

　　PTS:Presentation Time Stamp，显示时间戳，主要用于度量解码后的视频帧什么时候被显示出来

　　视频帧：常见的视频帧有I,P,B帧等。I帧表示关键帧，你可以理解为这一帧是画面的完整保存，解码时只需要本帧数据即可。P帧表示的是这一帧和前一帧(I/P)的差别，解码时需要用到之前缓存的画面叠加上本帧定义的差别生成最终画面。B帧是双向差别帧，也就是说B帧记录的是本帧和前后帧的差别，解码的时候不仅要取得之前缓存的画面，还要解码之后的画面，通过前后画面数据和本帧数据的叠加取得最终的画面，B帧的压缩率高，但解码时CPU会比较吃力。

　　量化精度：量化精度表示将模拟信号分成多少个等级，量化精度越高，音乐的声压振幅越接近原音乐。量化精度的单位是bit，也可以理解为一个采样点用多少bit表示。

　　采样率：指每秒音频采样点的个数，单位是赫兹

　　声道：声道是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，即声音录制时的音源数量或回放时相应的扬声器数量