多媒体基础

多媒体基础

1、多媒体技术基本概念-音频相关概念

音频相关概念。音频相关概念里面，首先要了解的是声音的带宽。
声音的带宽。声音的带宽其实就是指的声音这种音波它的频率的范围。像人的耳朵一般能够听到的声音的频段的范围是20Hz ~ 20kHz。说话的频率范围是300Hz - 3400Hz之间；乐器的频率范围是20Hz - 20kHz之间。
那么超出人耳能够听到的最高上限以上的音频被称为超声波，超声波就是指的超过20kHz的音频；而低于20Hz的音频就成为次声波，也称为低声波。

采样。把音频相关的信息采集到计算机里面进行处理，就需要采样。声音的信号是一种模拟信号，而在计算机里面能够处理的信号是数字信号，所以要经历采样。
采样就是把连续的一个声音的波形，在波形的曲线上面采很多很多的点，采样频率越高，说明采点的密集程度越高，时间间隔越短，那么还原度也就越好。采样精度越高，与实际的还原度也就越高。

在声音信息的处理的过程中，首先是要采样，然后要对声波进行量化编码，在计算机里面才能够对它进行处理。

采样的时候，采样频率要为声音最高频率的2倍。这是尼奎斯特提出来的，所以又叫做尼奎斯特定理。因为只有达到这样的一个指标，才能保证声音基本不失真。

2、多媒体技术基本概念-图像基本概念

图像基本概念。图像基本的概念首先要了解什么是亮度、色调、饱和度和彩色空间。

1、亮度。亮度就是画面的明亮程度。
2、色调。色调是整个画面有色调的一个差异，比如说有些画面看起来比较偏红，有些偏绿，有色温的差异。
3、饱和度。饱和度是指色彩的艳丽程度。饱和度低的时候，画面的颜色会不鲜艳；而饱和度高的时候，画面就会显得鲜艳。

【彩色空间】
彩色空间多种多样。像普通的电脑显示器所用的彩色空间是RGB空间，RGB空间会有三原色，R是红色、G是绿色、B是蓝色，由这三原色按不同的配比能够配出多种多样不同的颜色。

1、YUV彩色空间。YUV彩色空间是电视里面最常用到的一种彩色空间。YUV的诞生是考虑的兼容性的需求提出来的。为了能让同样的一组信号能在黑白电视看，也能在彩色电视看，就发明了YUV彩色空间。这种彩色空间里面有一个值就是灰度值，也就是亮度值，因为在黑边电视机里面，只要接受这个亮度值就可以，因为黑白电视用的多级不同的亮度 来展示出来的。

2、CMY彩色空间。CMY是印刷领域用到的彩色空间，C对应的是燕青、M对应的是洋红、Y对应的是黄颜色。所以CMY就是印刷的三原色。用印刷的三原色进行组合也能调出不同的颜色来。但是这种印刷的颜色和光的颜色有着本质上的区别。光的颜色采取的是叠加的原理；而印刷的三原色是用的相减的原理，把三种原色点加起来形成的是黑色。

3、CMYK彩色空间。CMYK中的K指的就是黑色，为了解决CMY中调出来的黑色不够黑的情况研制的，而且成本比CMY要低。
HSB彩色空间。被称为艺术家空间，就是从艺术欣赏的角度来划分的。

除此之外，电视上面还能用称为YIQ的彩色空间，以及YCBCR的彩色空间。YCBCR彩色空间是由YUV衍生出来的一种彩色空间。

3、多媒体技术基本概念-媒体的种类

媒体的种类。媒体的种类依据定义可以分为五个类型：感觉媒体、表示媒体、显示媒体(表现媒体)、存储媒体、传输媒体。

1、感觉媒体。所谓感觉媒体就是指的人接触信息的感觉的形式，包括视觉、听觉、处决、嗅觉、味觉等方面。
2、表示媒体。表示媒体是信息的表示形式，其实就是它的编码的形式。可以编码成文字性、图像、图形、动漫、音频和视频等形式。
3、显示媒体。显示媒体也称为表现媒体，注意这一个媒体是出题考察频率最高的，也是最容易错的地方。显示媒体指的是表现和获取信息的物理设备，其实就是输入输出设备。如输出显示媒体如显示器、打印机和音响等；还有输入显示媒体如键盘、鼠标和麦克风等。
4、存储媒体。存储媒体指的是存储数据的物理设备，如磁盘、光盘和内存等。
5、传输媒体。传输媒体指的是传输数据的物理载体。如电缆、光缆和交换设备等。

4、多媒体技术基本概念-多媒体相关计算问题

多媒体相关计算问题。多媒体计算主要由三个方面的问题：图像容量计算、音频容量计算、视频容量计算。

1、图像容量计算。图像容量计算时，往往会给出两种不同的条件：一种方式是给出像素和位数；另外一种方式是给出像素和色数。
1）第一种方式：每个像素为16位，图像是640 * 480像素，其中640是水平像素，代表该图像一行上面有640个像素点；一列会有480个像素点。那么就可以得知该图像一共有640 * 480个像素点，而每一个像素点是用16个bit位来存储它的色彩信息，16个bit位占16 / 8 个字节，那么该图像占的字节数为 640 * 480 * 16 / 8 = 614400个，也就是其容量为614400B。
2）第二种方式：给出像素和色数，例如256个色就占log2(256)个bit位，即假设有k个bit位，那么2^k = 256，求出k个bit位。那么该图像的容量就是 640480log2(256) / 8 = 307200B。

2、音频容量计算。音频容量 = 采样频率(Hz) * 量化/采样位数(位) * 声道数 / 8。

3、视频容量计算。视频容量 = 每帧图像容量(Byte) * 每秒帧数 * 时间 + 音频容量 * 时间。

注意：

在做计算题的时候，单位一定要看清楚，同时单位的细节也需要注意。在计算机领域，千这个单位也就是k，也是分为了大写的K和小写的k。采样和传输的时候用的小写的K，存储的时候使用的是大写的K。小写的k是1000，大写的K是1024。也就是说存储数据的时候，千是以1024为单位的，传输数据的时候的k是以1000为单位的。1024的单位只有在存储的时候会用到。

5、多媒体基础-常见多媒体标准

常见多媒体标准。常见的多媒体标准其实有很多，但是考试当中经常涉及的并不是很多。以下是一些常见的多媒体标准：
1、JPEG。JPEG是目前最为常见的图像文件的标准，比如一些平常的照片一般都存成了JPEG的格式。它的扩展名就是 .jpg 的文件。这种标准是一种有损的压缩标准，打开图像之后进行放大之后有些地方会出现水波纹以及有些地方是糊的，说明JPEG这种标准在压缩图像的时候是用的有损的方式，损害了图像的一些质量。JPEG里面用到了离散余弦的算法。
2、JPEG-2000。JPEG的升级版是JPEG-2000，这种格式目前在医学领域应用的比较多，它既有有损的压缩算法，也有无损的压缩算法。压缩比很不错。目前在专业领域应用是很广泛的。像医学领域。
3、MPEG-1。这个标准最大的贡献就是定义了VCD的格式和mp3的格式。mp3是由MPEG-1的layer3，也就是第三层定义的，所以叫做mp3。
4、MPEG-2。MPEG-2标准里面定义了DVD格式。
5、MPEG-4。MPEG-4标准里面最大的改变与革新就是增强了交互性。之前了VCD和DVD都是没有交互性的，但是在MPEG-4里面已经定义了交互这方面的一些东西。所以它开始应用于网络进行可视通话的一些标准。
6、MPEG-7。MPEG-7标准其实已经不是具体的一些定义了，它是多媒体内容的描述接口，这就是MPEG-7最大的特点。
7、MPEG-21。MPEG-21标准是一个标准集成。它的用意是把标准集合起来，糅合其他的标准，而不是具体的定义某一块的具体事物。

6、数据压缩基础

数据压缩基础。数据压缩在多媒体技术里面是非常重要的一块。
为什么说数据压缩非常重要，因为一张照片如果不进行压缩，动辄就是几兆甚至数十兆，因为现在的像素越来越高了，它非常的占空间。如果说存储数据都用原始格式进行存储，那么硬盘根本存储不了多少数据。所以会利用数据压缩技术，把原始信息进行压缩，这样子就节省了存储的空间。比方说照片一般使用JPG格式存储，因为JPG格式有比较好的压缩性能，能够节省大量空间。

压缩有一个前提，就是必须得有冗余才能进行压缩。
冗余分为空间冗余(几何冗余)、时间冗余、视觉冗余、信息熵冗余、结构冗余、知识冗余。
1、空间冗余。空间冗余例如大面积相同的颜色，只需要记录哪一部分都是一种颜色即可，不需要一个一个像素点记录每个像素点都是什么颜色。压缩的方法就是记录一个点和哪些区域是和这个点是相同的情况。
2、时间冗余。例如视频中会有一些一直在运动的物体和一些一种不动的物体。而不动的那一部分可以记录下来这一部分区域在下一帧没有变化直接显示下来即可，对于有变化的区域就进行更新。这就是时间冗余。
3、视觉冗余。像平常接触的JPG就涉及到视觉冗余。因为JPG的压缩是有损的，而有损的压缩之后，再看这个图片并不觉得画质很差。是因为人的视觉是有一个甄别不到的级别。比如说24位的颜色能够表达的元素数量是极多的，但是人眼能识别的很少。所以颜色分为很多级颜色，但是人眼看起来都是同一种颜色。那么在压缩的时候就把它设置为同样的颜色。或者说一些关注不到的细节就直接不存它，忽略掉它。
4、信息熵冗余。信息熵冗余是指不同的信息编码的冗余度是不一样的，所以可以通过合理的编码来降低冗余度，提高效率。
5、结构冗余。结构冗余和空间冗余有点类似。空间冗余强调的是整个画面有大面积相同的东西；结构冗余强调的是某个结构部件有大量的冗余。比如说拍一张地砖的图片，地砖是一块一块的，花纹都一样，如果说要把这一个画面进行压缩，那么可能考虑就记录一次一个地砖的花纹的图案，其他位置就告诉系统也是这种花纹就可以了。
6、知识冗余。知识冗余就是从知识层面上来讲，可以不去记录的信息，可以通过知识分析得到的数据。

正是因为有这些冗余，所以才有了各种各样的压缩的技术。

7、有损压缩与无损压缩

有损压缩与无损压缩。所谓有损压缩就是压缩之后不能还原成原来的样子，因为再压缩的过程中已经丢失了一些信息；而无损压缩是指在压缩之后仍然可以还原成原来的样貌。JPG文件属于有损压缩。

1、有损压缩。有损压缩的优势就是有比较高的压缩比，可以把原图压的更小，所以丢失了一些信息。有损压缩的编码方法被称为熵压缩法，熵压缩法代表已经损害到原始信息，不能够还原。
2、无损压缩。无损压缩虽然可以还原到原图一模一样，但是它的压缩比不行，要差一些。无损压缩也成为熵编码法，就是会通过编码的方式来做压缩。

常见的无损编码有：哈夫曼(Huffman)编码、Shannon-FannO编码、算数编码、行程编码。这些都属于无损编码，可逆可还原。
哈夫曼编码通过变长的这种编码方式把使用频度高的编码编的短一些，使用频度低的编码编的长一些，这样子就使得信息没有破损、没有损失，但是整体的容量变小了。

常见的有损编码有：离散余弦、变换编码、预测编码、基于模型编码、直接影射等，这些都是有损编码。