首页 > 其他分享 >即时通讯音视频开发视频编解码理论

即时通讯音视频开发视频编解码理论

时间:2022-12-23 10:33:19浏览次数:43  
标签:视频 MPEG 编解码 编解码器 即时通讯 音视频 传输 压缩 冗余

从信息论的观点来看,描述信源的数据是信息和数据冗余之和,即:数据=信息+数据冗余。数据冗余有许多种,如空间冗余、时间冗余、视觉冗余、统计冗余等。将图像作为一个信源,视频压缩编码的实质是减少图像中的冗余。

视频为何需要压缩?

    未经压缩的数字视频的数据量巨大
    存储困难:一张DVD只能存储几秒钟的未压缩数字视频。
    传输困难 1兆的带宽传输一秒的数字电视视频需要大约4分钟。

主要压缩了什么东西?

原始视频压缩的目的是去除冗余信息,可以去除的冗余包括:

    空间冗余:图像相邻像素之间有较强的相关性
    时间冗余:视频序列的相邻图像之间内容相似
    编码冗余:不同像素值出现的概率不同
    视觉冗余:人的视觉系统对某些细节不敏感
    知识冗余:规律性的结构可由先验知识和背景知识得到

数据压缩是怎么分类的?

    无损压缩(Lossless):压缩前、解压缩后图像完全一致X=X',压缩比低(2:1~3:1)。典型格式例如:Winzip,JPEG-LS。
    有损压缩(Lossy):压缩前解压缩后图像不一致X≠X',压缩比高(10:1~20:1),利用人的视觉系统的特性。典型格式例如:MPEG-2,H.264/AVC,AVS。

什么是“编解码器”?

    编码器(Encoder):压缩信号的设备或程序;
    解码器(Decoder):解压缩信号的设备或程序;
    编解码器(Codec):编解码器对。

即时通讯音视频开发视频编解码理论_视频传输

编解码器的实现

编解码器的实现平台:

    超大规模集成电路VLSI
    ASIC, FPGA
    数字信号处理器DSP
    软件

编解码器产品:

    机顶盒
    数字电视
    摄像机
    监控器

视频编码的标准

编码标准作用:

    兼容:不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码
    高效:标准编解码器可以进行批量生产,节约成本。即时通讯定制开发可以咨询蔚可云开发

即时通讯音视频开发视频编解码理论_差错控制_02

主流的视频编码标准:

    MPEG-2
    MPEG-4 Simple Profile
    H.264/AVC
    AVS
    VC-1

标准化组织:

    ITU:International Telecommunications Union
    VCEG:Video Coding Experts Group
    ISO:International Standards Organization
    MPEG:Motion Picture Experts Group

视频传输

    视频传输:通过传输系统将压缩的视频码流从编码端传输到解码端
    传输系统:互联网,地面无线广播,卫星

视频传输面临的问题

传输系统不可靠:

    带宽限制
    信号衰减
    噪声干扰
    传输延迟

视频传输出现的问题:

    不能解码出正确的视频
    视频播放延迟

视频传输差错控制

差错控制(Error Control)解决视频传输过程中由于数据丢失或延迟导致的问题。

差错控制技术有:

    信道编码差错控制技术
    编码器差错恢复
    解码器差错隐藏

视频传输中QoS质量保证参数

    数据包的端到端的延迟
    带宽:比特/秒
    数据包的流失率
    数据包的延迟时间的波动

标签:视频,MPEG,编解码,编解码器,即时通讯,音视频,传输,压缩,冗余
From: https://blog.51cto.com/u_15906303/5965038

相关文章

  • 即时通讯音视频开发视频编码基础
    音视频即时通讯是最为时尚、流行的通讯方式。可以实现一对一、一对多、多对多的通讯。而各种各样的即时通讯软件也层出不穷;服务提供商越来越丰富的通讯服务功能。随着社会的......
  • 有奖征文活动:从 RTC 到 RTE,从音视频到「实时万象」!
     Hi小伙伴们,社区已经更名RTE两个月辣~大家对于RTC和RTE的区分,是否还有疑惑呢?......
  • 【限时免费领取】2020-2022音视频 & 元宇宙行业报告精华合集,可单份或一次性打包下载!
     各位开发者小伙伴,社区运营小姐姐为大家准备了一份技术大礼包。涵盖音视频、元宇宙两大领域2020-2022年度精选行业分析报告,现开启限时免费领取!微信扫码获取行业报告,开......
  • 直播预约通道开启!解锁音视频应用快速上线的秘诀
    音视频时代,如何一站式解决SDK兼容、联调、授权管理等问题?如何快速上线音视频应用?7月7日19:00-20:30,多位腾讯云音视频技术专家现身「新知·音视频技术公开课」直播间,分享......
  • 关于音视频里面的 解码帧率 和 渲染帧率
    在里面有位PM同学,咨询关于音视频里面的解码帧率和渲染帧率,关于这两个概念其实挺绕的,不同的人可能还有不同的看法,所以也让大家一起来评估一下解读是否正确!!以下是星球内的提......
  • 将音视频中的花屏、绿屏、黑屏问题一网打尽
    今天继续给大家分享一下里面的干货。创建快两个月了,目前已经积累了不少干货,主要得益于星球里大佬们的分享以及小伙伴的提问。星球里面邀请的大佬都是在头条、快手等知名IT......
  • 音视频流简介
    1.推流和拉流推流:指的是把采集阶段封包好的内容传输到服务器的过程。其实就是将现场的视频信号传到网络的过程。拉流:拉流是指服务器已有直播内容,根据协议类型(如RTMP、RTP......
  • python中的编解码攻略
    正如其他语言一样,在Python的世界里也有有字符的编解码问题;有的在命令行回显时出现,有的在读取文件时出现,有的在执行命令时出现,有的在读取数据库时出现,不尽相同。注:如未特别申......
  • 即时通讯音视频开发之音频基础及编码原理
    即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙。原因在于:实时音视频技术=音视频处理技术+网络传输技术的横向技术应用集合体,而公共互联网不是为了实时......
  • Qt音视频开发06-海康sdk内核linux客户端
    一、前言海康sdk的示例在官方是提供了的,但是无论UI还是交互简直是宇宙无敌的垃圾,猜测应该是初学者编写的,估计练手用的,所以老早就想把这个linux支持集成到自己的示例中,既然......