首页 > 其他分享 >限失真信源编码

限失真信源编码

时间:2023-04-06 10:03:24浏览次数:55  
标签:编码 概率 互信息 失真 信源 信道 事件 信宿

本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。

有失真信源编码的数学模型如下图所示,将编码过程看成信息经过有扰信道传输的过程。信道输出 Y 即为编码输出。

限失真信源编码_互信息

对离散信道,用信道转移概率(条件概率)p(y|x)表示信道。

限失真信源编码_互信息_02

如BSC信道:

限失真信源编码_取值_03

互信息

设有两个随机事件X和Y ,

  • X取值于信源发出的离散消息集合
  • Y取值于信宿收到的离散符号集合

限失真信源编码_取值_04

如果信道是无噪的,当信源发出消息 限失真信源编码_后验概率_05 后,信宿必能准确无误地收到该消息, 彻底消除对 限失真信源编码_后验概率_05 的不确定性, 所获得的信息量就是 限失真信源编码_后验概率_05自信息 限失真信源编码_后验概率_08 ,即 限失真信源编码_后验概率_05 本身含有的全部信息

一般而言,信道中总是存在着噪声和干扰,信源发出消息 限失真信源编码_后验概率_05 ,通过信道后, 信宿只可能收到由于干扰作用引起的某种变形 限失真信源编码_后验概率_11 。(例如BSC信道,可能发出0收到1)

  • 信宿收到 限失真信源编码_后验概率_11 后推测信源发出 限失真信源编码_后验概率_05 的概率 限失真信源编码_互信息_14 称为后验概率
  • 信源发出消息 限失真信源编码_后验概率_05 的概率 限失真信源编码_取值_16 称为先验概率

互信息定义

定义为 限失真信源编码_后验概率_05 的后验概率与先验概率比值的对数

限失真信源编码_后验概率_18

限失真信源编码_取值_19

限失真信源编码_后验概率_20

**互信息 限失真信源编码_取值_21 表示接收到某消息 限失真信源编码_后验概率_11 后获得的关于事件 限失真信源编码_后验概率_05 的信息量。**单位和自信息相同。

例 、某地二月份天气构成的信源为:

限失真信源编码_取值_24

求得自信息量分别为

限失真信源编码_互信息_25

若得知 “今天不是晴天” ,作为收到的消息 限失真信源编码_后验概率_26

当收到 限失真信源编码_后验概率_26 后, 各种天气发生的概率变成后验概率:

限失真信源编码_后验概率_28

限失真信源编码_取值_29

表明从 限失真信源编码_后验概率_26 分别得到了 限失真信源编码_互信息_31 各 1 比特的信息量。 消息 限失真信源编码_后验概率_26 使 限失真信源编码_互信息_31 的不确定度各减少 1 bit。

互信息的性质

  • 互易性 限失真信源编码_互信息_34
  • 当事件 限失真信源编码_互信息_35, 限失真信源编码_互信息_36 统计独立时, 互信息为 0 , 即 限失真信源编码_互信息_37
  • 互信息可正可负
  • 任何两事件之间的互信息不可能大于其中任一事件的自信息(见上述公式3)

例:设 e 表示事件“降雨”, f 表示事件“空中有乌云”,且

标签:编码,概率,互信息,失真,信源,信道,事件,信宿
From: https://blog.51cto.com/u_15736437/6172292

相关文章

  • 计算机中的编码和字符集:理解二进制、字节流和常见编码方案
    编码:将字符串转换到字节串的过程。解码:将字节串转换成字符串的过程。GB2312既是一种中文字符集,也是以ANSI标准为基础,实现的中文编码方案。它主要用于简体中文编码,是中国国家标准,于1981年发布。GBK是GB2312的超集。Unicode是一种字符集,定义了所有字符的唯一标识符(码点),同时......
  • 流媒体技术学习笔记之(六)FFmpeg官方文档先进音频编码(AAC)
     先进音频编码(AAC)的后继格式到MP3,和以MPEG-4部分3(ISO/IEC14496-3)被定义。它通常用于MP4容器格式; 对于音乐,通常使用.m4a扩展名。第二最常见的用途是在MKV(Matroska)文件内,因为它比MP4更好地支持嵌入式基于文本的软字幕。本指南中的示例将使用扩展MP4和M4A。FFmpeg的可支持两个AA......
  • 汉字编码问题(OJ 2h奋战血泪)
    永远想不到汉字的utf-8gcc编码其实是三个字符,我是在云IDE发现的.....#include<bits/stdc++.h>usingnamespacestd;//A>K>Q>J>>10>9>...>3>2structCard{ charname[10]; intcolor; intnumber; voidchange(){ if(strstr(name,"大王"))......
  • 计算机字符编码的前世今生
    一、前言有人丢给你下面这张图,如果你能清楚地说明它们之间的关系以及用途,那么你对字符编码的理解肯定过关了。不知道看了上面这张图,是否有混乱的感觉,本文试着给你梳理、讲透这些孤立的几个单词之间联系…二、关于字符编码,你所需要知道的2.1ASCII(寡头垄断时期)计算机内部,所有信息最......
  • mp4v2再学习 -- H264视频编码成MP4文件
    一、H264视频编码成MP4文件参看:H264视频编码成MP4文件参看:mp4v2在VS2010下的编译与在项目中的使用最近做项目需要将H264文件封装为mp4文件,从网上找到了MP4V2库,下载下来后不知道从何下手,官方网站https://code.google.com/p/mp4v2/在windows下的编译过程介绍的很简短,对刚刚开始使用VS......
  • LiveGBS流媒体平台国标GB/T28181在国标级联上级时如果设备是H265视频编码上级只支持H2
    @目录1、什么是GB/T28181级联2、获取上级接入配置信息2.1、接入第三方国标平台2.2、接入LiveGBS示例3、配置国标级联3.1、国标级联菜单3.2、添加上级平台3.3、编辑上级平台级联3.4、共享通道给上级平台(选择通道)3.5、共享通道给上级平台(分组共享)3.6、推送通道4、强制推送H264编码5......
  • sql 单号编码规则
    --SETQUOTED_IDENTIFIERON|OFF--SETANSI_NULLSON|OFF--GO/*Description:单号编码规则@key:开头字符串@datelen:日期长度2:年的后两位4:年6:年月8:年月日@numlen:流水号长度例如0:14:0001@spacer:默认空*/ALTERPROCPro_realtime_GetMaxBillNo(@keyNVARCH......
  • 逆向——字符与字符串,中文字符GB2312编码由来
    字符与字符串在之前的课程中我们了解到变量的定义决定两个事情,第一是决定存储的数据宽度,第二是决定了存储的数据格式,那么我们来看下下面的代码:inta=123;//变量x,数据宽度为4个字节,里面存储的是补码(在计算机系统中,数值一律用补码来存储)intfloatb=123.4F;//IEEE编码(......
  • [oeasy]python0123_中文字符_文字编码_gb2312_激光照排技术_王选
    中文编码GB2312回忆上次内容上次回顾了日韩各有编码格式日本有假名五十音一字节可以勉强放下 有日本汉字字符数量超过20000+  韩国有谚文数量超过500一个字节放不下 有朝鲜汉字字符数量超过20000+......
  • 字符编码介绍
    字符编码是用于将字符集中的字符转换为二进制数据的方式。以下是常见的字符编码:ASCII编码:AmericanStandardCodeforInformationInterchange(美国信息交换标准代码),它使用7位二进制数来表示128个字符,ASCII编码最早用于电报通信,包括大小写字母、数字和一些特殊字符。ASCII编码......