《信息论与编码第三章.ppt》由会员分享，可在线阅读，更多相关《信息论与编码第三章.ppt（28页珍藏版）》请在三一办公上搜索。
1、,第三章 离散信道3.1 信道的数学模型和分类 离散信道：I/O的R、V的取值都是离散的信道；连续信道：入/出R、V的取值都是连续的信道；半散半续：、R、V离散出R、V连续或相反。离散信道，必须确定其主要参数：输入：输出：信道的传输作用：1、主要参数表示法：单符号：多符号：2、信道矩阵表示法：3、图示法：,b1 b2 bs,b1 b2 bs,离散信道分类：,A、理想信道：输入输出一一对应，且B、有干扰无记忆信道：或：C、有干扰有记忆信道：例：二进制对称信道；二进制扩展信道。,一般离散信道的一些概率关系,1、输入符号ai,输出符号bj的联合概率前向概率：后向（验）概率2、输出符号bj的概率：3、
2、信宿收列符号bj后，推测输入符号ai的后验概率：由贝叶斯定律 且：,先验概率,3.2 信道疑义度及平均互信息,交互信息量 信息流通的根本问题:通信前后对信道输入ai不确定性消除的量。1.站在信道的输出端观察2.站在信道的输入端观察3、站在通信系统的总体立场观察 通信前：通信后：单位也为：bit(2)；nat(e)；Hart(10),后验概率与交互信息量的关系,交互信息量log 后验概率先验概率1、这时，为无噪信道。2、，后验概率与先验概率的比值大于1，3、4、，引伸一下，ai和bj统计独立时：且 说明ai和bj之间的约束程度不同，交互信息量也各不相同，所以，即是ai和bj之间交互信息量的测试，
3、也是ai和bj之间统计约束程度的一个体现者。,3.2.3 自信息量两种含意 1、自信息量可被理解为要完全消除对 不确定性，唯一确定 所必须获取的最大信息量。,2、自信息量可理解为符号bj所能提供的最大信息量。由信息函数确定的自信息量I（x），就是要唯一确定随机事件（符号）x所必须的最大信息量，或者说是随机事件x所能提供的最大信息量。1、取,因为无失真信源编码的一一对应性，所以可认为有 收到就意味着确切无误地收到消息a4，完全消除了a4的不确定度，这时码字bj011和消息a4之间的交互信息量，就是消息a4的自信息量，（是确定a4所必须的最大信息量）。,2、仍取但取bj为码字“011”中的第一个码
4、符号“0”，因为这时有，发消息a4就意味着确切无误地出现bj”0”，这时，从a4中获取关于第一个码符号“0”的信息量就是“0”的自信息量。bit，I（0）可理解为第一个码符号“0”对a4所能提供的最大信息量。从以上讨论可知，自信息量只不过是交互信息量在后验概率（或 这一特定情况下的特例，为此，在这里我们要提请注意，交互信息理论才体现出信息理论关于信息测度的完整观点。,3.2.4 平均交互信息量,3.2.5 平均交互信息量的物理意义信道疑义度（损失熵）：噪声熵：联合熵（共熵）：H（x y）1、表示收到y前、后关于x的不确定性的消除的量。2、表示发x前、后，关于y的不确定性的消除的量。平均交互信息
5、量就是通信前、后平均不确定度的消除的量。,3.3 平均互信息的特性,1、非负性：2、极值性：3、对称性：4、与各类熵的关系：,5、平均互信息的凸函数性,定理3.1 平均互信息 是输入信源概率分布 的型凸函数。证明：固定信道，即信道的传递概率 是固定的平均互信息 将只是 的函数，简写成 选择信源符号集X的两种已知的概率分布 和，对应的联合概率分布为：和 式中：,是型凸函数，对上式第一项，根据詹森不等式：,=log 同理：得：证毕。匹配信源：，由信道的传递概率所决定。定理3.2：平均互信息 是信道传递概率 的型凸函数。（与定理3.1对偶）总可以找到一个信道，其传递概率为：使平均交互信息量达列极小值
6、。,3.4 离散无记忆信道的扩展信道,例：二进制对称信道的二次扩展信道矩阵为：无记忆信道的N次扩展信道的平均互信息定理3.3，若信道的输入随机序列为，通过信道传输，接收到的随机序列为，假如信道是无记忆的，即信道传递概率满足：则存在无记忆N次扩展信道：式中xi和yi是随机序列X和Y中对应的第i位随机变量。,证明：设某一输入为 输出为：X和Y的平均互信息：,，信道是无记忆的 另一方面：,当信源是无记忆时，有：因此上式等号成立。,定理3.4：若信道输入随机序列为，通过信道传输，接收到的随机序列，信道的传递概率为，若信源是无记忆的，则存在；,3.5串联信道的互信息,平均交互信息量：（X，Y）；（X，Z
7、）；（Y，Z）；（XY，Z）；（X，YZ）1、当且仅当时一切 都有 才能使等式成立。2、当且仅当时一切 都有 才能使等式成立。3、当随机序列 构成马氏链时，则有：，当且仅当时一切 都有 才能使等式成立。,信息处理定理（数据处理定理、信息不增原理）根据3得出结论：通过串联信道的传输只会丢失信息，且传输中丢失的信息量，不论以后的系统如何处理，只要 不触及到丢失信息过程的输入端，就不能恢复已丢失的信息,数据处理为归并过程，将X的若干个符号组成一组（分类），即：B1UB2UU Bm，Bm=(b1,bs），B1B2Bm=直观地分类数据处理意味着使观察变得粗略，处理结果只能使对X的不确定性减少而不会增加，
8、即信息量减少。任何无源处理过程（不涉及原始信源），总是丢失信息的，最多是保持原有信息不变。,3.6 信道容量一、信道容量的定义,平均交互信息量的最大值，比特/信道符号或：一般仍称Ct为信道容量。例：二进制对称信道的平均交互信息量：当 时，得：信道容量C与信源无关，它只是信道传输p的函数，与信道统计特性有关。,二、信道容量的一般计算方法,作一辅助函数：可推得一般情况下的偏导数为：,假设使平均交互信息量达到极大值的输入概率分布,即：令：则：由这个C值，可解得对应的输出概率：解出达到容量的最佳输入概率分布：但需满足 条件，否则令某些ai的概率等于0，重算。,由式：又由式：对所有ai,结论：一般离散信
9、道的平均交互信息量达到极大值（即等于信道容量）的充分必要条件是输入概率分布 满足：判定定理：或：当信道平均交互信息量达到信道容量时，输入信源X的符号集中每一个信源符号ai对输出端提供的信息量相同，只是概率为0的符号除外。,三、常见离散信道的信道容量,1、离散无噪信道：2、扩展信道：信源等概分布时，具有扩展性能的信道达到信道容量,3、归并信道：,4、强对称离散信道：,时达到最大值，非唯一,当 时，才有,A、输入随机变量等概分布时，信道达到C，同时输出随机变量也等概分布，达最大熵；B、后验概率与传递概率相等，；C、信道疑义度（损失熵）与噪声熵相等 即，当达到信道容量时，由“归并”和“扩展”噪声引起
10、的 平均不确定度相等。D、噪声引起的平均不确定度随信道的错误传递概率 的减少而。最常用到的强对称离散信道是二进制对称离散信道,5、对称离散信道：如离散信道的信道矩阵中每一行都是相同符号集 诸元素的不同排列组成，并且每一列也都是由相同符号集 诸元素的不同排列组成，则称为对称离散信道,与强对称离散信道区别：A、强对称离散信道的输入符号数q等于输出符号数s；而对称离散信道的q不一定等于s，不一定是方阵；B、强对称离散信道：行和列是同一集合，此处不一定；C、强对称离散信道的信道矩阵中列和=行和=1，而对称离散信道的中每列之和不一定等于1；D、强对称离散信道矩阵中对角线上的元素都是正确传递概率，其它全为
11、错误传递，而此处矩阵中虽然每行、每列具有可排列性，但不一定是对称矩阵。,3.7 信道容量的迭代计算,作辅助函数：同理，作辅助函数：,迭代算法的基本公式及步骤如下：,A、先假定一组 作为起始值，最合理的假定是起始概率分布为等概，将其固定变动得：B、计算C、计算D、计算E、计算 类推，一般有：当迭代次数 时，可证明逼近收敛,3.8 信源与信道的匹配,信源与信道达到匹配时信息传输率达到信道容量，否则有剩余，定义：信道剩余度 信道相对剩余度 无损信道相对剩余度 就是第二章的信源剩余度,所以对于无损信道,可以通过信源编码来减少信源的剩余度,信源编码就是将信源输出的消息变换成新信源的消息来传输,使新信源的熵接近于最大熵,使信息传输率达到信道容量,信道剩余度趋于0,使信道得到充分利用。,
