《信息论基础理论与应用第三版(傅祖芸)第三章.ppt》由会员分享，可在线阅读，更多相关《信息论基础理论与应用第三版(傅祖芸)第三章.ppt（111页珍藏版）》请在三一办公上搜索。
1、第三章 离散信道及其信道容量,第一节 信道的数学模型及分类,第二节 平均互信息,第三节 平均互信息的特性,第四节 信道容量及其计算方法,第五节 离散无记忆扩展信道及其信道容量,第六节 信源与信道的匹配,信道的任务：以信号方式传输信息和存储信息。研究内容：信道中能够传送或存储的最大信息量，即信道容量。,3.1 信道的数学模型和分类,数字通信系统的一般模型,一、信道的分类 根据载荷消息的媒体不同,根据信道用户的多少,单用户（两端）信道 一个输入端和一个输出端的单向通信；多用户信道 至少有一端有两个以上的用户，可以是双向通信；（计算机通信、卫星通信、广播通信等）,根据输入端和输出端的关联,无反馈信道
2、有反馈信道,信道参数与时间的关系,固定参数信道时变参数信道,根据输入输出信号的特点,离散信道（离散随机序列-离散随机序列）连续信道（连续值随机序列-连续值随机序列）半离散半连续信道（离散随机序列-连续值随机序列）波形信道（模拟信道）（时间、取值连续随机信号-时间、取值连续随机信号）,我们只研究：无反馈、固定参数的单用户离散信道。,信道分析的方法 信源输出的是携带者信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后经过信道传送到接收者。一般认为，噪声或干扰主要从信道中引入，它使信号通过信道传输后产生错误和失真。因此，信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖关系。
3、只要知道信道的输入信号、输出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。,二、离散信道的数学模型,条件概率 P(y|x)描述了输入信号和输出信号之间统计依赖关系，反映了信道的统计特性。根据信道的统计特性的不同，离散信道又可分成3种情况：,1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道,(1)无干扰(无噪声)信道 信道中没有随机性的干扰或者干扰很小，输出符号 y 与输入符号 x 之间有确定的、一 一对应的关系。即：y f(x),(2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记
4、忆信道。,(3)有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。例如在数字信道中，由于信道滤波频率特性不理想时造成了码字间串扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。,三、单符号离散信道,单符号离散信道特性：输入符号为X，取值于a1,a2,ar输出符号为Y，取值于b1,b2,bs条件概率：P(y|x)P(y=bj|x=ai)P(bj|ai)这一组条件概率称为信道的传递概率或转移概率。信道中有干扰(噪声)存在，可以用传递概率 P(bj|ai)来描述干扰影响的大小。,一
5、般简单的单符号离散信道可用 X,P(y|x),Y 三者加以表述，其数学模型可以用如下概率空间 X,P(y|x),Y也可用图形来描述：,单符号离散信道,信道矩阵（转移矩阵）模型 一般离散单符号信道的传递概率可用矩阵形式表示，即,矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。矩阵 P中元素有些是信道干扰引起的错误概率，有些是信道正确传输的概率。,例 二元对称信道，BSC，Binary Symmetrical Channel,解：此时，X:0,1;Y:0,1;r=s=2，a1=b1=0；a2=b2=1。传递概率:,p是单个符号传输发生错误的概率。（1-p）表示是无错误传
6、输的概率。转移矩阵:,0 101,符号“2”表示接收到了“0”、“1”以外的特殊符号,0 2 101,例二元删除信道。BEC，Binary Eliminated Channel,解：X:0，1 Y:0，1，2此时，r 2，s 3，传递矩阵为：,（1）联合概率,其中,前向概率，描述信道的噪声特性,后向概率（后验概率）,输入符号的先验概率,单符号离散信道的相关概率关系,（2）输出某符号的概率,含义：输出端收到的某符号，必是输入端某一符号输入所致。,（3）后验概率,且,根据贝叶斯定理，可知：,3.2 信道疑义度与平均互信息,研究离散单符号信道的信息传输问题。,一、信道疑义度,先验熵：即信道输入信源X
7、的熵,H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性。,后验熵：接收到bj后，关于输入变量X的不确定性。,后验熵是当信道接收端接收到输出符号bj后，关于输入符号的不确定性的信息测度。,信道疑义度：后验熵在输出符号集Y范围内是随机量。对后验熵在符号集Y中求数学期望，即-信道疑义度：,互信息量 I(x;y)：收到消息y 后获得关于x的信息量，即消除的不确定性量。,互信息量表示先验的不确定性减去尚存的不确定性，是收信者获得的信息量。若互信息I(x;y)0，说明在收到信息量y以前对消息x是否出现的不确定性较小；但由于信道噪声的存在，反而使得接收到消息y后，反而对x是否出现的不确定程度增加了
8、。,二、平均互信息,平均互信息I(X;Y)：,接收到符号 Y 后,平均每个符号获得的关于 X 的信息量，体现输入与输出两个随机变量间的统计约束程度。,另一角度：平均互信息=通信过程所消除的不确定性：,I(X;Y)是I(x;y)的统计平均，可以证明I(X;Y)0。若I(X;Y)=0，表示在信道输出端接收到符号后不获得任何关于输入符号的信息。,I(X;Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：,平均互信息与各类熵的关系,维拉图：可用于各类熵与平均互信息之间关系 H(X|Y)=H(X)-I(X;Y)损失熵/信道疑义度
9、 H(Y|X)=H(Y)-I(X;Y)噪声熵/散布度 H(XY)=H(X)+H(Y)-I(X;Y),H(X),图中，左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。,两种特殊信道分析,（1）离散无干扰信道(无损信道),信道的输入和输出一一对应，信息无损失传输。,信道传递概率,对应某y，只有一个p(x|y)!=0,则平均互信息=H(X)=H(Y),损失熵(信道疑义度)=0,噪声熵（散布度）=0,I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X),P(x|y)!=0,其它取值时为0
10、,无损信道特性 在无损信道中，输入符号和输出符号之间一一对应，所以接收到Y后不存在对于输入X的任何不确定性，即信道疑义度（损失熵）等于零。同时，因为输入和输出符号之间一一对应，所以噪声熵等于零。这时，接收到的平均互信息量就是输入信源所提供的信息量。维拉图：,I(X;Y)=H(X)=H(Y),H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y),各集合完全重迭,无损信道：,（2）输入输出独立信道(全损信道)信道输入和输出没有依赖关系，信息无法传输，称为全损信道。,损失熵(信道疑义度)=H(X)：,噪声熵（散布度）=H(Y)：,因此在全损信道中，接收到Y后不可能消除有关输入端X的任何不
11、确定性，所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。,平均互信息=0：,H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0,各集合完全独立,全损信道：,H(Y)=H(Y|X),H(X)=H(X|Y),3.3 平均互信息的性质,（1）非负性 I(X;Y)0,当X、Y统计独立时等式成立。,证明：设，,即：I(X;Y)0。当所有p(xy)=p(x)p(y)，等号成立。,则必满足詹森不等式,因而有如下关系,（2）极值性 即 I(X;Y)minH(X)，H(Y)当 H(X|Y)=0 时，即信道信息无
12、损时，等式成立。,证明：前面已知 I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)而 0 H(X|Y)，0 H(Y|X)因此：I(X;Y)H(X)且 I(X;Y)H(Y)即：I(X;Y)minH(X)，H(Y),表明：从一事件提取另一事件的信息量，至多只有另一事件的信息熵那么多，不会超过该事件所含有的信息量。当H(X|Y)=0时，I(X;Y)=H(X)，此时信道中信息无损失，接收到Y可获得关于X的平均信息量。,（3）交互性（对称性）即 I(X;Y)=I(Y;X)1）当 X、Y统计独立时 I(X;Y)=I(Y;X)=0 2）当信道为一一对应的无噪信道时 I(X;Y)=I(
13、Y;X)=H(X)=H(Y),因：,从Y中提取X的信息量,从X中提取Y的信息量,（4）凸状性,可知，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的传递概率P(y|x)的函数，即：I(X;Y)=f P(x),P(y|x),根据平均互信息表达式：,定理3.1 平均互信息I(X;Y)是输入信源的概率分布P(x)的型凸函数。,（1）对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。（2）对于每一个固定信道，一定存在有一种信源处于某一种概率分布P(x)，使输出端获得的平均信息量为最大。,例：对于二元对称信道,如果输入信源符号分布 X=w
14、,1-w，则,而：,所以：,当信道固定时，p不变，平均互信息是信源分布的 型凸函数（w的上凸函数），最大值为1-H(P),定理3.2 平均互信息I(X;Y)是信道传递概率P(y|x)的型凸函数。,当信源确定后，选择不同信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰(噪声)最大，而输出端获得的信息量最小。即：对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均交信息量达到相应的最小值Imin。,例：对于二元对称信道,如果信源分布X=w,1-w，则 可得，当w固定，p=1/2时，平均互信息最小=0,信息传
15、输率 信道中平均每个符号所能传送的信息量。而平均互信息I(X;Y)则反映了接收到一符号Y后平均每个符号获得的关于X的信息量。因此，信息传输率可作如下定义：信息传输率 R R=I(X;Y)=H(X)H(X|Y)(比特/符号),3.4 离散信道的信道容量,信息传输速率Rt：信道在单位时间内平均传输的信息量。即信道中平均每秒传输的信息量：,Rt R/t=I(X;Y)/t=H(X)/t H(X|Y)/t（bit/s）,一、信道容量由于平均互信息I(X;Y)是输入随机变量的型凸函数，所以对一固定的信道，总存在一种信源的输入分布概率，使传输每个符号平均获得的信息量最大。信道容量：对任何一个固定信道，存在一
16、个最大的信息传输率,（比特/符号）,与之相对应的输入分布概率P(X)则称为最佳输入分布。,(Bit/s),Ct仍称为信道容量：,若平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量为Ct：,性质 信道容量与输入信源的概率分布无关，只是信道传输概率的函数，只与信道的统计特性有关。信道容量是完全描述信道特性的参量，是信道的最大信息传输率。,即：,例 二元对称信道容量的计算,因此，二元对称信道的信道容量为：,前述二元对称信道，I(X;Y),(比特符号),1.无噪无损信道（无噪一一对应信道）,二、简单离散信道的信道容量,例如：,也即,其信道矩阵是单位矩阵：,满足：损失熵H(X|Y)
17、=0、噪声熵H(Y|X)=0，故 I(X;Y)=H(X)=H(Y),则信道容量：,维拉图：,最佳输入分布：等概率分布,2.有噪无损信道,信道特点：输入一个符号X对应若干个输出符号Y，且每一个X值所对应的Y值不重合。输入符号通过传输变换成了若干个输出符号，不满足一一对应关系，但这些输出符号仍可以分成互不相交的一些子集合。,例,一旦接收到符号Y后，可消除对X符号的不确定性。分析一下：损失熵H(X|Y)，噪声熵H(Y|X),信道矩阵特点：除了每行元素之和为1外，每一列中只有一个非零项。表明一个接收符号只对应一个发送符号，而一个发送符号对应多个接收符号，是一对多关系。,所以：I(X;Y)=H(X)H(
18、X|Y)=H(X)且 I(X;Y)=H(Y)H(Y/X)H(Y)则 I(X;Y)=H(X)H(Y),损失熵(信道疑义度)=0：,噪声熵（散布度）0,则信道容量为：,最佳输入分布：等概率分布。,维拉图,3.无噪有损信道（确定信道）,信道特点：输入X与输出Y之间为多对一关系，接收到符号Y后不能完全消除对X的不确定性。前向概率 P(y|x)=0 or 1 后向概率 P(x|y)0 or 1 可计算损失熵H(X|Y)、噪声熵H(Y|X)。,噪声熵（散布度）=0,损失熵（信道疑义度）0,满足：I(X;Y)=H(Y)H(Y/X)=H(Y)I(X;Y)=H(X)H(X/Y)H(X)因此：I(X;Y)=H(Y
19、)H(X),则信道容量为：,输出符号等概率分布时H(Y)最大，且一定可以找到一种输入分布，使得输出符号Y达到等概率分布。,维拉图,三类信道特点：无噪无损信道：损失熵、损失熵皆为0；无损信道：损失熵H(X|Y)为0，噪声熵不为0；无噪信道:噪声熵H(Y|X)为0，损失熵不为0；这三类信道的信道容量的计算，从求平均互信息的极限问题退化为求信息熵的极值问题。,信道特点：信道矩阵P中每一行都是由同一集合p1，p2，ps 中的诸元素不同排列组成；信道矩阵P每一列也都是由同一集合 q1，q2，qr 中的诸元素不同排列组成。一般sr。当r=s，两个集合相同；若rs，则qi是 pi的子集。,三、对称离散信道的
20、信道容量,例：,对称离散信道,非对称离散信道,强对称信道（均匀信道）：若输入/输出符号个数相同，都等于r，且信道矩阵为,特点：总的错误概率为 p，对称地平均分配给r-1个输出符号。它是对称离散信道的特例。,该项是固定Xx 时对Y求和，即对信道矩阵的行求熵。由于是对称信道，所以H(Y/X=x)与 x 无关，为一常数。则,考察：对称离散信道的平均互信息 I(X;Y)=H(Y)-H(Y/X),其中,因此对称离散信道的信道容量应为：,可以看出，这是在某种P(x)分布情况下，使得输出等概分布时，即 H(Y)=logs 时的信道容量。,在什么样的信源输入情况下，信道输出等概分布呢？可以证明，输入等概分布时
21、，输出也等概分布：若输入概率为等概率p(x)=1/r，则,因是对称离散信道，信道矩阵的每一列元素之和相等：,则有,也就是：信道的输出也是等概分布的：,注意：信道容量本身与输入无关；但只有当满足输入的等概分布时，信息传输率才能达到信道容量。,那么对称离散信道的信道容量：,在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。,例 某对称离散信道的信道矩阵如下，求其信道容量。,解：s=4,r=2,特例：对于二元对称信道,这个式子很重要。,特例：对于强对称信道，其信道容量为：,若信道矩阵按列可以划分成若干个互不相交的子集Bk，每一个子集都是对称信道矩阵，即 B1B2 Bn=；B1B2Bn=
22、P由Bk为列组成的矩阵Qk是对称矩阵，则称该信道为准对称信道。如：,按列可划分为几个对称信道矩阵：,*(选讲)四、准对称离散信道的信道容量,可以证明，达到信道容量的最佳输入分布是等概分布，准对称信道的信道容量为：,设 r是输入符号集的个数，为准对称信道矩阵中的行元素（各行元素集合相同）；设信道矩阵可划分为n个互不相交的子集（分别为对称信道矩阵）。是第k个子矩阵 中行元素之和，是该矩阵中列元素之和：,第k个矩阵的列元素之和（各列之和相同）,第k个矩阵中的行元素之和（各行之和相同）,例,不是对称信道矩阵，但可分成两个互不相交的子集（对称信道矩阵）：,*问题分析*由信道容量定义，其值是在固定信道条件
23、下，对所有可能的输入概率分布p(x)求解平均互信息I(X;Y)的极大值。由于平均互信息 I(X;Y)是P(x)的型凸函数，所以极大值一定存在。I(X;Y)是r个变量P(a1),P(a2),P(ar)的多元函数，并满足：P(ai)1。实质上为有约束条件下的多元函数条件极值问题。,五、一般离散信道的信道容量,可应用拉格朗日乘数法计算该条件极值。,引入一个函数,可求出达到极值的输入概率分布和拉格朗日乘子的值，然后再求解出信道容量C。,为拉格朗日乘子，为待定常数。解方程组：,其中,而,解拉格朗日方程组中的方程式,由,K=i时，偏导=1，其他，偏导=0,分部求偏导,则方程组可变为：,又因为,则由：,交换
24、求和次序，结果=1,假设使得平均互信息达到极值的输入概率为p1,p2,pr，把上述方程组中前r个方程两边分别乘以达到极值的输入概率Pi，然后求和得,则上式左边即是信道容量：,则此时，上一页的方程组变为,移项后，得,这是含有s个未知数j、r个方程的非齐次线性方程组。如果r=s，且信道矩阵P是非奇异矩阵，则此方程组有解，并且可求出j，进而求出信道容量：,由这个C值，就可以分别解得对应的输出概率分布：,再根据方程组求出输入分布pi,可解得达到信道容量的最佳输入分布p1,p2,pr。,信道容量计算步骤 当信道矩阵P是非奇异矩阵，信道容量计算过程：1）计算j2）计算信道容量C 3）计算输出分布概率P(b
25、j)4）计算输入分布概率P(ai),例 离散无记忆信道,不是对称信道。r=s=4,信道矩阵非奇异。利用：,则有,计算信道容量,计算输出概率分布,可得,计算最佳输入分布,根据方程组求解输入分布,可得：,3.6 离散无记忆信道的扩展信道,对于离散无记忆信道(DMC，Discrete Memoryless Channel)，其传递概率满足：,可用 X，P(y/x)，Y 概率空间来描述。设离散无记忆信道的输入符号集Aa1，ar，输出符号集Bb1，bs，信道矩阵为:,则此无记忆信道的N次扩展信道的数学模型如图所示:,而信道矩阵：,其中：,例 求二元无记忆对称信道（BSC）的二次扩展信道。解：BSC的输入
26、和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输入符号集为A00，01，10，11，共有224个符号，输出符号集为B 00，01，10，11。由于是无记忆信道，可求得二次扩展信道的传递概率：,信道矩阵：,考察：无记忆信道的N次扩展信道的平均互信息,定理3.5：对于一般离散信道，若信道的输入随机序列为X=(X1X2XN)，通过信道传输，接收到的随机序列为Y(Y1Y2YN)。其中，Xi，Yi是对应第 i 时刻的随机变量。1）假若信道是无记忆的，即信道传递概率满足：,2）假若输入信源是无记忆的，即满足,3）若信道和信源都是无记忆的，则：,无记忆N次扩展信道的平均互信息 1）信道的输入序列 X
27、=(X1X2XN)中的随机变量 Xi 取自于同一信源符号集，并且具有同一种概率分布;2）通过相同的信道传输到输出端（信道传递概率不随 i 改变）随机向量Y=(Y1Y2YN)中随机变量Yi也取自同一符号集，则,由定理3.5，无记忆信道的N次扩展信道若信源也是无记忆的，则：,说明：信源无记忆时，无记忆的N次扩展信道的平均互信息等于原信道的平均互信息的N倍。,无记忆N次扩展信道的信道容量 一般的离散无记忆信道的N次扩展信道的信道容量是,某时刻 i 通过DMC传输的最大信息量,信道的输入随机序列X=(X1X2XN)在同一信道中传输，故Ci=C,一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息
28、量：I（X;Y）NC 信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。,（选讲）3.7 独立并联信道及其信道容量,独立并联信道（并用信道）：设有N个独立信道，其输入分别为 X1,X2,XN;输出分别为 Y1,Y2,YN;传递概率分别是,各信道之间独立，即每一个信道的输出Yi只与本信道输入Xi有关，与其他信道的输入和输出都无关。则这N个信道的联合传递概率满足：,相当于单个无记忆信道应满足的条件。,联合平均互信息 把定理3.5中（无记忆信道情况）的结论推广到N个独立并联信道：,即：联合平均互信息不大于各信道的平均互信息之和。因此，独立并联信道的信道容量满足：,当各不同信道的输入符
29、号 Xi 之间相互独立，且各信道的输入符号概率分布为各个信道的最佳输入分布时，独立并联信道的信道容量等于各信道容量之和，即：,3.8 串联信道的互信息与数据处理定理,串联信道 在一些实际的通信系统中常常出现多个单独信道串联在一起的情况。如：微波中继接力通信、互联网通信等等。数据处理系统 通信系统中，常需在信道的输出端对接收到的信号或数据进行适当的处理（如滤波、编码、压缩等）。数据处理可看成一种信道，它与前一级信道串接在一起，构成串联信道。如：卫星通信系统中地面站将接受的卫星数据脉冲信号进行滤波、量化判决处理后输出，构成一种串联信道。,串联信道的数学模型 设有一离散单符号信道，其输入变量为X，取
30、值范围是a1,a2,ar；输出变量Y，取值b1,b2,bs；且信道的传递概率是 设另有一离散单符号信道，其输入变量为Y，输出变量Z，取值C1,C2,Ct。将两个信道串联起来，并设两信道的输入符号集都是完备集。信道的传递概率一般与前面的符号X、Y都有关，可记为,特例：构成马尔可夫链的串联信道 在两信道的串联信道中，若信道的传递概率使其输出Z只与输入Y有关，与前一级输入X无关，即满足 则称两信道的输入和输出X、Y、Z序列构成马尔可夫链。,串联信道的传递概率 两个串联信道可等价成一个总离散信道，传递概率为：,定理3.6 对于串接信道X、Y、Z，平均互信息满足当且仅当P(z|xy)=P(z|y)时，等
31、式成立。,则总信道的传递矩阵为,如果X、Y、Z满足马尔可夫链，则传递矩阵是,其中：I（XY；Z）为联合变量XY与变量Z之间的平均互信息，也即接收到Z之后获得的关于联合变量XY的信息量。,证明：,而,则,应用詹森不等式，得,因此,并且，只有当P(z|xy)=P(z|y)时，等式成立：,同理，也可得：,并且，只有当P(z|xy)=P(z|x)时，等式成立。定理得证。,等号成立条件：定理中等号成立要求随机变量Z只依赖于Y，与前一级的变量X无直接关系。即X、Y、Z间构成马尔可夫链。很多实际的串联信道中，随机变量Z往往只依赖于Y，而与变量X无关，则串联信道的输入输出变量之间构成马尔可夫链。,定理3.7（
32、数据处理定理）若X、Y、Z构成马尔可夫链，则平均互信息满足,证明：,1）因为X、Y、Z是马尔可夫链，故 P(z|xy)=P(z|y)，则定理3.6 的等式成立：,又因,其中等式成立的条件是 P(z|xy)=P(z|x)。,接收一个Y符号后获得的X的信息量大于等于接收一个Z符号后获得的X的信息量。信息有丢失。,等号成立条件,2）因为X、Y、Z是马尔可夫链，从相反方向考察依赖关系，可知 Z、Y、X也是马尔可夫链：,同定理3.6证明方法，可得：,等式成立条件 P(x|yz)=P(x|y),而马氏链关系：,等式成立条件 P(x|yz)=P(x|z),则必有：,由平均互信息的交互性，得：,等式成立的条件
33、 P(x|yz)=P(x|y)=P(x|z),证毕。,物理含义：由数据处理定理知，在串联信道中有：,而,这表明，每接收一个Z符号关于X的损失熵大于等于每接收一个Y符号后对X的损失熵，说明信息有所损失。,又,（损失熵）,同样，由关系式,可知：通过串联信道的多级传输，每传输一个符号所提供的信息量逐渐减少；串联级数越多，只会丢失更多的信息。,如果满足：,即串联信道的总传递概率等于第一级的传递概率，则通过串联信道传输，不会增加信息的不确定性（信息损失），则根据平均互信息定义有：,特殊情况：对于第二级信道是无噪一一对应信道，这个条件是完全满足的。因为其信道矩阵为单位阵，使总信道的转移概率等于第一级信道的
34、转移概率。另外可知：如果第二个信道是数据处理系统，则经过数据处理后，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息更多。,（损失熵相等）,（平均互信息相等）,由以上分析，有：数据处理定理的另一表述 系统对接收到数据Y进行处理后，无论变量Z与Y之间的关系是确定函数关系还是概率关系，绝不会减少X的不确定性（丢失信息）。若要使数据处理后获得的关于X的平均信息保持不变，必须满足关系：,例 两个信道串联，并设其满足马尔可夫链，信道矩阵分别为,串联方式为,则显然可得,分析：按马尔可夫链特点,各矩阵元素：,说明：此有噪声的串联信道不会增加信息的损失。,刚好为第一级信道矩阵,数据处理定
35、理的多级串联信道推广 对于一系列不涉及信源的数据处理，即对于一系列串接信道，有：,即有：信息不增性原理 在任何信息传输系统中，最后获得的信息至多是信源提供的信息量。如果一旦在某一个过程中丢失一些信息，后续的系统无论怎样处理，如果不涉及丢失信息过程的输入环节，则再不能恢复已丢失的信息。,多级串联信道的信道容量,显然，串联的无源数据处理环节数m越多，其信道容量（最大信息传输率）可能会越小，当串联信道级数无穷大时，信道容量就趋于0。,例 信道容量分析：设两个离散二元对称信道，其串联信道如图。并设第一级信道的信源的概率空间为：,分析：按马尔可夫链分析,总信道矩阵为,仍为二元对称信道,根据平均互信息定义
36、，可得,可在串联级数m=1,2,取不同的情况下计算平均互信息。显然，,还可证明，,信道容量为：,当串联级数为m时：,通信系统的数据处理定理,一般通信系统模型如下图所示,把随机序列（S,X,Y,Z）视为随机矢量序列，它们构成一个马尔可夫链：,根据数据处理定理，对于符合马尔可夫链的通信系统模型满足如下关系：,经过编码、译码处理,物理含义：信息处理（如编码、译码等）只能丢失信息，不能增加或创造信息。若进行一一对应的变换处理，则上述等号成立，不会丢失信息。噪声信道的输出矢量Y包含的信源S的平均信息量，大于数据处理后所估算的矢量Z中所包含的信源S的平均信息量。然而，实际应用中往往为了获得更有用的、有效的
37、信息，需要进行适当的数据处理（滤波、压缩等）。,3.9 信源与信道的匹配,在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。若使信息传输率能达到或尽可能接近于信道容量，只有在信源取最佳分布时才能实现。“匹配”当信道确定后，信道的实际信息传输率与信源分布是密切相关的。当达到信道容量时，称信源与信道达到匹配，否则认为信道有剩余。,信道剩余度,相对信道剩余度,信道的实际信息传输率和信道传输能力之差。,可以用来衡量信道利用率的高低。,特例 在无损信道中，信道容量 Clogr(r是信道输入符号数)。而I(X;Y)H(X)，因而：信道的相对剩余度=信源的剩余度,意 义 提高无损信道的信息传输率
38、，就等于减少信源的剩余度。对于无损信道，可通过信源编码，减少信源剩余度，使信息传输率达到信道容量。因此在通信系统中，应将信源发出的符号转换成适合信道传输的符号，从而使信源与信道匹配。,例 某离散无记忆信源,通过一个无噪无损二元离散信道进行传输。,分析：此二元信道的信道容量为：C1(比特信道符号)信源的信息熵为 H(X)1.937(比特信源符号)要使多符号信源在此二元信道传输，须对X进行二元编码：,对于码,(比特信道符号),对于码,(比特信道符号),信道有剩余。因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。,无失真信源编码 一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码（无失真数据压缩）。它将信源输出的消息变换成适合信道传输的新信源消息，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。,作业,3-33-103-243-25,
