《第三章信道容量课件.ppt》由会员分享，可在线阅读，更多相关《第三章信道容量课件.ppt（63页珍藏版）》请在三一办公上搜索。
1、本章内容了解信息论研究信道的目的、内容；了解信道的基本分类并掌握信道的基本描述方法;掌握信道容量的概念，以及与互信息、信道输入概率分布、信道转移函数的关系;能够计算简单信道的信道容量（对称离散信道、准对称离散信道）；了解信道容量在研究通信系统中的作用;了解多用户信道.,第三章 信道容量,回顾平均互信息的性质1,性质1：I(X;Y)是信源输入概率分布p(x)的上凸函数。,熵熵率无失真信源编码定理中的作用互信息信道容量信道编码定理中的作用,概念问题,回顾平均互信息的性质2,性质2：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.,回顾平均互信息的性质3,互信息与信道输入符号相关性的关系 性质
2、3:信道的输入是离散无记忆的,回顾平均互信息的性质4,互信息与信道输入符号相关性的关系 性质4:信道是离散无记忆的,回顾平均互信息的性质5,性质3、性质4的推论：信道的输入和信道本身都是离散无记忆的。,第三章 信道与信道容量,本章内容概述信道的分类与描述 单符号离散信道的信道容量多符号离散信道多用户信道连续信道及其容量,3.0 概述,信息论研究信道的内容什么是信道？信道的作用研究信道的目的,信息论研究信道的内容：信道的建模：信道的统计特性的描述；信道传输信息的能力（信道容量）的计算；在有噪信道中能否实现可靠传输?怎样实现可靠传输?,在这一章要回答前面两个问题，在第六章介绍第三个问题。,什么是信
3、道？信道是传送信息的载体信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。,信道的作用:在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。,如：微波信道、光纤信道、电缆信道等。,研究信道的目的实现信息传输的有效性和可靠性有效性：充分利用信道容量.可靠性：通过信道编码降低误码率.在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性。信息论研究信息的传输问题（假定传
4、输特性已知）.,3.1 信道的分类与描述,根据输入/输出信号在幅度和时间上的取值是离散或是连续来划分,3.1.1 信道的分类,根据信道上有无干扰来划分,单符号信道和多符号信道。,根据输入/输出个数的多少来划分,单用户信道和多用户信道。,干扰信道和无干扰信道。,根据信道输入/输出随机变量个数的多少来划分,根据信道有无记忆特性来划分,有记忆信道和无记忆信道。,3.1.2 信道的描述,信道可以引用三组变量来描述：信道输入概率空间：XK,p(x)信道输出概率空间：YK,q(y)信道概率转移矩阵：p(y/x)即：XK,p(x),p(y/x),YK,q(y)它可简化为：XK,p(/),YK,3.2 单符号
5、离散信道的信道容量,本节内容信道容量定义几种离散无记忆信道容量的计算离散无噪信道的信道容量强对称离散信道的信道容量对称离散信道的信道容量准对称离散信道的信道容量离散信道容量的一般计算方法,3.2.1 信道容量定义,单符号离散信道,信道的输入和输出都取值于离散集合，且都用一个随机变量来表示的信道就是单符号离散信道。,一、信道矩阵（信道转移概率）,相应的输出为,设单符号离散信道的输入为,一般单符号信道的转移概率可用信道转移矩阵表示：,信道矩阵中每个元素均为非负,且每一行元素之和为1,（3.2.5）,二、信道容量 1.理论基础 对于固定的信道，平均互信息量 I(X;Y)是信源概率分布p(xi)的上凸
6、函数。也就是说，存在一个使某一特定信道的平均互信息量达到极大值的信源概率分布，该极大值可以用来表述信道传送信息的最大能量，即信道容量。2.信道容量的定义 对于某特定的信道，可找到某种信源的概率分布 p(ai)，使得I(X;Y)达到最大值。,说明：由平均互信息的性质可知I(X;Y)H(X)，意味着输出端Y往往只能获得关于输入端X的部分信息。对于特定的信道，信道容量是个定值，但是在传输信息时，信道能否提供其最大传输能力，则取决于输入端的概率分布。,显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。当输入信源概率分布p(ai)调整好以后，C和Ct已与 p(ai)无关，而仅仅是信道转移概率
7、p(bj/ai)的函数，只与信道的统计特性有关。所以信道容量是完全描述信道特性的参量，是信道能够传送的最大信息量。,若信道平均传输一个符号需要t 秒钟，则单位时间的信道容量为（信道的最大信息传输速率）,3.信道容量单位C的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即比特符号（bitssign或 bitschannel use）。以e为底取自然对数时，信道容量的单位变为奈特符号（natssign）。如果已知符号传送周期是T秒，也可以“秒”为单位来计算信道容量，此时CsCT，以比特/秒（bitss）或奈特/秒（natss）为信道容量单位。,对信道容量的进一步理解：C存在平均互信
8、息性质1,上凸函数极值存在达到C时的两个条件：信道输入（信源）是离散无记忆的。信道输入的概率分布是使I(X,Y)达到最大的分布。C的值不是由信源的p(x)决定的,而是由p(y/x)决定的.C是信道作为信息传输通道的性能度量.只有信道输入（信源）X 满足一定条件时，才能充分利用信道传输信息的能力。,三、信道疑义度H(X/Y),信源熵H(X)表示在接收到输出Y以前，关于输入变量X的先验不确定性的度量。如果信道中无干扰（噪声），信道输出符号Y与输入符号X一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。但一般信道中有干扰存在，接收到输出Y后对发送的是什么符号仍有不确定性。那么，
9、怎样来度量接收到Y后关于X的不确定性呢？一般用信道疑义度H(X/Y)表示。,信道疑义度：表示在输出端收到输出变量Y的符号后，对于输入端X的变量尚存在的平均不确定性（存在疑义）。这个尚存在的不确定性是由于干扰（噪声）引起的。如果是一一对应信道，那么接收到输出Y后，对X的不确定性将完全消除，则信道疑义度为0。由于一般情况下条件熵小于无条件熵，即有H(X/Y)H(X)。这正说明接收到变量Y的所有符号后，关于输入变量X的平均不确定性将减少，即总能消除一些关于输入端X的不确定性，从而获得了一些信息。,3.2.2 几种特殊离散信道的信道容量,1.具有一一对应关系的无噪无损信道,一、离散无噪信道的信道容量,
10、输入输出之间有确定的一一对应关系,H(X/Y)信道疑义度或损失熵，H(Y/X)噪声熵。凡是H(X/Y)=0的信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。,a2,a1,an,b1,b2,bn,b1,b2,bn,B2n-1,a2,a1,an,a2n=1,特点：1）输入X和输出Y符号集的元素个数相等，即n=m。2）输入X和输出Y有确定的对应关系，所以噪声熵H(Y/X)=0 信道疑义度 H(X/Y)=0 故有 I(X;Y)=H(X)=H(Y)3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。,由信道容量的定义有,2.具有扩展性能的有噪无损信道(一个输入对应多
11、个输出),此时,这时的输入概率分布为等概率分布.,此种情况是信道疑义度 H(X/Y)=0,噪声熵H(Y/X)0,a3,a2,a1,b1,b2,b3,b4,b5,b6,b7,b8,特点：1)输入X的符号集个数小于输出Y的符号集的元素个数，即nm.2)信道转移矩阵中每一列有且仅有一个非零元素（即每一个输出符号对应着惟一的一个输入符号），则该信道一定是无损信道.3)已知Y后能确切地知道对应的X，或接收到符号Y后,对发送的X符号是完全确定的，则信道疑义度H(X/Y)=0,故有I(X;Y)=H(X),由信道容量的定义有4)与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，即H(X)H(Y).,信
12、道疑义度 H(X/Y)=0,无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关，是表征信道特性的一个参量.,3.具有归并性能的无噪有损信道,多个输入对应一个输出，每一行只有一个非零元素1,这时的输入概率分布应该是使得信道输出概率分布为等概分布。,b1,b2,b3,a4,a1,a2,a3,a5,二、强对称离散信道的信道容量,若单符号离散信道的输入随机变量X和输出随机变量Y取值的集合均由n个不同符号组成，每个符号的正确传递概率为，其他（n-1）个符号的错误传递概率为p/(n-1)，则信道矩阵（nn）为对称矩阵,式中,定理 对于强对称信道，当输入为等概率分布时，输出分布必能达
13、到等概率分布。,此时,相应的信道容量为,它具备三个特征：矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。2.错误分布是均匀的，为 p/(n-1)。3.信道输入与输出消息（符号）数相等，即m=n。显然，对称性基本条件是1，而2、3是加强条件。,三、对称离散信道的信道容量,定义1 若信道矩阵中，每一行都是第一行元素的不同排列（每行包含同样元素），称此类信道为行（输入）对称信道。如,行（输入）对称信道,定义2 若信道矩阵中，不仅每一行都是第一行元素的不同排列，而且每列都是第一列元素的不同排列，称此类信道为对称信道。如,对称信道,定理1 对于对称信道，当输入为等概率分布时，输出分布
14、必能达到等概率分布。,证明：当输入为等概率分布时,其中,，表示信道矩阵中第 j 列元素之和，而,信道矩阵中每行元素之和为1，并且n行元素之和必等于m列元素之和，即 n=mHj，因而,当输入为等概率分布p(xi)=1/n 时，输出亦为等概率分布p(yj)=1/m。,输出分布,定理2 若一个离散对称信道具有n个输入符号，m个输出符号，则当输入为等概率分布时达到信道容量，有,q1,q2,qm任一行各元素,此项是固定xi时对Y求和，即对信道矩阵的行求和，为一常数。,证明：,其中噪声熵为,由于信道对称性，H(Y/X=ai)=Hni 与xi无关，且,对应的信道矩阵为,于是问题就简化为求 H(Y)的最大值。
15、由信息论原理，当输出符号集的各符号等概率出现时可得最大信源熵，即 H(Y)log2m 或者 max H(Y)=log2 m所以其中m为信道矩阵中任一行元素的个数（列数）；q1,q2,qm信道转移矩阵任一行元素。,对称信道,例3.1 求信道容量C。,解：信道容量C,m为任一行元素的个数,定义1 若信道矩阵中，每一行都是第一行元素的不同排列，每列并不都是第一列元素的不同排列，但是可以按照信道矩阵的列将信道矩阵划分成若干对称的子矩阵，则称此类信道为准对称信道。如信道矩阵,因为它可以划分成两个对称的子矩阵,是准对称矩阵,四、准对称离散信道的信道容量,又,是准对称矩阵,若信道矩阵P的列可划分成s个互不相
16、交的子矩阵Mk，,且（m1 m2 msm），若以mk为列组成的子矩阵Mk是对称矩阵，则称信道矩阵P所对应的信道为准对称信道。,m12m21m31m1+m2+m34,例：,只要使输出随机变量Y呈等概率分布，上式第一项即可达到最大值，从而达到信道容量C。但由于转移矩阵中的各列不具有可排列性，要使p(bj)=1/m，则可能使输入概率分布p(ai)的某些概率出现负值，这是不行的。为了在p(ai)非负的条件下使H(Y)达到最大值，将信道矩阵的列划分成若干个互不相交的子集M1,M2,Ms，各子集分别有m1,m2,ms个列，则,由行的可排列性有,得其信道容量,令第k个子矩阵MK输出符号概率的算术平均值为：,
17、：第k个子矩阵Mk中所有输出符号概率之和.s：子矩阵的个数；mk：第k个子矩阵Mk的列数。,故有,（1）,当第k个子矩阵Mk中各个输出符号概率完全相等（且等于）时，（1）式取等号。,即,注意：,（3.2.19）,q1,q2,qm信道转移矩阵任一行元素。,mk：子阵的列数；s：子矩阵的个数。,式中：,n：信道转移矩阵中的行数；Mk：第k个子矩阵中任一列元素之和。,方法二：将信道矩阵P划分成若干个互不相交的对称子集，也可根据下面公式来计算.,n：信道转移矩阵中的行数；P(bj/ai)：信道矩阵中任一行中的元素；Nk：第k个子矩阵中任一行元素之和；Mk：第k个子矩阵中任一列元素之和.,准对称离散信道
18、信道容量的求解方法：,方法一：根据信道容量的定义式来计算；,或,【例3.2】,解法一：该信道为准对称信道，该信道输入符号有两个a1，a2，信道输出符号有三个 b1,b2,b3。设输入概率分布p(a1)=a，p(a2)=1-a。计算联合概率p(aibj)和p(bj)由p(aibj)=p(ai)p(bj/ai)得联合概率的矩阵为又则输出符号的概率分布为p(b1)=0.5a+0.3(1-a)=0.3+0.2 a p(b2)=0.3a+0.5(1-a)=0.5-0.2 a，p(b3)=0.2a+0.2(1-a)=0.2其中p(b3)是固定的，与ai无关。,已知信道转移矩阵为，求信道容量.,计算平均互信
19、息量,计算信道容量C,解得a=1/2，即输入等概分布时，I(X;Y)达到极大值，且有,C=maxI(X;Y)=0.036(bit/sign),由,解法二：将此信道矩阵分为两个子集,所以信道容量为,=(0.5+0.3)/2=0.4=(0.2+0.2)/2=0.2,由下面公式可计算出信道容量,C=20.4log20.41 0.2log20.2 H(0.5,0.3,0.2)=0.036(bit/sign),因为 n=2,m1=2,s=2,m2=1,解法三：将此信道矩阵分为两个子集,因为 n=2 N1=0.5+0.3=0.8 M1=0.5+0.3=0.8 s=2 N2=0.2 M2=0.2+0.2=0
20、.4,所以信道容量为,由下面公式可计算出信道容量,C=log22H(0.5,0.3,0.2)0.8log20.8 0.2log20.4=0.036(bit/sign),3.2.3 离散信道容量的一般计算方法,由信道容量 可知，在固定信道条件下，对所有可能的输入概率分布P(ai)，求平均互信息I(X;Y)的极大值。而I(X;Y)是输入随机变量概率分布P(ai)的上凸函数，因此极大值一定存在。I(X;Y)是n个变量P(a1),P(a2),P(an)的多元函数，并满足，所以是求多元函数条件极值的问题，可用拉格朗日乘子法来计算这个条件极值。,补充：拉格朗日乘子法：目的：要找函数z=f(x,y)在条件(
21、x,y)=0 下的可能极值点。方法：先构造函数F(x,y)=f(x,y)+(x,y)其中 为一常数，可由fx(x,y)+x(x,y)=0fy(x,y)+y(x,y)=0(x,y)=0解出x,y,，其中x,y 就是可能极值点的坐标。,用拉格朗日乘子法求离散信道容量：,构造函数,解方程组,存在最佳分布，但信道不唯一。,可得一般信道容量C。,（1）,解方程组（1）式得：,（对i1，2，n都成立）,因为,而,又,又因为,所以方程组（1）变为：,（2）,假设解得使平均互信息I(X;Y)达到极值的输入概率分布是pi，然后把式（2）中前n个方程式两边乘以达到极值的输入概率pi，并求和得,上式左边为平均互信息的极大值，就是信道容量，所以得,（3）代入（2）得：,式中：,所以对于一般离散信道容量得计算步骤如下：1由,，求j。,4由,，求 p(ai)。,最后要检验所有的p(ai)大于0时，所求的C才存在。,【例3.3】设离散无记忆信道输入符号集为a1,a2,a3,a4，输出符号集为b1,b2,b3,b4，如图所示，求信道容量。,解：由图求得其信道转移矩阵为,这是一个一般离散信道。,a1,a2,a3,a4,b1,b2,b3,b4,(1)由 求j,解方程组得,(2)由 得信道容量,(3)由 得 p(bj),(4)由 得 p(ai),因为p(ai)都大于0，故结果是正确的。,
