《信息论与编码信道及其容量.ppt》由会员分享，可在线阅读，更多相关《信息论与编码信道及其容量.ppt（85页珍藏版）》请在三一办公上搜索。
1、第3章 信道及其容量,信道的数学模型及分类信道疑义度与平均互信息信息传输率与信道容量离散单个符号信道的信道容量离散无记忆序列信道的信道容量串联信道和并联信道的信道容量连续信道及其容量信源与信道的匹配信道编码定理简介,学习得来终觉浅，绝知此事要自悟,3.1 信道的数学模型与分类,信道的分类信道的数学模型与参数,信道的分类,输入输出随机信号的特点：离散信道、连续信道和半离散/半连续信道；输入输出随机变量个数的多少：单符号信道、多符号信道；信道用户的多少（输入输出个数）：单用户信道、多用户信道；输入端和输出端的关联：无反馈信道、有反馈信道；,信道的分类,信道参数与时间的关系：固定参数（恒参、平稳）信
2、道和时变参数（随参、非平稳，time-varying）信道；信道上有无干扰：有干扰信道、无干扰信道；信道有无记忆特性：有记忆信道、无记忆信道；还可以根据载荷消息的介质和信号的形式不同进行分类。,c1段，信号一般是连续的，所以该段为连续信道，调制信道c2为离散信道，编码信道；c3为半离散、半连续信道；c4为半连续、半离散信道。,通信系统中广义信道的分类,调制信道；编码信道。,信道的基本特征包括输入、输出以及输入和输出之间的关系。假设输入矢量为=(x1,x2,xN)，输入的矢量分量选择于符号集 A=a1,a2,ar，输出矢量=(y1,y2,yN)，输出的矢量分量选择于符号集 B=b1,b2,bs,
3、信道的数学模型与参数,无干扰（无噪）信道,由于没有噪声，所以输入可以决定输出，即存在确定的函数f，Y=f(X)。,单符号离散信道,输入单符号变量X，取自符号集 A=a1，a2，ar；输出单符号变量Y，取自符号集 B=b1，b2，bs；由于信道的干扰使输入符号x在传输中发生错误，这种错误是随机发生的，所以可以用条件概率（转移概率）来表示噪声的干扰：p(y|x)=P(y=bj|x=ai)=p(bj|ai)；,单个符号的离散信道的转移概率通常用信道转移概率矩阵表示：一般为了简化，记pij=p(bj|ai)，则信道转移概率矩阵可以表示为,二元对称信道(BSC),有干扰无记忆离散信道,信道无记忆指的是输
4、出只与当前输入有关，而与非该时刻的输入信号、输出信号都无关。有干扰无记忆信道有以下性质：离散无记忆信道(DMC),有干扰有记忆离散信道,在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。由于有记忆信道的转移概率计算涉及到太多的参数，因此对它的分析和计算更加复杂。提倡采用两种方法进行简化处理：1）将记忆性较强的N个符号当作一个N维矢量进行整体的处理，而各个矢量之间当作无记忆的。2）把信源序列的转移概率当作马尔可夫链的形式，即假设信道为有限记忆的。以上方法都是进行了简化和近似处理，会带来一定误差。,离散输入连
5、续输出信道,离散时间无记忆信道中最重要的一种是加性高斯白噪声（AWGN）信道。,波形信道,信道转移概率密度函数为根据多维连续信道的转移概率密度函数是否满足独立性条件将其分为连续有记忆信道和连续无记忆信道。,一般在这种信道中，噪声和信号通常相互独立，所以,3.2 信道疑义度与平均互信息,疑义度和平均互信息量是研究信道的重要参数，相关的分析和性质参见第二章，在此不赘述。,3.3 信息传输率与信道容量,信道的输入X x1,x2,xi,xn，输出Y y1,y2,yj,ym将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R，它的值就是平均互信息量，即R=I(X;Y)=H(X)-H(X|Y)bi
6、t/符号,信道容量C（Channel capacity）：在信道中最大的信息传输速率，单位是比特/信道符号单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：,3.4 离散单个符号信道的信道容量,3.4.1 特殊离散信道3.4.2 对称DMC信道3.4.3 准对称DMC信道3.4.4*具有可逆矩阵信道3.4.5*一般DMC信道,3.4.1 特殊离散信道,1具有一一对应关系的无噪信道,2具有扩展性能的离散有噪声信道,3具有归并性能的无噪信道,4输入输出独立信道(全损信道)H(X|Y)=H(X)，H(Y|X)=H(Y)I(X;Y)=H(X)H(X|Y)，所以 I(X;
7、Y)=0，信道的输入和输出没有依赖关系，信息无法传输，信道容量为0，称为全损信道。,3.4.2 对称DMC信道,以下两个转移概率矩阵即为对称信道,则条件熵,显然这个值与信道输入符号的概率分布p(ai)无关，在信道的转移概率确定的情况下，这个值是一个确定值，所以信道容量为当Y是等概率分布的时候，其熵取最大值，即只要X的某一概率分布使得收到的符号Y是等概率，则,例3-2 已知P矩阵，求C。解：,对称信道有如下定理：定理3-1 对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。,例3-3 求信道容量,二进制对称信道的C值：,例3-4 设有两个离散BSC信道串接，两个BS
8、C信道的转移矩阵如下，求信道容量。所以有I(X;Y)=1-H()，I(X;Z)=1-H2(1-),与I的关系,3.4.3 准对称DMC信道,准对称DMC信道是对称信道的推广，例如：,准对称DMC信道的容量它的信道容量直接求解较为复杂。有以下定理可以有助于求解信道容量。定理3-2当输入分布为等概分布时，互信息达到最大值，所以对于单消息，离散，准对称信道，当且仅当信道输入为等概率分布时，信道达容量值。,例3-5 求信道容量。解：信道的输入符号有两个，可设p(a1)，p(a2)1，信道的输出符号有三个，用b1、b2、b3表示,方法二当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/
9、20.4C=H(Y)-H(Y/X)=0.036bit/符号,方法三可以证明，如果将转移概率矩阵划分成若干个互不相交的对称的子集，则信道容量,例3-6求信道容量,3.4.4*具有可逆矩阵信道,这类信道由于要求信道转移矩阵的逆存在，它必然要求信道输入输出具有相同数量的元素。即nm，P为方阵，且为正则方阵。具有可逆矩阵信道的信道容量为,3.4.5*一般DMC信道,为使I(X;Y)最大化以便求取DMC容量，输入概率集p(xi)必须满足的充分和必要条件是：I(xi;Y)C，对于所有满足p(xi)0条件的i；I(xi;Y)C，对于所有满足p(xi)0条件的i。当信道平均互信息达到信道容量时，输入符号概率集
10、p(xi)中每一个符号xi对输出端Y提供相同的互信息，只是概率为零的符号除外。以上约束条件只是给出充分必要条件，但是并没有给出具体值。因此还需要采用计算机迭代的方法求解，一般情况下，最佳输入概率分布不一定是唯一的。,3.5 离散无记忆序列信道的信道容量,定义：多符号离散信源矢量=X1X2XL在L个不同时刻分别通过单符号离散信道X，P(Y|X)，Y，则在输出端出现相应的随机序列=Y1Y2YL，这样形成一个新的信道称为离散序列信道。由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道X P(Y|X)Y的L次扩展。,假设信道输入序列为，输出序列，由于无记忆，可得相应转
11、移条件概率为,离散无记忆序列信道的数学模型如下：,无记忆离散序列信道的输入矢量X的可能取值有个，而输出矢量Y的可能取值有个。其信道转移矩阵为：,对于离散序列信道，可以证明：1、当信道无记忆的时候有上式在信源无记忆时等号成立。理解：如果信源有记忆，信道传递的信息必然存在冗余度，这使得整体传递的信息量减少。要极大传输信息，以上结论对于我们有什么启示？在编码中有什么应用？,2、当输入矢量的各个分量独立（信道不一定无记忆）时候有 上式在信道无记忆时等号成立。理解：如果信道有记忆，输出端接收到的符号序列中，后面收到的符号带有前面符号的信息，可以将相关的符号作为一个整体编码来获取关于发送的序列的信息，这种
12、整体的编码使得我们可以获得输入符号序列的更多信息。这对于纠错编码具有什么启示？,如果信道无记忆，并且输入矢量的各个分量独立（信源也无记忆）的时候有对于离散无记忆序列信道，信道容量等于平均互信息量的最大值，所以,所以，离散平稳无记忆N个符号的序列信道的信道容量等于单个符号的信道容量的N倍。信源无记忆时，信息传输率才能达到信道容量。,例3-7 BSC信道的转移概率矩阵为 求BSC二次扩展信道？解：对应的转移概率矩阵：是一个对称DMC信道，当输入序列等概分布时，容量为：,3.6 串联信道和并联信道的信道容量,3.6.1 串联信道及其信道容量3.6.2*并联信道及其信道容量,3.6.1 串联信道及其信
13、道容量,消息具有非增性，串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。,例3-8 现在有两个信道串联，转移概率矩阵如下：,例3-9 二进制对称信道转移概率矩阵如下：,即串联信道的平均互信息量信道容量要低于其中的任意一段，以及其中的一部分的信道容量。以此可以得出串联信道的信道容量也满足不增性。,3.6.2*并联信道及其信道容量,1.输入并接信道,可以得出并联后的信道容量C要大于任意的单个信道的信道容量，但是有小于信息的最大熵logm（m为输入符号集中符号数目）,2.并用信道,所以并用信道的信道容量为即并用信道的信道容量为所有被并联的信道容量之和。当输入符号相
14、互独立，且每一个信道的输入达到各自信道对应的最佳概率分布时，平均互信息量才能达到信道容量。,3.和信道和信道的信道容量计算较为复杂，需要考虑各个信道的利用率，限于其应用及价值，在这里不再赘述，有兴趣请参考曲炜，朱诗兵的信息论基础及应用。,3.7 连续信道及其容量,3.7.1 连续单符号加性信道3.7.2 多维无记忆加性连续信道3.7.3 限时限频限功率的加性高斯白噪声信道,3.7.1 连续单符号加性信道,上图为连续单符号信道模型。定义：信源X等于某一概率密度函数p(x)时，信道平均互信息的最大值，即为连续信道的信道容量C,上图为加性噪声的干扰信道模型。加性连续信道的信道容量：加性噪声N和信源X
15、相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容量C就是选择p(x)，使输出熵Hc(Y)达到最大值，即：,高斯加性信道的信道容量：高斯噪声为N，均值为0，方差为，噪声功率为P；概率密度函数为pn(N)=N(0,)，噪声的连续熵为高斯加性连续信道的容量等于,px(x)=N(0,S)，即输入X满足正态分布时，Hc(Y)达到最大值，达到信道容量。因此，高斯加性信道的信道容量为注意，由于是加性信道，,3.7.2 多维无记忆加性连续信道,由于信道无记忆，所以根据加性信道的性质，噪声各个时刻是独立的，所以有,根据信道容量的定义，最终可得,对于多维无记忆加性连续信
16、道，有以下结论：(注意n的下标为l，而非数字1)，则有信道容量当且仅当输入矢量X各分量统计独立，且各分量都服从时，信息传输率达到最大。,a)在噪声平均功率过大，甚至超过输出平均功率时，可以不给予功率，即不发送信号;b)在噪声平均功率较大，但还没有超过输出平均功率时，我们可以少给点输入平均功率;c)在噪声平均功率较小的时间里，我们可以多给点输入平均功率。,3.7.3 限时限频限功率的加性高斯白噪声信道,波形信道的平均互信息量信息传输率Rt信道容量,高斯白噪声信道容量若信号的平均功率Pl受限于Ps，则Pl每个信号样本值的平均功率为。可得,信道每秒传输2W个样点，所以单位时间的信道容量为：香农公式,
17、香农公式的物理意义：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。香农公式是在噪声信道中进行可靠通信的信息传输率的上限值。香农公式说明,3.8 信源与信道的匹配,绝对信道冗余度（剩余度）表示信道的实际传信率和信道容量之差，所以有信道效率,信道相对冗余度显然，对于无干扰信道：I(X;Y)=H(X)(r是信道输入符号的个数)则Rs为信源冗余度,在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配？这种匹配有两个方面的内容：(1)符号匹配(2)信息匹配,请问缩小信源的冗余度就可以完
18、全解决信源对信道的匹配了吗？信道冗余度和信源冗余度是什么关系？给定信道的情况下，将信源信道当作一个整体，信道信息的最大信息传输率怎样才能达到最大？回顾3.5节关于离散无记忆N次扩展信道的信道容量的知识，对于提高信息传输率有什么结论？,3.9 信道编码定理简介,有噪信道编码定理(香农第二定理)：定理3-3 若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息传输率RC时，总可以找到一种编码，当L足够长时，译码错误概率趋向于无穷小，反之，当RC时，任何编码都不可能让译码错误率趋向于任意小。,我们致力于使得本书上达思想与方法，下及实现与应用，但是力所不及，欢迎多提宝贵意见至,学习得来终觉浅，绝知此事要自悟,
