《信息论第4章(波形信源和波形信道).ppt》由会员分享，可在线阅读，更多相关《信息论第4章(波形信源和波形信道).ppt（48页珍藏版）》请在三一办公上搜索。
1、05-06学年上,Elements of Information Theory,1,信息论Elements ofInformation Theory,蒋青TEL：62460517,05-06学年上,Elements of Information Theory,2,4、波形信源和波形信道,4.1 波形信源的统计特性和离散化4.2 连续信源和波形信源的信息测度4.3 具有最大熵的连续信源4.4 熵功率4.5 连续信源熵的变换4.6连续信道和波形信道的分类4.7连续信道和波形信道的信息传输率4.8连续信道和波形信道的信道容量,05-06学年上,Elements of Information Theo
2、ry,3,4.1波形信源的统计特性和离散化,随机变量随机过程,随机矢量,05-06学年上,Elements of Information Theory,4,表4.1,05-06学年上,Elements of Information Theory,5,4.2连续信源和波形信源的信息测度,连续信源的数学模型 并满足,05-06学年上,Elements of Information Theory,6,一维概率密度函数一维概率分布函数条件概率密度函数联合概率密度函数,05-06学年上,Elements of Information Theory,7,假定连续信源 X 的概率密度函数p(x)如右图所示。
3、我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为,05-06学年上,Elements of Information Theory,8,这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。,05-06学年上,Elements of Information Theory,9,这时离散信源 Xn 的熵是当n,0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn)的极限值就是连续信源的信息熵：,05-06学年上,Elements of Information Theory,10,定义连续信源的熵为：又称为差熵、微分熵
4、、相对熵。两随机变量的联合熵和条件熵：,连续信源的差熵,05-06学年上,Elements of Information Theory,11,连续信源差熵的性质,可加性：凸状性和极值性：差熵 H(X)是输入概率密度函数 p(x)的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。,05-06学年上,Elements of Information Theory,12,差熵可为负值。,例如，若概率密度函数为,则,05-06学年上,Elements of Information Theory,13,例：设有一连续随机变量，其概率密度函数为,又有,试求这随机变量的熵。,05-06学年上,Elem
5、ents of Information Theory,14,连续信源的平均互信息,两个连续随机变量X、Y的互信息定义为：,单位为比特/自由度或奈特/自由度,05-06学年上,Elements of Information Theory,15,三种特殊连续信源的差熵,1、均匀分布连续信源的熵值 一维连续随机变量X在 区间内均匀分布时,比特/自由度,05-06学年上,Elements of Information Theory,16,推广：均匀分布N维连续信源的差熵为,05-06学年上,Elements of Information Theory,17,2、高斯信源的熵值,高斯信源是指信源输出的一
6、维随机变量X的概率密度分布是正态分布，即：,该连续信源的熵为：,05-06学年上,Elements of Information Theory,18,3、指数分布连续信源的熵值,指数分布的一维连续信源X的概率密度函数为：,其中常数a是一维连续信源X的均值，该连续信源的熵为：,05-06学年上,Elements of Information Theory,19,4.3具有最大熵的连续信源,离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。,05-06学年上,Elements of Information Theory,20,在什么条件下，连续信源的熵最大？,
7、在不同的条件下，信源的最大熵也不同。,05-06学年上,Elements of Information Theory,21,通常有三种情况是我们感兴趣的：一种是信源输出值受限的情况，另一种是信源输出的平均功率受限的情况，还有一种是均值受限的情况。下面分别讨论。,05-06学年上,Elements of Information Theory,22,峰值功率受限条件下信源的最大熵（取值幅度受限）,定理：若信源输出的幅度被限定在 区域内，则当输出信号的概率密度分布是均匀分布时，信源具有最大熵。最大熵为：,05-06学年上,Elements of Information Theory,23,当N维随机
8、矢量取值受限时，也只有各随机分量统计独立时，并均匀分布时具有最大熵。最大熵为：,05-06学年上,Elements of Information Theory,24,平均功率受限条件下信源的最大熵（方差受限）,定理：若一个信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大熵。最大熵为：,05-06学年上,Elements of Information Theory,25,均值受限条件下的最大连续熵定理（均值受限）,若连续信源X输出非负信号的均值受限，则其输出信号呈指数分布时，连续信源X具有最大熵值。最大熵为：,其中常数a是一维连续信源X的均值,05-06
9、学年上,Elements of Information Theory,26,4.4 连续信源熵的变换,从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息处理设备都可用下图所示来表示，可以认为这是一种坐标变换。,05-06学年上,Elements of Information Theory,27,设连续平稳信源输出的是N维连续型随机矢量,将它送入信息处理网络，其输出为另一个N维随机矢量,Y和X之间的变换关系如下：,05-06学年上,Elements of Information Theory,28,在离散信源中，若有确定的对应变换关系，变换后信源熵是不变的。问：在连续信源中，输
10、出的消息经过变换后，其熵（差熵）会不会发生改变？下面我们将讨论这个问题。从数学上讲，这可归纳为坐标变换的问题。,05-06学年上,Elements of Information Theory,29,坐标变换后概率密度函数的变化,已知Y和X之间有一一对应关系,则X也可以表示位Y的单值连续函数。,05-06学年上,Elements of Information Theory,30,引入雅可比行列式,定义：,证明可得,05-06学年上,Elements of Information Theory,31,经分析可得坐标变化后新旧概率密度函数的关系为：,结论：除非雅可比行列式等于1，否则，在一般情况下，
11、连续型随机变量通过变化后其概率密度函数会发生变化。,05-06学年上,Elements of Information Theory,32,坐标变换后差熵的变化,经过计算可得变换后连续信源的差熵为：,05-06学年上,Elements of Information Theory,33,一、熵速率：信源在单位时间内输出的熵称为信源的熵速率。若信源是时间连续、信号带宽为F的连续信源，根据随机信号的抽样定理，可用2F的速率对信源进行采样。因此，连续信源的熵速率为：,4.5熵速率和熵功率,05-06学年上,Elements of Information Theory,34,当信号平均功率受限时，高斯分布
12、信源的熵最大。令其平均功率为P，则其熵为：若另一信号Y的平均功率也为P，但不是高斯分布，那它的熵一定比上式计算的小，即：,05-06学年上,Elements of Information Theory,35,二、熵功率：若平均功率为P的非高斯分布的信源具有熵为,称熵也为 的高斯信源的平均功率为熵功率.,由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P，即,05-06学年上,Elements of Information Theory,36,三、连续信源的剩余度熵功率的大小可以表示连续信源剩余的大小。若熵功率等于信号平均功率，就表示信号没有剩余。熵
13、功率和信号的平均功率相差越大，说明信号的剩余越大。所以，信号平均功率和熵功率之差被称为连续信源的剩余度。,连续信源的剩余度=,05-06学年上,Elements of Information Theory,37,4.6连续信道和波形信道的分类,波形信道：当信道的输入和输出都是随机过程 和 时，这个信称为波形信道。它不仅在时间上是连续的，幅度上也是连续的。实际模拟通信系统中，信道都是波形信道。,05-06学年上,Elements of Information Theory,38,研究波形信道就要研究噪声。在通信系统中，可把来自各部分的噪声都集中在一起，认为是通过信道加入的。（1）按噪声的统计特性
14、进行分类有：高斯噪声信道、白噪声信道、高斯白噪声信道和有色噪声信道等。（2）按噪声对信号的作用共能来分有：加性信道和乘性信道。,05-06学年上,Elements of Information Theory,39,信道按噪声统计特性的分类,1、高斯噪声信道定义：信道中的噪声是高斯噪声，这个信道称之为高斯噪声信道。其瞬时值的概率密度函数服从正态分布。高斯噪声的一维概率密度函数为：,05-06学年上,Elements of Information Theory,40,2、白噪声信道定义：信道中的噪声是白噪声，即噪声是平稳随机过程，其功率谱密度均匀分布于整个频域，这个信道称为白噪声信道。其功率谱密度
15、为一常数：,05-06学年上,Elements of Information Theory,41,3、高斯白噪声定义：具有高斯分布规律的白噪声称为高斯白噪声。高斯噪声是指它的N维概率密度函数服从高斯分布，并不涉及其功率密度的形状；白噪声则是就其功率谱密度是均匀分布而言，而不论它服从什么样的概率分布。在一般情况下，把概率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。,05-06学年上,Elements of Information Theory,42,4、有色噪声信道除白噪声以外的噪声称为有色噪声。定义：信道的 噪声是有色噪声，称此信道为有色噪声信道。,05-06学年上,El
16、ements of Information Theory,43,信道按噪声对信号的作用功能分类,1、乘性信道定义：若信道中噪声对信号的干扰作用表现为与信号相乘的关系，则此信道称为乘性信道。此噪声为乘性干扰。2、加性信道定义：若信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信道称为加性信道。此噪声为加性干扰。,05-06学年上,Elements of Information Theory,44,连续信道的信息传输速率,一、单维连续信道的平均互信息单维连续信道的数学模型为 输入X和输出Y之间的平均互信息为,单维连续信道的信息传输速率为：,05-06学年上,Elements of Infor
17、mation Theory,45,二、多维连续信道的平均互信息 多维连续信道的数学模型为其信道转移概率密度函数满足下表达式：其平均互信息为：,05-06学年上,Elements of Information Theory,46,多维连续信道的信息传输速率为：平均每个自由度的信息传输率为,05-06学年上,Elements of Information Theory,47,连续信道平均互信息的特性,1、非负性 2、对称性3、凸状性：连续变量之间的平均互信息 是输入连续变量X的概率密度函数 的上凸函数；又是连续信道转移概率密度函数的下凸函数。,05-06学年上,Elements of Information Theory,48,4、信息不增性（又称数据处理定理）若连续随机变量 形成马尔可夫链，则 5、坐标变换平均互信息的不变性 前面学习已知，通过一一对应的变换，差熵会发生变化，但传输的平均互信息是不变的。,
