《信息导论-第6讲-信源熵.ppt》由会员分享，可在线阅读，更多相关《信息导论-第6讲-信源熵.ppt（65页珍藏版）》请在三一办公上搜索。
1、2.3 连续信源,2.3.1 一些基本概念2.3.2 连续信源的熵2.3.3 几种特殊连续信源的熵2.3.4 连续熵的性质2.3.5 最大连续熵定理2.3.6 熵功率,一些基本概念,(1)连续信源定义(2)随机过程及其分类(3)通信系统中的信号(4)平稳遍历的随机过程,(1)连续信源定义,连续信源：输出消息在时间和取值上都连续的信源。例子：语音、电视等。连续信源输出的消息是随机的，与随机过程x(t)相对应。可用有限维概率密度函数描述。,(2)随机过程及其分类,随机过程 随机过程的分类,随机过程,随机过程定义：随机过程x(t)可以看成由一系列时间函数xi(t)所组成，其中i=1,2,3,，并称x
2、i(t)为样本函数。,每个样本函数是随机过程的一个实现；每个样本函数不仅在时间上，而且在幅度取值上都是连续变化的波形。在某一固定的瞬时时刻t=ti，各个样本函数的取值，成为一个连续型的随机变量Xti；一般用n维概率密度函数族pn(x1,x2,xn,t1,t2,tn)来描述随机过程的统计特性，n越大，描述越完善；,消息数是无限的。输出的每个可能的消息是随机过程x(t)中的一个样本函数。对于样本函数来说，它是时间t的连续函数，时间的取值为不可数的无限多个。另外，当固定某一瞬时t=tk时，信源的输出是一个随机变量X，X的取值又是连续的，为不可数的无限多个值。因此连续信源可能有的消息数为无限多个。连续
3、型信源，可用有限维概率密度函数族以及各维概率密度函数有关的统计量来描述。,随机过程的分类,根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。平稳随机过程：统计特性/各维概率密度函数不随时间平移而变化。非平稳随机过程：统计特性随时间平移而变化。,(3)通信系统中的信号,一般认为，通信系统中的信号都是平稳的随机过程。虽然在无线通信系统中，受衰落干扰的无线电信号属于非平稳随机过程，但在正常通信条件下，都可近似地当做平稳随机过程或分段平稳的随机过程来处理。,(4)平稳遍历的随机过程,随机过程x(t)中某一样本函数x(t)的时间平均值定义：随机过程x(t)在某时刻ti所取的随机变量 的统计平均
4、值/集平均定义：遍历的随机过程：时间平均与统计平均相等，即,连续信源的熵,(1)计算连续信源熵的两种方法(2)连续信源的种类(3)连续信源的数学描述(4)连续信源的熵(5)连续信源的联合熵,(1)计算连续信源熵的两种方法,第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位x趋近于零的情况来定义和计算连续信源熵。,(2)连续信源的种类,连续信源分为单变量和多变量。多变量连续信源属于有记忆信源，直接计算有记忆连续信源的熵十分困难。一般处理方法是采
5、用某种变换把有记忆信源变成无记忆信源，然后再计算信源熵。,(3)连续信源的数学描述,单变量连续信源的输出是取值连续的随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度描述。一维概率密度函数 条件概率密度和联合概率密度函数,一维概率密度函数,随机变量X的一维概率密度函数/边缘概率密度函数为,条件概率密度和联合概率密度函数,条件概率密度函数联合概率密度函数它们之间的关系为边缘概率密度函数满足因为概率密度函数是不同的函数，所以用脚标来加以区分，以免混淆。为了简化书写，往往省去脚标，但在使用时要注意。,(4)连续信源的熵,单变量连续信源数学模型 连续信源的熵 举例 连续信源熵的意义,单变
6、量连续信源数学模型,单变量连续信源数学模型R是连续变量X的取值范围。先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。,设p(x)如图所示。把连续随机变量X的取值分割成n个小区间，各小区间等宽，即=(b-a)/n。则变量落在第i个小区间的概率为其中xi是a+(i-1)到a+i之间的某一值。当p(x)是X的连续函数时，由中值定理可知，必存在一个xi值使上式成立。,这样连续变量x就可用取值为xi(i=1,2,n)的离散变量近似。连续信源被量化成离散信源。,连续信源的熵,上式右端的第
7、一项一般是定值，而第二项在0时是一无限大量。丢掉后一项，定义连续信源的熵为上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。,举 例,若连续信源的统计特性为均匀分布的概率密度函数当(b-a)1时，Hc(X)0，为负值，即连续熵不具备非负性。,连续信源熵的意义,连续信源熵并不是实际信源输出的绝对熵；连续信源的绝对熵还有一项正的无限大量，虽然log2(b-a)小于0，但两项相加还是正值，且一般还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大；Hc(X)已不能代表信源
8、的平均不确定度，也不能代表连续信源输出的信息量。,连续信源熵的意义这种定义可以与离散信源在形式上统一起来；在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征；连续信源的熵Hc(X)具有相对性，因此Hc(X)也称为相对熵。,(5)连续信源的联合熵和条件熵,两个连续变量的联合熵两个连续变量的条件熵,几种特殊连续信源的熵,(1)均匀分布的连续信源的熵(2)高斯分布的连续信源的熵(3)指数分布的连续信源的熵,(1)均匀分布的连续信源的熵,一维连续随机变量X在a,b区间内均匀分布时的熵为Hc(X)=log2(b-a)若N维矢量X
9、=(X1X2XN)中各分量彼此统计独立，且分别在a1,b1a2,b2 aN,bN的区域内均匀分布，即,N维统计独立均匀分布连续信源的熵是N维区域体积的对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的体现，因为各维区域的边界决定了概率密度函数的总体形状。连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和。,(2)高斯分布的连续信源的熵,一维随机变量X的取值范围是整个实数轴R，概率密度函数呈正态分布，即,这个连续信源的熵为,高斯连续信源的熵与数学期望m无关，只与方差2有关；熵描述的是信源的整体特性，由图看出，当均值m变化时，只是p(x)的对称中心在横轴上发生平移，曲线
10、的形状没有任何变化，即数学期望m对高斯信源的总体特性没有任何影响；若方差2不同，曲线的形状随之改变，所以高斯连续信源的熵与方差有关而与数学期望无关。,(3)指数分布的连续信源的熵,若一维随机变量X的取值区间是0,)，其概率密度函数为指数分布的连续信源的熵只取决于均值。因为指数分布函数的均值决定函数的总体特性。,连续熵的性质,(1)连续熵可为负值(2)连续熵的可加性(3)平均互信息的非负性(4)平均互信息的对称性和数据处理定理,(1)连续熵可为负值,信源熵在数量上与信源输出的平均信息量相等，平均信息量为负值在概念上难以理解。虽然在讨论它的原因时，已经知道是由连续熵的相对性所致，但另一方面，也说明
11、香农熵在描述连续信源时还不是很完善。,(2)连续熵的可加性,两个变量 N个变量,两个变量,Hc(XY)=Hc(X)+Hc(Y/X)Hc(XY)=Hc(Y)+Hc(X/Y)下面证明第一式同理可证第二式。,N个变量,连续信源的可加性可推广到N个变量的情况 Hc(X1X2XN)=Hc(X1)+Hc(X2/X1)+Hc(X3/X1X2)+Hc(XN/X1X2XN-1),(3)平均互信息的非负性,无条件熵和条件熵定义 证明过程,无条件熵和条件熵定义,条件熵 Hc(X/Y),Hc(Y/X)无条件熵 Hc(X),Hc(Y)平均互信息 Ic(X;Y),Ic(Y;X)它们之间的关系 Ic(X;Y)=Hc(X)-
12、Hc(X/Y)Ic(Y;X)=Hc(Y)-Hc(Y/X),证明过程,证明：Ic(X;Y)0 Ic(Y;X)0首先证明：Hc(X/Y)Hc(X)Hc(Y/X)Hc(Y)证明第一式：Hc(X/Y)Hc(X),(4)对称性和数据处理定理,连续信源的平均互信息也满足对称性，即Ic(X;Y)=Ic(Y;X)连续信源也满足数据处理定理。即把连续随机变量Y处理成另一连续随机变量Z时，一般也会丢失信息，即Ic(X;Z)Ic(X;Y)Ic(X;Z)Ic(Y;Z),最大连续熵定理,对离散信源：当信源呈等概率分布时，信源熵取最大值；对连续信源：如果没有限制条件，就没有最大熵；连续信源在不同的限制条件下，信源的最大熵
13、也不同。(1)限峰值功率的最大熵定理(2)限平均功率的最大熵定理(3)均值受限条件下的最大熵定理,(1)限峰值功率的最大熵定理,限峰值功率的最大熵定理 证明过程 说明,限峰值功率的最大熵定理,若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。,证明过程,设N维随机变量定义q(x)为除均匀分布以外的其它任意概率密度函数 Hcp(x),X表示均匀分布连续信源的熵 Hcq(x),X表示任意分布连续信源的熵,当X取值于任意N维区域而不是立方体时，结果也一样。,说 明,在实际问题中，常令bi0,ai=-bi,i=1,2,N。这种定义域边界的平移并不影
14、响信源的总体特性，因此不影响熵的取值；此时，随机变量Xi(i=1,2,N)的取值就被限制在bi之间，峰值就是bi；如果把取值看作输出信号的幅度，则相应的峰值功率为bi2；所以上述定理被称为峰值功率受限条件下的最大连续熵定理，简称限峰值功率的最大熵定理。此时最大熵值为,(2)限平均功率的最大熵定理,限平均功率的最大熵定理 证明过程 说明,限平均功率的最大熵定理,若信源输出信号的平均功率P和均值m被限定，则输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。,证明过程,单变量连续信源X呈高斯分布时的概率密度函数为对平均功率和均值的限制就等于对方差的限制；把平均功率受限的问题变成方差受限的问题
15、来讨论；把平均功率受限当成是m=0情况下，方差受限的特例。,定义高斯分布的连续信源的熵记为Hcp(x),X定义任意分布的连续信源的熵记为Hcq(x),X已知Hcp(x),X=(1/2)log2(2e2)任意分布的连续信源的熵为,说 明,当连续信源输出信号的均值为零、平均功率受限时，只有信源输出信号的幅度呈高斯分布时，才会有最大熵值。两种功率受限情况与噪声比较峰值功率受限、均匀分布的连续信源熵最大；平均功率受限、均值为零高斯分布的连续信源熵最大；在这两种情况下，信源的统计特性与两种常见噪声均匀噪声和高斯噪声的统计特性相一致。从概念上讲这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只
16、能从最不确定的事件中获得。,(3)均值受限条件下最大熵定理,均值受限条件下最大熵定理 证明过程 说明,均值受限条件下最大熵定理,若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时连续信源X具有最大熵值。,证明过程,设连续信源X为指数分布时的概率密度函数为,说 明,连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关，在不同的限制条件下有不同的最大连续熵值。,熵功率,(1)信源冗余度(2)熵功率定义(3)熵功率意义,(1)信源冗余度,同离散信源一样，连续信源同样有信源的剩余问题。信息变差定义 信息变差Ip,q的意义 连续信源熵与离散信源熵的统一性,信息变差定义
17、,信息变差Ip,q：设连续信源X在概率密度函数为p(x)时达到最大熵值Hcp(x),X，除此之外的其它任何概率密度函数q(x)达到的熵值为Hcq(x),X，两熵之差表示信源的剩余度，记为Ip,q=Hcp(x),X-Hcq(x),X。,信息变差Ip,q的意义,信源从一种概率密度函数p(x)转变到另一种概率密度函数q(x)时，信源所含信息量发生的变化；最大熵值就是最大的平均不确定度。在测定q(x)之前，常假定概率密度函数是对应于最大熵值的概率密度函数p(x)，测定概率密度函数q(x)后所消除的平均不确定度就是信息变差Ip,q，尚剩的平均不确定度就是q(x)的连续熵。所以信息变差可理解为在某些限制条
18、件下，确切测定概率密度q(x)所获得的信息量。,连续信源熵与离散信源熵的统一性,从信息变差的的概念出发，连续信源的熵与离散信源的熵具有统一的含义，即信源熵可理解为最大熵与信息变差之间的差值 Hcq(x),X=Hcp(x),X-Ip,q。所以，信息变差的概念，通常被认为是定义连续熵的出发点。不用分辨离散信源熵和连续信源熵了，使以前对于连续熵的定义建立在更合理的基础上。,(2)熵功率定义,均值为零、平均功率受限的连续信源是最常见的一种，重点讨论。均值为零、平均功率限定为P的连续信源X，概率密度p(x)为高斯分布时熵值最大 Hcp(x),X=(1/2)log22eP，其熵值仅随限定功率P的变化而变化
19、。设限定平均功率为当概率密度函数为其它任何分布q(x)时，其熵Hcq(x),X必小于最大熵Hcp(x),X，即 Hcq(x),XHcp(x),X总能找到每一个即 的大小决定了实际信源的熵值。,为信源的实际熵；P为信源的最大熵。两者之间的差距反映了实际熵和最大熵之间的差距，即信息变差或信息的冗余。熵功率定义：把 称为连续信源X在概率密度函数为q(x)时的熵功率。熵功率与信息变差之间的关系为上式说明：信源的冗余度决定于平均功率的限定值P和信源的熵功率之 比。若已知信息变差Ip,q和平均功率限定值P，则可由 直接求出熵功率进而可由 求出信源的实际熵Hcq(x),X。,对于无记忆信源Hc(X1X2XN)，若各分量平均功率限定值为P，均值都是零，熵功率都是，则信息变差为,
