《连续信源及信源熵.ppt》由会员分享，可在线阅读，更多相关《连续信源及信源熵.ppt（51页珍藏版）》请在三一办公上搜索。
1、3.8 连续信源及信源熵(4),3.6 连续信源及信源熵,3.6.1 一些基本概念3.6.2 连续信源的熵 3.6.3 几种特殊连续信源的熵3.6.4 连续熵的性质 3.6.5 最大连续熵定理,3.6.1 一些基本概念(1)连续信源定义(2)随机过程及其分类(3)通信系统中的信号(4)平稳遍历的随机过程,（1）连续信源定义,连续信源：输出消息在时间和取值上都连续的信源。例子：语音、电视等。连续信源输出的消息是随机的，与随机过程x(t)相对应。可用有限维概率密度函数描述。,(2)随机过程及其分类,随机过程 随机过程的分类,随机过程随机过程定义：随机过程x(t)可以看成由一系列时间函数xi(t)所
2、组成，其中i=1,2,3,，并称xi(t)为样本函数。,随机过程的分类可以分为两类：根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。,(3)通信系统中的信号一般认为，通信系统中的信号都是平稳的随机过程。,(4)平稳遍历的随机过程,随机过程x(t)中某一样本函数x(t)的时间平均值定义：统计平均值：遍历的随机过程：时间平均与统计平均相等，即,3.6.2 连续信源的熵(1)计算连续信源熵的两种方法(2)连续信源的熵(3)连续信源的联合熵、条件熵,(1)计算连续信源熵的两种方法第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。即把连续消息
3、变成离散消息求信源熵,第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位x趋近于零的情况来定义和计算连续信源熵。,(2)连续信源的熵 单变量连续信源数学模型 连续信源的熵 举例 连续信源熵的意义,单变量连续信源数学模型单变量连续信源数学模型,连续信源的熵,连续信源的熵,举 例若连续信源的统计特性为均匀分布的概率密度函数,当(b-a)1时，Hc(X)0，为负值，即连续熵不具备非负性。,连续信源熵的意义1）连续信源熵并不是实际信源输出的绝对熵，是相对熵2）连续信源的绝对熵还有一项正的无限大量，虽然log2(b-a)小于0，但两项相加还是正值，且
4、一般还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大；3）Hc(X)不能代表信源的平均不确定度，也不能代表连续信源输出的信息量,4）这种定义可以与离散信源在形式上统一起来；5）在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征；,(5)连续信源的联合熵和条件熵,两个连续变量的联合熵,两个连续变量的条件熵,3.6.3 几种特殊连续信源的熵(1)均匀分布的连续信源的熵(2)高斯分布的连续信源的熵(3)指数分布的连续信源的熵,(1)均匀分布的连续信源的熵,一维连续随机变量
5、X在a,b区间内均匀分布时的熵为 Hc(X)=log2(b-a),若N维矢量X=(X1X2XN)中各分量彼此统计独立，且分别在a1,b1a2,b2 aN,bN的区域内均匀分布，即,(2)高斯分布的连续信源的熵,一维随机变量X的取值范围是整个实数轴R，概率密度函数呈正态分布，即,这个连续信源的熵为,(3)指数分布的连续信源的熵,若一维随机变量X的取值区间是0,)，其概率密度函数为,3.6.4 连续熵的性质(1)连续熵可为负值(2)连续熵的可加性(3)平均互信息的非负性(4)平均互信息的对称性和数据处理定理,3.6.5 最大连续熵定理,在不同的限制条件下，信源的最大熵也不同。(1)限峰值功率的最大
6、熵定理(2)限平均功率的最大熵定理(3)均值受限条件下的最大熵定理,(1)限峰值功率的最大熵定理 限峰值功率的最大熵定理 证明过程 说明,限峰值功率的最大熵定理 若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。,证明过程设N维随机变量,定义q(x)为除均匀分布以外的其它任意概率密度函数Hcp(x),X表示均匀分布连续信源的熵Hcq(x),X表示任意分布连续信源的熵,说 明在实际问题中，常令bi0,ai=-bi,i=1,2,N。这种定义域边界的平移并不影响信源的总体特性，因此不影响熵的取值；此时，随机变量Xi(i=1,2,N)的取值就被限制
7、在bi之间，峰值就是bi；如果把取值看作输出信号的幅度，则相应的峰值功率为2bi；,所以上述定理被称为峰值功率受限条件下的最大连续熵定理，简称限峰值功率的最大熵定理。此时最大熵值为,(2)限平均功率的最大熵定理,限平均功率的最大熵定理 证明过程 说明,限平均功率的最大熵定理 若信源输出信号的平均功率P和均值m被限定，则输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。,证明过程单变量连续信源X呈高斯分布时的概率密度函数为,对平均功率和均值的限制就等于对方差的限制；把平均功率受限的问题变成方差受限的问题来讨论；把平均功率受限当成是m=0情况下，方差受限的特例。定义高斯分布的连续信源的熵记
8、为Hcp(x),X定义任意分布的连续信源的熵记为Hcq(x),X已知Hcp(x),X=(1/2)log2(2e)任意分布的连续信源的熵为,说 明当连续信源输出信号的均值为零、平均功率受限时，只有信源输出信号的幅度呈高斯分布时，才会有最大熵值。两种功率受限情况与噪声比较 峰值功率受限、均匀分布的连续信源熵最大；平均功率受限、均值为零高斯分布的连续信源熵最大；,在这两种情况下，信源的统计特性与两种常见噪声均匀噪声和高斯噪声的统计特性相一致。从概念上讲这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。,（3）均值受限的最大熵定理,连续信源的均值受到限制时，则输出信号的幅度呈指数分布时达到最大熵。证明（课后自己练习）,3.6.6 熵功率熵功率的定义信源剩余度,熵功率定义,若平均功率为P的非高斯分布的信源具有熵h(X)，称熵也为h(X)的高斯信源的平均功率称为熵功率。,连续信源的剩余度,
