《27第2章2.3连续信源.ppt》由会员分享，可在线阅读，更多相关《27第2章2.3连续信源.ppt（25页珍藏版）》请在三一办公上搜索。
1、1,第2章 信源熵,2.0 信源的数学模型及其分类2.1 单符号离散信源2.2 多符号离散平稳信源2.3 连续信源2.3.1 连续信源的熵2.3.2 几种特殊连续信源的熵2.3.3 最大连续熵定理2.3.4 联合熵、条件熵和平均交互信息量,2,实际应用：信源的输出往往是时间的连续函数，如语音信号、电视图像等。由于它们的取值既是连续的又是随机的，称为连续信源，且信源输出的消息可以用随机过程描述。连续信源的数学描述：对于某一连续信源X(t),当给定某一时刻t=to时，其取值是连续的，即时间和幅度均为连续函数。由于连续信源中消息数是无限的，其每一可能的消息是随机过程的一个样本函数，可以用有限维概率分
2、布函数或有限维概率密度函数来描述连续信源。,连续信源,3,平稳随机过程：统计特性不随时间的平移而变化的随机过程。平稳遍历的随机过程：集平均与时间平均相等。,连续信源,4,研究方法一：取样、量化。时间离散、取值离散，简化为离散信源（上一节已讨论）研究方法二：只取样、不量化。时间离散、取值连续。研究一个随机序列，序列中的每个分量的取值是连续的（本节研究的重点）,连续信源,5,连续信源的数学模型,6,2.3.1连续信源的熵,简单的连续信源可以用一维随机变量描述连续 随机 变量X 满足：,7,连续信源熵的计算方法,8,连续信源熵的计算方法-续,9,定义 连续信源的熵,对于连续信源X，若其概率密度为p(
3、x)，则连续信源的熵为 解释连续信源的熵与离散信源的熵具有相同的形式，但其意义不相同。连续信源熵与离散信源熵相比，去掉了一个无穷项，连续信源的不确定性应为无穷大。由于实际应用中常常关心的是熵之间的差值，无穷项可相互抵消，故这样定义连续信源的熵不会影响讨论所关心的交互信息量、信息容量和率失真函数。需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值。,10,第2章 信源熵,2.0 信源的数学模型及其分类2.1 单符号离散信源2.2 多符号离散平稳信源2.3 连续信源2.3.1 连续信源的熵2.3.2 几种特殊连续信源的熵2.3.3 最大连续熵定理2.3.4 联合熵、条件
4、熵和平均交互信息量,11,例 求平均分布随机变量的熵,12,例 求一维高斯分布的熵,13,第2章 信源熵,2.0 信源的数学模型及其分类2.1 单符号离散信源2.2 多符号离散平稳信源2.3 连续信源2.3.1 连续信源的熵2.3.2 几种特殊连续信源的熵2.3.3 最大连续熵定理2.3.4 联合熵、条件熵和平均交互信息量,14,2.3.3 连续信源的最大熵,对于离散信源，当所有消息独立等概率分布时，其熵值最大。而在连续信源情况下，如果没有条件限制就没有最大熵。在不同限制条件下，信源的最大熵也不同。问题：对于连续信源，当存在最大熵值时，其概率密度函数p(x)应该满足什么条件呢？当H(X)满足
5、为最大条件下，求解p(x)满足概率密度的定义。,15,连续信源的最大熵-续,在具体应用中，仅讨论连续信源的两种情况：一是信源输出的幅度受限；二是信源输出的平均功率受限。利用数学表达式表示这两种情况，可以写为,16,输出信号幅度受限条件下的最大熵,定理:对于服从均匀分布的随机变量X，具有最大输出熵。,17,平均功率受限条件下的最大熵,定理：对于服从均值为m，方差为2的高斯分布的随机变量具有最大输出熵。,18,定理-证明 续,19,结论.,输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵，这与离散信源在以等概率出现达到最大输出熵的结论类似。输出信号平均功率受限条件下，具有高斯分布的连续信
6、源的熵最大，且随平均功率的增加而增加。,20,第2章 信源熵,2.0 信源的数学模型及其分类2.1 单符号离散信源2.2 多符号离散平稳信源2.3 连续信源2.3.1 连续信源的熵2.3.2 几种特殊连续信源的熵2.3.3 最大连续熵定理2.3.4 联合熵、条件熵和平均交互信息量,21,联合熵、条件熵和平均交互信息量,22,证明,23,平均互信息I(X;Y)的主要性质,连续随机变量平均互信息的主要性质如下：1.非负性 I(X;Y)0 当且仅当连续随机变量X和Y统计独立时等号成立。2.对称性 I(X;Y)=I(Y;X),24,连续信源各种熵的关系式,连续信源是相对熵，不具有非负性和极值性存在如下关系式：H(X,Y)H(X)+H(Y)H(X/Y)H(X)和H(Y/X)H(Y)当信源X和Y相互独立时，等号成立。,25,小结,将离散信源的各种特征推广到连续信源。分析了连续信源的熵。绝对熵是无穷大的，主要考虑相对熵。指出了相对熵具有的性质。讨论了不同条件下，连续信源的最大熵。给出了基于连续信源相对熵概念下，各种熵函数，包括：联合熵、条件熵和平均交互信息量之间的关系。,
