《信息论导论 第2章课件.ppt》由会员分享，可在线阅读，更多相关《信息论导论 第2章课件.ppt（73页珍藏版）》请在三一办公上搜索。
1、第2章 离散信源及其信息熵,武刚2012年3月,信息论导论,信息论导论-第2章，武刚,2,复习,信息的概念什么是信息？信息论的研究内容香农信息论单符号离散信源自信息量：比特、奈特、笛特,信息论导论-第2章，武刚,3,本章的两个主要问题,离散信源所发出的一条消息，它包含着多大的信息量？ 从离散信源的整体出发，它的信息量又应该如何度量？,信息论导论-第2章，武刚,4,提纲,一、自信息量二、单符号离散信源的信息熵三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,5,一、自信息量,最简单的信源?为给出定量度量信息的方法，先讨论最简单的信源：1、单符号离散信源如果信源每次发出的消息都是单一符号，而
2、这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。例子：掷骰子、简单的天气气象如何描述这些事件？概率论？,信息论导论-第2章，武刚,6,一、自信息量：单符号信源模型(1),掷骰子这一单符号离散信源可表示为：,而某一天简单的天气气象这一单符号离散信源则可表示为：,信息论导论-第2章，武刚,7,一、自信息量：单符号信源模型(2),单符号离散信源的数学模型：预备知识联合概率条件概率,信息论导论-第2章，武刚,8,一、自信息量:定义,假设一个单符号离散信源，其输出被传递给信宿；设P(x1)最大、P(xn)最小，问题:输出哪条消息包含更多的信息，x1,还是xn？根据香农信息的概念消息中所包含的
3、不确定性的成分才是信息不确定性的成分越大，或者说出现的概率越小，信息量就越大；从这个意义上，输出xn包含更多的信息。这个量是多少，如何表示？,信息论导论-第2章，武刚,9,一、自信息量：定义(1),如果将离散信源输出xi 所包含的信息量用I(xi)来表示并将其称为xi 的自信息量，则其必须满足的条件是：, I(xi)与输出xi的概率相关；, I(xi)是P(xi)的减函数，且当P(xi) =1时I(xi) =0 。, I(xi)是P(xi)的连续函数；,因此，xi 的自信息量的定义为：,信息论导论-第2章，武刚,10,一、自信息量：定义(1),自信息量的定义：无量纲，根据对数的底来定义单位：当
4、对数底为2时，自信息量的单位为比特(bit, binary unit)对数底为e时，其单位为奈特(nat, nature unit)对数底为10时，其单位为哈特(Hart, Hartley)。目前的通信系统或其他信息传输系统大多以二进制为基础，因此信息量的单位以bit最为常用。,信息论导论-第2章，武刚,11,一、自信息量,以bit为单位的自信息量记为：3、自信息量的性质,I(xi)是非负值；,I(xi)是随机量；,I(xi)是P(xi)的单调递减函数。,信息论导论-第2章，武刚,12,一、自信息量,证明：本课件中定义,信息论导论-第2章，武刚,13,一、自信息量,例1：求掷骰子这一信源发出各
5、种消息所包含的自信息量。,解：该信源的数学模型为,信息论导论-第2章，武刚,14,一、自信息量,例2：求某一天简单的天气气象这一信源发出各种消息所包含的自信息量。,解： 该信源的数学模型为：,信息论导论-第2章，武刚,15,互信息量(简述),1、互信息量的定义2、互信息量的性质,信息论导论-第2章，武刚,16,互信息量：定义,两个随机事件X和Y，分别取值于信源、信宿发出的离散消息集合信源X的数学模型信宿Y的数学模型,a1,a2,a3,an,b1,b2,b3,bm,后验概率：P(ai/bj)先验概率：P(ai),信息论导论-第2章，武刚,17,互信息量,例2.1.2, 根据天气气象信源模型，观测
6、得到的信息是“今天不是晴天(y1)”问各消息与y1的互信息量,信息论导论-第2章，武刚,18,互信息量与自信息量的关系,I(x2; y1)与I(x2)及I(x2/y1) I(x2; y1)=I(x2)-I(x2/y1)I(xi; yj)=I(xi)-I(xi/yj) I(yj; xi)=?,互信息量等于自信息量减去条件自信息量,互信息量的内容留待第4章后续讨论,信息论导论-第2章，武刚,19,本章内容提纲,一、自信息量二、单符号离散信源的信息熵三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,20,二、单符号离散信源的信息熵,自信息量：一个单符号离散信源发出各种消息所包含的信息量, 问题
7、：从该信源的整体出发，它的信息量又应该如何度量？,1、单符号离散信源的信息熵,如果将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为：,信息论导论-第2章，武刚,21,二、单符号离散信源的信息熵,信息熵的单位是比特/符号(bit/symbol)。,信息熵是从整体出发对一个离散信源信息量的度量。,2、信息熵的性质和定理,H(X)的非负性；,信息论导论-第2章，武刚,22,二、单符号离散信源的信息熵,H(X)的上凸性；,H(X)的上凸性不作证明。,最大熵定理,何种单符号信源的熵最大？,信息论导论-第2章，武刚,23,二、单符号离散信源的信息熵,信息论导
8、论-第2章，武刚,24,二、单符号离散信源的信息熵,当信源中各离散消息以等概率出现时，可得到最大信源熵，其熵为：,信息论导论-第2章，武刚,25,信源熵的其他性质,扩展性随机变量中某个取值的概率趋于零时，两种情形(有、无这个变量)的熵相同确定性只要一个变量取值的概率为1，则熵为零可加性极值性多变量情形（后续讨论）,信息论导论-第2章，武刚,26,二、单符号离散信源的信息熵,例1，求掷骰子这一信源的信息熵。,解：该信源的数学模型为,信息论导论-第2章，武刚,27,二、单符号离散信源的信息熵,解： 该信源的数学模型为：,例2，求某一天简单的天气气象这一信源的信息熵。,信息论导论-第2章，武刚,28
9、,复习,自信息量单符号离散信源的信息熵最大熵定理的证明及含义,信息论导论-第2章，武刚,29,二、单符号离散信源的信息熵,例3，已知信源,求信息熵并作出H(p)关于p的曲线。,当p=0时，H(p)=0,=0.25时，H(p)=0.811,=0.5时，H(p)=1,=0.75时，H(p)=0.811,=1时，H(p)=0,信息论导论-第2章，武刚,30,二、单符号离散信源的信息熵,信源熵的三种物理含义信源熵H(X)表示信源输出后，平均每个离散消息所提供的信息量；信源熵H(X)表示信源输出前，信源的平均不确定度；信源熵H(X)反映了变量X的随机性,信息论导论-第2章，武刚,31,主观价值与主观意义
10、香农定义的熵未考虑人的主观因素，对不同观测、接收信息的人，得到不同的信息熵引入重量空间到信源的模型性质非负性、连续性、对称性、均匀性、等重性、确定性、非容性、扩展性、线性叠加性、加权熵的最大值,加权熵,信息论导论-第2章，武刚,32,平均互信息量,留待第4章讨论,信息论导论-第2章，武刚,33,本章内容提纲,一、自信息量二、单符号离散信源的信息熵三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,34,三、多符号离散信源及其信息熵,如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。,现实中，更普遍的情况是信源每次发出的消
11、息是符号序列。,多符号离散信源的例子有电报、文字等。,信息论导论-第2章，武刚,35,一般情况下，信源在不同时刻发出符号的概率分布是不同的，即,将多符号离散信源发出的符号序列记为,并设序列中任一符号都取值于集合,这种情况分析起来比较困难，不作讨论。,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,36,对于多符号离散信源发出的符号序列,1、离散平稳信源及其数学模型,如果任意两个不同时刻k和l，k=1,2, ，l=1,2, ，其概率分布相同，即,则称该多符号离散信源为一维离散平稳信源。,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,37,如果不仅其概率分布相同，其二维联合概率分
12、布也相同，即,则称该多符号离散信源为二维离散平稳信源。,同理，如果除概率分布相同外，直到N维的各维联合概率分布也都与时间起点无关，即,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,38,则称该多符号离散信源为N维离散平稳信源。,一般，可将N维离散平稳信源发出的符号序列看成长度为N的一段符号序列，即,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,39,N维离散平稳信源的数学模型：,其联合概率分布为,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,40,2、离散平稳信源的信息熵,先讨论二维离散平稳信源的信息熵。,二维离散平稳信源的数学模型：,该信源的信息熵：,三、多符号
13、离散信源及其信息熵,信息论导论-第2章，武刚,41,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,42,式中，H(X2/X1 )称为条件熵，是条件信息量在联合概率上的数学期望。,三、多符号离散信源及其信息熵,与此相对应，将该信源的信息熵H(X1X2)称为联合熵，信源符号的信息熵H(X1)、 H(X2)称为无条件熵。,信息论导论-第2章，武刚,43,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,44,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,45,如果将该信源符号所提供的平均信息量记为H2(X1X2)并称其为平均符号熵，也叫熵率，则,三、多符号离散信源及其信息熵
14、,信息论导论-第2章，武刚,46,例1:已知二维离散平稳信源的符号 ,其概率分布,其条件概率,三、多符号离散信源及其信息熵,求该信源的联合熵和平均符号熵。,分布P(X2/X1),信息论导论-第2章，武刚,47,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,48,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,49,将二维的情况推广到N维，可得到N维离散平稳信源的信息熵：,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,50,当N时，平均符号熵取极限值，称之为极限熵， 用H表示，即,可以证明，极限熵H存在且,三、多符号离散信源及其信息熵,N维离散平稳信源的联合熵、平均符
15、号熵和极限熵的计算都比较困难。,信息论导论-第2章，武刚,51,三、多符号离散信源及其信息熵,1、离散平稳信源及其数学模型2、离散平稳信源的信息熵3、离散平稳无记忆信源的信息熵,信息论导论-第2章，武刚,52,3、离散平稳无记忆信源的信息熵,如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离散平稳无记忆信源。,由N维离散平稳信源的数学模型：,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,53,离散平稳无记忆信源的符号序列中各符号相互独立，故,三、多符号离散信源及其信息熵,相当于一维离散平稳信源扩展N次，因此也称其为N次扩展信源。,信息论导论-第2章，武刚,54,从而N维离
16、散平稳无记忆信源(一维离散平稳信源的N次扩展信源)的数学模型：,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,55,该信源的信息熵：,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,56,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,57,该信源的平均符号熵：,该信源的极限熵：,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,58,例2，已知信源,求该信源二次扩展信源的联合熵和平均符号熵。,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,59,4、马尔科夫(Markov)信源及其极限熵,如果离散平稳信源发出的符号只与前面已经发出的m(N)个符号相关，
17、则称该信源为m阶马尔科夫信源。,马尔科夫信源是离散平稳有限记忆信源， m是马尔科夫信源的记忆长度。,三、多符号离散信源及其信息熵,因此，可将m阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列。,信息论导论-第2章，武刚,60,与联合概率一样，条件概率也可以反映记忆特征，m阶马尔科夫信源的数学模型：,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,61,为了方便描述马尔科夫信源，引入状态序列,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,62,故m阶马尔科夫信源的数学模型可用状态来描述：,三、多符号离散信源及其信息熵,该数学模型一般用状态转移图来表示。,信息论导论-
18、第2章，武刚,63,例3，已知二元二阶马尔科夫信源,作出其状态转移图。,解：设状态e1=00、e2=01、e3=10、e4=11,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,64,e1,e2,e3,e4,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,65,三、多符号离散信源及其信息熵,e1,e2,e3,e4,信息论导论-第2章，武刚,66,由于m阶马尔科夫信源发出的符号序列的有效长度为m+1，因此其极限熵：,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,67,为了强调m阶马尔科夫信源的长度特征，一般将其极限熵H记为Hm+1，即,三、多符号离散信源及其信息熵,信息
19、论导论-第2章，武刚,68,由于P(ej/ei)是马尔科夫信源的数学模型给定的，因此极限熵计算的关键在于P(ei)的求取。,根据马尔科夫链的各态历经定理，有,可以解决P(ei)的求取问题。,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,69,例4，已知二元二阶马尔科夫信源的状态转移图,求该信源的极限熵。,解：根据各态历经定理,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,70,e1,e3,e4,e2,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,71,整理得,三、多符号离散信源及其信息熵,e1,e3,e4,e2,信息论导论-第2章，武刚,72,解方程组，得,三、多符号离散信源及其信息熵,信息论导论-第2章，武刚,73,习题： 2.4、2.9、2.10,三、多符号离散信源及其信息熵,
