《教育信息处理课件.ppt》由会员分享，可在线阅读，更多相关《教育信息处理课件.ppt（15页珍藏版）》请在三一办公上搜索。
1、,三、熵的意义,熵的意义：熵的大小可用于表示概率系统的不确定程度。设某一概率系统中，每一事件产生的概率分布为（1，0，0），它表示，该系统中某一事件发生的概率为1，其它事件产生的概率为0，这是一个确定系统，不确定度为0。计算该系统的信息熵，有H=1log1=0。,设某一概率系统中，其概率分布是均匀的，它表示系统中每一事件产生的概率相等。该系统的信息熵具有最大值（在相同事件数的情况下）H=logn。,设概率系统A、B的分布为：PA=(0.5,0.5,0,0,0)PB=(0.5,0.125,0.125,0.125,0.125)试比较它们哪一个系统的不确定程度大。H(PA)=1(bit)H(PB)=
2、2(bit),2、对称性某系统中n个事件的概率分布为(p1,p2,pn)当我们对事件位置的顺序进行人意的置换后，得到的新的概率分布(p11,p21,pn1)有以下关系成立：H(p1,p2,pn)=H(p11,p21,pn1)当p1,p2,pn任意互换顺序时，熵值不变，即H(p1,p2,p3)=H(p1,p3,p2)=H(p3,p2,p1),5、展开性设某一系统的概率分布为:(p1,p2,pn)该系统的信息熵具有:H(p1,p2,pn)=H(p1,p2,pn,0)这样的展开性质。在此基础上，进一步展开有：H(p1,p2,pn)=H(p1,p2,pn,0,0)6、确定性概率系统中，任一事件产生的概
3、率为1，则其它事件产生的概率为0，这是一种确定的系统。对于这样的系统，有：H(1,0)=H(0,1)=0H(1,0,0)=H(0,0,1,0,0)=H(0,0,1)=0,一、相对信息熵h,一个实际系统输出的熵H(X)与其最大可能的熵Hmax(X)的比值定义为相对熵：h=H(X)/Hmax(X),二、冗余度,冗余度或剩余度可定义为:r=1-h=1-H(X)/Hmax(X)冗余度表示了由于每种字符出现的概率不同而使信息熵减少的程度。它表示了传递信息时，不必要的冗长部分的比例。,设以英语的N个字符书写文章时，其平均信息量为H，总的信息量为NH。若以27个字符均匀出现的字符序列来表述同样的内容，相同的信息量，由于此时的平均信息量为Hmax，所需的字符数一定少于N，令其为Nmin，则为NminHmax=NHNmin=(H/Hmax)N=hN它表示，以具有Hmax的27种字符书写文章，只需要Nmin=hN个字符。而冗余度为:r=1-H/Hmax=(N-Nmin)/N它说明以效率更高的代码来表述指定的内容，与实际使用的英语相比较，其字符总数可减少r%。,
