《《平均互信息量》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《平均互信息量》PPT课件.ppt（33页珍藏版）》请在三一办公上搜索。
1、定义1：,一、平均互信息量的定义,X对Y的平均互信息：,信道中流通信息量的整体测度,定义2：,变形1：,二、平均互信息的物理意义,物理意义：平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。,1,信道疑义度或损失熵,物理意义：平均互信息量是发送X前、后，关于Y的平均不确定度减少的量。,2,噪声熵,3,物理意义：平均互信息量等于通信前、后，整个系统不确定度减少的量。,I(X;Y)=H（X）-H（XY）I(X;Y)=H（Y）-H（YX）I(X;Y)=H(X)+H(Y)-H(XY),总结：,二、平均互信息的性质,对称性,1,非负性,2,互信息量 可能为负值。但是平均
2、互信息量不会为负值,极值性,1,3,2,凸函数性,4,1,2,求平均互信息I(X；Y),I(X;Y)=H（Y）-H（YX）,当q不变，即固定信道特性,当p=0.5，I(X,Y)最大,当p不变，即固定信源,当q=0.5，I(X,Y)=0当q=0或1，I(X,Y)最大,I(X;Y)=H（X）-H（XY）H（XY)=H（X）-I(X;Y)I(X;Y)=H（Y）-H（YX）H（YX)=H（Y）-I(X;Y)I(X;Y)=H(X)+H(Y)-H(XY)H（XY）=H（X）+H（Y）-I(X;Y）,1,2,3,4,5,6,7,【作业】二元等概信源 通过信道转移概率为 的信道传输，信宿接收符号Y=y0,y1，计算信源与信宿间的平均互信息量I（X；Y），信道疑义度，噪声熵,H（Y）=I(X;Y)+H（YX）,H（X）=I(X;Y)+H（XY）,I(X;Y)=H（X）-H（XY）H（X）=I(X;Y)+H（XY）I(X;Y)=H（Y）-H（YX）H（Y）=I(X;Y)+H（YX）I(X;Y)=H(X)+H(Y)-H(XY)H（XY）=H（X）+H（Y）-I(X;Y）,
