《信息论期末复习ppt课件.ppt》由会员分享，可在线阅读，更多相关《信息论期末复习ppt课件.ppt（60页珍藏版）》请在三一办公上搜索。
1、1,信息论期末复习,2,第一章 概述,信息论的创始人：美国科学家香农1948年发表 “通信的数学理论”，标志着信息论的诞生,3,信息的概念1.2.3.4.,4,信息论的研究对象信息论的研究目的,5,信息的一些重要性质,信息的独有性质,6,信息论的研究范围经典信息论（狭义信息论、香农信息论）一般信息论广义信息论,主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。,主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（NWiener）为代表。,概括说来，凡是能够用
2、广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。,7,第二章 离散信源及其信息测度,信源的数学模型及分类,8,自信息信息熵,9,条件熵联合熵,10,信息熵的基本性质,11,离散无记忆的扩展信源,12,离散平稳信源离散平稳信源的极限熵,13,另外马尔可夫信源,14,求解马尔可夫信源熵的步骤根据题意画出状态转移图。判断是否是时齐遍历的马尔可夫信源。根据状态转移图写出一步转移概率矩阵，计算信源的极限概率。根据一步转移概率矩阵和极限概率计算信源的信息熵。,15,注意：信源剩余度,16,第三章 离散信道及其容量,信道的数学模型与分类,17,平均互信息,18,19,平均互信息的特性信道容量及其
3、一般计算方法,20,无噪无损信道的信道容量（信道的输入输出一一对应）无损信道（信道的输入输出一对多）,21,无噪有损信道（信道的输入输出多对一）对称离散信道（信道矩阵的行与列都具有可排列性）准对称信道,22,一般离散信道的信道容量的计算步骤,求求C求求若 则C就是所求的信道容量，否则重新计算,23,离散无记忆扩展信道及其信道容量,24,独立并联信道及其信道容量数据处理定理、信息不增性原理,25,信源与信道的匹配,26,第四章 波形信源与波形信道,连续信源的差熵,27,两种特殊连续信源的差熵均匀分布高斯分布,28,差熵的性质,29,具有最大差熵的连续信源连续信道与波形信道的分类按信道输入输出的统
4、计特性波形信道多维连续信道基本连续信道,30,按噪声的统计特性高斯信道白噪声信道高斯白噪声信道有色噪声信道按噪声对信号的作用乘性信道加性信道,31,连续信道与波形信道的信息传输率基本连续信道的平均互信息连续信道平均互信息的特性,32,33,连续信道与波形信道的信道容量单符号高斯加性信道的信道容量限带高斯白噪声加性波形信道的信道容量,34,香农公式重要的实际指导意义,35,36,第五章 无失真的信源编码定理,编码器,37,38,等长码等长信源编码定理,39,变长码,40,41,克拉夫特不等式唯一可译码也满足该不等式。变长信源编码定理,42,43,44,45,第八章 无失真的信源编码,霍夫曼编码二
5、元霍夫曼编码方法,将信源符号按概率由大到小顺序排队,给两个概率最小的符号各分配一个码位“0”和“1”，将其概率相加后合并作为一个新的符号，与剩下的符号一起，再重新排队,给缩减信源中概率最小的两个符号各分配一个码元,重复步骤2、3直至信源剩两个符号为止，此时概率和为1。从最后开始，沿编码路径返回，得到码字。,2,1,4,3,46,r 元霍夫曼编码霍夫曼编码的一些说明霍夫曼编码得到的码字并不唯一。首先，每次缩减信源时所分配的码字是任意的，不同的码元分配，得到的具体码字不同，但码长、平均码长都不变，所以没有本质区别。其次，若合并后的新符号的概率与其他符号的概率相等，从编码的方法上来说，这几个符号的次
6、序可任意排列，编出的码都是正确的，但得到的码字不同。若合并后的新符号的概率与其他符号的概率相等，一般将合并的概率放在上面。,47,霍夫曼码的特点霍夫曼码具有最佳性费诺编码,费诺码属于概率匹配编码，比较适合于对分组概率相等或接近的信源编码。费诺码属于即时码，但是不一定是最佳码。,48,费诺码的编码步骤,对概率按r进行分组，使每组概率尽可能相等。即编二进制码就分2组，编r元码就分成r组。,给每个分组分配一个码元,对每个分组重复2、3步，直到不可分为止,1,2,3,4,49,第六章 有噪信道编码定理,错误概率和译码准则最大后验概率译码准则（最小错误概率译码准则）最大似然译码准则,50,选择译码规则与
7、计算错误概率的方法,判断输入符号的先验概率是否等概率分布。若等概率分布，采用最大似然译码准则直接从信道矩阵中得到译码函数，此时得到的平均错误概率必然最小。译码函数的选择方法：F(bj)应该译成信道矩阵第j列概率最大的那个元素对应的信源符号。平均错误概率的计算方法：按行计算。输入符号概率与其对应行的错误概率之和相乘，然后各行相加。（注意：非等概率分布时，若使用最大似然译码准则，平均错误概率也按此方法计算，只是得到的平均错误概率不一定最小）,51,若输入符号的先验概率非等概率分布，则采用最小错误概率准则可以使平均错误概率达到最小。译码函数的选择方法：计算信道的联合概率矩阵，F(bj)应该译成联合概
8、率矩阵第j列概率最大的那个元素对应的信源符号。平均错误概率的计算方法：按列计算，即把联合概率矩阵每列的错误概率相加，再对各列相加。,52,费诺不等式,错误概率与编码方法,53,可见，消息数M越多，码率越高；码长n越长，码率越低。汉明距离（码字距离） 要发现（检测）e个随机错误，要求dmine+1；要纠正t个随机错误，要求dmin2t+1 ；要纠正t个随机错误的同时检测e个随机错误（e t），要求dmint+e+1,54,有噪信道编码定理有噪信道的信道容量为C，若信息传输率RC则不存在以R传输信息而PE为任意小的码。此定理可以推广到有记忆信道、连续信道、波形信道中。,55,信源信道编码定理,56,第七章 保真度准则下的信源编码,失真度平均失真度,57,保真度准则D失真许可的试验信道,58,率失真函数及其性质率失真函数的定义域,59,信息率失真函数是允许失真度D的U型凸函数信息率失真函数的连续性和单调递减性。二元对称信源的率失真函数r元对称信源的率失真函数,60,保真度准则下的信源编码定理,
