《[PPT制作技巧]信源编码.ppt》由会员分享，可在线阅读，更多相关《[PPT制作技巧]信源编码.ppt（34页珍藏版）》请在三一办公上搜索。
1、信源编码,定义：信源的相对率（信息效率）为信源实际的信息熵与同样符号数的最大熵的比值；信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。,信源编码和码的分类 1.编码的定义和基本概念 2.码的分类,码的分类：,定长码：码中所有码字的长度都相同。,可变长度码：码中码字的长度不相同。,码字与信源符号一一对应,奇异码：码字与信源符号不能一一对应。,非奇异码：,唯一可译码：,任意有限长度的码元序列，只能被唯一地分割为一个个码字，则称为唯一可译码。否则为非唯一可译码。,任何一个码字不是其它码字的延长或前缀,即时码与非即时码：,一个唯一可译码，在接收端收到一个完整码字后，是否能立即译
2、码。能即时译码，为即时码。否则为非即时码。,即时码与码树：,即时码可用码树来构造。构造方法的要点。,唯一可译码定理,定理：设信源S的符号集为S：s1,s2,sq，码符号集X:a1,a2,ar，又设码字为W:w1,w2,wq其码长分别为n1,n2,nq。则存在唯一可译码的充分必要条件是：q，r，ni(i=1,2,q)满足克劳夫特（Kraft）不等式，即：,定长编码定理：,（1）由L个符号组成，每个符号的熵为H(X)的无记忆平稳信源X1X2XL,可用K个符号Y1，Y2，,YK(每个符号有r种可能性）。,定长编码定理：,（2）反之,对离散单符号信源，符号熵为H(X),对信源进行r元变长编码，一定存在
3、无失真的信源编码方法，,变长编码定理（1）：,对离散平稳无记忆信源，消息长度为L，平均符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法，,变长编码定理（2）：,平均信息率：,编码效率：,最佳编码效率：,香农编码费诺编码哈夫曼编码,编码方法：,编码方法的比较：,香农码、费诺码和哈夫曼码均基于信源的统计特性，编码原则均是：出现频率高的信源符号使用较短的码字。香农码有系统的、唯一的编码方式。但编码效率不高。费诺码和哈夫曼码的编码方式不唯一。费诺码适合于分组概率相等或接近的信源。哈夫曼码对统计特性没有特别要求，编码效率较高，编码方式简单，是一种综合性能较好的编码方式。,思考题：,
4、信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的好处与坏处，及其计算。码的种类与分类判断；编码方法和编码效率计算。,例：,设有一连续随机变量X，(1)求其相对熵Hc(X)(2)求Y1XA(A0)的相对熵Hc(Y)(3)求Y2=2X的相对熵Hc(Y),将六进制信源进行二进制编码：,（1）这些码那些是唯一可译码？（2）哪些码是即时码（异前缀码）?（3）所有唯一可译码的平均码长和编码效率。,解：(1)C1码是定长码，其中没有相同的码字，是非奇异码，所以是唯一可译码。C2码是唯一可译码，但不是即时码。C3码没有一个码字是其他码字的前缀，所一是唯一可译码，也是即时码。C4 码流10010 可以译为s2s1s2,也可译为s5s1,所以不是唯一可译码。C5 中 s5和s6的码字相同，所以是奇异码。C6 中的码字“01”不是其他码的前缀，所以是异前缀码（即时码）。,所以，唯一可译码有：C1、C2、C3、C6.即时码有：C1、C3、C6.（3）：H（X）2 bits C1的平均码长为3，编码效率为2/3。C2 和C3的平均码长为2.125，编码效率为0.941；C6的平均码长为2.5，编码效率为0.8。,编码效率：,平均信息率：,
