第二部分2.ppt

《第二部分2.ppt》由会员分享，可在线阅读，更多相关《第二部分2.ppt（72页珍藏版）》请在三一办公上搜索。

1、2.2 连续信源及离散化一、连续信源二、连续信源的熵三、波形信源的正交展开四、波形信源的熵速率和熵功率,二、信源及信源编码,一、连续信源定义：如果信源输出是时间的连续函数，则称为连续信源，用随机过程X(t)描述。通常随机过程用有限维概率分布函数或概率密度函数来描述。1、n维概率分布函数 给定n个时刻ti,i=1,2,n；随机变量X(ti),i=1,2,n的联合分布函数为,二、信源及信源编码,2、n维概率密度函数 如果n维概率分布函数的n阶偏导数存在，则称,为n维概率密度函数。,3、独立随机过程 如果n维概率密度函数满足,则称此随机过程为独立随机过程。,二、信源及信源编码,4、连续信源分类(1)

2、时间离散连续信源：如果随机过程X(t)时间离散，取值连续，称为时间离散连续信源，简称连续信源。时间离散连续信源可用随机矢量描述(2)时间连续信源：如果随机过程X(t)时间连续，取值连续，称为时间连续信源，简称模拟信源或波形信源。模拟信源可用随机过程描述。,二、信源及信源编码,5、简单连续信源 简单连续信源可以用一维连续随机变量描述，其模型为,其中，p(x)0为概率密度函数。,如果随机变量X的取值在区间a，b，则信源模型为,二、信源及信源编码,1、连续信源离散化模型,二、连续信源的熵,xi,由积分中值定理得,二、信源及信源编码,2、连续信源的熵连续信源离散化的信源的熵为,当n，得到连续信源的熵为

3、,二、信源及信源编码,连续信源的熵（相对熵）定义为,释：连续信源熵和离散信源熵表达式形式上一样；连续信源熵与离散信源熵相比，去掉一个无穷项；连续信源熵是相对熵，可正可负。,二、信源及信源编码,3、连续信源的最大熵信源输出受限条件下,信源输出幅度受限时的最大熵,在假设信源输出满足axb条件下，寻找熵最大的信源分布p(x)。,转化成在约束条件,下，求,达到最大值的p(x)。,二、信源及信源编码,令,求解,即,代入,得,二、信源及信源编码,信源输出平均功率受限时的最大熵,在约束条件,下，求,达到最大值的p(x)。,二、信源及信源编码,令,求解,代入约束条件求得,得,二、信源及信源编码,4、多维连续信

4、源的熵,假设多维连续信源的分布密度为：,则可求得多维连续信源的熵为：,二、信源及信源编码,5、多维独立高斯连续信源的熵,多维独立高斯连续信源的分布密度为：,可求得多维独立高斯连续信源的熵为：,其中，、是 的均值和方差。,二、信源及信源编码,6、多维相关高斯连续信源的熵,多维相关高斯连续信源的分布密度为：,其中，C是自协方差矩阵。,可求得多维相关高斯连续信源的熵为：,不相关（独立）自协方差矩阵变成对角阵。,二、信源及信源编码,7、随机矢量确定性变换后的熵 如果两个N维连续随机变量X和Y有Y=f(X)，则,其中，,二、信源及信源编码,证明：随机矢量X经过 f(X)变换成Y，Y概率密度为,所以,二、

5、信源及信源编码,*如果雅可比行列式不依赖于X，或者f(X)是一个线性变换，则,*线性变换：A是一个可逆线性变换，B是常数矢量,则,|A|是矩阵A的行列式。,二、信源及信源编码,例：设X、Y是N维随机矢量，U、V也是N维随机矢量，存在可逆矩阵A、B，及N维矢量C、D，满足,求H(UV)解：写成矩阵所以：,二、信源及信源编码,8、连续信源的联合熵、条件熵和平均互信息量,连续信源的联合熵 两个连续随机变量X和Y的联合概率密度为p(x,y)，则联合熵为,释：、H(X,Y)是相对熵，可正可负；、H(X,Y)H(X)+H(Y)，等号成立的充要条件是X和Y统计独立。,二、信源及信源编码,连续信源的条件熵 如

6、果两个连续随机变量X和Y的条件概率密度分别为p(y|x)、p(x|y)，则条件熵为,释：、H(X|Y)、H(Y|X)是相对熵，可正可负；、H(Y|X)H(Y)、H(X|Y)H(X)，等号成立的充要条件是X和Y统计独立。,二、信源及信源编码,连续信源的平均互信息量 两个连续随机变量X和Y的平均互信息量为,释：、I(X;Y)=I(X;Y)；、I(X;Y)=H(X)H(Y)H(X,Y)；、I(X;Y)0，等号成立的充要条件是X和Y统计独立。,二、信源及信源编码,9、离散集合和连续集合的平均互信息量,*离散事件 x 和连续事件 y 间的互信息为,设离散集X的取值集合为，连续集Y的取值集合为实数，条件概

7、率密度为,其中，,二、信源及信源编码,离散集合 X 和连续集合 Y 的平均互信息量,例：已知信道输入离散集X等概率取值1、-1，输出连续集Y=X+Z，而 Z 为取值-22的均匀分布连续集。求I(X;Y),二、信源及信源编码,解：,二、信源及信源编码,二、信源及信源编码,三、连续波形的正交展开1、引入*模拟信源变成离散时间信源；*正交展开后，通过系数恢复原始信源的信息。,2、平方可积函数 在时间间隔(0,T)或(-T/2,T/2)内，满足下式的时间函数x(t)称为平方可积函数。,二、信源及信源编码,3、正交展开 对于平方可积函数x(t)，时间间隔(0,T)或(-T/2,T/2)区间，存在一组正交

8、归一化函数集,将x(t)表示成 的线性组合，称为正交展开,其中，,二、信源及信源编码,4、常用的正交函数集(1)、复正弦函数集,展开式：,系数：,傅里叶级数展开常用于限时信号展开,二、信源及信源编码,(2)、实正弦函数集,展开式：,系数：,二、信源及信源编码,(3)、抽样函数集,展开式：,系数：,抽样函数展开常用于限带信号的展开,二、信源及信源编码,5、自由度定义：如果一类函数中的任何特殊函数都由N个实数确定，则称此类函数具有N个自由度。,限时限带信号的自由度约为2WT,*限时信号采用傅氏级数展开时，通常有无穷个系数，第i次谐波频率为|i/T|，若再限带，满足|i/T|W的系数不为零，共2WT

9、+12WT个，其它系数为零。,*限带信号采用抽样函数展开时，通常有无穷个系数，第i个抽样时刻为i/(2W)，若再限时，满足i/(2W)|T/2|的系数不为零，共2WT+12WT个，其它系数为零。,二、信源及信源编码,6、K-L展开,*展开系数的相关性,如果x(t)是功率谱为 的高斯白噪声，则有,高斯白噪声正交展开后展开系数不相关展开系数独立,二、信源及信源编码,*K-L展开,对于函数x(t)，如果选取正交归一化函数集，满足,称为K-L展开，其展开后系数是不相关的，即,且有,平均功率,二、信源及信源编码,四、波形信源的熵速率和熵功率,1、波形信源的特点：、信源输出时间上连续、取值连续；、在任意时

10、刻t，随机变量X(t)具有相同分布特性；、信源输出带宽为W。,二、信源及信源编码,2、波形信源的熵速率单位时间内输出信息量,熵速率：波形信源X(t)的熵速率定义为单位时间内输出的信息量，简称熵率，即,释：(1)波形信源离散成N维时间离散的连续信源；(2)通常采用正交展开离散处理；(3)离散不是唯一的。,二、信源及信源编码,3、波形信源的熵功率偏离高斯信源程度,对于平均功率为P的信源，当信源具有高斯分布时，信源熵最大，为,释：、对于平均功率为P的信源，当信源具有非高斯分布时，信源熵H(X)小于具有相同平均功率的高斯信源的熵Hmax(X)。、信源熵H(X)偏离Hmax(X)的程度描述了信源偏离高斯

11、信源的程度，能否仅通过功率来衡量这种偏离程度？熵功率。,二、信源及信源编码,熵功率：如果一个信源熵为H(X)，称,为信源的熵功率，H(X)计算用ln，单位是nat。,释：、任意信源的熵功率 小于等于其平均功率P；、高斯信源的熵功率 等于平均功率P；、熵功率 是产生熵H(X)的高斯信源所需要的平均功率。,二、信源及信源编码,4、限带高斯白噪声信源的熵和熵率(熵速率),信源X(t)是带宽为W的高斯白噪声，功率谱为，,当 时，有所以，对x(t)按1/(2W)间隔的采样值xi/(2W)不相关，由于信源是高斯的，xi/(2W)是独立的。,在时间(-T/2,T/2)间隔内，等价于N=2WT维独立的离散时间

12、信源，其熵率为,二、信源及信源编码,二、信源及信源编码,5、限带高斯信源的熵和熵率,信源X(t)是带宽为W的高斯信源，功率谱为，其熵率为,二、信源及信源编码,带宽为W、功率谱密度N0/2=1的白高斯信源X(t)，通过时不变 后输出Y(t)的熵率为,Bits/每秒自由度,(1)在(-T/2,T/2)间隔内傅氏级数展开，等价成N=2WT个独立信道并联，展开系数构成线性变换；(2)计算N维随机矢量线性变换后的熵率；(3)令T趋近于无限大，即得到上式。,二、信源及信源编码,(1)在(-T/2,T/2)间隔内傅氏级数展开：,二、信源及信源编码,则令,二、信源及信源编码,(2)N维随机矢量线性变换后的熵和

13、熵速率(符号熵)：,则,Bits/2WT自由度,二、信源及信源编码,(3)令T趋近于无限大，代入上式：,Bits/每自由度,Bits/每秒每自由度,2.3 无失真信源编码（冗余度压缩编码、保熵编码）5.1 编码器5.2 分组码 5.3 定长码 5.4 变长码 5.5 变长编码方法(分组码)香农(Shannon)编码 霍夫曼(Huffman)编码 费诺(Fano)编码,二、信源及信源编码,一、定长编码定理 1、简单信源S 信源S存在唯一可译定长码的条件为：其中，q是信源符号个数；r是码符号集中码符号个数；l是简单信源S定长编码的码长。释：表明唯一可译定长码的最短码长为,二、信源及信源编码,2、信

14、源S的N次扩展信源 N次扩展信源SN存在唯一可译定义码的条件为：其中，qN是扩展信源符号个数；L是扩展信源SN定长编码的码长。释：、l 是对原始信源进行定长编码的码长；、L是对原始信源N次扩展信源定长编码的码长；、仅考虑信源符号个数，没有考虑信源熵的不同。,二、信源及信源编码,3、定长编码条件的含义 定长唯一可译码存在的条件 即、l 是信源定长编码后每个信源符号需要的码元个数、logq是具有q个符号的所有离散信源一个符号平均具有的最大信息量；、logr是一个码元符号平均所能携带的最大信息量，l logr是l个码元符号平均所能携带的最大信息量；、存在唯一可译码(无失真)；、能否考虑信源熵不同，实

15、现,二、信源及信源编码,4定长信源编码定理4.1、引理：设离散无记忆信源为 其信源熵为H(S)，信源S的N次扩展信源SN为,二、信源及信源编码,用码符号集X=(x1,x2,xr)对SN进行长度为L的等长编码，则对于0，0，只要满足 当足够大时，必可使译码错误小于。反之，若 则当N足够大时，译码错误概率趋于1。,二、信源及信源编码,证：、扩展信源SN有qN个符号、每个符号都给一个码字，需要满足、将SN分成两个互逆集合,、集合 中 称为典型序列，共有M个、仅对典型序列进行编码，需要 M取上限有、集合 中 没有编码，译码将出错，当时，译码错误概率，即集合 发生的概率小于。,二、信源及信源编码,4.2

16、、定理：（定长信源编码定理）对信源熵为H(S)的离散无记忆信源S的N次扩展信源进行定长编码，其中码符号集X中有r个码符号，若码长选取为L，对于 0 只要满足 则当N足够大时，可实现译码错误概率任意小的等长编码，近似无失真编码。即有,二、信源及信源编码,4.3、定理：（定长信源编码逆定理）对信源熵H(S)为的离散无记忆信源S的N次扩展信源进行定长编码，码符号集X中有r个码符号，若码长选取为L，对于0 满足 则当N足够大时，译码错误概率趋于1。即有,二、信源及信源编码,4.4、信源编码效率(1)编码速率：对于定长编码，编码速率定义为 释：、R是原始信源一个符号对应的码元所能携带的最大信息量；、当R

17、 H(S)时，可以实现无失真传输。(2)编码效率：,二、信源及信源编码,(3)最佳编码效率：对于给定的 0，最佳编码效率为 当要求译码错误概率 时，N应满足 将代入得，,二、信源及信源编码,二、变长信源编码定理（香农第一定理）1、码平均长度 离散无记忆信源为 编码后的码字为 码字长度分别为 因为是唯一可译码，si和wi一一对应，所以 则码字平均长度为,二、信源及信源编码,释：、li是第i个码字的长度，必须是整数；、是变长编码后，一个信源符号平均所需要的码元个数，可以是小数；、编码后，一个信源符号平均需要 个码元，一个码元携带的信息量就是信道的信息传输率，即,对于给定的信源H(S)，变长编码后

18、越小，信道的信息传输率R越大。,最大值能达到吗?如何达到?香农第一定理,二、信源及信源编码,2、紧致码 定义：对于某一个信源和某一码符号集，若有一个唯一可译码，其平均码长度 小于所有其它唯一可译码的平均码长度，则称该码为紧致码（也称最佳码）。释：无失真信源编码核心问题是寻找紧致码；紧致码是平均码长最短的唯一可译码，但紧致码不一定只有一个。,二、信源及信源编码,3、定理：（平均码长下界）设离散无记忆信源 的信源熵为H(S)，用码符号集 进行编码，则存在一种编码方式构成唯一可译码，平均码长 满足,二、信源及信源编码,释：、的极限值为，即下界；若编码后，则肯定不是唯一可译码；、当选择 时，才能达到下

19、界；、紧致码的平均码长不一定达到下界；、达到下界的唯一可译码是紧致码；、紧致码最短码长为。,二、信源及信源编码,4、变长无失真信源编码定理（香农第一定理）定理：设离散无记忆信源 其信源熵为H(S)，它的N次扩展信源SN为,扩展信源熵为H(SN)，,二、信源及信源编码,码符号集X=(x1,x2,xr)，用X对SN编码，则总可以找到一种编码方法，构成唯一可译码，使信源S中的一个信源符号所需要的码字平均长度满足,当 时，则 其中，是扩展信源中一个符号 对应的平均码长 式中，是 对应的码字长度,二、信源及信源编码,释：、是扩展信源SN编码后，一个符号 对应的平均码长；扩展信源编码后，原始信源S一个符号

20、 对应的平均码长；、是原始信源S编码后，一个符号 对应的平均码长；、和 都是信源S一个符号Si所需的平均码元个数 是信源扩展后编码，得到的平均码长 是信源编码后，得到的平均码长,二、信源及信源编码,5、编码速率、编码效率、剩余度(1)编码速率：变长编码的编码速率为(2)编码效率：编码效率定义为 当 时，有(3)剩余度：定长码的剩余度为,二、信源及信源编码,三、马尔科夫信源无失真信源编码(1).按照消息序列中符号的概率直接进行编码(2).按照消息序列中符号N次扩展的概率进行编码(3).按照消息序列的状态概率进行编码,二、信源及信源编码,例如：离散平稳一阶马尔科夫信源的符号转移概率用0，1进行编码

21、。,二、信源及信源编码,信源熵,例如：abbcbacbbcbbabbcbabacbbacbbcbabc,平稳分布,极限熵,信源分布,二、信源及信源编码,二次无记忆扩展信源维分布,二次有记忆扩展信源维分布,信源编码(1).按照消息序列中符号的概率直接进行编码,二、信源及信源编码,平稳分布,X=0，1 Huffman最佳编码：a：10 b：0 c：11平均码长：,10001101011001100100011010010110010110011010011,(2).按照消息序列中符号的N次扩展的概率进行编码,二、信源及信源编码,二次无记忆扩展：X=0，1 Huffman最佳编码：aa：01011

22、ab：0001 ac：00101ba：0001 bb：1 bc：010ca：01010 cb：011 cc：00100平均码长：,00010100001011010100010100001000101100010110100001010,(2).按照消息序列中符号的N次扩展的概率进行编码,二、信源及信源编码,二次有记忆扩展：X=0，1 Huffman最佳编码：ab：110 ac：111ba：000 bb：01 bc：001cb：10平均码长：,11000100010001011100010000001000010001000001,(3).按照消息序列的状态概率进行编码,二、信源及信源编码,X=0，1 Huffman最佳编码：a状态下：b：0 c：1 平均码长1b状态下：a：00 b：1 c：01 平均码长1.5c状态下：平均码长：,a010100111011000101000001100110100101,