《信息论与编码第三章习题及答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码第三章习题及答案.docx（15页珍藏版）》请在三一办公上搜索。
1、信息论与编码第三章习题及答案版权所有，盗版必究！ 21331233 3.1 设二元对称信道的传递矩阵为(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 3311H(X)=-p(xi)=-(log2+log2)=0.811 bit/symbol4444iH(Y/X)=-p(xi)p(yj/xi)logp(yj/xi)ij322311111122 =-(lg+lg+lg+lg)log210433433433433 =0.918 bit/symbol3211+=
2、0.583343433112p(y2)=p(x1y2)+p(x2y2)=p(x1)p(y2/x1)+p(x2)p(y2/x2)=+=0.41674343H(Y)=-p(yj)=-(0.5833log20.5833+0.4167log20.4167)=0.980 bit/symbolp(y1)=p(x1y1)+p(x2y1)=p(x1)p(y1/x1)+p(x2)p(y1/x2)=jI(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)H(X/Y)=H(X)-H(Y)+H(Y/X)=0.811-0.980+0.918=0.749 bit/symbolI(X;Y)=H(X)-H(X/Y)=0
3、.811-0.749=0.062 bit/symbol 2) 1122C=maxI(X;Y)=log2m-Hmi=log22+(lg+lg)log210=0.082 bit/symbol33331其最佳输入分布为p(xi)= 23-2某信源发送端有2个符号，xi，i1，2；p(xi)=a，每秒发出一个符号。接受端有3种符号yi，j1，2，3，转移概率矩阵为P=1/21/20。 1/21/41/4 计算接受端的平均不确定度； 计算由于噪声产生的不确定度H(Y|X)； 计算信道容量。 1/21/20 1/21/41/4联合概率p(xi,yj) 解：P=X Y y1 y2 y3 x1 x2 则Y的概
4、率分布为 Y a/2 (1-a)/2 y1 a/2 0 (1-a)/4 (1-a)/4 y2 y3 (1+a)/4 (1-a)/4 1/2 11+a41-a4H(Y)=log2+ log+log241+a41-a1116a1-a =log2+log+log241-a241+a1111a1-a =log2+log16+log+log22441-a41+a311a1-a =log2+log+log2241-a41+a取2为底 311a1-aH(Y)=(+log2+log)bit 2241-a241+a1a11-a11-a11-a1alog+log+log H(Y|X)=-log+log+22222
5、444423(1-a)=-alog2+log2 23-a=log2 2取2为底 H(Y|X)=3-abit 211a1-aac=maxI(X;Y)=maxH(Y)-H(Y|X)=maxlog2+log+logp(xi)p(xi)p(xi)41-a241+a2a11a1-a(ln2+ln+ln)2241-a41+a取e为底 a112a11-aa11=ln2+ln+(-) 241-a241+a41-a1+a1a11-aa2=ln2+ln- 2222(1-a)41+a41-a111-a=ln2+ln 241+a= 0 1-a1= 1+a43a= 51311131c=log2+log+log 9254
6、1-25454312531log2+log+log 104162043153=log2+log-log2 10241015=log 24=3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。 解： 由题意可知该二元信道的转移概率矩阵为： 0.990.01P= 0.010.99为一个BSC信道 所以由BSC信道的信道容量计算公式得到： C=logs-H(P)=log2-pilogi=121=0.92bit/signpi1Ct=C=1000C=920bit/sect3.4 求图中信道的信道
7、容量及其最佳的输入概率分布.并求当e=0和1/2时的信道容量C的大小。 X 0 1 1e Y 0 1 1 e e 2 1e 2 001,此信道为非奇异矩阵,又r=s,可利用方程组求解 e解: 信道矩阵P=01-ee1e03j=1P(bj|ai)bj=P(bj|ai)logP(bj|ai) (i=1,2,3) j=13b1=0(1-e)b2+eb3=(1-e)log(1-e)+eloge eb2+(1-e)b3=eloge+(1-e)log(1-e)解得b1=0 b2=b3=(1-e)log(1-e)+eloge 所以 C=log2j=log20+22(1-e)log(1-e)+eloge b(
8、1-e)j=log1+21-H(e)=log1+2(1-e)ee 111-C-CP(b)=2b=2=1(1-e)e1-H(e)1+2(1-e)e1+2 ee(1-e)eb2-CP(b)=2=21+2(1-e)(1-e)eeP(b3)=2b3-C=P(b2)3而 P(bj)=P(ai)P(bj|ai) (j=1,2,3) i=1P(b1)=P(a1)得P(b2)=P(a2)(1-e)+P(a3)e P(b3)=P(a2)e+P(a3)(1-e)1所以 P(a1)=P(b1)= 1+2(1-e)(1-e)ee(1-e)eeeP(a2)=P(a3)=P(b2)=P(b3)= (1-e)e1+2(1-
9、e)e当e=0时,此信道为一一对应信道,得 1 C=log3, P(a1)=P(a2)=P(a3)= 311当e=1/2时,得 C=log2, P(a1)=,P(a2)=P(a3)= 243.5 求下列二个信道的信道容量，并加以比较 p-ep-e2ep-ep-e2e0 p-ep-e02e p-ep-e2e其中p+p=1 解： 此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所组成的矩阵p-ep-ep-e2e,而这两个子矩阵满足对称性，因此可直接利用准对p-e2e2称信道的信道容量公式进行计算。 C1=logr-H(p1 p2 p3)-NklogMk k=1其中r=2,N1=
10、M1=1-2e N2=2e M2=4e 所以 C1=log2-H(p-e,p-,2)-(1-2e)log(1-2e)-2elog4e =log2+(p-e)log(p-e)+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4 =log2-2log2-(1-2)log(1-2)+(p-e)log(p-e)+(p-)log(p-) =(1-2)log2/(1-2)+(p-e)log(p-e)+(p-e)log(p-e) 输入等概率分布时达到信道容量。 此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个
11、互不相交的子集，由子集列所组成的矩阵为p-ep-e2p-e2e，p-e00这两矩阵为对称矩阵 其中2er=2,N1=M1=1-2e N2=M2=2e，所以 C=logr-H(p-e,p-,2,0)-NklogMk k=1=log2+(p-e)log(p-e)+(p-)log(p-)+2log2-(1-2)log(1-2)-2log2 =log2-(1-2)log(1-2)+( p-e)log(p-e)+(p-)log(p-) =(1-2)log2/(1-2)+2log2+(p-e)log(p-e)+(p-)log(p-) =C1+2log2 输入等概率分布=P=1/2）时达到此信道容量。比较此
12、两信道容量，可得C2=C1+2log2 3-6 设有扰离散信道的传输情况分别如图317所示。求出该信道的信道容量。 X1/21/21/21/21/21/21/2Y1/2图3-1700011022 解：1100221100221212对称信道 C=logm-H(Y|ai) 1=log4-2log2 2取2为底 C=1bit/符号 3-7 (1) 条件概率 ，联合概率，后验概率 111p(y0):= ， p(y1):= ，p(y2):= 326 H(Y/X)= 当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为： P(x1/y2)=，P(x2/y2)=，P(x3/y2)= 55
13、5113其中错误概率为： Pe=P(x1/y2)+P(x3/y2)=平均错误概率为 仍为0.733 此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 H(X/Y)= 15+35=0.8 16Log(2)+110Log(5)+115Log21351515+Log+Log(5)+Log+Log(10)+Log=1.301 1010215210330353. 8 设加性高斯白噪声信道中，信道带宽3kHz，又设(信号功率+噪声功率)/噪声功率=10dB。试计算该信道的最大信息传输速率Ct。
14、解： 3. 9 在图片传输中，每帧约有2.25106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽。 解： H=log2n=log216=4 bit/symbolI=NH=2.251064=9106 bit=10I9106Ct=1.5105 bit/st60PXCt=Wlog1+PN3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。 已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量； 信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？ 若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：C=Wlog2(1+SNR) 6 =110log2(1+10) 1.5105W=15049 Hzlog(1+1000)PX2log1+PN Ct =3.159Mbps C2=W2log2(1+5)=3.459Mbps W2=3.159M=1.338MHZ log26C3=W3log2(1+SNR)=3.459Mbps log2(1+SNR)=3.459 0.5SNR=120
