信息论发展简史ppt课件.ppt

《信息论发展简史ppt课件.ppt》由会员分享，可在线阅读，更多相关《信息论发展简史ppt课件.ppt（52页珍藏版）》请在三一办公上搜索。

1、李玉峰,Information Theory,信 息 论,2,课程前言,课程类型：专业课 考试课课程学时：40学时 课程教材：信息论与编码（第2版） 曹雪虹等编著先修课程: 概率论，随机过程，高等数学，线性代数，通信技术. 数字电子技术,Here comes your footer Page 2,3,参考书目,傅祖芸 赵建中 ， 信息论与编码 ，电子工业出版社 王育民等编著，信息论与编码理论，高等教育出版社仇佩亮，信息论与编码，高等教育出版社陈运、周亮等，信息论与编码，电子工业出版社纠错码-原理与方法，王新梅,Here comes your footer Page 3,4,5,课程主要内容,信

2、息论的基本问题信息的度量无失真信源编码定理香农第一定理信道编码定理香农第二定理限失真信源编码定理香农第三定理信源编码信道编码,6,教学内容与学时安排,第1章 绪论 （2学时）第2章 信源和信息熵（10学时）第3章 信道与信道容量（8学时）第4章 信息率失真函数（4学时）第5章 信源编码（6学时）第6章 信道编码（10学时）,绪 论,第一章,8,本章节教学内容、基本要求、重点与难点,1. 教学内容： 信息的一般概念； 信息的分类； 信息论的起源、发展及研究内容； 通信系统的模型；2. 教学基本要求： 了解信息的概念 、度量； 了解学习信息论的重要性、意义； 掌握通信系统中信息传输的模型；3. 重

3、点与难点： 信息度量的概念； 通信系统中的信息传输模型。,9,第一章 绪 论,1.1 信息论的基本概念1.2 信息的分类1.3 信息论的形成和发展1.4 信息论研究的对象、目的和内容1.5目前信息论的主要研究成果1.6 通信系统的模型,10,什么是信息?,“信息是信息，不是物质，也不是能量。” 1948年（美）维纳 “信息是反映事物的形式、关系和差别的东西，信息是包含了客体间的差别中，而不是在客体本身中。” 1975年（意）朗格“信息是对事物运动状态或存在方式的不确定的描述。” 1948年（美）香农,11,信息的直观理解,第一个重要概念：信道上传送的是随机变量的值。这就是说:（1）我们在收到消

4、息之前，并不知道消息的内容。否则消息是没有必要发送的。（2）消息随机变量有一个概率分布。 消息随机变量的一个可能取值就称为一个事件。,12,信息的直观理解,第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。例如两个事件 A= “中国足球队3：0力克韩国足球队” B= “中国足球队0：1负于韩国足球队” 结论是：A含有的信息量B含有的信息量。,13,信息的直观理解,第三个重要概念：消息出现的随机性越大，此消息含有的信息量就越大。例如两个事件 A=“中国足球队与韩国足球队比赛的结果” B=“意大利足球队与德国足球队比赛的结果” 易知：事件B随机性大，故含有信息量大。,14,信息的直观理

5、解,第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大。 例 X=许昌明日平均气温, Y=郑州明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则 X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。,15,例：气象预报 甲乙,一事物状态出现的概率越小，其不确定性越大。 “甲地晴”比“乙地晴”的不确定性来的小 .,16,信息、消息和信号,信息是对事物运动状态或存在方式的不确定性描述。,消息是指包含有信息的语言、文字和图像等。 信号是消息的物理体现。,17,信息、消息和信号,消息是信息的数学载体，信号是信息的物理载体。信号：具体的，物理的消息：具体的，

6、非物理的信息：非具体的，非物理的,18,Here comes your footer Page 18,总结消息是信息的携带者，信息包含于消息中。消息不一定含有信息。信号是消息的载体，消息是信号的具体内容。,消息,信息,信号,19,在通信系统中，实际传输的是信号，但本质内容是信息。 通信的结果是消除或部分消除不确定性，从而获得信息。,20,信息的特征,信息是十分抽象又复杂的概念，它具有以下特征：接收到信息之前，其内容未知；信息具有知识的本质，可使主体对事物的不确定性减小；信息可以产生，可以消失；信息可以度量。,21,第一章 绪论,1.1 信息论的基本概念1.2 信息的分类1.3 信息论的形成和发

7、展1.4 信息论研究的对象、目的和内容1.5目前信息论的主要研究成果1.6 通信系统的模型,22,信息的分类,按信息源的性质分类：语声信息、图像信息、文字信息、数据信息、计算信息等。按信息的作用分类：有用信息、无用信息、干扰信息。按信息的逻辑意义分类：真实信息、虚假信息、不定信息。按应用部门分类：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息。按信息的载体性质分类：电子信息、光学信息、生物信息等。按信号的形式分类：连续信息、离散信息、半连续信息(混合信息)等。,23,第一章 绪论,1.1 信息论的基本概念1.2 信息的分类1.3 信息论的形成和发展1.4 信息论研究的对象、目的和内

8、容1.5目前信息论的主要研究成果1.6 通信系统的模型,24,Claude Shannon (1916-2001),“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(Claude E. Shannon)在他的惊世之著通信的数学理论中的一句铭言。香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。香农因此成为信息论的奠基人,25,“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 Claude Shannon 1916-2001,26,27,香农，1816年生于美国密执安州的加洛德。香农创造性地继承了前人的事业,在信息论的领域

9、中钻研了8年之久,终于在1948年在贝尔系统技术杂志上发表了244页的长篇论著通信的数学理论。次年,他又在同一杂志上发表了另一篇名著噪声下的通信。,28,在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息论的奠基著作。香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。它已远远地突破了香农本人所研究和意料的范畴,即从香农的所谓“狭义信息论”发展到了“广义信息论”。,

10、29,信息论发展简史,1832年莫尔斯电码对Shannon编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率1924年奈奎斯特证明了信号传输速率和带宽成正比1928年Hartley提出信息量定义为可能消息量的对数1940维纳将随机过程和数理统计引入通信与控制系统1948年，Shannon总结前人的这些成果，以“通信的数学理论”为题在IEEE Information Theory公开发表文章A mathematical theory of communication，标志着信息论的正式诞生。,30,Norbert Wiener, 18941964, founder of cybernet

11、ics.,31,信息论发展简史,1950年汉明码1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明1952年Fano码，Huffman码。1956McMillan证明了Kraft不等式。1959年，Shannon发表“保真度准则下的离散信源编码定理” (Coding theorems for a discrete source with a fidelity criterion)，提出信息率失真理论，为信源压缩编码奠定了理论基础。1961年，香农发表“双路通信系统” ，开拓了多用户信息理论（网络信息论）的研究。,32,信息论发展简史,1963年Alias卷积码的V

12、iterbi译码，1974年Bahl等四人发明了分组码的迭代算法（BCRJ）1976年Rissanen算术编码1977年Lempel和Ziv的LZ算法1982年Ungerboeck编码调制技术(TCM)1993年Turbo编译码技术1998年Space-time编码技术2000年对LDPC码的重新认识,33,香农信息理论,“非决定论”“形式化假说”“不确定性” 通信后接收者获取的“信息”，在数量上等于通信前后“不确定性”的消除量。,34,第一章 绪论,1.1 信息论的基本概念1.2 信息的分类1.3 信息论的形成和发展1.4目前信息论的主要研究成果1.5 信息论研究的对象、目的和内容1.6 通

13、信系统的模型,35,1.4 信息论的主要研究成果,语音信号压缩长途电话网标准 1972年CCITT G.711标准中的 64kbit/s，1995年 CCITT G. 723.1标准中的 6.3 kbit/s。移动通信中 1989年GSM标准中语音编码速率为13.2 kbit/s1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6 kbit/s 军用通信 美国NSA标准的速率在1975年已达2.4 kbit/s 目前在实验室中已实现600bit/s的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限,36,信息论的主要研究

14、成果,图像信号压缩 图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便 。1989年 CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25:1到48:1左右1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:1在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/s的多媒体通信,也能支持广播级的视频。,37,信息论的主要研究成果,降低信息传输所需的功率在远距离无线通信,特别是深空通信中如

15、何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施,38,信息论的主要研究成果,计算机网中数据传输可靠性的保证 在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。一般情况下，局域网中的差错率在10-8左右,广域网中的差错率在10-310-5。这样高的差错率在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。差错检测的方法

16、从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。,39,第一章 绪论,1.1 信息论的基本概念1.2 信息的分类1.3 信息论的形成和发展1.4 目前信息论的主要研究成果1.5 信息论研究的对象、目的和内容1.6 通信系统的模型,40,信息论的类型,狭义信息论（经典信息论、香农信息论） ：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、保密理论等。广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识

17、别、计算机翻译、心理学、遗传学、神经生理学、语言学等。,41,信息论一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。,42,第一章 绪论,1.1 信息论的基本概念1.2 信息的分类1.3 信息论的形成和发展1.4目前信息论的主要研究成果1.5 信息论研究的对象、目的和内容1.6 通信系统的模型,43,信源编码器,信道编码器,信宿,信源译码器,信道译码器,编码信道,信源,调制器,解调器,信道,通信系统理论模型,1.6 通信系统的模型,44,数字通信系统模型,加密密钥,解密密钥,窃听者,45,信源、信宿和信道,信源：产生消息和消息序列的源。 -

18、核心问题是信源所包含的信息多少。信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 - 核心是能收到或提取多少信息。信道：传输信息的物理媒介 。 - 核心问题是信道容量大小。,46,信源编码器与译码器,信源编码器的作用是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号； 同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类一类是无失真信源编码,适用于离散信源或数字信号； 另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理,47,信源编码器与译码器,信源编码器的主要指标是它的编码效率

19、，即理论上能达到的码率与实际达到的码率之比。一般来说，效率越高，编译码器的代价也将越大。 信源译码器的作用是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。,48,信道编码器与译码器,信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力主要作用是提高信息传送的可靠性。信道编码的主要方法增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译码器的作用具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。,49,密码学研究的内容,如何隐蔽消息中的信息内容,使它在传输过程

20、中不被窃听，提高通信系统的安全性；将明文变换成密文,通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；,50,问题：能否将三种码(信源编码、信道编码和密码) 合成一种码进行编译？从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。,51,如何判定一个通信系统的优劣？,可靠性 - 使信源发出的消息经过信道传输以后，尽可能准确、不失真地再现在接收端。有效性 - 经济效果好，即用尽可能短的时间和尽可能少的设备传输一定的信息。 保密性 - 隐藏和保护通信系统传输的消息，使只能被授权者接收。认证性 - 指接收者能正确判断所接收信息的正确性，验证消息的完整性，而不是伪造或篡改的。,52,谢谢,