熵的微观意义与应用.doc

《熵的微观意义与应用.doc》由会员分享，可在线阅读，更多相关《熵的微观意义与应用.doc（9页珍藏版）》请在三一办公上搜索。

1、熵的微观意义与应用 水文与水资源三班 1001010307 顾秋君摘要：摘 要: 从热力学第二定律出发, 阐明熵的物理意义, 以便对熵的概念有个更直观的理解以及熵概念的泛化以及熵在无效能量、混乱、信息、生命科学中的作用. 关键词: 熵; 概率; 能量; 混乱度1. 熵的概念 熵指的是混乱的程度。熵的概念最先在1864年首先由克劳修斯提出，并应用在热力学中。后来在1948年由克劳德艾尔伍德香农第一次引入到信息论中来。 物理名词,用热量除温度所得的商,标志热量转化为功的程度热力学中表征物质状态的参量之一，通常用符号S表示。在经典热力学中，可用增量定义为dS(dQ/T)，式中T为物质的热力学温度；d

2、Q为熵增过程中加入物质的热量。在信息论中，熵表示的是不确定性的量度。2. 熵的宏观物理意义在卡诺成功地把实际热机和理想热机作对比中, 揭示了可逆循环与不可逆循环过程热温熵之和的规律的基础, 又经过一系列严密的数学推理和实践的验证, 克劳修斯于1850 年提出了熵函数的概念. 上式称为克劳修斯不等式, 它表示一个热力学系统偏离平衡的程度. 可以用理想的可逆过程( 平衡过程) 的热温熵与实际过程热温熵之差来衡量, 差值愈大, 表示偏离平衡越远; 差值为零, 表示处于平衡熵是热平衡力学系统的状态函数, 而且具有容量性质, 若要深入的认识熵, 就必须涉及到组成系统的大量分子(或原子).固态晶体是质点规

3、则排列的点阵结构, 固态 质点只能在其平衡位置附近作振动. 液体分子除分子内部振动外, 由于液体的流动性增大, 还可以发生分子的转动运动. 气体则是分子的无序的运动, 除分子本身的振动、转动外, 还有显著特征的平动运动, 并且分子间不停息的相互碰撞. 根据熵 变的计算dS= dQR , 计算结果表明: 从有序排列的固态转化为液态, 熵增大; 而由液态转变为最无序的气态, 熵增加远大于前者. 即S(g) S(l) S(s). 熵随T、P、V 及物态变化的规律, 进一步丰富了熵的概念. 以上的事实表明, 物质的状态的无序状态愈大, 熵也愈大. 物质的运动愈剧烈, 熵愈大熵是反应系统内部的无序程度,

4、 或混乱程度的物理量. 无序程度增大的过程就是熵增大的过程. 这样, 从分子运动的观点, 就给熵一个简单而直观的反应混乱程度的物理图象. 3. 熵的微观物理意义 玻尔兹曼关系式S= K ln 表明熵是系统的微观状态数的度量, 从微观看, 在E、V、N 确定的系统内, 不仅存在分子空间分布的无序性, 而且还存在能量分布的无序性. 分子以各种运动方式, 如振动、转动和平动运动做不停息的运动, 相互碰撞, 交换能量, 并且所有类型的能量都是量子化的, 所以N 个分子可以有许许多多不同的分配方式. 分子的运动方式越丰富, 可以达到的量子态数愈多, 分子的能量分配方式也愈多; 由其组合所体现确定宏观系统

5、的微观数愈大, 熵也就愈大.总之关于熵的意义归纳起来不外有这几种说法. 吉布斯采用熵是系统的混乱度的度量. 熵的另一个常见的解释是有序和无序. 但这不是很满意的, 按此概念, 熵增大意味着无序的增大. 古根哈姆用分散来解释熵的增大, 相当于所论系统的粒子散布到更多可达的量子态上. 唐有祺用散开效应说明熵的增大, 也是这个意思. 如此说法既体现定域粒子在空间分布的分散, 也体现粒子在各量子态上分布的分散. 分散程度愈大, 组合的系统微观数愈大, 热力学几率愈大, 也就是熵值增加了。 4.信息论中对熵的理解信息论把熵直接理解为一个信息状态的不确定程度. 1948年， E.Shannon 强调了“信

6、息量”的概念, 将信息熵和统计力学熵相联系， 把信道定理看作热力学第二定律在通信理论中的特殊形式， 使信息熵成为信息论的一个正统分支. Shannon当时突破“信息量”这一关键概念时的思路是： “能否定义一个量， 这个量在某种意义上能度量这个过程所产生的信息是多少? 或者更理想一点， 所产生的信息速率是多少？”他把信息量作为信息论的中心概念， 在这种思想指导下， 他用马尔科夫过程的统计特性， 即用“熵”来表征信源的特性， 给出了信息熵公式：(2)式中， pi表示第i次事件出现的几率， C为比例常数， H就是玻尔兹曼著名的H定理中的H. 用式(2)来表述不确定性与随机事件的连带关系， 可一举解决

7、定量描述信息的难题. 如此， 熵概念再次得以扩展， “信息量的平均具有熵的各种性质”这一点意味着通过信息论， 熵的应用将会超出自然科学的一些领域.5.信息熵概念在测量精度分析中的应用信息熵在检测领域的应用， 始于1971年苏联学者.诺维茨基提出的误差熵值的概念， 后来在苏联A.H.柯尔莫果洛夫院士和瑞士数学家马丁.廖夫等学者的完善下， 它对于测量的意义逐渐地明显起来. 当图1所示的模型应用于测量过程时， 信源输出的信号就是待测量， 而信宿接收的信号则是待测物理量的实测值. 在对某一物理量进行测量前， 待测量x在其取值范围内有确定的分布规律p(x)， 但它具体落在此取值范围内的哪一点处却是不确定

8、的. 根据信息论原理， 可用信息熵度量这一不确定性为2，3(3)在作了测量实验后， 这一不确定性降低为(4)式中， x为待测物理量的实测值， p(x)为x的概率分布密度， p(x)为作了实验后待测量x的条件概率分布密度， H(X)又称为残留熵. 则由实验带来的关于待测量x的信息量为仍未获得的那部分信息量(即残留熵)则反映了测量误差的大小. 文献4和5分别介绍了光纤传感网络补偿技术的信息论分析方法和基于信息熵概念的光纤接近觉传感器的测量不确定性分析方法.光纤接近觉传感器的测量过程见图25. 信源发出的被测信号S经传感器(信道)到达光电接受器件(信宿)， 测得值为输出信号E. 此时经过测量获得的信

9、息量可表示为： I(S;E)=H(S)-H(SE), H(S)=-p(s)logp(s)ds 为信源不确定性， H(SE)=-p(e)p(se)logp(se)dsde 为残留不确定性, 以上各量受传感器误差源的大小及分布的影响.由于残留不确定性是由测量过程中的干扰(误差源)引起的(这些干扰包括测量仪器偏差等各种误差因素)， 这些干扰因素对残留熵值的影响， 不仅与它们的大小而且与它们的分布有关. 因此， 在用基于熵概念的不确定性分析方法研究测量精度时， 不仅要注意误差源误差幅值的大小， 更应重视误差的分布规律， 这正是该分析方法的主要特点. 它克服了传统误差理论对测量系统的误差描述中， 仅限于

10、对其分布的估计和根据近似分布而求出标准差和最大误差的一些缺陷， 把误差处理的关注点扩展到误差能量分布及其对测量结果的影响上.6.基于熵不确定性概念的机器人位姿精度理论体系前面提到, 如果我们将通信过程中信源的涵义扩展为各种由概率描述的不确定性问题，并把信道处的干扰视为各种精度问题研究中的误差源的干扰， 图1所示模型就可作为研究各种精度问题的通用模型， 它同样也适用于机构精度的研究. 下面就介绍基于熵不确定性概念的机器人机构位姿精度分析方法. 图3机器人位姿信息传输模型Fig.3Pose information transfer model of robots若把机器人的位姿传递过程视为信息传输

11、过程， 则可根据信息论的原理， 把机器人各运动参数、 各关节和手臂以及手末端位姿分别看做信息传输模型中的信源、 信道和信宿， 而机器人各误差源则看做信息传输模型中信道处的干扰， 从而将机器人的位姿信息传递过程同信息论的信息传输模型完全等效起来，建立如图3所示的机器人位姿信息传输模型. 图中信源S(机器人各运动参数)的信息熵H(S)可表示为(6)式中， p(s)为S的概率密度函数. 由于信道处机器人各误差源干扰的存在， 信源(机器人各运动参数S)发出的信号到达信宿后得到实到位姿R(而不是测得位姿). 当R已知后， 各运动参数S的残留熵为(7)式中， p(sr)为S在R已知时的条件概率密度函数，

12、p(r)为R的概率密度函数. S的残留熵又称为S的条件熵， 它与S的无条件熵之差定义为S和R的互信息， 即(8)它表示当R已知后， S不确定性(熵)的减少， 即R已知后， 从R中获得的关于S的信息， 这就是R关于S的互信息.由以上说明我们可以看出， 若机器人位姿信息的传输过程中不存在机器人各机构误差源的干扰， 那么当R已知后， 将能够获得S的全部信息， 则S的残留熵H(SR)就为0， 而S和R的互信息I(S；R)也将最大， 其大小为H(S)； 而且H(SR)和I(S；R)的大小将随着机器人机构各误差源干扰的大小和分布的不同而变化. 因此， 在这里提出如下的机器人位姿精度评价指标6：1) 机器人

13、位姿不确定性H(SR). 其物理意义为H(SR)越大， 残留不确定性越大， 即误差源干扰越大， 由机器人机构各误差源引起的机器人位姿误差也就越大； 反之亦然. 它反映了机器人机构各误差源以及机器人位姿误差的大小. 2) 机器人位姿信息传输的信息量I(S；R). 其物理意义为I(S；R)越大， 不确定性减少的程度越高， 即通过信道传输的信息量越大， 也就是误源的干扰越小. 它反映了机器人机构各误差源处干扰的大小.3) 机器人位姿信息传输效率. 定义为=I(S；R)/H(S). 可用它作为附加评价指标. 它反映了机器人机构各误差源对机器人手部位姿的影响程度. 越大则影响越大， 反之亦然. 7.结束

14、语本文从讨论热力学、 统计物理和信息论中熵概念的内涵及其发展入手， 注意熵概念的扩展, 把熵概念通过信息论应用到其他的领域. 当把信息传输模型中信道处的干扰视为各种精度问题研究中的误差源的干扰时， 该模型就可作为研究各种精度问题的通用模型. 它克服了传统误差理论对测量系统的误差描述中， 仅限于对其分布的估计和根据近似分布而求出标准差和最大误差的一些缺陷， 把误差处理的关注点扩展到误差能量分布及其对测量结果的影响上. 但是， 该方法存在表达起来没有传统方法直观和计算量较大的问题， 因此应用起来有一定难度. 然而， 随着信息理论及计算机技术的进步， 这一困难将被逐渐克服. 现代不确定度理论研究的不

15、断深入， 给基于熵不确定性概念的误差理论的研究及应用带来了契机， 并将会得到迅速发展和完善.作者简介：* 国家自然科学基金资助项目(59605022)和高等学校博士点专项基金资助项目（98056106）刘桂雄， 男， 1968年生, 副教授， 工学博士； 主要研究方向: 现代检测技术及故障诊断、 现代精度理论及应用.作者单位：华南理工大学机电工程系广州510640参考文献1冯瑞. 熵. 北京： 科学出版社， 1992 2 王敬修. 论熵的物理意义 J . 北京化工学院学报, 1994( 3) . 8692. 3 张玉龙. 熵的讨论 J . 浔阳师范高等专科学校学报,2005( 6) : 5659. 4刘桂雄， 钟先信， 宋立. 三节点式全光纤补偿网络的信息论分析研究. 光电工程， 1995， 22(4): 41455刘桂雄， 郑时雄, 魏永纲. 光纤接近觉传感信息不确定性的信息熵分析方法研究. 宇航计测技术， 1997， 增刊： 28326阎华， 刘桂雄， 郑时雄. 基于熵不确定性概念的机器人位姿精度理论(一)评价指标体系的建立. 光学精密工程, 1999， 7(1)： 64697刘桂雄， 阎华， 郑时雄. 基于熵不确定性概念的机器人位姿精度理论(二)评价指标体系的计算. 光学精密工程, 1999， 7(2)： 4449 T