《附录A多传感器图象信息融合.ppt》由会员分享，可在线阅读，更多相关《附录A多传感器图象信息融合.ppt（45页珍藏版）》请在三一办公上搜索。
1、章毓晋(TH-EE-IE),附录A 多传感器图象信息融合,A.1信息融合概述 A.2图象融合 A.3象素级融合方法 A.4特征级和决策级融合方法,章毓晋(TH-EE-IE),A.1信息融合概述,智能型机器人可以具有视觉、听觉、嗅觉、味觉、触觉（痛觉）、热觉（温 觉）、力觉、滑动觉、接近觉等传感器。它们感知的是同一环境下不同侧面的信息 A.1.1多信息融合 A.1.2传感器模型,章毓晋(TH-EE-IE),多信息融合,1.信息融合层次根据信息抽象层次，可将信息融合分成五级（这里主要以战场的战略预警为背景，考虑军事C3I系统指挥、控制、通信和情报）(1)检测级融合直接在多传感器的信号检测级进行的融
2、合(2)位置级融合 在各单个传感器的输出信号上的融合，既包括时间融合（状态）也包括空间融合（轨迹）,章毓晋(TH-EE-IE),多信息融合,1.信息融合层次(3)目标识别级融合 根据检测到的目标属性对目标识别分类 1）决策级融合：将各单个传感器给出的对目标属性的估计分类进行融合以获得一致的估计2）特征级融合：将各单个传感器给出的对目标特征的描述矢量进行融合3）数据级融合：将各单个传感器给出的原始数据直接进行融合，然后基于融合结果进行特征提取和目标估计,章毓晋(TH-EE-IE),多信息融合,1.信息融合层次(4)态势评估融合 指在目标识别基础上对整个场景进行的分析评估，这需要将各种目标、事件的
3、属性和行为结合起来，以描述场景中的活动(5)威胁估计融合态势强调的是状态，而威胁更强调趋势。威胁估计融合不仅要考虑状态信息还要结合先验知识，从而获取状态变化的趋势和事件可能的后果,章毓晋(TH-EE-IE),多信息融合,2.关于主动视觉系统的讨论“主动视觉（active vision）”：“主动、定性、有目的（active,qualitative,purposive）”的视觉(1)让一个主动的观察者对场景采集多幅图象(2)将原始的“完全重建”要求放松到一个定性的程度，例如只需要说明某个目标甲比另一个目标乙更接近观察者丙(3)对视觉系统不要求考虑通用情况，而只考虑明确定义的较窄的目的，这样可以对
4、一个特定应用问题的实现一种专用的解决方案,章毓晋(TH-EE-IE),多信息融合,3.主动融合 主动融合：融合过程在结合信息时主动地选择需要分析的信息源并控制对数据的处理融合可以在孤立的层次进行（如融合多幅输入图象以产生一幅输出图象），也可以结合不同表达层次的信息（如根据地图、数字高程模型和图象信息产生一幅热分布图）。在所有层次的处理都可以根据需要进行并得到控制（如选择输入图象，选择分类算法，细化所选区域的结果）,章毓晋(TH-EE-IE),传感器模型,1.融合多传感器信息(1)通过多个传感器探测同一区域可以增强系统的可靠性和可信度(2)通过多个传感器观测不同区域可以增强系统的空间覆盖范围(3
5、)通过多种类型的传感器观测同一目标可以增加信息量减少模糊度(4)通过多个传感器观测同一区域可以提高观测的空间分辨率,章毓晋(TH-EE-IE),传感器模型,1.融合多传感器信息(1)冗余信息：由多个独立传感器（常为同质）提供的关于环境中同一特征的多个信息，也指由某一个传感器在一段时间内多次测量得到的信息(2)互补信息：由多个独立传感器（常为异质）提供的关于环境信息中不同特征的信息，将它们综合起来就可以构成更为完整的环境描述(3)协同信息：当在多传感器系统中某个传感器信息的获取必须依赖于其他传感器的信息时，这些信息称为协同信息。协同信息的融合常与各传感器使用的时间顺序有关,章毓晋(TH-EE-I
6、E),传感器模型,2.传感器分量模型传感器模型：描述自身特征描述各种外界条件对传感器的影响描述传感器之间相互作用的能力ai=Ti(yi)yi：传感器的观察值Ti：基于观察值的决策函数ai：决策行为动作,章毓晋(TH-EE-IE),传感器模型,2.传感器分量模型一系列传感器的集合：yi：描述传感器的观察值 xi：传感器的物理状态 pi：传感器的先验概率分布函数 ai：其他传感器的行为动作 Si：传感器之间关系的信息结构,章毓晋(TH-EE-IE),传感器模型,2.传感器分量模型三个分量模型：(1)状态模型 传感器观察值对传感器位置状态的依赖关系(2)观察模型 传感器的位置和状态已知，且其他传感器
7、的决策也已知时传感器的测量模型 相关模型其他传感器对当前传感器的影响,章毓晋(TH-EE-IE),A.2图象融合,A.2.1图象融合的主要步骤 A.2.2图象融合的三个层次 A.2.3图象融合效果评价 A.2.4象素级融合示例,章毓晋(TH-EE-IE),图象融合的主要步骤,(1)图象预处理图象归一化：灰度均衡，重采样，灰度插值图象滤波：对高分辨率图象进行高通滤波 增强图象的色彩和图象的边缘(2)图象配准 相对配准：从同一类的多个图象中选择某一波段图象作为参考图象 绝对配准：以同一空间坐标系为参考系(3)图象融合,章毓晋(TH-EE-IE),图象融合的三个层次,多传感器图象融合三级流程 象素级
8、融合是在特征提取之前进行的特征级融合则是在属性说明之前进行的决策级融合是在各传感器数据独立属性说明之后进行的,章毓晋(TH-EE-IE),图象融合效果评价,1.主观评价(1)判断图象配准的精度：如果配准不好，那么融合图象就会出现重影(2)判断融合图象的整体色彩：如果它能与天然色彩保持一致，则融合图象的色彩就真实(3)判断融合图象的整体亮度和色彩反差：如果不合适就会出现蒙雾或斑块等现象(4)判断融合图象的纹理及彩色信息是否丰富：如果有丢失，则融合图象会显得比较平淡(5)判断融合图象的清晰度,章毓晋(TH-EE-IE),图象融合效果评价,2.基于统计特性的客观评价(1)均值：(2)标准差：较小则表
9、明相邻象素间的对比度较小，图象整体色调比较单一，可观察到的信息较少(3)平均灰度梯度：平均梯度较大，一般图象会比较清晰,章毓晋(TH-EE-IE),图象融合效果评价,2.基于统计特性的客观评价(4)灰度偏差：融合图象与原始图象间在光谱信息上的差异，较小则表明融合后的图象较好地保留了原始图象的灰度信息(5)均方差：理想图象和融合图象之间的差异,章毓晋(TH-EE-IE),图象融合效果评价,3.基于信息量的客观评价(1)熵：衡量图象中信息量的丰富程度(2)交叉熵：反映了两幅图像所含信息量的相对差异。对称形式的交叉熵称为对称交叉熵 交叉熵越小，融合图像从原始图像中得到的信息量越多,章毓晋(TH-EE
10、-IE),图象融合效果评价,3.基于信息量的客观评价(3)相关熵：衡量图象中信息量的丰富程度(4)互信息：反映了两幅图象间的信息联系融合图象由两幅原始图象f1(x,y)和f2(x,y)得到,章毓晋(TH-EE-IE),图象融合效果评价,4.依据融合目的评价(1)融合的目的是去除图象中的噪声，此时可采用基于信噪比的评价指标(2)融合的目的是提高图象分辨率，此时可采用基于统计特性及光谱信息的评价指标(3)融合的目的是提高图象信息量，此时可采用基于信息量的评价指标(4)融合的目的是提高图象清晰度，此时可采用基于平均灰度梯度的评价指标,章毓晋(TH-EE-IE),A.3象素级融合方法,A.3.1基本融
11、合方法 A.3.2融合方法的结合 A.3.3小波融合时的最佳分解层数,章毓晋(TH-EE-IE),基本融合方法,Landsat地球资源卫星所获得的TM多光谱图象和SPOT遥感卫星所获得的SPOT全色图象，SPOT图象的空间分辨率要比TM图象高，但TM图象的光谱覆盖范围要比SPOT图象大,TM,SPOT,章毓晋(TH-EE-IE),基本融合方法,1.加权平均融合法(1)在ft(x,y)中选择感兴趣的区域(2)对该区域的各波段图象通过重采样扩展成高分辨率的图象(3)选择对应同一区域的fs(x,y)，并将其与ft(x,y)配准(4)按下式进行代数运算以得到加权平均的融合图象,章毓晋(TH-EE-IE
12、),基本融合方法,2.金字塔融合法(1)在ft(x,y)中选择感兴趣的区域(2)对该区域的各波段图象通过重采样扩展成高分辨率的图象(3)将每幅ft(x,y)和fs(x,y)都作金字塔分解(4)在金字塔每层上将对应的ft(x,y)分解结果和fs(x,y)分解结果进行融合，得到融合金字塔(5)利用金字塔生成的逆过程从融合的金字塔重构出融合图象。,章毓晋(TH-EE-IE),基本融合方法,3.HSI变换融合法从RGB彩色空间到HSI彩色空间的变换(1)选择ft(x,y)中的三个波段图象分别当作RGB图象将它们变换到HSI空间中去(2)用fs(x,y)替代HSI变换后得到的I分量（该分量主要决定了图象
13、的细节）(3)进行HSI反变换，获得新的RGB图象并以此作为融合图象。,章毓晋(TH-EE-IE),基本融合方法,4.PCA变换融合法(1)选择ft(x,y)中的三个或更多个波段的图象进行PCA变换(2)将fs(x,y)与上述PCA变换后得到的第一主分量图象进行直方图匹配，使它们的灰度均值和方差达到一致(3)用如上匹配后的fs(x,y)替代对ft(x,y)进行PCA变换后得到的第一主分量图象，然后进行PCA反变换得到融合图象,章毓晋(TH-EE-IE),基本融合方法,5.小波变换融合法小波变换把图象分解成对应图象中不同结构的低频子图象和高频细节子图象(1)对ft(x,y)和fs(x,y)分别进
14、行小波变换，获取各自的低频子图象和高频细节子图象(2)用ft(x,y)的低频子图象替代fs(x,y)的低频子图象(3)对替换后的ft(x,y)低频子图象和fs(x,y)高频细节子图象进行小波反变换，得到融合图象,章毓晋(TH-EE-IE),融合方法的结合,各种（单一型）融合方法都各有特点 加权平均融合法：简单，运算量最少，但抗干扰能力较差，平均的平滑效果导致融合图象清晰度不够金字塔融合法：简便易行，清晰度较高，但金字塔不同级间的数据有相关性HSI变换融合法：在融合TM多光谱图象和SPOT全色图象时可使融合后图象能具有原始高分辨率全色图象的空间分辨率，增强了图象的空间细节信息。但如果采用SPOT
15、全色图象完全代替TM多光谱图象的I分量，则也会导致光谱信息有较大的丢失，光谱失真较大,章毓晋(TH-EE-IE),融合方法的结合,各种（单一型）融合方法都各有特点 主分量变换融合法：能使融合后图象同时包含原始图象的高空间分辨率和高光谱分辨率特征，融合图象里目标的细部特征会更加清晰。但如在融合时仅用SPOT图象来简单替换TM图象第一主分量，会使得一些反映光谱特性的有用信息有所损失，使融合结果的光谱分辨率受到影响 小波变换融合法：保留了光谱信息并加入了细节信息。但用TM图象的低频图象替代SPOT低频图象进行小波反变换的结果必然会引起TM图象原有信息的丢失；由于TM和SPOT图象之间的灰度值明显的不
16、同，融合结果图象会引起TM图象光谱信息的改变，甚至导致噪音的出现,章毓晋(TH-EE-IE),融合方法的结合,HSI变换与小波变换相结合的融合(1)选择ft(x,y)中的三个波段进行RGB空间到HIS空间的变换(2)对得到的I分量和fs(x,y)进行小波变换分解(3)用从fs(x,y)小波分解得到的高频系数替代I分量小波分解得到的高频系数(4)将替代后得到的全部小波分解系数通过小波反变换获得新的亮度分量I(5)用H、S和I分量进行HSI空间到RGB空间的变换获得融合后的图象,章毓晋(TH-EE-IE),融合方法的结合,HSI变换与小波变换相结合的融合 融合结果既保留了SPOT全色图象的高频信息
17、又保留了TM多光谱图象里的纹理信息，所以细节比较清晰，视觉效果比单独融合的效果都有了改善,章毓晋(TH-EE-IE),融合方法的结合,PCA变换与小波变换相结合的融合(1)对ft(x,y)的所有波段进行PCA变换(2)将得到的第一分量图与fs(x,y)进行直方图匹配(3)对匹配后的两图象都进行小波变换分解(4)用从fs(x,y)小波分解得到的高频系数替代ft(x,y)第一主分量小波分解得到的高频系数(5)将替代后得到的全部小波分解系数通过小波反变换获得新的ft(x,y)第一主分量(6)用新的ft(x,y)第一主分量和原来的各分量联合进行PCA反变换,章毓晋(TH-EE-IE),融合方法的结合,
18、PCA变换与小波变换相结合的融合 融合结果增强了图象中的纹理特征，光谱信息更加丰富，目标细节更加精细，所以融合图象的目视效果比单独融合得到的图象都有了改善,章毓晋(TH-EE-IE),融合方法的结合,结合型融合的性能 三种单一型融合方法和两种结合型方法比较三个指标：标准差平均灰度梯度熵,章毓晋(TH-EE-IE),A.3.3 小波融合时的最佳分解层数,分解层数的选择对最终融合的效果有很大的影响 随着分解层数的增加，融合的效果会有一定的改善（理想图象和融合图象之间的均方差减少）层数过多时效果改善缓慢甚至会变差，而且融合算法的计算复杂度也会逐步增加，有些情况下即使考虑效果的改善也会得不偿失 先将对
19、应聚焦不同的图象结合构成实验图象，再将其逐步分解并逐层进行融合。通过比较在相邻两层的融合结果，根据其接近程度来直接估计最优分解层次,章毓晋(TH-EE-IE),A.3.3 小波融合时的最佳分解层数,真实的最佳层次与理论计算出的最佳层次的比较,章毓晋(TH-EE-IE),A.4特征级和决策级融合方法,A.4.1贝叶斯法A.4.2证据推理法A.4.3粗糙集理论法,章毓晋(TH-EE-IE),A.4.1贝叶斯法,将样本空间S划分为A1，A2，An，(1)Ai Aj=(2)A1 A2 An=S(3)P(Ai)0，i=1,2,n,例A.4.1,章毓晋(TH-EE-IE),A.4.2证据推理法,舍弃了可加
20、性原则，用半可加性的原则 定义一个集函数C:2F 0,1(1)C()=0，即对空集不产生任何可信度(2)赋予所有命题的可信度值的和等于1 C为识别框架F上的基本可信度分配A F，C(A)称为A的基本可信数（basic probability number），它反映了对A本身的 可信度的大小,章毓晋(TH-EE-IE),A.4.2证据推理法,可信度函数对A的怀疑D为B的怀疑函数，P为B的似真度函数D(A)称为A的怀疑度，P(A)称为A的似真度,章毓晋(TH-EE-IE),A.4.2证据推理法,P(A)包含了所有与A相容的那些命题集合的基本可信数 B(A),P(A)表示了对A的不确定区间（P.338）,章毓晋(TH-EE-IE),A.4.2证据推理法,对可信度函数的合成,竖条表示C1分配到它的焦元A1，A2，AK上的可信度，横条 表示C2分配到它的焦元E1，E2，EL上的可信度，阴影为横竖条的交，其测度为C1(Ai)C2(Ej)，可见B1和B2的联合作用是将C1(Ai)C2(Ej)确切地分配到AiEj上,章毓晋(TH-EE-IE),通信地址：北京清华大学电子工程系 邮政编码：100084 办公地址：清华大学东主楼，9区307室 办公电话：传真号码：电子邮件：个人主页：实验室网：,联 系 信 息,
