《基于SOFM和LVQ神经网络的矢量量化图像压缩毕业论文.doc》由会员分享，可在线阅读，更多相关《基于SOFM和LVQ神经网络的矢量量化图像压缩毕业论文.doc（14页珍藏版）》请在三一办公上搜索。
1、基于SOFM和LVQ神经网络的矢量量化图像压缩 摘 要矢量量化作为一种高效的数据压缩技术，已被广泛应用于图像压缩领域。本文在系统介绍矢量量化数据压缩理论的基础上，着重探讨了矢量量化的关键技术码书设计算法：1. 回顾了经典的矢量量化码书设计算法LBG算法，研究了基于竞争型神经网络SOFM和LVQ的矢量量化码书设计算法；2. 通过仿真实验，采取将图像分块构建矢量的思想，研究了在改变码字大小等参数的情况下，这三种算法的训练过程和算法性能；3. 根据LBG算法的特性，提出一种联合SOFM和LBG算法的码书设计改进方法，并通过实验验证了改进算法的有效性。大量的实验结果表明，LBG和LVQ算法对初始码书依
2、赖性大，SOFM算法训练时间较长。对于给定的码字大小，码书越大，压缩比越低，但重建图像质量越好；码书相同时码字较小的编码性能较优。关键词：码书设计；LBG算法；SOFM神经网络；LVQ神经网络；改进算法The Vector Quantization in Image Compression Based on SOFM and LVQAbstract As an efficient data compression technique, vector quantization(VQ) has been widely applied to image compression. This paper
3、 presents a systematic introduction to the theory of VQ data compression, focusing on the key technology of VQcodebook design algorithm:1. The classical algorithm of VQ codebook designLBG algorithm is reviewed. The VQ codebook design algorithm based on the competed artificial neural networkSOFM neur
4、al network and LVQ neural network are studied.2. The training process and performance of these three codebook design algorithms are studied through simulation experiments. During the experiments, image blocking is adopted in the construction of the vectors.3. An improved method for codebook design b
5、ased on the combination of SOFM and LBG is put forward according to the characteristics of LBG algorithm and its validity is validated by the experiment. The experimental results indicate that the LBG algorithm and LVQ algorithm are sensitive dependence to initial codebook; SOFM algorithm takes a lo
6、ng training time. For a given size of codeword, a larger codebook will result in a lower compression ratio but a better quality of reconstructed image. When using the same codebook, the coding efficiency of less codeword performs better.Key words: Codebook design; LBG algorithm; SOFM neural network;
7、 LVQ neural network; Improved method目 录第1章 前 言11.1 图像压缩的目的和意义11.2 各种图像压缩方法介绍21.3 矢量量化技术的研究现状31.4 本文的研究目标和主要内容4第2章 矢量量化基础知识62.1 矢量量化的基本原理62.1.1 矢量量化的理论基础62.1.2 矢量量化的定义82.1.3 矢量量化的特点92.2 矢量量化的相关概念102.2.1 矢量量化器的编码速率和比特率102.2.2 失真测度112.2.3 复杂度122.3 矢量量化关键技术122.3.1 矢量量化码书设计技术122.3.2 矢量量化码字搜索技术132.3.3 矢量量
8、化码字索引分配技术142.4 矢量量化和图像压缩142.4.1 基于矢量量化的图像压缩技术142.4.2 重建图像的评价15第3章 基于LBG算法的矢量量化图像压缩173.1 LBG算法的理论基础173.2 LBG算法183.3 LBG算法的优缺点193.4 初始码书的生成203.5 仿真实验与结果分析213.5.1 LBG算法的流程图213.5.2 LBG算法的结果分析223.5.3 实验结论26第4章 基于SOFM网络的矢量量化图像压缩274.1 SOFM网络的理论基础274.1.1 SOFM网络的基本思想274.1.2 基本SOFM算法294.1.3 SOFM网络邻域函数和学习率函数的选
9、择314.2 SOFM算法的优缺点324.3 SOFM算法的改进324.4 基于SOFM的矢量量化334.5 仿真实验与效果分析344.5.1 SOFM矢量量化图像压缩的流程图344.5.2 SOFM矢量量化图像压缩的效果分析344.5.3 实验结论39第5章 基于LVQ网络的矢量量化图像压缩405.1 LVQ网络的理论基础405.1.1 LVQ网络的基本思想与网络结构405.1.2 基本LVQ算法415.2 LVQ算法的优缺点445.3 LVQ算法的改进455.4 基于LVQ的矢量量化455.5 仿真试验与效果分析455.5.1 LVQ矢量量化图像压缩流程图455.5.2 LVQ矢量量化图像
10、压缩的结果分析465.5.3 实验结论48第6章 联合SOFM与LBG的改进算法506.1 改进算法的提出506.2 改进算法矢量量化图像压缩的结果分析516.3 四种算法矢量量化图像压缩的效果比较54结 论57致 谢60参考文献61第1章 前 言1.1 图像压缩的目的和意义人类获取到的信息80%来源于图像媒体，15%来源于语音5。这说明图像是人类生活中信息交流一种极为重要的载体，也是蕴含信息量最大的载体。信息数字化处理是现代信息社会的一个重要标志，但图像信息数字化所面临的最大难题是海量数据的存储和传输问题。面对当前人们对图像信息交流的需求，如果不进行数据压缩，现有的计算机设备和低速网络基本上
11、不能处理、传输和存储视频以及图像信号，因此，图像数据的压缩是必须的3。数字图像压缩的目的是减少表示图像所需的比特数，更有效地表示图像，以便于图像的处理、存储和传输。由文献3可了解到：通过时间域的压缩，可较快地传输各种信源（降低信道占用费用）；通过频率域的压缩，可在现有通信干线上开通更多的并行业务（如电视、传真、电话、可视图文等）；通过能量域的压缩，可降低发射机功率；通过空间域的压缩，可紧缩数据存储容量（降低存储费用）。在图像数据内部存在着大量冗余，包括空间冗余、结构冗余、知识冗余、信息熵冗余和视觉冗余等，这使得将一个大的数据图像数据文件转换成小的数据图像文件成为可能26，由图像冗余数据的减少可
12、以达到图像压缩的目的。通过充分利用人眼的视觉特性和图像本身的统计特性来减小图像信息的冗余度，可以在保证图像质量的条件下实现图像压缩。正是由于图像压缩的必要性和可行性，许多致力于减少数据量和降低比特率，同时又尽量保持图像信号原有质量的压缩编码方案应运而生3,4,5,26,29。目前，图像编码的方法繁多3-7，发展也相当迅速，根据不同应用目的而制定的图像压缩国际标准（CCITT H.26X，JPEG，JBIG，MPEG）4,5相继推出，使得图像编码的理论和技术得到了前所未有的发展，关于图像压缩编码的国际标准在第2节有较为详细的介绍。自从Y.Linde,A.Buzo与R.M.Gray在1980年给出
13、矢量量化(vector quantization)码书设计的LBG算法以来17,19,22，矢量量化作为图像压缩中的一种重要编码技术得到广泛的关注和研究10。同时，随着数学、物理学、脑成像技术和计算机科学的发展，使得人工神经网络（Artificial Neural Network，ANN）理论的研究再一次成为人工智能领域研究的热点1，2。作为和第一代电子计算机同时代产物的人工神经网络，具有大规模并行处理和分布式信息存储的优势，并有良好的自适应性、自组织性和容错性，以及强大的学习功能、联想记忆功能1,2,6,8。这都促使人们去寻找神经网络理论和图像压缩技术的结合点，克服传统图像压缩方法存在的问题
14、，从而在理论和技术上开辟图像压缩的新途径。其中，Kohonen于1981年提出的自组织特征映射网络(SOFM)是一种具有侧向联想能力的两层网络结构,是一种非监督的聚类方法。而学习矢量量化网络(LVQ)的基本思想源于SOFM网络，区别在于LVQ是一种有监督的网络18,20,21。这两种神经网络都可用在矢量量化中的关键步骤码书设计中,用于训练并生成码书。因此，研究基于人工神经网络的矢量量化图像压缩理论与方法在学术价值和实际应用方面都具有极其重要的意义。同时，这项十分新颖且处于探索阶段的技术，也给研究者带来了更大的挑战和更广阔的研究空间。1.2 各种图像压缩方法介绍1.2.1 城地大概地大概地在开始
15、进行图像压缩的工作之前，有必要先了解已有的图像压缩方法及其分类。图像压缩方法的研究已经经历了历代研究者的努力，有人称1948年1988年主要研究的图像编码方法为经典方法，同时把有重要发展前景的图像编码方法称为现代方法3。1）根据解码后图像与原始图像的比较，图像压缩编码的方法一般可以分为两大类型：无损压缩和有损压缩3,5,7,23。无损压缩是利用数据的统计特性来进行数据压缩的，典型的无损压缩方法有：行程编码（Run-Length）法、霍夫曼（Huffman）编码法、字典压缩方法23和算术编码方法等。有损压缩不能完全恢复数据，而是利用人的视觉特性使解压缩后的图像看起来和原始图像一样。典型的有损压缩
16、方法有：预测编码、变换编码23、矢量量化编码4等。1.2.2 城地大概地大概地伴随着数学理论，如小波变换、分形几何理论、数学形态学等以及相关学科，如模式识别、人工智能、神经网络、感知心理学等的深入发展，新颖高效的现代压缩方法相继产生。其中主要包括小波变换编码、分形编码、模型基编码、神经网络编码等。图像压缩编码技术的发展和广泛应用促进了有关标准的制定，这些标准的制定工作主要是由ISO（国际标准化组织）和ITU（国际电信联盟，其前身为CCITT）进行3,5,7。这些标准根据需要处理的图像类型分为二进制图像压缩标准、静止灰度和彩色图像压缩标准、运动（连续）灰度和彩色图像压缩标准。这些标准实际上是针对
17、每种图像的比较成熟的压缩方法。这里简要介绍与论文研究内容有关的静止图像压缩标准。静止图像压缩标准JEPG是1991年3月提出的，包含三个范畴：基本顺序过程，基于DCT的扩展过程和无失真过程。基本JPEG算法主要有三个步骤:首先通过DCT去除数据冗余，然后使用量化表对DCT系数进行量化，最后对量化后的DCT系数进行编码使其熵达到最小，熵编码采用Huffman可变字长编码。目前，新的静止图像压缩标准JPEG2000己经推出，该标准主要采用的是小波变换编码技术，图像压缩效果对比JPEG算法有很大的提高。1.3 矢量量化技术的研究现状量化是有损数据压缩中的常用技术4，基本上可分为三种，即标量量化、矢量
18、量化和序列量化。矢量量化（Vector Quantization，VQ）技术是标量量化的多维推广，它把标量量化的分别量化单个采样值推广到多个采样值当成整体量化。在二十世纪六十年代初期和中期，出现了最早的矢量量化思想，HUANG和Schultheiss提出最早的分组量化的基本实现方法，这些最早的研究并没有给出矢量量化的严格定义，直到1980年由Linde，Buzo和Gray将聚类算法引入到矢量量化器设计中，提出了一种著名的矢量量化码书设计算法，即LBG算法（又称为GLA算法）4。随后，现代的矢量量化研究得到了日益广泛的关注。各国学者以LBG算法为基础，针对矢量量化的特点，将神经网络、最优化理论、
19、模糊数学、遗传算法等各种方法与新思想引入到矢量量化中来9-22，以期得到快速、高效、性能好的矢量量化器，矢量量化的研究进入了一个飞速的发展时期并且取得了很多成果。二十世纪九十年代，半导体技术和微电子工艺日臻成熟，DSP(Digital Signal Processing)技术已经广泛地应用于各种领域，DSP芯片的高速运行和并行处理能力为各种数据压缩算法提供了理想的实现环境，各国学者也针对DSP的结构特点对传统的矢量量化技术进行改进，研究各种适合于硬件实现的矢量量化算法25。矢量量化关键技术是码书设计（生成）、码字搜索和码字索引分配。其中最重要的一点就是如何设计出性能优良的码书，这是整个矢量量化
20、器设计成功与否的关键，是决定矢量量化器性能的主要因素。矢量量化码字搜索算法的研究，就是在设计出性能优良的码书的基础上设法减少搜索分配码字所需的计算量，缩短搜索时间，进一步提高矢量量化器的整体性能。而码字索引分配的研究内容主要是在码书生成的过程中如何让码字以一种更合理的顺序排序，以便将信道传输过程中由于信道噪声导致的数据变更在数据接收端引起的额外误差降低到最小，同时尽可能地减少计算复杂度和搜索时间。码书的生成方式有多种，自LBG算法作为一种非常有效的码书设计算法提出以后，矢量量化码书设计算法的研究得到了广泛的关注和研究，并且取得很多成果。这些算法大致可以归为四类4：u LBG改进算法，包括针对初
21、始码书选择的改进方法以及针对设计速度的加速算法13,14,23,24,27；u 基于神经网络的码书设计算法，如自组织特征映射(SOFM)网络、学习向量机(LVQ)网络等 9,10,11,12,15,16,24；u 基于全局优化技术的码书设计算法，如随机松弛算法、模拟退火算法、遗传算法和禁止搜索算法等24；u 基于模糊聚类理论的码书设计算法24。1.4 本文的研究目标和主要内容本文选定矢量量化技术在图像压缩方面的应用为研究目标，研究的重点是矢量量化的关键技术码书设计。在阅读大量相关文献的基础上，主要研究了三种传统矢量量化码书设计算法：LBG、SOFM和LVQ，进行了大量实验，验证了算法的可行性，
22、对实验结果作分析和对比，并在此基础上提出一种联合改进算法实现更好的压缩性能。全文共分为7部分，其具体内容安排如下：u 前言，介绍所研究课题的研究背景、意义，国内外研究现状，以及课题的研究思路、研究内容。u 第二章全面系统地介绍了矢量量化的理论基础.第2章 矢量量化基础知识2.1 矢量量化基本原理人类获取到的信息80%来源于图像媒体，15%来源于语音5。这说明图像是人类生活中信息交流一种极为重要的载体，也是蕴含信息量最大的载体。.图1-1 四种算法的重建图像（）从图1-1可看出，改进算法重建图像的效果最好，LVQ算法的重建图像效果最差，而LBG算法和SOFM算法的效果相当。下面，求出各个重建图像
23、的峰值信噪比，列于表1-2中。表1-1 四种算法的性能比较（）压缩比CR峰值信噪比PSNR(dB)训练时间t(s)LBG算法21.333.462.48SOFM算法21.334.16786.29LVQ算法21.330.661310.3结 论矢量量化技术是一种有效的有损数据压缩技术，其主要优点是压缩比大以及解码简单，矢量量化技术能够有效地降低比特率和存储空间。随着社会的发展，矢量量化技术的应用将愈发广泛。矢量量化码书设计算法一直是众多学者研究的对象，人们试图找出全局最优的码书使得输出信号受损降低，但是目前还没有一个算法能真正做到全局最优，都是尽量逼近全局最优。本文对三种传统的矢量量化码书设计算法进
24、行了仿真比较和改进优化，采用标准Lena图像进行矢量量化压缩实验，对已有的码书设计算法的性能进行了较全面的分析，提出一种联合算法用作改进并取得成效。本文所做的主要工作如下：1. 介绍了图像压缩的目的和意义，对图像压缩方法的分类和常用图像压缩方法做了简单回顾，总结了矢量量化技术的研究现状。2. 深入研究了矢量量化数据的压缩理论，详细介绍了矢量量化的基础理论和关键技术，并分析了矢量量化用于图像压缩中的相关概念，给出矢量量化图像压缩的一些客观评估标准。3. 深入研究了经典的矢量量化码书设计算法LBG算法，探讨了LBG算法的理论基础、算法步骤，总结了LBG算法的优缺点，还介绍了常见的初始码书生成方法。
25、选用标准的Lena图像对LBG算法进行了实验，改变相关参数分析算法的性能。4. 研究了基于自组织特征映射SOFM的矢量量化码书设计算法，介绍了SOFM网络的理论基础，基本算法步骤，简要介绍了针对SOFM算法缺点已经提出的改进算法。分析SOFM网络与矢量量化的联系，总结SOFM算法的优缺点及其在图像压缩领域应用的优势，用SOFM网络对标准的Lena图像进行了矢量量化编码，改变相关参数分析算法的性能。5. 研究了学习矢量量化码书设计算法LVQ算法，介绍LVQ网络的理论基础和基本算法的步骤，总结LVQ算法的优缺点，简要介绍了针对LVQ算法缺点已经提出的改进算法。分析了实现基于LVQ的矢量量化的基本思
26、路，用LVQ网络对标准的Lena图像进行了矢量量化编码，并分析了算法的性能。6. 在前文工作的基础上提出一种基于SOFM和LBG的联合改进算法，通过实验验证了改进算法，并与前三种算法对比，证明了改进算法从PSNR和码书训练时间的角度考虑，都优于前面三种算法。在毕业论文完成过程中，尽管作者尽了最大的努力完成研究工作，但是，由于水平有限，许多方面都做得不够，还有很多地方需要进一步完善。今后进一步的研究方向主要有以下几个方面:1) 研究选取不同的初始码书对矢量量化码书设计算法效果的影响。2) 研究SOFM神经网络中不同的邻域函数、学习参数对码书性能的影响，研究LVQ神经网络目标层矢量的选取对码书性能
27、的影响。3) 在码书优化算法方面，大规模训练数据的码书设计与优化还有待于进一步地研究，矢量量化码书生成的速度仍有待提高。在今后的研究中，应在矢量量化的硬件设计与实现上做进一步的研究，希望能做到矢量量化码书优化的实时性。4) 采用Visual C+编程实现SOFM网络和LVQ网络用于矢量量化码书设计。由于使用SOFM和LVQ实现码书设计时，输入矢量个数和网络神经元个数都较大，使用MATLAB R2008a时运行速度慢，不能体现算法的优势。在现有工作的基础上对整个算法进行工程实现，将进一步提高算法的工程应用前景。5) 本文只对码书设计算法进行了部分研究，对于码字搜索算法，码字索引分配算法都没有研究
28、，这也是矢量量化的两大关键技术，有待以后进一步研究。并且，只有研究和实现了整个矢量量化图像压缩的过程才能尽快将这项新技术应用于生产实际中。参考文献1 （美）Martin T.Hagan Howard B.Demuth著 戴葵等译.神经网络设计M.北京：机械工业出版社.2002.92（美）Simon Haykin著 叶世伟,史忠植译.神经网络原理M.北京：机械工业出版社.2004.13 徐立中，李士进，石爱业.数字图像的智能信息处理（第二版）M.北京：国防工业出版社，2007.14 孙圣和, 陆哲明. 矢量量化技术及应用M. 北京: 科学出版社, 2002: 31-495黄贤武，王加俊，李家华.
29、数字图像处理与压缩编码技术M.成都：电子科技大学出版社，2000.126胡德文.神经网络自适应控制M.北京：国防工业出版社，2005.77缪绍刚.数字图象处理活用MATLABM.成都：西南交通大学出版社，2001.8阎平凡 张长水.人工神经网络与模拟进行计算M.北京：清华大学出版社，20009傅茂名，林瑞春.基于自组织特征映射的图像压缩技术J.计算机工程与应用:2007,43(32):383910王茂芝,郭彬,徐文皙.基于改进SOFM的矢量量化图像压缩J.成都理工大学学报(自然科学版):2007,12.34(6)11马立新，王仁锋.基于自组织特征映射神经网络的矢量量化及其在图像压缩中的应用J.
30、上海电力学院学报:2003,12.19(4):9-1212王瑶,梁科.一种改进的自组织特征映射图像压缩算法J.无线电工程2006.36（12）13涂立桥.SOFM算法和LBG算法联合用于图像压缩的研究J.黄石高等专科学校报：2002，6:18-2014 刘评,朱心雄. 基于快速搜索的码书快速生成算法J. 北京航空航天大学学报.1998,2,24(1):64-6715陆哲明，孙圣和. 基于自组织特征映射神经网络的矢量量化J. 中国图象图形学报.2000,10,5(10):846-85016 缪 青,高大启. 基于自组织特征映射神经网络的局部矢量量化算法J. 计算机应用与软件.2006,7,23(
31、7):108-11217刘广林,王汝霖等. 基于自组织特征映射的图象矢量量化J.微计算机信息，2006.22(5-1):208-20918张敏灵，陈兆乾，周志华.SOM算法、LVQ算法及其变体综述J.计算机科学：2002，29(7):97-10019李万臣,王炼.基于混合神经网络的图像分类矢量量化方法J.应用科技：2006.33(6):21-2320李晓冰,马海潮,高冰.基于LVQ神经网络的测量图像预处理方法J.红外：2007.28(10):14-1721程小平,邱玉辉.基于强化学习的LVQ聚类方法J.计算机科学：2002.9（12）:133-13422匡泰,胡众义等.一种新的用于LBG图像压
32、缩初始码书生成算法J.浙江工业大学学报：2005.33(4):425-42823黄雪梅.基于人工神经网络的图象压缩方法研究D.重庆：重庆大学，2005：41-54 24段云鹏.基于神经网络的矢量量化码书设计算法的研究D.吉林：吉林大学，2005：41-5425唐建.矢量量化码书设计与矢量量化应用研究D.北京：中国科技大学，2006：22-2826 Dony R D, et al. Neural Network Approaches to Image CompressionJ.Proc IEEE, 1995,83:28830327K.W. Lau, H.Yin, S. Hubbard. Kern
33、el self-organising maps for classificationJ. Neurocomputing 69 (2006) 2033204028WANG Ling,MU Zhi-Chun,Guo Hui.Combining Self-organizing Feature Map with Support Vector Regression Based on Expert SystemJ.ACTA AUTOMATICA SINICA,2005:31(4) 29 F.Shen, O. Hasegawa.An adaptive incremental LBG for vector quantization Neural NetworksJ,2006.19:694704
