关于运动目标检测及跟踪技术的设计研究.doc

《关于运动目标检测及跟踪技术的设计研究.doc》由会员分享，可在线阅读，更多相关《关于运动目标检测及跟踪技术的设计研究.doc（75页珍藏版）》请在三一办公上搜索。

1、运动目标检测及跟踪技术的设计研究说明运动目标检测与跟踪是计算机视觉领域的热点问题，广泛应用于视频监控、人机交互、虚拟现实和图像压缩等。而要在各种复杂的环境中和不同的条件下（如遮挡、光照变化等）都对目标进行准确的跟踪是目前广大研究工作者共同关注的焦点，也是目前实际应用中一个亟待解决的难题。本文主要研究静态背景下运动目标的检测、运动目标跟踪以及相关结果仿真分析三方面的内容。运动目标检测方面，在分析了目前比较常用的三种目标检测方法，即光流法、帧间差分法、背景相减法的基础上，着重研究了基于帧间差分法运动目标检测的算法原理及流程，讨论了三种检测算法的优缺点。运动目标跟踪方面，在分析了目前比较常用的三种目

2、标跟踪算法，即均值漂移算法、卡尔曼滤波算法、基于特征的目标跟踪算法的基础上，重点研究了基于特征最小外接矩形框运动目标跟踪算法。分析了其算法原理以及跟踪步骤。最后用matlab软件采用帧间差分运动目标检测法以及基于最小外接矩形框跟踪法对含有运动目标的视频进行仿真。在采用了帧间差分检测法以及最小外接矩形框跟踪法基础上，用matlab软件对视频进行仿真，检测到了人体的轮廓，同时矩形框跟踪出了运动人体的轨迹，达到了运动目标检测与跟踪的效果。目 录1 绪论11.1 研究背景和意义11.2 国内外研究现状21.3 章节安排42 运动目标检测与跟踪技术52.1 数字图像处理相关概念52.1.1 数字图像处理

3、过程52.1.2 图像增强52.1.3 图像分割62.1.4 数学形态学62.2 运动目标检测流程及常用算法72.2.1 背景差分法82.2.2 帧间差分法82.2.3 光流法92.3 运动目标跟踪常用算法102.3.1 基于均值漂移目标跟踪算法102.3.2 基于卡尔曼滤波目标跟踪算法102.3.3 基于特征的目标跟踪算法113 基于帧间差分法运动目标检测的研究123.1 帧间差分法运动目标检测流程123.2 帧间差分法运动目标检测过程及原理123.2.1 RGB图像转换为灰度图像123.2.2 图像差分处理133.2.3 差分图像二值化133.2.4 形态学滤波163.2.5 连通性检测1

4、74 基于最小外接矩形框目标跟踪194.1 目标跟踪流程194.1.1 运动目标跟踪过程图194.1.2 运动目标跟踪过程分析194.2 基于最小外接矩形框跟踪原理204.2.1 特征提取204.2.2 最小外接矩形提取214.3 最小矩形框跟踪实现215 仿真结果与分析235.1 仿真环境235.2 运动目标检测仿真235.3 运动目标跟踪仿真28结 论33致 谢34参考文献35附录A38附录B54附录C671 绪论1.1 研究背景和意义视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标

5、，并对目标的运动轨迹进行预测和描绘1。随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一1,2。 计算机视觉是利用计算机实现视觉信息处理的一门学科，它涉及计算机、心理学、生理学、物理学、信号处理和数学等领域，是交叉性很强的一门学科1,3。 与静态图像相比，视频序列图像的优势在于时间的连续性及目标运动信息的捕获。因此，视频序列图像和视频中的运动目标一直是图像处理研究的重要方面4,5,6。运动目标检测与跟踪技术则是计算机视觉领域中应用的核心技术，它融合了图像处理、模式识别、人工智能、自动控制等相关领域的先进技术和研究成果，是成像跟踪系统智能化的关键。该技术利用

6、可见光的图像传感器或红外成像传感器或其他摄像设备摄取运动目标的视频图像信号，经过相应的数字图像处理，对运动目标进行检测、提取、识别，然后根据目标的图像特征及目标的运动特征、背景的特征等数据对运动目标进行预测跟踪，这些数据包括运动目标的颜色、形态、轮廓，运动目标的位置、速度、加速度等运动参数和运动轨迹，背景的颜色等。为后继的图像分析、运动目标的行为理解及完成更 高级的任务提供数据支持6。 基于视频序列的运动目标的检测和追踪技术作为计算机视觉领域的关键技术之一，应用十分广泛，比如该技术在智能安防、交通导航、智能武器、对空监视、导弹预警等许多应用领域发挥重要作用。 运动目的检测与跟踪己经有近20年的

7、研究历史，这种技术的研究主要涉及到运动目标检测与提取、运动目标跟踪、运动目标识别、运动目标行为分析和理解等诸多内容，是计算机视觉研究的重要组成部分7,8。它不但具有实际的研究价值，而且对计算机视觉的其他领域有着重要的推动作用。运动目标检测与跟踪技术在近20年来一直是比较热的研究课题。它广泛应用于军事和民用领域。在战场侦察，武器控制以及车辆异常行为等各个方面都有极其重要的应用。同时，随着计算机技术，通信技术，控制技术，电子技术的发展，运动目标检测与跟踪技术也较为广泛的应用于车辆违规检测，并且在交通检测技术中，运动目标检测技术已初步显示了其强大的生命力，正逐步成为交通检测中最有前途的一项技术9,1

8、0,11。在人体运动的视觉分析中的应用：人体运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它从包含人的图像序列中进行人的检测、跟踪、识别与行为理解，属于图像分析和理解的范畴。人运动分析在人机接口、安全监控、视频会议、医疗诊断等方面均具有广泛的应用前景，它激发了广大科研工作者及相关商家的浓厚兴趣。 目前，智能化视频监控系统在我国仍处于普及阶段，但随着我国经济的飞速发展和物质生活水平的不断提高，人们的安全防范意识也越来越强，这意味着智能化视频监控有着广泛的应用市场。因此，对作为视频监控系统关键组成部分的运动目标检测与跟踪技术的研究有着重要的理论意义与应用价值。然而实际中存在很多不利的干

9、扰因素对运动目标检测与跟踪技术的研究带来巨大的挑战，而人们对运动目标检测与跟踪技术的稳定性的要求也越来越高。因此研究几种常用的运动目标检测与跟踪算法的原理，分析比较他们的特点以及效果评估并且从中筛选出稳定性最高，效果最好的目标检测与跟踪算法就成为一个重要的研究课题。运动目标检测与跟踪的工作过程如图1.1所示。图1.1 运动目标检测与跟踪过程从图1.1可以得知，运动目标检测与跟踪的主要工作可以分为目标检测和目标跟踪两个方面。运动目标检测是运动目标检测与跟踪的第一部分它实时地在被监视的场景中检测运动目标，并将其提取出来。运动目标跟踪是衔接运动目标检测和目标行为分析与理解的一个重要环节，它在运动目标

10、检测的基础上，利用目标有效特征，使用适当的匹配算法，在序列图像中寻找与目标模板最相似的图像位置。在实际应用中，运动目标跟踪不仅可以提供目标的运动轨迹和准确定位目标，为下一步的目标行为分析与理解提供了可靠的数据来源，而且也可以为运动目标检测提供帮助，从而形成一个良性的循环。1.2 国内外研究现状目前，在美国、日本、欧洲已经开展了大量的运动目标检测与跟踪的研究工作，W4是一个可以在室外对入进行实时检测与跟踪的视觉监视系统12：Pfinder是一个利用颜色和形状特征对大视角范围内的人进行跟踪的实时系统13。同时也出现了大量的国际会议和讨论组目前，国外的视频目标检测与跟踪技术相对成熟，已经有了一些雏形

11、系统。比如卡内基梅隆大学领导的视频安全与控制（VSAM）研究计划14。根据这个计划，研究人员研制了一个端到端的测试系统，集成了很多高级视频安全监控技术，比如静止背景和运动背景下的实时目标探测与跟踪，普通目标（比如人、轿车、卡车）的分类识别，特殊物体（比如校车等具有特殊标记的物体）的分类识别，目标姿势估计，摄像机的自主控制，多摄像机协同跟踪，人体步法分析等等。马里兰大学的实时监控系统W4可以利用单摄像头对人体以及人体的各个部分进行实时地跟踪。所谓W4，是指Who，When，Where，What，也就是说这个系统可以确定目标是谁，什么时间、什么地点，他在干什么。W4具有基于目标形状分析人体及其头部

12、、手部等定位功能，基于自适应背景差技术的前背景分离功能，以及区域的分裂与合并，用来处理目标交互行为的功能。而IBM等大公司也在资助这个领域内的相关研究，期望能将研究成果应用到商业领域中。Pfinder系统用于实现对室内人员行为的实时监视与判定。另外，在交通系统中，Tai等人研究了一个用于交通事故检测的视频监视系统，能够自动检测运动车辆并对其运动轨迹进行判定15。VISATRAM系统能够对各个车道的车辆行为进行监控，保证交通通畅16。Haag和Nagel专门对机动驾驶的车辆跟踪问题进行了研究17。Pai等人专门研究了十字路口的行人检测与跟踪以实现对行人的计数18。在国内也出现了一定规模的研究，召

13、开了一些相关会议探讨研究成果和发展方向。我国视频目标检测与跟踪技术研究起步于60年代末，通过近40多年的努力，我国在这一领域得到了长足发展，许多先进的图像处理与模式识别方法被应用到这个领域，并研制了一些实际的系统。我国先进成像识别与跟踪技术在智能化程度、通用性、多目标实时测量、低对比度和复杂图像视频信息处理等方面与国外相比还存在着较大的差距。在实际的跟踪过程也还存在很多问题，如数据同步、图像模糊、跟踪台稳定性差等等，由于这些方面的实用信息能从国外获得很少，所以在这一领域进行深入的研究，对提高我国国防实力，加强民用具有重要意义。目前，一些高等院校、科研院所都已经开展了此项研究工作。相比较而言，国

14、内对智能化视频监控技术的研究起步较晚，但是随着数字图像处理技术、计算机视觉以及各种诸如红外、雷达、激光等传感器技术的不断发展，为运动目标检测与跟踪技术的研究提供了必要的理论基础与技术支持，创造了无比优越的研究环境。比如北京大学视觉与听觉信息处理国家重点实验室主要研究高度智能化机器感知系统，实验室在三维视觉信息处理和智能机器人等领域取得了许多成果。1.3 章节安排第一章绪论部分研究了计算机视觉技术的发展，并对国内外运动目标检测及跟踪算法的现状进行了总结，提出了课题的研究背景意义。第二章系统分析了运动目标检测与跟踪的几种常用算法。其中，运动目标检测算法包括光流法，帧间差分法，背景法。分析了这三种算

15、法的简单原理，并讨论了它们的特点及优缺点。运动目标跟踪算法方面包括均值漂移算法，卡尔曼滤波算法，基于最小外接矩形框目标跟踪算法，在本章中简单分析了这三种算法的原理。第三章为本文的重点，详细研究了基于帧间差分法的运动目标检测算法，包括检测流程，算法原理以及阈值选取算法等。第四章同样为本文的重点，结合了第三章的检测结果，详细研究了基于最小外接矩形框的运动目标跟踪算法。分析了跟踪的流程以及最小外接矩形框的提取算法等。第五章主要讨论了基于帧间差分法运动目标检测与基于最小外接矩形框目标跟踪的matlab仿真结果。2 运动目标检测与跟踪技术2.1 数字图像处理相关概念2.1.1 数字图像处理过程图像处理就

16、是对图像信息进行加工以满足视觉心理或应用需求的行为19,20,21。图像的处理手段有光学方法和电子学（数字）方法，前者已经有很长的发展历史，从简单的光学滤波到现在的激光全息技术光学理论已经日臻完善，而且处理速度快，信息容量大，分辨率高，又非常经济，但是光学处理图像的精度不高，稳定性差，操作不便。从20世纪60年代起，随着电子技术和计算机技术的不断提高和普及，数字图像处理进入高速发展的时期。数字图像处理就是利用数字计算机或者其他它数字硬件，对从图像信息转换成的电信号进行某些数学运算，以提高图像的实用性。数字图像处理技术精度比较高，而且还可以通过改进处理软件来优化处理效果。由数字图像处理技术应用的

17、范围非常广泛，数字图像处理系统有各种各样的结构。典型的数字图像处理系统由输入输出设备、存储器、运算处理设备和图像处理软件构成。数字图像处理包括图像数字化和压缩编码，图像增强和复原，图像分割，图像分类，图像重建几个部分。我们以图2.1来简单描述数字图像处理的内容及其步骤。图2.1 数字图像处理的内容及步骤2.1.2 图像增强增强图像中的有用信息，它可以是一个失真的过程，其目的是要增强视觉效果，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量。从方法上说，则是设法摒弃一些认为不必要或干扰的信息，而将所需要的信息得以突出出来，以利于分析判读或作进一步

18、的处理。 图像增强能够改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，扩大图像中不同物体特征之间的差别，满足某些特殊分析的需要。其方法多是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制（掩盖）图像中某些不需要的特征，使图像与视觉响应特性相匹配。在图像增强过程中，不分析图像质量降低的原因，处理后的图像也不一定逼近原始图像。图像增强技术根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。基于空域的算法处理时直接对图像灰度级做运算；基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增

19、强的算法，通过改变像素灰度值达到增强效果，并不改变像素的位置。 空域增强包括空域变换增强与空域滤波增强两种。空域变换增强是基于点处理的增强方法即点运算算法，空域滤波增强是基于邻域处理的增强方法即邻域增强算法。点运算算法通过灰度级校正、灰度变换和直方图修正等实现，目的或者使图像成像均匀，或者扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊，常用算法有均值滤波、中值滤波两种。锐化的目的在于突出物体的边缘轮廓，便于目标识别，常用算法有梯度法、算子、高通滤波法、掩模匹配法、统计差值法等。 常用的空域变换增强方法包括：对比度增强、直方图

20、增强等。2.1.3 图像分割图像分割是一种重要的图像分析技术，就是把图像分成各具特性的区域并提取出感兴趣目标的技术和过程22。通常分割是为了进一步对图像进行分析、识别、压缩等，分割的准确性直接影响后续任务的有效性。在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣。这些部分通常称为目标或前景（其它部分称为背景），它们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析图像中的这些目标，需要将它们从图像中分离提取出来，在此基础上才有可能进一步对目标进行测量和对图像进行利用。在不同领域中有时也用其它名称，如目标轮廓（object delineation）技术，阈值化（threshold

21、ing）技术，图像区分或求差（image discrimination）技术。目标检测（objectdetection）技术，目标识别（object recognition）技术。目标跟踪（object tracking）技术等，这些技术本身或核心实际上也是图像分割技术。2.1.4 数学形态学数学形态学是研究数字影像形态结构特征与快速并行处理的理论23。数学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。其历史可以追溯到十九世纪的Euler，Steiner，Crofton等的论述中，但数学形态学是一门新兴学科，1964年，法国的GMathem

22、和JSerra在积分集合的基础上首次创立了这门学科，此后，他们又在法国建立了“枫丹白露数学研究中心”，在该中心及各国研究人员的共同努力下，形态学得到了充分的发展和完善。数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀（或扩张）、腐蚀（或侵蚀）、开运算和闭运算，它们在二值图像和灰度图像中各有特点。基于这些基本运算还可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边界检测、图像滤波、图像增强和恢复等。数学形态学方法利用一个称作结构元素的“探针”来收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分之间的相互关系，

23、从而了解图像的结构特征。数学形态学基于探测的思想，与人的FOA（Focus Of Attention）的视觉特点有类似之处。作为探针的结构元素，可直接携带知识（形态、大小、甚至加入灰度和色度信息）来探测、研究图像的结构特点。 形态学的最大特征是试图形成一种只利用输入模式的局部信息，来分析模式的全局构造的方法；另一个特征是几何学的构造和纹理不是客观存在的，而是认为它们是在物体和观测者相互之间的关系才成立的。数学形态学因为是一种利用局部信息，由单纯运算进行图像分析的方法，让机器来处理是非常合适的，另外也非常适用于并行处理。2.2 运动目标检测流程及常用算法常见的运动目标检测过程主要涉及到差分、二值

24、化、形态学滤波和连通性分析等几部分。整个检测过程分为三个层次，面向像素级的检测，面向变化区域级的检测和面向帧级的检测24,25。面向像素级的检测是指对包含运动目标的视频序列图像进行差分，二值化，逐点检测判断背景与运动目标；面向变化区域级的检测是指对像素检测后得到的二值图像中的目标区域采用形态学滤波和连通性检测的方法提高检测的准确度；面向帧级的检测是指对整帧图像进行去噪处理，使其适应环境光线变化。运动目标检测算法的实质就是当场景中有新目标进入或者场景中有目标移动时，通过检测算法能够得知有运动目标出现，再利用目标分割方法把进入场景中的运动目标（前景）从背景图像中分离出来的方法26。按照检测算法的原

25、理主要可以分为三类：背景差分法、光流法、帧间差分法。2.2.1 背景差分法背景差分法的实现可以分为已知背景和统计背景两种27,28。已知背景是指在开始进行运动目标检测前预先设定好运动目标的活动背景，在检测的过程中通过当前帧与背景的差分获得运动目标的模版，借助于形态学的开闭运算等方法进行滤波去噪和轮廓平滑。为后续的处理程序提供处理的对象以完成图像的分割和跟踪。其简单原理如图2.2所示。图2.2 基于背景差分法原理流程图2.2中是第k帧图像，是背景图像，第k帧图像与背景图像的差即为差分后的图像。 在统计背景的背景差分实现中，没有预先设定目标的运动场景，一种比较简单的实现是将连续若干帧的灰度图像叠加

26、，然后进行中值滤波，确定目标的运动场景（背景图像），然后将当前帧与背景图像进行差分，通过形态学等方法的滤波、去噪、平滑，获取运动目标的轮廓。由于背景差分算法中构造的背景，只是对真实背景的近似，往往在运动物体较小和背景中存在运动比较剧烈的物体（如：游泳池中晃动的水波，狂风中晃动的树枝等）时，检测的结果会不够准确。这些问题的解决需要采用一些辅助的方法。背景差分法的优点就是算法简单，运算速度较快，基本能够满足实时检测的需要，存在的主要问题就是如果采用己知背景实现的话，需要人工干预，预先设定背景图像，自适应能力较差，而统计背景差分法相比较来说不需要人工干预，自适应能力有了很大提高。这两种背景差分法的共

27、同缺点就是对运动目标的空间信息没有充分利用，差分得到的轮廓图像很不准确。2.2.2 帧间差分法 帧间差分法进行目标检测的主要优点是：算法实现简单，程序设计复杂度低，易于实现实时监视29,30,31。基于帧间差分方法，由于相邻帧的时间间隔一般较短，因此该方法对场景光线的变化一般不太敏感。最基本的帧间差分法可以检测到场景中的变化，并且提取出目标。 帧间差分法主要是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提取，其简单原理如图2.3所示。图2.3 相邻两帧图像差分法基本原理流程图2.3中为第k帧图像，为k-1帧图像，为差分后图像。如图可知第k帧图像与第k-1帧图像相减便得到了差分之后的

28、图像，这种方法对动态环境有较好的适应性，处理起来较为方便。2.2.3 光流法 不论背景差分法还是帧间差分法，这两种方法都只是利用了视频图像的空间特征，对于图像内部的信息却没有很好的应用，美国学者Hom和Schunch提出的光流法就充分的利用了图像自身所携带的信息32。所谓光流是指空间中物体被观测面上的像素点运动产生的瞬时速度场，包含了物体表面结构和动态行为等重要信息。基于光流法的运动目标检测采用了运动目标随时间变化的光流特性，由于光流不仅包含了被观测物体的运动信息，还携带了物体运动和景物三位结构的丰富信息，这种方法不仅适用于运动目标的检测，还可以在运动目标跟踪方面使用，甚至在摄像头存在运动的情

29、况下也能检测出独立运动的目标。但是在实际的应用中，由于遮挡、多光源、透明性及噪声等原因，使得光流场基本方程灰度守恒的假设条件无法满足，不能正确求出光流场，计算方也相当复杂，计算量巨大，不能满足实时的要求。总之，现有的算法多是针对某特定的场合提出的，各有特点，这些算法中也仍有许多值得改进的地方，有的算法在检测的精确方面需要改进，有的算法在计算量等方面需要改进等。经过了多年的发展，到目前为止对目标检测的研究仍面临许多没有很好解决的问题。2.3 运动目标跟踪常用算法 目标跟踪技术是视频图像分析的一个关键技术，在安全监控、辅助驾驶、运动分析以及视频压缩等领域中有着广泛的应用33。近年来大多方法是基于目

30、标表面特征的跟踪，即首先在每帧图像中寻找与目标表面模型最相似的区域，然后在下一帧图像中寻找目标位置，一般利用全局的搜索方法总能找到。整个跟踪过程要求能够实时的跟踪视频场中的运动目标，而被跟踪的目标常常由于运动速度快、变形、周围环境干扰等各种因素的影响，因此要获得较好的实时性、是比较困难的。 目标跟踪时，目标本身以及目标所处的环境都会影响到目标跟踪算法的性能，例如目标大小是否变化，目标形态是否变化，背景是否复杂，运动是平缓还是剧烈，摄像机是否运动等。根据不同的情况，众多的研究人员已经提出了多种不同的跟踪算法。这些算法主要分为基于模型的方法、基于区域的方法、基于特征的方法和基于变形模板的方法等四类

31、。这些方法都有各自的优缺点，在特定的场景下可以获得到较好的跟踪效果。2.3.1 基于均值漂移目标跟踪算法 均值漂移算法是一种基于特征的运动目标跟踪方法34。是由Fukunaga等人在上个世纪70年代首先提出的一种非参数概率密度梯度估计算法，但是迟迟没有得到应用，直到上世纪90年代中期Cheng改进了均值漂移算法中最重要的部分核函数及权重函数，并将其应用于聚类和全局最优化，才扩大了均值漂移算法的适用范围。由于均值漂移算法完全依靠特征空间中的样本点进行分析，不需要任何的先验知识，收敛速度快，近年来被广泛的应用于图像分割和跟踪等领域。 该算法的基本思想是：通过反复迭代搜索特征空间中样本点最密集的区域

32、，搜索点沿着样本密度增加的方向漂移到局部密度最大值。均值漂移算法原理简单、迭代效率高，但是迭代过程中搜索区域大小对算法的准确性和效率有很大的影响。 均值漂移是一种基于非参数的核密度估计理论，是在概率空间中求解概率密度极值的优化算法，通过对目标点赋大权值，对非目标点赋小权值，使目标区域成为密度极值区，从而将目标跟踪同均值漂移算法联系起来。均值漂移向量的方向和密度梯度估计的方向一致，使跟踪窗向密度增大最大的方向漂移，并且它的大小和密度估计成反比，是一种变步长的跟踪算法。2.3.2 基于卡尔曼滤波目标跟踪算法 1960年，匈牙利数学家RudolfEmil Kalman，发表了他著名的用递归方法解决离

33、散数据线性滤波问题的论文。从那以后，得益于数字计算技术的进步，Kalman(卡尔曼)滤波器己成为推广研究和应用的主题，尤其是在自主或协助导航领域35,36。 卡尔曼滤波器由一系列递归数学公式描述。它们提供了一种高效可计算的方法来估计过程的状态，并使估计均方误差最小。卡尔曼滤波器应用广泛且功能强大：它可以估计信号的过去和当前状态，甚至能估计将来的状态，即使并不知道模型的确切性质。 卡尔曼滤波器是一个对动态系统的状态序列进行线性最小方差估计的算法，具有计算量小，可实时计算的特点，通常被用来对跟踪目标运动状态进行预测，可以减少搜索区域的大小，提高跟踪的实时性以及准确性。均值漂移算法作为一种高效的匹配

34、算法，已经被成功运用的目标跟踪领域。该算法利用梯度优化实现快速目标定位，能够对非刚体目标实时跟踪，对目标的变形、旋转等有较好的适用性，但是当周围场景存在干扰时，仅使用均值漂移算法容易造成目标丢失。在跟踪目标被严重遮挡或干扰时，均值漂移算法无法跟踪目标时，卡尔曼滤波能够较好的预测目标的速度和位置。 卡尔曼滤波器是一个最优化自回归数据处理算法。它的广泛应用已经超过30年，包括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。2.3.3 基于特征的目标跟踪算法 基于特征的目标跟踪方法是指根据目标的一些有

35、用特征信息利用某种匹配算法在序列图像中寻找目标，进而跟踪运动目标37,38。该算法的实现通常分为三步：第一步，根据目标检测结果抽取目标的显著特征，如拐角、边界、有明显标记的区域、颜色等。第二步，在连续帧图像上寻找特征点的对应关系，也称为特征匹配。第三步，根据某种相似性度量方法，确定在当前帧中目标的最佳位置。区域特征是最常用的匹配特征之一。区域特征包括目标区域信息、边缘信息、灰度分布信息、纹理特征等，由于包含了大量的目标信息，因此能在一定程度上排除背景干扰，但也导致计算量很大。基于区域特征匹配的跟踪算法非常适合于室外的目标跟踪，其最典型的算法是模板相关匹配算法。颜色，直方图以及最小外接矩形框也是

36、最常用的跟踪特征。3 基于帧间差分法运动目标检测的研究3.1 帧间差分法运动目标检测流程利用帧间差分法实现运动目标检测是根据比较相邻图像之间的变化来实现的39。方法简单明了，主要利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提取。一个最基本的帧间差分法的基本过程如图3.1所示。图3.1 帧间差分法基本流程图3.1中首先第k帧图像经过延时处理得到第k-1帧图像，接着将两帧图像进行差分得到差分图像。其次对差分后的图像进行二值化以及形态学滤波处理得到了二值化图像。最后经过连通性检测并对二值化图像进行判别进而达到了运动目标检测的目的。3.2 帧间差分法运动目标检测过程及原理3.2.1 RGB

37、图像转换为灰度图像RGB图像也称为真彩图像，分别用红、绿、蓝三个色度值为一组，代表每个像素的颜色。这些色度值直接存在图像数组中，而不使用调色板。RGB图像是24位图像，其中红、绿、蓝分量分别占用8位，因而图像理论上可以包含224种不同的颜色。灰度图像是包含灰度级（亮度）的图像。在matlab中，灰度图像是由一个uint8、uint16或一个双精度类型的数组来描述。灰度图像保存在一个矩阵中，矩阵中的每一个元素代表一个像素点。元素的数值代表一定范围内的灰度，通常0代表黑色，1、255代表白色。由于灰度图像存储时不使用调色板，因而matlab将使用一个默认的系统调色板来显示图像。在运用帧间差分法检测

38、运动目标的过程中需要将真彩图像转换为灰度图像。彩色图像每个像素点在RGB空间中是一个三维矢量，每个分量分别代表红、绿、蓝三种颜色的灰度。最简单的将彩色图像转换成灰度图像的方法是将这三个分量取平均值。但是这种方法和人眼视觉感知不符。人眼感知红、绿、蓝三种颜色的权重是不一样的。JPEG图像压缩格式采用的是YUV空间，YUV空间是RGB空间的线性变换。转换公式是： （3.1）R、G、B分别表示红、绿、蓝三种颜色分量的灰度值。Y分量表示图像的亮度，这是符合人眼对颜色感知的。我们就以Y分量作为图像像素的灰度。将彩色像素转换为灰度像素的公式为： （3.2）遍历彩色图像的每一个像素矢量，设矢量的红、绿、蓝三

39、色分量值为R、G、B，输出的灰度图像的对应像素的值就变为为0.299R+0.587G+0.114B， 彩色图像则转换为灰度图像。3.2.2 图像差分处理差分是面向像素级的变化像素检测，可以分为连续帧间差分和背景差分。连续帧间差分处理是将连续两帧进行比较，从中提取出运动目标的信息，见公式（3.3）。 （3.3）如公式（3.3）所示，将连续两帧图像做减法，便得到了差分后的图像，从而提取出运动目标。公式（3.3）中是第帧图像，是背景图像，第帧图像与背景图像的差即为差分后的图像。3.2.3 差分图像二值化运动目标的视频序列图像进行差分后，要对差分图像进行二值化处理，逐点检测判断背景与运动目标，这是基于

40、像素级的检测。传统的二值亿方法是设定固定的阈值T，当差分值小于阈值T时，将其判为背景像素，反之则为目标像素，见公式（3.4）。 （3.4）如公式（3.4）所示，我们认为当差分图像中某一像素值的差大于某一给定的阈值T时，该像素为目标像素，即认为该像素可能为目标上的一点，反之则认为是背景像素图。阈值的大小是由经验值确定的，在不同的环境条件下，阈值不是固定的，所以简单的给定阅值的方法是不可取的。人们将分割的方法引入差分图像的二值化处理问题中，希望通过分割算法能够自动选取合适的闽值将差分图像分成目标与背景两类。如kim等采用自适应阈值分割法40。它首先假定差分图像的直方图是三个加权单峰高斯模型混合而成

41、，那么差分图像的混合概率密度函数为：（3.5）公式（3.5）中，为差值数量，为单高斯模型的均值，为均值的标准差。这样阈值问题变成了寻找和划分三个高斯模型。由于是差分图像，255，255，阈值出现在两个模型的交叉点上或者说是两峰之间的谷底。由于对称性，=，=。公式（3.5）所示的求阈值的方法很有效，但是这种方法需要建立高斯模型，为了找出使均方误差最小的，需要遍历地对于每一个求取三组，以及最小均方误差e，计算量非常大，不利于实时检测。 本文中采用最大类间方差分割法，这是一种比较简单，使用范围较广，受到普遍欢迎的阈值选取算法41,42。最大类间方差分割法是由Ostu在最小二乘法原理的基础上推导得出的

42、。首先，如果图像的灰度级范围是0，1，2，L-1，设灰度级i的像素点个数为，图像的像素点的总数为,则第i级灰度级的出现概率就被定义为： （其中） （3.6）在最大类间方差分割方法中，阈值t把图像的像素分为和两类（分别代表目标与背景）。那么，和类出现概率及均值分别为： （3.7） （3.8） （3.9） （3.10）其中，和类的方差为： （3.11） （3.12）类间方差为： （3.13）类内方差为： （3.14）总体方差为： （3.15）引入关于t的等价判决准则函数： （3.16）最优阈值通过等价判决准则的最大值得到： （3.17）从推导中可以看出，在这个最优阈值下，公式（3.17）达到最大值

43、时，公式（3.16）的分子类内方差最大，分母类间方差最小。也就是，通过这个阈值的设定将图像分割成的运动目标和背景两类像素。尽管最大类间方差分割法同样是遍历地求取方法，为了找到使公式（3.17）达到最大值，对所有的t都要进行运算，但是这种方法比自适应阅值分割法计算量要小得多。 它有以下的优点： 1、它将差分图像取绝对值，那么所需要遍历的值的范围缩小一半。 2、它将差分值分成两类，每次求两类的均值和方差，比起三高斯模型求三组均值和方差，计算量减小三分之一。 3、自适应阈值分割法存在误判，所找的使均方误差最小的口，与模型的谷底不对应，而最大类间方差分割法总能够找到t使类间方差达到最大值从而将差分值合

44、理地分成了两类（背景与运动目标）。3.2.4 形态学滤波 二值化以后的图像为往往会含有许多孤立的点、孤立的小区域、小间隙和孔洞，为了解决阈值分割后的差分图像可能会存在这些的问题，我们使用了数学形态学图像滤波处理43。 形态学一般指生物学中研究动物和植物结构的一个分支，后来人们用数学形态学表示以形态为基础对图像进行分析的数学工具。数学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。该技术一般以二值图像为处理对象，但也可以用在某些灰度图像的应用中。基本的形态学运算是腐蚀和膨胀，腐蚀（Erosion）是消除目标图像中的无用点（或孤立噪声点）的一个过

45、程， 其结果使得剩下的目标比处理前少了一些像素。一般意义的腐蚀定义是：用来腐蚀记为定义为： （3.18）如公式（3.18）所示腐蚀过程可以描述如下：平移（x，y）后仍在集合中的结构元素参考点的集合。换句话说，用来腐蚀得到的集合是完全包括在集合中时的参考点位置的集合。膨胀（Dilation）是腐蚀运算的对偶运算（逆运算），它是将与目标接触的所有点合并到该目标的过程，过程的结果是使目标的面积增加了相应数量的像素。膨胀在填补分割后目标中的孔洞很有用。用来膨胀记为定义为： （3.19） 膨胀过程可以描述如下：用来膨胀X得到的集合雪的位移与集合至少有一个非零元素相交时结构元素的参考点位置的集合。先腐蚀后膨胀的过程称为开运算（Opening）。它具有消除细小目标、在纤细点处分离目标、平滑大的边界，而不明显改变其面积的作用。开运算的定义为： （3.20）先膨胀后腐蚀的过程称为闭运算（Closing）。它具有填充目标内部细小孔洞、连接邻近目标，在不明显改变面积的情况下平滑其边界的作用，闭运算的定义为： （3.21）通常情况下，对差分图像使用阈值分割二值化时，所得到的二值化图像中目标区域的边界往往不是平滑的，目标区域具有一定的因错判而产生的孔洞，背景区域上有一些因错判而产生的粒状噪声。