《基于MeanShift-粒子滤波的红外人体目标跟踪算法.docx》由会员分享，可在线阅读，更多相关《基于MeanShift-粒子滤波的红外人体目标跟踪算法.docx（12页珍藏版）》请在三一办公上搜索。
1、基于粒子Mean Shift迁移的红外人体目标跟踪算法本文受教育部科研重点项目基金资助，项目编号：108174云廷进 郭永彩 高 潮（重庆大学光电技术及系统教育部重点实验室，重庆，400030）摘要：提出一种基于粒子Mean Shift迁移过程的红外人体跟踪方法。算法通过采样粒子迁移和聚类动态建立目标的状态模型和量测模型。在被跟踪区域随机布撒粒子，以各粒子对应像素的亮度作为特征值进行Mean Shift收敛性分析，使用收敛后的粒子集表达目标的当前状态；以状态粒子的坐标位置为特征值对其进行Mean Shift聚类，作为对目标的量测。连续跟踪时，下一帧的采样粒子基于上一帧的量测结果产生。与传统的基
2、于序贯重要性采样的粒子滤波方法相比，算法不需要目标的相似性测度计算，仅用少数粒子即可实现对目标的可靠跟踪。关键词：粒子迁移 人体跟踪 红外图像 Mean Shift 粒子滤波引言红外图像中人体目标的跟踪困难主要来自两个方面：一是人体目标的自身特征，由于人体是非刚体目标，姿态多样，大小不一，而且运动状态复杂多变，具有高度的随意性，没有固定的运动规律，无法建立完善的运动模型表达形式；二是红外图像是灰度图像，没有色彩信息，纹理细节很少，使得目标跟踪可用的特征值较少。传统的跟踪方法如光流法是基于刚体运动目标，对于非刚体目标的跟踪受到限制1，用于人体目标跟踪时必须与其它特征相结合才能完成23；卡尔曼滤波
3、及其扩展形式等是基于线性/高斯动态系统，需要对目标的运动特征进行假设，建立目标运动模型4，如CP，CA，CV等模型，因此使其在应用于人体目标跟踪时受到一些限制。目前，用于人体目标跟踪的比较可行的算法是采用贝叶斯滤波跟踪的形式5，粒子滤波作为贝叶斯滤波的最优近似，适用于任意非线性非Gauss的随机系统，适合于人体目标的跟踪67。粒子滤波是基于仿真的统计滤波方法，需要采用大量的随机样本粒子来估计，使得运算量很大，此外还非常依赖于相似函数的选择，并面临粒子退化和粒子枯竭的问题。近年来Mean Shift算法7作为一种有效的统计迭代算法，在满足一定条件下,可快速收敛到最近的一个概率密度函数的稳态点而不
4、需要任何先验知识，实现非参数概率密度的估计，在人体等非刚体目标跟踪中得到了很好的应用8910。但由于Mean Shift跟踪方案需要使用目标的色彩空间分布作为特征值，使用跟踪区域的颜色直方图的Bhattacharyya系数进行相似性分析，对于红外人体目标来说，丢失了色彩信息，而且目标间的灰度特征都很接近，很难通过颜色直方图的Bhattacharyya系数进行匹配，传统的基于颜色的Mean Shift算法不能适用于此类跟踪任务。本文基于粒子滤波的思想，结合Mean Shift算法非参数概率密度估计的优点，使用Mean Shift 方法对粒子进行收敛性分析，使用达到稳定态的传播粒子对目标的状态进行
5、动态建模，由此，在不需要知道目标模型先验知识的基础上，不依赖于相似函数，与粒子滤波算法相比，克服了粒子退化及粒子耗尽的问题，仅用少数的粒子即可实现对人体目标进行可靠跟踪，降低了运算量。1 Mean Shift方法的简介图1 Mean Shift 迭代过程Fig.1 The iterative process of Mean Shift algorithm给定离散特征点集，核函数，则在点处的概率密度估计为： (1)事实上，在实际计算时，我们可以通过计算概率密度估计的梯度 (2)通过沿着特征空间内样本点密度梯度方向进行反复迭代搜索，使各样本点最终收敛于临近的局部密度极大点。一般的，核函数采用 (3
6、)的形式，为归一化系数，为核函数半径。常用的核函数有8等几种形式。令 ，则 (4)代入上式 (5)定义 (6)为Mean Shift向量，则的方向与概率密度估计函数的梯度方向一致。对样本集中的特征点按 (7)反复进行递推迭代，当不再变化时，即时，则收敛于概率密度函数的局部极大值。通常，我们可以放松收敛条件，当小于一定阈值时，即可认为收敛过程完成。2 跟踪模型的建立2.1 状态模型跟踪模型分为两个部分：状态模型和量测模型。假定初始目标所在的区域在图像中的位置为，对于较小目标，目标区域每个像素放置一个粒子；对于较大的目标，在目标区域按一定概率密度布撒M个随机粒子，相当于对目标的灰度分布进行抽样采样
7、，样本数为M，降低计算量。记采样粒子集合，对每个粒子使用其所在图像位置的灰度值作为特征值，使用Uniform核函数，进行Mean Shift 收敛分析。粒子在两轴向上Mean Shift向量 (8)式中、分别为所用核函数的带宽。之所以采用Uniform核，是因为对于较大的目标图像可以通过积分图像加速Mean Shift算法的执行11。当小于设定阈值时，记录收敛位置。由于红外图像中人体目标的亮度比背景亮度要高，由Mean Shift算法的收敛特性可知，所有的粒子都向附近灰度概率密度函数的局部极大值迁移，即由背景向图像中的人体目标亮度较高的位置移动。各粒子的最终收敛位置由目标的灰度分布和所选取的带
8、宽函数决定。假定所有粒子的最终收敛位置集合为，即目标的灰度密度函数的局部极大值所在位置可以用个粒子进行表达。当选取合理的带宽函数时，粒子最终收敛位置并不完全依赖于目标的外形轮廓，使用这种状态模型，当目标局部被背景遮挡时，状态模型仍然有效，只是对目标整体状态的刻画转化为对目标局部状态的刻画，对跟踪而言，只是由目标整体跟踪转化为局部跟踪，对于人体等非刚体目标具有非常好的鲁棒性。2.2 量测模型 对于目标状态的量测通过对表达目标状态的所有粒子的聚类分析实现。假定状态粒子集中第个粒子在图像中的坐标位置可以用复数向量表示，以作为特征值进行Mean Shift非监督聚类，对应的Mean Shift向量为：
9、 (9)由于粒子的坐标位置为整数，故当的绝对值取整数为零时，即可认为聚类过程完成。假定第个量测粒子的收敛位置和包含的粒子数目为,则该量测粒子相对于图像的绝对坐标值为。各粒子量测值的权重系数由其对应类别所包含的粒子数目归一化决定： (10)式中L为聚类完成后得到量测粒子总数，使用所有量测粒子坐标位置的加权平均值作为运动轨迹点坐标位置： (11)图2 为实现跟踪模型建立的实例。(a)目标图像 (b) 状态模型 (c)量测模型 (d)权系数及加权中心图2 跟踪模型的建立Fig.2 Establishing models for tracking3 目标跟踪的实现3.1 算法的执行过程在介绍算法的实现
10、方案之前，首先介绍一下粒子滤波的思想方法，关于粒子滤波的更多理论和方案请参见相关文献 12。粒子滤波的基本思想是在基于大量的量测的基础上，通过一组加权粒子的演化与传播来递推近似状态的后验概率密度函数分布，基于这些样本和权值来计算估计值。概括开来，粒子滤波主要步骤有：（1）粒子采样，产生随机量测粒子（2）权系数更新（3）相似性特征的计算。与粒子滤波策略类似，使用本文模型实现目标跟踪分为以下步骤：（1）跟踪初始化，根据目标分割识别算法或手工确定的目标所在区域，按照本文的模型建立方法，建立目标的状态模型和量测模型，存储量测粒子的坐标位置和相应权系数。（2）在下一帧图像中，以上一帧图像的量测粒子为基础
11、，对各粒子周边一定范围内的像素进行Monte Carlo采样，采样的粒子的数目由其传播系数决定，使用所有的无重复采样粒子作为本帧图像中的传播粒子。（3）对本帧图像中的传播粒子进行Mean Shift 分析，产生目标新的状态模型，并计算相应的量测模型和加权中心及对应粒子的传播系数，传递至下一帧图像。 反复执行步骤（2）（3），并计算各帧图像中的目标运动轨迹坐标，实现对目标的跟踪。3.2 传播粒子的产生控制传播粒子的采样控制直接影响到跟踪算法的性能。由于传播粒子的位置根据上一帧的量测粒子确定，每个量测粒子的权系数控制其在下一帧中产生传播粒子的数目。若量测粒子具有较大的权系数，则布撒较多的粒子，对周
12、围区域进行比较稠密的采样，通过粒子的Mean Shift迁移尽可能刻画出下一帧图像中该粒子周围的状态模式。以量测粒子为例，所产生的传播粒子集为： (12)式中为采样区域控制范围，决定了探测窗口的大小，由当前量测粒子与其最邻近的量测粒子之间的距离决定，并使用目标的大小进行宽松的约束。为目标在两轴方向上的单步移动距离估计，M为产生粒子的数目。对于连续的图像序列，针对人体目标跟踪而言，前后两帧图像中目标位移距离不会太大，可不考虑；对于等间隔不连续的图像序列，可设为固定值；在更复杂的无法估计的情况下，可采用Kalman滤波的方法，估计上一帧图像中量测粒子在当前帧中的位置取代作为粒子采样的中心位置。3.
13、3量测粒子传播系数分配策略及无效量测粒子的剔除如前所述，量测粒子的权中系数的主要作用有两个：一是用于计算当前帧图像中加权中心的位置（运动轨迹），二是决定下一帧图像中传播粒子的数目。在假定目标运动连续性的基础上，我们可以认为前后两帧图像中目标的加权中心位置偏移不会太大。因此，为使得跟踪轨迹的位置保持相对稳定，我们对量测粒子的传播系数分配在其对应权系数的基础上进行了修订，赋给上一帧量测粒子加权中心位置的粒子更大的权系数，对远离加权位置的量测粒子，由于其对加权中心的计算贡献较小，因此粒子权系数也较小，对其传播系数进行抑制。比较可靠的方法是直接将量测粒子加权中心位置作为一个新的量测粒子并赋予较大的传播
14、系数，剩余的权系数按照其与加权中心的距离的倒数进行分配。假定量测加权中心位置坐标为，量测粒子，则权系数的分配规则可为 (13)式中为距离函数。一般情况下，取值可设置在0.30.7范围内，当目标较小时，我们甚至不需要考虑其余的量测粒子，将全部的系数权值都分配给处于加权中心位置的量测粒子，即。由于传播粒子产生的随机性及目标的位移，因此基于上一帧图像中对目标的量测产生的传播粒子在当前帧完成Mean Shift迁移过程后，难免有的量测粒子游离于目标之外，需要根据一定的参量将这些量测粒子剔除。一般的在假定目标亮度比较均一且高于背景亮度的前提下，可以采用量测粒子所在位置的像素的灰度值作为测度，采用P-ti
15、le算法确定有效量测粒子对应的灰度阈值，将低于这一阈值的量测粒子作为无效粒子进行剔除，避免其在下一帧图像中进行传播，使得跟踪更加可靠并降低计算量。4实验结果及结论我们选取一个典型的视频序列作为测试对象，以检验算法的有效性。测试的红外视频来自Youtube网站 获得该序列对应的原始视频请访问：，在这段视频中，人体目标的姿态包括半蹲、爬行、匍匐、站立、下蹲、被背景遮挡等各种复杂状态的运动，并且摄像机视场也在变化。将视频分解为550帧连续图像序列，用于测试本文的算法，初始化探测窗口可手工选定，也可通过人体检测算法确定。由于视频背景内容随摄像机的移动而改变，运动轨迹没有固定的参照系而失去意义，因此未画
16、出目标运动的轨迹。抓取实验结果的第110、175、210、252、288、383、415、441、520、537帧呈现如下：第175帧第110帧第210帧第252帧第383帧第288帧第441帧第415帧第537帧第520帧图3 图像序列跟踪测试结果Fig.3 Image sequence tracking results从测试结果可以看出，本文算法对相机运动、目标大小改变、姿态变化以及目标遮挡时都能够保持可靠的跟踪。由于红外图像中人体头部的亮度较高，使用少量随机采样粒子集未将目标完全覆盖的情况下，采用图像亮度作为特征值的Mean Shift 收敛过程使得目标状态模型粒子集向目标头部迁移，因此
17、对本序列中人体目标而言，跟踪标记的位置最终稳定到头部附近。与传统的粒子滤波算法（序贯重要性采样法）相比，采用本文提出的跟踪模型方法简单，便于执行，而且只需要少量的粒子即可以完成对目标的可靠跟踪，算法的实时性非常好，克服了传统粒子滤波因防止粒子退化和粒子枯竭现象而不得不采用大量采样粒子的缺陷，并且消除了选择相似函数带来的困扰。另外，由于粒子产生机制的灵活性，算法可以在对目标整体进行跟踪和对目标身体的某个部分进行跟踪的过程自动转换，当目标身体被遮挡时仍能够对目标进行可靠跟踪，使得算法更具有鲁棒性。注意到由于随机采样粒子是基于每个目标产生，因此在多目标跟踪时，为解决新目标的出现时的跟踪问题，需要采用
18、跟踪与探测相结合的方案，并引入有限状态机技术，对目标的复杂状态（如目标互相遮挡、目标隐藏、目标消失等）进行处理。在下一步工作中，研究的重点是如何更好地控制传播粒子的产生范围和淘汰粒子时所依据参量的选择，并研究多目标跟踪时，目标相交分离后粒子的重新分配方法以及前后目标匹配的方案。参考文献1 Douglas DeCarlo and Dimitris Metaxas. Optical flow constraints on deformable models with applications to face tracking. International Journal of Computer V
19、ision, 2000, 38 (2): 99-127.2 Yamane T. Shirai, Y. Miura, J. Person tracking by integrating optical flow and uniform brightness regions. /IEEE International Conference on Robotics and Automation, Piscataway, 1998. IEEE Computer Society ,1998:32673272.3 Okada R., Shirai Y., Miura J. Tracking a person
20、 with 3-d motion by integrating optical flow and depth. /The Fourth IEEE International Conference on Automatic Face and Gesture Recognition, Grenoble, France, 2000. IEEE, 2000: 3363414 Kelly Damien, Boland Frank. Motion model selection in tracking humans. / The Proceedings of the Irish Signals and S
21、ystems Conference, Dublin, Ireland, 2006. IET, 2006:363-3685 Daniel Roth, Petr Doubek and Luc Van Gool. Bayesian pixel classification for human tracking. / IEEE Workshop on Motion and Video Computing (WACV/MOTION05),Washington, DC, USA,2005.IEEE Computer Society,2005:78-83 6 Okuma, Kenji. Ali Talegh
22、ani. Nando de Freitas. James J. Little. and David G. Lowe. A boosted particle filter: multitarget detection and tracking. /In Proceedings of ECCV 2004, Prague, Czech Republic, 2004. volume 3021 of LNCS, Springer, 2004:28-39.7 Nummiaro K., Koller-Meie E. and Van-Gool L. An adaptive color-based partic
23、le filter, International Journal of Image and Vision Computing, 2003, 21(1): 99-110.8 Comaniciu D. and Meer P. Mean shift: a robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.9 Comaniciu D., Ramesh V. and Meer P. Real-
24、time tracking of non-rigid objects using mean shift. /IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head Island, SC, USA, 2000. IEEE, 2000: 142-14910 Comaniciu D., Ramesh V. and Meer P. Kernel-based object tracking. IEEE Transaction on Pattern Analysis and Machine Intelligence,
25、2003, 25(5): 564-575.11 Beleznai C. Fruhstuck B. Bischof H. Human detection in groups using a fast mean shift procedure./ International Conference on Image Processing, Singapore, 2004(ICIP 04). IEEE, 2004: 349- 352 12 Arulampalam S., Maskell S., Gordon N., Clapp T. A Tutorial on Particle Filters for
26、 On-Line Non-Linear/Non-Gaussian Bayesian Tracking. IEEE Transactions on Signal Processing, 2002, 50(2):174-189 Human Tracking in Infrared Images based on Particles Mean-Shift Migration AlgorithmYUN Ting-jin GUO Yong-cai GAO Chao (Key Laboratory of Optoelectronic Technology and Systems of the Educat
27、ion Ministry of China, Chongqing University， Chongqing,400030，China)Abstract：A novel method based on particles mean shift migration process for human tracking in infrared images is proposed in this paper. Reference to the basic particle filtering method, the core idea of this algorithm is to establi
28、sh the objects state model and measurement model dynamically by the migrating and clustering of random sampling particles. The sampling particles are placed on the tracking window randomly and a mean shift converge process is implemented by taking the particles corresponding pixels intensity as feat
29、ure. The objects state model is expressed by the convergent particle sets. Then, another mean shift clustering process is carried out on the particles sets of the state model using their coordinates in the image as features, the clustering results are regarded as the measurement of the object. In th
30、e sequential tracking process, the sampling particles in the next frame are generated randomly based on its previous frame measurement results. Comparing with the traditional Sequential Importance Sampling (SIS) based particle filter, our tracking method doesnt need the objects likelihood criterion,
31、 which is a big problem for infrared human tracking, and the robust tracking process can be achieved only by using a few sampling particles.Key word: Particles Migration Human Tracking Infrared Image Mean Shift Particle Filtering本文受教育部科研重点项目基金资助，项目编号：108174课题英文背景介绍Infrared-image, especially the far-
32、infrared image has prominent advantage comparing with the visible-image. As a result of thermal imaging, infrared image is independent of external luminous qualification and is able to see the interested objects in dark and frog environments, which is almost impossible in visible optical imaging.Hum
33、an detection and tracking are very important issues which can provide the most active and valuable information in many occasions. The systems based on infrared imaging can almost work in any environment and all-weather conditions. It is irreplaceable in some situations and has widely potential appli
34、cations in many aspects, such as the Infrared Navigation System, the Infrared Life-Saving System, the Frontier Defense Precaution System, the Smart Surveillance System, the Night Driver-Assistance System, the Fire Rescue and Public Safety System, the Man-Machine Interface System and the Robot Vision
35、 System, etc. However, human detection and tracking in infrared images is a challengeable task from the technical viewpoint, dealing with many fields of knowledge, such as image segmentation, feature extraction, pattern recognition, object tracking etc. Since human are no-rigid complex objects, the
36、main difficulties we have to confront firstly is the un-reliability of human detection results in infrared image, caused by humans various appearance and the intrinsic properties of infrared image. Because of infrared image is gray image, no color information is available and there are some other dr
37、awbacks such as image blur, low textures. With complicated and changeable postures & appearances, it is very difficult to extract and descript human features in infrared image effectively and to distinguish them from disturbances. Secondly, humans movements are very subjective and unbending; there a
38、re no routines to recapitulate them. Meanwhile, the movements also accompany with human postures and appearances change , the tracking methods used in rigid objects are not suitable for human tracking. Thirdly, being short of features for tracking, some excellent human tracking algorithms based on c
39、olor information and textures cant work efficiently for infrared human tracking. Currently, the main research on this field is focused on pedestrian detection and tracking, mainly used in surveillance and night driver-assistance in cases of human are mostly walking upright. Actually, humans motion m
40、anners are much more complex than description, so tracking human of arbitrary status is almost an impossible mission exactly. This paper is a part of the key research project of “Human Motion Object Recognition based on Infrared Images ” founded by China Education Ministry(No. 108174), in this proje
41、ct, we have some achievements on human segmentation and recognition in infrared images. The algorithm proposed in this paper is mainly to solve the tracking problem of humans abnormal movements. The experiments results show that particles mean-shift migration algorithm we proposed is independent on
42、any complicated movement manner of human. Furthermore, viewing from the implementation process of the algorithm, it is very suitable for parallel computing, popularly named “The Cloud Computing”. 作者简介：云廷进，男，1978年5月生人，重庆大学光电工程学院精密仪器与机械专业博士研究生，主要的研究方向为计算机视觉，图像/视频处理，目标识别和目标跟踪。Email: yuntingjinYUN Ting-
43、jin was born in May, 1978. He is working toward the Ph. D. degree in Precision Instrument and Machinery at College of Opto-electronic Engineering of Chongqing University. His research interests include computer vision, image/video processing, object recognition and object tracking. 郭永彩，女，1963年生，博士，教
44、授、博导。主要从事光电技术及系统，数字信号处理方面的教学与科研工作。Email: ycguoGUO Yong-cai, was born in 1963,Ph.D.,professor and Ph. D. supervisor of the Institute of Opto-electronic Engineering, Chongqing University. Her current research interests include digital signal processing , opto-electronic technology and system.高潮，男，1959
45、年生，博士，教授、博导。主要从事电子技术、计算机信息处理及精密测控领域的教学与科研工作。Email: gaocGAO Chao, was born in 1959, Ph.D., professor and Ph. D. supervisor of the Institute of Opto-electronic Engineering, Chongqing University. His current research interests include electronic technology, precision measurement & control.修改说明（1） 对中英文摘要进行了修订。（2） 对文中的措辞进行了修改和完善。（3） 通篇看来，原来的第3.2节与文章的总体关系不密切，在保持文章的连续性的基础上对其删除。（4） 对实验结果展示的图像序列进行了精简，调整了图片的大小，同时在不影响结果展示的基础上删除了部分图片，将帧号使用文本框叠加在原图上（白色字体）进行组合，便于编辑老师在重新灌版时进行调整修改。（5） 对参考文献进行了格式修正联系人：云廷进 电话：13594026423 Email: yuntingjin若暑假期间需要进行书信联系，收信人请同时添加 郭永彩 老师单位：重庆大学光电工程学院 通讯地址：重庆大学A区主教学楼1310室 邮编：400030
