《自动化毕业设计：运动图像和运动矢量检测综述分析研究.doc》由会员分享，可在线阅读，更多相关《自动化毕业设计：运动图像和运动矢量检测综述分析研究.doc（25页珍藏版）》请在三一办公上搜索。
1、毕业设计(论文)文献翻译学生姓名： XXX 学 号： 0000000000 所在学院： 自动化学院 专 业： 自 动 化 中文译文题目： 运动图像和运动矢量检测综述分析研究 英文原文题目： A survey on motion amage and the search of motion vect 指导教师： XXXXXX 经过运动检测，监控系统一般会在图像序列中一帧一帧地跟踪着运动目标。跟踪算法在处理过程中通常会与运动检测有很大的交叉。跟踪通常需要使用诸如点，线或块特征来匹配连续帧的目标。常用的数学工具有卡尔曼滤波，Condensation算法，动态贝叶斯网络，测地线法等。跟踪方法可分为四大
2、类：基于区域的跟踪，基于动态轮廓的跟踪，基于特征跟踪和基于模型的跟踪。应当指出，这种分类不是绝对的，在不同类别的算法可以集成在一起。 A、基于区域的跟踪 基于区域的跟踪算法跟踪目标是以移动目标对应的图像区域变化为根据的。对于这些算法，背景图像是保持动态的，运动区域通常由背景相差法检测到。Wren等。利用小区域特征进行室内单人的跟踪。文中将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成， 利用高斯分布建立人体和场景的模型， 属于人体的像素被规划于不同的身体部分， 通过跟踪各个小区域块来完成整个人的跟踪。最近，McKenna等在中利用色彩和梯度信息建立自适应的背景模型， 并且利用背景减除
3、方法提取运动区域， 有效地消除了影子的影响； 然后， 跟踪过程在区域、人、人群三个抽象级别上执行， 区域可以合并和分离， 而人是由许多身体部分区域在满足几何约束的条件下组成的， 同时人群又是由单个的人组成的， 因此利用区域跟踪器并结合人的表面颜色模型， 在遮挡情况下也能够较好地完成多人的跟踪。至于基于区域的车辆跟踪方面也有一些典型的系统，像美国联邦航空管理局（联邦公路管理局）CMS动员系统支持系统和由Berkeley组开发的喷气推进系统等实验室（JPL）和PATH系统。 虽然他们在只包含几个对象（如公路）工作很有成效，基于区域的跟踪算法不能可靠地处理对象之间的遮挡的情景。此外，由于这些算法只能
4、获得在该区域的跟踪结果，实质上是对运动检测，轮廓或三维程序构成的对象不能被实现。（三维目标的构成包括了定位与定向）。因此，这些算法不能满足严密监视零乱的背景或多个移动对象的要求。 B. 基于活动轮廓的跟踪基于活动轮廓的跟踪算法是利用封闭的曲线轮廓来表达运动目标， 并且该轮廓能够自动连续地更新。这些算法的目的是直接提取形状的科目，并提供比基于区域算法更有效的描述。 Paragios等在中利用短线程的活动轮廓， 结合Level Set 理论在图像序列中检测和跟踪多个运动目标。Peterfreund采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动目标。Isard等在中利用随机微分方程去描述复杂的运动模
5、型， 并与可变形模板相结合应用于人的跟踪。Malik等在中已成功地应用于主动轮廓的方法进行车辆跟踪。相对于以区域为基础的跟踪算法，主动轮廓线的算法描述对象更加简便，更有效地降低计算复杂度。即使在干扰或部分遮挡，这些算法仍可连续跟踪对象。但是，跟踪精度是有限的轮廓水平。在三维状态下，从它在图像平面轮廓对象的恢复是一个要求很高的问题。另一个困难是，活动轮廓的算法是高度敏感的跟踪初始化，因此初始化跟踪很困难的。 C.基于特征的跟踪 基于特征的跟踪算法通过对象提取的元素进行识别和跟踪，集群向更高层次的功能，然后匹配图像间的特征。基于特征的跟踪算法可以根据所选功能性质进一步分为三个类别：基于整体特征的算
6、法，基于局部特征的算法，和基于依赖图形的算法。 基于整体特征的算法的特征包括质心，周长，面积和颜色等。Polana等在33中提供一个很好的基于整体特征的跟踪例子。将每个人用一个矩形框封闭起来， 封闭框的质心被选择作为跟踪的特征； 在跟踪过程中若两人出现相互遮挡时， 只要质心的速度能被区分开来，跟踪仍能被成功地执行。 基于局部特征的跟踪算法的特征包括线段，曲线段和角顶点等。 基于图形的算法的特征包括各种间距和特征间的几何关系。 以上三种方法可以结合起来。Jang在中利用区域的形状、纹理、色彩和边缘特征信息建立了活动模板， 结合卡尔曼滤波的预测方法， 使特征匹配能量函数最小化来完成运动目标的跟踪过
7、程， 该活动模型对于非刚性目标的跟踪具有很好的自适应性。一般来说，根据他们对二维图像的作用，基于特征的跟踪算法可以成功地运用并能迅速进行实时处理跟踪像高速公路需要多目标的场景等，但由于他们需要更多时间来搜索和图形匹配，基于图像跟踪的算法不能用于实时跟踪。基于特征的跟踪算法可以处理通过使用目标运动信息，局部特征和依赖图表方法处理部分遮挡。然而，基于特征的跟踪算法也有几个严重缺陷。 随着透视投影非线性失真和运动视点变化，基于2D目标特征的识别率会变得很低。 这些算法一般无法恢复三维目标形状。 在处理遮挡的稳定性中，相互重叠和不相关性上性能很差。 D.基于模型的跟踪 基于模型的跟踪算法跟踪目标是通过
8、项目对象模型与图像数据匹配事先预测。这些模型通常是由离线手工测量，CAD工具或计算机视觉技术路线构建。作为基于模型的刚性目标跟踪和基于模型非刚性目标跟踪有很大不同，我们分别研究基于模型的人体跟踪（非刚性目标跟踪）和基于模型的车辆追踪（刚性目标的跟踪）。 1.基于模型的人体跟踪：对于基于模型的人体跟踪的一般方法被称为分析的合成，它被用于预测匹配更新类型。首先，根据事先预测和全程轨迹预测下一个帧，然后，综合预测模型和预测到的图像数据与图像平面进行比较。通过一个特殊的估值函数来衡量预测模型和图像数据之间的相似性。根据不同的搜索策略，或是递归或是抽样方法，直到找到正确的构成并用于更新这个模型。对第一帧
9、估计需要特殊处理。一般来说，基于模型的人体跟踪涉及三个主要问题： 人体模型的构成； 运动模型和运动约束的事先预测的表示形式； 预测和搜索策略。在这三个问题上的前人工作是简要的，并分别回顾如下。 A.人体模型：人体模型的构建是基于人体跟踪。一般来说，越复杂的人体模型会得到越准确的跟踪结果，但却需要更高的计算成本。一般情况下，人体几何结构可以由以下四个方式来表示。 线图法。人类运动的本质通常包括躯干，头部和四肢，因此线图法是通过线和环节连接关节支来代表人体各部分。 Karaulova等在25中用线图法使用隐马尔可夫模型（HMM模型）建立了人体运动学的分层模型，实现了在单目图像序列中跟踪人体的独立视
10、点。二维轮廓。该方法的使用直接与人体在图像中的投影有关，如Ju等在26中提出了一种纸板人模型，它将人的肢体用一组连接的平面区域块来表达， 该区域块的参数化运动受关节运动(articulated movement) 的约束。 Niyogi等在27中利用在XYT空间使用空间时间模式来跟踪，分析和识别移动的目标。利用时空切片方法进行人的跟踪: 首先观察由人的下肢轨迹所产生的时空交织模式， 然后在时空域中定位头的运动投影，接下来识别其它关节的轨迹，最后利用这些关节轨迹勾画出一个行人的轮廓.立体模型。二维模型主要缺点是它们受视角限制。为了克服这一缺点，许多研究人员利用广义锥台、椭圆柱、球、二次曲面等三维
11、模型来描述人体的结构细节， 因此要求更多的计算参数和匹配过程中更大的计算量。Rohr使用14 个椭圆柱体模型来表达人体结构。Wachter等在中利用椭圆锥台建立三维人体模型。 层次模型。 Plankers等在中为实现更精确的结果提出层次人体模型。它包括四个层次：骨架，椭圆球体模拟脂肪粒，多边形表面代表皮肤和阴影渲染。 B.运动模型：人类的四肢和关节运动模型常被用来跟踪。由于肢体动作严格受到限制，它们还是很有效的。这些事先预测的运动模型是用来预测运动参数，去解释和识别人的行为，或是限制低层次的图像测量估计。例如，Bregler分解成多个抽象的人类行为，并在低阶段兴建HMM模型代表高水平抽象用于跟
12、踪和识别。Zhao等人106提出用最小描述长度为芭蕾舞高度结构化的运动模式功能（MDL）的范例。这个模型的模式类似于有限状态机（FSM）。多变量主成分分析（MPCA方法）是用来训练Sidenbladh等人走路的模式。同样，Ong等。采用分层PCA学习他们的运动模式，是基于在全球eigensapce不同子空间上的转移概率矩阵和全局特征空间之间的转移概率矩阵。Ning等在文献7中，汲取半自动获得训练样例和使用高斯分布来表示模型。 搜索策略，对那些在高维体配置空间估计上是很困难的，所以，搜索策略往往需精心设计，以减少解空间。一般来说，有主四个要类别的检索策略：动态，泰勒模型，卡尔曼滤波和随机抽样。动
13、态策略的使用适用于被跟踪对象的刚性目标的三维模型。作为探视信息，它主要是平衡三维模型和造成的实际对象之间构成差异最小化。对泰勒模式为基础的战略，逐步改善现有的估计，使用观察运动参数的差异来预测更好的搜索方向。虽然它能发现局部极小值，但不能保证找到全局最低。作为一个递归线性估计，卡尔曼滤波能彻底处理了在相对混乱的实时跟踪的形状和位置的运动参数的密度，并可以良好的好以高斯建模。为了处理运动参数的概率密度函数的多式联运和非高斯引起混乱，随机取样策略，如马尔可夫链蒙特卡洛，遗传算法，和压缩算法，都设计各种假说解决这些问题。其中随机取样的视觉跟踪战略和压缩是最流行的。 基于模型的车辆追踪：对于基于模型的
14、车辆跟踪，主要是使用三维线框车辆模型。雷丁大学（University of Reading）研究小组，在模式识别国家重点实验室(NLPR)和德国卡尔斯鲁厄大学（University of Karlsruhe）大学的研究小组对基于三维模型为基础的车辆定位和跟踪方面做出了重要贡献。 雷丁大学研究小组采用了三维线框车型。在文献中，Tan等根据该车辆只限于在地面上移动，提出了地平面约束（GPC）。因此，车辆的自由度从6个降低到3个。这大大降低了为寻找最优姿势的计算成本。此外，在弱透视投影假设下，构成参数分解为两个独立的部分：平移参数和旋转参数。Tan等在中提出了一种广义霍夫变换算法来估计车辆的构成部分
15、的一个特征线段。此外，Tan等在121中分析了一维图像梯度关系，并通过表决确定该车辆形状。至于车辆形状的改进，雷丁大学的研究小组已经从过去的工作方法中找到一种利用独立的一维搜索。最近，Pece等在介绍估计车辆构成统计牛顿法。 在模式识别国家重点小组延长雷丁大学研究小组的工作。Yang等人在中提出了一种新的三维模型为基础的车辆定位算法，直接将图像中的边缘点作为特征，边缘点和预测模型匹配程度之间的自由度是通过评价函数测量的。Lou等在174中提出一种基于扩展卡尔曼滤波车辆跟踪算法的改进算法。在算法中需要考虑方向盘的转向与前后轮距离。由于这跟控制车辆的运动的驾驶员和假定动态模型有直接关系，在进行复杂
16、的动作行为时改进的扩展卡尔曼滤波性能优于传统的扩展卡尔曼滤波的性能。 Karlsruhe 小组采用三维线框车型。在图像的算法使用边缘作为特征。车辆初始值是获得在图像和预测模型中各部分之间的通信。通信是依靠使用视点一致约束和一些聚类规则。车辆最高后验（MAP）的位置，估计是包含使用的Levenberg - Marquardt优化技术。 该算法是数据驱动的和取决于边缘检测的准确性。Kollnig等在文献中也提出了基于图像梯度的一种算法，它是一种在图像中产生的虚拟梯度散布周围的线段高斯分布的算法。根据假设，即在每一个像点真正梯度是一个虚拟的梯度和高斯白噪声之和，可估计造成使用扩展卡尔曼滤波器（EKF
17、）的参数。此外，Haag等在中综合Kollning等基于图像梯度与基于光流的算法，该方法使用的图像功能的社区评估图像梯度。然而，光流上使用图像特征的全球信息，横跨利息率（ROI），整个地区的一体化。因此，梯度和光流是信息的补充来源。 以上回顾了基于模型的人体跟踪和基于模型的车辆跟踪。相比其他跟踪算法，基于模型的跟踪算法具有以下主要优点。 通过使对三维轮廓或对象的表面进行事先预测，该算法在本质上是强健的。即使在（包括自身遮挡）或附近的图像运动之间的干扰的情景下，该算法可以取得更好的效果。 就基于模型的人体跟踪而言，人体结构，人体运动的限制，和其他事先预测可以融合。 就基于三维模型的追踪而言，通过
18、摄像机标定坐标建立对应关系二维几何图像坐标和三维全局坐标，算法自然需要目标的三维形态。 即使在目标有极大地方向改变的运动情形下，基于三维模型的跟踪算法也可应用。当然，基于模型的跟踪算法也有一些缺点如在建模必要性和高计算成本等。A SURVEY ON MOTION IMAGE AND THE SEARCH OF MOTION VECTORAfter motion detection, surveillance systems generally track moving objects from one frame to another in an image sequence. The tra
19、cking algorithms usually have considerable intersection with motion detection during processing. Tracking over time typically involves matching objects in consecutive frames using features such as points, lines or blobs. Useful mathematical tools for tracking include the Kalman filter, the Condensat
20、ion algorithm, the dynamic Bayesian network, the geodesic method, etc. Tracking methods are divided into four major categories: region-based tracking, active-contour-based tracking, feature based tracking, and model-based tracking. It should be pointed out that this classification is not absolute in
21、 that algorithms from different categories can be integrated together.A. Region-Based TrackingRegion-based tracking algorithms track objects according to variations of the image regions corresponding to the moving objects. For these algorithms, the background image is maintained dynamically, and mot
22、ion regions are usually detected by subtracting the background from the current image. Wren et al. explore the use of small blob features to track a single human in an indoor environment. In their work, a human body is considered as a combination of some blobs respectively representing various body
23、parts such as head, torso and the four limbs. Meanwhile, both human body and background scene are modeled with Gaussian distributions of pixel values. Finally, the pixels belonging to the human body are assigned to the different body parts blobs using the log-likelihood measure. Therefore, by tracki
24、ng each small blob, the moving human is successfully tracked. Recently, McKenna et al. 11 propose an adaptive background subtraction method in which color and gradient information are combined to cope with shadows and unreliable color cues in motion segmentation. Tracking is then performed at three
25、levels of abstraction: regions, people, and groups. Each region has a bounding box and regions can merge and split. A human is composed of one or more regions grouped together under the condition of geometric structure constraints on the human body, and a human group consists of one or more people g
26、rouped together. Therefore, using the region tracker and the individual color appearance model, perfect tracking of multiple people is achieved, even during occlusion. As far as region-based vehicle tracking is concerned, there are some typical systems such as the CMS mobilized system supported by t
27、he Federal Highway Administration (FHWA), at the Jet PropulsionLaboratory (JPL), and the PATH system developed by the Berkeley group.Although they work well in scenes containing only a few objects (such as highways), region-based tracking algorithms cannot reliably handle occlusion between objects.
28、Furthermore, as these algorithms only obtain the tracking results at the region level and are essentially procedures for motion detection, the outline or 3-D pose of objects cannot be acquired. (The 3-D pose of an object consists of the position and orientation of the object).Accordingly, these algo
29、rithms cannot satisfy the requirement for surveillance against a cluttered background or with multiple moving objects.B. Active Contour-Based TrackingActive contour-based tracking algorithms track objects by representing their outlines as bounding contours and updating these contours dynamically in
30、successive frames. These algorithms aim at directly extracting shapes of subjects and provide more effective descriptions of objects than region-based algorithms. Paragios et al. detect and track multiple moving objects in image sequences using a geodesic active contour objective function and a leve
31、l set formulation scheme. Peterfreund explores a new active contour model based on a Kalman filter for tracking nonrigid moving targets such as people in spatio-velocity space. Isard et al. adopt stochastic differential equations to describe complex motion models, and combine this approach with defo
32、rmable templates to cope with people tracking. Malik et al. have successfully applied active contour-based methods to vehicle tracking. In contrast to region-based tracking algorithms, active contour-based algorithms describe objects more simply and more effectively and reduce computational complexi
33、ty. Even under disturbance or partial occlusion, these algorithms may track objects continuously. However, the tracking precision is limited at the contour level. The recovery of the 3-D pose of an object from its contour on the image plane is a demanding problem. A further difficulty is that the ac
34、tive contour-based algorithms are highly sensitive to the initialization of tracking, making it difficult to start tracking automatically.C. Feature-Based TrackingFeature-based tracking algorithms perform recognition and tracking of objects by extracting elements, clustering them into higher level f
35、eatures and then matching the features between images. Feature-based tracking algorithms can further be classified into three subcategories according to the nature of selected features: global feature-based algorithms, local feature-based algorithms, and dependence-graph-based algorithms. The featur
36、es used in global feature-based algorithms include centroids, perimeters, areas, some orders of quadratures and colors, etc. Polana et al. provide a good example of global feature-based tracking. A person is bounded with a rectangular box whose centroid is selected as the feature for tracking. Even
37、when occlusion happens between two persons during tracking, as long as the velocity of the centroids can be distinguished effectively, tracking is still successful. The features used in local feature-based algorithms include line segments, curve segments, and corner vertices, etc. The features used
38、in dependence-graph-based algorithms include a variety of distances and geometric relations between features.The above three methods can be combined .In there cent work of Jang et al. 34, an active template that characterizes regional and structural features of an object is built dynamically based o
39、n the information of shape, texture, color, and edge features of the region. Using motion estimation based on a Kalman filter,the tracking of a nonrigid moving object is successfully performed by minimizing a feature energy function during the matching process.In general, as they operate on 2-D imag
40、e planes, feature-based tracking algorithms can adapt successfully and rapidly to allow real-time processing and tracking of multiple objects which are required in heavy thruway scenes, etc. However, dependence-graph-based algorithms cannot be used in real-time tracking because they need time-consum
41、ing searching and matching of graphs. Feature-based tracking algorithms can handle partial occlusion by using information on object motion, local features and dependence graphs. However, there are several serious deficiencies in feature-based tracking algorithms. The recognition rate of objects base
42、d on 2-D image features is low, because of the nonlinear distortion during perspective projection and the image variations with the viewpoints movement. These algorithms are generally unable to recover 3-D pose of objects. The stability of dealing effectively with occlusion, overlapping and interfer
43、ence of unrelated structures is generally poor.D. Model-Based TrackingModel-based tracking algorithms track objects by matching projected object models, produced with prior knowledge, to image data. The models are usually constructed off-line with manual measurement, CAD tools or computer vision tec
44、hniques. As model-based rigid object tracking and model-based no rigid object tracking are quite different, we review separately model-based human body tracking (no rigid object tracking) and model-based vehicle tracking (rigid object tracking).1.Model-Based Human Body Tracking:The general approach
45、for model-based human body tracing is known as analysis-by-synthesis, and it is used in a predict-match-update style. Firstly, the pose of the model for the next frame is predicted according to prior knowledge and tracking history. Then, the predicted model is synthesized and projected into the imag
46、e plane for comparison with the image data. A specific pose evaluation function is needed to measure the similarity between the projected model and the image data. According to different search strategies, this is done either recursively or using sampling techniques until the correct pose is finally
47、 found and is used to update the model. Pose estimation in the first frame needs to be handled specially. Generally, model-based human body tracking involves three main issues: Construction of human body models； Representation of prior knowledge of motion models and motion constraints； Prediction an
48、d search strategies. Previous work on these three issues is briefly and respectively reviewed as follows.AHuman body models: Construction of human body models is the base of model-based human body tracking. Generally, the more complex a human body model, the more accurate the tracking results, but the more expensive the computation. Traditionally, the geometric structure of human body can be represented in the following four styles. Stick figure. The essence of human motion is typically contained in the movements of the tor
