《第7章运动视觉分析X.ppt》由会员分享，可在线阅读，更多相关《第7章运动视觉分析X.ppt（50页珍藏版）》请在三一办公上搜索。
1、1,第7章 运动视觉分析,7.1运动分类和表达7.2运动估计和检测 7.3 运动目标分割 7.4 运动目标跟踪,2,7.1 运动分类和表达,1.运动分类图象：前景（目标）和背景 图象序列：前景运动和背景运动前景运动：局部运动目标在场景中的自身运动背景运动：全局运动或摄象机运动摄象机的运动所造成的帧图象内所有点的整体移动,3,7.1 运动分类和表达,1.运动分类运动：沿时间轴的变化短时运动分析仅使用若干帧（常为两三帧），获得瞬时运动场以得到对运动较为精确的估计 长时运动分析使用几十到上百帧获得长期运动的累积结果,4,7.1 运动分类和表达,2.运动矢量场表达 运动既有大小也有方向运动矢量用（有起
2、点）无箭头的线段（线段长度与矢量大小即运动速度成正比）来表示，并叠加在原始图象上逐块进行,5,7.1 运动分类和表达,3.运动直方图表达目标运动常比摄象机运动更不规范运动矢量方向直方图将从0度到360度的运动方向划分成若干个间隔，把运动矢量场上每一点的数据归到与它的运动方向最为接近的间隔,6,7.1 运动分类和表达,3.运动直方图表达运动区域类型直方图根据参数模型描述各个运动区域对运动模型进行分类 统计各个运动区域 满足不同运动模型 的象素数量,7,7.1 运动分类和表达,4.运动轨迹表达表达了目标在运动过程中的位置信息由一系列关键点和一组在这些关键点间进行插值的函数构成,8,7.1 运动分类
3、和表达,4.运动轨迹表达插值函数p：时间轴一点，vp：运动速度，ap：运动加速度 零次函数：一次函数：两次函数：,9,7.2 运动估计和检测,对整个场景中的运动信息或运动矢量的检测7.2.1利用图象差的运动检测7.2.2利用时-空梯度估计光流场7.2.3基于模型的运动检测7.2.4频率域运动检测,10,7.2.1 利用图象差的运动检测,1.差图象的计算算术运算：一般用于灰度图象(1)加法：记为p+q(2)减法：记为p q(3)乘法：记为p q（也可写为pq和p q）(4)除法：记为p q,11,7.2.1 利用图象差的运动检测,1.差图象的计算逻辑运算：一般用于二值图象(1)与（AND）：记为
4、p AND q（也可写为pq）(2)或（OR）：记为p OR q（也可写为p+q）(3)补（COMPLEMENT）：记为NOT q（也可写为),12,7.2.1 利用图象差的运动检测,1.差图象的计算通过逐象素比较可直接求取前后两帧图象之间的差别差图象不为零处表明该处的象素发生了移动算术运算逻辑运算,13,7.2.1 利用图象差的运动检测,1.差图象的计算设在时刻 ti 和 tj 采集到两幅图象 f(x,y,ti)和 f(x,y,tj)，则据此可得到差图象：差图象为1时的不同情况：如：f(x,y,ti)是一个运动目标的象素而 f(x,y,tj)是一个背景象素、是同一个 运动目标但不同位置的象素
5、?,灰度阈值,14,7.2.1 利用图象差的运动检测,1.差图象的计算灰度差异显著性的判别：似然比各 m 和 s 分别是在时刻 ti 和 tj 采集到两幅图象的对应观测窗口中的均值和方差，Ts 是显著性阈值,15,7.2.1 利用图象差的运动检测,2.累积差图象的计算累积差图象ADI（accumulative difference image）,16,7.2.1 利用图象差的运动检测,2.累积差图象的计算ADI有三个功能：(1)ADI中相邻象素值间的梯度关系可用来估计目标移动的速度矢量，这里梯度的方向就是速度的方向，梯度的大小与速度成正比(2)ADI中象素的个数（值）可帮助确定运动目标的尺寸和
6、移动的距离(3)ADI中包含了目标运动的全部历史资料，有助于检测慢运动和尺寸较小目标的运动,17,7.2.1 利用图象差的运动检测,2.累积差图象的计算三种ADI图象：(1)绝对(2)正(3)负,18,7.2.1 利用图象差的运动检测,2.累积差图象的计算由ADI图象获得的信息：(1)正ADI图像中的非零区域面积等于运动目标的面积(2)正ADI图像中对应运动目标的位置也就是运动目标在参考图中的位置(3)当正ADI图像中的运动目标移动到与参考图中的运动目标不重合时，正ADI图像停止计数(4)绝对ADI图像包含了正ADI图像和负ADI图像中的所有目标区域(5)运动目标的运动方向和速度可分别根据绝对
7、ADI图像和负ADI图像来确定,19,7.2.2 利用时-空梯度估计光流场,1.光流方程时刻t：一个图象点在(x,y)处时刻t+dt：该图象点移动到(x+dx,y+dy)用泰勒级数展开，令dt 0，,20,7.2.2 利用时-空梯度估计光流场,1.光流方程灰度时间变化率是灰度空间变化率与该点空间运动速度的乘积,21,7.2.2 利用时-空梯度估计光流场,2.最小二乘法光流估计在连续两幅图象f(x,y,t)和f(x,y,t+1)上取具有相同u和v的同一个目标上的N个不同位置的象素,22,7.2.3 基于模型的运动检测,1.运动模型通用模型 6参数仿射模型8参数双线性模型,23,7.2.3 基于模
8、型的运动检测,2.基于双线性模型的全局运动检测求出一组（大于4个）运动矢量观测值获得8个方程解8个参数,24,7.2.4 频率域运动检测,借助傅里叶变换把检测转到频率域(1)对平移的检测根据傅里叶变换 借助平移性质,25,7.2.4 频率域运动检测,(1)对平移的检测相位角之差考虑到傅里叶变换的分离性 dqx(u)和dqy(v)分别为 f(x,y,tk)和 f(x,y,tk+1)在 X 轴上和 Y 轴上投影的傅里叶变换的相位角之差,26,7.2.4 频率域运动检测,(2)对旋转的检测借助傅里叶变换功率谱进行图象中的直线模式在傅里叶功率谱中对应过频谱原点的直线模式在Pk(u,v)和Pk+1(u,
9、v)中分别搜索对应的过原点的直线模式，再计算夹角,27,7.2.4 频率域运动检测,(3)对尺度变化的检测图象空间的尺度变化对应傅里叶变换域中频率高低的变化1)搜索方向相同的直线模式Lk和Lk+12)将Lk投影到Pk+1(u,v)上，得到Lk如果S 1，表明目标图象尺寸增加了S倍,28,7.3 运动目标分割,视频图象是3-D图象：f(x,y,t)时间分割：分解为时间片段（常为镜头）空间分割：把独立运动的目标逐帧检测出来 7.3.1运动目标分割和运动信息提取7.3.2Horn-Schunck算法7.3.3映射参数估计,29,7.3.1 运动目标分割和运动信息提取,三种策略(1)先分割之后再计算运
10、动信息先获得区域边界，再估计区域运动模型(2)先计算运动信息再分割先计算全图运动矢量场，再分割运动矢量场(3)同时计算运动信息和进行分割比较复杂，需要相当大的计算量,30,7.3.2 Horn-Schunck算法,1.求解光流方程？：一个方程，两个未知量(u,v)光流误差eof：运动矢量场中不符合光流 方程的部分要使eof在整个帧内的平方和达到最小,31,1.求解光流方程速度场梯度误差要使整个运动矢量场尽可能趋于平滑 Horn-Schunck法同时考虑两种约束,7.3.2 Horn-Schunck算法,32,2.对算法的讨论孔径问题：模板尺寸有限而产生的问题只能确定法线分量（与边缘垂直），而无
11、法确定与边缘平行的分量？算法的计算量常很大，一般基于该算法的运动信息提取通常只能做到离线的非实时处理,7.3.2 Horn-Schunck算法,33,2.对算法的讨论当运动的矢量有较大幅度时，逼近结果的误差也同样会较大(1)用位移帧差项代替光流误差项eof(2)用平均梯度代替偏导 f/x，f/y,7.3.2 Horn-Schunck算法,34,3.带全局运动补偿的算法获得局部物体引起的运动矢量具体步骤(1)设图象中所有点的初始局部运动矢量为零(2)根据全局运动模型计算每一点的全局运动矢量(3)计算每个象素点的实际运动矢量,7.3.2 Horn-Schunck算法,35,3.带全局运动补偿的算法
12、(4)计算该点运动矢量的修正值(5)如果 的幅度大于某一阈域值T，令并转到步骤(3)；否则结束计算,7.3.2 Horn-Schunck算法,36,7.3.3 映射参数估计,基于参数和模型的基本原理每个独立的运动都可准确地用一组映射参数来描述设有K组参数矢量（对应K个独立的运动目标），每一组在各个象素处定义一个光流矢量由映射参数定义的光流矢量称为基于模型的或合成的光流矢量分割是对在每个位置最接近的估计光流矢量赋一个合成光流矢量标号,37,7.3.3 映射参数估计,直接哈夫变换6参数仿射流模型如果知道在3个或更多个点的光流，就可以将a1,a2,a3,a4,a5,a6解出来用每个光流矢量v(x)=
13、v1(x)v2(x)T对一组量化的参数投票以最小化1(x)=v1(x)a1 a2x1 a3x22(x)=v2(x)a4 a5x1 a6x2,38,7.3.3 映射参数估计,利用改进的哈夫变换第一步，将相接近的光流矢量集合组成与单个参数集相一致的元素例：将参数空间分成两个不重合的集合a1,a2,a3 a4,a5,a6以进行两次哈夫变换例：利用多分辨率哈夫变换 第二步，将第一步得到的最一致的元素在最小均方意义下合并以组成相关片段,39,7.4 运动目标跟踪,跟踪需要对目标位置进行估计：估计就是根据测量得出的与状态 有关的数据：,解算出 的计算值,前面的量测在t0,t1 时间范围内，若估计值的时间为
14、tt=t1,称为估计;tt1,称为预测;tt1,称为平滑,40,7.4 运动目标跟踪,卡尔曼滤波 但目标的位置,速度,加速度的测量值往往在任何时候都有噪声.卡尔曼滤波利用目标的动态信息,设法去掉噪声的影响,得到一个关于目标位置的好的估计。Kalman滤波只能处理高斯分布的概率问题，不能处理物体的相似性问题。粒子滤波 源于Montecarlo的思想，即以某事件出现的频率来指代该事件的概率。因此在滤波过程中，需要用到概率如P(x)的地方，一概对变量x采样，以大量采样的分布近似来表示P(x)。因此，采用此一思想，在滤波过程中粒子滤波可以处理任意形式的概率。,41,7.4.1 卡尔曼滤波,42,7.4
15、.1 卡尔曼滤波,43,7.4.1 卡尔曼滤波,房间测量温度平均值为25度，有标准偏差，为图中蓝线,44,7.4.1 卡尔曼滤波,EKF滤波器：使用一阶泰勒展开逼近非线性项，使用高斯分布近似状态分布；UKF滤波器：使用少数几个sigma点样本，逼近到非线性泰勒展开的二次项,45,7.4.2 粒子滤波,1）初始化阶段-提取跟踪目标特征该阶段要人工指定跟踪目标，程序计算跟踪目标的特征，比如可以采用目标的颜色特征。具体到Rob Hess的代码，开始时需要人工用鼠标拖动出一个跟踪区域，然后程序自动计算该区域色调(Hue)空间的直方图，即为目标的特征。直方图可以用一个向量来表示，所以目标特征就是一个N*
16、1的向量V。,46,7.4.2 粒子滤波,1）搜索阶段-放狗我们已经掌握了目标的特征，下面放出很多条狗，去搜索目标对象，这里的狗就是粒子particle。a)均匀的放：即在整个图像平面均匀的撒粒子；b)在上一帧得到的目标附近按照高斯分布来放，靠近目标的地方多放，远离目标的地方少放。每条狗怎么搜索目标呢？就是按照初始化阶段得到的目标特征(色调直方图，向量V)。每条狗计算它所处的位置处图像的颜色特征，得到一个色调直方图，向量Vi，计算该直方图与目标直方图的相似性。相似性有多种度量，最简单的一种是计算sum(abs(Vi-V).每条狗算出相似度后再做一次归一化，使得所有的狗得到的相似度加起来等于1.
17、,47,7.4.2 粒子滤波,3）决策阶段我们放出去的一条条聪明的狗向我们发回报告，“一号狗处图像与目标的相似度是0.3”,“二号狗处图像与目标的相似度是0.02”,“三号狗处图像与目标的相似度是0.0003”,“N号狗处图像与目标的相似度是0.013”.那么目标究竟最可能在哪里呢？我们做次加权平均吧。设N号狗的图像像素坐标是(Xn,Yn),它报告的相似度是Wn,于是目标最可能的像素坐标X=sum(Xn*Wn),Y=sum(Yn*Wn).,48,7.4.2 粒子滤波,4）重采样阶段既然我们是在做目标跟踪，一般说来，目标是跑来跑去乱动的。在新的一帧图像里，目标可能在哪里呢？还是让我们放狗搜索吧。
18、但现在应该怎样放狗呢？让我们重温下狗狗们的报告吧。“一号狗处图像与目标的相似度是0.3”,“二号狗处图像与目标的相似度是0.02”,“三号狗处图像与目标的相似度是0.0003”,“N号狗处图像与目标的相似度是0.013”.综合所有狗的报告，一号狗处的相似度最高，三号狗处的相似度最低，于是我们要重新分布警力，正所谓好钢用在刀刃上，我们在相似度最高的狗那里放更多条狗，在相似度最低的狗那里少放狗，甚至把原来那条狗也撤回来。这就是Sampling Importance Resampling，根据重要性重采样(更具重要性重新放狗)。,49,7.4.2 粒子滤波,4）重采样阶段既然我们是在做目标跟踪，一般
19、说来，目标是跑来跑去乱动的。在新的一帧图像里，目标可能在哪里呢？还是让我们放狗搜索吧。但现在应该怎样放狗呢？让我们重温下狗狗们的报告吧。“一号狗处图像与目标的相似度是0.3”,“二号狗处图像与目标的相似度是0.02”,“三号狗处图像与目标的相似度是0.0003”,“N号狗处图像与目标的相似度是0.013”.综合所有狗的报告，一号狗处的相似度最高，三号狗处的相似度最低，于是我们要重新分布警力，正所谓好钢用在刀刃上，我们在相似度最高的狗那里放更多条狗，在相似度最低的狗那里少放狗，甚至把原来那条狗也撤回来。这就是Sampling Importance Resampling，根据重要性重采样(更具重要性重新放狗)。,50,7.4.2 粒子滤波,MCMC改进策略：马尔科夫链蒙特卡洛方法，通过构造马尔科夫链，产生来自目标分布的样本。MCMC能将粒子移到不同的地方；UPF粒子滤波器：由UKF产生PF的重要性分布；Rao-Blackwellised粒子滤波器：对某些状态模型，采用解析的方法求解，降低了采用空间的维数,
