《利用判别显着性的跟踪课件.ppt》由会员分享，可在线阅读，更多相关《利用判别显着性的跟踪课件.ppt（48页珍藏版）》请在三一办公上搜索。
1、Histogram-based Interest Point Detectors,杨涛,作者信息,Wei-Ting Lee 李威霆Hwann-Tzong ChenAssistant ProfessorDepartment of Computer ScienceNational Tsing Hua UniversityResearch InterestsComputer Vision,Image Processing,Machine Learning,摘要,本文提出利用灰度直方图信息检测感兴趣点的新方法。与现有的对图像亮度逐点测量差异不同，本方法包括基于直方图的表示，因而能找到在邻域中不同分布的
2、图像区域。提出的检测器能够获得大尺度结构和不同纹理模式，并显示出对旋转、亮度变化、模糊的不变性。实验结果证明本方法模糊和亮度变化情况下的纹理匹配任务中表现得特别好。扩展本方法到空时感兴趣点检测可用于动作分类。,基于直方图的感兴趣点检测,对于任意给定图像块中的像素，可以将其量化成几个离散的值。假定有 阶，那么在每个像素位置，加权直方图 的第k个分量由下式计算得到：其中集合 定义围绕 的邻域窗口 是使得 的正规化因子,(1),基于直方图的感兴趣点检测,给定在像素 处有一个微小的平移 用Bhattacharyya Coefficient度量直方图 与 的相似性：二阶泰勒展开式的结果：,基于直方图的感
3、兴趣点检测,其中将（1）式代入得,其中,基于直方图的感兴趣点检测,矩阵获得像素 周围邻域的直方图结构。如果的两个特征值都很大，那么一个很小的平移，将会导致Bhattacharyya Coefficient的急剧下降，因而直方图 与直方图 非常不相似。将这样的像素称为感兴趣点。所以问题转化为与局部Bhattacharyya Coefficient相应的Hessian Matrix的特征值问题。无需显式计算特征值，可以用行列式与迹的响应函数来模拟：,提取局部不变区域用于匹配,基于直方图的图像表示颜色直方图方向梯度直方图尺度选择,实验,图像匹配,实验,图像匹配,实验,时空感兴趣点检测,Random
4、Walks on Graphs to Model Saliency in Image,作者信息（1）,Viswanath GopalakrishnanDegree Registered:Ph.D Supervisor:Asst Prof Deepu RajanResearch Title:Visual Attention Yiqun HuPh.D candidateSupervisor:Asst Prof Deepu Rajan and Chia Liang TienResearch Interests:Computer VisionNetwork TechnologyArtificial I
5、ntelligence Human Computer Interaction,作者信息（2）,Deepu Rajan Assistant Professor Division of Computing Systems School of Computer Engineering College of Engineering Nanyang Technological UniversityResearch Interests:Image and video processingcomputer vision multimedia signal processing,摘要,将显著性区域检测公式化成
6、马尔可夫随机游走问题。通过全图随机游走提取图像全局属性，通过k-regular图随机游走提取局部属性。最显著的节点是全局最孤立且落在局部最紧凑的区域。背景节点是与最显著节点“距离”最远的节点。通过最显著节点与背景节点得到显著区域。,各态历经马尔可夫链,从任意状态出发可以到达任意状态的马尔可夫链称为各态历经马尔可夫链。,6,2,1,4,3,5,假设有N个状态：转移矩阵：状态i到j的转移概率平稳条件：是1N的行向量，为N个状态的马尔可夫平稳分布，可以由 计算得到。,各态历经马尔可夫链,基本矩阵Z定义成其中I是单位阵,各态历经马尔可夫链,是当n趋于无穷大时 的极限,表示从t=0时刻出发，从状态i出发
7、返回到状态i的期望步数。表示从t=0时刻出发，从状态i出发返回到状态j的期望步数。表示从t=0时刻出发，从平稳分布出发返回到状态i的期望步数。,各态历经马尔可夫链,图表示,将一幅图像划分成若干个88的小块，每一个小块表示成一个节点（顶点），各小块之间的相似性程度是连接节点的边。,88图像块块,节点之间的连接,基于两节点的特征集相似性的边的权重,图表示,计算局部块的方向直方图，块的复杂度由直方图的熵得到：在YCbCr域中得到Cb和Cr。在尺度空间中得到五个尺度下的直方图的熵。这样得到特征向量为：,是相应于方向 的第i个bin的直方图的值,图表示,由得到的各顶点的特征向量计算权重：NN仿射矩阵 获
8、得图像特征的全局方面：所有连向节点i的权重之和：全连接的转移矩阵计算如下：可以得到：,图表示,NN仿射矩阵 获得图像特征的局部方面：表示节点i的空间邻域节点同理得到：,节点选择,最显著节点在complete graph上，其他所有节点到最显著节点的步数的期望和 应当尽可能大。在k-regular graph上，邻域节点到到最显著节点的步数的期望和 应当尽可能小。任意节点的显著性值由下式定义：最显著节点：,节点选择,图中红色区域代表最显著节点,节点选择,背景节点第一个背景节点：显然第一个背景节点选择那些本身显著值低且与最显著节点最不相似的节点。第n个背景节点：这样选择节点的目的是保证背景节点尽可
9、能inhomogenous,节点选择,图中绿色区域代表背景节点,显著性区域检测,如果一个节点到最显著节点的期望步数与到所有背景节点的期望步数之和小，那么该节点就被认为是显著区域的一部分。继续这一步骤，找到所有这样的节点，形成的区域就是显著区域。右图白色部分是检测出的显著性区域。,与其他方法的比较,未经二值化的结果,二值化后的结果,Saliency-based Discriminant Tracking,作者信息（1）,Vijay MahadevanEducation2006-present:Ph.D(EE)UCSD,La Jolla,CA.GPA:4.0.2002-2003:M.S(EE)Re
10、nsselaer Polytechnic Institute,Troy,NY,Dec.2003.GPA:3.89.1998-2002:B.Tech(EE)Indian Institute of Technology,Madras.GPA:8.73/10.00.PublicationThe discriminant center-surround hypothesis for bottom-up saliency,D.Gao,V.Mahadevan and N.Vasconcelos,Neural Information Processing Systems(NIPS),Vancouver,Ca
11、nada,2007.Background Subtraction in Highly Dynamic Scenes,V.Mahadevan and N.Vasconcelos,IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Anchorage,AK,June 2008.,Nuno VasconcelosPositionAssociate Professor at UCSD,heading the Statistical Visual Computing LaboratoryResearch interestcom
12、puter vision,statistical signal processing,machine learning,and multimedia.Awards Hellman Fellowship,2005NSF CAREER award,2005Graduate Fellowship,Junta Nacional para a Investigacao Cientifica e Tecnologica,1993-1997Graduate Fellowship,Luso-American Foundation,1991-1993,作者信息（2）,摘要,本文提出基于判别显著性的视觉跟踪框架对
13、于每一帧，将目标与背景的判别看成二值分类问题利用最大化边缘差异的原则选出对目标与背景分类起最大作用的特征通过这些特征，使用Top-down显著性检测下一帧目标的位置，完成跟踪算法的一次迭代扩展该框架，加入Bottom-up显著性模式下的运动特征能鲁棒地检测显著运动物体并且自动初始化跟踪器。,问题起源,当前比较流行的基于表观的物体跟踪方法通过学习目标表观模型，确定目标位置。缺点是未能引入背景信息。这样当背景凌乱或者目标发生形变时就制约了跟踪精度。为解决此问题，判别跟踪方法被提了出来。基本思想：物体跟踪伴随检测过程，将问题转化为持续的目标背景分类。,问题起源,判别跟踪器设计的三个问题目标初始化特征
14、选择目标检测,利用判别显著性的跟踪,判别显著性将显著性问题看作感兴趣刺激与背景两类的最优决策问题。每一位置的显著性等价于该位置处特征的判别力。这样判别的结果具有最低期望差错概率。,利用判别显著性的跟踪,判别显著性l位置处的显著性定义为特征响应与类的互信息又可以写成 其中,利用判别显著性的跟踪,学习显著特征对目标与背景有最优判别能力的特征是那些与类别标签有最大互信息的特征。互信息的计算,其中,表示第k个特征与前k-1个特征之间由于特征相关含有的判别信息,学习显著特征由于特征相关性对类的判别提供的信息很小，故显著特征选择对N个特征按降序排列互信息选择前K个特征作为显著特征,利用判别显著性的跟踪,利
15、用判别显著性的跟踪,显著特征选择过程,利用判别显著性的跟踪,目标跟踪t时刻的显著特征得到以后，下一步检测t+1时刻的目标位置。,包含通过似然比被分成目标类的点集,利用判别显著性的跟踪,目标跟踪K个特征响应y的Confidence之和为t+1时刻具有最大显著值点位置就是新的目标点的位置。,检测器自动初始化,初始化过程图示,实验结果,跟踪演示,目标初始位置已知（4帧）,红框表示本文方法的结果,实验结果,目标初始位置已知（6帧）,红框表示本文方法的结果,实验结果,跟踪误差定义成groundtruth bounding box与跟踪器得到的bounding box内的平均像素差。可以看出本文方法（DST）误差最小。,量化结果,目标初始位置未知,实验结果,利用Bottom-Up的显著性判别获得目标初始位置,Thanks!,
