《基于视频的行人检测及异常行为检测.doc》由会员分享，可在线阅读，更多相关《基于视频的行人检测及异常行为检测.doc（39页珍藏版）》请在三一办公上搜索。
1、基于视频的行人检测及异常行为检测 摘要随着计算机硬件设备的不断升级以及人们对公共场所的安全需求不断提升智能视频监控系统的重要性日益凸显而智能视频监控中的两个最基本的问题行人检测与异常行为分析也逐渐成为了计算机视觉领域的研究热点本文主要的研究内容是基于视频的行人检测与异常行为分析本文分别对这重要的两项技术提出有效的解决方案由于人体有着多变的外观以及可能出现多种状态因此在视频中进行检测行人是一项非常困难的任务首要的困难就是怎样提取一个鲁棒的人体特征集这种特征集要求能在不同光照条件的复杂背景下能够消除人体各种形态的歧义通过实验可以知道用局部正规化的梯度直方图Histogram of Oriented
2、 Gradients HOG方法提取出的特征值比用现存的其它特征提取方法提取出的特征值更加适应视频中行人检测的要求为了简单和处理速度本文采用线性SVMSupport Vector Machine分类器对训练样本进行分类实验结果表明本文所使用的方法能够满足视频中行人检测的实时性鲁棒性准确性的要求异常行为检测使用到的方法主要是用时空马尔科夫随机场模型实现了视频中的异常行为检测首先将视频序列中的帧划分成若干个区块做为MRF模型的节点紧接着为了能够求出区块的特征描述符再对区块进行划分出更小的子区域在描述帧信息时本文使用了光流法统计出每个子区域中的光流信息在对统计完的光流信息用视觉词袋做处理最后就可以得
3、出每个节点块的特征描述符最终结合视频的时空特性通过求解MRF模型的能量函数判断出是否有异常行为发生这部分使用了光流法提取出像素点的运动方向和速度信息对视频中的帧序列进行区块划分后采取视觉词袋模型进行聚类编码表示有了编码化的特征就可以构造出了马尔科夫随机场模型的节点特征描述符这种方法并不是基于物体跟踪的方法因此在人群密集的场合更加有效本文将会对梯度方向直方图特征LucasKanade 光流法视觉词袋的建立时空马尔科夫随机场模型等方法进行介绍通过实验表明本文所使用的方法能够有效的在多场景中完成行人检测与异常行为分析的任务关键词光流法视觉词袋MRF异常行为Abstractthe security n
4、eeds in many public places the intelligent video surveillance system is more and more important And the two of basic problems of the intelligent video surveillance system pedestrian detection and abnormal behavior analysis have gradually become a hot research field of computer vision The main conten
5、t of this paper is video-based pedestrian detection and abnormal behavior analysis Since the human body has a varied appearance and may occur for a variety of state therefore detect pedestrians is a very difficult task in the videoThe primary difficulty is how to extract a robust feature set of the
6、human body this feature set should eliminate the various forms of ambiguity in the complex lighting conditionsBy experiments showing that locally normalized Histogram of Oriented Gradient is better than other existing feature extraction algorithms For the sake of simplicity and processing speed line
7、ar SVM classifier is used in this paperThe experimental results show that this method can guarantee the requirements of real-time robustness accuracyin pedestrian detectionIn this paper space-time Markov random field model is used to implement abnormal behavior detection First the frames in video sh
8、ould be divided into a number of local regions as the nodes of the MRF model And then in order to obtain the feature descriptor for the local regions these local regions should be divided into smaller sub-regions For the informationof frames optical flow is used Add up each sub-regions optical flow
9、information using visual bag of words Bows to process these information and then feature descriptors in each local regions can begot Finally combining the spatial and temporal feature of the video to solving the energy function of the MRF model and determine the abnormal behavior occurred in this vi
10、deo Optical flow is used to extract the pixels movement information directions and speed After dividing the frames use the bag of visual words model to encode these blocks With encoding feature blocks MRF model nodes feature descriptors can be constructed Since this algorithm is not based on object
11、tracking it works well in crowded scenesIn this paperthe introduction of HOG Lucas-Kanade optical flow bows space temporal Markov random field will be given brieflyThe experiments show that these methodsgiven by this paper can be effectively completed pedestrian detection and abnormal behavior analy
12、sis in different scenesKeywordPedestrian detection Optical flow Bag of visual wordsMRFAbnormal behavior detection目录摘要IAbstractII第1章绪论111课题背景112课题研究的目的及意义213国内外研究现状414主要研究内容及论文结构5第2章视频中行人检测相关理论621引言622特征不变性623梯度向量直方图724基于霍夫变换的头部检测1125使用HOG特征进行行人检测1326本章小结13第3章马尔科夫随机场理论1531引言1532MRF模型概念与定义15321集簇与邻域系统
13、15322MRF定义17323MRF与Gibbs分布19324常用MRF模型2033MRF模型求解算法25331MRF-MAP框架25332能量函数最优化方法2634本章小结29第4章基于光流法和MRF模型的异常行为检测3041引言3042光流法3043视觉词袋32431词袋模型与视觉词典33432Kmeans聚类33433空间视觉词典3444异常行为检测35441时空块模型36442MRF时空联合检测36443S-TMRF 的能量函数构造3745本章小结40第5章系统的设计与实验4151系统开发环境4152系统程序设计架构41521行人检测系统设计41522异常行为识别系统设计42523实验
14、环境43524实验数据与实验结果4353本章小结45结论46参考文献47哈尔滨工业大学硕士学位论文原创性声明49致谢50绪论课题背景本项目来源于深圳市基础研究重点项目基于视觉的智能人机交互关键技术研究网络环境下基于视觉的智能人机交互是互联网中关键技术之一全世界众多科研机构都投入大量人力物力进行研究涉及人工智能图像处理等技术尤其在数字娱乐虚拟现实中有重要理论及应用价值符合深圳发展互联网需要自从恐怖袭击事件后几乎世界所有国家都在致力于建设一种实时的自动的全天候的智能视频监控系统用以满足对公共场所和重要部门的智能视频监控的需求因此由这种意义上来说进行深入探讨和研究是很有必要的视觉是人类认识外部世界获
15、取信息的重要来源计算机已经在的生活中无处不在随着计算机应用技术的不断发展高性能高智能和高可用性被普遍认为是当前计算机科学发展的主要方向计算机在执行重复的数据密集型的计算任务时与人类自身相比更加的准确和高效正因为计算机有如此强大的能力很自然的应该让计算机去处理一些更加智能化的任务就比如视觉分析这种人类会在下意识中每天重复处理成百上千次而又通常不自知的行为人体行为的视觉分析是计算机视觉领域中的前沿方向它从包含人的序列中识别跟踪并对其行为进行描述和理解1近几年来摄像机等行为捕捉设备价格不断下降各种相关设备性能不断提升使得应用领域的需求增加利用计算机自动捕捉分析视频中的人体行为实现计算机自动识别和理解
16、成为新的研究热点计算机视觉是用成像系统代替视觉器官作为输入手段由计算机来代替大脑完成处理人类的视觉系统是通过从视网膜上提取形成的图像信息来起作用计算机的视觉处理的发展也不可避免的对比着人类真实的视觉系统人类视觉系统的一个基本的任务是识别人和事物以及他们在空间上的相对关系类似的计算机视觉研究的主要目标之一是寻找在某种场景中定位和识别物体的方法在这个方向中更加关注人体以及人体行为尤其是人的异常行为的识别智能监控人体行为识别的重要应用不但环境中的人还要能环境中的运动通过对步态的识别可以完成对行人的访问控制实时分析视频监控数据进行人体行为识别及异常行为检测可以捕获及辨别出如偷窃斗殴抢劫等特定危险行为为
17、安全以及社会监管提供有力的保障这很适合用于那些安全要求敏感的场合如车站银行商店军事基地等3课题研究的目的及意义在信息爆炸各种资讯迅速膨胀对的的人们文字更为丰富的多媒体信息视频信息量最大内容引人满足人们对资讯的需求因此人们同时科技进步和制造业的发展现代电子设备的运算能力不断增强已经能够在运算速度上保证对视频内容进行实时同步的分析与处理各种基于视频分析处理的应用如雨后春笋般层出不穷在现代社会中智能视频监控技术有着广泛的需求目前通用的方法是专门雇用若干人员观看各个区域内的摄像头反馈的视频信息多组视频同时在显示器上不能保证对的事件等因素有所忽略不能保证准确性对比来看使用智能视频监控系统能够有以下等诸多
18、好处不间断监控人工的监控行为不能保证监控的连续性根据人的生理特征没有接受过相关方面特殊训练的成年人在一件事物上注意力只能集中60分钟左右的时间由此长时间的连续监控会使得人工监控的有效性大幅度的降低初次之外在人员交接的过程中会出现一段空白时间使得总会有若干时间内视频监控系统处在无人监管的状态如果采用智能视频监控系统就可以解决无法连续监控的问题可靠高效虽然计算机和人不能保证对视频监控内容百分之百的准确检测但是由于人对某一事物的智能视频监控系统相对来说系统得到的监控反馈也就更加可以信服除此之外使用智能视频监控系统还能够对过往的录像文件进行分析判断而人工监控只能关注当前的视频内容智能视频监控系统在部署
19、成本在万元左右却能够多年使用同时还能节约掉人力成本让工作人员仅异常处理可以在人员成本完成异常应对的任务保护隐私使用传统的方式由人直接对所有视频信息进行监控像难免会出现隐私保护不力的情况例如在公交车上乘客常常对车载监控设备产生一种不适感操作公共摄像头监控私人场所偷窥隐私的恶意行为也是频繁发生如果采用智能视频监控系统就可以杜绝上述的行为系统能够自动提示相关工作人员去处理异常信息而其它人员将会没有机会去接触到大量涉及隐私的视频信息多样化智能化视频处理技术异常同时能够根据计算机处理的结果将视频记录分类并建立索引相关工作人员可以在智能视频监控系统的辅助下高效的对视频进行处理根据智能视频监控系统的需求目标
20、实时跟踪特定场景中目标检测以及目标行为分析都是系统核心问题行人检测技术在智能及机器人领域都有广泛的应用价值计算机视觉视频处理和模式识别的重要研究课题7行人检测往往存在着复杂的背景因而必定出现光遮挡所处姿态所的非刚体形变等问题这些常见的由于行人检测通常会有辅助的特征处理手段因此可以利用系统能采集到的其他信息预测行人的行为和位置从而达到提高行人检测准确性的目的异常行为检测技术智能视频监控系统监护的场景中如果能够做到使用异常行为检测技术检测出病人发生危险可以及时的报警通知使病人的生命安全得到保障在交通用来检测例如酒驾等危害其他公共交通安全的不法行为从而保护道路安全在人员复杂的公共场所中假如使用计算机
21、技术通过对监控视频进行分析进而对斗殴盗窃等事件的发生进行判定并及时做出相应的响应就能够对突发事件进行有效处理维护公共安全有目前使用数学模型的方法来对异常场景进行定义是很困难的除此之外因为存在着场景和尺度等变化同时又要求系统具有很高的适应性和灵活性因此视频中的异常行为检测仍是一种充满挑战性的工作视频中的行人检测以及异常行为检测在模式识别领域和计算机视觉领域中国内外研究现状对人体动作识别的最早研究可以追溯到上世纪70年代当时的心理学家做了如下实验处在黑暗的环境中的人在关节上安装光亮点通过捕获这些亮点的运动轨迹对人体的运动信息进行捕获以及分析国内外很多研究学者都在这个领域做了大量详细的研究特别是欧美
22、国家中涌现出越来越多的成熟应用在行人检测方面使用的方法大体上可以被分为三大类主要包括基于模型匹配的方式提取Harr型特征的方式以及使用梯度方向直方图作为特征的方式使用基于模型匹配的行人检测技术首先需要对行人的运动方式进行建模并且要在连续的视频序列中分离出前景与背景模型由于行人在监控场景中出现的形态随机性很大很难存在一个稳定的模型对其行为进行概括因此使用模型匹配的方式进行行人检测缺陷相当突出使用Harr特征的方式经训练获取训练集中的Harr特征在使用初步提取到的Harr特征去对强分类器进行训练最终依靠得到的强分类器进行行人检测提取Harr特征的方法最早被用在人脸检测中并取得了较好的发展在行人检测
23、领域在视频中行人的服装颜色光照条件所处的背景到要比人脸检测所涉及到的环境要复杂很多因此把Harr特征应用于行人检测中的表现并不如在人脸检测中那样高效现在在行人检测领域使用最多的第三种方法基于梯度直方图的方式这种方式能够很好对检测局部对象进行表示经过长期发展该方法在行人检测领域已经成为主流的方法在异常行为检测方面为了进行异常行为检测大多数算法都试图首先定义一种正常行为模式在此基础之上在判断新的观测值的偏离程度来决定是否存在异常现存的方法多种多样比如基于规则的方法和直接对正常行为模式进行学习的无监督方法等等广泛说来前人使用的非监督方法主要有基于典型轨迹的对明显有代表性的轨迹进行探测的方法基于低级特
24、征测量的行为学习技术基于聚类的方法以及对过去发生行为建立索引的基于索引的方法等等基于轨迹的方法依照观察场景中观测体的运动轨迹来判定是否有异常发生由于轨迹是对行为直接在语义层面进行提取因此很难在人群密集的场所应用轨迹的方法使用多目标HMM和迭代EM的方法使用一个图模型能够检测出局部发生的异常主要用于处理复杂约束条件下的原子行为的处理使用贝叶斯主题模型的方法虽然可以对局部行为进行估计但是并没有利用到行为的时空关联性比起尝试为正常行为建立模型的方法基于索引的方法将以前发生的所有行为描述存储在数据库中然后在将新的行为描述符与数据库中的行为进行一一匹配从而对新的行为进行判断虽然这种方法能够在处理具体的行
25、为进行判断时有比较好的判断效果但是在使用这种方法时不得不面对维护一个庞大的数据库的需求主要研究内容及论文结构本课题的主要研究内容是使用梯度直方图与SVM进行行人检测使用光流法提取多尺度分块特征视觉词袋马尔科夫随机场模型的建立以及求解以及分析检测视频场景中出现的异常行为等第1章绪论主要介绍了课题的研究背景研究意义行人检测技术以及异常行为检测技术的国内外研究现状了主要的研究内容并在最后给出了本文后续内容的安排第2章视频中行人检测这是本课题的理论基础之一本章主要介绍了使用梯度直方图 HOG 支持向量机 SVM 进行行人检测的技术第3章马尔科夫随机场理论这是本课题的理论基础之一本章注重介绍了马尔科夫随
26、机场模型的定义常用模型结构以及马尔科夫随机场模型的求解方法主要阐述了异常行为检测系统的理论依据为下文的实现部分做准备第4章基于光流法和MRF模型的异常行为检测本章主要介绍了使用分块多尺度光流信息作为视频帧的原始特征并通过视觉词袋的方法对提取出来的视觉特征进行降维以及分类从而形成马尔科夫随机场中单个节点以及节点间联系的特征构建马尔科夫随机场模型能量函数并对马尔科夫随机场随机场模型进行求解第5章系统的设计与实现系统通过使用OpenCV函数库实现列出了系统流程图实验结果等内容结论并对未来的研究进行展望视频中行人检测引言国内外的专家学者已经对行人检测技术进行了较为深入的研究然而仍然存在着各式各样的问题
27、困扰着各国的专家学者特别是行人置身的背景复杂光变化明显行人姿态千变万化差异化明显的以及摄像机捕获的图像帧序列的分辨率较低等问题为了解决上述问题由于人体有着多变的外观以及可能出现多种状态因此在视频中进行检测行人是一项非常困难的任务首要的困难就是怎样提取一个鲁棒的人体特征集这种特征集要求能在不同光照条件的复杂背景下能够消除人体各种形态的歧义通过实验可以知道用局部正规化的梯度直方图方法提取出的特征值比用现存的其它特征提取方法提取出的特征值更加适应视频中行人检测的要求为了简单和处理速度采用线性SVMSupport Vector Machine分类器对训练样本进行分类实验结果表明本文所使用到的方法能够满
28、足视频中行人检测的实时性鲁棒性准确性的要求图2-1行人检测数据集特征不变性特征不变性通常指的是提取到的图像中的特征不会因为图像目标位置平移尺寸缩放或者是平面内翻转而导致的特征值变化的情况发生在现实的观测场景中运动目标都会发生位置上的变化也就是位移同时因为目标的位移是相对摄像头发生的所以目标的外观尺寸必然会在位移的过程中产生变化相对复杂的变化是由于运动目标本身的原因形成的视平面内旋转或者是镜头的旋转针对上述的三种变化情况兼有平面内旋转位置平移以及尺寸缩放不变性的图像特征仍会做到很好地描述变化着的运动目标体同时对目标对象的准确分类有着重要的意义图2-2目标体变化图2-3物体相对于视平面立体旋转在图
29、 2-2中可以看出在真实场景中目标体的旋转除了会在视平面内进行外更多的情况它能够把自己与取景镜头相背的部分旋转到正对镜头的位置还会伴随着非刚体目标体形变的出现目标体相对视平面立体旋转见图2-3这两种复杂的目标体变化对于平面内旋转尺寸缩放和目标平移不变性图像特征来说相当于图像中原本检测目标体被新的目标体代替了所以常用的不变性特征不能有效的解决立体旋转和目标体形变的问题针对视频中运动目标的跟踪检测问题近年来提出了不少具有不变性的高级统计图像特征并且这些特征对于复杂背景立体旋转和目标扭曲形变具备良好的适应能力直接使用统计直方图对图像进行特征提取通常能够保证尺度缩放平面内旋转和位移不变性但是由于这种方
30、式不具备对目标体空间分布情况的描述能力通过图像局部重叠区域直方图的组合却获得了能够稳健描述目标外形适应形变和立体旋转的高性能特征算子例如 HOGSIFTEOHEdge Orientation Histograms边缘方向直方图和 Shape Contexts形状上下文等8下文主要对HOG算子进行探讨梯度向量直方图HOG是应用于图像处理和计算机视觉领域用于目标检测的技术使用这项技术可以获取出图像局部梯度的方向信息的统计值作为特征值该技术同尺度不变特征变换scale-invariant feature transform descriptors边缘方向直方图edge orientation his
31、tograms以及形状上下文方法shape contexts有着众多的相似点它们之间的不同主要表现在HOG是使用一个大小相同网格密集的细胞单元dense grid of uniformly spaced cells来计算的此外还加入了重叠的局部对比度归一化来提高性能Navneet Dalal和Bill Triggs法国国家计算机技术和控制研究所 INRIA 工作的研究员HOG方法的思想最初这种方法的应用范围主要集中在静态图像里的行人检测随着研究的深入研究人员发现也可以梯度方向直方图背后所蕴含的重要思想是在一个帧图像中局部对象的外观和形状能够被梯度的强度或者是边缘的方向的分布情况所描述可以通过将
32、图像帧划分成一些小的联通区域这些区域被叫做细胞单元对于每个细胞单元依据细胞单元内的像素点提取出一个梯度方向或者是边缘定位的直方图这些直方图的组合就可以表示描述符为了准确率的提高可以通过计算图像中更大区域这个区域被称作块区域的强度的值然后用这个值去正规化这个块区域中的所有的细胞单元来实现对局部直方图进行规范化增强操作进过正规化之后光照和阴影的不变性会变得更好像素点细胞单元细胞核区间三者之间的组织结构由图2-4所示图中细胞单元由红色的正方形截出绿色代表每一个像素点最外围容器为细胞核区间图2-4HOG 特征的计算结构然后就可以求出每个细胞单元内对应的每个像素点的边缘或梯度的方向从而就可以得到一维的细
33、胞单元方向直方图在点 i j 处的图像I xy 的梯度模值和方向公式为 2-1 2-2 由于图像中梯度方向的分布范围比较广所以需要将方向值域进一步划分成 9 个相同的区段bin每个像素点在各个区段上的梯度方向幅值计算公式如下 2-3 按照一定的顺序将图像中所有的细胞单元的方向直方图拼接起来就得到了图像的特征算子考虑到特征算子适应光照变化和阴影的能力需求提高通常的做法是将若干位置上相邻的细胞组合成更大的区间在这个更大的区间内将方向直方图进行对比度归一化处理可以将区间的形状规划为圆形或矩形对比度归一化的解法为首先计算区间内各个直方图的方向幅值的和再以求和的值作为分母比上细胞单元各自的直方图方向幅值
34、按上述方式全部计算9个方向的值计算公式为 2-4 其中表示第k个区段的方向累计幅值在细胞Ct中所属的区间B中所占的比例各个小区间的方向直方图的特征向量使用以下方式描述 2-5 HOG特征提取的算法共由下述4个步骤组成对输入图像进行预处理计算梯度值对细胞单元的梯度方向直方图进行统计最后区归一化间内直方图整个算法的流程流程图如图 2-5所示图2-5图像 HOG 特征提取算法流程框图通常将区间的滑动步长设定为细胞边长的像素点的数目来对整个梯度图像进行覆盖扫描使用这种处理方法会使得区间中大部分的细胞方向直方图都能够被重复的归一化被多次加进 HOG 特征向量中具体的操作过程见图 2-6 所示图2-6梯度
35、方向直方图计算及其区间内归一化过程示意图假定待处理图像的大小是wh像素细胞的大小是cc像素梯度等分为d个方向区段进行采样其中各个区间均由bb个细胞单元组成得到的HOG特征向量的长度为ab2 wc -b1 hc -b1 个浮点数比方说输入图像的宽与高分别为64像素和128像素按照9个方向分量进行梯度等分每个小的细胞尺寸设定为 88个像素每4 个细胞单元就可以组成一个正方形的区间最终输入图像的HOG特征长度就为经典值3780输入图像的HOG算子重叠区间扫描生成过程见图2-7图2-7HOG 特征向量重叠区间扫描生成过程示意图和其它常用的特征描述方法对照HOG方法具有更加明显的优势由于HOG方法是在图
36、像的细胞单元上进行处理的因此它能够对光学的photometric和几何的geometric形变都具有保持不变性的特征而这两种形变通常出现在更高的空间领域中再者经实验验证在强局部光学归一化粗空间抽样精细方向抽样条件的约束下行人小幅度的改变能够被系统忽略并且不会影响到最终的检测结果总之使用HOG方法特别适和进行行人的检测在计算视觉以及图像识别领域中经常会遇到需要对直线椭圆圆弧等几何图形进行识别的情况这是就需要应用到霍夫变换霍夫变换 Hough Transform 是一种主要用在数字图像处理领域中进行几何形状的检测的特征提取方法用于直线检测的霍夫变换是所有霍夫变换算法中最简单的一种应用后来研究人员又
37、不断地把霍夫变换的算法扩展至椭圆圆以及更一般的形状的检测任务中本文考虑到人的头部接近于椭圆形因此使用霍夫变换在特定的区域中进行人体头部的检测Hough 变换基本思想是将图像的空间域变换到参数空间用大多数边界点满足的某种参数形式来描述图像中的曲线信息通过设置累加器进行累计求得峰值对应的点就是所需要的信息18本下节接下来的内容将会对霍夫变换的原理进行简要的介绍霍夫变换最简单的应用是图像中的直线的检测在图像空间中直线可以用y mxb的形式进行描述并且能够在图像中按照坐标对集合的形式表示出来霍夫变换的一个主要思想是将直线表达式中的斜率m以及截距b作为直线的特征去代替直线在图像中的点对基于这点直线y m
38、xb就可以使用参数空间中的点 bm 来表示然而用这种方式表示垂直线时会出现问题为了便于计算在直线进行霍夫变换的时候采用了极坐标的表示形式特征参数对为 参数表示原点到直线中某点的距离而则表示原点到该点出的矢量的角度从而直线可以被重新表示为式 2-6 式 2-6 可以被重写为 2-7 图像中的每条直线都有可能被唯一的点对 所关联当0 并且R或者是02 并且0 所在的平面有时会被称为在二维中直线集的霍夫空间这种表述方式使得霍夫变换在概念上非常接近二维Radon变换对于图像平面坐标系中的任意一点 x0y0 能够使用式 2-8 转换为极坐标点 2-8 在式 2-8 中直线到原点的距离由决定原点到该点出的
39、矢量的角度所有的点在对应到极坐标平面上的正玄曲线都是唯一的如果曲线对应的两个点事重叠的那么他们二者相交的位置 在霍夫空间中 对应的线 在图像空间中 通过这两个点更一般地形成一条直线的一组点集会产生在该直线的参数点对处交叉的正弦曲线因此共线的点的检测问题就可以转化为寻找同时出现的曲线的问题相比于检测直线使用霍夫变换进行圆的检测就可以直接使用圆的标准式 x-x0 2 y-y0 2 R2就可以了经验证圆的方程又比直线多了一个参数这三个参数通过上面的方程相关联因此在投票阶段需要遍历其中两个搜索峰值在三维参数空间进行如果图像比较大那么这样的遍历搜索是相当耗时的所以为了满足实时性后来又发展出其他检测圆的霍
40、夫变换比如概率霍夫变换结合梯度信息的霍夫变换本文利用这一思想结合帧间差灰度图像中人体头部运动信息的骨架轮廓具有近圆形圆弧这一重要特征在指定的矩形框中实现了对人体的头部的检测本文采用随机采样三点的方法进行计算圆参数 xyr 抑制了独立噪声和半连续噪声的影响这里不是在整个运动区域随机采样几个点而是在一段连续的轮廓曲线上随机采样数据为了减少无效的积累使用HOG特征进行行人检测构建在VC维和结构风险最小化原则上的支持向量机 SVM 依靠有限的训练样本信息在学习能力针对未知样本的预测精度和模型的复杂性针对已知训练集的学习精度之间寻求折衷在高维空间中找出最优的分类超平面作为两分分类问题的分界曲面获得最小的
41、误分率结构风险可以认为是经验风险与置信风险的加和8支持向量机的需要确保结构风险最小化在分类模型的训练过程中将会产生经验风险也就是训练样本的重视类别与经过分类器训练后的训练结果之间的误差虽然分类函数能够轻松实现经训练集的零分类误差但是目前仍然不能确保测试样本的分类正确率正是因为样本集在问题空间中是微小子集经验风险最小化无法确保降低测试样本的误分率为了解决上述问题统计学习理论逐步引进了置信风险的概念衡量分类器对待分类样本分类结果的置信度由于不能对置信误差进行精确的计算所以使用结构风险只是对泛化误差的上界进行估计通常假设训练样本的数目越多相应的置信风险就越小合格的最优分类超平面就是需要该平面不仅可以
42、将两类完全正确的区分而且还必须确保两类之间的距离最明显针对线性可分的情形支持向量机进行两类间的超平面标定处理假如所采用的线性函数正确划分那么线性可分反之则称这些样本线性不可分如果线性不可分进而达到在高维空间中使用线性算法对输入的线性不可分的数据样本采用线性分析的目的完成将特征向量由低维向高维空间映射的功能函数核函数的核函数Sigmoid 核函数径向基函数多项式函数和最新的切距核坐标变换核以及KMOD核等等在选用核函数方面目前还没有统一的标准还主要是靠经验进行判断在不同的待分类样本的研究领域核函数的处理性能各有千秋视频目标外观和形态丰富多样导致问题空间过于庞大不得不利用有限的训练样本集得到整个问
43、题空间的最优分类结果8HOG 特征向量维数庞大使得传统的分类器很难对其进行处理所以支持向量机适用于是学习和判别图像 HOG 算子本章小结本章主要介绍了HOG特征提取的方法基于对视频中单一图像帧良好正交化局部图像梯度直方图的估计基本的思想是通过局部光照变化或者是边缘方向变化局部物体的外观和形状能够归纳出更好的特征即使是缺少斜率或是边缘位置相关的准确知识储备并结合线性SVM进行视频中的行人检测马尔科夫随机场理论引言近年来国内外的学者们经过研究发现不适定性问题是计算机视觉研究邻域要解决的一项共性难题不适定性定义为假设某一问题的解是存在且唯一并连续依存原始数据则它是适定的否则称之为不适定的有两种典型的
44、方法可以解决不适定性问题马尔科夫随机场 MRF 和正则化方法由于正则化方法采用稳定子对解空间进行约束得到的解必定是满足观测相近程度与先验约束的最优权衡使得它不能满足适用性的要求因此它有着苛刻的适用环境MRF模型方法是建立在Bayesian 判断框架和MRF模型的基础之上的MRF理论是概率图模型理论的一个重要分支是一种有力的数学工具MRF可以描述非线性空间中的不同属性间产生的相互作用使用被估价属性局部上下文特征的先验知识可以对这些属性进行有效的组织人们经常采用极大后验估计 imum a posterior 理论与MRF模型相结合的框架构成MRF-MAP理论框架2这种理论框架对不适定性问题有固定修
45、正特性能够得到共有属性中最具期望的解被广泛应用于解决计算机视觉问题本章主要介绍马尔科夫随机场模型的基本理论概念MRF模型概念与定义集簇与邻域系统在普通点集中其包含的元素在大多数情况下是无序的但是在空间及时间上邻近的元素点之间也会产生MRF模型中元素节点同邻近元素点的产生所以在这里首先介绍集簇 Clique 和邻域系统 Neighborhood System 的概念定义 31 邻域系统4定义图像S是的二维栅格系统记做L中的一个子集是L上的一个邻域系统当且仅当像素 ij 的邻域为即都邻域邻域关系对称的近邻用m表示近邻的阶数图3-1分别描述了模型节点 ij 的1至4阶的近邻系统图3-1模型中节点 i
46、j 的近邻系统 a 一阶近邻 b 二阶近邻 c 三阶近邻 d 四阶近邻了解了邻域系统的概念之后现在在其基础上定义集簇定义32 集簇4在L上定义邻域系统L上其的子集C叫做 L 对的集簇C作为L中的子集的C若点 ij C kl C并且 ij kl 那么 ij 就是 kl 的近邻集簇的定义表明了节点在空间和时间位置中相互作用的关系安装集簇所包含的邻域节点数的不同分为一阶集簇C1二阶集簇C2三阶集簇C3等一阶邻域系统集簇和二阶邻域系统的集簇形状如图3-2所示图3-2 集簇类型 a 一阶邻域上的集簇 b 二阶邻域上的集簇MRF定义马尔科夫随机场 MRF 又称为无向图模型或是马尔科夫网是一种概率图模型MR
47、F是一维因果马尔科夫链扩展到二维空间的结果在图像模型构造和处理过程中效果出众若某一随机过程由一种状态转移至另一种状态的概率大小仅由这两个状态之间的关系决定与过去更早的状态或未来的状态等其他因素不相关称该随机过程为马尔科夫随机过程若将tm看成是现在状态则tm1代表未来状态t1t2tm-1就表示为过去的一些列状态根据马尔科夫过程的描述在tm时刻随机过程 t 取值xm的情况下 t 的未来状态只有通过现在状态才能与过去状态产生联系当现在状态被确定下来后未来的状态就会与过去的状态毫无关系即在已知tm时刻随机过程所处状态 tm xm的条件下时刻tm以后的过程将要到达的状态与时刻tm以前的过程所处状态无关4这个性质就称作随机过程的马尔科夫性质MRF模型是由一组符合马尔科夫性质的随机变量构成的可以使用无向图来表示这些随机变量的关系MRF模型与贝叶斯网络有着相类似的变量关系依赖形式MRF模型与贝叶斯网络相比能够出依赖关系如有环的依赖关系的变量集合5贝叶斯网络却对此无能为力除此之外能够使用贝叶斯网络表示的特定依赖关系如节点的父子关系MRF模型却无法表示MRF又被称做是马尔科夫网与贝叶斯网络不同MRF是一种无向图能够通过无向图G VE 表示出来如图3-3所示图3-3MRF模型的无向图表示在MRF模型中每个对应的模型节点 node i 都包含一个观察值Yi和一个隐状态Xi其中Xi既可以是连续的随机
