《基于模板匹配和灰度投影的眼睛定位.doc》由会员分享，可在线阅读，更多相关《基于模板匹配和灰度投影的眼睛定位.doc（48页珍藏版）》请在三一办公上搜索。
1、本 科 生 毕 业 论 文基于模板匹配和灰度投影的眼睛定位 院 系： 信息科学与技术学院电子与通信工程系 专 业： 通信工程 学生姓名： 学 号： 指导教师： （职 称）二 年 月摘 要自动人脸识别是一种利用计算机分析人脸图像结构特征以实现人的身份验证的技术，是近二十年来图像处理，模式识别和计算机视觉领域中极富挑战性的研究课题之一。由于它在法庭举证，持卡人识别，视频监控等方面都具有巨大的应用价值，目前受到各国政府及其军事、安全、情报部门以及科研单位的广泛关注和高度重视，也越来越多的研究人员在这方面开展了一些研究。一般的人脸识别系统主要包括预处理、特征提取、样本学习和识别四个部分，其中特征提取的
2、好坏将直接影响到识别效果。而眼睛是人脸中的一个重要器官，它含有的信息量非常重要，所以在大部分特征提取方法中非常关键的一步就是眼睛定位。早期的工作中，人们是通过提取一些有效的特征来进行眼睛定位，这些方法包括梯度特征、投影函数、模板匹配等等。但是这些方法通常都需要通过很多预处理和后加工的步骤来消除部分误检图像，且这些方法对图像噪声较敏感。因此在人眼定位方法研究上面还有很大的探索空间。 本文提出一种基于灰度投影和系列模板匹配的方法来定位人眼。图像经过中值滤波消除噪声后，首先用垂直灰度积分投影定位出人脸左右边界，根据人脸部的灰度特征，再用水平灰度积分投影粗略找到人 的眉眼区域。然后用8个不同尺寸的模板
3、分别和已定位到的眉眼区域进行匹配，找到匹配效果最好的一个匹配图像，对该图像进行二值化，然后对二值化后的图像包含左眼和右眼的左右两个区域分别进行垂直灰度积分投影和水平灰度积分投影定位出人眼瞳孔位置。模板匹配时，这里只用模板和已找到的眉眼区域进行匹配，相对于其他模板匹配法和整个人脸区域进行匹配寻找人眼来讲，这种匹配一方面节约了匹配时间，另一方面避免了定位时嘴巴和鼻子等人脸其他器官的影响，无疑这样匹配会提高人眼定位准确率。实验中，利用BioID人脸库中的200幅人脸图像进行检测，结果证明该方法用于人眼定位，定位准确率高，且对光照和人脸表情变化具有很强的鲁棒性。 关键词：人眼定位 特征提取 灰度投影
4、模板匹配AbstractAutomatic Face Recognition (AFR) is a technology for person authentication by using the digitized facial features. For the past two decades, it has become one of the most challenging research topics in the field of image processing, pattern recognition and computer vision. Because of its
5、 tremendous potential applications in law enforcement, security control, and video surveillance, AFR has attracted more and more attentions from many research substitutes and government organizations including Departments in charge of defense, security, and information. So now more and more people g
6、et studying it.Generally, Face Recognize System (FRS) consists of four functions including image pre-processing, feature extraction, sample study and image reorganization. Eye, as a important part of face, includes much information. So the key step in face recognize is eye detection. In the beginnin
7、g, people tried many methods to extract the eye features, including grads feature, projection function, deformable template and so on. But all the methods need more pre-processing and later disposing to eliminate the error in the detection, meanwhile, these methods are sensitivity to image noise. So
8、 improvement is needed in all the method.This thesis focuses on the research of human eye location. After applying median fileter to eliminate the image noise, the gray-level integral projection along the horizontal and vertical direction is used to locate the small area including the eyes in the im
9、age. Then the small area is matched by using a series eye templates with different size. After all the matching, we get the best matching image and change it to a 0-1 image. Finally get the horizontal and vertical integral projection of the 0-1 image to get the eye location. We use 200 breadth image
10、s of BioID human face storeroom, which has get the face of the image, to test the approach. As a result, this approach has a improvement in correct precision and has a strong robust against illumination and expression of face. Keywords:Eye location, Feature Extraction, Gray projection, Template matc
11、hing目 录第一章 前言41.1选题背景和意义41.2论文中的主要工作61.3 论文结构及内容安排6第二章 人脸特征提取中人眼定位算法的研究72.1引言72.2人眼定位的重要性及应用82.2.1人眼定位的重要性82.2.2人眼定位的应用82.3人眼定位算法概述92.3.1霍夫变换法92.3.2边缘特征提取法102.3.3 对称变换法112.3.4 Gabor变换法132.3.5 神经网络法132.3.6综合应用方法142.3.7用于人眼定位的其他领域的成熟算法152.4基于灰度投影和系列模板的人眼定位15第三章 眼睛模板制作及模板匹配定位方法163.1引言163.2固定眼睛模板制作173.2
12、.1双眼模板制作173.2.2眉毛和眼睛模板173.2.3合成眼睛模板183.3二维弹性眼睛模板制作193.3.1 眼睛参数构造的弹性眼睛模板193.3.2二维可变形眼睛模板193.4三维可变形眼睛模板203.5本文中采用的眼睛模板22第四章 基于灰度投影和系列模板匹配的人眼定位234.1引言234.2技术方案实现骤步244.3人脸图像预处理254.4眉眼区域粗定位264.4.1确定人脸的左右边界264.4.2初步确定人的眉眼位置284.5系列模板匹配304.5.1模板匹配原理304.5.2模板匹配仿真314.6精确定位人眼324.7实验结果分析364.8 与一般灰度模板结果比较39第五章 结
13、论405.1总结405.2 展望41致谢42参考文献43第一章 前言1.1选题背景和意义身份验证一直以来是人们关心的热点问题。生物认证技术（Biometrics）是利用人体自身的生理或行为特征来准确的鉴别人的身份，具有每个个体都有的普遍性、每个个体都不同的唯一性，以及不随年龄变化的稳定性。与传统的身份识别方法相比，基于生物特征的生物认证技术具有不会遗忘或者丢失，不易伪造或被盗、随身携带且随时随地都可以使用等优点。“9.11”事件后，生物认证得到全球各国普遍重视。生物认证技术和产业随之进入快速发展阶段，成为本世纪最具有发展潜力的技术之一。国际生物认证组织（International Biomet
14、rics Group）提供的年度分析报告显示生物认证产业在今后五年依然增长很快。人脸识别是生物认证技术的一种，与利用指纹、DNA、虹膜等其他人体生物特征进行身份鉴定的方法相比，人脸识别具有更直接、友好、方便的优点。虽然人脸识别的可靠度没有利用DNA等认证技术的高，但是其采集方便，方式隐蔽以及事后追踪能力强的特点是其他生物认证技术所没有的。这些优点在国家公共安全、信息安全、个人身份认证应用上尤为重要。因此，人脸识别仍是当前生物认证研究的热门领域之一，引起了国内外学者的广泛研究【1】【2】。人脸识别技术的研究始于20世纪60年代末期，与模式识别、图像处理、计算机视觉、人工智能等诸多领域有着紧密的联
15、系。而在人脸识别技术中，很重要的一环是人脸特征提取。人脸特征提取是指计算机对输入的人脸图像自动定位出人脸的各个器官的精确位置，其中包括眼睛、鼻子、嘴巴、下巴、耳朵及人脸的轮廓等所有需要提取特征点的位置。这些特征点为人脸图像的处理和分析提供了重要的几何信息，特征点定位的准确与否直接影响到后续应用的可靠性。特征点定位在人脸识别、人脸变形、人脸表情分析及合成、口型分析、基于典型的图像编码、具有真实感的三维虚拟人脸建模等方面都有着重要的应用。人脸识别是其一重要应用，在人脸识别算法中，一重要工作就是人脸图像尺寸的归一化，而尺寸归一化的实现是依赖于面部特征定位的结果。另外，一些算法中需要各个器官的相对位置
16、及形状或对面部局部特征区域加以分析，都需要在面部特征定位基础上进行。其另一个重要应用就是具有真实感的三维虚拟人脸建模，其实质是从人脸图像中重建人脸的三维模型，其中非常关键的一步就是确定各个角度中人脸器官的各个特征点位置，也就是要精确地提取出人脸的几何特征信息。而其中人眼定位问题是最关键问题之一。人脸有着复杂的三维表面结构，对于不同坐姿，不同表情，不同光照等条件下，人脸图像有着显著不同的二维图像表现形式，因此，准确定位人脸各个器官的精确位置是个很具有挑战性的课题。目前，国内外已有很多研究学者对其定位方法做了研究【8】【9】，也都取得了一定的成果，但对于寻找一种能够适应于各种复杂情况的准确率很高的
17、人脸特征定位方法，至今还需要我们不断的探索。由此可见，人脸特征点定位是人脸识别技术中的关键性问题。眼睛作为人脸上最显著，最稳定的特征，又因其在人脸面部上处于特殊位置，因此，人眼位置的正确标定，对人脸其他面部特征点的定位具有参照性的作用，因此很值得我们去寻找一种能够精确定位人眼的方法。也正是基于此，本文提出一种改进的人眼定位方法。1.2论文中的主要工作在此论文设计期间，我阅读了大量论文和参考书籍，了解到了当前人脸识别领域的发展概况，人脸检测技术的研究都有哪些方法，人眼定位的重要性及人眼定位的方法。在了解了这些东西的基础上，提出了一种基于灰度投影和系列模板匹配的人眼定位方法，并用matlab进行了
18、仿真实现。该方法是先对人脸进行预处理，用中值滤波既滤除了图像中的噪声，又保护了图像的边缘特征，用直方图均衡化消除光照的影响，接着根据人脸的灰度特征定位出人脸的左右边界，再结合人脸的几何特征和灰度信息找出人的眉眼区域，这样一方面缩小了人眼检测的范围，另一方面也减少了由于鼻子嘴巴等其他器官存在而对人眼形成的误检测，一定程度上节约了算法运行的时间。然后用不同尺寸的模板分别去和已找到的人的眉眼区域匹配，对匹配结果进行分析，找到匹配度最高的一幅匹配图像，最后再结合灰度积分投影精确定位人眼。1.3 论文结构及内容安排 该文主要研究了三个问题：第一，当前人脸特征提取中人眼定位的主要算法；第二，人眼模板的制作
19、；第三，一种基于灰度积分投影与系列模板匹配的人眼定位方法。其中，第二章讲当前人眼定位的主要算法，该章首先讲人眼定位的重要性及其应用，然后对当前人眼定位算法进行了概述。第三章则讲了人眼模板的制作。人眼模板制作有很多种方法，各种方法又有着不同的适应环境及不同的优缺点，该章则对人眼模板的制作方法进行了一个综述。第四章主要讲一种基于灰度积分投影与系列模板匹配的人眼定位方法。该章详细介绍了是如何根据灰度积分投影定位出人脸左右边界及人的眉眼区域，以及如何应用多模板匹配的方法来实现人眼定位。 第二章 人脸特征提取中人眼定位算法的研究2.1引言由前言中的研究背景和意义可知，人脸特征点提取在人脸识别中是多么重要
20、的一环，尤其是眼睛的定位。在本章中将更详细介绍人眼定位的重要性以及在实际生活和科研中的重要应用。从人脸识别开始研究，人眼定位的实现总伴随着人脸识别的研究，在这么多年的研究中，研究人员提出了很多种人眼定位的方法【3】【4】【5】【6】【7】，在该章中的第二部分将分开阐述人眼定位算法概要，包括单一应用的算法，综合应用算法及其他领域的成熟算法应用到人眼定位上面。2.2人眼定位的重要性及应用2.2.1人眼定位的重要性人脸检测是指从输入图像中确定人脸的位置、大小、位姿的过程。由于人脸是一类具有复杂变化的自然结果目标，并具有以下特征：人脸由于外貌、表情、肤色等的不同，具有模式的可变性；人脸上可能存在眼镜、
21、胡须等附属物；作为三维物体，人脸影像容易受到光照产生的阴影的影响。因此其检测是一个非常复杂的模式检测技术。人眼定位是人脸检测中的关键步骤，因为眼睛是人面部最明显的器官，包含了许多有用的特征。从一幅给定的图像中提取出眼睛，就可根据它与人脸的关系得到识别所需的人脸，进而提取其他面部特征。因此，眼睛定位往往是人脸识别系统的第一步，对于高性能的自动人脸识别系统尤为重要。2.2.2人眼定位的应用眼睛作为人脸上最显著，最稳定的特征，可以被用来帮助定位人脸，提供人的注视信息，识别人脸动作（如表情变化）等。有资料表明10，高速公路上发生的交通事故中有50%以上是由于长时间驾驶造成疲劳或者所见目标单调而形成注意
22、力不集中、甚至打瞌睡等原因造成的。而驾驶员是否疲劳可以从眼睛状态反应出来：当驾驶员精神饱满时，眼皮张开程度及眨眼频率都有统计的正常值；反之，眼皮张开程度明显变小，眨眼频率也明显变少。因此，利用驾驶员眼睛信息来判断其疲劳状况是一种可行的方法。在车辆中安装驾驶员疲劳检测系统，利用摄像头对驾驶员的驾驶行为进行检控，获取驾驶员脸部的一段连续图像，对每幅图像中的眼睛状态进行分析，综合每幅图像的数据来获得一个眨眼周期。由于正常的眨眼频率与疲劳状态下的眨眼频率有着明显的不同，由此可以判断出图像获取时驾驶员的精神状态，在判断驾驶员疲劳时由系统适时给出警告信号以避免事故发生。因此，准确快速地获取每幅图像中的眼睛
23、的精确位置，就成为实现驾驶员疲劳状态监控的关键。人眼定位的另一个重要应用就是人脸识别。人脸识别不仅与模式识别、图像处理、计算机视觉和人工智能等多个学科相关，还与认知学、神经学、心理学等学科有紧密联系，在司法验证、安全验证、智能卡、档案管理、视频会议、人机交互等方面有着广泛的应用。特别是，有专家提出要在北京2008年奥运会使用人脸识别系统【11】。有效的管理奥运区内敏感区域和高风险实验室的人员出入，辨别后勤、食品运送人员及其他工人是否经过登记授权，防止恐怖人员等影响社会稳定的人员进入奥运区，防止意外事件发生。正因为人眼定位在特征提取及其他识别系统方面有着重要的应用及意义，所以人们提出了各种算法来
24、研究人眼定位。主要可以分为以下几类：霍夫变换法12、对称变换法13、边缘提取法14、神经网络法15、Gabor特征（变换）法16等。2.3人眼定位算法概述正因为眼睛定位在人脸识别中具有如此重要的地位，所以人们尝试各种算法来实现眼睛定位，其主要方法可以分为以下几类：霍夫变换法、边缘特征提取法、对称变换法等。下面将详细介绍霍夫变换法、边缘提取法和对称变换法，简单介绍Gabor变换法和神经网络法，当然，定位眼睛的时候不是单单只用其中一种方法就一步到位，一般都是各种方法的综合应用，还有其他领域的一些成熟算法也都可以借鉴过来使用，在下面这些都将举例说明。最后提出本文中所用的定位人眼的方法。 2.3.1霍
25、夫变换法假设经预处理已经得到包含眼球的图像Ep，为了节省检测眼球的时间并避免镜片反光点边缘产生的干扰，先用小灰度值聚类法粗定位眼球中心点，以此缩小检测范围，聚类的过程是将图像Ep中灰度值最小的n个像素按列递增的顺序排序，若相邻的列数差值都未超过预先设定的门限T1，说明只有一个聚类中心，求出这些像素行列的平均值就是要找的眼球中心点；若超过了门限T1，说明这n个像素可以聚成两类，对左眼，因为阴影、镜脚集中在左边，所以取右边那类的平均值；对右眼则取左边那类的平均值，n的选择可根据图像Ep的总像素数目及眼球占图像的大致百分比决定。在用霍夫变换检测眼球前，先用Canny算法提取边缘。对于比较细长的眼睛，
26、由于眼球的上半部分较多地被眼皮覆盖，所以改用检测下半圆，这样更可靠且省时。设图像空间为(i, j), i和j分别表示行和列，三维变换空间为（ie, je, R）,其中ie, je分别代表眼球圆心的行和列，R为半径。下圆表达式为： (4.3.1-1)对于变换空间的每一个坐标点（ie, je, R），在图像空间都对应一个半圆，在这个半圆上存在的边缘点数就是空间上坐标点（ie, je, R）对应的值。变换空间上的峰值点坐标即为所求的眼球半圆参数。实验证明，霍夫变换确实具有抗干扰能力强的优点。当眼球与眼白的对比度较低时，提取出来的边缘是断裂或不很规则的，即使如此，仍能根据空间中的峰值点准确定位眼球圆心
27、【12】。2.3.2边缘特征提取法此算法是利用图像的垂直灰度投影曲线，根据凸峰宽度确定人脸的左右边界，然后利用人脸区域的水平灰度投影曲线确定头顶及鼻子中部形成的上下边界。利用预测法先确定人眼在眉眼区域的大概位置，通过检测眉眼部位的边缘及边缘分组，确定双眼的坐标位置。通过观察不同单人脸图像的垂直灰度投影曲线可知，人脸所在区域将垂直灰度投影曲线形成一个具有一定宽度的凸峰。这个凸峰的左右边界大致代表了人脸的左右边界。当人脸的左右边界确定之后，取左右边界之间的人脸区域作为研究对象，作该图像的水平灰度投影曲线，观察人脸区域图像的水平投影曲线可以发现，此曲线的第一个极小值点对应人的头顶，因为头发的低灰度产
28、生了水平投影曲线的低谷，而曲线的最大值点和次大值点分别对应人的额头和人的鼻中部，这样就可以轻易地求得人眼所处的大致水平位置（如图2.1所示）。 图2.1眉眼区域图像在边缘检测前先对眉眼区域进行去噪、增强处理，使图像平滑，这是保证下面边缘检测获得较好效果的关键步骤。滤波后的图像如图2.2所示。然后用Canny算子求出眉眼区域的边缘图像【17】，求解时阈值取得较高，使得边缘仅由眉毛和眼睛的强边缘以及瞳孔产生的强边缘组成，而不会包含由鼻子的轮廓产生的弱边缘。随后将边缘点进行分组，可以得到几组分离的边缘，其中位于下面的两组分别为左右两眼产生的边缘，取这两个边缘组的中心作为人眼的中心。边缘分组算法中，将
29、分别包含每个边缘分组的最小矩形作为人眼检出，最先检出的两个分组分别对应左眼和右眼。当出现两个分组后算法立即结束，提高了执行效率。 图2.2 滤波后的眉眼区域图像图2.3给出了最后的定位结果。矩形框里的边缘点对应人眼的边缘点，矩形框的中心定为人眼的坐标位置，可以看出人眼的定位是准确的。 图2.3 人眼定位结果该算法的优势在于首先通过灰度投影曲线确定眉眼区域，使数据量大大减少，然后在有效的边缘检测之后，使用了高效的边缘分组策略，在保证正确率的基础上，提高了算法速度。此算法的定位错误出现在头部倾斜过大，以及测光太强，还有头部在图像中所占区域过小的情况。2.3.3 对称变换法在计算机视觉研究中，对称性
30、被认为是物体的基本性质之一，通常在将物体从背景中分割出来后，用来简化物体形状的描述，或物体的近似。目前研究最多的是点对称（也叫中心对称）和轴对称，对人脸而言，眼睛、鼻子、嘴巴等都有很弱的点对称性，广义对称变换正是用来描述物体的点对称。文献18 利用广义对称变换定位人眼进而提取脸部特征，文献17在广义对称变换的基础上，定义了一种方向对称变换DST（Directional Symmetry Transform），用于人眼的精确定位。以上的对称变换利用了人眼的中心强对称和脸部特征的生理几何分布，对人脸偏转、脸部表情变化、光照变化等因素的左右不敏感，因而具有很好的鲁棒性。但是，以上对称变换的计算需要在
31、大范围的尺度上进行，计算量很大，而且，由于只是描述了各点的局部对称性，当它用于人眼的定位时产生的候选点较多，不太利于眼睛的精确定位。结合广义对称变化和方向对称变换的优点，于是有了一种新的对称变换离散对称变换，它不仅具有广义对称变换描述物体对称性大小的特点，而且通过对各点领域的考察，去除那些处于规则区域外的点，可大大降低计算量，实现眼睛定位的快速算法。广义对称变换把图像中的所有像素点同等对待，每个像素点都计算其对称值。事实上，在图像中物体的单一背景区域中，大面积的灰度均匀区域上的像素点在一定的尺度范围内不具有明显意义的对称性，所以就不必计算它的对称值，而这样的像素点在人脸图像中占了很大一部分，如
32、头发、脸部除眼、嘴等特征区域之外的区域及部分身体区域。眼、嘴、鼻子等特征区域在大于其轮廓的范围内灰度有变化，这样的区域我们把它称为灰度不均匀区。离散对称变换以减少计算量为出发点，在计算对称之前加入一个对图像灰度不均匀区域的检测步骤以减少计算量，然后定义了一个与广义对称变化相似的对称算子来计算点对称。离散对称变换实际上可看成一种非线形滤波，由于对每个像素点都进行相同离散对称变换实际上可看成一种非线形滤波，由于对每个像素点都进行相同过图像的离散对称变换后，眼睛中心点附近像素的对称值一般都处在对称值最大的前四、五位，对具有强对称值的候选点，采用两条简单的规则进行筛选。规则（1）：邻近像素合并，一般选
33、取对称值内最大的前10位候选点，将其中位置相邻的候选点合并到它们中对称值最大的像素处；规则（2）：几何约束判别，对经过规则（1）筛选后的候选点，利用眼在脸部的几何分布性质进一步筛选，取基本符合眼睛分布规律的两点作为最终的定位双眼结果。图2.4为双眼中心点的筛选流程图，图2.5为此算法的效果图。规则1规则2对称值最大前 双眼10个候选点中心点候选点数 小于10个图2.4双眼中心点的筛选流程图图2.5 离散变换实验结果2.3.4 Gabor变换法 基于Gabor变换的人眼定位方法16是利用Gabor函数与人类的视觉特性的一致性，通过分析人脸图像经过Gabor变换后在眼睛处的幅值较大，利用该特点，通
34、过投影方法得到人眼的坐标。由于Gabor函数对预处理的要求不高，且在算法中通常只需要计算一个中心频率和少数几个方向上的变换，所以Gabor变换的运算时间较短，大大提高了定位的速度，对一定的表情、姿态、光照变化有较好的鲁棒性，但由于Gabor函数对光照和眼镜比较敏感，所以不能很好的处理光照变化和戴眼镜的情况2.3.5 神经网络法 在15 中，Waite等将神经网络法应用于人眼定位。他们指出，完整的人眼图像受个体差异、眼睛状态和目标对象姿态变化的影响较大，而子特征点（micro-features,包括左右眼角和上下眼眶定点）附近区域相对稳定，根据这一特点，他们以各子特征点附近的灰度图形为输入分布建
35、立神经网络。检测时，先用各个神经网络对目标区域进行遍历搜索，再结合先验知识对搜索结果进行筛选和结合。这个算法训练过程比较简单，有较强的鲁棒性，但区分度不足。2.3.6综合应用方法 彩色图像中的人眼定位【18】【19】一般采用由粗到细的策略，即首先根据肤色信息从背景图像中分割出人脸区域，然后在人脸区域对应的灰度图像内综合运用几何特征，积分投影，边缘检测，模板匹配等技术进一步定位出精确的眼睛位置。该类方法对图像中的背景、人脸倾斜角度，旋转角度和尺寸变化等细节具有一定的适应性，较适合多人人眼检测和定位问题。文献20提出一种基于最大类间方差阈值分割和灰度积分投影技术的眼睛定位方法。首先通过图像预处理技
36、术中的中值滤波方法去除图像噪声，并通过非线性变换消除人脸图像因为曝光条件不足而造成的模糊，得到灰度分配较为均匀的图像，然后利用最大类间方差阈值法对图像进行二值化处理，将特征点从人脸图像中分割出来，并分别利用水平和垂直灰度积分投影曲线结合人脸的结构特征找到眼睛的位置。该方法实现简单，在图像背景比较单一并且人脸为正面标准图像的情况下定位人眼准确率较高，但对于负责背景或人脸方向倾斜以及头部旋转的情况并不适用。文献2122针对传统方法对于人脸方向未知或倾斜时难以进行准确定位的问题，将基于主元分析的对称轴检测引入到眼睛定位中，首先利用主元分析法和人脸重心确定人脸对称轴，再结合山谷法进行眼睛候选点的提取和
37、验证。该方法对人脸方向倾斜变换的正面人脸图像具有一定的鲁棒性，但是在确定人脸图像的对称轴时所需计算量较大，这制约了该方法的实时性。文献23通过统计学习眼睛模式的判别特征提出了区分人眼样本和非人眼样本的分类器，然后将多个分类器与Adaboost算法相结合用于精确定位人眼。该方法具有较高的准确率，但是需要离线训练分类器，增加了算法的负担。2.3.7用于人眼定位的其他领域的成熟算法除以上人眼定位算法外，研究人员还将其他领域的成熟算法用于人眼定位研究，如基于地形特征等的眼睛定位方法。文献24提出一种基于地形特征匹配的人眼定位算法（PTL），主要依据人眼瞳孔低灰度值的生物特性在人脸图像对应的三维地形图上
38、显示出明显的“凹陷”地形特征。尽管该方法可以解决复杂背景及人脸姿态变化情况下的人眼定位问题，定位准确率较高，但是也存在一些局限性，算法耗时久，制约了其实时性，而且对要处理的人脸图像的去噪平滑要求较高，否则会严重影响后续检测和定位的准确性。2.4基于灰度投影和系列模板的人眼定位一般的眼睛定位算法分为两个步骤：（1）粗定位。在精确定位眼球中心前一般要找到眼睛的大致位置，常见的方法有：对称性法、边缘点积分投影曲线极值位置判断法、神经网络法、多分辨率的马赛克图法等。（2）眼球的精确定位。常用的方法有：基于霍夫变换、几何及对称性检测、弹性模板等等。每个算法都有自己的优点和缺点也即局限性，如计算量太大、计
39、算速度慢、算法不容易实现或正确定位率不高等。主要原因是由于人脸作为一个非钢体，在信息输入时存在尺度、位置、姿态变化问题，很难做到面面俱到，十全十美的方法。模板匹配是一种定位率比较高的人眼定位方法，但根据所选用的模板的不同，匹配区域的不同等使得定位所用的时间和定位率也相差比较大。本文先根据灰度积分投影初步得到人的眉眼区域，然后通过选用不同尺度的系列人眼模板和人的眉眼区域进行匹配，检测出其中匹配度最高的一个模板，再根据灰度投影得到人眼的精确位置。由于人眼的尺寸因人而异，对每个人都用一个尺寸的模板去检测的话，很难保证能精确定位到人眼，而现在我们用不同尺寸的系列模板，这些模板基本上包括了绝大部分人的眼
40、睛尺度，实验证明，用这样的模板分别去匹配，相比于只用一种模板进行匹配的方法，该算法提高了定位的准确率，而且具有很强的鲁棒性。 第三章 眼睛模板制作及模板匹配定位方法3.1引言用模板匹配法进行眼睛定位时，很关键的是眼睛模板的选择，一个好的眼模板可以提高人眼定位的准确率及减少算法运行时间，对光照、姿态变化具有比较好的鲁棒性，反之一个不好的眼睛模板，定位率差，定位耗时久，鲁棒性也不好。而人们在用模板匹配对眼睛进行定位时，提出了很多模板制作方法，有的人制作固定的眼睛模板，也有的制作变形的眼睛模板，还有的人提出基于三维的可变形模板。下面将介绍几种常用的模板制作方法及其是如何实现定位的。3.2固定眼睛模板
41、制作固定眼睛模板制作又有不同的制作方法，可分为双眼模板制作，左右眼模板制作和合成模板制作，其中左右眼模板中又可分为只截取眼睛的方法和同时截取眼睛和眉毛的方法。3.2.1双眼模板制作文献7中采用多个样本取平均的方法获取人眼模板。选取若干幅标准证件照，手工划出人脸区域作为人脸样本，将其尺度、均值和方差标准化后取灰度平均得到平均人脸图像，进一步重采样为2020的原始模板。拷贝原始模板的双眼部分，进行灰度分布标准化作为双眼模板。由于眼睛和眉毛有时候很相似，因此该方法有时候会将眉毛误认为眼睛。3.2.2眉毛和眼睛模板文献25中选取80幅人脸图像，手工截取人脸区域，对截取的人脸区域进行尺度标准化和直方图匹
42、配，然后进行Gabor滤波，在经过Gabor滤波后的人脸图像上截取眉毛眼睛块，进行尺度标准化，之后求平均得到左、右眼睛模板（其眼睛模板制作示意图如图3.1，图3.2是Gabor滤波后眼睛模板）。得到模板后，首先将待检测图像进行尺度规范化5050，再进行直方图匹配并且进行Gabor滤波，得到人脸的特征图像。用做好的模板对待检测图像变换得到的特征图像进行逐行扫瞄匹配，记录下相似度最大的位置。由此可以得到人眼的大概位置，如图3.3所示。将找到的区域分离出来，可以看到里面眉毛和眼睛所处的位置都比较独立，然后对该独立区域分别进行二值化，再分别进行水平灰度投影和垂直灰度投影，精确定位人眼。图3.4是人眼检
43、测结果。图3.1 眼睛模板制作示意图图3.2 Gabor滤波后眼睛模板 图3.3模板匹配相似度最大部位的确定 图3.4 人眼定位结果该方法相对于以上只是眼睛的模板匹配定位方法得到了改进，但是对于人眼闭合或者人脸姿势变化比较大的情况下，定位效果就很不理想。3.2.3合成眼睛模板文献26提出一种合成眼睛模板。首先从库中选取基本一致的左眼模板和右眼模板（如下图3.5(a),3.5(b)所示）,然后将左右眼睛模板的对应像素相加平均后得到一个合成模板（如下图5.3c）。该方法模板制作简单，由于只需合成的眼睛模板在图像中匹配，与制作左右两个眼睛模板相比，该方法的定位速度比较快。 (a) (b) (c) 图
44、3.5（a）左眼模板 (b)右眼模板 (c)合成模板 3.3二维弹性眼睛模板制作3.3.1 眼睛参数构造的弹性眼睛模板有一些弹性眼睛模板通过眼睛参数来构造。文献27就是通过对眼睛形状的分析，建立眼睛模板如图3.6所示: 3.6参数定义的眼睛模板边缘是两条抛物线，眼中间的圆是瞳孔。由（Xe ，r）表示瞳孔圆圆心坐标和半径。上下两条抛物线由（Xe ,a,b,c,）表示，Xe表示眼睛模板的中心坐标，a表示上抛物线的最大高度，b表示模板长度的一半，c表示下抛物线的最大高度，表示模板与水平方向的夹角。模板与输入图像及其波谷、波峰和边缘域进行交互。波谷、波峰和边缘域分别对应着眼睛的黑色区域、白色区域和眼睛
45、的轮廓。依据这个模板建立的能量函数需要考虑实际图像中眼睛的特征以及各参数间的先验关系。3.3.2二维可变形眼睛模板通常我们制作左眼、右眼模板两个模板或者一个双眼模板，又或者如上所说的合成模板，但是人脸的旋转角度是任意的，当旋转角度比较大时，其中的一部分眼白就会看不见，所以为了适应人脸向两侧作较大角度的旋转，在文献28中就制作了三个眼睛模板，分别用于不同的情况下。三个眼白模板如图5.4所示： 图3.7 三个简单眼睛模板 简单眼睛模板可以用如下数学形式表示：SimpleEye=SimpleEye(S,x,y)。在进行眼睛定位时，不断改变简单眼睛模板的尺度参数S和眼球中心位置参数（x,y），当模板与人脸图像取得最佳匹配时所对应的尺度S就是眼睛的大小，中心位置（x,y）就是眼睛在人脸图像中的位置。匹配时采用的能量函数与三维可变形模板中的能量函数类似，介绍三维模板时将介绍。 匹配时，当人脸的垂直旋转角度大于30o时，就使用仅有左眼白的简单模板，（图3.7左）；当旋转角度小于-30o时就使用仅有右眼白的简单眼睛模板（图3.7右）；若旋转角度介于-30o和30o之间，就使用正常的双眼白简单眼睛模板（图3.7中）。二维弹性模板对于正面人脸图像的定位效果很好，倾斜度不大的时候定位效果也可以，但并不适用于具有垂直旋转角度的人脸图像。而且由于参数过多造成计算
