三维人脸识别系统研究毕业论文.doc

《三维人脸识别系统研究毕业论文.doc》由会员分享，可在线阅读，更多相关《三维人脸识别系统研究毕业论文.doc（44页珍藏版）》请在三一办公上搜索。

1、三维人脸识别系统研究摘要生物识别是最能体现计算机智能的特征之一，它在科研工作和日常生活应用方面都引起了巨大的轰动。在所有生物特征里面，人脸特征是最普遍和最容易获取的，所以，人脸识别一直都是模式识别和图像处理领域最热门的课题之一。为了减弱光照、表情、姿态、摄像视角、外貌(例如头发、眼睛)等变化对识别的影响，提高三维人脸识别准确性，本文针对光照、姿态、表情等影响三维人脸识别的因素进行了研究。使用基于球面谐波基图像的光照补偿算法减弱光照对人脸识别的影响，利用三维形变模型和部件技术相结合的人脸识别方法进行多姿态人脸的识别，针对表情变化带来的塑性变形采用基于泊松方程完成非中性人脸网格模型向中性模型的变形

2、，提高带表情模型与同类中性模型之间的相似度。这三种算法在提高三维人脸识别的性能上都有一定的帮助，对于三维人脸识别系统的研究有了一定的理论基础。关键词：人脸识别；三维人脸识别；光照；姿态；表情AbstractBiometrics is one of the best embodies the characteristics of computer intelligence, its research work and daily life applications have caused a great sensation. In all the biological characteristi

3、cs of which, facial feature is the most common and most easily accessible, so, face recognition, pattern recognition and image processing has been the hottest topic in the field. In order to weaken illumination, facial expressions, gestures, camera angle, appearance (eg hair, eyes) and so the impact

4、 of change on the recognition and improve the accuracy of three-dimensional face recognition, this paper light, gesture, facial expression and other factors affecting the 3D face recognition study. Spherical harmonics basic image-based illumination compensation algorithm reduced the influence of lig

5、ht on face recognition using 3D deformable model and parts is combined with multi-pose face recognition face recognition, for the expression of changes in the plastic deformation Poisson equation based on the completion of non-neutral facial mesh model deformation to the neutral model, increased wit

6、h the same neutral expression model and the similarity between models. The three dimensional face recognition algorithm to improve the performance of all have some help, for 3D face recognition system for a certain theoretical basis.Key Words：face recognition; 3D face recognition; illumination; atti

7、tude ; expression目录摘要iAbstractii第1章 绪论31.1本文工作的来源31.2目的和意义31.3国内外进展41.3.1国外进展41.3.2国内进展41.4本文工作的主要内容5第2章 光照对三维人脸识别影响算法的研究62.1基于球面谐波基图像的人脸图像光照估计62.1.1球面谐波基图像模型62.1.2人脸的球面谐波基图像近似72.1.3光照估计92.2人脸图像光照补偿102.2.1纹理图像102.2.2差图像11第3章 姿态对三维人脸识别影响的算法研究133.1三维形变模型133.2基于ASM的三维人脸分片153.3基于三维部件技术的人脸识别16第4章 表情对三维人脸

8、识别的影响的研究204.1算法思想214.2(Guidance-based constraint deformation) (GCD)模型23结论26参 考 文 献27致谢28外文科技资料翻译29英文原文29中文译文38第1章 绪论人脸识别是当前生物特征识别研究的热点之一，目前的人脸识别方法主要集中在二维图像方面，由于受到光照、姿势、表情变化的影响，识别的准确度受到很大限制。针对人脸识别的难点，一个较好的办法是利用三维信息进行人脸的识别。本文主要研究基于三维数据模型的人脸识别问题，旨在通过提取有效并且鲁棒的三维特征完成识别；同时针对三维数据模型本身的大数据量、高复杂度的特性，探讨如何在保证识别

9、正确率的基础上，提高识别过程的效率。1.1本文工作的来源导师指定题目。1.2目的和意义自美国发生911恐怖袭击事件以后，世界各国对如何防范恐怖分子、保障民众安全异常关注，不断积极寻找有效的身份鉴定方法。另一方面，全球范围内电子商务已迅速兴起，网络信息安全问题也伴随而来，安全可靠的网上购物和交易是电字商务进一步发展的核心问题。传统的安全方式如密码、个人识别码 (PIN)、磁卡和钥匙经常被非法盗用或者滥用，因此只能提供有限的保障。为了保障身份鉴定方法更加有效和安全，因此提出了身份鉴别的研究。目前用于身份鉴别的生物特征有脸像、声纹、指纹、虹膜、笔迹、步态、耳型、视网膜、手形、掌纹、足迹、红外温谱图等

10、。其中人脸识别是生物特征鉴别技术的一个重要方向，多年来一直受到许多研究者的关注。和其他生物特征识别相比，人脸识别具有主动性、非侵犯性和用户友好等许多优点。同时鉴于二维识别的局限性，三维信息能更精确地描述人的脸部，提取的某些特征具有刚体变换不变性，并且不易受化妆和光照的影响。鉴于人脸识别具有主动性、非侵犯性等优势，如果成功地实现三维人脸识别的话，那么安全、金融、法律、人机交互等领域具有广阔的应用前景，将对身份的鉴别作出重大的贡献，同时对世界的安全也有积极地影响。1.3国内外进展三维人脸识别越来越受到研究人员的重视。国内外都兴起了对三维人脸识别技术研究的浪潮。1.3.1国外进展在世界，国际生物特征

11、识别领域权威机构IBG的统计数据显示，近年来全球人脸识别的增长趋势非常强劲，年均增长率超过80%，大大超过了全球整体生物特征识别市场30%的年均增长率。人脸识别，作为全球生物特征识别的一个市场热点，越来越受到人们的普遍关注，并展示了其美好的应用前景。国外研究机构和公司从事自动人脸识别的研究与实践较早，在美国、德国、日本等发达国家已经有相关产品问世。 1996年美国的FERET 研究机构对现有的各种人脸识别算法进行了测试， 结果表明，比较成熟的识别算法对于数千人的图像进行识别检索，识别率可达到90% 以上。现在FERET 研究机构已经成为国际权威的人像检测和识别理论和算法的评估机构。“9. 11

12、 事件”以后，美国更加大了人脸识别技术的研究力度， 正在着手建立国家级的重点犯罪人口和恐怖破坏分子的人脸数据库。1.3.2国内进展作为国内企业奋起直追，突破国外技术垄断，推出性能稳定、价格适中产品的代表，汉王科技对于“汉王人脸通”的成功研发，无疑给国内人脸识别大规模商用的产业化注入了一针兴奋剂。从2007年便开始经历迅速的发展，而且发展的脚步越来越快。由于科技界和社会各个方面都认识到人脸识别技术的重要性，国家政策对人脸识别技术研究给予了很大支持，使得我国人脸识别技术取得了很大进展。2008年，更是我国安防市场迅速扩张的一年。随着政府推动的“平安城市”建设、城市报警与监控系统（“3111”工程）

13、的深入展开，加之奥运会、世博会等大型活动的带动，全国进入了安防设施建设的高潮期，安防行业持续保持了快速的增长。而且，除了传统的考勤、门禁等应用外，各种新的应用需求的不断涌现，也极大地推动了这一市场的发展。1.4本文工作的主要内容本文针对二维人脸识别技术的局限性，提出了三维人脸识别技术。主要研究了三维人脸模型的识别，以及识别前所需进行的一系列的其他处理。对于光照、姿态、表情这些方面，针对以往的方法中存在的问题，提出了可能的解决方案。本文的主要研究内容可概括如下：（1）光照对三维人脸识别影响的算法研究提出了一种基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法分两步进行：光照

14、估计和光照补偿。根据光照估计的结果，提出了两种光照补偿方法：纹理图像和差图像。纹理图像为输入图像与其光照辐照图之商，与输入图像的光照条件无关。差图像为输入图像与平均人脸在相同光照下的图像之差，通过减去平均人脸在相同光照下的图像，减弱了光照的影响。（2）姿态对三维人脸识别影响的算法研究针对多姿态人脸识别问题，提出了一种三维形变模型和部件技术相结合的人脸识别方法。该方法提取人脸三维部件作为识别特征，在一定程度上克服了人脸姿态变化对识别的影响。在识别过程中结合人脸的局部特征和全局特征，根据单个部件的识别率确定其在整体分类中的权值。基于整脸信息进行识别，进一步改善了识别效果。（3） 表情对三维人脸识别

15、影响的算法研究针对表情变化带来的塑性变形，Guidance-based constraints deformation(GCD) 模型基于泊松方程完成非中性人脸网格模型向中性模型的变形，有助于提高带表情模型与同类中性模型之间的相似度；同时，将一个刚性约束无缝地融合到变形线性系统中，以保持类间的区别特征。因此，GCD模型有效地提高了表情变化的三维人脸识别的性能。第2章 光照对三维人脸识别影响算法的研究人脸识别经过近40年的发展，对于均匀光照下的中性表情的证明人脸图像起识别率已经很高，然而在一些更加复杂的情况下，现有的多数系统的识别性能还是受到光照变化的影响特别大，这是因为当人脸的光照发生变化时候

16、，人脸图像的外观也会随之发生很大的变化。本章针对这个问题，提出了基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法份两步进行：光照估计和光照补偿。2.1基于球面谐波基图像的人脸图像光照估计球面谐波子空间理论表明，在各向同性远光源假设条件下，朗伯凸表面的任意图像均可表示为该凸表面9个球面谐波基图像的线性组合，这9个线性组合的系数反映了该图像拍摄时的光照情况。而对于任意给定的2D图像，如果能够估计出对象的3D形状和表面反射系数，则可以解析地计算出9个球面谐波基图像，然后就可以通过最小二乘法解出9个光照系数。本节首先简单介绍球面谐波子空间理论，然后给出粗略估计人脸3D形状和表面

17、反射属性进而计算给定人脸球面谐波基图像的策略，最后给出了基于最小二乘的光照系数估计方法。2.1.1球面谐波基图像模型本章的工作是基于Basri等1和Ramamoorthi2提 出的球面谐波理论而发展出来的，因此本节首先简单介绍球面谐波基图像模型。假设物体为朗伯凸表面，光源为各向同性远光源，则其辐照度E为 (2-1) 其中为表面法线方向的球坐标表示，为入射光场，积分区间为物体表面法线方向的上半球，为一个旋转操作，将局部坐标转换成全局坐标。式(2-1)实际上是一个旋转卷积，因此很适合在空间频域中分析。球面上的信号处理工具为球面谐波函数，类似2D平面上的傅立叶级数。朗伯表面的反射方程在空域中积分区域

18、很大(上半球)，根据Heisenberg测不准原理，则其在频域中一定局限在低频范围。因此辐照度E在频域中用球面谐波函数展开为 (2-2)其中为朗伯反射函数的球面谐波系数，为光照的球面谐波系数，为球面谐波函数。式(2-2)的详细推导请参考文献1,2。假设人脸为朗伯凸表面，用表示人脸图像中某点的反射率， 表示该点的法线方向，则其亮度为= （2-3）其中 （2-4）为人脸的球面谐波基图像。球面谐波基图像可以看作是人脸在谐波光照下的图像，谐波光照为只含有一个谐波成分的虚拟光照环境。这样，人脸图像可表示为其9个球面谐波基图像 的线性组合，这9个线性组合的系数为光照系数 。2.1.2人脸的球面谐波基图像近

19、似 为了利用球面谐波基图像模型进行分析，我们需要知道人脸的球面谐波基图像，即需知道人脸的反射率和法线，其中法线又与3D形状相关。9D线性子空间方法7利用已知的人脸3D结构计算球面谐波基图像，Zhang3等假设人脸谐波基图像每点的分布符合高斯分布，再融合输入人脸的信息，用MAP估计得到输入人脸的谐波基图像.在本文中，输入人脸的反射率图和法线图也是通过“人脸类”的先验知识得到。但我们所用的人脸类的先验知识的表示有所不同。人脸的形状大致相同，该假设已用于很多视觉算法中4,5,6。由于表示光照的参数只有9个，相对图像的像素数目很少，因此可以将图像的分辨率降低。而分辨率降低之后,不同人脸的形状差异就更小

20、了。且光照对图像的影响是全局的，因此微小的形状偏差不会对光照估计造成严重影响。但为了尽可能地减小输入人脸形状与平均人脸形状的差别，本文采用基于特征点的变形技术，将平均3D人脸形状变形到输入人脸，以得到尽可能与输入人脸相似的3D形状。本文中我们用一种改进的AAM模型7来定位人脸图像上的关键特征点。在输入人脸图像的特征点与平均3D人脸形状的特征点对齐之后，其它的顶点我们采用Kriging插值，将平均3D人脸形状变形到输入人脸,得到输入人脸的3D形状。有了输入人脸的形状，其姿态也可以根据特征点的相对位置确定，则我们可以很容易地计算输入人脸的法线。图2.1给出了本文采用的平均人脸形状、输入人脸图像的特

21、征点及其经过对齐后的特定人脸形状和法线图。图2.1平均人脸形状及输入人脸的形状光照变化对特征点的精确定位仍然是一个巨大的挑战。在光照条件很恶劣的情况下，自动定位的特征点不太准确。在本文实验部分我们比较了只用两个眼睛位置对齐平均人脸形状模型和输入人脸图像的结果，以观察系统对配准精度的敏感性。关于反射率，我们假设人脸表面各点的反射率近似相等。更准确地，我们假设人脸的反射率图中除了直流分量外不包含其它低频分量。虽然人脸表面并不严格满足上述假设，我们发现在实际应用中还是取得了很好的效果。人眼观察到的人脸皮肤颜色大致相同也证明了这一点。由于光照参数的维数很少，在实际应用中，为了使输入更符合这一点,我们将

22、图像的分辨率可以降得很低，这样各点的反射率更接近，且反射率与皮肤差别较大的区域，如眉毛、眼睛、鼻子和嘴巴部分不参与光照估计运算。给定任意输入人脸图像，通过上述方法估计其反射率和法线方向后，即可根据式(2-4)计算其球面谐波基图像。2.1.3光照估计给定一幅人脸图像(维列向量，为图像中的像素个数)，并通过2.1.2节中的方法计算该人脸的球面谐波基图像B，则式(2-3)中的未知数只有9个光照系数，因此，光照估计就是估计式(2-3)中的光照环境的9个低频球面谐波系数。这可以通过解下述最小二乘问题得到 （2-5）其中为谐波基图像的矩阵形式，是一个9的矩阵，矩阵的每一列为一个谐波基图像。需要指出的是，根

23、据式(2-5)估计出的光照系数 与真实的光照系数之间相差常数倍，即=，其中为反射率图的直流系数。2.2人脸图像光照补偿在光照估计的基础上，本节我们讨论人脸图像光照补偿。光照补偿是期望将输入人脸图像经过处理后得到一个与光照无关或至少对光照变化不敏感的表示，从而使得人脸识别变得更容易。这可以用一个统一的计算模型来表达： (2-6)其中表示原始图像，是削弱光照变化影响的变换，是变换后的特征表示，可以是图像或者其它特征。本节我们讨论两种光照补偿方式：纹理图像和差图像。2.2.1纹理图像如式(2-3)所示，其中。这种表示形式的一个好处是可以将人脸图像对纹理的依赖与形状和光照的依赖分开，其中图像对形状和光

24、照的依赖关系用辐照度表示。估计出了光照条件并已知人脸的法线方向，我们可以根据式(2-2)计算该人脸的辐照度度。这样,给定输入图像及其对应的辐照度，根据式(2-3)，我们得到输入人脸的纹理图像为原图像与其辐照度之比，即 (2-7)纹理图像只包含纹理信息，与形状无关，也与光照无关。但是由于计算纹理图像时涉及除法，当辐照度中的像素亮度值较低时，会引入噪声。为了抑制纹理图像中的噪声，在识别时我们再对式(2-7)做对数变换，得到 (2-8)作为式(2-6)中对光照变化不敏感的特征。纹理图像中虽然没有形状信息，但辐照度度E的计算还需要知道输入人脸的形状。与光照估计的全局过程不同，光照补偿是对图像中每个像素

25、单独进行是一个局部过程，因此在计算输入人脸的形状时，对特征点定位精度有一定敏感性。2.2.2差图像光照变化对特征点的准确定位至今仍是一个很大的挑战，因此本小节我们考虑另外一种光照补偿方式，既能保留输入人脸的形状和纹理信息，同时又对配准精度不敏感。根据，辐照度依赖于光照和输入人脸的形状。辐照度中只包含低频信息，滤去图像中的低频信息就能将光照的影响去掉。进行滤波操作最合适的方法是将中的乘法变成log域中的加法。对式(2-3)两边进行log运算，也可以得到式(2-8)的纹理图像。由上面的讨论我们知道计算E还需要知道输入人脸的形状，因此对配准有一定要求。由于输入人脸的精确形状很难得到，所以在下面的差图

26、像光照补偿算法中我们不显式地使用输入人脸的形状，只利用编码在输入图像中的形状信息。另外我们希望在处理之后的图像中不同输入人脸形状的信息还能得到保留。用平均人脸模型来代替式(2-8)中的输入人脸的形状是一个很好的选择： (2-9)其中是平均人脸在输入光照下的辐照度。由于的低频性质和E类似，上式中的受光照的影响也很小。不同的是，上式中是用平均人脸形状计算的，所以最后处理得到的图像中，不仅包含了输入人脸的纹理信息，同时输入人脸形状同平均人脸形状的差异也得到了保留。上式一个直观的解释是：将输入图像(log域)减去一个只与光照有关的成分(平均人脸在输入光照下的辐照度)，最后得到的结果图像中光照的影响得到

27、了减弱，同时输入人脸的形状和纹理信息没有丢失。需要指出的是，当粗略配准时(只有两个眼睛位置给定)，式(2-8)与式(2-9)是等价的。当输入光照对应的辐照度亮度过低时，式(2-8)的会随变化有较大变化，带来噪声。为了抑制噪声，我们退而求其次，用图像域中的减法来代替式(2-9)中log域的减法，得到 (2-10)如果将平均人脸的纹理看成为常数1，则可以看成为，为平均人脸在输入光照下的图像。这样将 (2-11)定义为差图像，作为式(2-6)中对光照变化不敏感的特征F。由于两幅图像在相同光照下，通过对两幅图像做差，减弱了光照变化对人脸图像的影响，从而达到光照补偿的目的，同时又保留了用于识别的输入人脸

28、与平均人脸的差别。该差别既包括由纹理引起的差别，也包括由形状引起的差别。第3章 姿态对三维人脸识别影响的算法研究一种三维形变模型和部件技术相结合的多姿态人脸识别方法。该方法有效地对姿态问题进行了很好地处理。首先利用ASM对三维形变模型建立过程中的分片进行优化，使原型人脸的对齐是以人脸的特征区域为基础；然后利用形变模型重建三维人脸，依据分片原则将三维人脸划分为各个部件，把部件的几何信息和纹理信息作为识别的特征。在分类中，采用两层分类方法，第1层以每个部件作为弱分类器，统计其识别率；第2层根据每个部件的识别率决定其在整体分类中的权值，基于整脸信息进行识别。作者是在三维上实现人脸识别，增加了深度信息

29、，结合部件对姿态的鲁棒性，在一定程度上克服了姿态变化的影响。在分类识别算法中，把人脸的局部特征和全局特征结合起来，取得了很好的识别效果。3.1三维形变模型形变模型使用一类对象中若干典型样本张成该类对象的一个子空间，使用子空间基底的组合近似表示该类对象的特定实例。使用形变模型进行三维人脸重建分为2个过程：1)建立模型，获取人脸数据并建立人脸的对应和组合模型；2)针对特定人脸图像，进行模型匹配，实现三维人脸重建。三维人脸库中的原型人脸可用几何向量和纹理向量统一表示 （3-1）式中，；表示人脸的数量；表示三维人脸模型中顶点的个数；是和顶点对应的R、G、B颜色值。则形变模型可由线性组合给出， 其中 （

30、3-2）式中，表示变形生成的几何向量；表示变形生成的纹理向量。对于给定的人脸图像，模型匹配是将三维人脸模型变形，使得变形后的模型人脸与给定人脸图像最为匹配。由于三维人脸与二维图像的误差不能直接度量，因此可将三维人脸投影到图像空间进行比较。对于特定的人脸图像及模型人脸的投影图像，用2副图像对应像素点颜色纹理的参差来定义它们之间的误差 (3-3)式中，表示输入图像上的像素点，表示投影图像上的像素点。可采用随机梯度下降法优化式(3-3)的目标函数，得到形变参数。.给定1副或几副人脸照片，进行匹配优化，即可得到三维特定人脸(见图3-1)。图3.1 不同姿态的人脸重建结果3.2基于ASM的三维人脸分片形

31、变模型的关键是原型人脸间稠密点集的对齐，对齐的准确度直接影响线性组合的结果。针对三维原型人脸的数据特点，Gu Chun-liang等提出了一种基于分片重采样的三维对应技术8，得到的所有三维原型人脸具有统一的拓扑结构。但该方法在分片过程中，需要人工交互定义一些特征点和线，采样点密度有限，分片与特征区域并未达到很好的对应，作者提出的人脸识别方法以三维部件为特征，而三维部件是以分片为基础，分片的准确性将影响到部件提取的质量。原型人脸包含形状信息与纹理信息2部分数据，利用ASM在纹理图上标定特征点，以所有特征点的连线作为分片边界，将纹理图分割成不同的区域9。然后根据纹理映射图，将分片结果映射到三维人脸

32、上，完成对三维人脸的分片(见图3-2)。图3.2 特征点的标定结果与分片结果重采样要求分片时尽量保证特征点与特征区域的一致，眼睛、眉毛、鼻子和嘴是人脸的主要特征，作者增加了上述部位的特征点数，更大限度地保证每个分片是以人脸的特征区域为基准，同时由于ASM自动定位特征点的特性，实现了自动化分片。分片完成后，利用重采样方法实现三维原型人脸对齐，建立形变模型。3.3基于三维部件技术的人脸识别在二维多姿态人脸识别中，相对于整脸，基于部件技术的人脸识别方法可以达到较好的识别效果，但该方法需要采集大量样本，当目标人脸照片跟库中样本的姿态差别较大时，识别率较低；在分类中，把部件的整体组合作为识别特征，不能反

33、映各个部件的局部特性。作者采用三维形变模型和部件技术相结合的方法解决多姿态人脸问题纹理数据与几何数据是一一对应的，根据任意姿态照片建的三维人脸，都可以与正面照片重建的三维人脸直接比较，一定程度上能克服姿态对人脸识别的影响。在分类中，采用2层分类方法，把人脸的局部特征和全局特征结合起来进行识别。3.3.1特征提取本文的三维形变模型采用了基于分片重采样的三维人脸对齐方法，所有的三维人脸具有统一的拓扑构。分片是以人脸的特征区域为准则，各个部件以分片的区域为基础划分，整个三维人脸定义为所有部的组合，表示人脸的全局特征；每个部件代表着人脸不同的区域特征，表示人脸的局部特征，对于姿态的化具有一定的鲁棒性。

34、图3-3中不同姿态的人脸照片差异较大，提取三维部件后，对主要部件而言，差异对较小(图3d)，识别中可以增加这些部件的权重，降低受姿态影响较大的部件的权重。图3.3 不同姿态的人脸对应的主要三维部件每个三维部件用几何向量和纹理向量表示， （3-4）式中，为部件的数目；为几何坐标值；为纹理坐标值；为部件的点数。训练过程中，给定张二维正面人脸照片，利用形变模型重建每张照片对应的三维人脸，提取各个，得到其几何向量和纹理向量， （3-5）为了简化计算，作者利用PCA10算法，分别对纹理向量和几何向量进行降维，得到几何投影矩 和纹理投影矩阵,并将、分别在和作投影 （3-6）每个部件表示为 （3-7）式中，

35、为相应部件的几何向量维数； 为纹理向量维数。每个人脸 最终表示为 (3-8)3.3.2分类方法以部件的整体为分类器，容易忽略人脸的局部特征，仅以某个部件作为分类器，分类效果会很差，作者考虑将2种方法有效地结合起来，采用两层分类方法：第1层分类，将每个三维人脸部件作为一个弱分类器，统计其识别率；第2层把这些弱分类器组合成一个强分类器，根据每个部件的识别率，确定各个部件在强分类器中的权值，改善了识别效果。在识别过程中，用多姿态人脸照片重建三维人脸，提取每个部件，得到几何向量和纹理向量，根据式(3-3-3)分别向和作投影变换后，得到人脸C最终表示 （3-9）每个部件的分类判别式为 (3-10)式中，

36、=1，2，；=1，2，。综上所述，可以确定每个部件的识别率，根据该识别率确定每个部件在整体强分类器中的权值，后整体分类器的分类公式为 （3-11）式中= 第4章 表情对三维人脸识别的影响的研究3D人脸模型具有显式的形状，与2D图像相比较而言，对姿态、光线、化妆、皮肤颜色等因素不敏感，因而3D人脸识别技术在这些方面相比2D人脸识别有天然的优势，这大大拓展了人脸识别的应用空间。然而，正如人脸表情将会影响2D图像的表观，从而大大降低2D人脸识别算法的性能一样11，人脸表情也将改变3D人脸模型的形状，造成人脸局部区域产生塑性变形，如图4.1，塑性变形造成了人脸形状的较大改变。尽管这种改变是表情造成的，

37、而不是个体差异造成的，但是，由于无法区分差异的原因，因而没有理由认为两张表情造成的形状不同的3D人脸来自于同一个人，因而表情也降低3D人脸匹配算法的性能。因此，如何克服或降低表情的影响是3D人脸识别中一个关键的问题和挑战，在本章中，我们将讨论如何建立一个3D人脸的弱表情模型，在匹配之前对人脸网格应用该模型，从而降低表情对算法的性能损害。图4.1表情带来的人脸塑性扭曲4.1算法思想本节我们首先定义3D人脸识别中的表情问题，以将求解的问题明确化，然后分析可行的解决方案。3D人脸识别问题和确认问题都包含一个库，每人至少在库中登记了一个模型，正如我们上一节所述，一个人登记多个模型会造成运算规模变大而缺

38、乏实用，我们规定中每个人都只有一个模型，且是中性表情模型。问题定义为：中登记了多个身份人每人一个的中性表情模型，对输入的一个带表情的模型，如何实现正确的分类。 定义两个相似度，类间相似度，是指不同人对应的模型之间的相似度，类内相似度 ，是指同一个人不同模型之间的相似度。表情的引入自然降低了类内相似度，使得同类模型从匹配结果上看如同异类一样。如图4.2，A类的由于表情改变了3D形状，使得它距离A类较远，而距离非A类较近，造成匹配错误。考虑对进行变换，图4.2中有9条变换方向，分别编号为1-9，图中1、2、9三条变换方向有助于拉近与A类之间的距离，其它变换方向都不利于正确分类，因为它们使得与A类更

39、不相似。在1、2、9这条变换方向中，2号变换方向同时拉进与A类和非A类的距离，依然不利于分类。l号变换方向是最佳的，拉进与A类距离的同时保持着与非A类的差别。这正是我们的解决表情问题的方向，即，对3D人脸识别中的表情问题，由于我们是面向识别性能这个目标，我们并不需要建立一个统一的表情生成和转变模型，只需建立一个变换，该变换能提高类内相似度，而保持类间的差别度，如式4-1。 (4-1)图4.2表情引起的类内相似度变化示意图假设我们有一种自由变形技术，可以将给定的带表情的在其自身拓扑条件约束下尽可能地向另外一个模型进行变形，利用中模型的信息，假设中存在一个模型与来自于同一个人，总能变形成与非常相似

40、。但会向每一个中的模型变形，这就造成了与其它非同类的模型也变得相似，这是图4.2中2号变换线的变换方向。改进的想法是，我们不对的全部区域进行变形，假设可以分为两部分和，前者是表情相对不变的区域，后者是表情影响大的区域，我们只对部分向中的模型变形，此时，由于部分与的对应部分依然很相似，经部分的变化，仍有机会变成总体与很相似。这就拉近了类内模型的相似度，同时，当向其它非同类模型变形时，由于部分保留使得不会拉近与其它模型的相似度，这就实现了保持类间模型仍然具足够差别的目的。现在去掉中存在的假设，由于缺少正确的变形向导，无法变形成它自身中性模型的模式，但它依然保持了与中其它模型的区别度，即保持了类间差

41、别度。按以上的思路，我们提出了一个基于变形的弱表情模型，GCD模型(Guidance-based constraint deformation)。4.2(Guidance-based constraint deformation) (GCD)模型GCD模型基于网格变形技术，其目的是为了减小输入模型的曲面塑性扭曲，GCD模型是3D人脸识别匹配前对输入模型的中间处理步骤。本节我们首先描述GCD模型的框架和相关的理论背景，然后对该模型的核心步骤，基于向导的变形和变形刚性约束进行详细描述。4.3 GCD模型的框架4.2.1模型框架正如前所述，GCD模型要完成两项关键操作，一是将probe在自身拓扑结构

42、的约束下向gallery中每一个模型进行变形操作，其次操作是给定两个人脸网格Mp和Mg，将Mp向Mg变形，我们称之为基于向导的变形技术(Guidance-based deformation)；二是保证只变形Mp中的刚性部分，这一步操作我们通过一个刚性约束完成，称之Rigid Constraint。图4.3描述了GCD模型的主要框架。4.2.2理论背景按网格流形的严格定义，3D人脸曲面可以表示为一个2D流形网格，图4.4显示了一个1环的网格；在3D人脸网格上，我们定义以下概念:图4.4 一环网格(l)离散标量场(Discrete Scalar Fields)和离散矢量场（Discrete Vec

43、tor Fields）网格上定义的离散标量场，可以表示为： (4-2)其中是一个分段线性基函数，在上点值为1，其它顶点位置值为0，因此，标量场在处的值为。网格上点的坐标的三个分量都满足标量场的定义，可以看作是定义在网格上的三个标量场。上离散矢量场的定义类似于标量场，如下： (4-3)其中是分段常基函数(piecewise-constant basis function)，在三角形片内部为1，外部为0；表示与顶点邻接的所有三角面片集。标量场的梯度场是网格上的一个矢量场。(2)离散梯度运算子(Discrete Gradient Operator)网格上离散标量场的梯度运算子定义如下： (4-4)其中是顶点依附的三角形，它的三个顶点为，按逆时针排序。 (4-5) 其中表示三角形的面积，%是求模运算符，() 表示将向量沿的法向逆时针旋转90度。标量场经梯度运算，可以得到一个梯度向量场，在内部，梯度是一个常量。(3)离散散度运算子（Discrete Divergence Operator）给定网格上的向量场，散度运算子定义为12： （4-6）其中表示向量点乘运算。(4)离散拉普拉斯运算子（Discrete Lapace-Beltrami Operator）标量场上的拉普拉斯算子在1环网格上可以表示为