《基于深度学习的人脸识别技术综述.docx》由会员分享，可在线阅读，更多相关《基于深度学习的人脸识别技术综述.docx（17页珍藏版）》请在三一办公上搜索。
1、基于深度学习的人脸识别技术综述简介：人脸识别是计算机视觉研究领域的一个热点，同时人脸识别的研究领域非常广泛。因此，本技术综述限定于：一，在LFW数据集上(LabeledFacesintheWild)兼得优秀结果的方法二，是采用深度学习的方法前言1.FW数据集(LabeledFaCeSlntheWild)是目前用得最多的人脸图像数据库。该数据库共13,233幅图像，其中5749个人，其中1680人有两幅及以上的图像，4069人只有幅图像C图像为250.250大小的JPEG格式。绝大多数为彩色图，少数为灰度图。该数据库采集的是自然条件下人脸图片，目的是提高自然条件下人脸识别的精度。该数据集有6中评
2、价标准：Unsupervised；二，Image-restrictedwithnooutsidedata；三，Unrestrictedwithnooutsidedata：N,Image-restrictedwithlabel-freeoutsidedata：五，Unrestrictedwithlabel-freeoutsidedata：六，Unrestrictedwithlabeledoutsidedata：目前，人工在该数据集上的准确率在0S4270992（L在该数据集的第六种评价标准下（无限制,可以使用外部标注的数据），许多方法已经赶上（超过）人工识别精度，比方face+QeeplD3,E
3、QJ ST-HSOd 9nsHuman PerformanceHunanr unneledHunan, cropped Hman, inverse askHuman,funneled110.9920Humanzcropped110.9753Human,inversemask】0.9427Table7:Meanclassificationaccuracy0andstandarderrorOfthemeanSee.l8.2B.3.4.3e.0.7.8.9falsepositiverateFaceNet 等。Figure7:ROCcurvesaveragedover10foldsofView2.图-
4、/发一：人类在LFW数据集上的识别精度表二：第六种标推下，局部模型的识别准确率(详情参见IfW结果)Unrestricted,LabeledOutrideDataResult%Simileclassifiers0.84720.0041AttributeandSimileclassifiers110.85540.35MultiplLE*ConM0.84450.0046Associate-Predicte0.90570.56TOnVVS-Pete230.9310士0.0135Tom-VS-PeteAttribute30.93300.0128combinedJointBayesian%0.92420
5、.0108KighYmLBP0.95170.0113DFD330.84020.0044TLJointBay3an0.96330.0108r2011b190.91300.30Face+400.9950上0.36DpFac-esmbe10.9735OoO25ConvNet-RBM420.9252土0.38POOF-gradhist440.93130.0040PooFXOGy0.92800.0047FRFCn50.9645O.25DeepID460.97450.0026JUSSianFace70.9520.0066DeepID2480.99150.13530.93330.0124D IhC 2D-a
6、ligncd CroP image-plane. (C) Triangle visibility w.r.t. to the fitted 3D-2D camera; black triangles arc lc、 isible. (f) The 67 Iiducial points induced by the 3D model that arc using to direct the piecc-wisc ainc warpping, (g) The Iinal Irontalized crop, (h) A neu view generated hy the 3D model (not
7、used in IhiS paper).图2一1人脸对齐的流程2.3深度神经网络hpmr: Otfhnr4IhrIkffFacrarikflccied byer aid i* Iulh-Iumeiitd l*)tn. Cu4n lhtr* naput 10 IiMePMrilmcIE. hr NKVt ih W cw from d kcal Md Glb ymrtMd y图2-2：深度神经网络2.4结果该模型在LFW数据集上取得了0.9735准确率,在其它数据集比方SocialFaceClassification(SFC)dataset和YouTubeFaces(YTF)dataset也取得/
8、好结果，详情请参见原文C3. FRFCN(0.9645)参考文献：RecoverCanonical-ViewFacesintheWildwithDeepNeuralNetworks3.1 筒介自然条件下，因为角度，光线，occlusions(咬合张口闭口)，低分辨率等原因，使人脸图像在个体之间有很大的差异，影响到人脸识别的广泛应用本文提出了一种新的深度学习模型，可以学习人脸图像看不见的一面。因此，模型可以在保持个体之间的差异的同时，极大的减少单个个体人脸图像(同一人，不同图片)之间的差异。与当前使用2d环境或者3d信息来进行人脸重建的方法不同，该方法宣接从人脸图像之中学习到图像中的短那么观察体
9、(Carwnicalview,标准正面人脸图像)。作者开发了一种从个体照片中自动选择合成CanOniCal-VieW的方法。在应用方面，该人脸恢更方法已经应用于人脸核实。同时，该方法在LFW数据集上获得/当前最好成绩。该文章的亮点在于：一，新的检就选择CanomCalweW的方法：二，训练深度神经网络来重建人脸正面标准图片(canonical-view)。3.2 canonicalview选择方法我们设计了基于矩阵排序和对称性的人脸正面图像检测方法。如图3-1所示，我们按照以下三个标准来采集个体人腌图片：一，人腌对称性(左右脸的差异)进行升序排列：二，图像锐度进行降序排列:三，一和二的组合。图
10、3-1正面人脸图像检测方法3.3 人脸重建我们通过训练深度神经网络来迸行人脸重建。IOSS留故为:E(PW=EEllKfM；W)Ii1为第1个个体，k为第I个个体的第唾样本.X和Y为训练图像和目标图像。垢因示，深度神经网络包含三层。前两层后接上了maxpooling：最后一层接上了全连接层。于传统卷积神经网络不同，我们的filters不共享权重（我们认为人脸的不同区域存在不同类型的特征）。第I层卷积层可以表示为：图3-2深度神经网络最终，经过训练的深度神经网络生成的canonicalview人脸图像如图3-3所示。图3-3canonicalview人脸图像4. DeepID(0.9745)参考
11、文献：DeeplD3:FaceRecognitionwithVeryDeepNeuralNetworks4.1 简介深度学习在人脸识别演域的应用提高了人脸识别准确率。本文中，我们使用了两种深度神经网络框架（VGGnet和GoOgleLeNet）来进行人脸识别。两种框架ensemble结果在LFW数据集上可以到达0.9745的准确率。文章获得高准确率主要归功于大量的训练数据，文章的亮点仅在于测试了两种深度卷积神经网络框架。4.2 深度神经网络框架Mepl0511Figure 2 ArdWlKiUlC ) nel I. Figure drwn Z the ame x Fig hfurv I Arc
12、hilcvtinv 5 IXxpll)5 nc2. Hforr dcctn i the MBM at Fig- &图41两种深度卷积神经网络框架5. FaceNet(0.9963)参考文献：FaceNet:AUnifiedEmbeddingforFaceRecognitionandClustering5.1 简介作者开发了一个新的人脸识别系统：FaceNet,可以直接将人脸图像映射到欧几里得空间，空间的距离代表了人脸图像的相似性。只要该映射空间生成，人脸识别，验证和聚类等任务就可以轻松完成。该方法是基于深度卷枳神经网络，在LFW数据集上.准确率为0.9963,在YouTubeFacesDB数据
13、集上，准确率为0.9512。FaCeNet的核心是百力级的训练数据以及tripletloss5.2 tripletloss图5-1tripletloss示意图5.3深度卷积神经网络采用adagrad优化器，使用随机梯度下降法训练CNN模型。在CPU集群上训练Z1000-2000小时。边界值a设定为0.2。总共实睑了两类模型，参数如表5-1和表5-2所示。layersize-insizeoutkernelparamFLPSconvl220x220311011061773.29K115Mpll110110645555643364,2Ornorm15555645555640conv2a5555645
14、555641164,14K13Mconv255556455551923364,1IlIK335Mrnor2555519255551920PoOI25555192282819233192,20conv3a28281922828192lxl192,l37K29Mconv328x28x192282838433192,1664K521Mpool3282838414x14x38433384,20conv4a14x14x384141438411384,1148K29Mconv4141438414142563338411885K173Mconv5a14142561414256IXlX256J66K13Mco
15、nv51414x2Jb14x14x2563x3256,1590K116Mconv6a14142561414256lxl2561l66K13Mconv6141425614142563x3x256,159()K1I6Mpoo!414142567725633256,20concat772567x7x25607x7256132128maxoutp=2103M103Mfc2132128l32xl28maxout=234M34Mfc712813212811128524K0.5ML211128111280totalI4OM1.6BTable1.NNl.Thistableshowthestructureofo
16、urZeiler&Fergus22basedmodelwithIxlconvolutionsinspiredby9.TheinputandoutputsizesaredescribedinTOWficolstfilters.Thekernelisspecifiedas/5-1CNN模型1rcols,strideandthemaxout6plingsizeasp=2.表5-2CNN模型2typeupui4depth1x1Mirvdacr#3x3#5*5EuVC#5x5P*E(P)param*KLOPSc*mvI(7x7x3.2)Il2xll26l19KI19Mnaxpool.f*m毋E0m3X3
17、.2cqNon(2)*4x$6mI*22M192INKM)Mn2Hltt2Wm.x2K必iM*I2X通Sm.*2pIMKUMMIacCp2Kx2HIQ2MM62S闷M/j.Mp门MKI79M*Mcm(k)I4l4x6l上012乱MJm33jAMMKI11MIMrIMlm(4*)Hx4x22M6侬森抬U.I2M5K107MncM44M222411222464.12%例KII7Mrpcm4)UmH*M21922X256MLB12M6MKI2KMIlKelMKE(4dHxI4xM2I时14421WK4Li.12m722KI42MIMCptlCNl4c)771(*24WO160252Mm3x3J7I7
18、KXZqMi242软12AM&128口.12卵I.6MMi*cqNi7m7m1O24工W3也苗4期1m纥卵I6M7WMavrPmlIIxlx1024Ufull*UWM1x1m1281BIK0IML2IKMnulizatMXiIxlxIM0tDUJ7,MTable2.、工Detail*oftheN、2InceptMWmc11utnThismodelnaimmiidenticaltotheOaCdr*cihMin116)ThetwomacrdifnencvarelhcucrfAjpMnginsteadofmuPnnhU(Ekwherehcd.ThepraJiaf*alway*3X3lMdrfrom
19、theiMaveragrPaoIigMdinPeralklkthecwMhmoMmdvk*IftMdcCaehIrKCfWKMInmlic.IfIhettKadimc11MmalHyrcdimaftertcwMi*fIl，、drnccdWNhPIm1.33.aid3x5pmhngkIhrn3WKMcttMcdCofcIiheMnaltuul6. baidu的方法参考文献：TargetingUltimateAccuracy:FaceRecognitionviaDeepEmbedding61简介本文中，作者提出了一种两步学习方法，结合HiutikpatchdeepCNN和deepECtriclea
20、rning,实现脸部特征提取和识别。通过12million(18000个个体的训练集训练，该方法在LFW数据集上取得了0.9977的成绩。6.1 multi-patchdeepCNN人脸不同区域通过深度卷积神经网络分别进行特征提取，如图6-1所示。fc-I-I0=a-吗4 cplpn1卜Conv9 FCSoftmaxCnnv1Conv2Conv3ConvlCnv5FigureI.OverviewofdeepCNNstructureonmulti-patch.图6-1multi-patch示意图6.2 deepmetriclearning深度卷积神经网络提取的特征再经过metriclearnin
21、g将维度降低到128维度，如图7-2所示。Multi-patch _ conv9 Concatenate 128 f1ot TriPICt IeKAFigure 2. Metric learning With triplet loss图6-2metriclearning示意图7,pose+shape+expressionaugmentation(0.9807)参考文章：DoWeReallyNeedtoCollectMillionsofFacesforEffectiveFaceRecognition7.1 筒介该文章的主要思路是对数据集进行扩增(dataaugmentation)。CNN深度学习
22、模型，比方face+,DeepID.FaCeNet等需要基于百万级人脸图像的训练才能到达!精度。而搜集百万级人脸数据所消耗的人力，物力，财力是很大的，所以商业公司使用的图像数据库是不公开的。本文中，采用了新的人脸数据扩增方法。对现有公共数据库人脸图像，从pose,ShaPe和expression三个方面合成新的人脸图像，极大的扩增数据量。在LFW和IJB-A数据集上取得了和百万级人脸数据训练一样好的结果。该文章的思路很好，很适合普通研究者。7.2 pose+shape+expression扩增方法一，pose姿态，文章中为人脸角度，即通过3d人脸模型数据库合成图像看不见的角度，生成新的角度的人
23、脸)。首先，通过人脸特征点检测faciallandmarkdetectoC,获取人脸特征点。根据人脸特征点和开放的Basel3Dfaceset数据库的人脸模板合成3d人脸。如图7-1所示。6BEFig.2:AddingPoeCvariationsbyBynlhCSiZingnovelviewpoints.Left：Originalingc.(角度生成示意图 二，shape (脸型).首先, 据与不同3d脸型数据结合,dtoctedlandmarks,and3DPOsPpstinmtion.Right:renderednovelviews.图7PoSe通过Basel3Dface获取10种高质量3
24、d面部扫描数据。再将图像数生成同一个人不同脸型的图像。如图7-2所示：图72不同脸型生成示意图三，expression（表情，本文中，将图像的张嘴表情替换为闭口表情）。采用中性嘴型将图像中的开口表情换位闭口表情。如图7-3所示。Fig.4:Expressionsynthesisexamples.Top:ExamplefaceimagesfromtheCASIAWcbFacedataset.Bolluin:SynthesizedimageswithCIoseduuths.图7-3不同表情（开口/闭口）生成示意图7.3 模型及训练方法文章模型采用的ILSVRC数据集上预训练的VGG-19模型。训练
25、方法是常规梯度下降训练方法。值得提出的地方是，该文章对测试集也进行了augmentation.8,CNN-3DMMestimatio（0.9235）参考文献：1,RegressingRobustandDiscriminative3DMorphableModelswithaveryDeepNeuralNetWOrk（很优秀的工作，强烈推荐阅读原文）2,中文解析：使用深度卷积神经网络方法进行3D人脸重建8J简介当在真实场景中应用3d模拟来增加人脸识别精度，存在两类问题：要么3d模拟不稳定，导致同一个个体的3d模拟差异较大：要么过于泛化，导致大局部合成的图片都类似。因此，作者研究了一种鲁棒的二维可变
26、人脸模型（3Dmorphablefacemodels（3DMM）牛.成方法。他们采用了卷积神经网络（CNN）来根据输入照片来调节三维人脸模型的脸型和纹理参数V该方法可以用来生成大量的标记样本。该方法在MICC数据集上进行了测试，精确度为stateoftheart。与3d-3d人脸比对流程相结合，作者在LFW,YTF和IJB-A数据集上与当前最好成绩持平。文章的关键点有两个：一，3D重建模型训练数据获取；二，3D重建模型训练。8.2 训练数据作者采用了近期发表的多图像3DMM生成方法（M.Piotraschke2023）c他们在CASlAWebFaCe数据集上采用该方法生成3DMM：这些3d人脸
27、模型用于训练CNN的goundtruth。多图像3DMM重建包括两步：-,从CASlA数据集选取500K当个图像来估计3DMM参数。二，同一个体不同照片生成的3DMM聚合一起，获取单个个体的3DMM（约IoK个体）。8.2.1 Singleimage3DMMfitting采用两种不同的方法来对每一个训练图片配对上3DMM.出于图像I,我们估计a和夕来表示与输入图像I类似的图像。采用了目前最好的人脸特征点检测器(CLNF)来检测K:68个人脸特PlcQRkeL.K和置信值3。其中，脸部特征点用于在3DMM坐标系中初始化输入人脸的角度。角度表达为6个自由度：角度r=%.和平移，h/yJz.然后再对
28、脸型，纹理.角度，光照和色彩进行处理.8.2.2Multiimage3DMMfitting8.3 3D直建模型训练对于数据集中每一个个体，有多张图片以及单个POol的3DMM：我们将该数据用于训练模型，使模型可以根据同一个体不同的图片来生成类似的3DMM特征向量。Figure 2: Ovrno Cfalr PmCCS (a) IJtffC qwmtiHc、*t Iinccwistnincd Phax arc used to til a Mnglc M)MM for cc ubjtnuntheytnn图 8-1 3DUiedinplaceofexpemivegroundInMhfacetoMkI
29、ftMna、)deepCNNoEfCAS31)MM(Uramefendirectly重建训练示意图8.3.1 TheasymmetricEuclideanloss我们在实验中发现，使用EIJClideanloSS会导致输出3d人脸缺少细节，如图8-2所示。因此，我们弓I入了asymmetricEuclideanloss%，)=l7+-7maxl2+2I7p-7max112、一%yover-estimateImdereliinateusingtheelement-wiseoperators:7+三abs(7)三sign(7);7=sign(7)7p,(4)ZmU=max+,臂)(5)图8-2不同
30、loss函数对结果的影响8.4 实验结果8.4.1 3D重建结果MICC数据集包含53个个体的人脸视频和个体的3D模型作为goudtruth-这些视频可以用于单张图片和多张图片的3D重建。实验结果如表&1所示，该重建方法比当前的方法都要好。表813D重建实验结果8.4.2 人脸识别我们研究了同一人不同的照片重建的3DMM是否比不同人的照片重建的3DMM差异更小。我们在LFW,YTF和IJBA数据集上测试了我们的方法。结果如表82和图83所示。我8-2LFW和YTF测试结果Mcthud3DTeMweAcvuracvIOmEERAOCTAR-10TARlaEigenFaCCSIqhrird+ziaIht-60.020.79MW一25gHybridDrunfMiri1178.47il042.4IkrphMX-CTnctnNe973SH)25WA937AuNet98.06ilV.Mil.l46O4O3I5M737.t7/75.2S2.I2747M25683.21士I93S944,6429674.7A3DIFAI/66.9812J667.IJ1.9073.301249.766,27aoo322/9O-53IW.631IW.60.7991.I316258.20x1214LhX/906|.079O.7Ol.7*7$士QW91.23142526014/*X5+lJf92J56X7.6X+2.25
