《结构化人脸超分专题讲座PPT.ppt》由会员分享，可在线阅读，更多相关《结构化人脸超分专题讲座PPT.ppt（33页珍藏版）》请在三一办公上搜索。
1、1,-制作-2014.2.25,Structured Face Hallucination,结构化的人脸超分,CVPR（IEEE国际计算机视觉与模式识别会议），2013.,2,引言,相关工作,本文算法,算法效果,3,人脸超分：由低分辨率图像（low-resolution images,LR）复原出高分辨率图像（high-resolution images,HR）的技术。,图像超分辨率重建 VS 图像复原、图像插值 1.图像复原是在不改变图像尺寸的情况下恢复一幅图像。1.图像插值可以提高图像分辨率，但只是可以增加图像的像素尺寸，改变图像的视觉效 果，不能突破原有的信息量。3.图像超分辨率重建能使
2、放大后图像仍能保持原始输入图像的细节部分，它涵盖了图像 复原技术和图像插值。,4,(a)低分辨率图像(b)Bicubic 插值(c)随机样本(d)自适应样本(e)全体样本(f)原始高分辨率图像,(a)(b)(c)(d)(e)(f),图1 不同样本选择方法的 SR重建效果比较：,5,Why放大图像空间尺寸，图像会出现锯齿现象，尤其是原始输入图像中的细节信息，很容易出现过模糊现象。高分辨率图像能提供丰富的细节信息，对客观场景的描述更准确细致。通常在视频监控等情况下获取的人脸图像分辨率较低，不能直接使用。超分辨率技术可以在高分辨率下高质量显示图像。人脸图像超分辨率重建是图像超分辨率技术在人脸上的应用
3、。它还可以应用在很多领域，除了人脸识别，还有人脸视频图像传输、人脸图像恢复、人脸图像表情分析等。,6,1.基于重建的方法：采用“重建约束”，即高分辨率图像经过变形和下采样，生成低分辨率的输入图像，来复原出高分辨率图像。,2.基于学习的方法：通过学习低分辨率图像与高分辨率图像之间的关系，获得高分辨率图像的先验知识，同时结合重建约束来指导对图像的超分辨率。,参见：图像超分辨率算法综述 江静，张雪松，红外技术，2012-01.,7,1 Hallucination faces(S.Barker,T.Kanade,2000)通过利用以金字塔形式组织的正面人脸图像的梯度分布先验，在最大后验概率的框架下完成
4、超分辨率重建。由于重建过程是逐像素进行的，因此容易缺失一些人脸的全局性约束，如对称性和亮度的一致性等。他们在定义HR图像的先验分布时，使用的是从训练人脸库中搜索出的最相似像素的水平和竖直梯度，这使得HR图像的先验项是与输入的LR图像相关的，即基于识别的梯度先验。,9 Face hallucination:Theory and practice(C.Liu,H.-Y.Shum.etc,2007)Liu 等人提出了人脸超分辨率的两步法：首先,在特征脸子空间中，用一个全局参数模型根据低分辨率输入图像估计出高分辨率人脸图像；然后，用一个局部非参数马尔科夫网络模型来补偿第一步中重建的高分辨率图像与原始高
5、分辨率图像间的残差。但是第一步中的全局参数模型需要已知降晰函数，而且第二步中的马尔科夫网络也需要复杂的计算。,8,摘要,本文提出一种基于局部图像结构的人脸超分方法。每幅人脸图像可由面部器官（facial components）、轮廓（contours）、平滑区（smooth regions）三部分表示。,1.面部器官：进行图像配准，产生准确的样本，变换高 频细节用来保存结构上的一致性。2.轮廓：在高分辨率图像（HR）中学习统计先验，产生显著的结构。3.平滑区：块匹配方法。,9,本文算法的主要步骤,10,本文算法的大致描述,11,（1）,本文算法,关键问题：求,整 合,12,即所谓的径向基函数(
6、Radial Basis Function，简称 RBF)。,高斯核函数,其中，为核函数中心，为函数的宽度参数，控制了函数的径向作用范围。,高斯函数是单值函数。这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的。这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真。,13,宽高斯核,14,文中所用,15,Landmarks,样本库,16,（2）,1.面部器官的梯度图（Gradient Maps for Facial Components）,1.1 样本图像配准（Al
7、ighing exemplar images）,17,（3）,：针对某一特定器官（如鼻子，嘴巴，眼睛对，眉毛对等）的HR样本图像集。,1.2 样本图像确定（Determining exemplar images）,*通过比较 和 来确定器官 的最佳匹配样本图像。,1.3 变换各器官的梯度图（Transferring gradients of components）,18,（4）,Note:,1.2,19,不同的器官来自不同的人的样本图像,Note:,20,（5）,2.1 方向保持下采样（Direction-preserving upsampling）,2.面部轮廓的梯度图（Gradient M
8、aps for Facial Contours）,已有算法是基于插值后图像产生边缘，这样产生的边缘会出现缺口（jaggy），而本文通过学习统计先验保存图像边缘结构，恢复边缘锐度。,针对 中的每一个像素，计算其方向相似度（the directional similarity）：,21,（6）,从 到，并不改变相应的梯度幅度，因此，保留了方向的相似性。,求方向保持的HR图像,22,方向保持下采样,图像 的边缘虽然clear，smooth，但不够sharp，需要恢复边缘锐度。,23,（7）,2.2 学习边缘锐度的统计先验（Learning statistical priors for edge sh
9、arpness）,针对 的每个像素，提取特征集合,标记边缘中心点,给定一个HR样本图像，经Eq.(3)和Eq.(6)得到,24,建立查询表（lookup table）,2.3 生成梯度图（Generating gradient maps）,（8）,25,边缘锐度恢复,26,利用公式，从匹配的数据集中产生LR样本图像集。,1 C.Barnes,E.Shechtman,D.B.Goldman,and A.Finkelstein.The generalized patchmatch correspondence algorithm.In ECCV,2010.,利用块匹配方法1寻找最相似LR样本块，减
10、少计算量。,2 M.Irani and S.Peleg.Improving resolution by image registration.CVGIP,53(3):231239,1991.,27,（9）,4.整合梯度图（Intergrating Gradient Maps）,：所有HR掩模图 的总和,是 的梯度幅度,可见每个梯度图都有助于取得更好的结果,28,各种算法的实验结果比较：,Fig.1,29,Fig.2,30,Fig.3,31,Fig.4,30度,32,Fig.5,其他算法均未能产生高质量结果,33,谢谢！,总结,实验结果表明本文提出的算法是目前为止人脸超分辨率图像重建效果最好的算法。,
