《基于贝尔图像亮度的新插值方法.doc》由会员分享，可在线阅读，更多相关《基于贝尔图像亮度的新插值方法.doc（12页珍藏版）》请在三一办公上搜索。
1、精品论文基于贝尔图像亮度的新插值方法王红卫，程永强，胡敏 太原理工大学信息工程学院，山西太原(030024) E-mail：wanghong1359313摘要：大多数码相机通过彩色滤镜阵列获取图像，即贝尔图像。每个像素只能得到一个颜 色值，而另外两种颜色值需要插值得到。基于两个重要的发现：1）通过贝尔图像频谱分析 得到其亮度；2）图像在色度域内具有更平滑的特性，本文提出了基于贝尔图像亮度的新插值方法。此方法先利用滤波器模板提取贝尔图像亮度，然后将贝尔图像和亮度图像相减得出贝尔色度图像，在图像色度空域上利用双线性、平滑色相和基于色差的插值，最终和亮度图 像相加得出全彩图像。本方法经验证不论在峰值
2、信噪比上还是在视觉上都优秀于其他的方 法。此方法计算简单，效果可靠，是一种简单优秀的插值方法。关键词：图像插值；彩色滤镜阵列；贝尔模板；频域分析中图分类号：TN911.731. 引言为了减小摄像器材的体积和成本，大多数相机中只用单 CCD 采集图像数据。单 CCD 中 有彩色滤镜阵列，主要是为了按一定规律在像素点采集颜色值。因此为了得到全彩图像，必 须利用插值方法计算得出丢失的另外两种颜色值。下图为常用的彩色滤镜阵列贝尔模板1及 其各颜色分量，那么由贝尔模板得到的图像称之为贝尔图像。图 1(a)贝尔模板及其(b)红、(c)绿、(d)蓝采样值Fig1(a) Bayer color filter
3、array pattern and its (b) red, (c) green, and (d) blue samples发展到今天，许多学者提出了贝尔图像的插值算法。首先为最邻近像素插值，它直接使 用与之相邻的像素中相同的颜色成分合成。邻近像素可以是该像素周围上、下、左、右的像 素。这种算法计算量小但是严重失真。其次为双线性插值算法，它使用邻近像素中相同颜色 成分做线性平均计算来补偿每个像素丢失的颜色。双线性插值忽略了边缘信息，也没有利用 其他颜色的相关信息。因为这种方法很简单，所以被广泛应用。但在边缘区域发生的错误也 是相当大的。这种错误使插值后的图像变的模糊了，它恢复的图像质量也是不太
4、令人满意的。 为了提高插值图象的质量，相对复杂的算法相继提出。由于这些方法都利用了各个颜色分量 之间很强的关联性, 因而得到的插值图象的质量也有不同程度的提高。平滑色相过渡插值2 算法的核心思想就是要实现像素到像素色相值的平滑过渡。为了达到这种效果，算法中定义 了蓝“色相” Hb=B/G 和红“色相” Hr=R/G。因为平滑色相插值中要用到插值的 G 分量，因此要先计算 G 分量的插值。基于色差的插值4，定义 KR 和 KB 分别为：- 9 -KR = G RKB = G B色差图像 KR 和 KB 在局部非常平滑，这种性质很适合插值。因此其插值效果也是很好的。本文第二部分算法理论通过对贝尔图
5、像的频谱分析，看到只有提取中间的图像亮度才能 得出色度，利用色度的平滑性插值。那么亮度的提取就成为至关重要的一步，没有亮度就得 不到色度。那么根据频谱模型设计的模板就可提取出图像的亮度。色度方面的插值利用前面 提到的插值方法就可得到三颜色色度图像。最后色度图像和亮度图像相加就可得到全彩色图 像。第三部分试验结果分析，我们看到在图像色度领域内利用前面提到的插值方法其效果是 喜人的。第四部分为结论部分。2. 算法理论本算法分为两个部分，第一部分为贝尔图像亮度的提取，第二部分为在图像色度域内的 插值。2.1 图像亮度的提取2.1.1 贝尔图像频域分析正如图 1（b）（c）（d）所示，贝尔图像可以分解
6、为 R、G、B 三分量。在数学理论上， 采样操作可以通过乘以梳状函数 D( m,n ) 来代替。( M 2 ) / 2DC ( m,n ) = D( m aC ,n bC ) = p=0( N 2 ) / 2q=0 ( m aC 2 p,n bC 2q )其中 aC ,bC 0 ,1，取值取决与 C R ,G , B 。我们可以将 DC ( m,n ) 写成余弦调制的C形式6。例如当 a,bC= 0 时，有：1 + cos( m )1 + cos( n )D( m,n ) =(1)式4那么 D( m,n ) 的傅里叶变换为： 116 111 816 11 D( u ,v ) = ( u )T
7、8 116( v )48 =1= 1 816 (2)式其中 ( u ) = ( u + (1 2 ) ( u ) ( u (1 2 )T ， .T 为转置操作。 D( m,n ) 的傅里叶表达可以应用到 C R,G , B的采样函数 DC ( m,n ) 中。设 C f ( u ,v ) 为全颜色分量 C 的傅里叶变换，那么经采样的颜色分量傅里叶变换 CS ( u ,v ) 可通过 C f ( u ,v ) 卷积 DC ( u ,v ) 得到。 1 1611 8 16 = T 11 1 (3)式RS ( u ,v ) ( u ) 84( v ) R ( u ,v )8 f 1 161= 1 8
8、16 1 16 181 16 = T 111 (4)式BS ( u ,v ) ( u ) 8( v ) B ( u ,v )48 f1 16 18= 1 816 = 1 8T 01 10 00 (5)式GS ( u ,v ) ( u ) ( v ) G ( u ,v )2 f 1 8=1 8 这里， 代表卷积操作。 GS ( u ,v ) 中之所以出现四个 0，那是因为 G 分量采样为 R 、 B 分量采样的两倍，叠加时相互抵消了。式 (2)(3)(4) 为贝 尔图 像 三分量 和全 彩图 像三 分量的 频域 关系 。设 贝尔图 像)I ( m,n ) = RS ( m,n ) + GS (
9、m,n ) + BS ( m,n ) ，那么由式可得 I ( u ,v ) 的傅里叶变换形式如下：I(u,v) = RS(u,v)+GS(u,v)+BS(u,v) 1 2G R B (u+1,v+ 1)1R B (u+1,v)1 2G R B (u+1,v 1 16 f f f2 2 8 f f 216 f f f2 2 = E1R B (u,v+ 1 )12G +R +B (u,v)1R B (u,v 1)ET 8 2 4 f f f 1 1 1 1 18 f f12 1 1 ff 2G R B (u,v+ )R B (u,v)2G R B (u,v )16 f f f2 2 8 f f 2
10、16 f f f2 2 其中 E = 11 1。(6)式通过贝尔图像的频域分析，我们揭示了贝尔图像和全彩图像三分量之间的关系，见(6)式。那么通过对贝尔图像的低通操作操作比对单一颜色分量操作可以更好的保持图像的高频 信息。2.1.2 贝尔图像亮度提取贝尔图像的傅里叶频谱图像如图 2 所示。我们看到这和我们理论分析的结果正好相吻 合。由上面提出的频谱模型，我们知道（图 2 （a ）频谱中心部分为贝尔图像亮度L = (1 4)(2G + R + B) ，所占能量最大，保有图像的绝大部分信息,而频谱边缘部分为贝尔(图 像的色差 ，其中 C1 = 18)(R B) ， 为 频 谱四边中 间部分 ，所占
11、 能量相对 较小 ；(C 2 = 116)(2G R B) 为频谱四角部分，所占能量最小。注意到此处的亮度和我们经常提到的亮度是不同的，只是定义相近而已。V1/2C2U1/2Y 轴-1/2C1X 轴 L-1/2-1/21/2图 2贝尔图像的傅里叶变换模型(a)和傅里叶频谱(b)Fig2(a)Fourier transform and (b) Fourier spectrum of a CFA image为了提取贝尔图像的亮度，我们必须想方设法去除图像四周的色差。这就需要我们必须 设计出一种符合贝尔图像频谱的滤波器。图 3（a）为图像去除色差分量后只有亮度分量的 频域模型。根据此频域模型，我们设
12、计得出图 3（b）模板滤波器，模板滤波器的频域响应 为图 3（c）。我们看到滤波器的频率响应正好滤除了八处频谱色差，剩下的部分正好为频 谱中间的亮度部分。那么将贝尔图像通过模板滤波器就可得到贝尔图像的亮度。0 00 0 1 001 0 00 00 00 1 02 1 00 0 00 0 1 1 2 12 1 10 000 1 1 5 3 93 5 11 01 02 3 1 71 3 20 110 2 1 9 7 104 79 1 2 0/1281 02 3 1 71 3 20 10 1 1 5 3 93 5 11 00 0 1 1 2 10000102 1 10 0000 00 1 0 20
13、1 00 0 图 3 （a）贝尔亮度的通带 （b）设计的滤波器（c）滤波器的频率响应Fig3(a)Passband of the luminance and (b)Designed filter with (c) its Frequency response2.2 图像色度域内的插值我们都知道图像在色度域内具有更平滑的特性。根据这个特性，我们可以在图像色度域 内进行插值。因此插值分为三个部分：（1）将贝尔图像和亮度图像相减，即可得到贝尔色 度图像;（2）色度域内插值；（3）插值结果与亮度图像相加即可得到全部图像颜色分量。2.2.1 贝尔色度图像的获得 这个过程相对简单，可用(7)式计算：M N
14、bayer_ chrominance = bayer_ image( i , j ) lu minance_ image( i , j )i =1 j =1(7)式2.2.2 贝尔色度图像的插值下面为贝尔色度图像的插值过程，我们以基于色差的插值方法为例进行介绍，其中我们 以CR表示R的色度，G、B类似。图像中 RGB 三个通道具有很高的相关性，我们定义 K 和 K 分别为：KCRKCB= CG CRCRCB= CG CB自然图像 K 和 K 在局部非常平滑，这种性质很适合插值。换句话说，我们直接在 K 和CRCBCRCBK 领域内插值，而不用在颜色领域内。图 4参考贝尔色度图像Fig4 Ref
15、erence bayer chrominance imageCR图 4 中为插值 CG7 ，我们需要计算周围 K的值。既然我们不能直接计算 CR7 周围的CRCR 的值，那么也不能直接计算 K 的值。这里我们用 CR1 和 CR7 的平均值来估计CR3 ，CR5 和 CR7 的平均值来估计 CR6 ：K 3 = CG3 CR 3 = CG3 1 (CR1 + CR7)CR2K 6 = CG6 CR 6 = CG6 1 (CR5 + CR7)CR2（8）式（9）式 CG 分量插值：为了插值 CG 分量，我们必须计算其周围的 K 或 K 。图 4 中 CG 7 计算如下：CG 7 = CR7 +
16、1 (K 3 + K CR6 + K CB8 + K 11)（10）式4CRCRCRCRCR其中 K 的计算即（8）式和（9）式所示。CB 分量的象素其 CG 分量的插值和 CR 分量的象素 CG 分量的插值相同。 CB 和 CR 分量插值：CB 和 CR 分量插值实际就是在 KR 或 KB 领域内使用双线性插值。图 4 中 CR 3 和CB 7 的计算如下：CR 3 = CG3 1 (K 1 + K 7)（11）式2CRCR1 ( )CB 7 = CG 7 4K CB 2 + K CB 4 + K CB 10 + K CB（12）式这样我们就可到所有 CR 、 CG 、 CR 的值。2.2.
17、3 全彩图像的获得将插值得到的色度数据和亮度相加即可得到全彩图像，可用下面的公式计算：M NR _ channel= CR( i, j ) + lu minance_ image( i, j )i=1 j =1（14）式M NG _ channel= CG( i, j ) + lu minance_ image( i, j )i=1 j=1（13）式M NB _ channel= CB( i, j ) + lu minance_ image( i, j )i=1 j =1（15）式至此，我们的算法描述完毕，所有的像素点具有了R、G、B值。实际上，我们的算法就 是用基于色差的算法对贝尔色度，插值
18、得到完整的贝尔色度，进而和亮度图像相加，从而恢 复全彩图像。这种改进同样适用与类似方法。下面我们来看看算法的实际效果。3. 试验分析本文中我们用到的客观评测方法有峰值信噪比（PSNR），平均平方误差（MSE）。其 中复合峰值信噪比（CPSNR）和复合平均绝对误差(CMSE)定义如下：CPSNR= 10 lg 1f3M 1 N 1 2max2 3MNk = 0 f ( x , y , k ) x = 0 y = 0 f ( x , y , k ) 13M 1 N 1 2CMSE =MN f ( x, y ,k ) f ( x, y ,k )3k =0x =0 y =0 在视觉方面，我们采用 S-
19、CIELAB 测度方法7。该方法是 96 年由美国斯坦福大学的 Xuemei Zhang 和 Brain A. Wandell 在 CIELAB 系统的基础上提出的，它融合了人类的空间视觉特性， 可将半色调网点过滤成人眼响应的模糊模式。从而对整幅图像进行点对点的色差计算。图 5 24 幅试验图像:图 1 到图 24Fig5Test image set: Image1 to Image24为了检测我们提出的算法，我们对 24 幅图像都进行了试验，如图 5 所示。我们对双线 性插值（BI）、平滑色相插值(SHI)和基于色差的插值(CDI)分别应用于我们提出的算法，分别记为 LC+BI、LC+SHI
20、 和 LC+CDI，LC 即为亮度和色度的缩写。试验数据表 1 中，CPSNR为复合 PSNR，即 R、G、B 的复合 PSNR；RPSNR 为 R 值的 PSNR，其余类似。所有数据 均为 24 幅图像的均值。其中 SHI 首先要用到 G 值插值，我们用的是基于梯度的插值方法3 以提高 G 值的插值精度。表 1 试验方法的参数比较Tab.1 Parameters comparison of reference methods方法|参数BI SHICDILC+BILC+SHILC+CDI CPSNR(dB)29.51130.96736.03936.192 34.559 36.489RPSNR(
21、dB)28.17429.33435.42635.93734.0336.079GPSNR(dB)32.85133.20238.03438.29937.40139.203BPSNR(dB)28.85931.91435.25835.08733.82735.262CMSE90.65960.318.96217.53226.32516.609RMSE120.43987.15321.40519.07635.48318.945GMSE43.3841.27912.17610.68113.2218.899BMSE108.15752.46723.30522.83830.27221.983SCIE-LAB1.7741
22、.9251.1181.7491.8461.109从表 1 中，我们可以看到，三种改进的算法相比以前的算法无论在客观评测上，还是在 主观评测上均有一定的提高，而前两者则更为明显。CPSNR 方面，（1）BI 插值算法的为29.511，而 LC+BI 则为 36.192，提高 6dB 以上；（2）SHI 算法的为 30.967，而 LC+SHI 的 为 34.559，提高了将近 4dB；（3）LC+CDI 的 36.489 相比 CDI 的 36.039 也提高 0.4 dB 以 上。CMSE 方面，（1）BI 插值算法的为 90.659，而 LC+BI 则为 17.532，降低 70 以上；（2
23、） SHI 算法的为 60.3，而 LC+SHI 的为 26.325，降低了将近 40；（3）LC+CDI 的 18.962 相比 CDI 的 16.609 也降低 2 以上。视觉方面，S-CIELAB 测值都有一定的减小，说明图像更适合 人眼观看。如 BI 的 S-CIELAB 值为 1.774，LC+BI 的为 1.749，而 S-CIELAB 测值越小说明 插值效果越好。图 6 测试图片 motorcycle 测试区域：框内区域Fig6Test image region of motorcycle: the region in frame在插值效果上来看，我们对第 5 幅图像 motor
24、cycle 轮胎部分进行了对比，即图 6 中线框 内部分。图 7 给出了六种插值方法插值后的视觉效果。（a）、（b）、（c）分别为 BI、SHI、- 9 -CDI 的插值后图像，带有明显的伪彩色。而改进后（d）、（e）、（f）的插值效果相当好，拥有清晰的边缘，尤其在车条颜色上，几乎没有什么色彩失真。图 7 Motorcycle 图像测试区域的各种方法插值结果Fig7 Demosaicked results of the cropped region from the motorcycle时间方面，我们看到，SHI 改进后时间减小了，SHI 其时间为 0.366，而 LC+SHI 仅为0.359
25、。这主要是因为 SHI 中计算 G 分量的时间要比 LC+SHI 计算 L 分量的时间要长。其余 运行时间增加不到 0.2s。就我们的插值效果来看，这是值得的，有效的。表 2 各种方法的时间比较Tab.2 Time comparison of reference methodsBI0.242sSHI0.366sCDI0.28sLC+BI0.368sLC+SHI0.359sLC+CDI0.391s4. 结论本文以贝尔图像的频谱模型为理论基础，在提取贝尔图像亮度后，在贝尔色度域内利用 双线性、平滑色相和基于色差的方法进行插值，进而恢复出全彩图像。试验证明，我们的方 法是简单有效的。那么，如何利用周
26、围像素的相关信息更准确更有效的计算亮度和色度值从 而恢复全彩图像将是我们下一步研究的重要重点。参考文献1 B. Bayer, “Color imaging array,” U.S. Patent 3 97 065, 1976.2 D. Cok, “Signal Processing method and apparatus for producing interpolated chrominance in a sampled color image signal,” U.S. Patent 4 642 678, 1987.3 C. A. Laroche and M. A. Prescott,
27、“Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients,” U.S. Patent No. 5 373 322,1994.4 S.C. Pei. And I. K. Tam, “Effective color interpolation in CCD color filter arrays using signal correalation,”IEEE Trans. Circuits and System for Video Technology,
28、 vol. 13, no 6, pp. 503-513, June 2003.5 B. G.unturk, Y.Altunbasak, and R. Mersereau, “Color plane interpolation using alternating projections,” IEEE Transactions on Image Processing, vol. 11, no. 9, pp. 997-1013, September 20026 D.Alleysson, S. Susstrunk, and J.Herault, “Linear demosaicking inspire
29、d by human vision system,” IEEETrans. Image Process., vol.14, no.4, pp.439-449, Apr.2005.7 钟克洪,周成平,丁明跃,“S-CIELAB 及颜色分级应用,” 华中科技大学学报（自然科学版）,2003 年第 31卷,第 3 期.New Interpolation Method Based on the Luminance of theBayer Pattern ImageWang Hongwei, Cheng Yongqiang, Hu MinDepartment of Signal and Informat
30、ion Processing, Taiyuan University of Technology (030024)AbstractMost digital cameras acquire imagery with a color filter array(CFA), sampling only one color value foreach pixel and interpolating the other two color values. We discuss in this paper two key observation :1)obtain the luminance through
31、 the frequency analysis of a CFA image; 2) it is more smoother in image chrominance domain,and propose new interpolation methods. Our methods first extract the luminance using a filter, and then gain the chrominance in bayer format by subatracting the luminance image fron the CFA bayer image and int
32、erpolate in the chrominance domain using bilinear interpolation, smooth hue interpolation, and color difference interpolation , finally obtain the full color image. Experimental results on simulated CFA images verify that the proposed methods outperforms the other methods both visully and in terms of peak signal-to-noise ratio, at a notably lower computional cost. So our methods are simple and excellent.Keywords: image interpolation; color filter array(CFA); bayer pattern; frequency analysis作者简介：王红卫，男，1984 年生，硕士研究生，主要研究方向是基于贝尔模板的图像插 值和压缩。
