摄像机成像中的若干重要空间关系.docx

《摄像机成像中的若干重要空间关系.docx》由会员分享，可在线阅读，更多相关《摄像机成像中的若干重要空间关系.docx（15页珍藏版）》请在三一办公上搜索。

1、第二章摄像机成像中的若干重要空间关系摄像机模拟人眼成像几何把三维场景空间关系投影到二维图像上，这一过程可以利用射影几何来刻划。 借助射影几何以及齐次坐标、矩阵等代数工具，我们可以描述三维空间到二维图像的成像原理、两幅图像 之间的极几何关系、空间中的特殊对象(例如平面等)的投影性质以及由图像重构三维空间物体形状的计 算等。由于摄像机成像原理、极几何以及多视图几何等是计算机视觉研究的重要理论基础，因此有大量文 献和著作给予讨论，其中比较系统的有Hartley等所著的“Multiple View Geometry in Computer Vision” 1、马颂德等所著的“计算机视觉一计算理论与算法

2、基础” 口 等。在本章中，我们仅就后续章节所用到的若干重要空间关系作一个扼要介绍。2.1视觉坐标系与成像几何原理2.1.1图像坐标系、摄像机坐标系和世界坐标系为了定量描述摄像机成像过程，首先定义以下三个坐标系。图像坐标系：摄像机摄取的图像在计算机内以MXN数组的形式存储，数组中的每一个元素称为象素(pixel)，其 值表示图像点的亮度(或称灰度，若为彩色图像，则图像的象素亮度将由红绿蓝三种颜色的亮度表示)。如 图2-1所示，在图像上定义直角坐标系u-v，每一象素的坐标(u,v)分别是该象素在图像中的列数和行数。所 以(u, v)是以象素为单位的图像坐标系的坐标。由于(u, v)只表示象素位于图

3、像中的列数和行数，并没有用 物理单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位(例如毫米)表示的图像坐标系 x-y，该坐标系以图像中某一点C1为原点，x轴、y轴分别与u轴、v轴平行，如图2-1所示。在后续章节中， 如不加特别说明，(u, v)表示以象素为单位的图像坐标系的坐标，3, y)表示以物理单位度量的图像坐标系 的坐标。在x-y坐标系中，原点C1定义为摄像机光轴和像平面的交点，该点一般位于图像的中心处，称为 图像的主点。但由于摄像机制作的原因，也会有些偏离。若气在u-v坐标系中的坐标为(,V0)，每个象素 在x轴和y轴方向上的物理尺寸为dx，dy，则图像中任意一个像素在两个

4、坐标系下的关系如下：u = + u , V =乏 + Vdx o dy o用齐次坐标和矩阵形式可表示为:逆关系可写为:(2.1)-u dx-v dyo1(2.2)摄像机坐标系:所谓成像模型是指三维空间中的物体到像平面(视平面)的投影关系。理想的投影成像模型是光学中 的小孔成像模型，图2-2是小孔成像模型的示意图。在此模型中，摄像机将场景点P经过C点投影到像平面 上的像点m，其中C点称为摄像机光心，Xc轴和匕轴与图像坐标系的x轴和y轴平行，Zc轴为摄像机的光 轴，和像平面垂直，光轴与像平面的交点为C1，由点C与Xc，Yc，Zc轴组成的直角坐标系称为摄像机坐标 系，记为C-XYZ，f为摄像机焦距世

5、界坐标系：由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄像机的位置， 并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，记为O - XYZ，如图2-3所示。摄像 机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述。因此，如果空间中某一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为(X ,Y ,Z ,1)了与(X , Y , Z ,1)，则存在如下关系: w w wc c cX X x CwwY一 RtYYC=w=MwZ0T1Z1ZC1一ww111(2.3)其中日是3x 3旋转矩阵，t是三维平移向量，0 = (0,0,0)T，M 1是4 x 4矩

6、阵，表示两个坐标系之间的关系。P(Xc,Yc,ZC*Xc图2-2.小孔成像模型世界坐标系图2-3摄像机坐标系与世界坐标系问题：如何表示图像坐标（,v）与（Xw, *, Zw）之间的关系？2.1.2成象几何原理从小孔成像模型（如图2-2）中，不难看出，摄像机坐标系与成像平面坐标系之间存在以下关系:,-fXcx cZy 史Zc其中，（x,y）为像点m在像平面坐标系下的坐标，（Xc,*,Zc）为空间点P在摄像机坐标系下的坐标。（x,y）和（X , Y ,Z ）分别用齐次坐标表示为3, y,1）和（X ,Y ,Z ,1），上式可写成矩阵形式:c C CC C Cx 1f0001ry=0f0010010

7、X 1cf 0 0一 X _Ycc=0 f 0JYZcc0 0 1Z1 c（2.4）（2.6）（2.8）我们称m =nunvn1为像平面的归一化（规范化）坐标。其中R为常数因子。这是摄像机最理想的简单模型。将（2.4）代入（2.1）式:u I1/d0 u -f 0 0-X 1f /d0 u -X 1x 0cx0crv01/d v0 f 0Y0 f / d vY（2.5）y 0cy 0c10010 0 1Z001Z1 11 11 1c1 1cf 。 uu0K = 0 fvv 0001m = (u, v,1)tP = (Xc, Y, Zc )t则（2.5）式可简略地表示为:（2.7）其中：f =

8、f /d、f = f /d分别称为u轴与v轴方向的尺度因子，（u ,v ）称为主点坐标，矩阵K称为 ux vy00摄像机内参数矩阵，通常我们称它为四参数模型。如果离散化后像素不是矩形方块或像平面不与光轴正交，则使用下述五参数模型:u0v01其中：s称为畸变因子，这是摄像机的一般线性内参数模型像平面归一化坐标如果已知内参数矩阵K，对像平面作坐标变换：（2.9）此时，有h m = K -1KP = P使用归一化坐标，相当于内参数矩阵是单位矩阵，即摄像机的焦距为12.1.3世界坐标系与摄像机投影矩阵以上讨论都是以摄像机坐标系为参考系。通过式（2.3）和（2.7），我们可以得到以世界坐标系表示 的P点

9、坐标与其像点m坐标（u,v）的关系。由式（2.3）可得一 R厂P w0t 11即P = RP +1（2.10）其中，P = （X,Yw,Zw）T，式（2.10）表示摄像机坐标系与世界坐标系之间的运动为（R，t），R为旋 转矩阵表示旋转分量，t是一个三维向量表示平移分量。将（2.10）代入（2.7）式，我们有：h m = KRP + Kt（2.11）写成矩阵形式：h m = KR t，（2.12）r p其中： w称为空间点的齐次（世界）坐标，式（2.12）也称为摄像机投影方程。记Q = KR t（2.13）称为摄像机投影矩阵，（R,t）称为摄像机外参数问题：已知图像点队坐标（u,v），如何求解K

10、 （称为摄像机标定）？如何求邮、t （称为运动分析）？如何求 解P = （X,Z）t （称为三维重构）？2.2极几何与基本矩阵2.2.1极几何如果摄像机内参数矩阵为K，场景点x = （x, y,z）t投影到像平面上的像点齐次坐标m = （u, v,1）t，则 我们有：（可以理解为第一个摄像机坐标系为世界坐标系）H m = Kx（2.14）当摄像机作刚体运动，旋转矩阵为R，平移向量为t时，新的摄像机坐标系为c-xyz，它与初始坐标系 C-xyz之间的关系为x = Rx +1 （摄像机移动过程中财保持不变），则场景点x = （x,y,z）t在当前像平面上 的象素坐标m = （u, v ,1） t为

11、(2.15)um = KRx + Ktm = （u, v,1” 与 m = （u, v ,1” 称为一对匹配点。现在考虑摄像机在两个视点下拍摄同一场景的情况，如图2-4所示。令C,C分别为第一与第二个摄像 机的光心位置，C在第一个像平面I上的投影为e，C在第二个像平面I上的投影为。，它们称为外极点。 像平面I（I）上通过点e（ e）的直线称为外极线。图2-4两幅图像的极几何关系外极约束：像平面I上任一点m，它在像平面I上的匹配点m必位于外极线l上；类似地，I像平面上任一 m点m，它在像平面I上的匹配点m必位于外极线上。1：与称为对应的外极线。2.2.2基本矩阵在射影空间内，像平面上的直线l可用

12、射影坐标l来表示。令点m与m的外极线I：与l：的射影坐标 为1：与1：，则1：与山之间满足一个线性变换：l = FmmF是一个秩2的矩阵，称为基本矩阵，它是两幅图像之间极几何的代数刻划。因m的匹配点m在外极线l上，故有 mm TFm = 0（2.16）将（2.16）式转置mrF rmf = 0（2.17）它表明m对应的外极线可由Frm表示。基本矩阵有下述基本性质：(1) F为基本矩阵当且仅当F满足式(2.16)且rank(F) = 2(2) 极点e满足Fe = 0,极点e满足Fre = 0(3) F在相差一个非零常数因子情况下是唯一的。基本矩阵的表示令x = (x, J,z)T为任一场景点，m

13、 G l,m隹 尸是一对匹配点，由式(2.14)、(2.15)在相差一个非 零常数因子的情况下，有m = Kxm = KRx + Kt所以m = KRK -im + Kt即K im = RK -im +1由向量t =(tx ty ty定义的反对称矩阵It J为：I0 -1xt 0x-即1/ t = 0，所以t K -im = t RK -im又因 Vx G R3, XT t x = 0，所以？ ？mrK -t t K -im = 0因此mrK-r t RK-im = 0由于rank(K-TtRK-i) = 2，故基本矩阵可表示为：F = K-T t RK -i(2.18)2.2.3由匹配点求基

14、本矩阵对于两幅图像之间的匹配点m、m (i = 1,2,.n)，它们必然满足极约束，即mrFm. = 0，该方程 是关于F的9个末知参数的线性齐次方程，由于F在相差一个常数因子的意义下是唯一的，所以可以将其 中的一个非零参数归一化而变为8个末知参数。这样如果事先能知道8对匹配点，就可以线性地确定F，这 就是所谓的八点算法(8-point algorithm) 0在实践中，由于匹配点存在误差，通常选取多于8对匹配点(n8)，来求解下述线性最小二乘问题：min =Z (mTFm)2(2.19)i即解线性超定方程组Af = 0, A e R冰9, f e Rx(2.20)式(2.20)的解为AtA最

15、小特征根所对应的单位特征矢量。2.3本质矩阵2.3.1本质矩阵如果已知内参数矩阵K，像平面使用归一化坐标，则称归一化坐标下的基本矩阵为本质矩阵。记本质矩 阵为E，贝0m rEm = 0(2.21)因为m = K-im , m = K-imnn所以m tK -tEK -im = 0F = K-tt RK-i = K-tEK-i(2.22)E = t 、R(2.23)式(2.22)给出了本质矩阵与基本矩阵之间的关系。从式(2.23)可以看出：本质矩阵与内参数无关，仅 由摄像机的运动(R t)所确定2.3.2本质矩阵的性质(1) rankE = 2 ；(2) ETt = 0 ；(3) EEt = (

16、trt)I -ttt，也就是EEt仅仅由平移决定，这是因为EET = It RRt It 】=-It 1(4) II E II2 = 2 II t II2，这里 II II表示Frobenius范数。2.4单应矩阵2.4.1单应矩阵令P是空间任一平面，m、m为两幅图像之间的任一对匹配点，如图2-5所示。如果矩阵H使得R m = Hm(2.24)其中R是常数因子，则称日为平面P关于两幅图像之间的单应矩阵，简称平面P的单应矩阵。在一个相差非 零常数因子的情况下，单应矩阵是唯一的。2.4.2单应矩阵的表示nTx = d令平面P关于第一个摄像机坐标系的方程为:(2.25) 其中n是平面的单位法向量，d

17、是平面到坐标原点的距离。诉 m = KxWm = KRx + Kt = KK - im + 赋兽 K - im =四(KRK -1 + K%K -1 )mtnrH = KRK-1 + K%K-i(2 26)d在(2.26)中令d 8，我们有tnrH = lim (KRK -i + KK -i ) = KRK -1(2.27)并称它为无穷远平面的单应矩阵。（R，t）图2-5 P是空间任一平面，x%P上任意点，C与C之间的运动为（R t）2.4.3单应矩阵与基本矩阵之间的关系令F为两幅图像之间的基本矩阵，H为任一平面的单应矩阵，/为第二幅图象上的极点，则有F =板!丑（2.28）事实上，因为= K

18、t J= K-t It J K-1，所以有LI H = Kt （KRK-1 + K 既 K-1） = Kt KRK-1 = K-t t K-iKRK-1 = K-t t RK-1 = FXXdXXX2.5三维重构在第一章中，我们已经说明本论文研究的重点是“未标定”条件下的三维重构问题，但摄像机投影矩 阵已知情况下的三维重构是理解“未标定”条件下三维重构的基础。因此，作为后续章节的基础，本节主 要介绍在摄像机投影矩阵已知情况下的三维重构以及内参数已知情况下的运动分析。2.5.1空间点的重构如图2-6所示，从单幅图像我们不能确定空间点在世界坐标系中的位置。因此，要从图像确定空间点的位置，我们至少需

19、要二幅图像，如图2-7所示。像，因此从单幅图像我们无法确定空间点在世界坐标系中的位置图2-7空间点是两幅图像匹配点与摄像机光心连线的交点， 所以从两幅图像我们可以确定空间点在世界坐标系中 的位置（2.29）（2.30）令两个摄像机投影矩阵分别为Q1、q2，空间点在世界坐标系中的齐次坐标为x 图像之间的匹配点为m、m，于是我们有pm = Qx, p m = Q x这样，可得到下述线性方程组:r Q1 -m 0 l Q2 0 - mf)从方程（2.30），求出x，再将x最后一个坐标归一化，可得空间点在世界坐标系中的坐标。2.5.2求摄像机的运动在三维计算机视觉中，令摄像机作刚体运动，获取（运动前、

20、后）两幅图像，如何根据图像求解摄像机运动，称为运动分析。显然，如果摄像机投影矩阵已知，这是一个很容易解决的问题，因为由摄像机投 影矩阵可以求解出摄像机关于世界坐标系的位置，从而可确定摄像机的运动。由于内参数是已知的，因此，在本节中，图像坐标均使用归一化坐标。由本质矩阵求运动：如果E为本质矩阵，则一定存在一个旋转矩阵冏口一个向量t，使得E = t侦，因此有EEt =-。因此，E的奇异值为II tW,Wt 11,0，于是有奇异值分解（SVD）：-0-II t II0 -t = UII t II00Utx00011（2.31）II t II00 -II t II00 -0-10 -010 _E =

21、U0II t II0V 二二 U0II t II0100-100V00000000000土 1II t II00 -0-10 -010-=U0II t II0100UTU-100V_ 000 _000 _ 00土 1-0-II t II0 -010-=UII t II00UTU-100V00000土 1（2.32）-010 一R = U-100V00土 1从本质矩阵我们可以得到运动的两组解，但仅有一组解是合理的，即重构的空间点位于摄像机前方的 解是合理的。另外，由于本质矩阵可以相差一个非零常数因子，所以求解的平移向量与摄像机的真实平移相差一个非零常数因子。由单应矩阵求运动令摄像机的运动为（R

22、t），平面关于第一个摄像机坐标系的方程为nTx = d（n是平面的单位法向量，d为坐标原点到平面之间的距离），则平面关于两幅图像的单应矩阵为H = X（ R +1 tnT）（2.33）d如果已知H （可从4对以上匹配点求出），则式（2.33）构成（R t）的方程。从式（2.33）利用奇异值分解（SVD）可以求解（R t）。方程（2.33）一般有4个解。当且仅当日有两个相同的奇异值时，有两个解；当且仅当有三个相同的奇 异值时，有不定解。2.5.3三维重构运动参数一旦被恢复，我们就得到两个摄像机在欧氏坐标下的投影矩阵，于是根据空间点的重构方法， 就可得到物体可见表面的三维重构。总结上述讨论，具体算

23、法如下：（1）由对应点估计基本矩阵F ；（2）估计摄像机内参数矩阵K （摄像机运动前、后内参数保持不变）；（3）计算本质矩阵E = KTFK ；（4） 由本质矩阵恢复运动参数（R t）（平移向量与摄像机的真实平移相差一个非零常数因子）；（5）利用两个摄像机投影矩阵Q1 = K（/ 0）、Q2 = K（R t）重构匹配点对应的空间点，得到物体的 三维形状。由于我们只能在相差一个非零常数因子的情况下恢复摄像机的平移向量，所以重构的物体只能保持其 形状（即重构的物体与真实物体相似），而不能恢复真实物体的实际尺寸。参考文献1 R.Hartley, A.Zisserman, Multiple View

24、Geometry in Computer Vision, Cambridge University Press 2000.2 马颂德，张正友，计算机视觉一一计算理论与算法基础，科学出版社，1998.3 O.Faugeras, Three Dimensional Computer Vision: A Geometric Viewpoint, Boston, MIT Press, 1993.4 Q.T.Luong, O.Faugeras, The Fundamental Matrix: Theory, Algorithms, and Stability Analysis, Internationa

25、l Journal of computer Vision, Vol.17, No.2, pp.43-75, 1996.5 R. Hartley, Kruppas Equations Derived from the Fundamental Matrix, IEEE-T PAMI, Vol.19, No.2, pp.133-135, 1997.6 M.Pollefeys, L.V.Gool, Euclidean 3D Reconstruction from Image Sequences with Variable Focal Lengths, In Proc. of ECCV96, pp.31

26、-42, 1996.7 P.Torr, D.Murray, The Development and Comparison of Robust Methods for Estima- ting the Fundamental Matrix, International Journal of Computer Vision,Vol.24, No.3,pp. 271-300, 19978 Z.Zhang, Motion and structure from two perspective views: From essential parameters to Euclidean motion via

27、 fundamental matrix, Journal of the Optical Society of America, Vol.14, No.11, pp.2938-2950, 1997.9 R.Hartley, In Defense of the 8-point Algorithm, IEEE-T PAMI, Vol.19,No.6, pp.580 -593, 1997.10 R.Hartley, Estimation of relative camera positions for uncalibrated cameras, LNCS 588ECCV92, pp.579-587,

28、Springer-Verlage, 1992.11 O.Faugeras, What can be seen in three dimensions with an uncalibrated stereo rig, ECCV92, pp.56578, 1992.12 吴福朝，于洪川，韦穗，视觉基本矩阵的表示，计算机研究与发展，Vol.36, No.6, 1999.13 R.Hartley, P.Sturm, Triangulation. Computer Vision and Image Understanding Vol. 68, No.2, pp. 146- 57, 1997.14 S.A

29、vidan, A.Shashua, Threading fundamental matrices. ECCV98, Vol.I, pp.124- 140,1998.15 Q.T.Luong, O.Faugeras, On the determination of epipoles using cross ratios. Compu- ter Vision and Image Understanding, Vol.71, No.1, pp.1-18, 1998.16 G.Golub, C.F.Van Loan, MatrixComputations. Johns Hopkin University Press,1989.17 A.Shashua, Geometry and photometry in 3D visual recognition. PhD thesis, MIT Artificial Intelligence Laboratory, AI-TR-1401, 1992.18 黄有度，狄成恩等著，矩阵论及其应用。中国科技大学出版社，1995.19 史荣昌编著，矩阵分析。北京理工大学出版社（第二版），1998。20 施妙根，顾丽珍编著，科学和工程计算基础。清华大学出版社，1999.