《Patch-based Multi-view Stereo Software (PMVS - Version 2)(1).ppt》由会员分享，可在线阅读，更多相关《Patch-based Multi-view Stereo Software (PMVS - Version 2)(1).ppt（27页珍藏版）》请在三一办公上搜索。
1、Patch-based Multi-view Stereo Software(PMVS-2),“Accurate,Dense,and Robust Multi-View Stereopsis”Yasutaka Furukawa and Jean PonceIEEE Transactions on Pattern Analysis and Machine Intelligence,2009.,1 PMVS简介2 基本概念3 算法,1 PMVS简介,PMVS是由Yasutaka Furukawa和Jean Ponce在他们2007年的文章Accurate,Dense,and Robust Mult
2、i-View Stereopsis 中首次提出，并在http:/grail.cs.washington.edu/software/pmvs/pmvs-1/index.html上提供开源代码（64-bit linux machine）。在2009年，他们推出了PMVS的第二个版本。PMVS是一个多视立体匹配的软件，由一组照片以及相机参数，重建出照片中物体或场景的三维结构。PMVS只重建刚性结构，它会自动忽略非刚性结构，如建筑物前的行人。软件输出一组带方向的三维点，估计了每个点的三维坐标和法向量。我们在试验中使用的是PMVS2在32位windows下的版本，这个版本由Pierre Moulon修改
3、而来http:/francemapping.free.fr/Portfolio/Prog3D/PMVS2.html,1 PMVS简介输入：一组照片，每张照片的P矩阵输出：密集的带有颜色的点云,2 基本概念：,摄像机坐标系P矩阵F矩阵patch,摄像机坐标系原点为摄像机中心，Z轴为过原点垂直于像平面的光线(主光轴)，X轴平行于像平面坐标系的x轴，Y轴平行于像平面坐标系的y轴。,2 基本概念：,P矩阵P矩阵是计算机视觉当中的投影矩阵。P3*4表示单视图几何已知内外方位元素，计算P矩阵:,2 基本概念：,2 基本概念：,F矩阵F 3*3矩阵是计算机视觉中的基本矩阵。表示两张影像之间的对极几何关系。若
4、p1=(x1,y1,1)，p2=(x2,y2,1)为同名像点，分别在图1和图2上。F是图1和图2的基本矩阵，则存在如下关系,Patchpatch是近似于物体表面的局部正切平面，包括中心c(p)，法向量n(p)，参考影像R(p)。patch的一条边与参考相机（即拍摄参考影像的相机）的x轴平行。patch上有的格网(在本文实验中为5或7).,2 基本概念：,3 算法,3.1 初始特征匹配生成稀疏的patch，作为种子点。3.2 扩散由稀疏的种子点扩散得到密集的patch。3.3 过滤去除错误的patch,第一步生成了种子点之后，后面两步要循环三次，即m_seed.run()for(int t=0;
5、t 3;+t)m_expand.run();m_filter.run();,3.1 初始特征匹配,3.1.1 特征检测3.1.2 特征匹配3.1.3 生成patch，作为种子点,3.1 初始特征匹配,3.1.1 特征检测DOG和Harris算子。在每张像片上画格网，格网大小为3232pixels。在每个格网中选=4个兴趣值为局部极大值的点。（两种算子都各取4个特征点）,3.1 初始特征匹配,3.1.2特征匹配A.选出参考影像和其他影像。每张像片，轮流作为参考影像R(P)。在其他像片中选出主光轴与R(P)之间夹角小于60的像片I(P)。再将参考影像和这些相片进行匹配。,3.1 初始特征匹配,3.
6、1.2特征匹配B.选出候选匹配点对于参考影像上的每个特征点f，寻找其在其他照片上的候选匹配点f，f组成集合F。f与f是由同一种算子检测出（Harris或DOG）并且f在离同名核线两个像素的范围之内。,3.1 初始特征匹配,3.1.2特征匹配C.求模型点坐标由每一对（f,f）前方交会求出模型点。计算每个模型点与参考相片摄像机中心的距离，按距离由近到远将模型点排序。,3.1 初始特征匹配,3.1.2特征匹配,3.1 初始特征匹配,3.1.3 生成patch，作为种子点A.由模型点轮流初始化patch。如果一个模型点失败，就考虑下一个模型点。patch的中心c(p)为模型点，单位法向量n(p)为(由
7、patch中心指向参考影像摄像机中心的单位向量)B.初始化V(p),V*(p).V(p),V*(p)都是影像的集合,都包括参考影像和其他符合条件的影像。V(p)中的像片符合角度条件，即patch的法向量和patch所在光线的夹角要小于60度。V*(p)中的像片符合相关系数的条件，即patch投影到像片和参考相片之间的相关系数要大于阈值0.4。,3.1 初始特征匹配,3.1.3 生成patch，作为种子点B.初始化V(p),V*(p).V(p)中的像片符合角度条件，即patch的法向量和patch所在光线的夹角要小于60度。,此图选自江万寿2004年论文：航空影像多视匹配与规则建筑物自动提取方法
8、研究P57,3.1 初始特征匹配,3.1.3 生成patch，作为种子点B.初始化V(p),V*(p).V*(p)中的像片符合相关系数的条件，即patch投影到像片和参考相片上的像之间的相关系数要大于阈值0.4。此时阈值比较低，因为法向量不准确。,由patch的法向量和两张像片的P矩阵求仿射变换参数。求patch上的格网点在像片上的坐标双线性插值得到像的纹理。求相关系数,3.1 初始特征匹配,3.1.3生成patch，作为种子点C.优化patch的中心坐标和法向量最大化平均相关系数（即最大化patch的参考像片与其它像片之间的相关系数的平均值）。优化过程中把patch的中心固定在patch参考
9、影像的光线上，优化自由度为3:patch中心的z坐标，代表法向量的两个角度、。,此图选自江万寿2004年论文：航空影像多视匹配与规则建筑物自动提取方法研究P57,3.1 初始特征匹配,3.1.3生成patch，作为种子点D.更新V(p),V*(p)（阈值增大为0.7,因为此时已经优化了patch的坐标和法向量）E.如果|V*(p)|,则认为成功生成了patch。在所有影像上打上大小为22pixels的格网cells Ci(x,y)。把patch投影到像片上，记录下patch所在的格网坐标（格网在像片坐标系中的坐标）。每个格网有两个存储patch的集合Qi(x,y),Qi*(x,y)，分别存储投
10、影到V(p),V*(p)的patch。同时从cell中去掉所有的特征点，接下来考虑下一个特征点f.Else,如果|V*(p)|,则认为失败，考虑下一个匹配点f。每张像片轮流作为参考影像，对于参考影像中的每个特征点生成一个patch（也可能失败）,3.1 初始特征匹配（流程图）,3.2 扩散由稀疏的种子点扩散得到密集的patch。目标是每个格网cell中至少有一个patch,3.2.1 向种子patch所在格网的邻域扩散，若这个邻域中已经存在一个与种子patch距离较近的patch或者这个领域中已经存在一个平均相关系数较大的patch，则不向该邻域扩散。,3.2 扩散,3.2.2 新patch的
11、法向量跟种子patch的法向量相同，新patch的中心是通过邻域格网中心的光线与种子patch所在平面的交点。接下来的步骤与生成种子点相似,即计算V(p)、V*(p)，优化patch，更新V(p)、V*(p)，若V*(p)中的照片个数大于阈值，就认为是成功扩散了一个patch，否则失败。然后继续扩散下一个新patch，直到无法再进行扩散。,3.2 扩散,3.3 过滤,同一格网中patch的平均相关系数差异大过滤掉格网中与深度最小的patch距离大、法向量夹角大的patch（深度：物点与摄像机中心之间的距离投影到主光轴方向上的长度）将一个patch和它八邻域中的neighbors patches拟合二次曲面，neighbors patches残差之和大于阈值就去掉这个patch。去掉数量较小的patch组,3.3 过滤,去掉数量较小的patch组首先根据patch之间在物方的距离，将patch聚类分组，如下图所示，点代表patch，黑色的patch组中patch数量较多，红色的patch组中patch数量小于20个，要去掉像红色这样的patch个数小于20的patch组,
