《计算摄像学专题第3讲.ppt》由会员分享，可在线阅读，更多相关《计算摄像学专题第3讲.ppt（81页珍藏版）》请在三一办公上搜索。
1、计算摄像学专题第三讲,戴琼海清华大学 自动化系,第三讲提纲,第三讲提纲,视觉场景信息,视觉在人类对世界的感知、理解、交互中的重要意义 视觉信息的采集(采样)、表示（数学定义）、重建（恢复）、感知(理解)、渲染(显示)、编辑（交互）、通讯(编码与传输)涉及学科领域：计算视觉、计算机图形学、图像信号处理、(计算摄像学)如何表示视觉信息是研究视觉信息的基础与核心,全光函数,plenoptic(拉丁 plenus:full，optic:vision)plenoptic function Adelson 91空间中的某个位置(3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函
2、数涵盖动态场景中的任意光线集,单通道图像,为光线的强度 也可记为P(x,y)从单一位置点看见的光线固定某一时刻对可见光各波长分量作平均,颜色图像,为光线的强度从单一位置点看固定某一时刻以波长为变量,视频,为光线的强度从单一位置点看以时间为变量以波长为变量,全息视频,为光线的强度以视点位置为变量以时间为变量以波长为变量,全光函数,描述了物理存在的任何视觉信息包含了不可见光等电磁辐射信息没有经过任何物理处理涵盖时变及波长变化情况（如磷光）波长分量一般离散化为R,G,B通道实际系统的辐射度范围受限LDR与HDR全光函数虽然不可能获得，但其作用：为视觉信息的研究提供了基础理论工具,全光函数,基于全光函
3、数子集的图像采集系统传统图像(和 的2D子集)全景图Chen95(和 的2D全集)视频序列(,的3D子集)光场Levoy96,Gortler96(,的4D子集)动态光场Wilburn05(,的5D子集),第三讲提纲,光 场,The light field is a function that describes the amount of light traveling in every direction through every point in space.Michael Faraday was the first to propose(in an 1846 lecture entit
4、led Thoughts on Ray Vibrations)that light should be interpreted as a field,much like the magnetic fields on which he had been working for several years.The phrase light field was coined by Alexander Gershun in a classic paper on the radiometric properties of light in three-dimensional space(1936).Th
5、e phrase has been redefined by researchers in computer graphics to mean something slightly differentcitation needed.,Levoy96,Light Field(光场),McMillan95在3D空间，使用规则的离散采样(,)生成连续空间的新 视角图像维度仍然过高如何简化？4D光场光线沿着光轴方向辐射度不变自由空间假设,光场,空间含遮挡物(5D),自由空间，辐射度恒定(4D),由内向外,由外向内,自由空间,自由空间,自由空间,自由空间,4D光场-绘制,对目标光线进行参数定位,以下将L
6、evoy96提出的4D光场简称为光场,光场 参数化,L(x,y,),光场 参数化,双平面参数法Levoy96最常用的参数化方法检索简单（图像阵列）绘制简单（投影几何）缺陷：只覆盖了一个方向覆盖360度视角需要至少6套光板光板之间的切换引入artifacts,光场 参数化,基于双平面参数法的新视角绘制视角汇聚与视角平行？规则的4D图像集,光场 2D绘制,绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表 获得每个像素值，复杂度低,光场 2D绘制,加权样本,最近邻,U,V加权,
7、U,V,S,T加权,光场绘制示例,光场 优缺点,优点绘制速度快绘制复杂度与场景复杂度无关绘制真实感较强 缺点数据量大（虽然压缩率高120:1Levoy96）不可编辑（无模型）,深度辅助光场绘制,无深度信息,深度信息辅助,需对多个像素进行加权,动态可调光场绘制,假想对象平面st可变的情况,动态可调光场绘制,光场的进一步思考,4D光场还能简化吗？简化带来采集的便利、重建质量的下降如何在降低维度的过程中尽可能地保留重要的全光信息第三部分将介绍光场的扩展(维度的增加),基于图像绘制 vs.基于模型绘制,基于图像绘制与基于模型绘制的折中如何分析？数据采样密度对绘制的影响,图像信号处理,算法优化,需求数据
8、量高,需求数据量低,复杂度高,复杂度低,全光采样理论 Plenoptic Sampling,Plenoptic Sampling Chai00使用傅里叶信号分析研究光场绘制获得光场采样与光场绘制的关系 简化假设无遮挡朗泊漫反射表面 将4维简化为2维进行信号分析 ST S UV U,采样率分析,图像采集数量与深度层数量的不同组合可获得相同的虚拟视角绘制质量,采样率分析,3个深度层，3232 图像集，过采样,采样率分析,3个深度层，1616 图像集，采样,采样率分析,3个深度层，88 图像集，最优采样,采样率分析,3个深度层，44 图像集，欠采样,采样率分析,3个深度层，22 图像集，欠采样,采样
9、率分析,几何信息与采样率的折中，由最小采样曲线决定 目标图像的分辨率影响最小采样曲线的偏移,光场 采集与应用,Spherical gantry Levoy96相机自由度：2光照自由度：2 360度的光场及反射场 捕获 应用：文物记录与保护,光场 采集与应用,多相机阵列128相机系统(Stanford05)64相机系统(Tsinghua07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像,光场 采集与应用,光场 采集与应用,全光函数,plenoptic(拉丁 plenus:full，optic:vision)plenoptic function Adelson 91空间中的某个位置(
10、3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函数涵盖动态场景中的任意光线集,光场,空间含遮挡物(5D),自由空间，辐射度恒定(4D),由内向外,由外向内,自由空间,自由空间,自由空间,自由空间,光场 2D绘制,绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表 获得每个像素值，复杂度低,平面摄像机阵列,高分辨率或动态范围图像,高速视频,虚拟光圈成像,光场 采集与应用,多相机阵列128相机系统(Stanford05)64相机系统(Tsinghu
11、a07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像,光场相机,4000 4000 像素 292 292 透镜=14 14 像素/透镜,Contax 中档相机,Kodak 1600万像素底片,光学微透镜阵列,125微米微透镜,传统相机与光场相机,传统相机与光场相机,uv-plane,st-plane,光场图像,视角截取,截取=对每个微透镜中央像素求和,数字重聚焦,重聚焦=从不同的微透镜提取像素求和,数字重聚焦,数字视角调整,视角调整=移动所有微透镜的截取窗,数字视角调整,数字视角调整,光场 采集与应用,重聚焦、视角调整、光照处理只采集一张图像解决所有处理都基于数字处理牺牲空间分辨
12、率，换取光线角度信息,光场显微镜,传统显微镜为看到对象切片，调节载物台，手动聚焦光场显微镜Levoy06与光场相机类似，捕捉光场，计算聚焦特点：多视角及三维重建牺牲空间分辨率,第三讲提纲,光 场,4D光场：捕捉从对象发出的4D光线集合,光照变化下的场景采集,入射光场：进入对象的光线集,反射场,入射光场：进入对象的光线集，属全光函数的采样4D光场：Lo(o,o,x,y)4D(入射)光场：Li(i,i,x,y),:采集视点或光照视点的二维坐标x,y：对象的二维参数化反射场：对象表面对光线进行传递变换所构成的场R(Lo;Li)=R(o,o,xo,yo;i,i,xi,yi)Lo Li R(Lo;Li)
13、输出光线只与作用到该点的入射光线有关，6D反射场：R(o,o,x,y；i,i)4D反射场：R(x,y；i,i),4D反射场,每个光源对应采集一张图像,4D反射场,2D,光照具有可加性,重光照,2D,图像 2D+光照 2D,重光照：根据对象在一个或多个光照下的外观，就算目标光照下的对象外观,Light Stage,Debevec2000,Light Stage,采集图像,Original Resolution:6432,反射函数,6432,反射函数,环境光照图,反射函数,光照积,绘制像素,1,Demo,The Light Stage:60-second exposure,反射场,远距离环境光照,
14、反射场,有近距离遮挡物，该重光照框架是否成立？,Light Stage,单视角多光照只适用于远距离光照框架假设物体上每个点具有相同的环境光照图近距离光照或遮挡物使得 每个物体点的环境光照图不一需要维度更高的反射场函数及其图形学方法,8D反射场,8D 反射场函数,8D反射场处理互遮挡的重光照问题,反射场,8D 反射场函数 Masselus2003,6D反射场,6D,图像 2D+视角 2D+光照 2D,光场 采集与应用,Spherical gantry Levoy96相机自由度：2光照自由度：2 360度的光场及反射场 捕获 应用：文物记录与保护,多视点多光照采集,对静态对象,数据维度6D Matusik2002,多视点多光照采集,VisualHull,Surface Lightfield,Surface Reflectance Fields,Alpha Mattes,多视点多光照采集,VisualHull,Surface Lightfield,Surface Reflectance Fields,Alpha Mattes,多视点多光照采集,总结,全光函数是空间光线的集合 光场是全光函数的4D参数化与简化 光场可实现虚拟视角的实时绘制 光场采样定律：深度与采样率的折中 光场的应用：光场相机与光场显微镜 光场的扩展：场景重光照,
