《视频处理与宽带通信课件.ppt》由会员分享，可在线阅读，更多相关《视频处理与宽带通信课件.ppt（88页珍藏版）》请在三一办公上搜索。
1、2023年3月17日星期五,视频处理与宽带通信3,提 纲,概 论,把连续的视频信号转化为 数字视频信号一般包括两步：采样量化这一讲我们只讨论采样的问题，量化留到以后解决,采样与失真,模拟信号数字化奈奎斯特采样定律,视频信号的获取,大多数TV摄像机是通过在时间和垂直方向进行采样来摄取视频序列的。产生的信号存储在一个一维光栅扫描中不同的采样方案对应不同的采样点阵。在设计数字视频采样系统时，必须回答的两个问题：所需的视频采样率是多少？在给定总的采样率时，哪一种采样点阵最有效？,采样率的选择,在设计视频采样系统时，无论一维、二维、还是三维，一个必须回答的基本问题时，空间和时间采样的分辨率应该是多少？采
2、样率一般和以下几个因素有关：待采样信号的频率成分在空间和时间截止频率方面的视觉阈值摄取和显示设备的特性可以承受的处理、存储和传输成本,基于采样定理，如果采用立方体点阵，每维上的采样率至少应为该方向上最高频率的两倍 人眼不能分辨超过一定高的频率的空间和时间变化。所以视觉截止频率，即可以被HVS观察到空间和时间的最高频率，是确定视频采样率的决定因素视觉敏感度依赖于显示器的平均亮度。对于很亮的TV信号，视觉阈值要求帧率大于70Hz，而空间分辨率至少是30cpd。在屏幕高度三倍的正常观测距离上，25cpd的空间频率换算维大约500行/帧（lpf）,采样率的选择(续）,现在来从采样率的角度来讨论隔行扫描
3、 在模拟TV系统被开发出来的时候，视觉截止频率所要求的这些采样率超过了当时的技术水平。为了降低码率进而降低视频摄取、传输和显示的成本，隔行扫描被提出来了，对于给定的总码率（帧率和行率的乘积），它靠牺牲垂直分辨率来提高时间分辨率。,采样率的选择(续）,在NTSC TV系统中，每秒摄取60个场，但每场只包含所期望行数的一般（240有效行/场）。与采用30fps和480lps的逐行扫描的总码率是相同的 隔行扫描和逐行扫描处理静止图象和运动图象的不同点如果景物是静止，通过每一场扫描线的交错，它能够产生与采用60fps和480lps逐行扫描一样的质量对于具有特殊图案（垂直线图案）的高速运动场景，它会导致
4、所谓的“隔行效应”对于运动图片，由于电影院环境亮度很低，降低了视觉敏感性，24fps的帧率（逐行）就可以。尽管原始图象在24fps帧率下摄取的，但在回放时，在投射镜头前放置一个每帧旋转3次的叶片，使得有效回放速率为72fps。抑止可能会被一些敏感的观众感受到的闪烁效应,采样率的选择(续）,对于计算机显示，需要高得多的空间和时间采样率。例如，SVGA显示的帧率为72fps（逐行），空间分辨率为像素。这是为了适应很近的观察距离（通常为图片高度的一到两倍）和显示资料的高频成分（线图形和文本）。,采样率的选择(续）,定义实K维空间 中的点阵，它可以表示为K个线性独立的基矢量，的整数加权组合的所有可能矢
5、量的集合。即：矩阵 称为采样矩阵。,点阵理论,举例这两个采样矩阵生成的采样点阵,点阵理论,空间可由选定的单位晶格及其平移表示成一个花砖面：,点阵理论,平行四边形和沃罗纳晶格,定义具有基矢量 的一个点阵的基本平行四边形是由相应于基矢量的矢量包围起来的多边形。定义为：定义 一个点阵的沃罗纳晶格（Voronoi)是一个点的集合，这个集合中的点符合下面的条件：每个点到原点的距离总是要大于或等于这个点到其它阵点的距离。,沃罗纳晶格及其向所有阵点的平移形成了对空间 的一种分割,沃罗纳晶格,采样密度,单位晶格的容积在视频信号处理中，定义采样密度两个点阵，采样密度分别为,定义给定一个采样矩阵为 的点阵，它的反
6、商点阵可定义为具有如下采样矩阵的点阵：或正交，采样密度互为倒数,采样密度,对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用预滤波器进行带限：原始信号：采样后的信号：反商点阵：,采样密度,预滤波信号:预滤波后的采样信号:铺在六边形分割上的原始信号：使用六边形点阵的采样信号：,采样密度,忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间中的二维信号 令 表示场间隔，而 表示行间隔。逐行和隔行扫描的采样点阵,二维视频采样：逐行和隔行扫描,逐行反商阵 隔行反商阵,二维视频采样：逐行和隔行扫描,采样矩阵和反商矩阵逐行扫描：隔行扫描：,二维视频采样：逐行和隔行扫描,在反商点阵图形中平面第
7、一象限内离原点最近的3个点（实心圆圈）。这几点是最接近原始信号频谱的混叠分量的中心，也是可觉察失真的主要原因画点阵时，改变了空间和时间维的比例，使得等于垂直采样率的空间频率 与等于场率的时间频率 具有相同的长度理想情况下，通过给定空间和时间截止频率分配相同地长度，将基于视觉敏感度地时间和空间频率等同对待。因为空间和时间采样频率通常是基于各自地截止频率选取的，使不同方向上的采样频率相等一般来说是合适的,二维视频采样：逐行和隔行扫描,比较两种扫描它们具有相同的采样密度，即 沿垂直频率轴，它们在，具有相同的最近的混叠。这意味着在没有运动时，两种采样点阵有相同的分辨率。然而，当景物存在运动时，隔行扫描
8、的垂直分辨率要低于逐行扫描的垂直分辨率沿时间频率轴它们具有不同的最近混叠。对于逐行扫描，第一个混叠出现在 处，而隔行扫描出现在 处它们具有不同的混合混叠。混合混叠定义为最近的偏离轴的混叠分量。接近混合混叠的频率分量引起行间闪烁和爬行。因为隔行扫描的混合混叠更靠近原点，行间闪烁和爬行在隔行扫描中更容易觉察这就是所谓的隔行效应,二维视频采样：逐行和隔行扫描,提 纲,摄像机模型,针孔模型（Pinhole Model）反向投影同向投影平行投影CAHV模型摄像机运动,针孔模型之一：反向投影,特点：成像物体与成像平面位于摄像机中心两端成像的位置与成像物体的位置是相反的成像平面位于焦点之后,针孔模型之一：反
9、向投影,针孔模型之二：同向投影,特点 成像物体与成像平面位于摄像机中心同侧成像的位置与成像物体的位置是相同的成像平面位于焦点之前,针孔模型之二：同向投影,针孔模型之二：同向投影,透视成像关系式：或可见，x和y与Z成反比齐次坐标系表示：,针孔模型之二：同向投影,当图像平面的坐标原点不在主点上时：由此可以定义摄像机标定矩阵为：,摄像机运动,升/降上吊，下吊,左/右左跟，右跟,推/拉前推，后拉,竖扫上倾，下倾,平扫左摇，右摇,旋转滚,缩放变焦,摄像机运动,若世界坐标和摄像机坐标架子之间存在欧式变换时：,由此可知从世界坐标系中一点X与像素x之间的对应关系为：通常我们称与 相关的参数为摄像机内部参数内部
10、校准，包含在 中的参数称之为外部参数外部校准,摄像机运动,针孔模型之三：平行投影,条件成像物体距离成像平面很远 成为平行投影（正交投影）满足关系式,多对一映射使得基于二维图像估计物体的三维结构和运动具有极大挑战,针孔模型之三：平行投影,针孔模型小结,将三维的实体对象转化为二维的平面图形多对一的关系 在同一视线（line of sight）上遇到的第一个点起决定的作用，其他点将被忽视优点：简单缺点：难以估计实物对象的结构根据投影图像难以对实物对象进行运动估计没有考虑摄像机轴与图像中心对不准、真实镜头有限孔径的低通滤波作用、曝光失真,CAHV模型,特点考虑了摄像机本身的运动采用四个矢量进行模型的描
11、述公式,C 世界坐标系统到摄像机中心的矢量,光轴方向的单位矢量,投影平面水平方向单位矢量,投影平面垂直方向单位矢量希望校准摄像机以补偿针孔摄像机模型与真实摄像机之间的几何误差,CAHV模型投影示意图,说 明,非固有参数C,A,以及固有参数,和F可以表征实际的摄像机系统能够描述一个偏离摄像机轴的成像平面，也可以描述某些失真可以用摄像机校准算法估计这些参数,提 纲,照明模型,入射光如何影响反射光的分布（几何模型和光谱模型）(局部和全局照明模型)几何模型描述入射光的幅度和方向分布适用于环境和点光源描述主要由真实世界的照明变化引起的视频序列时间上的变化漫反射与镜面反射模型之一：不同照明和反射条件下的光
12、强分布模型及图示几种简化模型模型之二：物体运动引起的图像函数的变化,漫反射与镜面反射,反射,漫反射（所有方向能量分布相同）,镜面反射（镜向上强度最大）,朗伯表面钝的，无光泽的表面：木头，水泥墙等在所有方向上具有相等的能量分布决定物体表面的颜色,在入射光的镜向上强度最大不能显示物体的颜色，只能显示入射光的颜色,光强分布能量,对于一个物体表面光源的相互作用，涉及三种能量：入射光的通量指从光源发射出的能量的速率，单位：瓦特（W）入射辐照度 E指物体上每单位面积的入射光通量，单位：辐照度取决于入射光与表面在该点的法线之间夹角反射辐射强度 C指从物体表面反射的光的能量,光强分布模型,反射辐射强度,入射光
13、辐照度,反射系数函数反射光强度与入射光强度之间的比值取决于入射光 表面几何形状,照明方向,物体表面的位置,在位置X处的表面法线矢量,连接X与摄像机焦点观测方向,光的波长,都是X和t的函数C的分布取决于E和反射系数r,从方向L被一个具有无限小区域 的点光源照射的一个小块表面（具有法线矢量N）。这个小块是从方向V观测的,光强分布模型图示,光强分布简化假设模型,物体表面不透明，照明（及观测）方向时不变,简化假设之一：,说明：尽管照明和观测方向（V和L）是固定的，然而由于物体是运动的，所以入射光辐照度仍然是随时间变化的,光强分布简化假设模型,入射光是环境光源，物体表面是漫反射的,简化假设之二：,时刻t
14、时环境光的强度,反射系数函数r不依赖于表面法线N,不依赖于表面位置X或表面法线N,光源的最大辐照度，是当光垂直于表面时的辐照强度,简化假设之三：,点光源引起的反射辐照强度,L与N之间的夹角,其中,光强分布简化假设模型,点光源的漫反射在各个方向上是一个常数。强度取决于表面法线N与到光源的方向L之间的夹角,光强分布点光源模型,光强分布简化假设模型,点光源远离物体表面，可以把入射光近似为平行光,简化假设之四：,光强分布简化假设模型,假定物体具有各向同性的表面，则,反射反射强度就变为：,简化假设之五：,物体运动引起的图像函数变化,模型之一：,在二维图像平面中，假设在t时刻象素x的亮度 正比于对应于x的
15、三维点X处的发射辐射强度，有,从时间 到，从 运动 到（对应于表面法线变化是从 到）的一个点的亮度强度变化,物体运动引起的图像函数变化,假设图像信号 依赖于照度 和反射系数函数,模型之二：环境照明、漫反射表面、正交投影,在图像平面中，从 运动到 的一点的信号 变化,物体运动引起的图像函数变化,当 为常数时，称为恒亮度假设，有：,模型之二（续）：,适用条件：空间和时间不变的环境照明和漫反射表面，因为，在这种条件下，没有运动的阴影，也没有光滑表面引起的反射,示例线光源照明模型（1）,面光源引起的漫反射几何,方向长方形光源的反射几何,示例线光源照明模型（2）,线光源照明模型生成场景示意（有两个线光源
16、照明）,示例山体照明模型,1、无大汽影响,2、薄雾天气,3、阴雨浓雾天气,4、雨后天气,物体模型,物体用纹理、形状和运动模型描述纹理模型-描述物体的表面特性假设物体m的纹理用彩色参数Sm来描述，Sm即包含亮度反射系数也包含色度反射系数这些彩色参数对应于图像信号(x),提 纲,物体模型,形状模型,用体素描述,用线框描述,运动模型,刚性物体运动,柔性物体运动,平移,旋转,分解法,叠加法,B样条曲线描述,形状模型概述,用体素来描述三维物体效率不高：我们对物体的内部不感兴趣用三角形网格（即线框）来描述三维物体表面控制点表索引面集表用B样条曲线构造几何物体模型,形状模型体素,（a）体积元素,（b）在一个
17、 三维点阵中用体素表示形状,形状模型线框（1）,（a）表示物体表面的三角形网格；（b）三角形网格表示为一个控制点表；（c）一组关联控制点表的三角形表,形状模型线框（2）,线框的控制点位于物体的表面控制点的数目和位置由物体的形状及线框模型对物体形状描述的精度决定。刚性物体：控制点不能被独立的移动，不能改变它的形状柔性物体：控制点能被独立的移动，能改变它的形状,形状模型线框（3）,人体头部的形状模型,三个图分别采用了不同数目的控制三角形（从左向右，依次递减）,图示,形状模型B样条曲线,用B样条曲线构造的几何物体模型,运动模型,刚性物体的运动,柔性物体的运动,运动模型,平移运动 旋转运动,分解法,叠
18、加法,刚性物体运动平移,平移用平移矢量 描述一个点从X到X的位移：,刚性物体运动旋转（1）,假定物体绕三维空间的原点旋转点运动用旋转矩阵 描述：,刚性物体运动旋转（2）,刚性物体运动旋转（3）,旋转矩阵 是一个标准正交矩阵：,当旋转角很小的时候，有：,刚性物体运动综合（1）,（一）物体表面上的点从X到X的运动（物体绕世界坐标系统中心旋转）,（二）物体远离世界坐标系统中心，且只绕自身的中心 旋转时,刚性物体运动综合（2）,柔性物体运动分解法,将柔性物体分解成两个以上刚性组元，每个组元由它的控制点定义,一个包括两个组元的模型物体,柔性物体运动叠加法,将小的局部运动叠加到大的刚性运动参数上,例子：有
19、一个带旗子航行的船，可以用一系列刚性参数描述整个船的运动，并且用局部运动对风中旗子的运动建模；然后叠加,提 纲,场景模型,场景模型（光源、物体、摄像机）三维场景模型较复杂的场景模型运动物体场景模型将变化的区域分为运动物体、未覆盖背景和即将被覆盖的背景分层二维物体场景使用平行投影 不分层二维物体场景最为简单的一种模型,三维场景模型（1）,特点由透视投影的摄像机模型得到用来描述物体的运动和物体的遮挡以及投射阴影如果物体是运动的，图像可分为四个区域：静止背景、运动物体、未覆盖背景和新近覆盖的背景,三维场景模型（2）,一个较为复杂模型场景,运动物体场景模型（1）,特点在运动物体的两个图像帧之间比较未变
20、化区域既是两幅图像中静止的背景将变化的区域分成运动物体、未覆盖背景和即将被覆盖背景覆盖延伸,运动物体场景模型（2）,分层二维物体运动场景（1）,摄像机模型采用正交投影而不是透视投影故深度对场景的图像没有影响，覆盖不延伸此场景不能描述三维运动效果通常称为2.5-D场景模型MPEG-4视频编码支持2.5-D场景模型,分层二维物体运动场景（2）,不分层二维物体运动场景（1）,是一种最简单最有用的场景模型假设所有的物体都是平坦的，并且都在相同的平面上二维物体被限制在一个二维平面运行不支持物体分层的概念被用于视频编码标准H.261，H.263，MPEG-1和MPEG-2,不分层二维物体运动场景（2）,场景模型小结,场景模型描述运动物体和一个三维场景的摄像机是如何互相定位的在视频编码中，通常使用二维场景模型，假设二维物体与摄像机的成像平面平行运动稍为复杂一些的2.5维场景模型可以用来处理物体的遮挡三维场景模型可以逼真的描述真实世界,
