图像特征与理解.ppt

《图像特征与理解.ppt》由会员分享，可在线阅读，更多相关《图像特征与理解.ppt（98页珍藏版）》请在三一办公上搜索。

1、第十章 图像特征与理解,图像的几何特征形状特征形状描述子纹理分析 曲线与曲面拟合 收缩、变细和骨架化 网络图像检索技术,一、图像的几何特征,图像的几何特征是指图像中物体的位置、方向、周长和面积等方面的特征。尽管几何特征比较直观和简单，但在许多图像分析中可以发挥重要的作用。,1.位置 一般情况下，图像中的物体通常并不是一个点，因此，采用物体或区域的面积的中心点作为物体的位置。如图所示,位置与方向,2.方向,如果物体是细长的，则可以将较长方向的轴定义物体的方向。如图所示，通常，将最小二阶矩轴定义为较长物体的方向。也就是说，要找出一条直线，使物体具有最小惯量，即：,若区域或物体的边界已知，则可以采用

2、区域的最小外接矩形（MER，Mini-mum Enclosing Rectangle）的尺寸来描述该区域的基本形状，如图所示，a为长轴，b为短轴。,长轴和短轴,周长,图像内某一物体或区域的周长是指该物体或区域的边界长度。一个形状简单的物体用相对较短的周长来包围它所占有面积内的像素，即周长是围绕所有这些像素的外边界的长度。计算周长常用的3种方法,(1)若将图像中的像素视为单位面积小方块时，则图像中的区域和背景均由小方块组成。区域的周长即为区域和背景缝隙的长度之和，此时边界用隙码表示，计算出隙码的长度就是物体的周长。如图所示图形，边界用隙码表示时，周长为24。,(2)若将像素视为一个个点时，则周长

3、用链码表示，求周长也就是计算链码的长度。当链码值为奇数时，其长度为；当链码值为偶数时，其长度为1;即周长p可表示为：,以前述图为例:边界以面积表示时，物体的周长为:,(3)周长用边界所占面积表示时，周长即物体边界点数之和，其中每个点为占面积为1的一个小方块。以前述图为例:边界以面积表示时，物体的周长为15。,面积是衡量物体所占范围的一种方便的客观度量。面积与其内部灰度级的变化无关，而完全由物体或区域的边界决定。同样面积条件下，一个形状简单的物体其周长相对较短。1.像素计数法 最简单的面积计算方法是统计边界及其内部的像素的总数。根据面积的像素计数法的定义方式，求出物体边界内像素点的总和即为面积，

4、计算公式如下：,面积,2.边界行程码计算法 面积的边界行程码计算法可分如下两种情况：(1)若已知区域的行程编码，则只需将值为1的行程长度相加，即为区域面积；(2)若给定封闭边界的某种表示，则相应连通区域的面积为区域外边界包围的面积与内边界包围的面积（孔的面积）之差。若采用边界链码表示面积，面积如下:,面积的边界坐标计算法是采用格林公式进行计算，在x-y平面上，一条封闭曲线所包围的面积为 离散化为:,3.边界坐标计算法,图像中两点P1和P2之间的距离是重要的几何性质之一，测量距离常用的3种方法如下：1.欧几里德距离,距离,2.市区距离,3.棋盘距离,二 形状特征,物体的形状特征主要包括:矩形度宽

5、长比球状性 圆形度不变矩偏心率,物体从图像中分割出来以后，将形状特征与几何特征结合起来，在机器视觉系统中起着十分重要的作用，它可以作为区分不同物体的依据之一。,1.矩形度,物体的矩形度指物体的面积与其最小外接矩形的面积之比值。如图所示，矩形度反映了一个物体对其外接矩形的充满程度。矩形度的定义：,2.宽长比,宽长比是指物体的最小外接矩形的宽与长之比值。宽长比r为,圆形度包括周长平方面积比、边界能量、圆形性、面积与平均距离平方之比值等。圆形度可以用来刻画物体边界的复杂程度。,3.圆形度,周长平方面积比,边界能量,其中:,圆形性,面积与平均距离平方比值,球状度,不变矩 对于二维图像函数，其（j+k)

6、阶矩定义为：,偏心率 偏心率（Eccentricity）又称为伸长度（Elongation），它是区域形状的一种重要描述方法。偏心率在一定程度上反映了一个区域的紧凑性。偏心率有多种计算公式，一种常用的计算方法是区域长轴（主轴）长度与短轴（辅轴）长度的比值，如图所示，即：,三 形状描述子,对物体进行描述时，有时希望能使用一些比单个参数提供更丰富的细节，而又比用图像本身更紧凑的方法来描述物体的形状，这就是形状描述子，它可以对物体形状进行简洁的描述。形状描述子主要包括:傅立叶描述子;边界链码;微分链码;,1.傅立叶描述子,采用傅立叶描述的优点是可以将二维问题转化为一维问题。即将x-y平面中的曲线段转

7、化为一维函数，或将x-y平面中的曲线段转化为复平面上的一个序列，即将x-y平面与复平面重合，其中，实轴与x轴重合，虚轴与y轴重合。这样可用复数 的形式来表示给定边界上的每个点(x，y)。如图所示，这两种表示实质是一致的，是点对点的一一对应映射关系。,设物体的边界是由N个点组成的封闭边界，从任一点开始绕边界一周就得到一个复数序:即,可得序列的DFT变换为：也可称为边界的傅立叶描述，其逆变换为：,由于离散傅立叶变换是一种可逆线性变换，而且在变换过程中信息没有任何增减，因此，这一特点为边界描述提供了方便。若只取频率域的M个值，即取前M个系数同样可求出的一组近似值。,实际应用中要考虑的问题：,(1)如

8、果采样不均匀将会给问题求解带来困难，因此，在理论上应采用等间隔取样；(2)FFT的算法要求序列长度为2的整数次方，这样在采用FFT之前，应调整序列的长度。如可先计算出轮廓的周长，则除以2的整数次方得出采样间隔，然后一个点一个点进行追踪。,2.拓扑描述,拓扑学（Topology）是研究图形性质的理论。图形的拓扑性质具有稳定性，即只要图形没有发生破坏性变形，则其拓扑性质不会因为物理变形而改变。因此，区域的拓扑性质可用于对区域的全局描述，这些性质既不依赖于距离，也不依赖于距离测度的其他特性等。如图所示，如果将区域中的孔洞数H作为拓扑描述 子，显然，只要区域没有被撕裂或 折叠，这个性质不受区域的伸长、

9、旋转等方面的影响，孔洞数H就不会 发生变化。,区域内的连接部分C的个数是区域的另一拓扑特性。一个集合的连通部分就是它的最大子集，在这个子集的任意点都可以用一条完全属于该子集中的曲线相连接。下图所示图形有三个连接部分。欧拉数也是区域的重要 拓扑特性之一，欧拉数定义：,3.边界链码,链码是对区域边界点的一种编码表示方法。该方法主要是利用一系列具有特定长度和方向的相连的直线段来表示目标的边界。由于每个线段的长度固定而方向数目有限，即仅有边界的起点需要采用绝对坐标表示，其余点可只用接续方向来代表偏移量，并且每一个点只需一个方向数就可以代替两个坐标值，因此采用链码表示可大大减少边界表示所需的数据量。最简

10、单的链码是跟踪边界并赋给每两个相邻像素的连线一个方向值。常用的有4方向和8方向链码,(a)4方向链码(b)8方向链码,若采用4方向，则链码为：(8，8)1 1 1 1 2 2 3 2 3 2 3 3 0 0；若采用8方向，则链码为：(5，5)2 2 2 2 4 4 5 5 6 6 0 0。,使用链码时，起点的选择常很关键。对同一个边界，如用不同的边界点作为链码的起点，得到的链码则是不同的。为解决这个问题可采用归一化链码表示方法，具体方法如下：（1）给定一个从任意点开始产生的链码，先将它视为一个由各方向数组成的自然数；（2）将这些方向数依一个方向循环，以使它们所构成的自然数的值最小；（3）将这样

11、转换后所对应的链码起点作为该区域边界的归一化链码的起点。,归一化链码表示方法：,（1）给定一个从任意点开始产生的链码，先将它视为一个由各方向数组成的自然数；（2）将这些方向数依一个方向循环，以使它们所构成的自然数的值最小；（3）将这样转换后所对应的链码起点作为该区域边界的归一化链码的起点。,4.一阶差分链码,采用链码表示物体或区域边界的主要优点是当目标平移时，边界链码不会发生变化，而不足之处是，当区域旋转时则链码会发生变化。为解决旋转时链码变化的问题，可以采用链码旋转归一化处理方法，即应用原始链码的一阶差分来重新构造一个表示原链码各段之间方向变化的新序列。差分可用相邻两个方向数按反方向相减，所

12、谓反方向即后一个减去前一个求取差分。,原始图像边界链码及差分,原始图像边界链码及差分,一阶差分链码实例,霍夫变换是Hough于1962年提出的一种线描述方法。它可以将笛卡儿坐标空间的线变换为极坐标空间中的点。如图10-17所示，在x-y坐标系中的一条直线，若以代表直线距原点的法线距离，为该法线与x轴的夹角，则可用如下参数方程来表示该直线。,5.霍夫变换,通过霍夫变换将直角坐标系中的直线变换到极坐标系中则是一个点。,霍夫变换示意图,霍夫变换具有如下主要性质：(1)直角坐标系中的一点对应于极坐标系中的一条正弦曲线；(2)变换域极坐标系中的一点对应于直角坐标系中的一条直线；(3)直角坐标系一条直线上

13、的N个点对应于极坐标系中共点的N条曲线。,纹理目前还没有统一和公认的确切的定义。一般认为类似于布纹、草地、砖头、墙面等具有重复性结构的图像叫纹理图像。,四.纹理分析,纹理图像在局部区域内可能呈现不规则性，但整体上则表现出一定的规律性，其灰度分布往往表现出某种周期性。纹理图像所表现出的这种特有的性质称为纹理。实际中很多图像具有纹理型结构，对这类纹理型图像可以通过纹理分析提取其宏观特征信息。,1.纹理特征,纹理最初指纤维物的外观，纹理图像在很大范围内没有重大细节变化，在这些区域内图像往往显示出重复性结构。有时，物体在纹理上与其周围背景和其他物体有区别，这时，图像分割应以纹理为基础。,虽然纹理目前尚

14、无统一的定义，但一般来说，纹理是由许多相互接近的、互相交织的元素构成，它们具有周期性。纹理在一定程度上反映了一个区域中像素灰度级的空间分布的属性。纹理可分为人工纹理和天然纹理（自然纹理）。,典型的人工纹理,典型的自然纹理,2.纹理分析常用的方法:,统计法自相关函数法傅立叶频谱法联合概率矩阵法句法结构法,1.统计法,统计法是利用图像内某一区域或物体的灰度直方图的矩对纹理结构进行描述，它又可以分为灰度差分统计法和行程长度统计法。(1)灰度差分统计法 取图像内任意一点(x，y)，设与该点相邻的点的灰度差值为：,称为灰度差分,灰度差分一般采用以下参数描述纹理图像的特征：,对比度角度方向二阶矩 熵 平均

15、值,设图像内任意点(x，y)的灰度值为g，与其相邻点的灰度值也可能为g或其他值，统计出从任一点出发沿方向上连续n个点都具有灰度值g所发生的概率，记此概率为P(g，n)。,2.行程长度统计法,长行程加重法灰度值分布 行程长度分布 行程比,频谱法即傅立叶频谱法，指依据傅立叶频谱的频率特性来描述周期的或近似周期的二维图像纹理结构。对于图像而言，如下二维傅立叶变换 能包括其全部纹理信息。二维傅立叶变换的功率谱如下,2.频谱法,傅立叶频谱中突起的峰值对应纹理模式的主方向，峰值在频域平面的位置对应模式的基本周期。实际应用中，一般将频谱先转换到极坐标系中，如图所示，此时傅立叶变换可用表示，其频谱可用函数表示

16、。,物体的纹理常用其粗糙性加以描述。例如，在相同的外观条件下，毛织品一般比丝织品粗糙。粗糙性的程度与局部结构的空间重复周期有关，周期大的纹理细；反之则纹理粗糙。这种感觉上的粗糙虽不足以定量表示纹理的测度，但可说明纹理测度的变化趋势。即纹理测度值小表示纹理比较细密，纹理测度值大表示纹理比较粗糙。,3.空间自相关函数法,设图像以f(m，n)表示，则自相关函数可定义如下：,4.联合概率矩阵法,联合概率矩阵法是通过对图像的所有像素进行统计并描述其灰度分布的一种方法。取图像中任意一点(x，y)及偏离它的另一点(x+a，y+b)组成一个点对，设该点对的灰度值为,令点(x，y)在所分析的区域内移动，则可得到

17、全部 值,例:图(a)为原图像，共有16个灰度级，为使概率矩阵简单起见，首先将图(a)的灰度级数减为4级变为图(b)的形式。,因此，差分值(a，b)取不同的数值，就可以得到不同情况下的联合概率矩阵。,在纹理的句法结构分析中，将纹理定义为结构基元按某种规则重复分布所构成的模式。进行纹理结构分析，需要先描述结构基元的分布规律。因此，一般可进行如下两项工作：(1)从输入图像中提取结构基元并描述其特征；(2)描述结构基元的分布规则。,5.纹理的句法结构分析法,先将纹理图像分成许多窗口，即形成子纹理。其中最小的小块就是最基本的子纹理（即基元）。纹理基元可以是一个像素，也可以是4个或9个灰度比较一致的像素

18、集合。,具体方法：,纹理的表达可以是多层次的，如图示，它可以从像素或小块纹理一层一层地向上拼合。而且，基元的排列可有不同规则，如图(b)中，第一级纹理排列为ABA，第二级排列为BAB等,五.曲线与曲面拟合,图像分析中，为了描述物体的边界或其他特征，可以根据一组点集的数据来拟合曲线或曲面。曲线与曲面的拟合是数值分析中重要的内容之一，通常使用最小均方误差准则来寻找一定条件下的最佳拟合函数。常用的有多项式方法拟合，特别是二次多项式形式，对于更一般的情况，也可采用样条函数。,曲线拟合曲线拟合（MSE）问题是给定一个具有N个点的点集，找出一个函数使其均方误差最小，即：,若假定为抛物线，则其曲线形式为：,

19、确定最佳参数值,一般可采用最小二乘法求解,该问题可用矩阵形式描述：,则误差向量为：,均方误差为,最优解为：,例，根据如下5点数据拟合抛物线：（0.9，1.8）,（2.2，3）,（3，2.5）,（4，3）,（5，2）,解：采用矩阵方法，根据以上5点数据可得如下矩阵：,根据以上矩阵数据可得：,误差向量为：,得最终拟合的抛物线：,拟合曲线如图所示：,为实现对图像中的圆形或椭圆形物体进行度量，可以采用高斯曲面对图像进行拟合，二维高斯方程表示为：,2.曲面拟合,将上式取对数，然后两边同乘以 可得：,表示为矩阵形式如下：,是N1向量，元素为：,C是高斯参数经运算后的向量：,B是N5矩阵，其第i行为：,(1

20、)用于拟合的点应能覆盖全部所关注的区域；(2)用于拟合的数据点的数量（N）不能太小，最好是矩阵B的列数的23倍，以免矩阵求逆时出现奇异现象；(3)在拟合曲线之前，应先确定数据点集的主轴，并将主轴旋转至水平方向；(4)采用高斯拟合时，采样点应分布在峰值的周围，若仅对峰值一侧数据进行高斯拟合，将出现较大的误差。,实际拟合时，应注意如下几点：,六.收缩、变细和骨架化,收缩、变细和骨架化的目的都是为了减小像素的连通区，一般情况下这些运算是不可逆的。收缩是将区域缩小为单一像素的过程，而变细是指减小物体的截面宽度，骨架化则是将区域变为条形骨架的算法。,观察像素之间的关系可以发现，除图像边界的像素之外，任何

21、像素都有左上、左下、右上、右下4个近邻像素，且共有8个邻接像素。对于下页图(a)所示的二值图像，直观上可以认为这3个区域中各像素是连通的，而图(b)的连通性可能会有不同理解。在多灰度级的图像中，这种连通性会变得更复杂。,1.连通,简言之，所谓连通即像素与其邻接像素如果有相同的灰度级，则称为连通。,2 中轴变换,中轴变换（MAT，Medial Axis Transform）是一种用来确定物体骨架的细化技术。,中轴变换原理,理论上，由图形的中轴骨架及最小距离还可以重建图形的边界。由于每个骨架点保持了其与边界点距离最小的性质，因此，用以每个骨架点为中心的圆的集合（利用合适的量度），就可恢复出原始的区

22、域来。具体即以每个骨架点为圆心，以前述最小距离为半径作圆，它们的包络就构成了区域的边界，填充这些圆就得到原区域。或者以每个骨架点为圆心，以所有小于和等于最小距离的长度为半径作圆，这些圆的并集就覆盖了整个区域。中轴变换原理如下页图所示。,中轴变换原理示意,骨架是用一个点与一个点集的最小距离来定义的，可写成,细长区域和物体欧氏距离骨架,较粗区域或物体的欧氏距离骨架,七.网络图像检索技术,图像检索的概念基于文本的图像检索 基于内容的图像检索 网络图像检索 典型的图像检索引擎,1.图像检索的概念,对于图像检索的研究可以追溯到20世纪70年代中后期，当时的研究主要是基于文本的图像检索技术（TBIR），即

23、采用文本描述的方式描述图像的特征，例如，绘画作品的作者、年代、尺寸、流派等。20世纪90年代，出现了对图像的内容语义描述，如以图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索（CBIR）技术。CBIR属于基于内容检索（CBR）的一种，CBR中还包括对动态视频、音频等其它形式多媒体信息的检索技术。,在检索原理上，无论是基于文本的图像检索还是基于内容的图像检索，主要包括如下三个方面：对用户需求的分析和转化，形成可以检索索引数据库的提问；收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库；依据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足

24、阈值的记录作为结果，按照相似度降序的方式输出。,图像检索的基本原理,2.基于文本的图像检索,基于文本的图像检索采用的是传统的文本检索技术，而不是基于对图像可视化元素的分析，即从图像名称、图像尺寸、压缩类型、作者及年代等方面标引图像，一般以关键词形式的提问查询图像，或者是根据等级目录的形式浏览查找特定类目下的图像,TBIR技术的实现较简单，也更符合传统的检索习惯，同时可以充分结合已有的成熟文本检索技术和网络搜索引擎技术，减少许多对图像内容本身的复杂考虑。TBIR技术的缺点主要在于，通过受控词汇来描述图像，不易自动表达图像的语义信息，同时标引速度慢，文本标引效果不能很好地满足用户对图像原始特征信息

25、的检索。,3.基于内容的图像检索,基于内容的图像检索根据图像、图像的内容语义以及上下文联系进行查找，以图像语义特征为线索从图像数据库中检索出具有相似特性的其它图像。,基于内容的图像检索技术主要包括以下方法：基于颜色特征的检索 基于纹理特征的检索 基于形状特征的检索,基于内容的图像检索系统的体系结构,4.网络图像检索,WWW图像搜索引擎需要为在web上浏览过的图像建立索引信息，能够进行图像分析和判别，为图像添加注释及存储抽取出的索引信息建立索引库，理想的图像搜索引擎还应能支持基于内容的图像检索。图像搜索引擎主要通过如下两种方法识别图像：自动查找图像文件 人工干预找出图像并进行分类,5.典型的图像检索引擎,目前，具有代表性的图像检索引擎主要包括以下几种：QBIC系统 WebSeek图像检索系统 Scour系统 Amazing Picture Machine系统 Lycos系统 VIR系统 Visual RetrievalWare,本章小结,图像几何特征及其应用 形状特征的典型应用 形状描述子的类型及原理 典型的纹理分析方法 曲线拟合方法 收缩、变细和骨架化的基本原理 网络图像检索技术的概念,