《图像信号处理》PPT课件.ppt

《《图像信号处理》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《图像信号处理》PPT课件.ppt（78页珍藏版）》请在三一办公上搜索。

1、3.1.1 颜色的基本概念,一幅图像f(x,y)其分辨率为 512512 256256,PAL制 25帧/秒NTSC制 30帧/秒,图像是二维数据视频是三维数据,多媒体计算机处理图像和视频，首先必须把连续的图像函数f(x,y)进行空间和幅值的离散化处理。采 样：空间连续坐标(x,y)的离散化，叫做采样；量 化：f(x,y)颜色的离散化，称之为量化。数字化：两种离散化结合在一起，叫做数字化，离散化的结果称为数字图像。,采样和量化,Y,X,f(x,y),X Y的离散化称为采样f(x,y)值的离散化称为量化,亮度、色调、饱和度Y 亮度：光的强和弱。H 色调：光的波长、人眼的感觉(反映)颜 色(的基本

2、特征)。S 饱和度：颜色渗入白光的程度(表示)颜色 深浅的程度。红+白光 粉红色 饱和度下降红+另一种颜色的光 色调发生变化,三基色(RGB)的原理：自然界常见的各种颜色光，都是由红(R)、绿(G)、蓝(B)三种颜色光按不同比例相配而成，同样绝大多数颜色也可以分解成红、绿、蓝三种色光，这就是色度学中最基本的原理三基色原理。,红色+绿色=黄色红色+蓝色=品红绿色+蓝色=青色红色+绿色+蓝色=白色,RGB和黑白电视信号不兼容，希望空中发射的信号转换成YUV信号。当白光的亮度用Y来表示时，它和红、绿、蓝三色的关系可用如下方程描述：Y=0.299R+0.587G+0.114B,3.1.2 彩色空间,R

3、GB彩色空间 显示器需要的彩色空间2.YUV 和 YIQ 彩色空间 PAL 制式使用YUV 彩色空间 NTSC制式使用YIQ彩色空间3.HSI彩色空间4.其它彩色空间表示,Y是亮度，UV和IQ是色差,1.RGB 空间任意颜色的光F，其配色方程可写成：F=rR+gG+bB 其中r、g、b 为三个系数 rR、gG、bB为F色光的三色分量,2.YUV 和 YIQ 彩色空间 在 现 代 彩 色 电 视 系 统 中，常 采 用 三 管 彩 色 摄 像 机 或 彩 色 C C D 摄 像 机，它 把 摄 得 的 彩 色 图 像 信 号，经 分 色 棱 镜 分 成 R、G、B 三 个 分 量 的 信 号，分

4、 别 经 放 大 和 校 正得到RGB，再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y，最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道发送出去。这就是我们常用的YUV彩色空间。,美国、日本等国采用的NTSC制，选用了YIQ彩色空间，Y仍为亮度信号，I、Q仍为色差信号，但它们与U、V是不同的，其区别是色度矢量图中的位置不同，如图3.3所示，Q、I为互相正交的坐标轴，它与U、V正交轴之间有33夹角。3333QFVI图3.3 IQ轴与UV轴的关系U由图3.3可知I、Q与V、U之间的关系可以表示成：,用YUV和YIQ的好处：,(1).亮度信号Y解决了彩色电视机与黑白电 视的兼容问

5、题。(2).大量实验表明，人眼对色差信号不敏 感，而对亮度信号特别敏感。Y 带宽4.43MHz（PAL）（因为敏感）U、V 带宽1.3MHz(因为不敏感),(4).量化比例 由于人眼对亮度信号敏感，选择量化的比例为：Y:U:V=8:4:4 Y:U:V=8:2:2 Y:U:V=8:8:8,3.HSI彩色空间,在HSI彩色空间中，人们常用H、S、I3个参数描述颜色特性，其中H表示色调（Hue），S表示颜色的饱和度（Saturation），I表示光的强度（Intensity）。用一个三维空间的枣形立体图（见图3.4），可以把颜色的这三个参量的特性更加形象的表示出来。,图3.4 颜色立体图,4.其它彩

6、色空间表示,彩色空间表示还有很多种，如CIE（国际照明委员会）制定的CIE XYZ，CIE LAB彩色空间，CCIR（Consultative Committee International Radio）制定的CCIR601-2YCbCr彩色空间。按照CCIR601-2建议，欧洲电视专家组将非线性的RGB信号编码成YCbCr，编码过程开始是先采用符合SMPTE-CRGB（它定义了三种荧光粉及一种参考白光，应用于演播室监视器及电视接收机标准的RGB）基色作为校正信号。非线性RGB信号很容易与一个常量矩阵相乘而得到亮度Y和两个色差信号Cb和Cr。靠近中心轴的彩色，其亮度信号与CIEXYZ的Y成分的

7、r校正形式非常接近，CCIR601-2YCbCr通常在图像压缩时选作彩色空间，而在通信中是一种非正式标准。,3.1.3 彩色空间的转换其实现技术,RGB与YUV和YIQ之间的转换 HSI空间与RGB之间的转换,1.RGB与YUV和YIQ之间的转换 Y 0.3 0.59 0.11 R U=-0.15-0.29 0.44 G V 0.61-0.52-0.096 B Y 0.3 0.59 0.11 R I=0.6-0.28-0.32 G Q 0.21-0.52 0.31 B,3.HSI空间 H：Hue 代表色调（纯度、颜色）S：Saturation 代表饱和度 I：Intensity 代表亮度,HS

8、I彩色空间与RGB彩色空间之间的转换,例:黄色=蓝色,多媒体计算机系统涉及到多种彩色空间，在CD-I系统中，支持的图像格式、视频方式有DYUV、RGB5:5:5、CLUT8、CLUT7、CLUT4、RL7以及RL3。其中DYUV方式与CCIR601-2YCbCr有密切联系；RGB5:5:5方式采用RGB彩色空间，RGB每个分量占用5位；CLUT8、CLUT7、CLUT4、RL7以及RL3采用的也是RGB彩色空间，它用彩色查找表（Color Look-up Table-CLUT，也叫调色板）进行映射和解码。在DVI系统中采用YUV彩色空间，它所支持的图像格式又涉及到YIQ、RGB彩色空间，其中R

9、GB支持8位、16位和24位。综上所述，搞清楚彩色空间表示以及它们之间的转换，是多媒体计算机彩色图形、静态图像以及动态图像（Video）处理算法的基础。,3.1.4 彩色全电视信号,黑白全电视信号3.彩色全电视信号,电视摄像机是一种广泛使用的视频和图像的输入设备，它能将景物、图片等光学信号转变为全电视信号，目前主要有黑白和彩色两种摄像机。,3.1.4 黑白和彩色全电视信号,黑白全电视信号3.彩色全电视信号,1.黑白全电视信号,全电视信号主要由三个部分组成：,图像信号,复合消隐信号,复合同步信号,从时间上看全电视信号：,每行时间为 64 s,行消隐 11.8s,图像 53.2s,行同步信号 4.

10、7 s,行延迟 1.3 s,一帧=奇数场+偶数场 625行=313.5+313.5 场消隐=25 64+11.8=1600+11.8=1611.8 s 场同步=3 64=192 s,全电视信号,3.1.4 黑白和彩色全电视信号,黑白全电视信号3.彩色全电视信号,3.彩色全电视信号,在现代彩色电视系统中，通常采用YUV彩色空间或YIQ彩色空间，Y为亮度信号，它可以与黑白全电视信号兼容，U和V用载波频率SC调制加到亮度Y上，最后形成彩色全电视信号，如下式所示：CVBS=Y+UsinSCt+S(t)VcosSCt,_,在NTSC制系统中，U信号调制在副载波的零相位上，而V信号是固定地调制在90。的相

11、位上的。在PAL制系统中，调制情况略有差别。U信号的调制与NTSC制相同，而V信号的调制是：第一行调制在90。的相位上（与NTSC制相同，称为NTSC行）；下一行（同隔行扫描是下面的第三行）调制在270。的相位上（称为PAL行）；再下一行又回到90。的相位上。按此顺序，V信号调制相位逐行倒相180。在PAL制系统中，调制情况略有差别。,。,图3.8示出了PAL制的平衡正交调制的倒相原理。,根据图3.8的矢量图，可写出PAL制色度信号Ch的表达式Ch=UsinSCt+S(t)VcosSCt（3.16）式中，S(t)称为PAL开关函数，它是双极性矩形脉冲，其重复周期为行周期Th的两倍，幅度为+1和

12、-1。PAL开关函数S(t)代表PAL制系统的根本特征，它的引入相当有效地克服了NTSC制系统中对信道微分相位敏感的缺点，这是PAL制取得成功的原因。,最后将亮度、复合同步信号混合放大，形成PAL制彩色全电视信号。以100%幅度和100%饱和度(简写为100/100)的彩条信号为例的彩色全电视信号如图所示。,在75欧负载上，100/100彩条的彩色全电视信号各部分的电平标准（输入信号R、G、B、幅度为0.7V时),2023/7/12,36,3.2.1 视频信号获取器的工作原理,1.A/D变换和数字解码3.窗口控制器 3.帧存储器系统4.数模转换和矩阵变换5.视频信号和VGA信号的叠加6.数字式

13、多制式视频信号编码部分,2023/7/12,37,图3.10 多媒体计算机视频信号获取器总体框图,2023/7/12,38,1.A/D变换和数字解码,图3.11 视频模拟输入接口TDA 8708原理方框图,2023/7/12,39,3.窗口控制器,图3.12 PC Video窗口控制器,2023/7/12,40,3.帧存储器系统 帧存储器的主要作用有三个：(1).从摄像机来的视频信号，经过A/D变换，数 字解码，在视频窗口控制器的控制下，将他 们实时的村到帧存储器，大约74ns存一个像 素数据。(2).彩色监视器每隔74ns要从帧存储器去一个像 素数据，经D/A转换，变成模拟的RGB信号，供彩

14、色监视器显示帧存储器中真彩色全屏幕 运动图像使用。(3).计算机可以通过视频窗口控制器，对阵存储 器的内容进行读写操作。,2023/7/12,41,4.数模转换和矩阵变换 这部分由两个器件组成，即D/A转换器SAA9065和视频信号处理器TDA4680。5.视频信号和VGA信号的叠加 由于两路信号均为模拟信号，因此使用了模拟开关电路实现两信号的叠加。色键：Color Key,2023/7/12,42,6.数字式多制式视频信号编码部分 这部分只选用了数字或多制式视频信号编码器SAA7199。它是以数字方式进行视频信号编码的编码器，支持PAL和NTSC 两种制式。,在设计制造视频信号获取器的过程中

15、，为了调试硬件的正确性，并给用户提供方便的编程环境，还需要设计：诊断软件、在DOS和Windows环境下的演示软件，应用软件以及库函数。,3.2.3 视频信号获取器的 诊断和驱动软件,图3.19视频信号获取器诊断调试软件框图,3.20,3.3.1 视频数字信号快速处理器的作用 3.3.2 基于DSP的视频信号快速处理器 3.3.3 流水线结构的图像处理机,3.3 视频信号的实时处理,3.3.1 视频数字信号快速处理器的作用,数学运算：（1）点处理（2）二维卷积运算（5）统计量计算（4）坐标变换（3）二维正交变换,举一个简单的例子，一个装配机器人的视觉系统，要在传送带上识别出所要的机械零件，确定

16、该零件的位置，然后命令机械手把它抓起来，根据已有的装配工艺知识进行装配。相对来说，这是一个比较简单的计算机视觉问题，其计算理论及算法已经解决。具体的作法是计算机把摄像机摄到的图像数字化成一幅512 512 8bit的数字图像，然后把图像上的零件分割出来，抽取特征，进行识别匹配，确定几何位置，最后，命令机械手完成抓取和装配的任务。处理一幅512 512 8bit的图像，把零件和背景、零件和零件分割出来的典型运算是进行 3 3的卷积（Sobel算子）。如果卷积是实时的（25帧/s），则运算速度要求为：512 512 9 2 25/s 118MOPS,全部地完成上述任务，计算机所要进行的操作约为上述

17、的10100倍，即要求计算机实时处理的速度为118011800MOPS。上述问题的算法已经解决，但是这样的运算速度在通用计算机上却难以实现。所以，在通用计算机上处理视觉信号，主要有下述两个局限性：一是运算速度慢；一是内存容量小。,为了解决上述问题，可以采用如下几种方案：（1）利用大型高速计算机组成通用视频信号处理系统（2）小型高速阵列机（3）采用专用的视觉处理器,基于DSP的视频信号快速处理器,现在人们已经认识到，要降低成本提高系统性能，满足实时视觉信息处理的要求，最好的办法是采用VLSI技术，设计专用的适用于视频信号处理算法的DSP（Digital Signal Processor）芯片。换

18、句话说，对某一个具体问题，减少计算机不必要的通用性，增加专用的DSP芯片及并行、流水线结构，将会形成新一代的视频信号处理系统。,1DSP结构3.专用的DSP3基于DSP方法的视频信号 快速处理器的设计,基于DSP的视频信号快速处理器,1DSP结构,DSP是一种集成度很高的数字信号处理器，主要用于语音、图像等信号的处理。随着VLSI技术的发展，从1987年以来，DSP的产品越来越多，应用也越来越广泛。,3.专用的DSP,有些DSP芯片的结构和性能，非常适用于视觉信息低层次的处理，称为图像处理专用的DSP芯片。,表3.2DSP芯片比较,3基于DSP方法的视频信号快速处理器的设计,图3.21基于DS

19、P的视频信号获取和快速处理器总体框图,A110按其功能可分为两大部分：卷积器后处理部件,22,举例：机器人视觉中的双目效应,图3.23,美国Aspex公司生产的流水线结构图象处理机PIPE(Pipelined Image Processing Engine)与传统的流水线结构的计算机相比,关键的不同是系统连接的灵活性和动态的重构能力。,3.3.3 流水线结构的图像处理机,1).“向前”通道(Forward Path)和“向 后”通道(Backward Path)及“递归”通道(Recursive Path)有了连接灵 活性和动态的重构能力。2).六条视频总线,PIPE机特别适合完成下述几种视觉

20、处理运算：1.点处理3.空间邻域处理3.图像序列处理4.布尔处理5.ROI（Region of Interest）运算,24,组成：(1).视频接口(Video Interface Stage)(2).输入级(Input Stage)和输出级(Output Stage)(3).模块处理级MPS(Modular Processing Stage),MPS组成：有三个查找表（FLUT，RLUT，BLUT）两个ALU（ALUA和ALUB）组成一个3输入端的多功能的ALU两个帧存储器用做专用存储器一个输出的ALU 二维函数查找表TVF（Two Valued Fuction）,(4).ISMAP 将视觉

21、低层处理的结果从图像数据变换为符号数据，实现实时获取直方图、累加直方图、特征链以及各特征的指针链。(5).控制级 由时序发生器、命令序列器以及计算机接口组成。,3.4 图像文件格式及其转换,3.4.1 静态图像文件格式3.4.2 动态图像压缩编码文件格式,3.4.1 静态图像文件格式,目前世界上静态图像文件格式比较多，除了我们将介绍分析的比较流行的六种之外，还有Utah RLE，PICT Version 2（Macintosh），IFF（Interchange file format），Sun Rasterfile，Cell array（GKS），Pixel array（CGI），CCITT

22、Fax（T4）及RLE（Run-Length Encoding）等。下面将介绍比较流行的六种,1.图形变换格式3.标记图像文件格式3.目标图像格式4.位图5.PCX6.MMP,1.图形变换格式,图形变换格式（Craphics Interchange Format,GIF）文件格式是由CompuServe公司在1987年6月为了制定彩色图像传输协议而开发的，它支持64000像素的图像，256到16M颜色的调色板，单个文件中的多重图像，按行扫描的迅速解码，有效地压缩以及硬件无关性。,3.标记图像文件格式,标记图像文件格式（Tag Image File Format,TIFF）鉴于GIF文件格式，为

23、了放弃一些过时的格式引进了标志域的方法，TIFF文件格式全部都是基于标志域的概念。Alaus和Microsoft公司为扫描仪和桌上出版系统研制开发了TIFF较为通用的图像文件格式，TIFF一出现就得到广泛的应用，这大大超过了设计者的想象，TIFF文件格式如图3.26所示。,3.目标图像格式,4.位图,位图（Bitmap，BMP）是一种与设备无关的图像文件格式，它是Windows软件推荐使用的一种格式，随着Windows的普及，BMP的应用会越来越广泛。BMP是一种位映射的存储形式，其结构如 图3.28所示,5.PCX,PCX图像文件格式是Zsoft公司研制开发的，主要与商业性PC-Paint

24、brush图像软件一起使用。PCX文件可以分成三类：各种单色PCX文件；不超过16种颜色的PCX文件；具有256颜色的PCX图像文件。PCX图像文件格式与特定图形显示硬件密切相关，其格式一般为256色和16色，不支持真彩色的图像存储，存储方式通常采用RLE压缩编码，读写PCX时需要一段RLE（行程编码）和解码程序。,6.MMP,MMP图像文件格式是AniVideo公司以及清华大学计算机系，在他们设计制造的AniVideo和THVideo、视频信号采集板中采用的图像文件格式。为了使视频数据能和电视视频信号兼容，它的图像数据采用YUV的形式，这和计算机图形数据（RGB）有较大的不同，因此，它的通用性不如前面几种格式。,3.4.2 动态图像压缩编码文件格式,MPG数据流结构分为六个层次：序列层（Sequence layer）、图像组层（Group of Picture）、图像层（Picture）、片层（Slice），宏块层（Macroblock）以及块层（Block layer）。,