多媒体技术课件第二章.ppt

《多媒体技术课件第二章.ppt》由会员分享，可在线阅读，更多相关《多媒体技术课件第二章.ppt（54页珍藏版）》请在三一办公上搜索。

1、第二章 媒体及媒体处理,第二章 媒体及媒体处理,2.1 概述2.2 视觉类媒体2.3 听觉类媒体2.4 其他类媒体,2.1 概述,目的：从客观角度介绍声音、图象的物理学本性2.1.1 媒体数据与信息2.1.2 计算机中媒体种类与性质2.1.3 多媒体数据的特点,2.1.1 媒体数据与信息,媒体：承载信息的载体，信息的表达形式。信息量的度量,2.1.1 媒体数据与信息,数据：是记录信息的符号，无论那一种媒体，都将以数据的形式存储、使用、传播，所以数据是信息的载体。信息：数据通过处理加工（解释）过程形成信息。信息是用数据表达的。知识：是对客观规律的认识，是高层次的信息。知识是用信息表达的。,媒体、

2、数据、信息、知识之间关系示意图,2.1.2 计算机中媒体种类与性质,媒体的形式（种类）媒体的性质：有格式的数据才能表达信息的含义不同的媒体所表达信息量不同媒体之间的关系也代表信息媒体可进行相互转换,2.1.3 多媒体数据的特点,数据量大数据类型繁多数据类型之间的差别大多媒体数据的输入、输出复杂,2.2 视觉类媒体,2.2.1 视觉媒体概述 2.2.2 位图图像2.2.3 矢量图形2.2.4 动态图像2.2.5 符号媒体,2.2.1 视觉媒体概述,定义：凡是通过视觉传递信息的媒体，都属于视觉媒体 种类：位图图像,矢量图形,动态图像（影视）,符号,其他,彩色空间的表示及转换,在多媒体计算机中，常常

3、涉及到几种不同的色彩空间表示颜色。如计算机显示时采用RGB彩色空间；彩色印刷时采用CMYK彩色空间；彩色全电视信号数字化时采用YUV彩色空间；为了便于色彩处理和识别，视觉系统又经常采用HSI彩色空间。,1.色彩的基本概念,2.色彩空间的表示,3.色彩空间的转换,1.色彩的基本概念,颜色与光的波长有关，不同波长的光呈现不同颜色。颜色具有三个特征：色调、亮度、饱和度。色调：表示颜色的种类，如红、黄、蓝等。色彩取决于光的波长，是决定颜色的基本特征。饱和度：是表示颜色的纯净程度，即色彩含有某中单色光的纯净程度。它是按单色光中混入其它色的比例来表示的。亮度：是指色彩所引起的人眼对明暗程度的感觉同一种色调

4、的亮度会因光源的强弱产生不同的变化，同一色调如加上不同比例的黑或白色混合后亮度也会发生变化。,2.色彩空间的表示,(1).计算机显视器RGB彩色空间,(2).彩色印刷CMYK彩色空间,(3).彩色电视YUV和YIQ彩色空间,(4).HSI彩色空间,(1).计算机显视器RGB彩色空间,RGB 彩色空间又称加色法系统。RGB 彩色空间采用三种基本颜色，即 RGB(红，绿，蓝)。彩色显视器的输入需要RGB三个彩色分量，通过三个分量的不同比例配合，在显示屏幕上合成所需要的任意颜色，三种颜色均无时显示黑色。在RGB彩色空间，任意彩色光F，其配色方程可写成：F=rR+gG+bB其中，r、g、b为三色系数，

5、rR、gG、bB为F色光的三色分量。任意一种色光，其色度可由相对色系数中的任意两个唯一的确定。,RGB相加混色模型,绝大部分可见光谱可用红、绿和蓝(RGB)三色光按不同比例和强度的混合来表示。在颜色重叠的位置，产生青色、品红和黄色。因为 RGB 颜色合成产生白色，它们也叫作加色。将所有颜色加在一起产生白色就是说，所有光被反射回眼睛。加色用于光照、视频和显示器。例如，显示器通过红、绿和蓝荧光粉发射光线产生彩色。,图像的RGB颜色模型,(2).彩色印刷CMYK彩色空间,CMYK彩色空间又称减色法系统。彩色印刷采用靛蓝、品红、黄色和黑色四种油墨印刷各种颜色，通常把这四种颜色简称CMYK。靛蓝、品红、

6、黄色三种颜色混合在一起时应呈黑色。在现实中，把等量的靛蓝、品红、黄色油墨混合在一起产生不是黑色而是深棕色。因此又加入一些黑墨以打印真正的黑色。,CMY相减混色模型,CMYK模型以打印在纸张上油墨的光线吸收特性为基础，白光照射到半透明油墨上时，部分光谱被吸收，部分被反射回眼睛。理论上，青色(C)、洋红(M)和黄色(Y)色素能合成吸收所有颜色并产生黑色。由于这个原因，这些颜色叫作减色。,因为所有打印油墨都会包含一些杂质，这三种油墨实际上产生一种土灰色，必须与黑色(K)油墨混合才能产生真正的黑色。将这些油墨混合产生颜色叫作四色印刷。,图像的CMYK颜色模型,(3).彩色电视YUV和YIQ彩色空间,现

7、代彩色电视系统中，通常采用三管彩色摄像机或彩色电荷耦合器件摄像机，把摄得的彩色图像信号，经分色棱镜分成R0G0B0三个分量的信号，分别经放大和校正得到RGB信号，再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y，最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道发送出去。这就是常用的YUV彩色空间。多媒体计算机中采用了YUV彩色空间，数字化后通常为YUV=844或者是YUV=822。,美国、日本等国采用的NTSC制，选用了YIQ彩色空间，Y仍为亮度信号，I、Q仍为色差信号，但它们与U、V是不同的，其区别是色度矢量图中的位置不同。I、Q与V、U之间的关系可以表示成：I=Vcos3

8、3oUsin33oQ=Vsin33o+Ucos33o,选择YIQ彩色空间的好处是，人眼的彩色视觉特性表明，人眼分辨红、黄之间颜色变化的能力最强，而分辨蓝与紫之间颜色变化的能力最弱。在色度矢量图中，人眼对于处在红、黄之间，相角为123o的橙色及其相反方向相角为303o的青色，具有最大的彩色分辨力。,(4).HSI彩色空间,在HSI彩色空间中，人们常用H、S、I参数描述颜色特性，其中H表示色调，S表示颜色的饱和度，I表示光的强度。HSI彩色空间能够减少彩色图像处理的复杂性，而且更接近人对色彩的认识和解释。,基于人类对颜色的感觉，HSL 模型描述颜色的三个基本特征：色相是从物体反射或透过物体传播的颜

9、色。在 0 到 360 度的标准色轮上，色相是按位置度量的。在通常的使用中，色,相是由颜色名称标识的，比如红、橙或绿色。饱和度，是指颜色的强度或纯度。饱和度表示色相中灰成分所占的比例，用从 0%（灰色）到 100%（完全饱和）的百分比来度量。在标准色轮上，从中心向边缘饱和度是递增的。亮度是颜色的相对明暗程度，通常用从 0%（黑）到 100%（白）的百分比来度量。,图像的HSL颜色模型,3.色彩空间的转换,(1).RGB与YUV和YIQ之间的转换彩色摄像机最初得到的是经过y校正的RGB信号，为了和黑白电视机兼容及压缩编码，在传送过程中包含亮度信号和色差信号，亮度方程简化如下：Y=0.3R+0.5

10、9G+0.11B三个色差信号B-Y，R-Y，G-Y中有两个是独立的，另一个可用亮度方程和两个色差信号通过运算得到。,YIQ彩色空间和RGB彩色空间的转换方法是：将V=0.877(R-Y)，U=0.493(B-Y)，代入下式：I=Vcos33oUsin33o Q=Vsin33o+Ucos33o,(2).HSI与RGB之间的转换,为了使用人的视角特性以降低数据量，通常把RGB空间表示的彩色图像变换到其他彩色空间。彩色空间变换有三种：YIQ,YUV和YCrCb,YIQ适用于NTSC彩色电视制式YUV适用于PAL和SECAM彩色电视制式而YCrCb适用于计算机用的显示器,彩色空间的线性变换标准,YUV

11、与YIQ模型,在彩色电视制式中，使用YUV和YIQ模型来表示彩色图像。在PAL彩色电视制式中使用YUV模型，Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量；在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I、Q是两个彩色分量。,YUV/YIQ特点,亮度信号(Y)和色度信号(U、V)是相互独立的 可以利用人眼的特性来降低数字彩色图像所需要的存储容量。,彩色空间的线性变换标准,YUV与RGB彩色空间变换,Y=0.299R+0.587G+0.114BU=-0.147R-0.289G+0.436BV=0.615R-0.515G-0.100B,写成矩阵的形式：,彩色空间RGB-YUV

12、,YIQ与RGB彩色空间变换,Y=0.299R+0.587G+0.114BI=0.596R-0.275G-0.321BQ=0.212R-0.523G+0.311B,写成矩阵的形式：,彩色空间RGB-YIQ,YCrCb与RGB彩色空间变换,数字域中的彩色空间变换与模拟域的彩色空间变换不同。它们的分量使用Y、Cr和Cb来表示，与RGB空间的转换关系如下：,Y0.299R0.578G0.114BCr(0.500R0.4187G0.0813B)128Cb=(-0.1687R0.3313G0.500B)128,写成矩阵的形式：,彩色空间RGB-YCrCb,标准单色图 标准灰度图,图像的种类,256色标准

13、图像 24位标准图像,图像的种类,256色标准图像转换成的灰度图 24位标准图像转换成的灰度图,图像的种类,模拟视频标准,目前国际上流行的视频制式标准分别为NTSC制式、PAL制式和SECAM制式。美国、日本、中国台湾等地区使用NTSC制式。中国及欧洲大多数地区使用PAL制式，PAL制式规定：每秒25帧，每帧水平扫描线为625条水平分辨率为240-400个像素点，采用隔行扫描方式，场频(垂直扫描频率)为50Hz，行频(水平扫描频率)为15625Hz。法国、俄罗斯、非洲地区采用SECAM制式。,2.2.2 位图图像,图像概述 图（picture）：通过摄影或描绘得到外在景物的相似物。像（imag

14、e）：直接或间接（如拍照）人或物的视觉印象 图像：凡是能为人类视觉系统所感知的信息形式或人们心目中的有形想象。位图图像（bitmap）：在空间和亮度上已经离散化了的图像。,2.2.2 位图图像,几个重要的技术参数 分辨率：屏幕分辨率、图像分辨率、像素分辨率 图像颜色数：真彩色概念 位图图像的数据量：设图像的垂直方向分辨率为h像素，水平方向分辨率为w像素，颜色深度为c位，则该图像所需数据空间大小B为：B=(h*w*c)/8(字节),2.2.2 位图图像,图像的采集、存储与输出 采集：扫描仪、摄象机等 存储：包括说明部分和数据两部分说明部分：图像格式，深度、高度、宽度、调色板、压缩方法。数据部分：

15、描述每一个像素颜色的数据。文件格式：tiff,bmp、dib、tif输出：显示器、打印机、录像带,2.2.2 位图图像,图像的处理：原始采样图像要经过处理才能使用。图像处理主要过程如下：图像数据的压缩：图像的优化：图像的编辑：图像格式转化常用优秀图像处理软件：PhotoShop,AcdSee等,2.2.3 矢量图形,矢量图形（图形）概述 Graphics是一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。它不直接描述数据的每一点，而是描述产生这些点的过程及方法。图形以一组指令的形式存在。指令可描述：线、圆、弧、矩形的大小和形状及曲面、光照、材质等。图形的显示过程：解释指令，以计算时间

16、换存储空间,2.2.3 矢量图形,图形的特性 图形是对图像抽像的结果：可由人工（数字化仪）或计算机来做：图像分析：计算机自动将图像转化位图形的过程提取对象：单线条、轮廓、图元，字符、颜色块等成功的例子：OCR、电路图、工程图自然图像的分析与理解工作正在研究中可对图中的各个部分进行控制：对图形可以进行任意的变换：放大、缩小、变形、扭曲、移位叠加等；不破坏图形特性。图形的产生需要计算时间,2.2.3 矢量图形,图形的分类与表示：二维图形：平面图形，如工程建筑图、电子线路图等图元：组成图形的基本单位，是图形中具有一定意义的较为独立的信息单位。图段：有一定联系的图元集合 三维图形：三维空间，如三维地图

17、、计算机辅助设计、仿真系统。,2.2.3 矢量图形,图形的输入/输出与存储输入：数字化仪、鼠标，扫描仪输出：绘图机（矢量方式），打印机（点阵方式）、显示器芯片：专用图形处理器件：加快计算速度图形的存储格式：DXF，SLD,PIF，DRW,2.2.3 矢量图形,图形与图像的关系:图形（矢量、图元-指令、抽象），图像（位图、像素、具体）作变化时：图形不失真，图像有失真 图形能以图元为单位单独进行属性修改、编辑图形是图像的抽象 图形与图象各有优势、用途不同,2.2.4 动态图像（影视）,动态图像概述：人眼的视觉惰性（1/201/10S）动画：三维真实感动画：视频：动态图像特点 具有时间连续性：适合于

18、表达“过程”，易于交代事件的“始末”，具有更加丰富的信息内容，具有更强、更生动、更自然的表现力。,2.2.4 动态图像（影视）,动画（Animation）：运动的图画，可分为：造型动画（cast-based animation）：帧动画（frame animation）：二维动画：三维动画：影像视频（简称视频-VIDEO）：主要用于电视、图像处理有关的技术中。画面图像是自然景物的图像。处理受电视技术的影响。,2.2.4 动态图像（影视）,电视的三大制式：NTSC（National Television System Committee（525/60）：1953，美国 PAL(Phase Alt

19、ernation Line)（625/50）：1962，西德 SECAM（625/50）：法国,2.2.4 动态图像（影视）,视频的几个重要技术参数 帧速：数据量：图像质量：视频的特技处理：硬切、淡入淡出、化入化出、拷贝、马赛克、万花筒,2.2.5 符号媒体,概述：一种极为重要的信息媒体，包括各种各样描述量、语言、数据、标识等形式，最重要的为数值、符号等有结构的符号组。媒体的特点：需要知识的辅助才可以使用 文本媒体:用的最多的一种符号媒体,2.2.5 符号媒体,结构化数据：数据库记录、元组等关键：识别特定的数据结构：定位、域分配、类型 许多其他媒体的信息在转换为视觉媒体后，一般都可以转变为符号

20、形式 符号媒体的输入输出输入：键盘、Scanner-OCR，语音输入 输出：CRT、图像打印、图形绘出、声音,2.3 听觉类媒体,声音 什么是声音？客体：物体的振动，产生空气波动主体：人类通过听觉器官所感受到空气波动而产生的心理现象。听觉范围：20-20000 Hz，人声：80-3500 Hz,听觉：响度-振幅高度-频率听觉心理：物体的振动波引起的感受,次声波,声音,超声波,人声,20 80 3500 20000,声音的分类：自然声音：自然界产生的声音，风声、雨声、钟声人工声音：人类发出的声音语音：表达语言信息的声音 非语音：不能表达语言的声音，惊讶、愤怒语音是最复杂，信息最丰富的声音媒体。,

21、等响曲线：频率声强（同一响度）音调曲线：频率 声调,频率,声强,声调,2.3.1.语音的产生及特征,a,b,c,d,e,二、声音三要素。音调-频率的高低 高音低音，与声带、共振腔有关。音强-振幅的大小 嗓门大小，由肺部决定。音色-包含频率的多少 泛音，由大大小小的共振腔产生,一、语音的产生：a.肺部：空气和振动的能源 b.喉咙：声带-振动源、决定频率的大小 声门-声音的节奏c.声道：共振腔 喉管-管状共振腔 口腔-可变共振腔d.鼻腔：共振腔，固定形状e.发音器官：牙齿、嘴巴、舌头 人们说话时，不断地改变发音器官的形状，大小，从而产生不同的声音。,2.3.2.语音的特性,目的：如何对语音进行分析

22、，找出其规律，从而用计算机建模 语音-表示语言的声音,语言-由语句、单词组成,1。语音的结构（分段）特性：音素：组成语言发音的最小单位，例如 音标、音母音节：音素的连合发音-拼音、-使语音自然、简洁例如：P+a=Pa,（一般：辅音+元音）词素：由音节组成的最小有含义的语言形式例如：inter+nation+al,2。语音的非分段特性：音调：单词的发音高低 例如：疑问、感叹语调：语句的发音高低，表示 赞同、反对、讽刺重音：拖音：。目的：使语言表达更加丰富，增加情感信息。但是难以形式化规范化，建模比较困难。,2.3.3.物理特性 问题：物理语音声波波动特性：频率，振幅。与 信息（语义）之间的关系？,一、时域分析方法：振幅-时间的关系。1。元音部分：振幅大，周期性明显、辅音部分：周期性不明显，波形紊乱2。辅音：浊音：频率低，振幅大 清音：频率高，振幅小3。对应语句，可以找出相应的音素音节，但是反之不行，特点：直观性强，容易数字化,t,A,三、语谱分析 频谱-时间 的关系 采用富里叶频谱F（f）t,I am a student特点：发音的频谱随时间的变化而变化,F0,F1,F2,F3,Ft,t,2.4 其他类媒体,概述：凡是能承载并且能传递信息的都是信息媒体，但人的感觉空间有限，所以要进行媒体转换。2.4.1 触觉类媒体2.4.2 活动媒体2.4.3 抽象事实媒体2.4.4 混合类媒体,