《多媒体概念》PPT课件.ppt

《《多媒体概念》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《多媒体概念》PPT课件.ppt（55页珍藏版）》请在三一办公上搜索。

1、多媒体技术与应用,张金玲,教学目的：参考教材：多媒体技术及应用，杨小平，尤晓东主编；肖林，谢红等编著；清华大学出版社，2009,考核内容：平时成绩：考勤、课堂实验、课后综合实验期末考试：选择、判断、填空、操作文件管理功能,答疑：周一中午上机时间，1007机房教学系统短信注意：确认选课补充个人信息,第一章 多媒体概念,多媒体概述多媒体元素多媒体信息的数据压缩多媒体系统多媒体技术,1.1 多媒体概述,媒体与多媒体 媒体分类 多媒体的关键特性,1.1.1 媒体与多媒体,媒体：是指传播信息的介质。准确地说，媒体又称媒质或媒介，是信息表示、信息传递和信息存储的载体。,计算机领域中的媒体存储信息的实体（媒

2、质）：磁带、光盘、磁盘、半导体存储器等传递信息的载体（媒介）：文字、声音、图形和图像等,多媒体技术中所说的媒体,多媒体英文：Multimedia=multiple+media是指将多个不同但相互关联的媒体综合集成在一起而产生的一种传播、存储和表现信息的全新载体。包括多媒体信息和多媒体技术两方面。,1.1.2 媒体分类,按承载信息的方式来划分 感觉媒体：能直接作用于人的感官，使人产生感觉的媒体。如声音、图像、气味、味道等表示媒体：为了利用计算机对感觉媒体进行加工、处理和传输而人为构造出来的一种媒体，即用于数据交换的编码，是感觉媒体数字化后的表现形式。如条形码、文本编码、图像编码、声音编码等显示媒

3、体：感觉媒体与电信号之间转换用的媒体，分为输入显示媒体（键盘、鼠标、话筒、摄像机、扫描仪等）和输出显示媒体（显示器、音箱、打印机、投影仪）,存储媒体：又称存储介质，用来存放表示媒体的媒体，如磁盘、磁带、光盘、内存等传输媒体：将表示媒体由一处传送到另一处的物理载体，如双绞线、光纤和无线传输介质等,核心：感觉媒体和表示媒体,按计算机处理数据的形式来划分文本、声音、图形、图像、动画和视频从人机交互的角度来划分视觉、听觉、触觉、嗅觉和味觉,1.1.3 多媒体的关键特性,信息载体的多样化 计算机所能处理的信息媒体的多样性（视觉、听觉的输入输出）信息载体的集成性 多媒体信息的集成（信息的多通道统一获取、统

4、一存储与组织、合成表现等）多媒体设备的集成（硬件、软件）信息载体的交互性用户不仅仅单一地接受多媒体信息，还可以通过各种设备和软件控制多媒体信息的播放。,1.2 媒体元素,文本图形图像声音动画视频,1.2.1 文本,文本文件非格式化文本文件，如“.txt”文件；格式化文本文件，如“.doc”文件。微机中英文：ASCII编码中文：GB-2312编码计算机获取文字的方法 键盘、手写、语音、OCR,1.2.2 图形,图形一般指由计算机绘制的画面如直线、矩形、圆、圆弧、任意曲线和图表等，机械结构图、建筑结构图都是典型的组合图形。图形文件只记录生成图的算法和图上的某些特征点，因此又称为矢量图。优点：便于部

5、分控制、不失真、数据量小缺点：真实感差2D，3D.dwg,.dxf,数据：圆心+半径,1.2.3 图像,图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面，它用数字来描述像素点的强度和颜色。静止的图像就象一个矩阵，由一些排成行列的点组成，这些点称之为像素点，这类图像又称为位图（bitmap）。位用来记录每个像素点的颜色和亮度。计算机中常用的图像文件BMP：位图文件（bitmap）GIF：颜色少，无损压缩，支持透明JPG：有损压缩，5:150:1Tif,pcx,psd,1.2.4 声音,声音是一种物体震动产生的波按照其频率的不同，可分为次声波（频率低于20Hz）、超声波（频率高于

6、20kHz）和可听声波（频率在20Hz与20kHz之间），可听声波也称为音频波。常用的声音文件WAV(波形文件)：任意声音数字化后形成的文件MID(数字音频文件)：记录音乐行为MP3：根据MPEG-1 Layer3压缩得到的文件，压缩比10：1 12：1,1.2.5 动画,动画是动态图画。实质是一幅幅静态图像的连续播放，一幅静态图像称为一帧。每一帧通常是人工制造出来的图形。计算机设计动画方法有两种造型动画：对场景中的每一个对象分别进行设计和控制帧动画：由位图组成的连续画面常用的动画文件GIF：图像和动画文件格式（存放多幅连续图像）FLI/FLCSWF：Flash矢量动画格式,1.2.6 视频,

7、将若干幅有联系的图像画面（帧）连续播放便形成了视频视频的每一帧，实际上就是一幅静态图像，多幅图像连续播放（电影的播放速度是24帧秒），对于人眼就会产生图像“动”的效果。计算机中主要的视频文件AVI、MPG、ASF,1.3 多媒体信息的数据压缩,多媒体数据压缩概述 数据压缩技术基础 数据压缩方法 多媒体数据压缩标准,1.3.1 多媒体数据压缩概述,数字化后的声音、图像和视频的数据量巨大，多媒体信息的数据压缩技术是多媒体技术迅速发展的关键技术之一。多媒体信息的数据量冗余的基本概念数据冗余的种类,未压缩多媒体信息的数据量,声音数据量=（采样频率量化位数声道数声音持续时间）8每小时电话话音(8k813

8、600)/8=28125(KB)27.47(MB)每小时CD音乐(44.1k1623600)/8 620156(KB)605(MB)每小时5.1声道 CD音质音乐（44.1k165.13600）/8 1581398(KB)1544(MB)1.5(GB),未压缩多媒体信息的数据量,静态图像数据量=（垂直方向分辨率水平方向分辨率颜色深度）8分辨率为640480的真彩色位图图像：(64048024)8=900(KB)相机(如Nikon D200)拍摄的照片图像分辨率为38822592，颜色深度为24位：(3882259224)8 29479(KB)28.8(MB),未压缩多媒体信息的数据量,动态视频

9、数据量=（分辨率颜色深度）帧频 播放时间 8彩电PAL制式帧频为25，每帧画面为625行，宽高比为4:3，每秒数据量：(6254/3)62524)25 8 38147(KB)37.25(MB)每小时的数据量约为131GB，在650MB的光盘中只能存放不到18秒的视频。高清晰度电视（HDTV）分辨率为19201080，帧频为30，每秒数据量为：(1920108024)30 8=182250(KB)177.98(MB)需要的传输带宽为1423.8 Mbps；每小时的数据量约为626GB。,冗余的基本概念,冗余：多余多媒体信息的数据量=信息量(有效数据)冗余数据量 多媒体信息的数据冗余主要体现在两个

10、方面时间或空间上相同或相似信息的重复 无法传递或播出的信号，这部分信号的数据可以被压缩剔除,数据冗余的种类,空间冗余 时间冗余 结构冗余 知识冗余 视觉冗余 听觉冗余 编码冗余,1.3.2 数据压缩技术基础,熵的概念量化数据压缩技术的性能指标,熵的概念,信息熵用来表示一条信息中真正需要编码的平均信息量，即该信息数据压缩的理论极限。信息量：从概率相同的N个事件中选出一个事件所需要的信息量度信源S的熵定义为：H(s)=pi log2(1/pi)pi是符号Si在S中出现的概率；log2(1/pi)表示包含在Si中的信息量，也就是编码Si所需要的位数。例如一幅灰度图像采用256级灰度，如果一个像素点取

11、值每一个灰度级的概率均为pi=1256，则每一个灰度级的编码需要8个二进制位，即每一个像素点就需要8位编码表示。,熵计算实例,有一幅100个像素组成的灰度图像，灰度共有5级，分别用符号A、B、C、D和E表示，100个像素中各级灰度的像素数如下：,如果用3个二进制位表示5个等级的灰度值，也就是每个像素用3位表示，编码这幅图像总共需要300位；按照香农理论，这幅图像的熵为：H(s)=(50/100)log2(100/50)+(25/100)log2(100/25)+(10/100)log2(100/10)+(10/100)log2(100/10)+(5/100)log2(100/5)1.88(bi

12、t)这就是说每个符号用1.88位表示，100个像素需用188位。,量化（数字化）,模拟信号到数字信号的转化（A/D转换）包含采样和量化两个步骤采样：用有限个离散量来代替无限的连续模拟量声音：时间轴上的离散化图像：空间区域的离散化量化：将连续取值用一定的量化级来代表，即用一定位数表示的离散整数表示离散采样点的具体取值声音：幅度值的量化表示图像：灰度和颜色值的量化表示,音频采样频率,图像分辨率,音频量化位数/量化级,颜色深度/像素深度,图像分辨率对图像质量的影响,颜色深度对图像质量的影响,量化,采样率（Hz）：每秒钟的采样次数采样定理（奈奎斯特定理）：在进行模拟/数字信号的转换过程中，当采样频率f

13、s大于原始信号的最高频率fmax的2倍时，即：fs=2fmax,则采样之后的数字信号完整地保留了原始信号中的信息。一般实际应用中保证采样频率为信号最高频率的510倍,帧率（frames per second,fps）：每秒钟视频帧的个数电影：24fpsPAL制式：25fpsNTSC制式：30fps比特率（bits per second,bps）:每秒钟媒体数据所使用的比特位数音频：采样率 量化位数视频：帧率 每幅图像的比特数,量化,采样率与比特率,量化处理：是降低数据比特率的有效措施标量量化：一维量化，一个采样点对应一个量化结果(PCM编码器)矢量量化：多维量化又称向量量化，将若干个标量数据组

14、构成一个矢量，从码本(codebook)中选取一个与该矢量失真最小的码字来近似该矢量，在矢量空间给以整体量化，从而压缩了数据而不损失多少信息。,数据压缩技术的性能指标,信息压缩比 压缩后多媒体信息的质量 压缩和解压缩的速度 数据压缩处理的硬件和软件开销,1.3.3 数据压缩方法,根据解码后数据是否能够完全无损地恢复原始数据来进行划分 无损压缩、有损压缩 根据压缩方法的原理进行分类 预测编码、统计编码、变换编码、行程编码、算术编码、量化与向量量化编码、分频带编码、结构编码以及基于知识的编码等,1.3.4 多媒体数据压缩标准,音频压缩标准G.7x,GSM,NSAMP3:MPEG 1 Audio L

15、ayer 3，压缩比10:112:1静止图像压缩标准（JPEG）,运动图像压缩标准（MPEG）MPEG-1：数字存贮媒体活动图像及其伴音的编码 MPEG-2：数字电视标准MPEG-4：多媒体应用标准MPEG-7(1+2+4)：多媒体内容描述接口标准MPEG-21：多媒体框架标准 视频通信编码标准H.261H.263H.264,1.4 多媒体系统,多媒体系统是可以交互式处理多媒体信息的计算机系统，由多媒体硬件系统和多媒体软件系统组成。,1.4.1 多媒体硬件系统,多媒体CPU多媒体个人计算(MPC,Multimedia Personal Computer)多媒体CPU性能的关键点：主频指令集,多

16、媒体接口卡：解决多媒体数据的输入/输出问题声卡，显卡，视频压缩卡，视频采集卡，光驱接口卡等外部设备输入设备：摄像机，数码相机，扫描仪，话筒等输出设备：电视机，投影仪，音响等人机交互设备：键盘，鼠标，触摸屏，手写输入设备等,1.4.2 多媒体软件系统,多媒体系统软件 多媒体操作系统设备驱动程序多媒体支撑软件 多媒体工作平台多媒体创作工具多媒体应用软件,1.5 多媒体技术,多媒体技术特点 多媒体关键技术,1.5.1 多媒体技术特点,集成性与控制性 多通道统一获取、控制和合成按照人的要求表现信息，作用于人的多种感官交互性与实时性 人对信息的主动选择和控制用户操作时，多媒体信息应得到实时控制非线性与灵活性 超链接方式读取信息根据自己的需要灵活的使用多种信息表现形式,1.5.2 多媒体关键技术,多媒体数据压缩技术 多媒体数据库技术 信息展现与交互技术 多媒体通信技术 虚拟现实技术,思考题：,多媒体相关概念媒体分类，不同类型媒体的特点各种媒体元素的常见类型及特点数字媒体数据量的计算冗余的概念和分类媒体的数据化（相关概念、技术指标）压缩方法的分类各类媒体的典型压缩标准多媒体系统的组成,