视频会议基础知识课件.ppt

《视频会议基础知识课件.ppt》由会员分享，可在线阅读，更多相关《视频会议基础知识课件.ppt（88页珍藏版）》请在三一办公上搜索。

1、视频通讯基础知识培训,马朔,视频通讯的定义,视频通讯(视频会议)：依托数据网络，通过音频、视频、数据交互，为有效的沟通、协作和决策提供了一个重要的手段。使在人们无法聚集到同一个地点时，会议也可以照常举行。,视频通讯知识组成,第一部分视频通讯基础协议H.320协议H.323协议SIP协议,摘要,ITU-T关于N-ISDN网络中会议终端设备和业务的框架协议保证服务质量的多媒体通信和业务。适用于ISDN,DDN,E1，卫星等电路交换网络专网专用,呼叫不灵活,视频通讯协议 H.320协议,VideoH.261H.263H.264,DataT.120H.239,AudioG.711G.722G.728,

2、MultiplexingH.221,ControlsignalingH.242H.243H.230,NetworkInterfacesV.xxX.xxI.xx,LineProtocolsI.361I.363I.400,H.320,视频通讯协议 H.320设备结构,H.323是ITU的一个标准建议族，最新版本为V6版本基于分组交换网络的多媒体通信终端系统针对没有QoS保障的IP网络环境中的视听业务而制定目前主流的视频会议基础协议,视频通讯协议 H.323协议,视频通讯协议 H.323协议组成,低码率的音视频编码标准G.723、G.729、H.263等媒体打包和控制协议H.225.0 H.225.

3、0标准描述了无QoS保证的LAN上媒体流的打包分组与同步传输机制。H.225.0对传输的控制流进行格式化，以便输出到网络接口，同时从网络接口输入报文中检索出接收到控制流。 定义在传送层之上网络层采用IP协议传送层采用TCP/UDP通信控制和呼叫信令采用TCP实时传输/实时传输控制协议建立UDP之上,视频通讯协议 H.323标准的分层结构,视频通讯协议 H.323系统结构,GK,MCU,GW,Terminal,Terminal,endpoint,PSTN,视频通讯协议 H.323系统网元,终端：基于IP的网络上是一个客户端点。它需要支持下面3项功能：支持信令和控制；支持实时通信；支持编码，即传前

4、压缩，收后进行解压缩网关：提供在包交换网络和电路交换网络（SCN，Switch Circuit Network）之间的一个连接。网守：完成地址翻译、接纳控制、带宽控制、域管理4个必须功能。网守还支持呼叫控制信令、呼叫鉴权、带宽管理和呼叫管理，以及用户管理等可选的功能。多点控制单元（MCU）：多点控制单元支持3个以上的端用户进行会话。典型的MCU包括一个多点控制器（MC）和若干个（也可以没有）多点处理器（MP）。MC提供控制功能，如终端之间的协商。MP完成会话中的媒体流的处理，如话音的混合、话音视频的交换。,视频设备网元 视频终端的基本结构,视频设备网元 网关,H.323通信节点设备与其他终端设

5、备的转换功能传输格式和通信规程的转换分组交换端与电路交换端之间的接口，语音图像编解码器的转换，呼叫建立和拆除,视频设备网元 网闸,网闸（Gatekeeper）完成呼叫控制功能，改善服务质量地址翻译接纳控制以防止壅塞限定终端所使用的带宽、控制通化模式,地址解析,接入控制,带宽控制,GK,域管理,视频设备网元 MCU,MCU多点控制单元支持3个以上接点设备的会议MCU提供会议管理、终端能力的交换、音视频混合与切换多点处理器（MP)完成音视频混合与切换功能的部分多点控制器（MC）处理终端间H.245控制信息,视频设备网元 MCU传统工作模式,MCU对终端进行有限数量的视频编解码通常不在分屏显示上的终

6、端不进行解码音频采用全编全解通常具有演讲者模式和相同分屏模式同等硬件平台下可实现的接入点数更多,视频设备网元 MCU全编全解模式,MCU对全部的终端进行编解码音频采用全编全解除具有演讲者模式和相同分屏模式外可以实现灵活的个人分屏同等硬件平台下可实现的接入点数少网络适应性和设备兼容性最好,视频设备网元 MCU转发模式,最传统的MCU工作模式对视频码流不做任何处理，仅做为转发硬件消耗最小，可以实现海量MCU 通过SVC技术可以实现混速、分屏等原本需要DSP完成的功能使低成本云网成为可能,视频通讯协议 H.225.0 Q.931消息,Setup Call Proceeding AlertingCon

7、nectRelease CompleteInformation,交互RTP流,Call Proceeding,Setup,Alerting,终端 A,终端 B,Connect,建立H.245会话,Release Complete,视频通讯协议 基本H.323呼叫过程,视频通讯协议 H.245功能,H.245的主要作用是多媒体通信控制通信双方的能力协商建立用于传输多媒体信息流的RTP通道主要信令消息TCS（Terminal Capability Set，能力交换）MSD（Master-Slave Determination，主从确定）OLC （Open Logical Channel，打开逻辑通

8、道）,视频通讯协议 H.245交互过程,视频通讯协 网闸注册过程,视频通讯协议 网闸交互过程,视频通讯协议 网闸域间工作流程,视频通讯协议 直接路由,视频通讯协议 GK路由,RTP（Real-Time Transport Protocol，实时传输协议）是一个传输层的、基于UDP的协议RTP协议被用来为音视频等实时数据提供端到端的网络传输，传输的模型可以是单点传送或是多点传送RTP协议是为支持实时业务而设计的，保证业务的接收和发送在很短时间内完成,视频通讯协议 RTP协议基本概念,V：版本P：填充标志X：扩展CC：贡献者计数M：标记PT：净荷类型,视频通讯协议 RTP分组格式,视频通讯协议 R

9、TP协议头的时间戳和序列号,序列号和时间戳在通信双方进行通信的过程中实现下述功能：确保业务数据包的正确顺序是否有数据包被抛弃或丢失对业务流进行同步,视频通讯协议 RTP消息示例,视频通讯协议 RTP数据流示例,视频通讯协议 RTCP协议的基本概念,RTCP（RTP Control Protocol，实时传输控制协议）RTCP作用是监控服务质量，同时为端点之间提供“交互服务质量信息”的机制RTCP和RTP一起提供流量控制和拥塞控制服务在RTP会话期间，各参与者周期性地传送RTCP包RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计信息，端点可以利用这些信息动态地改变传输速率，甚至改变

10、有效载荷类型,Session Initiation Protocol -会话发起协议 是IETF制定的多媒体通信协议，它是一个基于文本的应用层控制协议，独立于底层协议，用于建立、修改和终止IP网上的双方或多方的多媒体会话SIP协议最早由是由MMUSIC IETF工作组在1995年研究的，由IETF组织在1999年提议成为的一个标准SIP主要借鉴了Web网的HTTP和SMTP两个协议SIP协议支持代理、重定向、登记定位用户等功能，支持用户移动（Personal Mobility），支持多媒体业务和各种特色业务,视频通讯协议 SIP协议,视频通讯协议 H.323协议SIP协议网元对比,SIP ：客

11、户/服务器协议 H.323：多媒体通讯协议 协议消息（请求、响应） - Q931 呼叫消息 邀请建立或终结会话 呼叫请求、响应、摘机等 SDP描述 - H.245信令 交换媒体类型和媒体参数 媒体协商、控制、管理 UAC用户代理客户机 - H.323智能终端 UAS用户代理服务器 - H.323网关/网守受理呼叫 路由和代理呼叫 Proxy代理服务器 - H.323网关 RedirectServer重定向服务器 - H.323网守 RegistServer登记服务器 - H.323用户网守 LocationServer定位服务器 - H.323网守/顶级网守,对应关系：,视频通讯协议 H.32

12、3协议SIP协议比较,SIP是由IETF提出的IP电话信令协议，解决IP网中的信令控制。ITU-T制定的支持IP网络多媒体通信的H.323协议族相对应，两者的比较如下：相同点：1、均为多媒体通信的应用层控制（信令）协议，目前一般用于IP电话2、能实现的信令控制功能基本相同3、都利用RTP作为媒体传输的协议异同点：SIP由IETF提出，借鉴了其他Internet标准和协议的设计思想，SIP协议简单，采用文本方式，具有较好的功能扩充性和网络可扩展性，并易于实现。 lH.323由ITU-T提出，采用的是传统的实现电话信令的模式，便于与传统的电话网互通； H.323协议发展得比较成熟，但相对复杂得多：

13、 PSTN互通， H.323吸取很多Q931信令的设定内容，使得与传统的PSTN网、以及H.320网等具备良好的互通能力； 编码方式，H.323采用ASN.1 PER算法；使得H323协议栈在互通性、扩展性、以及实现方面难度很大； 媒体协商， H.323有完善的主从、能力交互、媒体切换等规范，并具备强大的多媒体会议拓展、主席控制、带宽管理等功能；,视频通讯协议 H.323SIP 网关工作模式,第二部分 编码协议视频编码音频编码,摘要,视频压缩：使用视频压缩算法技术将视频中数据的冗余信息去除，降低表示原始视频所需的数据量，以便视频数据的传输时间冗余信息空间冗余信息感知冗余信息统计冗余信息,视频编

14、码基础 视频压缩,视频编码基础 第一帧画面,视频编码基础 第二帧画面,视频编码基础 差值画面,视频编码基础 像素运动轨迹,视频编码基础 基于块的运动估计与补偿,视频编码基础 16x16块,视频编码基础 8x8块,视频编码基础 4x4块,I帧是一种自带全部信息的独立帧，无需参考其它图像便可独立进行解码视频序列中的第一个帧始终都是I帧如果所传输的比特流遭到破坏，则需要将I帧用作新查看器的起始点或重新同步点I帧可以用来实现快进、快退以及其它随机访问功能I帧的会占用更多的数据位,视频编码基础 I帧,P帧（帧间预测编码帧）需要参考前面的I帧和/或P帧的不同部分才能进行编码P帧可以是其后面P帧的参考帧，也

15、可以是其前后的B帧的参考帧P帧对前面的P和I参考帧有依赖性，存在解码错误的扩散P帧的压缩比较高,视频编码基础 P帧,B帧（双向预测编码帧以前帧和后作为参考帧B帧需要根据相邻的前帧、本帧以及后帧数据参考压缩本帧B帧压缩率最高,可达到200:1由于参考前后两帧,画面精度最高由于依赖后帧,所以不适合实时传输使用,视频编码基础 B帧,视频编码基础 视频编码发展历史,ITU:,ISO/IEC:,H.261,H.262,H.263H.263+,H.264,MPEG1,MPEG2,MPEG4 (Part2),MPEG7,MPEG21,MPEG4(Part10),H.261是第一个实用的数字视频编码标准MPE

16、G-1，MPEG-2H.262，H.263，H.264都延续了H.261的设计架构使用了混合编码框架，包括了基于运动补偿的帧间预测，基于离散余弦变换的空域变换编码，量化，zig-zag扫描和熵编码设计的目的是能够在带宽为64kbps的倍数的综合业务数字网上传输质量可接受的视频信号码率能够支持40kbps到2Mbps之间工作，能够对CIF和QCIF进行编码,视频编码协议 H.261,H.263是由ITU-T制定的视频会议用的低码率视频编码标准H.263的性能在所有码率下都优于H.2611998年发布了H.263+2000年发布了H.263+H.263+最高分辨率可直到16CIF,视频编码协议 H

17、.263,H.264是由ITU-T视频编码专家组（VCEG）和ISOIEC动态图像专家组联合组成的联合视频组提出的高度压缩标准H.264可支持更高的像素精度、支持更高的色度抽样系统支持更灵活的自定义功能相同的图像质量下，码率可以减少50%除视频会议以外，广泛应用与监控、广电等领域具有Baseline Profile、Main Profile、Extension Profile、High Profile,视频编码协议 H.264,H.264标准的不同profile代表了针对不同应用的算法集及技术限定。 Baseline针对低复杂度应用，High Profile针对高效能运算Baseline Pr

18、ofile：提供I/P帧，仅支持逐行扫描Extended Profile：提供I/P/B/SP/SI帧，仅支持逐行扫描Main Profile提供I/P/B帧，支持逐行扫描和隔行扫描。High Profile在Main Profile基础上新增8x8 帧内预测, 、自定义量化, 无损视频编码, 更多的yuv格式,视频编码协议 H.264不同Profile对比,H.264 SVC（H.264可分层编码）作为H.264标准的一个扩展最初由JVT在2004年开始制定在编码时利用对时间上（帧率）、空间上（分辨率）、视频质 量（分辨率）进行分层，可产生不同帧速率、分辨率或质量等级的解码视频,视频编码协议

19、 H.264 SVC,相对与传统的AVC编码增强了数据包之间的关联性具有更好的网络适应性使海量MCU成为可能,视频编码协议 H.264 SVC,Temporal & Spatial Scalability,视频编码协议 SVC工作效率,Efficiency,声音是携带信息的极其重要的媒体（20）声音是通过空气传播的一种连续的波，叫声波，也具有反射、折射和衍射现象。声音信号是由许多频率不同的分量信号组成的复合信号。复合信号的频率范围称为带宽。带宽为20Hz20kHz的信号称为音频（audio）信号，可以被人的耳朵感知。声音是时基类媒体。,音频编码协议 声音的本质,音调、音强、音色为声音的三要素。

20、音强（响度）取决于声音的幅度（分贝）。音调取决于声音的频率。音色是由混入基音的泛音所决定的。,音频编码协议 声音三要素,声音的质量与声音的带宽有关，一般来说频率范围越宽，声音质量也就越高。,音频编码协议 声音的质量,声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。声音进入计算机的第一步就是数字化，数字化实际上就是采样和量化。,音频编码协议 声音信号的数字化,采样（sampling）：将声音信号在时间上离散化，即每隔相等的一段时间抽取一个信号样本。,音频编码协议 声音信号的数字化,量化（quantization）：将连续的信号幅度离散化。如果幅度的划分是等间隔的，称为线性

21、量化，否则为非线性量化。,电压范围 量化(dec) 编码(bin) 0.5 0.7 3 011 0.3 0.5 2 010 0.1 0.3 1 001 -0.1 0.1 0 000 -0.3 -0.1 -1 111 -0.5 -0.3 -2 110 -0.7 -0.5 -3 101 -0.9 -0.7 -4 100,音频编码协议 声音信号的数字化,音频编码协议 声音信号的数字化,采样频率 奈奎斯特理论指出：采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，称为无损数字化。 fs = 2fmax 话音信号最高频率约为3.4kHz，所以采样频率取为8kHz。,音频

22、编码协议 常用音频协议指标,音频编码协议 回音产生原因,音频系统的输出回到音频系统的输入，讲话人能够从音箱中听见自己讲话的回声声波从音箱出来又回到话筒中产生延时，声音在空气中传播速度较慢，不同大小的会议室音箱到话筒的距离也不相同，因此产生的延时长短也不相同,音频编码协议 回音消除原理,终端保留输出声音样本话筒会把本地会场声音与音箱声音同时采集混合信号经过回声消除器时，回声消除器开始启动回音消除其将混合信号和保留的声音样本进行对比如果音频信号频率有相同部分，那么就会切掉同保留记录信号一样的信号，再发送到远程,DTMF,双音多频:DTMF（Dual Tone Multi Frequency），一个

23、高频信号和一个低频信号叠加组成一个组合信号，代表一个数字,第三部分 视频通讯输出设备显示设备音频设备,摘要,让观察者观察按时间重复的亮度脉冲，如果闪烁频率比较低，人眼就有一亮一暗的感觉。如果闪烁频率足够高，人眼看到的则是一个恒定的亮点。闪烁感刚好消失的重复频率叫做临界闪烁频率，经测定为46HZ。电影播放过程中，每秒投射24幅画面，每幅画面投射过程中用机械挡光阀遮挡一次，这样就得到了48HZ的闪烁频率。要保持画面中物体运动的连续性，要求每秒钟摄取的画面数约为25帧左右。,视频显示设备 视觉的时间域响应特性,视频显示设备 YUV、YIQ作用,人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低，通常

24、把RGB空间表示的彩色图像变换到YUV或者YIQ颜色空间。每一种彩色空间都产生一种亮度分量信号和两种色度分量信号，而且亮度信号(Y)和色度信号(U、V)是相互独立的，每一种变换使用的参数都是为了适应某种类型的显示设备。彩色电视信号中采用YIQ或者YUV空间一是为了兼容黑白电视，二是为了实现压缩。,视频显示设备 PAL制,倒相正交平衡调幅制PAL制式电视信号的特性： 625行(扫描线)/帧，25帧/秒(40 ms/帧) (2) 每场中有25行作为场回扫，所以每帧中只有575行是有效行。(3) 高宽比(aspect ratio)：4:3 (4) 隔行扫描，2场/帧，312.5行/场(5) 颜色模型

25、：YUV(6) 西欧、中国和朝鲜等国家采用这种制式,视频显示设备 NTSC制,NTSC彩色电视制的主要特性是：(1) 525行/帧, 30帧/秒(2) 高宽比：电视画面的长宽比为4:3 (3) 隔行扫描，一帧分成2场(field)，262.5线/场 (4) 在每场的开始部分保留20扫描线作为控制信息，因此只有485条线的可视数据。 (5) 每行63.5微秒，水平回扫时间10微秒(包含5微秒的水平同步脉冲)，所以显示时间是53.5微秒(6) 颜色模型：YIQ(7)美国、加拿大等大部分西半球国家，及日本、韩国、菲律宾和中国的台湾采用这种制式。,图像基础知识 标清分辨率,CIF ： Common I

26、ntermediate FormatQCIF ： Quarter CIFSQCIF：Sub-Quarter CIF,图像基础知识 SMPTE 296M-2001,图像基础知识 SMPTE 274M-2003,过扫描就是画面的一部份显示在屏幕以外CRT电视通过电子束扫描的水平像素和垂直像素的点距加大来实现图像放大避免模拟信号本身不精确，受到干扰后边缘失真国家规定显示面积不低于信号面积的95%,图像基础知识 过扫描 （CRT）,主流1080P平板显示器的物理分辨率为： 19201080、1366768平板电视的物理分辨率无法实现“点对点”显示为了接收普通电视仍然保留过扫描模式,图像基础知识 过扫描

27、 （平板电视）,常见视频输入输出接口,复合端子：Composite video connector传送的是模拟电视讯号的三个来源要素：Y、U、VU和V先被混合成一个信号中，再与Y信号作叠加信号混合造成了画质上的减损仅用于传输标清图像,视频接口 AV端子,独立视讯端子：Separate video将视频数据分成两个单独讯号（亮度和色度）进行传送图像质量优于复合端子S-端子最高支持到480或576分辨率,视频接口 S端子,数字视频接口：Digital Visual Interface通过数字化的传送来强化显示器的画面品质DVI接口可以传送未压缩的数字视频数据到显示设备未压缩传输协议与HDMI兼容(

28、单链结)WUXGA1920 1200 60 Hz(双链结)WQXGA(2560 1600) 60 Hz,视频接口 DVI接口,分量接口：Component Video Connector把模拟视频中的亮度、色度、同步信号分解开来各自传送的端子分量视频主流采用RGB方式直接传输避免了因繁琐的传输过程所带来的图像失真最高分辨率1080P,视频接口 分量接口,高清晰度多媒体接口：High Definition Multimedia InterfaceHDMI发起者包括各大消费电子制造商设计初衷为简化系统安装与版权保护在传送时各种视频数据将被HDMI收发芯片以TMDS编码分组最大带宽可达到10G，可支持4K高清由于信号衰减，存在线材长度限制,视频接口 HDMI接口,数字分量串行接口：serial digital interface分为标准清晰度SD-SDI、高清标准HD-SDI和3G-SDI采用75欧同轴电缆线材适合场距离传输如果反复解压和压缩，将引起图像质量下降和延时增加,视频接口 SDI接口,RCA接头:莲花头每一根RCA线缆负责传输一个声道的音频信号右声道用红色标注，左声道则用蓝色或者白色标注,音频接口 RCA接口,单线缆同时传输左、右两个声道三个尺寸规格，分别是2.5mm、3.5mm和6.22mm接头,音频接口 小三芯立体声接口,