《潍坊市城市管理视频监控系统的设计与构成.doc》由会员分享，可在线阅读，更多相关《潍坊市城市管理视频监控系统的设计与构成.doc（38页珍藏版）》请在三一办公上搜索。
1、潍坊市城市管理视频监控系统的设计与构成第1章 绪 论1.1研究背景与意义随着我国经济和社会的高速发展，尤其是城镇化的快速发展，给城市管理工作带来了很多严峻的问题，重点是快速发展造就了非常复杂且日益增多的城市管理盲区，因此加强和改善城市管理的任务尤为紧迫而艰巨。于是，建设部在2006年就提出了数字化城管建设的蓝图，政府希望通过在现代城市管理中，通过不断引入先进的管理模式和科技手段，以实现利国、利民的稳定发展的社会秩序。在近几年城市快速发展的过程中，2007年、2008年和2009年国内陆续在一大批城市进行数字化城管的试点工作，经过实际的系统运作，数字化城管系统在各级城市的优化管理中的优势已经日渐
2、显现出来。例如政府管理的行为由被动应付转化为主动解决、定期分析、探求源头生成原因；管理的方式从粗放变为精细；管理资源的配置从杂乱低效转为系统高效；管理的评价从奖罚不明变为奖罚分明、及时处理；管理的运行从封闭运作转化为公开公平，便于群众的监督；管理的参与机制从政府和专业部门一个积极性变成为全社会参与，调动各方面积极性等等。目前，在一些已经建成的数字化城管系统中，已经建立了大屏幕监督指挥系统，并部分共享了市应急指挥中心的视频资源，但由于业务管理的不同和安全技术问题，城市管理对定向视频监控的需求仍尚未完全实现。目前数字化城管的主要视频信息均来自于公安交警的监控探头，虽然数量众多，但是城管和公安交警监
3、控目标、目的不一样，所以这些视频信息很难进行有效使用，造成了资源配置的不合理。还有一些需要进行现场应急处理的事件，也需要在现场实现实时的音视频通讯。因此，为了更好的实现视频监控系统在城市管理中的作用，提高城市管理工作的效率、扩大城市管理问题发现的来源、进一步发挥数字化城管的效能，建立城市管理视频监控系统已经非常必要，通过实现对城市管理重点区域、重点道路的全天候、全方位实时监控，并与相关部门进行资源共享，已经成为数字化城管系统发挥效能的技术手段和有力保障。11.2国内外研究现状视频监控系统以其直观、方便、信息内容丰富而广泛应用于许多场合，比如银行、酒店、公共场所、公共交通等等。近年来，随着计算机
4、、网络以及图像处理、传输技术的飞速发展，视频监控制技术也有了长足的发展。在国外，视频监控系统在城市道路、公共场所、交通管理、社会治安、公共设施等城市基础设施方面的建设和和运营已经取得了很多的经验，并且还在不断地将多媒体技术、计算机传输技术、影像识别技术、数字化视频监控技术等应用到城市监控当中。近年来，尤其是在美国911恐怖袭击、马德里爆炸案以及伦敦爆炸案以后，世界各个国家和地区对视频监视和监控系统的需求日益增加。美国公司的系统提供目前世界上最综合，最准确，最先进的智能视频监控解决方案。 因为有真正行为识别能力，系统可以实时地检测威胁安全的可疑行为，向相应的安全人员进行报警，以采取及时的、有效的
5、措施。通过使用目前最先进的机器学习、多物体跟踪、和行为推理技术， 系统可以一致地实现目前工业界最高的识别准确率， 并消除其他基于运动检测或基于简单跟踪检测系统常有的误报警。一系列的行为识别适用于室内和室外，为整个企业提供一个完整的解决方案。系统于现有的摄像机系统兼容，并且很容易与其他安全系统，比如门禁系统、生物特征识别、等进行集成。在国内，视频监控方面的研究起步较晚。长城集团、北京微电子技术有限公司等自主开发了国产的视频监控系统；同时，我国许多高校和大型科研机构也在从事与数字视频监控相关的技术研究和系统开发。目前在国内的研究机构当中，属中科院下属的模式识别国家重点实验室成立的视觉监控研究组处于
6、这个领域的领先地位。模式识别国家重点实验室筹建于1984年，1987年8月正式对外开放，同年12月通过国家验收，是由国家计委投资成立的国家重点实验室之一。实验室依托于中国科学院自动化研究所，实验室以模式识别基础理论、图像处理与计算机视觉以及语音语言信息处理为主要研究方向，研究人类模式识别的机理以及有效的计算方法，为开发智能系统提供关键技术，为探求人类智力的本质提供科学依据。他们在对交通场景的视觉监控、认的运动视觉监控和行为模式识别等方面，研究取得了一定成果。中国电信推出了“全球眼”网络视频监控业务。该业务系统利用中国电信无处不在的宽带网络将分散、独立的图像采集点进行联网，实现跨区域的统一监控、
7、统一存储、统一管理、资源共享，为各行业的管理决策者提供了一种全新的、直观的，扩大觉和听觉范围的管理工具，提高工作绩效。同时，可通过二次应用开发，为各行的资源再利用提供新的手段。2全球眼视频监控平台也集成了多种视频监控设备，通过全球眼的视频监控平可以统一的使用多种视频监控资源。用户只需向电信租用就可以使用全球眼系统视频资源，减少了视频监控平台建设初期的投入，缩短了视频监控平台的建设周期。但与世界上先进的视频监控系统相比，我国在此方面仍然有待不断提高和完善，尤其是智能化视频监控方面更只不过是处于探索研究过程的初级阶段。1.3视频监控系统的应用视频监控系统的应用非常广泛，在我们身边随处可见。这里仅举
8、几个视频监控具体的例子。“幼儿安全托儿所”是英国第一所网络监控托儿所，父母随时可以通过密码登陆到这所托儿所网络，在线观看孩子在托儿所的各种情况。北京警方与北京华讯和达数据科技有限公司合作，在部分电力系统终端上安装了警报远程传输设备，使警方可以在第一时间发现电力设施被盗，以便及时出警。概括来说，目前视频监控系统应用领域主要有以下一些方面：安防系统、公共管理、教育系统、电力系统、部队系统、银行系统、医疗系统等。1.4本文主要工作及论文组织结构随着城市化进程的不断加快，城市地域进一步扩大，城市功能日益复杂化，城市管理的空间范围和业务范围也不断的扩大和增加。由此引起的城管业务的增多与城管执法局的执法资
9、源不足、执法手段落后之间的矛盾日益突出。因此，建设数字城管视频监控系统，是加快城市管理信息化进程、提高城市管理行政执法水平的重要手段。6本文主要结合潍坊市城市管理行政执法工作实际，通过对视频监控系统的发展过程、视频监控系统的功能及构成、涉及的主要技术、视频采集、压缩以及视频传输技术、技术等的研究，研究设计了潍坊市数字城管视频监控系统方案，并加以建设实现。本论文的主要章节安排如下：第1章 绪论。对城市管理视频监控系统的应用背景进行了了解，对国内外视频监控现状简要作了介绍，介绍了本论文的组织架构；第2章 视频监控系统的发展历程和趋势。简要总结了视频监控系统的发展历程和发展趋势；第3章 视频监控系统
10、的构成及相关技术。对城市管理视频监控系统的结构和系统详细构成作了介绍，对视频监控系统涉及到的有关技术作了研究，主要包括视频压缩技术和视频传输技术，以及技术。第4章 潍坊市数字城管视频监控系统需求分析。介绍了系统项目背景，详细阐述了潍坊数字城管视频监控系统的功能需求，对系统实现的目标及设计关注点作了说明。第5章 潍坊市数字城管视频监控系统的设计与实现。分别就系统硬件与系统软件的建设进行了研究。第2章 视频监控系统的发展历程和趋势2.1 视频监控系统的发展历程视频监控系统的发展与电子、通信、计算机以及网络技术的发展息息相关，就其发展的阶段来说，视频监控系统由上世纪七十年代发展至今，大致经历了以下三
11、个阶段：2 3模拟视频监控系统、数字视频监控系统以及远程网络视频监控系统。2.1.1模拟视频监控系统。在上世纪90年代初及其以前，主要是以模拟设备为主的闭路电视监控系统（），称为第一代视频监控系统。模拟监控系统一般主要由摄像机、视频矩阵、监视器、录像机等组成，前端摄像机到主控制室的距离通常均在l000米以内，它的诸多设备(如字符发生器、画面切换器、画面处理器、长延时录像机、系统主控制器、主显示器)的连接大都采用射频同轴电缆直接连接。系统的特点:经过几十年的发展，技术成熟，设备品种多，视频、音频信号的采集、传输、存储主要为模拟形式，质量最高；只适用于较小的地理范围(通常为1000米内)；施工难度
12、大，需要铺设“视频”、“音频”、“控制”等线路；监控系统不易扩展、录像资料不易保存和查找；成本过于昂贵，附属设备过多易损坏、难于维护，束缚了用户对监控系统的需求和应用；应用的灵活性较差；与现有计算机和网络系统无法结合。系统的性能:模拟视频监控系统的图像录制应用的是家用录像系统( ，)录制标准，图像的质量在回放和录像时受录像带使用时间、使用次数的增加而不断下降，视频图像由于保存在录像带上，不仅容易受噪声干扰，而且容易磨损，难以长久保存。检索图像必须使用录像机的面板按钮、遥控器或者操作键盘的操纵杆，过程繁琐。由于使用的是时滞(长延时)录像机，还必须定期维护清洗磁头，很难组建成大型、复杂、多功能的监
13、控系统，若要升级，只有更换整个系统。系统的扩展能力差。对于已经建好的系统，如要增加新的监控点，往往是牵一发而动全身，新的设备也很难添加到原有的系统之中；无法形成有效的报警联动。在模拟监控系统中，由于各部分独立运作，相互之间的控制协议很难互通，联动只能在有限的范围内进行。模拟视频监控系统在技术上已相当纯熟，从技术角度考虑已较难进行升级或改进，它工作稳定可靠、不易死机，更换录像带也十分容易，但是其安全性能较低，易给犯罪分子以可乘之机。2.1.2数字视频监控系统。上世纪九十年代中后期，正是图像处理技术、计算机技术、网络技术飞速发展的时期。远距离、高清晰、同步传输多路视频和音频信号，最为经济可行的方法
14、就是将模拟信号进行数字化处理。随着计算机处理能力的提高和视频技术的发展，人们利用计算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨率实现图像的多画面显示，从而大大提高了图像质量，这种基于机的多媒体主控台系统称为第二代视频监控系统。4该系统由前端摄像机、编码器、存贮器、显示器、控制主机及控制软件组成，采用模拟输入与数字压缩、显示和控制相结合的方式，因为核心设备是数字设备，因此称为数字视频监控系统。系统成熟的数字视频监控系统有单机硬盘录像系统、局域网传输硬盘录像系统、广域网传输硬盘录像系统。系统的特点:系统前端设备与第一代系统相同，所不同的是通过视频卡将模拟信号数字化，在上实现多画面
15、显示、切换、控制、录像、录像回放等功能，简化了监控中心的设备。系统功能较为强大、完善；可适用于任意的地理范围，与信息系统可以交换数据;第二代系统视音频信号的采集、传输、存储主要为数字形式，质量较高，适合于模拟系统的数字化改造，解决录像资料的存储和查找等问题；基于的视频监控系统终端功能较强，便于现场操作应用灵活性较好；视频前端(如等视频信号的采集、压缩、通讯)较为复杂，可靠性不高；机也需专人管理，特别是在环境或空间不适宜的监控点，这种方式不理想，不适用于无人值守场所。尽管初步实现了数字化，这种类型的监控系统具有以下缺点:施工布线工作量大;进行远程图像传输困难;需要开发专用的软件，开发周期长，难度
16、大。由于图像质量、稳定性以及远程传输监控等技术方面的不足，使这种第二代视频监控系统仍仅作为安防产品应用于某些特定行业的日常监控。系统的性能：数字视频监控系统的图像录制质量可以达到(704X 576)或更高，使回放和录制的质量效果完全一样，清晰度没有任何衰减。操作界面友好，有联机帮助或提示，可用鼠标直接操作，检索回放相当简便快捷。它的存储介质是：硬盘、光盘或数据磁带，抗干扰能力强，不容易损坏，有利于长期保存。数字视频监控系统的硬盘寿命远远大于录像带，它不仅可以自动循环录像，而且能定期自动备份，无须人工干预，十分方便。它的操作系统使用982000等，应用软件可升级。数字视频监控系统在技术上已趋于纯
17、熟，其安全性也较高，对于工控形式的一体机，使用2000操作系统，工作比较稳定；若是使用98系统，有时会发生死机，其工作稳定性、可靠性还有待改进。视频监控系统的应用软件能力上应支持多任务并发处理，如监视、录像、回放、备份、报警、控制、远程连接等的多工处理能力。基于机的视频监控录像系统其软件的实现是在 9598，等通用操作系统上，同时系统文件、应用软件和图像文件都存储在硬盘上，视频处理时数据吞吐量很大，同时硬盘要进行多工工作，普通的硬盘逻辑(如的32)已无法适应，以致极易产生系统的不稳定性造成死机现象。2.1.3网络数字视频监控系统。直到上世纪九十年代末，随着计算机、网络、通信技术的日趋成熟，各种
18、实用型视频技术的不断完善，以及各种实用视频处理技术的出现，第三代远程网络视频监控系统才从根本上使视频监控从幕后走向了前台。第三代视频监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为特色，引发了视频监控行业的技术革命，受到了学术界、产业界和使用部门的高度重视。系统主要由硬件系统、软件系统和网络三大部分组成，包括摄像机、存储器、显示器、互联网络、计算机及与之相应的应用软件，采用标准化的接口，具有良好的扩展性能。数字视频监控系统采用协议，符合网络化、化的发展方向，技术含量高，其最大的特点是传输距离不受限制。且能很方便地与其他系统互连，另外还可以方便地接入其他安全
19、防范设备，如温度、湿度、烟雾感应、入侵等报警器同时可以联动灯光、警铃、锁具等动作设备，这使得它可以方便地组成一套功能强大的安全防范系统。见示意图2.1.图2.1 网络数字图像处理系统图系统的特点:功能、外围技术从基于机的第二代数字视频监控发展而来;高可靠性的多任务实时操作系统;固化的编解码算法、网络协议;系统可靠性高，稳定性强;无须日常操作/维护，集中管理。相对于传统的模拟监控系统，基于的第三代远程视频监控系统能获得更为逼真、清晰的数字化图像质量，以及更为便捷、实用的监控管理和维护;通过网络平台实现了远距离监控，即使是数千公里外也能达到亲临现场的效果;扩大了系统规模。它具有配置灵活、升级方便、
20、可扩展性好、性价比高等突出优点，并可充分利用现有的计算机通信网络等资源。系统的性能：嵌入式系统是以应用为中心，软硬件可增删的，适应应用系统对功能、可靠性、成本、体积等综合性严格要求的专用计算机系统，亦即为监控系统定做的专用计算机系统。嵌入式系统集软硬件于一体，主要由嵌入式处理器、相关支撑硬件、嵌入式操作系统及应用软件系统等组成。嵌入式操作系统是一种实时的，支持嵌入式系统应用的操作系统软件，它是嵌入式系统极为重要的组成部分，通常包括与硬件相关的底层驱动软件、系统内核、设备驱动接口、通信协议、图形界面、标准化浏览器等，嵌入式操作系统在系统实时高效性、硬件的相关依靠性、软件固态化及应用的专用性等方面
21、具有较为突出的特点。嵌入式系统的优缺点：系统为专用系统，所以系统小，指令精简，处理速度快。系统数据置于 ，调用速度快，不会被改变，稳定性好。系统处理实时性好，性能稳定。文件管理系统更适合于大量的视频数据。2.2视频监控技术发展趋势 现今视频监控系统已经步入了全数字时代。这将彻底打破“闭路电视系统”模拟方式的结构，从根本上改变了视频监控系统从信息采集、传输处理、系统控制的方式和结构形式，也标志着监控正在走向现代“四化”阶段即：前端一体化：监控系统前端一体化意味着多种技术的整合、嵌入式构架、适用和适应性更强以及不同探测设备的整合输出。为系统集成化奠定了基础。传输网络化：视频监控系统的网络化意味着系
22、统的结构将由集总式向集散式系统发展，集散式系统采用多层分级的结构形式，将使整个网络系统硬件和软件资源以及任务和负载得以共享，这也是系统集成与整合的重要基础。处理数字化：视频监控系统的数字化首先应该是系统中信息流(包括视频、音频、控制等)从模拟状态转为数字状态，从根本上改变视频监控系统从信息采集、数据处理、传输、系统控制等的方式和结构形式。信息流的数字化、编码压缩、开放式的协议，使视频监控系统与安防系统中其它各子系统间实现无缝连接，并在统一的操作平台上实现管理和控制，这也是系统集成化的含义。系统复合化：视频监控系统作为一种工具，在实际应用中不断的和其他系统交互使用，和各系统的联系越来越紧密。例如
23、视频监控系统和电子地图、业务信息系统、门禁系统、消防系统等都可以结合在一起使用。复合化已经成为视频监控系统的一种发展趋势。前端一体化、视频数字化、监控网络化、系统复合化是视频监控系统公认的发展方向，而数字化是网络化的前提，网络化又是系统复合化化的基础，所以，视频监控发展的最大特点就是数字化和网络化。网络视频监控系统的网络化将在某种程度上打破了布控区域和设备扩展的地域和数量界限。系统网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的共享，这也是系统集成的一个重要概念。5随着计算机技术及网络技术的迅猛发展，世界掀起一股强大的数字化、网络化浪潮，对于视频监控行业的发展，必须经历模拟数字混合的
24、阶段，但是最终的趋势必然是全面数字化。第3章视频监控系统的构成及相关技术3.1城市管理视频监控系统的结构概述城管视频监控系统由前端摄像机系统、网络传输系统、后端监控指挥中心系统三大部分组成。63.1.1前端系统城管视频监控系统前端监控布点原则：(1)充分利用已有的或即将建设的其他部门的适合城管的监控点，避免重复建设，实现资源共享。(2)乱摆乱卖等城管事件多发区域、地段。(3)人流车流密集的繁华地段。(4)重要景观所在地。3.1.2网络传输系统城管监控系统的前端摄像机接入点比较分散，采用就近接入的原则，各监控点视频信号就近接入公安派出所或各区城管监控中心。各监控点距离城管监控指挥中心距离较远，各
25、监控点汇集后，采用数字光端机通过租用的运营商光纤网络，点对点接人到城管监控指挥中心。3.1.3城管监控中心视频控制系统城管视频监控系统的视音频信号的接人、图像切换和前端设备的控制主要采用模拟切换矩阵，图像的记录采用数字方式、视音频信息的共享和传输采用计算机网络。城管监控中心结构图如下图所示：监控中心工作人员可以通过矩阵、控制键盘、网络终端调看接入的视频信号及其它视频资源。3.2远程数字视频监控系统的详细构成本系统分为前端（现场）设备、通讯设备和后端（远程）设备三部分组成。其中通讯设备是指采用的传输信道和相关设备，可以是基于协议的计算机互联网络，传输媒介可以是光纤、微波等。如图3-2为系统结构图
26、。前端由一台连接到网络上的普通多媒体计算机和其他相关设备组成。云台镜头控制器用于接收前端机的控制信号并控制云台的动作及镜头的变焦和聚焦，并且具有门禁控制的功能。前端控制主机主要负责视频图像的采集、转换、分析、处理、压缩和发送以及接收远端监控机发出的控制指令。前端控制主机可安装多个视频采集卡，利用232/485总线连接多个控制器，同时采集多路视频数据，并控制多路云台、镜头等设备。视频采集卡，在实验系统中我选用了天敏3000视频采集卡。在实际应用中前端的监控软件系统兼容于任何一款符合软件架构或模式的采集卡。云台镜头控制器（解码器），在实验系统中选用了300 。在实际应用中可选用任何一款采用协议的解
27、码器。摄像机、云台和镜头等均为标准设备。可选用相应的配套设备。远端监控主机也由普通多媒体计算机组成，其主要负责从前端主机接收视频数据和其它现场数据，并向前端监控机发送各种控制指令。前端及远端监控主机均采用2000中文操作系统，具有较高的安全可靠性及易操作性。远程监控主机（1）电视墙前端监控主机（兼视频服务器）控制器部分摄像机云台镜头灯光报警设备门禁其它传感器及执行器云台镜头解码器其它功能控制器视频采集卡232/485串口以太网卡显示器网络以太网卡监视器（机显示器）监视器（1）监视器（n）远程监控主机（n）数字视频存储器（硬盘）分屏卡 图3-2 远程数字视频监控系统结构图3.3视频监控系统的相关
28、技术视频监控的关键技术主要有视频采集压缩、视频信号可靠地传输、信息存储调用的智能化与系统的集中管理。3.3.1视频压缩编码技术从摄像头直接获取的监控现场的原始视频流数据量十分庞大，为了减少网络传输的数据量或有效节省存储空间，就需要在传输或存储前对视频图像进行压缩处理。因此在网络上传输多媒体信息都需要采用各种视频信息压缩技术3。视频编码压缩技术应用非常广泛，不同的编码技术可以应用在不用的领域，现对常用的视频编码技术作一简要介绍。（1）格式M( )技术即运动静止图像(或逐帧)压缩技术，它是一种基于静态图像压缩技术发展起来的动态图像压缩技术，可以生成序列化的运动图像。其主要特点是基本不考虑视频流中不
29、同帧之间的变化，只单独对某一帧进行压缩，其压缩倍数为2080倍，适合静态画面的压缩，分辨率可从352288到704576。以往的压缩技术是直接处理整个画面，所以要等到整个压缩档案传输完成才开始进行解压缩成影像画面，而这样的方式造成传输一个高解析画面时须耗时数十秒甚至数分钟。而新一代的M是采取渐层式技术，先传输低解析的图档，然后再补送细部之资料，使画面品质改善。M压缩技术可以获取清晰度很高的视频图像，而且可以灵活设置每路的视频清晰度和压缩帧数。因期压缩后之格式可读单一画面，所以可以任意剪接。M因采用帧内压缩方式也适于视频编辑。M的主要缺点是压缩效率低，M算法是根据每一帧图像的内容进行压缩，而不是
30、根据相邻帧图像之间的差异来进行压缩，因此造成了大量冗余信息被重复存储，存储占用的空间大到每帧815K字节，最好也只能做到每帧3K字节，但如果因此而采用高压缩比则视频质量会严重降低。（2）2标准组织二J：1994年推出2压缩标准，以实现视音频服务与应用互操作的可能性。2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3兆比特100兆比特，标准的正式规范在3818中。2不是的简单升级，2在系统和传送方面作了更加详细的规定和进一步的完善。2特别适用于广播级的数字电视的编码和传送，被认定为和的编码标准。.2图像压缩的原理是利用了图像中的两种特性：空间相关性和
31、时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接收机利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去除图像中的冗余信息。2的编码图像被分为三类，分别称为I帧，P帧和B帧I帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。P帧和B帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。P帧图像只采用前向时间预测，可以提高压缩效率和图像质量。P帧图像中可以包含帧内编码的部分，f10P帧中的每一个宏
32、块可以是前向预测，也可以是帧内编码。B帧图像采用双向时间预测，可以大大提高压缩倍数。（3）4标准运动图像专家组于1999年2月正式公布了4(也C14496)标准第一版本。同年年底4第二版亦告底定，且于2000年年初正式成为国际标准。4与1和2有很大的不同。4不只是具体压缩算法，它是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。4的编码理念是：4标准同以前标
33、准的最显著的差别在于它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各种视频音频以及图形文本对象。（4 ）H264视频编码标准H264是与T组成的联合视频组()制定的新一代视频压缩编码标
34、准。事实上，H264标准的开展可以追溯N8年前。1996年制定H263标准后，UT的视频编码专家组()开始了两个方面的研究：一个是短期研究计划，在H263基础上增加选项(之后产生了H263+与H263什)；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产生了H26L标准草案，在压缩效率方面与先期的T视频压缩标准相比，具有明显的优越性。2001年，的组织认识到H26L潜在的优势，随后与开始组建包括来自 与T 的联合视频组()，T的主要任务就是将H26L草案发展为一个国际性标准。于是，在中该标准命名为( )，作为4标准的第10个选项：在T中正式命名为H264标准。3.3.
35、2 技术(1)技术简介 是微软公司提供的一套在平台上为创建游戏和其他高质量的多媒体应用程序而设计的一套底层应用程序接口集。它提供了对二维和三维的图像、声音效果、音乐、输入设备以及网络应用程序的支持。机的成功导致了可用硬件的大量繁衍，众多的供应商为机设计了提供各种兼容的产品，但它们却常常缺乏开发所需的可靠标准。提供了一个标准的软件接口，微软将定义为“硬件设备无关性”，即开发人员不用去考虑硬件的差别，开发中无需关心硬件的具体细节就可以利用硬件的高性能。采用了组件对象模型( )标准，不同对象的版本可以有不同的接口，这使得采用开发的程序在未来也能够得到兼容与支持。的家族成员很多，而且各有各的特点，如和
36、3D负责二维图形图像，三维动画加速、和负责交互式音乐环境音效处理等。是大家族中的一位成员，为平台上处理各种格式的媒体文件播放、音视频采集等高性能要求的多媒体应用提供了完整的解决方案。在媒体播放方面，它支持各种格式，包括、3、和等，在视频采集方面，它既支持( )驱动的视频捕获卡，也支持( )驱动的视频捕获卡。是一个开放性的应用框架，也是一套基于的编程接口。通过技术进行应用系统开发必须掌握一定的编程知识。( )是公司提出的一种基于二进制标准与编程语言无关的软件构架技术，中文称为“组件对象模型”的概念。是一种以组件为发布单元的对象模型，这种模型使各软件组件可以用一种统一的方式进行交互。定义了组件程序
37、之间进行交互的标准，也提供组件程序所需要的环境，在不久的将来将成为应用程序最普遍的方法。(2)基于技术的多媒体系统开发模型是一个开放性的应用框架，在此框架下，只要遵照着技术的开发规范，便可以开发出具有各种功能的多媒体应用系统。如图3-3所示，图中央最大的一块即是系统，它使用一种叫 的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫做：各个在 中按一定的顺序连接成一条“流水线”协同工作。应用程序 源过滤器转换过滤器渲染过滤器文件系统传统的编解码器文件系统流结构体系内核捕获卡传统的捕获卡硬件编解码器声卡视频显示卡命令事件接口图3-3 多媒体应用系统模型众所周知，词汇仅能代表一定的含义，
38、而句子才可以表达具体的功能，和 之间关系就像“词汇”和“句子”之问的关系一样。仅仅是一种功能上的聚合，而 就是按照一定的规则将各种组合起来，并且能够实现一定的功能。而从软件开发的角度来说，进行应用系统开发从低到高分为三个层次，最低层是各种具有不同功能，中间层是管理着各个组合与运作的 ，而最高层则是应用程序，也就是说最终用户开发的应用程序将通过管理 来协调整个系统中封装为的各个功能模块的运作。(3) 基本组件工作原理按照功能来分，大致分为3类： 、 和 。 主要负责获取数据，数据源可以是文件、因特网计算机的采集卡、(驱动或)数字摄像机等，然后将数据往下传； 主要负责数据的格式转换，例如数据流分离
39、合成、编解码等，然后继续将数据往下传输； 主要负责数据的最终去向，将数据送给显卡、声卡进行多媒体的演示，或者输出到文件进行存储。l)内部的数据处理模型在中实现算法必然首先将算法封装为一个，而算法中对于数据的处理实质上就是在中对接收上所接收到媒体数据包进行处理和变换，然后将处理后的结果通过发送发送到下一级。图3-4数据处理模型如图3-4所示，算法可以通过提供的接口控制输入和输出的内存定位器()，从而可以获得输入和输出的媒体数据包的入口指针及信息，来完成对媒体数据包所携带数据的处理。必要的时候，算法也可以在内存中开辟所需的空间来完成数据的缓存和处理，本算法便需要在内存中开辟两个内存空间，分别作为当
40、前帧和过去帧的存储空间，方便算法的完成。2)之间的数据传送模型之间通过针脚()完成连接之后，便将数据封装为媒体数据包()的形式进行传送，其模型如图3-5所示。图3-5 之间数据传送模型媒体数据包是由被称为内存定位器()的对象所生成和管理。内存定位器在针脚进行连接时生成，形成连接的针脚共享一个内存定位器，每个内存定位器创建一系列的媒体数据包。当需要一个空的媒体数据包来封装数据或者需要从一个媒体数据包中获取数据时，便可以通过内存定位器来获取。（4） 的构建原理1）之间的连接 的构建其实就是将具有不同功能的按照一定的次序连接起来。而的连接实际上也就是上的连接。连接的方向一般总是由上一级( )的输出指
41、向下一级( )的输出。也是一种组件，而且每个上都实现了接口。正是通过这个接口来完成连接的。的连接过程如图3-6所示：图3-6的连接过程2） 的智能连接过程在实际应用中一般都是通过 组件提供的智能连接机制来完成 的构建，它包含了若干相关的方法来完成选择并将其添加进 中。在进行智能连接的过程的中一般要用到如下几个方法：I ：该方法根据提供的输出，自动加入必要的完成剩下部分 的构建(直到连接到 )。I ： 该方法根据提供的源文件名，自动将一个 加入到 中。I ： 该方法根据提供的源文件名，自动加入必要的完成这个文件的回放 构建。I ：该方法将提供的输出和输入进行连接，如果连接失败，自动尝试在中间插入
42、必要的格式转换。3） 动态重建技术对于已经构建完毕的 如果需要修改时，一般可以通过两种方法进行修改：一种是将当前 停止，然后修改原有 结构后重新运行；另外一种就是在保持 运行状态下的同时实现 的重建。前一种情况比较简单，等同于 的重新构建，而后一种情况比较复杂，被称为 的动态重建技术。 的动态重建主要包括三种情形，具体介绍如下。a、媒体类型的动态改变媒体类型( )是连接时所进行协调的一个基本元素，一般情况下，媒体类型在 运行的整个过程中是不会改变的，当需要在运行过程中进行改变时(本系统在进行视频采集参数改变时便涉及到此问题)就应该能够对媒体类型进行动态更新，一般有两种情况，一种是从上游到下游的
43、改变，另外一种是从下游到上游的改变。从上往下进行改变时，下游应具有对媒体类型改变的应变能力，上游通过调用下游输入上的I ： 来判断下游是否能够支持新类型。从下往上进行改变时，下游必须拥有自己的分配器，下游查询上游输出的媒体类型，如果可以支持新的媒体类型，则下游通过对下一个的媒体类型设置来使上游改变媒体类型，具体过程如图3-7所示：图3-7由下而上的媒体类型改变过程b、动态删减或增加当运行过程中需要直接添加或去除一些来实现特定功能时，便需要使用的动态删减或增加方法。动态的进行某个的删减或增加有两个必要条件：该的下游必须支持I 接口；该在重连时不允许数据的传输，并能够阻塞数据线程。图3-8动态删减
44、或增加示意图如图3-8所示，当需要将2动态移走时的一般步骤如下： l、在 1上阻塞数据流线程。只需调用：即可。2、重连 A和 D，必要时插入新的。这里的重连可以使用：或：。3、重新启动 1的数据发送线程。c、动态改变链条( ) 是相互连接着的一条链路，并且链路中的每个至多有一个处于“已连接”状态的输入，至多有一个处于“己连接”状态的输出。图27中的，DE，FG都是 ，而任何含有C的都不是。3.4数字视频传输技术3.4.1 协议在实际中，一般用到的网络传输协议是协议，分层模型有四层，由下至上分别是网络接口层、网络协议层(层)、传输层以及应用层。在这四层协议中，传输层建立中口层之上，有两种协议，分
45、别是协议和协议。与的主要差别为：1)协议是面向连接的。使用分组数据并维护此连接，用户数据传送完毕后要撤除连接。协议是面向无连接的，每个分组都是独立的数据单元；2)在传输中，高层数据可以以字节流的形式传输给，字节流被缓冲，直到累积到一定长度时启动一次发送操作。而在协议中，传递给的是对应于数据的数据块；3)协议提供可靠传输服务，包括报文序列、流控制、差错检验、优先级等，而则不提供以上控制，是不可靠的服务。在远程视频监控系统中，控制数据对可靠性要求非常高，故需要应用协议，当检测到数据丢失或错误时，就会要求发送端重新发送，通过数据重传来恢复丢失的组块并提供有序的数据帧。但协议具有的错误重传机制、拥塞控
46、制机制、报文头比较大、以及启动需要建立连接等原因，不可避免的引起了传输延时和占用网络的带宽，一旦数据丢帧就会带来比较严重的延迟，无法保证实时性，很难适应音视频通信，特别是连续的媒体流(如视频流)通信的要求，使得利用协议进行视频或音频通信几乎没有可能。是一种无连接的数据报投递服务，虽然没有那么可靠，并且不能保证实时音视频传输业务的服务质量()，但由于的传输时延低于，所以往往用来在远程视频监控系统中传输视频图像数据。3.4.2 组播技术前面提到过，对于远程视频监控系统，视频数据的传输一般选用网络通讯协议，而采用的传送方式有单播传送、广播传送、组播传送三种方式。比较这三种方式，单播传送是一对一的传送，即每次传送的数据只能被一台主机接收。广播传送是一对多的传送，即广播的数据将同时传送到局域网内的所有主机。假如需要向n台主机发送相同的数据，如果采用单播的方式，而需要n次的点对点传送，这种传送方式的效率很低；而如果采用广播方式，数据会发送到局域网内的所有主机，这使得大量的主机收到与自己无关的数据，会造成主机资源和网络资源的浪费，这对本来数据量就很大的视频数据的传输来说尤其不合适。P组播虽然和广播一样也是一对多的传送方式，但接收端往往不是一个局域网内的所有主机，而是那些对收发数据报感兴
