《存储系统技术与架构.ppt》由会员分享，可在线阅读，更多相关《存储系统技术与架构.ppt（38页珍藏版）》请在三一办公上搜索。
1、第七章 存储系统技术与架构,7.1 监控存储技术及比较 7.1.1 磁带、磁盘与磁盘阵列 7.1.2 监控存储的应用特点 7.1.3 三种典型存储技术 7.1.4 存储技术的比较7.2 存储容量的计算7.3 存储系统应解决的问题7.4 大型监控存储系统的需求7.5 分布式存储系统架构 7.5.1 存储应用服务器 7.5.2 存储资源服务器 7.5.3 内容索引服务器,7.6 存储系统的工作原理 7.6.1 视频存储流程 7.6.2 视频查询流程 7.6.3 视频播放流程7.7 存储系统的物理性能 7.7.1 写入流程对存储的物理流程 7.7.2 查询和读取流程对存储的物理性能要求7.8 存储系
2、统的安全性7.9 存储系统的物理可靠性7.10 存储系统的评估体系 7.10.1 基准测试指标 7.10.2 评估指标体系,7.1 监控存储技术及比较,7.1.1 磁带、磁盘与磁盘阵列 以前在安防领域大多数都是采用磁带作为存储媒介，从2000年开始快速地数字化，到了2009年大部分都是以硬盘来存储数字化的信息，而这一改变的主要原因素就是IP视频等很多创新的应用需要采用硬盘来存储。,磁带库、DAS磁盘阵列和NAS（网络附加设备）设备的外观见图7-1.,图7-1,磁带存储器由磁带机和磁带两部分组成，其读写原理基本上与磁盘存储器相同，只是它的载磁体是一种带状塑料，叫做磁带，写入时可通过磁头把信息代码
3、记录在磁带上。磁带机按规模可分为：1、标准1/2英寸磁带机2、盒式磁带机3、海量宽磁带存储器,磁带存储器有磁盘盘片与磁盘驱动器两部分组成。磁盘阵列（RAID）是将同一阵列中的多个磁盘视为单一的虚拟磁盘，数据是以分段的方式顺序放于磁盘阵列中。RAID根据实现方式有全软RAID、半软半硬RAID与全硬RAID。1、全软RAID的所有功能都是操作系统与CPU来完成的，没有第三方的控制/处理。这是效率最低的一种RAID。,2、半软半硬RAID是一种把初级的RAID功能附加给SCSI或者SATA卡而产生的产品，它把软件RAID功能 集成到了产品的固件上，从而提高产品的功能和容错能力。3、全硬RAID则全
4、面具备了自己的RAID控制/处理与I/O处理芯片，甚至还有阵列缓冲，整体性能是这3种类型中最优的，但设备成本也是3种类型中最高的。,RAID卡根据接口方式分为IDE（现在PC使用的主流硬盘接口）RAID和SCSI（这是一种输入/输出总线和逻辑接口，主要目标是提供一种设备独立的机制用来连接主机和访问设备）RAID。如图7-2所示：,RAID 卡,图7-2,7.1.2 监控存储的应用特点与电脑所用的硬盘不同，监控系统在选择存储硬盘的时候需要考虑以下几点：首先是存储硬盘的容量需求弹性比较大，必须考虑可扩充性，在计算存储容量的时候，要考虑画面质量的要求、画面尺寸的大小、画面的帧率、存储时间的长短等因素
5、。其次，监控系统硬盘需要能够满足大数据流量长时间的连续读写，在运行的时候要求是全天气候、零故障，因为有了故障就非常麻烦，有时候要跋涉很远的距离去修理。,另外，在监控里面所用到的数据最重要是流畅性，并不是准确性，因为在一个画面里面有无数个数据，少了一两个数据其实对画面的质量完全没有影响，着重的考虑就是视频流的流畅。最后监控系统很多时间需要在高温和高湿的情况下操作，因此散热非常重要，必须考虑散热、功耗等指标。根据存储设备与服务器相连的方式，从体系架构上可以分为DAS（直接连接存储）、NAS（网络附加存储）、SAN（存储区域网络）几种模式。,7.1.3 三种典型存储技术7.1.3.1 DASDAS是
6、指将外置存储设备通过连接电缆，直接连接到一台计算机上。DAS存储的体系架构如图7-3所示,图7-3,7.1.3.2 NASNAS作为一种网络附加存储设备，采用嵌入式技术，具有无人值守、高度智能、性能稳定、功能转移的特点。NAS存储的体系架构如图7-4所示,图7-4,NAS设备主要用来实现在不同操作系统平台下的文件共享应用，与传统的服务器或DAS存储设备相比，NAS设备的安装、调试、使用和管理非常简单，采用NAS可以节省一定的设备管理与维护费用。NAS自身的共享设计使其非常适用于流媒体行业，而且就目前存储技术发展来讲，NAS和SAN之间的界限越来越模糊，许多厂家的NAS产品既支持IP访问又支持F
7、C-SAN访问，由此也使NAS有多种连接方式。,7.1.3.3 SAN SAN采用某种通信技术建立一个专用区域网络连接所有存储资源和要访问这些存储资源的服务器，实现存储资源的物理共享。SAN是专门连接存储外围设备和服务器的网络，它通常包括服务器、外部存储设备、服务器适配器、集线器、交换机以及网络、存储管理工具等。,SAN存储的体系架构如图7-5所示SAN可分为FC-SAN（采用光纤传输）、IP-SAN（采用以太网传输）、EC-SAN的造价高、传输速率快，而IP-SAN基于以太网传输，组网灵活、扩展性好。,图7-5,7.1.4 存储技术的比较DAS是最先被采用的网络存储系统，完全以服务器为中心，
8、存储设备作为服务器的组成部分。DAS不能满足大容量的存储需求，于是出现了NAS和SAN等其他存储技术。NAS是在TCP/IP协议基础上提供文件的存储服务，适宜于通过LAN传输存储文件和共享文件，客户端直接通过NAS系统的实现与存储设备之间的数据交互。SAN主要是基于光纤通道的、面向数据块的存储，可以看成是传统总线的扩展。随着数据量的增加，DAS和NAS暴露出不能为提高存储能力而无限制地增加存储设备的问题。,表7-1是对几中存储架构的比较表7-1 存储架构的比较,7.2 存储容量的计算,现在主流的视频监控产品的压缩方式有3种，按照CIF分辨率计算如下：MPEG4压缩方式：200MB/h/路 H.
9、264压缩方式：150MB/h/路 MJPEG的码流大小平均是MPEG4压缩方式的23倍。按每天24h连续录像，下面根据视频路数和存储时间进行视频数据存储容量的测算。,表7-2 录像保存天数与硬盘的容量,7.3 存储系统应解决的问题,存储系统架构的开放性、可共享性、灵活性和可扩展性尤为重要，可以从以下角度去理解存储系统应该解决的问题。（1）数据存储位置前端存储即视频信息存于视频服务器中，好处是存储成本低，缺点是由于视频服务器所在物理环境大多比较恶劣，很难保证存储系统的可靠性。（2）数据存储管理方式在存储架构的管理方面要综合考虑以下因素：容量管理配置管理性能管理可用性管理（3）数据存储的物理实现
10、数据存储的物理实现，也就是如何选择物理存储技术。,7.4 大型监控存储系统的要求,大型监控系统的存储系统一般需要满足以下要求：（1）支持多级存储架构，可以实现前端存储、中心存储、客户端存储，如图所示：,（2）支持多种视频监控录像方式，一般可以分为以下几种：实时录像抽帧录像自动录像手动录像报警录像动态侦测录像（3）存储管理服务器应该支持对分布式存储以及集中式存储的统一管理。（4）所有存储设备应具有足够的存储空间，经过复核后的报警图像应按相应的报警处理规范做长期保存。（5）存储的图像数据应保证具有CIF格式的图像分辨率，重要目标和报警图像宜具有4CIF的图像分辨率。（6）应具有以太网接口，支持TC
11、P/IP协议，宜扩展支持ISCSI、SIP、RTSP、RTP、RTCP等网络协议。（7）单台中心存储设备应支持多台视音频存储设备的同时访问，支持主流厂家视音频流编码设备。（8）应支持报警联动存储，系统接收到报警时，启动视音频信息存储。,7.5 分布存储系统架构,开放的、可共享的、可灵活扩展的存储系统架构非常重要，这里介绍一个运营级大规模监控系统的功能架构，如图所示：,用户认证/授权/记账服务器,中心管理服务器,内容存储管理架构,中心服务平台,前端单元,客户端单元,视频分发单元,内容索引服务器,存储资源管理器,存储应用服务器,前端接入单元,客户端接入单元,7.5.1 存储应用服务器存储应用服务器
12、以RTO/RTCP协议接收和发送视频流，主要功能如下：（1）、实时视频流导入和分段（2）、直接通过网络传输协议接收已分段视频文件（3）、视频内容查询回放,7.5.2 存储资源服务器存储资源服务器主要功能如下：（1）、物理存储设备连接（2）、视频文件的存储功能（3）、视频文件的读取功能（4）、多级存储支持能力（5）、数据复制技术（6）、数据安全和访问密钥支持（7）、数据一致性检查和异步恢复功能,7.5.3 内容索引服务器内容索引服务器主要功能如下：（1）、按照定义的索引规范对视频进行索引建模（2）、接收来自于存储应用服务器的索引信息（3）、接受视频内容查询请求，并返回结果（4）、管理视频文件的生
13、命周期（55）、管理存储策略（6）、颁发存储资源服务器访问授权密钥,7.6 存储系统的工作原理,7.6.1 视频存储流程视频分发服务器VTDU将某摄像头的视频流转发给存储应用服务器，存储应用服务器对视频流进行分割和文件化，按照预定义的索引策略，向内容索引服务器提出请求，通过内容索引服务器根据预定义的存储资源调度表以及健康状况信息，确定存储资源服务器并生成相关授权密钥给存储应用服务器，存储应用服务器使用此授权密钥访问对应的存储资源服务器。存储资源服务器把数据写入物理存储设备u，更新索引与文件系统映射表，同时内容索引服务器生成相应索引。,7.6.2 视频查询流程 用户通过监控客户端CU定义查询条件
14、，向内容索引服务器请求索引视频资源，索引服务器返回相关的查询结果，并展现给客户；同时内容索引服务器会提供用户CU与对应存储资源服务器的视频的授权密钥，为进一步的视频的播放和下载使用。,7.6.3 视频播放流程用户在检索结果界面上可以选择需要播放的历史信息，系统通过CMS和AAA认证检查到用户首选的VTDU，将用户的播放请求发送到首选的VTDU后，然后启动监控客户端CU连接到首选的VTDU；CU向该VTDU提出申请并提供授权，VTDU继续向对应的存储应用服务器提出申请并转发授权，存储应用服务器继续提交授权给存储资源服务器，存储资源服务器在认证授权通过后提取数据返回给存储应用服务，存储应用服务器对
15、数据流式化后分发给VTDU，VTDU将视频分发给CU进行播放。如果用户选择直接下载文件，则由CU接入单元直接查询结果相对应的存储服务器提取数据。,7.7 存储系统的物理性能,写入流程对存储的物理性能要求要求存储系统具有较高的多线程写能力，其I/O性能应满足以下计算公式：单视频流量*索引开销系数*存储视频头数量存储系统容量应满足的指标计算公式为：单视频流量*索引开销系数*存储生命周期*存储视频头数量,7.7.2 查询和读取流程对存储物理性能要求由于目前查询和提取用户业务量相对写入业务量非常小，所以对存储的I/O性能要求不高，可根据实际运营经验酌情评估。另外，系统性能实际上是有业务流程 各环节功能
16、模块共同协作的结果，所以在评估存储系统性能要求时，也需要与其他环节的协同平衡来考量。存储资源服务器要求较高I/O吞吐量并与连接的物理存储系统相匹配。,7.8 存储系统的安全性,数据的可靠性和安全性十分重要。存储设备中的单点故障可能引起巨大的经济损失。要确保保存数据的完整、可靠和有效调用，必须要满足以下条件：数据快照：全球网络存储工业协会（SNIA）对照（Snapshot）的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。快照可以使其所表示的数据的一个副本，也可以是数据的一个复制品。,数据卷复制：在同一个存储系统中，提供将一个逻辑卷（源卷）位
17、到位地完全拷贝到另一个逻辑卷（目标卷）的能力，允许在拷贝过程中对源卷进行只读性质的访问并挂起写操作，保证时间点数据拷贝的完整性。远程数据同步：数据远程同步功能通过将本地数据连续地复制或镜像到远程存储系统中去，以形成副本的方式实现对数据的保护，也是构建异地备份、异地容灾的最佳存储解决方案。,7.9 存储系统的物理可靠性,存储系统采用全冗余体系结构设计，系统无任何单点故障，必须提供良好的多平台兼容性，支持 SUN、IBM、HP等主要Unix系统和主要的Linux平台。正对不同的灾难原因，需要有正对性的解决。对硬件故障，需要采用硬件冗余的方法。对人为错误和软件故障，可采用数据冗余的方式。针对环境灾难
18、，可采用设备冗余的方法。有的容灾方法，如磁带备份既可以防范人为的和软件的逻辑灾难，也可以防范环境的物理灾难。,7.10 存储系统的评估体系,7.10.1 准则测试指标SPC（存储性能理事会）是由几乎全部的国外存储厂商和部分大学、研究机构组成，目前其主要成员包括Fujitsu、HP、IBM以及Sun。SPC是一个非赢利的组织，其使命是定义、标准化存储系统的基准测试，并提升存储系统基准测试的知名度，扩展其影响，使之成为计算机行业最具权威的存储性能测试结果，是计算机用户可以不受现存混乱的各种存储性能测试结果的影响。,7.10.2 评估指标体系建立存储系统评估指标体系的目的，是为了反映存储系统的功能、
19、性能等相关信息，为以后进行存储系统选型把好技术关。存储系统评估指标体系主要分成4个一级指标，分别是硬件指标、特性指标、软件指标、以及非技术指标，前 3个属于技术指标.,存储系统特性指标构建在存储系统硬件指标基础之上，通过可用性、可靠性、可管理性、可扩展性以及安全性这5项二级指标反应存储系统的性能。存储系统硬件指标由系统吞吐量、连接性、容量以及3rd硬件指标这4个二级指标构成，描述存储系统的配置情况。存储软件指标是存储软件实现的功能，可分为基础结构管理、备份和恢复管理、分层存储管理以及归档管理这4个二级指标。存储系统评估指标体系的非技术指标又可以分成4个二级指标，分别是规划能力、实施能力、服务能力和市场影响力。,
