天网云存储系统建设方案.docx

《天网云存储系统建设方案.docx》由会员分享，可在线阅读，更多相关《天网云存储系统建设方案.docx（12页珍藏版）》请在三一办公上搜索。

1、天网云存储系统建设方案1.1存储需求概述XX天网二期需要建设XX个高清监控点位，随着城市防控体系系统规模越来 越大，以及高清视频的大规模应用，对系统中需要存储的数据和应用的复杂程度 在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以 调用，对存储系统的可靠性和性能等方面都提出了新的要求。面对数百TB甚至上PB级的海量视频存储需求，传统的SAN或NAS在容 量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现 性能与容量的线性扩展，这对于本项目存储系统来说是一个新选择。视频云存储通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中 的存储设备集合起来协同

2、工作，共同对外提供数据存储和业务访问功能。为满足 本次高清点位视频存储的需求，同时符合行业发展趋势，满足业务使用需求，本 次XX天网二期拟建设云存储系统进行录像存储和业务访问接口。大容量存储需求随着各地城市视频监控系统建设的深入，摄像头数量日益增多。前端建设普 遍采用1080P高清摄像机。依据平安城市的建设要求，高清图像存储30天，那 么一万路视频的总存储容量需要大致为十几个PB。集中存储需求对于城市级系统数十PB的存储需求，若采用通用IPSAN存储方案，则需上 千台IPSAN，难以实现高效、统一的存储与设备管理，无法高效支撑公安视频实 战应用。高IO性能需求基于视频大数据的智能实战应用对大量

3、视频的快速收集与分析有非常高的 要求，而传统IPSAN存储方式由于IO性能低，无法满足视频大数据应用的存储 与应用要求。1.2存储系统基本要求在设计XX天网视频监控系统存储系统时，依据以下设计要求：(1) 监控点的录像过程将对网络交换设备产生很大的压力，核心交换机应能 负担如此大的交换压力，需考虑网络故障以后录像数据的缓存功能以及网络恢复 以后的补录功能。(2) 能集中管理所有存储资源并统一调度，统一部署存储策略。与存储资源 物理位置无关，只要IP网可达，便可实现对存储资源随时随地检索和回放。(3) 保障存储系统数据的安全性，对访问权限进行集中管理与分配。(4) 存储空间统一管理、统一分配，可

4、实现无缝在线扩容。(5 )存储系统具有冗余备份的能力，提供持续稳定的性能。(6)存储系统提供标准的运维接口，维护简单方便。(8 )存储系统具备高可靠性，出现设备故障后，存储业务不中断。本项目在XX分局建设分布式视频云存储中心，每个存储中心依据接入到该 区的视频前端的数量实际情况，规划建设分布式云存储系统。1.3云存储拓扑示意图，芹博服龛胞岳，NFSUCS的存储节点通过Uni-FS分布式文件系统，将多台存储节点上的物理资源形成一个统一的大存储池对外提供数据存储空间，并提供数据保护功能。云存储提供标准的CIFS/NFS/FTP/HTTP等文件传输访问协议；通过流媒体服务器过存储服务器实现照片流，视

5、频流的转存；提供标准访问接口，兼容性好；利用云存储提供的纠删码、复制卷等多种基础数据可靠性，解决视频数据冗 余问题，当存储节点、磁盘故障保证业务不中断，数据不丢失1.4云存储架构下图为分布式云视频存储解决方案总体架构图。1 (I述年I谒第ms瞄务nr -b- bw w 负町坷菌弼切换畛管理Hh7P服务存储节点，存财F点】存flf节点降弥存砧图：分布式云视频存储解决方案总体架构图本次项目所采用的分布式云存储方案主要包含三大模块，分别为：业务服务 层，数据处理层以及物理硬盘层。业务服务层作为云存储系统的对外管理GUI界面和业务功能服务层，实现云 存储相关的功能，如负载均衡、故障自动切换、认证管理、

6、配额管理等，并可基 于标准协议ISCSI/NFS/CIFS/FTP、POSIX接口等提供对外的业务连接接口;数据处理层作为云存储系统所有存储节点之上的分布式文件系统，它将各物 理存储设备节点组成一个集群，对外提供文件存取和数据保护等功能。完成内部 文件系统的管理，完成各存储节点间的通信和任务调度、任务监测等。完成存储 节点和设备的虚拟化。它采用无元数据设计的全对称分布式架构，支持3300 个存储节点的弹性无缝扩展，可提供PB级单一存储空间。物理磁盘层为云存储系统的基本组成单元，对外提供数据存储空间，包含实 际的存储节点及其所插入的硬盘等。本次项目新建的摄像机通过运营商提供的网络直达区分局机房，

7、各分局对应 的摄像机视频存储在各分局建设的分布式视频存储中心中，其中XX分局的视频 资源就近接入XX分局分布式视频存储中心，XX分局视频资源就近接入到XX分 局分布式视频存储中心。1.5云存储功能特性1.5.1无元数据设计元数据就是记录数据逻辑与物理位置的映像关系，以及诸如属性和访问权限 等信息。传统分布式文件系统一般采用集中式元数据服务或分布式元数据服务来 维护元数据。集中式元数据服务会导致单点故障和性能瓶颈问题，一般情况采用双机主备 方式来解决单点故障问题但无法解决性能瓶颈问题，因此此类分布式文件系统的 扩展性相对来说较差；而分布式元数据服务存在增加算法的复杂度，在性能负载 和元数据同步一

8、致性上存在问题，特别是对于海量文件的应用，元数据问题是个 非常大的挑战。本次宇视UCS云存储系统采用无元数据服务的设计，取而代之使用算法来定 位文件。集群中的所有存储系统管理单元都可以智能地对文件数据分片进行定位， 仅仅根据文件名和路径并运用算法即可，而不需要查询索引或者其他服务器。这 使得数据访问完全并行化，从而实现线性性能扩展。1.5.2弹性算法本次设计的UCS云存储系统，不需要将元数据与数据进行分离，集群中的任 何存储节点和客户端只需根据路径和文件名通过弹性HASH算法就可以对数据进 行定位和读写访问，且文件定位可独立并行化进行。1.5.3全局统一命名空间分布式文件系统最大的特点之一就是

9、提供全局统一的命名空间。全局统一命 名空间就是将多个存储服务器的磁盘和内存资源聚集成一个单一的虚拟存储池， 对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池 中进行弹性扩展。全局统一命名空间可以让不同的用户通过单一挂载点进行数据 共享，I/O可在命名空间内的所有存储设备上自动进行负载均衡。本次项目采用的宇视UCS云存储系统是基于文件系统提供统一命名空间，在 同一个、云存储系统中可以同时有多个文件系统的卷(物理资源池，由多个存储 设备的资源组成)，不同的卷创建的文件系统有不同的命名空间。云存储系统同 时也是基于文件系统的卷提供共享文件目录，因此不同用户可通过访问这个单一 的

10、共享文件目录，实现IO在这个文件系统命名空间内的所有存储设备上自动负 载均衡。1.5.4纠删码数据保护本次项目宇视UCS云存储系统的数据保护采用数据N+M纠删码保护模式， 通过N+M纠删码实现M个节点冗余，资源利用率为N/(N+M)云存储支持基于文件系统级别（卷级别）的N+M纠删码，对文件采用原数 据+冗余数据的保护模式，N为文件原始数据分片份数，M为冗余数据分片份数。 在N+M卷模式下，最多可允许M个节点故障，数据仍可被正常访问，并自动恢 复。如下以4 + 2为例介绍：文件写入，文件被分为多个固定大小的数据块，而1个数据块被分为N个数 据分片，通过N+M纠删码算法得到M个冗余分片，存入N+M

11、个存储节点，如下 图；在没有存储节点故障时，文件直接从数据分片中读取。净储节点1净储节点W寿储节摭m净储节席4序俑节点5祥情节点6当M个节点故障时，文件读取恢复:可通过其他节点数据算出数据，如下图:尊储节旗1净储节点乏存怖节点3存情节点4 奔慵节点5存情节点61.5.5弹性扩展本次项目UCS云存储系统采用无元数据设计，通过弹性HASH算法定位文件 访问的架构，决定了云存储系统获得了接近线性的高扩展性。UCS云存储系统支持从横向和纵向的扩展模式，实现在容量、性能和带宽三 方面的线性扩展。横向扩展：通过增加存储节点，实现系统容量、性能和带宽的扩展。存储节 点最大可扩展至300个。纵向扩展：在单节点

12、的硬件性能范围内，通过增加磁盘扩展柜和磁盘实现系 统容量和性能的扩展。1.5.6负载均衡与故障切换本次采用的UCS云存储系统提供前端虚拟IP地址池，为节点分配动态IP 地址，客户端根据域名访问云存储系统，采用轮询的方式为客户端（流媒体服务 器等）返回不同的IP地址，实现业务在不同节点上进行读写访问，从而达到业 务负载均衡的目的。客户端访问云存储系统如图示： 客户端使用域名访问云存储系统，发送域名解析请求到DNS服务器; DNS服务器轮询返回云存储系统前端虚拟IP池中的IP给客户端; 客户端使用DNS返回的IP访问云存储中相应的节点。故障切换功能是当节点宕机之后，可以将该节点上的动态IP地址漂移

13、到其 他节点上，由其他节点继续提供服务，保持业务的连续性，待故障存储节点恢复 之后，重新为该节点分配动态IP地址，继续提供服务。&皿皿皿皿 ggQ如: 皿堀M石塞畚孕期心： 192.16S-OJO* 七 *152.168Q251.5.7访问协议本次采用的UCS云存储系统支持NFS、CIFS、FTP、HTTP、iSCSI协议 访问。NFS主要应用于流媒体服务器为Linux的操作系统;CIFS主要应用于流媒 体服务器为windows的操作系统，实现视频文件和照片文件的存储与访问。FTP是TCP/IP网络上两台计算机传送文件的协议，FTP客户机可以给服 务器发出命令来下载文件，上传文件，创建或改变服

14、务器上的目录，支持间接使 用远程计算机，使用户不因各类主机文件存储器系统的差异而受影响；可靠且 有效的传输数据。HTTP协议（HyperText Transfer Protocol超文本转移协议）是用于从 WWW服务器传输超文本到本地浏览器的传送协议。1.5.8认证方式UCS云存储系统支持本地认证和外部域认证，域认证支持外部AD域服务 器认证，外部LDAP域服务器认证和外部NIS域服务器认证。1.5.9系统管理管理同时支持图形界面和命令行方式。管理员可以通过Master浮动IP地 址访问统一的网管界面，完成对集群系统的监控、配置、资源分配、性能统计和 告警浏览等操作。支持Email，SNMP

15、Trap，短信，蜂鸣器，指示灯，数码管等多种告警方 式。当卷处于挂载状态时（工作状态），对共享文件夹设置系统用户的配额，可 以限制该系统用户在共享文件夹下的最大写入数据大小。一个用户可以在多个共 享文件夹下拥有不同配额，一个共享文件夹下也可以有多个不同配额的用户。配额的设置又分为硬配额和软配额的配置，先介绍下硬配额和软配额的定义: 硬配额：一旦设置了硬配额大小，当用户数据达到配额大小时用户无法 再写入新的数据，系统可根据设定发送配额通知邮件给用户。 软配额：一旦设置了软配额大小，当用户数据达到配额大小时系统可根 据设定发送通知邮件给用户，但用户仍可以在容许时间内写入新的数据， 如果未配置硬配额

16、，则可以写入数据直到达到可用卷资源的大小；如果 设置了硬配额，则可以写入到硬配额的大小。1.6存储系统配置及设备性能要求分布式视频存储节点配置如下：存储系统为无单独元数据节点的对称分布式存储设备，采用横向扩展架构， 最少支持200个存储节点，全Active并行模式，节点地位均等、数据均衡分布， 支持无单独元数据管理节点的对称分布式架构，简化云存储管理，消除性能瓶颈。支持负载均衡与故障保护，配置负载均衡功能；业务自动在各节点间负载均 衡，当任意节点故障时，故障节点上的业务能自动切到其他节点，并实现自动负 载均衡；支持多副本及跨节点冗余校验技术：可提供全局数据灵活多级别冗余设置保 护，支持纠删码、

17、多副本、RAID2.0等保护技术；节点间可通过N+M纠删码技术和 复制技术实现数据保护；提供统一的命名空间；支持多种认证方式；支持配额管理和权限管理；支持POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST等标准访问协议，兼容HDFS API，支持Hadoop应用；存储单节点性能配置：1）双核处理器，不少于8GB缓存，可扩容至32 GB； 4个千兆以太网数据接口， 配置万兆网卡；支持硬盘前面板热插拔便于后续安装和维护；支持网口聚合、 负载均衡；支持多个网口设置同一 IP地址实现数据链路冗余，其中一条链 路失效不影响数据存储；2）4U高度/24盘位；支持扩展柜，最大可接9级扩展柜

18、，支持最大接入240个 硬盘；3）RAID功能：支持RAID 5、0、1、10、6、50等RAID级别，支持基于磁盘块 做RAID； RAID阵列可即建即用；当RAID出现故障失效时，RAID中的录像可 进行回放；4）在RAID中磁盘发生故障时，空白磁盘可自动转换为热备盘以替换故障硬盘 并重建RAID；5）局部重建功能：当RAID中的磁盘拔掉之后短时间内再插上，该磁盘能恢复 到原有RAID中，RAID阵列恢复正常；6）支持磁盘漫游，磁盘更换槽位后可在图形界面上显示新的磁盘槽位，不影响 RAID使用；7）磁盘休眠：支持对不使用的磁盘休眠；8）冗余功能：支持电源、风扇、电池的冗余及热插拔；9）支持

19、异构虚拟化功能；支持NAS的本地备份、远程备份功能；10）双bios功能：支持主bios及备bios，主bios故障时可从备bios启动；11）支持磁盘顺序加电；支持异常掉电来电后业务自动恢复；12）降级、重建功能：RAID中磁盘发生故障，RAID处于降级、重建状态，不影响数据写入；13）数据保险功能：电池保护缓存下刷功能，掉电后存储数码管有显示缓存数据 下刷的进度，重启后数据无丢失；14）支持硬件和环境监控功能，可对设备电压、环境温度、网络接口及CPU使用 率等状态信息进行实时查看；支持SNMP设备管理协议，实现SNMP报警；1.7存储连接网络设计前端流媒体。的器/存储服务器存储系统采用业务

20、端口和管理计算端口相互分离的网络结构。任何一台存储 都通过网线/光纤连接到2台不同的交换机上，实现链路备份和负载均衡。存储前端采用千兆业务接口和业务交换机相连，实现对服务器转发过来的码 流的存储和完成服务器对码流的调取请求等。存储节点后端采用万兆业务接口和后端的云存储管理网络相连接，实现存储 的管理，纠删码的冗余计算和恢复等。同时在堆叠交换机上对相应的端口做聚合。1.8云存储系统与平台的业务接口UCS 云存储系统支持 POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST 等标准 访问协议，兼容HDFS API，支持Hadoop应用。可根据标准协议接口连接平台的 流媒体服务器，也可提供API接口供平台侧进行对接接入等。云存储系统整体承载了 XX平安的视频写入，本次涉及XX路高清IPC，图像 码流按照4Mbps计算，则总体流媒体服务器和云存储之间的传输总带宽为XX Mbps，具体各分局和各自分局部署的云存储节点设备的带宽和本分局接入的IPC 数量相关。