《山东省警务云计算平台视频资源整合规划方案（意见修改稿） .doc》由会员分享，可在线阅读，更多相关《山东省警务云计算平台视频资源整合规划方案（意见修改稿） .doc（94页珍藏版）》请在三一办公上搜索。
1、 山东省警务云计算平台视频资源整合方案（意见修改稿）目录目录21 项目背景与必要性分析41.1 城市安防与云计算41.2 山东省安防现状分析51.3 项目必要性51.3.1 从信息孤岛到全局统筹的转变61.3.2 从人工监控到智能安防的转变61.3.3 从事后分析到事中追踪的转变71.3.4 从独立应用到综合联动的转变72 平台架构设计82.1 网络架构82.1.1 网络拓扑82.1.2 社会资源接入的安全机制102.2 软件架构122.2.1 平台架构图122.2.2 前端设备132.2.3 接入服务器132.2.4 中心服务器142.2.5 存储服务器集群142.2.6 处理服务器集群14
2、2.2.7 流媒体服务器152.2.8 客户端152.3 平台联动调度152.4 平台部署策略172.4.1 区县未集中处理的视频172.4.2 区县已集中管理的视频182.5 与科达一期平台的关系183 平台模块技术描述193.1 IaaS层cStor云存储193.1.1 cStor云存储系统193.1.2 cStor系统构架243.1.3 cStor架构描述243.1.4 cStor部署示意图253.1.5 cStor挂载接口263.1.6 cStor读写数据工作原理263.1.7 minicloud简介283.1.8 minicloud产品优势283.1.9 minicloud技术规格3
3、03.1.10 cStor存储性能303.2 PaaS层cProc云处理323.2.1 JobKeeper云调度323.2.2 cProc数据立方363.2.3 cProc数据立方关键技术393.2.4 cProc数据立方性能指标433.2.5 与同类技术/产品对比分析453.3 SaaS层cVideo云视频483.3.1 cVideo系统逻框图483.3.2 cVideo子系统描述503.3.3 cVideo接口描述693.3.4 cVideo总体性能713.3.5 cVideo智能识别734 图像资源库774.1 图像资源库建设内容774.2 图像资源库架构784.3 关键技术794.3.
4、1 图像增强技术794.3.2 目标识别技术804.3.3 颜色特征提取技术814.3.4 纹理特征提取技术824.3.5 形状特征提取技术834.3.6 大规模图像数据管理技术844.3.7 人脸识别技术854.4 图像数据库优势分析864.4.1 图像优化可用性高864.4.2 特征提取方便检阅864.4.3 办案视频同步上传874.4.4 高速索引秒级处理874.5 案件审讯库875应用实例895.1 道路状况检测895.2 车辆轨迹跟踪925.3 GIS联动935.4 重点区域智能监控945.5 套牌车检索955.6 移动终端监控976 联系方式991 项目背景与必要性分析1.1 城市
5、安防与云计算城市公共场所往往有成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频数据需要监控管理平台存储和处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。首先，需要对所有的视频录像进行逐帧浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。理想情况是一旦有重要事件发生，系统就可在事后能快速查找到线索。针对上述海量监控视频录像的事后分析，传统以人
6、海战术为主的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标内容识别、分类等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻警方刑侦人员的工作负荷，海量视频分析功能的实现和应用将大大提高监控效率。国内外很多公司以及机构都在这一领域投入了大量的研究，将云计算，智能识别等技术联系在一起，更好的为安防服务。充分利用云计算的海量数据计算能力和智能的处理能力，不仅能大大缩小了对于各类事件的事后取证所需要
7、的时间，提高了取证效率，而且对于各种突发事件的预防、响应都起到了积极有效的作用。1.2 山东省安防现状分析山东省公安厅贯彻执行“平安城市”方针，目前全省已先后建立了110余万台监控摄像机，为全省人民的安全提供着保障，但同时，如此庞大且分散的监控体系也带来了巨大的挑战。矛盾主要集中在： 海量视频需要存储，但现有存储空间严重不足； 视频码率清晰度不断提升，但传输网络带宽资源不足； 小块区域集中管理，但跨区域调用视频困难； 监控还未达到智能化程度，时效性不强，多用于事后回调；在之前的建设与管理中，省厅已打造了一个视频资源共享平台，实现了将8万路视频资源的整合和统一管理，取得了很大的成功。但与全省11
8、0万的总量相比，仍有许多工作要做，并且还需要进一步将社会上的视频资源也纳入到整个监控体系中来。本次项目计划为二期方案，在一期已有工程的基础上，接入剩下的20万路公安网视频，同时，也为今后将全省其他社会资源上的摄像头进行规划和考虑。1.3 项目必要性公共区域视频监控系统的建设是平安城市建设必不可少的重要组成部分，其视频监控资源的整合、优化以及利用程度是城市信息化程度的重要标志之一，大部分的公共区域中已建成大量、属于各个部门、基于不同制式标准、不同设备、不同平台的视频监控系统，但目前这些资源并没有得到有效整合，无法跨平台、跨部门进行集中优化处理，这就造成了城市现有视频资源利用率低、重复建设、缺乏统
9、一调度等不良现象，本项目基于这个现状旨在建设一个统一的、城市级的视频监控平台，将城市现有的视频监控资源有效整合起来，并在此基础上针对各类城市管理中的应用需求，实现高效实用的业务应用。通过构建cVideo综合视频监控云平台（以下简称“平台”），将城市可利用的全部视频资源经过优化、整合及智能处理后，透明地呈现给使用者，为城市管理提供有力支撑。“平台”在现有信息化建设基础上，集成现有视频监控资源，建设大规模视频实时接入处理分析监控平台，实现与现有平台，网络摄像机、以及新建监控设备的对接，实现上万路的视频接入。对上述视频监控平台的视频接入后，要求实现转码处理、智能识别、解码上墙和数据存储回看等功能，以
10、满足不同终端的访问需求、实现车流统计等交通数据的提取、对关键数据进行存储、以及实现大屏控制等功能。实现从传统的模式向云模式的转换，并可以带来巨大的获益。1.3.1 从信息孤岛到全局统筹的转变针对山东省现在已有的图像平台，需要对省市两级主要平台完成升级改造，确保实现公安视频图像信息共享平台之间的联网互通，同时兼容各地承建的视频监控系统和平台，以提升整个山东省公安图像信息的共享度。“平台”将散落在各个派出所或者小区域中的“信息孤岛”相互连接，构成由省厅统一管理的四级大平台，使视频数据能够互通共享，并以此为基础构建丰富多彩的上层应用。1.3.2 从人工监控到智能安防的转变在实现互联之后，我们仍会发现
11、新的问题。目前，成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频数据需要监控管理平台处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。首先，需要对所有的视频录像进行诸秒浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。因此，用机器代替人工（机器结合人工），是必然的趋势，通过智能地图像识别算法，将“可疑”的视频筛选出来，如此一来可以大幅降低人为
12、的干预度，提升监管效率。1.3.3 从事后分析到事中追踪的转变一般针对事件可以分为事前预防、事中跟踪和事后取证。理想的情况是：一旦有重要事件发生，系统就可在很短时间内查找到线索并定位，而目前海量监控视频大多以录像的形式用于事后调取和回看，并且主要以传统人海战术的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标内容识别、分类等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻警方刑侦人员的工作负荷
13、，海量视频分析功能的实现和应用将大大提高监控效率。国内外很多公司以及机构都在这一领域投入了大量的研究，将云计算，智能识别等技术联系在一起，更好的为安防服务。通过对云计算的海量数据计算能力的充分利用，提供智能识别所需的处理能力。这样不仅能大大缩小了对于各类事件的事后取证所需要的时间，提高了取证效率，而且对于各种突发事件的预防、响应都起到了积极有效的作用。1.3.4 从独立应用到综合联动的转变在现有的条件下，视频监控大多数时间是以一个单独的应用呈现，或是通过大屏进行实时监控，也可能是通过电脑终端进行监控管理。然而随着信息化程度的不断提升，单一的监控已然无法满足用户的需求，具有联动功能的综合型平台愈
14、发成为转变的方向。因此，需要实现将警务综合平台与视频结合应用相互结合，整合成一共公共的基础平台，以更好地提供各类上层应用系统的使用。同时，从视频、声音、图像到信息提取、资料汇聚再到上层应用，无一不有大数据穿插其中，如何应对如此海量的信息和数据，如何将这些数据变成可以有效利用的宝贵资源也成为了日渐热议的话题。2 平台架构设计根据省厅已有建设情况和对实际需求的深入分析，本方案利用 cStor 云存储和 JobKeeper云调度技术构建统一的cVideo云视频监控管理平台软件，部署在标准X86服务器集群上，通过对已有监控资源的整合，实现海量高清视频监控的数据存储和智能处理。2.1 网络架构2.1.1
15、 网络拓扑针对山东省的实际情况，多级cVideo云视频监控系统采用分布式架构，分级管理和部署。以街道派出所为单位，初期拟定每个所部署一台“minicloud”（“minicloud”迷你云微型数据仓库将在下面的章节中进行详细描述），用于视频数据的保存，从区级到市级再到省级分别部署cVideo系统，cVideo系统的架构会在2.2中进行具体描述。整个“平台”构建于公安网之上，其中，省级中心处于核心地位，部署元数据服务器，用以统一管理元数据信息，各派出所则使用“minicloud”中的三个互为冗余的节点担当存储节点的角色。“平台”遵循“就近接入、本地存储、中心统筹、权限管理”的方针，随着存储容量需
16、求的增加，只需在容量不足的派出所增加存储节点（服务器）即可，十分方便。而区县级和市级主要负责对区域视频的汇聚和处理，部署cVideo系统，并将处理后得到的信息提供给各上层应用服务。cVideo云视频监控平台针对省级的建设方案采用多级部署的方式，大致拓扑如下图所示：图2-1 cVideo多级部署概要图初步预计每个派出所需要存储的监控摄像机按100路左右，平均码流按2Mbps计算，则存放半个月需要的存储容量约为：2 / 8 * 3600 * 24 * 15 *100 = 32.4TB“minicloud”是由三台服务器所组成的小型云平台，能够存储的总容量为：9 * 3 * 3 = 81TB为了保证
17、数据的可靠性，对数据进行1：1备份后，可用容量为：40.5TB，可以满足初期的需求。随着使用和前端设备的增设，容量需求会愈发增加，这时我们同样提供了机架式的扩展方案，当存储容量不足时，只需在“minicloud”下新增存储节点（服务器），系统容量会自动增加，实现扩容十分方便。前端监控设备所采集到的视频数据保存在所属的“minicloud”中，或经过接入服务器，接入所属区级的cVideo监控平台中进行管理和处理，各级客户端访问相应中心服务器，按需操作和调控。云处理服务器提供空前的数据处理能力，提供诸如视频转码、内容识别等海量数据的处理支持。查看历史视频时，接入云存储遵守分区接入、分局接入和就近接
18、入原则，考虑到突发事件会致使查看视频记录的人员增多，分布式部署可以很好地缓解接入压力。2.1.2 社会资源接入的安全机制考虑到今后肯定要逐步将全省110万路摄像机都接入到“平台”进行统一的调度管理，这就必须要考虑公安网和社会公网之间安全性和保密性的问题，cVideo监控平台在实际布设过程中，建议遵循跨网络必须经过网闸和缓冲资源池的规则，示意图如下：图2-2 cVideo网络隔离概要图本次建设的“平台”将作为二期平台，构建于公安网之上，在与一期平台平稳过度对接的同时，确保高度的安全性及视频的实时性。对于今后社会资源公网中的监控前端设备，纳入“平台”管理，需要考虑到安全因素和流量等多方面的问题，不
19、建议通过网闸直接将社会资源接入公安网，最主要的原因有两个：一是只经过了一层网闸，虽然在一定程度上保证了安全性，但是级别不是很充分；二是社会资源摄像头的数量惊人，而网闸在保证安全性的同时却牺牲了性能，通过网闸的带宽受到了严重限制，无法实现利用网闸将社会资源全部纳入公安网中。因此，我们提出了缓冲资源池的建议，对安全性和传输带宽进行了双重保障，其大致架构如下图所示：图2-3 社会资源接入建议架构图假设途中192.168.x.x网段为社会资源网，10.x.x.x网段为公安网，在中间加入缓冲资源池（172.x.x.x网段），该部分可租用电信运营商的机房和带宽，作为过渡层，一方面对社会资源进行收集汇总、存
20、储分析，另一方面利用软件防火墙和运营商的安全机制进行了第一次的安全保障。之后再通过交换机和网闸转接如公安网，期间网闸提供了第二次安全保障。其次，对于公安网用户来说，社会资源的接入完全是按需的，只有当有需求时，才会通过网闸将社会资源中的实时视频流或者历史存储资料调取到公安网中，而在绝大多数情况下，数据仅仅是停留在了缓冲资源池中，不会对网闸造成很大的压力。但另一方面，一旦进行了网闸设置，势必会对带宽有所限制，因此为了保证网络互联互通的同时，保证系统的安全性需对视频数据进行云转码传输。由于视频转码计算量很大，单一的计算机不可能实现整个监控系统内的摄像头实时视频数据的转码。cVideo研发了云端转码技
21、术，将视频转码计算放到云端（即缓冲资源池），实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流，不同终端的使用需求。 图2-4 转码前后视频对比视频接入模块首先将不同厂家的前端设备接入进来，对于支持RTSP的采集设备，我们利用标准的流媒体协议接口实现视频和音频数据的传输。对于不支持RTSP的采集设备，我们利用设备厂商提供的SDK进行接入。然后在cProc云计算平台上利用高效的转码技术，将采集到的高清视频信号解码后再重新编码，在满足用户需求的同时降低对网络带宽的消耗。同时将转码后的视频流推送给流媒体服务器分发出去。图2-5 云转码流程2.2 软件架构2.2.1 平台架构图如下图所示，
22、cVideo云视频监控平台是部署于标准X86服务器上的软件平台，主要由七个子系统组成：前端设备、接入系统、处理系统、存储系统、流媒体服务器、中心调度系统和客户端。这七个模块既相互独立，又协调统一，共同对外提供服务。图2-6 cVideo平台模块架构图2.2.2 前端设备前端设备在中心服务器的调度下进行信息采集，以RTSP的形式传输给存储/处理服务器集群，或者以SDK的形式传输给接入服务器。(前端设备包括：模拟摄像机、网络摄像机、卡口设备、第三方平台等)2.2.3 接入服务器整合各种前端设备，将不同厂家不同平台的前端设备通过RTSP标准流媒体协议或者SDK私有协议的方式接入本系统，以实现对多种前
23、端摄像机和已有平台的统一接入，供本平台内其他模块统一调用，并以轮询的方式监听前端设备，如有异常则产生报警信号。2.2.4 中心服务器平台的核心控制部分，实现了与客户端的信令交互、通过JobKeeper云调度系统来调度云集群节点处理各项任务、并实现对整个平台的统一管理和监控。a）用户管理功能：根据用户信息表，管理用户登录、用户的权限，可以管理用户信息、增删用户等。b）前端信息采集设备管理功能：根据摄像机和用户的权限，管理当前用户所能涉及的前端设备状态、节点运行状态，并进行实时的更新。c）与用户和前端设备的信息交互功能：更新前端信息，并根据客户需求进行对前端设备调度，以及对JobKeeper的任务
24、分发。同时，进行信息数据的处理，以完成整个平台的调度工作。d）对服务器集群进行统一的调度管理，获取每台机器的运行状态。根据机器的运行状态进行自动调度和部署，负载均衡，提高机器的使用率，进而提高服务器的梳理效率。e）解决服务器集群信息处理的冗余状态，查错排错，保证系统的无人值守、自动生长的高效性。2.2.5 存储服务器集群使用cStor云存储系统，提供统一的存储资源池，用以存储关键数据，提供历史视频的回看以及相关数据的下载服务。同时，支持网络挂载盘符的模式，以满足整个平台中其他模块的存储需求。2.2.6 处理服务器集群大致可以分为接入分析、数据处理和结果分发三个子模块，主要负责对完成对接入视频的
25、各项处理任务，诸如：内容识别、实时转码、录像存储等，再将处理好的结果发送至流媒体服务器和存储服务器。2.2.7 流媒体服务器以流媒体服务器的形式对外提供标准的RTSP流媒体服务，用户根据相应的流媒体RTSP地址，即可实时地获取系统处理完后的实时视频数据，以供监控和远程访问。采用虚拟IP技术，备份冗余机制，针对公网和内网不同的访问需求提供不同的码流推送。2.2.8 客户端支持Windows、Linux、iOS、Android等主流操作系统，提供B/S和C/S架构客户端，控制视频解码上墙等，实现与用户的直接交互。2.3 平台联动调度按2.2节中所说的架构，在实际应用中，经常会出现跨级的联动调度问题
26、，下图展示了cVideo云视频监控平台多级联动调度的流程。 上级中心总平台的接入服务器和下级子平台的中心服务器信令交互，上级平台的接入服务器相当于下级平台的一个超级管理员用户。总平台通过接入服务器登陆到子平台，从而进行获取设备列表、获取设备信息、云台控制、获取流地址等操作。 上下级平台的设备管理、用户管理、日志管理等功能相互独立，下级平台和第三方平台对“平台”的用户不可见，用户可以透明地访问各平台的前端监控设备资源（可以知道设备是属于哪个平台、哪个部门的，但不能直接登陆到下级平台或第三方平台）。在“平台”用户视角，相当于所有下级平台和第三方平台的设备都是直接部署在此综合的云平台之上。图2-7
27、多级部署上级视频数据流对接如上图所示，如果是上级中心总平台用户想查看某前端摄像机的实时视频，那么，该用户首先通过客户端或浏览器登陆平台，随后发出对某路视频的监控请求，中心调度系统会根据数据库里的摄像机设备信息将任务经由接入服务器发送给政务专网的中心调度系统，由其调度相应接入、处理服务器进行进入和转发处理。该视频流经过子平台流媒体服务器转发至总平台，客户端得到该地址即可播放出实时视频流。如果此时子平台的用户也想监控上述该路的实时视频，在请求该路监控时，子平台的中心服务器会自动发现该监控任务已由总平台用户发起过，只要经过总平台中心控制的许可，便可立即将流媒体服务器推送地址反馈给客户端，子平台用户的
28、客户端则直接可以播放出该路实时视频流。如下图所示：图2-8 多级部署下级视频数据流对接2.4 平台部署策略针对山东省的实际情况，在之前的规划和管理过程中，部分区域已经实现了按区县为单位对现有视频做了集中管理和存储，而另一些则是完完全全的“信息孤岛”状态。在“平台”的实施部署过程中，需要充分考虑到这些因素，以“不重建、多复用”为主旨，充分利用已有的平台和系统，实现对异构的监控体系的统一管理。2.4.1 区县未集中处理的视频对于区县没有集中处理的视频，“平台”会按照2.1章节中的部署规则，给每个派出所部署一套minicloud，用其本地化保存视频数据，并接受省厅中心的直接管理，同时提供给上层应用和
29、服务的支撑。2.4.2 区县已集中管理的视频对于区县已经集中管理过的视频，“平台”则不会对该区域及其下属派出所新建设备，而是与该系统交互，通过其SDK进行对接和信息交互，获取需要的管理信息及视频流。从用户的角度而言，呈现在面前的只是单纯的一个个独立的摄像机，用户不必关心前端的摄像机具体是从我们部署的minicloud中传输过来的，亦或是从已有区县系统中传输过来的，“平台”已经将中间过程透明化，以更贴近用户的使用习惯。2.5 与科达一期平台的关系 根据架构的描述，可以看出，对于本“平台”，科达承建的一期平台相当于一个子平台，本“平台”通过接入服务器与其通信对接，通过其提供的SDK或平台对接方式进
30、行取流和控制的交互。因为与柯达平台均属于公安网，因此不需要考虑跨网段的问题。3 平台模块技术描述方案采用信令流和数据流分离的方式，在标准X86(X64)服务器集群上部署存储、处理、调度等软件系统，形成一个整体的云视频监控解决方案，实现对现有视频监控资源的整合。采用云调度和云存储技术，有较高的扩展性和容错能力，解决服务器单点故障问题，降低升级和维护成本。3.1 IaaS层cStor云存储3.1.1 cStor云存储系统3.1.1.1 cStor简介cStor云存储系统是9年来不断积累研发的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包括软件与硬件，是一个海量的云存储平台。与传统的大
31、规模存储系统相比，它具有构建成本低、性能高效可靠、使用简单方便的特点。在需要存储大量数据（如视频数据、业务数据等）的应用场合，可以大幅提高存储系统性价比。与目前国际上知名的云存储厂商相比，具有更高的性价比、更低的能耗、更加通用和更方便的使用模式。图3-1 cStor云存储系统3.1.1.2 cStor主要优势 高可靠性系统中采用廉价的大容量存储服务节点，通过cStor系统软件实现统一管理和容错，提供高效、稳定服务。与使用专用服务器相比，可以将系统构建成本节省5-10倍以上，且规模越大，优势越明显。在降低系统的构建成本的同时，系统的可靠性不仅没有收到影响，相反，通过一系列的可靠性保障机制，使得c
32、Stor系统具有高可靠性的特性。在cStor云存储系统中，数据具有多个副本（默认情况下是2份，可以根据需要设置），任意节点出现故障，系统将会自动复制数据副本到新的节点上，不会丢失数据。这样，在节点发生故障的情况下，也可以实现数据的无间断服务。同时，元数据管理节点采用双机镜像模式容错，如果有一节点出现故障，另一节点自动接替。 高性能cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写；这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高。 在线伸缩cStor云
33、存储系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。 通用易用cStor云存储系统提供标准POSIX接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。如：同时，cStor也提供专用的API接口，供开发人员调用。 智能管理提供基于WEB的管理平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor中的所有节点实行无间断监控，用户通过
34、监控界面可以清楚地了解到每一个节点和磁盘的运行情况。3.1.1.3 cStor关键技术 负载自动均衡技术cStor采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在Master Server上，文件则划分为多个chunk存储在不同的Chunk Server上。Master Server维护了一个统一的命名空间，同时掌握整个系统内Chunk Server的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据Chunk Server的磁盘使用情况、网络负担等情况，选择负担最轻的Chunk Server对外提供服务，自动均衡负载负担。另外，当某有一个Chunk Serv
35、er因为机器故障或者其他原因造成离线时，Master Server会将此机器自动屏蔽掉，不再将此Chunk Server提供给客户端使用，同时存储在此Chunk Server上的数据也会自动的备份到其他可用的Chunk Server上，自动屏蔽Chunk Server故障对系统的影响。 高速并发访问技术客户端在访问cStor时，首先访问Master Server节点，获取将要与之进行交互的Chunk Server信息，然后直接访问这些Chunk Server完成数据存取。cStor的这种设计方法实现了控制流和数据流的分离。Client与Master Server之间只有控制流，而无数据流，这样
36、就极大地降低了Master Server的负载，使之不成为系统性能的一个瓶颈。Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与Chunk Server的数量呈正比。 高可靠性保证技术对于元数据，cStor通过操作日志来提供容错功能，当Master Server发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。为了防止Master Server彻底死机的情况，cStor还提供了Maste
37、r Server远程的实时备份，这样在当前的Master Server出现故障无法工作的时候，另外一台备Master Server可以迅速接替其工作。对于Chunk Server，cStor采用副本的方式实现容错。每一个chunk有多个存储副本（默认为两个），分布存储在不同的Chunk Server上。副本的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个Chunk Server，必须将所有的副本全部写入成功，才视为成功写入。在其后的过程中，如果相关的副本出现丢失或不可恢复等状况，Master Server会自动将该副本复制到其他Chunk Server，从而确保副
38、本保持一定的个数。在有多个Chunk Server的情况下，任意损失一个节点，数据都不会丢失，而且随着Chunk Server数目的增多，整个系统的可靠性越大。同时，系统除了支持传统的1：1、1：2的冗余备份技术外，也支持高效的N：N+M的编码容错技术，即：假设将原始文件切分为N个数据块，通过冗余编码技术，将其编码后增加了M个数据块，数据总量变成了N+M个数据块。从中任意取出N个数据块即可将文件还原，进一步提升了空间利用率，确保数据安全可靠。 高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通
39、过注册管理机制自适应管理，实现自动伸缩。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用冗余备份机制，多个存储节点情况下，任意损失一个节点，数据不丢失，系统不停机，FTP等上层服务不停止。3.1.2 cStor系统构架图3-2 cStor云存储系统架构如上图所示，cStor云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（Master Server）和数据存储节点服务器（Chunk Server）以及客户端节点的结构构成一个虚拟的海量存储卷。3.1.3 cStor架构描述Master Server
40、保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了cStor云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在Chunk Server上，每一个块数据服务器，及时存储服务器也是客户端服务器。对每一个节点，cStor云存储系统提供的管理监控中心都可以对其进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异
41、常告警等功能；另外，网管监控中心还提供有如FTP、CIFS、NFS账户添加等客户端管理和配置工具。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的Chunk Server即可，而不需要添加整套设备。3.1.4 cStor部署示意图cStor云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错。所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统。通过增加或者减少存储节点的方式，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影
42、响系统对外提供服务。图3-3 cStor云存储部署示意图3.1.5 cStor挂载接口对于cStor云存储的用户来说，通过cStor客户端可以将海量云存储系统映射成一个本地海量磁盘（Windows客户端）或者映射到一个目录（Unix、Linux、MacOS、FreeBSD等客户端），对于此磁盘或者目录的读写操作，即可实现云存储系统数据的读写。并且，cStor支持NFS、CIFS、FTP等协议的访问接口。同时，由于cStor文件系统支持POSIX接口规范，对于目前一般的应用不需要做二次开发即可使用。3.1.6 cStor读写数据工作原理图3-4 cStor客户端写数据流程其详细过程是：cStor
43、客户端向元数据服务器发起数据写请求；元数据服务器根据其管理的存储节点的工作和使用情况，根据负载均衡的原理，在相关存储节点上创建一些新的数据块；相关存储节点服务器创建成功，将结果返回给元数据服务器；元数据服务器一方面备份和同步此元数据信息，另一方面将相关存储节点信息返回给客户端；客户端根据得到的存储节点信息，向对应存储节点发出数据写请求，并向存储节点发送数据；存储节点接收数据并存储到相应块，同时也向其他存储节点发起备份；当本地写以及备份均成功后，存储节点将成功信息返回给客户端；客户端收到成功信号后，即完成数据的存储。下图为cStor客户端读数据流程图如下所示：图3-5 cStor客户端读数据流程
44、总的来说，cStor云存储系统的控制流和数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正相关。3.1.7 minicloud简介云计算的飞速发展，使云存储领域涉及的范围越来越广，随着企业办公人员对数据存储安全性和可靠性的要求越来越高，使用传统的存储模式，如移动硬盘、U盘、刻录光盘等方式，都存在着使用不方便、管理麻烦等诸多问题，特别软硬件故障可能导致本地存储信息的大量丢失或损坏。因此如何安全可靠的存储企业运营数据，成为了现在企业办公的重中之重。 因此，云创存储推出minicloud微型云计算数
45、据中心，用最少的成本为企业部署云存储以及企业办公应用软件，为办公室配置一朵迷你的云，满足企业的办公需求，大幅度降低了企业IT建设的门槛与风险。图3-6 minicloud外观图3.1.8 minicloud产品优势 超安全的私有云计算数据中心 minicloud采用可靠的分布式云存储,最大支撑三个27TB的存储节点,采用1:1容错保证企业数据安全可靠,minicloud可作为企业的数据中心,为企业的各种重要数据提供安全可靠的存储,重要数据包括企业设计文档、设计图纸、经营数据等。 海量存储空间支持灵活使用 裸容量高达81TB，采用1:1容错，可用空间最大达40.5TB，既可作为应用软件（如邮箱、
46、视频监控等）的海量存储空间，又可以作为员工的私密存储空间，还可以作为数据共享空间。为了保障数据安全，办公室内部共享数据与通过互联网共享数据采用完全隔离的两套系统。 简易的部署方式 随着中小型企业、学校等单位的迅速发展壮大，拥有自己的服务器是必不可少的。但是传统的服务器的部署不仅占用空间，而且可能还需要有专门的机房，对于办公场所面积有限制的企业、单位来说部署一套传统的服务器是相当不易的。而minicloud具有节省空间的得天独厚优势， 441mm 550mm 350mm的大小集三个服务器于一身，完全消除企业单位应对部署服务器的困难。不需要专业人员就能在自己的办公场所部署一套集成多应用的服务器。
47、人性化的系统监控 可方便地对minicloud进行监控，完成对系统的实时监控，包括云存储容量的监控、磁盘的监控、CPU的监控以及内存的监控，界面效果如下图所示。图3-7 minicloud监控界面 可靠的企业应用 企业应用程序包括邮件服务器程序、数据库、云存储管理节点等均采用双机热备，为企业提供安全可靠的应用，保证应用程序可持续的运行；同时minicloud提供配置接口，通过配置可实现第三方应用程序的双机热备。 自动同步 各个客户端中文件夹自动同步，服务器文件自动保持一致，多客户端文件自动同步。 多平台随时访问 minicloud微型云计算数据中心支持Windows客户端、网站、Android客户端、iPhone/iPad客户端，方便用户随时随地访问minicloud。 便携共享，协同办公 minicloud支持多人共享同步文件夹，提供了更加便捷的协同办公的方式。3.1.9 minicloud技术规格“minicloud”产品根据不同应用对象的应用需求以及对系统配置的要求分成三种技术规格，详细说明如下。表3-1 “minicloud”技术规格表经济型（minicloud M1100)
