《XX省工商局容灾系统建设方案.doc》由会员分享，可在线阅读，更多相关《XX省工商局容灾系统建设方案.doc（55页珍藏版）》请在三一办公上搜索。
1、XXX工商局数据大集中容灾系统建设方案安徽中科大国祯信息科技有限责任公司2009年4月目 录1概述32信息系统可用性风险和技术分析42.1计划内停机维护对IT系统的影响分析和技术解决方案42.2意外事件对IT系统的影响分析和技术解决方案52.3各种技术解决方案对企业信息高可用性的保护覆盖范围63省工商应用级容灾系统建设方案93.1方案综述93.2容灾方案的功能特点说103.3容灾系统的工作原理113.4容灾工作过程详解173.5应用级容灾系统费用估算214省工商数据级容灾系统建设方案224.1方案综述224.2Symantec远程镜像数据容灾原理224.3Symantec远程镜像数据容灾系统故
2、障和灾难的响应244.3.1当生产中心数据系统故障254.3.2灾备中心数据系统故障以及生产中心和灾备中心SAN链路故障264.3.3故障修复后的恢复（远程镜像快速恢复）264.4系统容灾方案结构和实现274.5应用级容灾系统费用估算275容灾系统外包285.1我公司的容灾外包服务方式285.1.1初级数据保护服务实现方式305.1.2中级数据保护服务实现方式315.1.3高级数据保护服务实现方式325.2我公司的数据灾备专业服务模式355.2.1运维及管理的组织机构365.2.2运维及管理的规范395.2.3应急服务流程405.2.4灾难演练流程设计475.2.5日常运行维护管理策略525.
3、3服务外包费用估算571 概述随着省工商业务量快速增长，业务系统越来越依赖他们的信息技术服务，信息服务的可用性对于政府服务公众越来越重要。同时，随着政府信息化的不断完善，信息服务管理人员（信息中心）开始意识到，仅有一个可用的IT系统远远无法满足业务的需要，政府机构的信息服务应当基于一个高可用的架构，以确保信息系统具备在相当长的一段时间内持续执行其功能的能力。尤其是省工商关键业务系统停顿时间决对不能超过1分钟，目标是永不宕机，而省工商的业务系统作为关键应用，业务停顿时间不能超过半个小时，目标是5分钟的时间。无论何时何地我们对于IT系统的追求都是在降低成本的前提下，IT系统宕机时间越短越好。而目前
4、传统的架构是难以满足这样的要求的，从经验判断：在建设了政务信息系统后，管理人员开始发现，尽管在系统建设的时候，已经充分地考虑的服务器以及存储设备的硬件冗余，但信息系统还是经常由于种种原因而不得不停止正常的服务。事实上，IT系统的可用性是一种“链”，即使最简单的一个信息服务系统，也是由诸多软、硬模块共同组合而成，在“链”中的任意一个环节的不可用对于用户而言，其结果都是一样的无法使用信息服务在IT建设阶段，用户通常会将系统可用性的注意力集中在Network和Server层面上，以构建一个稳健的硬件架构；但当系统投入使用后，用户逐渐意识到Application/Database/OS/Storage
5、的可用性往往显得更为重要，企业信息系统几乎90%以上的停机事件是由于系统/存储/应用程序等方面原因造成的。IT系统的停机事件可以基本分为2大类：1计划内停机维护2意外事件造成的停机故障2 信息系统可用性风险和技术分析2.1 计划内停机维护对IT系统的影响分析和技术解决方案在IT系统运行的过程中，企业需要周期性地停止IT系统的服务，对系统的软硬件以及存储进行一定的调整，技术上我们称这种停机事件为计划内停机维护，它通常包含以下一些内容：n 系统的一般性检查维护，包括：网络设备检测、主机硬件设备自检、磁盘数据校验、OS一般性告警事件检查，或更换工作不正常的部件，添加部件以改善性能等n 硬件Firmw
6、are和主机系统OS的升级，打补丁等需要重启硬件设备的操作，或相关可能对系统造成潜在严重影响，但又必须完成的例行工作（比如某些安全补丁或固件升级会造成系统的崩溃或运行不正常）n 应用系统或数据库的软件升级，通常需要停止相应的信息服务n 存储系统的调整，比如添加/替换磁盘，调整存储空间，调整存储网络但随着企业业务可用性的要求不断增长，允许系统管理者进行停机维护的时间越来越短，甚至要求在进行上述正常周期性维护的时候，不能停止信息服务，面对这样的需求，通常会采用一些高可用技术方案来满足：n 采用冗余的，支持热插拔的硬件设备，当需要进行固件升级的时候，将硬件插拔到其他系统进行。n 构建共享存储的Clu
7、ster群集环境，包括购买群集软件，添加冗余的主机设备，当需要进行系统维护时，将信息服务系统切换到热备的主机上，继续提供服务，待系统维护完成后，再切换回原系统。n 购买专业的存储管理软件，升级磁盘阵列系统，构建弹性的企业存储平台2.2 意外事件对IT系统的影响分析和技术解决方案信息系统的意外事件其实包含着许多因素：n 人为的错误，比如误操作或误删除数据造成信息服务的不可用n OS、应用程序、硬件设备的失效或任何一个环节发生改变后所造成的不兼容问题都会导致信息服务不可用n 由于软件设计过程的原因，造成运行一段时间后服务提供能力出现下降，也会导致信息服务不可用n 由于软件设计原因，导致当出现某种特
8、定事件时，数据发生逻辑上的不一致，将直接导致该应用的不可用n 战争、自然灾害、公共设施等非可抗力原因也会造成信息系统长时间甚至永久的不可用针对上面的意外事件因素，企业信息管理者需要在2个技术层面来保障系统可用性：1在存储上保证应用数据的可用性，包括：n 通过存储快照技术来防范应用逻辑错误以及人为失误带来的数据不可用风险n 通过存储镜像技术来防范磁盘或磁盘阵列失效带来的存储系统不可用风险n 通过存储多路径技术，防范由于网卡板卡端口故障带来的存储系统不可用风险n 通过数据复制技术，防范灾难带来的数据损毁风险2在应用上保证程序运行的不间断性，包括：n 采用并行计算技术提高应用程序的可用性级别n 采用
9、HA群集软件，让备份系统可以迅速接管不可用的应用系统2.3 各种技术解决方案对企业信息高可用性的保护覆盖范围综合上面的分析，我们可以发现，合适的部件冗余，群集技术和存储镜像、快照、复制技术是构建一个高可用企业IT平台的必要技术手段，虽然没有任何一种单一技术可以解决企业信息系统的全部高可用需求，但通过灵活组合这些高可用技术并形成高可用的解决方案，可以满足企业用户的高可用需求，各种高可用技术的分析如下表：高可用技术保护覆盖范围无法防范的停机因素硬件冗余主机服务器失效操作系统失效SAN 网络失效应用程序错误机房故障/失效逻辑数据不一致RAID磁盘故障多磁盘同时故障，阵列故障主机服务器失效操作系统失效
10、机房故障/失效逻辑数据不一致存储快照逻辑数据不一致多磁盘同时故障，阵列故障主机服务器失效操作系统失效机房故障/失效群集技术应用程序错误 主机服务器失效操作系统失效逻辑数据不一致存储失效数据复制/广域群集机房故障自然灾害逻辑数据不一致但是，信息系统管理员的挑战不仅限于发现这些能提高企业IT可用性的技术，而在于有效利用这些技术，来提高最终信息服务的可用性，比如：主机操作系统或应用系统需要支持所配置的冗余部件，否则就无法达到高可用目的；存储管理软件需要支持多路径技术，否则就无法抵御存储网络的意外风险，尽管已经部署了冗余的网络结构；群集系统需要支持快照及存储冗余技术，否则就无法实现应用程序的高可用性。
11、这说明只有整合这些高可用的技术，简化在部署这些高可用组件的过程中，所带来的额外的复杂性问题，才能够在信息服务的整体高度层面上实现高可用架构的规划。传统的IT架构采用单一服务器作为应用系统的承载平台，而这样的架构面临着巨大的挑战，多数大型企业已经放弃这一架构，转而采用更为高性能、高安全性、高扩展的应用及安全承载方案建立集中的数据中心以及后台存储系统，面向应用的提供统一的数字资源共享服务。在系统建设中面临如何实现海量、高性能、安全开放的数据存储、如何保障系统扩展性、关键数据安全等问题。各应用的关键性较强，是整体的核心应用。应用系统的数据量将不断增长，在线访问人数也将不断增加，对于存储系统的建设，提
12、出了较高要求。因此，核心存储系统应具有高端的处理性、海量存储、性能与容量在线扩容等能力，以支撑业务发展的需求。长期以来,对企业而言,建立一套可行的容灾系统相当困难,主要是高昂的成本和技术实现的复杂度。鉴于此,从可行性而言,必须具有良好的性能价格比。 建立异地容灾系统，即指建立远程的数据中心，通过配置远程容灾系统将本地数据实时进行远程复制，同时实现本地系统故障时应用系统的远程启动，确保系统的不中断运行。 建立异地容灾中心的优势在于： 强大的一级灾难抗御能力。 有效防止物理设备损伤产生的灾难后果。 提供99.9999%的安全机制。 实时数据复制提供强大的数据交换能力。随着数据安全技术的发展，Clu
13、ster（HA）的技术越来越成熟，Cluster 的部署越来越普及，Cluster 技术确实解决了用户系统的高可用性问题，为业务的良性发展提供了稳定的基石。随着业务的发展，商业环境对服务供应商提出的要求也越来越苛刻，这必将使应用系统及其数据对高可用性的要求走上一个新的台阶。 一个本地Cluster 系统理论上可以提供99.99%以上的系统高可用性，但一旦发生火灾、自然灾害、人为破坏等意外事件，服务商将如何应对呢？如果没有必要的准备和应对手段，这样的一次意外对服务上来说将是灾难性的。对于IT 部门来讲，要提高自己的抗灾能力，其必要的技术就是建立起一个容灾系统。 容灾系统的归类在另一个方面要由其最
14、终达到的效果来决定。从其对系统的保护程度来分，我们可以将容灾系统分为：数据容灾和应用容灾。 所谓数据容灾，就是指建立一个异地的数据系统，该系统是本地关键应用数据的一个实时复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。 所谓应用容灾，是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统（可以是互为备份）。建立这样一个系统相对比较复杂，不仅需要一份可用的数据复制，还要有包括网络、主机、应用、甚至IP 等资源，以及各资源之间的良好协调。应用容灾应该说是真
15、正意义上的容灾系统。3 省工商应用级容灾系统建设方案3.1 方案综述1. 目前省工商已建立了生产节点的高可用系统，生产节点的2台数据库服务器主机构成一个高可用集群，2台应用服务器构成1个高可用集群，通过SAN连接到高可用磁盘阵列，在提业务高可用性同时为应用容灾做好准备。2. 建立容灾节点的高可用系统。新购两台服务器主机（和生产中心的服务器为同一品牌）和新购一台存储设备；并建立生产节点和容灾节点之间的以太网链路及FC SAN链路。3. 在所有相关主机（包括生产节点的4台服务器和容灾节点的2台服务器）上安装Veritas基础套件（Storage Foundation HADR），以完成数据容灾和应
16、用容灾全部功能。4. 将生产节点主机的数据（逻辑卷），通过适当的方式（同步/异步）复制到容灾节点的容灾主机上，从而实现数据容灾。5. 生产节点和容灾节点均为高可用集群环境，通过全局集群管理模块GCO管理生产节点和容灾节点集群的切换；当生产节点发生灾难时，整个业务集群环境可以切换到容灾节点，从而实现应用容灾。3.2 容灾方案的功能特点说为便于描述，按照系统可能出现的各种故障和潜在风险，说明本方案对各种情况下的数据保护措施：1 生产中心的物理故障：生产中心为无单点故障的系统，所以能够从容应对各种可能性的物理故障。服务器故障：1台数据服务器故障，1台应用服务器故障，网络通信故障，均能快速切换到本地的
17、备用服务器上，保持系统正常运行。光纤交换机故障：这里采用两台光纤交换机作双连接，彻底消除SAN环境下的存储连接的单点故障。磁盘阵列故障：解决磁盘阵列单点故障的方式有两种，方式一、采用双阵列，通过VERITAS的软件实现跨阵列的数据镜像，（两台阵列还可跨越到不同的大楼中，最远可达100公里）任何一台阵列失效，系统照样运行；方式二、采用高可用的无单点故障的阵列，该阵列具备双电源，双控制卡，双通路等，磁盘仍然划成镜像的数据卷，仍然能够实现无单点故障，和方式一实现的效果相同，但缺点是镜像的数据盘只能在一个机柜中，不能放到较远的地方。（本方案由于生产中心在一个大楼里，故采用方式二）2 生产中心灾难生产中
18、心发生毁灭性的灾难时，由于数据是采用VVR实时复制到容灾中心，容灾中心保留了生产中心的最新的实时数据拷贝；同时容灾中心建立了与生产中心相同的高可用集群环境，通过GCO的控制可立刻启动容灾中心的高可用系统，接管生产中心的全部应用。3.3 容灾系统的工作原理本章将就该方案的每个细节进行讨论，包括方案的详细讲解，软件的实际配置方法等。通过阅读和理解本章，您将了解VERITAS容灾解决方案的实现方法，并清楚地知道VERITAS容灾解决方案是切实可行的，并且有相关的实施案例和实施经验。我们假设原来就已经按照双机系统设计，那么本方案仅需要增加不同地点间的广域连接，不需要增加其它硬件。软件方面要用VERIT
19、AS高可用软件替换原有的HA/Cluster软件，新增Volume Manager、VERITAS Volume Replicator和Global Cluster Manager，该模块均包含在DR套件中。在介绍功能前，需要强调的的是：VERITAS提供的是完整的容灾解决方案。各个软件的功能完全集成在一起，建立一个容远程数据复制、本地容灾、远程应用切换于一体的方案。1 VERITAS Volume Manager(简称VxVM) 将在物理磁盘上建立多个或一个逻辑卷(Volume)。以裸设备的方式使用卷，或在卷上建立文件系统。将数据（特别是需要进行远程复制的相关文件系统、数据库）存放在卷上。由
20、于数据复制是基于卷的，所以，Volume 是进行复制的基础。2 VERITAS Volume Replicator(简称VVR)负责远程数据复制。VVR复制基于Volume进行。复制的数据可以是数据库中的数据（文件方式或裸设备方式）和文件。复制的示意图见图。1) VVR与VxVM完全集成在一起。用VxVM管理界面和命令统一配置管理；由于VVR仅仅将Volume上每次I/O的实际数据实时复制到远程节点，所以在网络线路上传输的数据量很少，对带宽的需求也很小。；2) 将各个业务系统中需要进行远程复制的多个或一个卷定义为一个Replicated Volume Group(简称RVG)；3) 在Site
21、 A定义一条RLINK，指向Site B；在Site B也定义一条指向Site A的RLINK。RLINK是单向的；需要进行复制的两个系统各定义一个指向对方的RLINK；每个RVG定义一个RLINK。例如有Site A和Site B两套系统同时用Site C的系统作为备份。在Site A定义一个RVGa，包含需要进行数据复制的卷；在Site B定义一个RVGb，包含需要进行数据复制的卷；在Site C定义两个RVG，名为RVGa和RVGb，分别作为Site A RVGa和Site B RVGb的备份。然后，在Site A定义RLINK to_c1，指向Site C；在Site B定义RLINK
22、 to_c2，指向Site C；在Site C定义两个RLINK，一个to_a,指向Site A,另一个to_b,指向Site B。 4）Storage Replicator Log(简称SRL)是VVR中的重要部件。将数据复制各方的某个卷定义为一个SRL。需要复制的数据首先要写入SRL，然后传到异地。VVR通过SRL保证数据复制严格按照写顺序进行，这在异步工作方式下非常重要。当网络中断或异地系统出现故障时，本地数据将记录在SRL中，等系统恢复正常时再将SRL中的数据按照先进先出的顺序传送到异地。当SRL满后，VVR将通过Data Chang Map（简称DCM）记录变化过的数据块的块号。 V
23、VR数据流程见： 5）Data Change Map（简称DCM）与主节点的RVG相关，它其中的内容是位图信息，记录某一时间点后修改过的数据块位置。DCM在正常情况下不使用，在SRL满后记录变化的数据块的块号，当恢复正常复制后，等SRL中的数据传送完后，将DCM中记录的块传送到异地。灾难恢复后的反向复制也用到DCM。6）数据复制的工作模式缺省为同步/异步自适应，即在网络延时情况较好、数据能够及时复制时，工作在同步方式，完全保证两边数据的一致性；当网络延时情况较差、数据不能及时复制时，工作在异步方式下，保证主节点的I/O性能。数据复制根据实际情况，自行在两种工作模式之间切换。 如果数据复制的线路
24、带宽有限，出于保证本地服务器读写性能的考虑，可以将复制工作模式定义为异步。由于VVR的数据复制严格按照I/O的修改顺序进行，所以，无论在同步还是异步工作方式下，都能保证数据的完整性。对于数据库系统，该复制机制能够保证灾备节点的数据库在灾难发生时正常启动并提供服务。7）后备节点的完全同步，即所谓的”建立基线”。在主节点往后备节点正常复制数据前，必须逐块逐块地将主节点中需要复制的数据拷贝到后备节点，也就是说，将双方的RVG进行同步。 后备节点的完全同步分为两种情况，一是复制时主节点应用不进行数据更改，二是复制时主节点应用进行数据更改。两种情况下，都可以采用自动同步方式或采用备份和检查点(Check
25、 Point)结合的方法。 自动同步是指通过网络将数据从主节点(Primary)复制到备份节点(Secondary)。方法很简单，只要进行一步操作即可完成。自动同步对带宽要求较高，否则，将无法完成完全同步。自动同步要求RVG中的每个卷都有DCM。 对于网络带宽较小，或者需要完全同步的数据量太大时，使用备份与检查点结合的方法。在备份开始前，在主节点设置检查点，该检查点记录在SRL中，然后将数据备份到活动硬盘、光盘、磁带或其它介质上。备份完成后，将检查点取消。将备份的数据恢复到后备节点上。然后将RLINK连接挂上，主节点SRL中记录的的数据传送到后备节点，完成后，两边数据一致，进入正常数据复制状态
26、。用该方法进行数据完全同步，要求SRL卷大些，等完成后，再将SRL卷通过Volume Manager在线缩小。8） 当某些严重意外情况发生后，后备节点会变成新的主节点，称为角色转换。在灾难期间，不进行数据复制，新的主节点用DCM记录变化数据位置。9） 当原来的主节点在灾难后恢复正常，需要进行数据反向同步和角色转换。反向同步有两种情况，一种是在灾难发生时刻，原主节点与灾备节点的数据是同步的（即无未复制的数据）；第二种是在灾难发生时刻，原主节点与灾备节点的数据不是完全同步的（即主节点有数据尚未复制到灾备节点）。第二种情况在反向同步开始时第一步首先要进行重置，指将原主节点SRL和DCM中数据（这些数
27、据在灾难发生时尚未来得及传送）的位置信息修改当前主节点（即原后备节点）的DCM。然后，将DCM中指向的数据全部传送到原主节点。而第一种情况的话，直接进行第二步工作。传送完成后，将当前主节点的数据库和应用停止，将双方角色复原，并在原主节点提供正常服务。 10）脱机处理。通过使用VVR的In-Band Control(IBC)消息、Snapshot、以及Volume Manager(VxVM)的FastResync(简称FR，即快速同步)功能，可以实现数据的脱机处理。 脱机处理主要指对后备节点种的数据进行处理，例如进行备份、打印报表、数据仓库处理等。脱机处理由打破后备节点的镜像卷、对镜像数据进行处
28、理、重镜像等几个过程组成。 11）双收条（双重确认）机制。指后备节点对复制数据的接收确认有两个阶段。第一个确认当后备节点收到数据后发出；第二个确认当后备节点数据成功写入硬盘后发出。当主节点收到第二个确认后，将SRL中的相应数据清空。3 VERITAS Cluster Server（简称VCS）是用于本地容灾的集群软件，支持多达32个节点的应用级切换，保证本地业务系统的软硬件高可用性。VCS以其出色的可靠性和易管理性闻名。VCS的功能特点请见附录。在本方案中，VCS主要负责以下功能：2） VCS负责监控和管理硬件系统和操作系统，当出现故障时进行切换。3） 通过数据库代理(Agent）监控和管理数
29、据库系统，当出现故障时进行切换。4） 通过API或脚本编写针对性客户化应用代理，监控和管理应用系统，当出现故障时进行切换。5） 通过Replicator 代理监控和管理数据复制过程，当主服务器数据复制发生故障时，自动将数据复制工作切换到后备服务器，保证数据复制过程的连续性。这点对于容灾系统非常重要。该代理充分说明VERITAS提供的是完整的容灾解决方案。6） 主节点和备份节点的VCS集群系统都在Global Cluster Manager的统一监控和管理下，从而实现集群系统间的远程应用切换。GCM在VCS中以两个服务组（指GCM Master和GCM Slave）的形式存在。4 Global
30、Cluster Server（简称GCM）可以称为Clusters Cluster（集群的集群）。它负责对多个不同地点的多达32个集群系统进行监控和管理，在发生严重灾难时，进行site的切换（即应用的远程切换）。GCM Console为Web界面，通过浏览器管理各个Cluster系统，并在管理界面中主动控制或响应远程切换。3.4 容灾工作过程详解为方便论述，本节模拟地点A和B，两地各有一套建立在VCS双节点集群上的业务系统，以B地点的系统作为A地点的备份。切换示意图见。1 正常情况下：1） 业务系统运行在地点A，包括数据库实例、有关的文件、数据库数据、应用软件。A节点对外提供服务。2） A节点
31、所有的有关的数据通过VVR实时复制到B节点。3） 两地的VCS对的各自节点内的两台服务器的主机情况、数据库服务、应用软件进行实时监控和管理，其中，VCS还对VVR数据复制服务进行监控。4） GCM 监控两地Cluster系统的运行。2 当A地点的主服务器发生硬件或软件故障，导致主服务器无法提供正常服务：1） VCS进行本地切换，将主服务器的数据库服务、应用软件、VVR数据复制服务切换到本地后备节点。2） 整个系统运行在本地后备节点，包括VVR数据复制服务，由后备服务器提供对外服务和数据复制服务。3） GCM将监控到该切换事件的发生。4） 如果仅仅是主服务器数据复制服务发生故障，可以不进行切换，
32、只需将复制服务修复并正常运行。3 如果A地点的主服务器恢复正常，整个系统将重新运行在正常情况下。4 如果在情况二的状态下，A地点的后备服务器也发生硬件或软件故障，整个A地点无法正常提供服务：1） GCM 将监控到该严重灾难的发生，将对接收到的Site A down事件进行处理：发出严重告警，并在管理界面上弹出服务灾难性切换（及服务切换到远程地点）等待确认画面。2） 在有关人员确认后，在GCM切换等待确认画面上按确认按钮，将进行地点间的容灾切换。3） A地点的业务将在B地点正常提供服务。4） 数据复制暂停。5） Site B的VVR将从Secondary变成New Primary，使用DCM记录
33、所有变化的数据块。5 如果A、B地点间网络发生故障：1） VVR心跳检测将发现该故障，A地点VVR将根据事先的配置进行处理。我们的建议是VVR将网络故障期间所有数据的更改记录在SRL。2） 如果在一段较长时间内，网络故障无法恢复。当VVR的SRL卷接近满时，VVR将使用DCM，记录变化的数据块位图。3） 在网络故障发生后，GCM将探测到，并对Network Down 事件进行处理：向有关管理员发出告警。6 如果A、B地点间网络在短时间内恢复正常。1） VVR将把A的SRL中积累的数据传送到B。2） VVR处于正常工作状态。3） GCM处于正常工作状态。7 如果A、B地点间网络在很长时间内仍无法
34、恢复正常：1） VVR停止远程数据复制。2） GCM无法对两地间的Cluster运行进行监控。8 灾难复原。当A地点的系统恢复正常后，需要进行整个系统的回迁。数据反向复制时只复制灾难期间变化的数据而不是所有的数据，这是本方案优势之一。1） 在灾难期间，B地点是VVR的New Primary，B的DCM记录所有变化的数据块。2） A系统正常后，VVR重新建立与B节点的RLINK连接，并自动变成Pseudo Secondary（伪后备节点）。3） GCM 发现A、B地点Cluster恢复正常，对它们进行正常管理。以下过程将在脚本中自动完成。4） 进行反向同步的第一步是将A节点的Pseudo Sec
35、ondary状态转成Secondary状态。5） 第二步将进行A的SRL和DCM的重置(Replay)，修改B的DCM。因为在A节点发生灾难时，有可能A的SRL中有没来得及进行传送得数据，甚至DCM中标记的数据块没来得及进行传送。也就是说，A中有一些本地已经修改，而B还未修改的数据。所以，要保持A、B数据的一致性，一定要首先对这些数据进行处理。处理方法成为重置(Replay)。重置将把A节点SRL中数据或DCM中标记的数据位图信息传送到B节点。B节点将进行判断，根据数据块是否有新的修改，对DCM进行置位。6） 重置完成后，将进行数据的反向同步，将灾难期间B节点变化的数据（和需要A节点重置的数据
36、）传送到A。7） 以上的过程中，B的数据库和应用都处于正常运行状态。8） 当反向同步完成后，数据库和应用将停止运行。9） GCM控制进行整个系统的反向切换。10） A节点重新成为VVR的Primary，进行正常复制。11） A节点整个业务系统恢复正常运行。3.5 应用级容灾系统费用估算序号项目描述数量单价（万元）合计（万元）1机房建设20平米，机房装饰装修、供配电系统、防雷系统、地线系统、消防火灾自动报警及灭火系统、综合布线系统、空调新风及机房防灾害处理措施1套40402网络设备一台三层交换机，一台路由器1套30303小型机和中心同一档次2台25504光纤交换机和中心同一档次2台10205存储
37、和中心同一档次1台60606集群容灾软件实现服务器应用切合和数据复制（VRTS STORAGE FOUNDATION ENTERPRISE HA/DR 5.0 AIX）1套65657总计人民币贰佰陆拾伍元整265备注：以上费用不含光纤线缆架设或租赁的费用4 省工商数据级容灾系统建设方案4.1 方案综述1. 目前省工商已建立了生产节点的高可用系统，生产节点的2台数据库服务器主机构成一个高可用集群，2台应用服务器构成1个高可用集群，通过SAN连接到高可用磁盘阵列，在提业务高可用性同时为应用容灾做好准备。2. 建立容灾节点的高可用系统。新购两台光纤交换机和新购一台存储设备；并建立生产节点和容灾节点之
38、间的FC SAN链路。3. 在生产节点的4台服务器上安装Veritas基础套件（Storage Foundation），以完成数据容灾功能。4. 将生产节点主机的数据（逻辑卷），通过适当的方式（同步/异步）复制到容灾节点的容灾主机上，从而实现数据容灾。4.2 Symantec远程镜像数据容灾原理Symantec建议利用VERITAS Storage Foundation系列软件的镜像技术，来构建容灾方案。利用VERITAS Storage Foundation的镜像技术构建容灾系统是非常简单的，它只有一个条件，就是将生产中心和灾备中心之间的SAN存储区域网络通过光纤连接起来，建立城域SAN存储
39、网络。然后，我们就可以通过Storage Foundation提供的非常成熟的跨阵列磁盘镜像技术来实现同城容灾了，容灾方案的结构如下图所示：从镜像原理上讲，在城域SAN存储网络上的两套磁盘系统之间的镜像，和在一个机房内的SAN上的两个磁盘系统之间的镜像并没有任何区别。利用裸光纤将生产中心和灾备中心的SAN网络连接起来，构成城域SAN网络以后，利用 VERITAS Storage Foundation的先进的逻辑卷管理功能，我们就可以非常方便的实现生产中心磁盘系统和灾备中心磁盘系统之间的镜像了。如下图所示。我们可以看到，利用VERITAS Storage Foundation，我们可以创建任意一
40、个逻辑卷（Volume）供业务主机使用，实际上是由两个完全对等的，容量相同的磁盘片构成的，两个磁盘片上的数据完全一样，业务主机对该Volume的任意修改，都将同时被写到位于生产中心和灾备中心的两个磁盘系统上。采用这种方式，生产中心的磁盘阵列与同城容灾中心的磁盘阵列对于两地的主机而言是完全同等的。利用城域SAN存储网络和VERITAS Storage Foundation镜像功能，我们可以非常轻松的实现数据系统的异地容灾。并且消除了复制技术（无论是同步还是异步）的切换的动作，从而保证零停机时间，零数据损失的实现。4.3 Symantec远程镜像数据容灾系统故障和灾难的响应一个完整的灾备系统，除了
41、在数据灾难发生时，能够完成灾备的使命，需要考虑灾备系统本身的可维护性和可操作性，以及对系统尽可能快的恢复。下面，我们来看一下，数据系统故障和灾难情况下，Symantec 的远程镜像容灾系统是怎样响应的。4.3.1 当生产中心数据系统故障生产中心数据系统故障意味着灾难，磁盘故障，链路故障，或者数据系统的计划内停机时间，也就一切导致主机无法访问生产中心数据系统的情况。我们来看一下我们推荐的容灾方案是如何响应的，见下图：当生产中心的磁盘系统发生故障（灾难）时，由于同城容灾中心的磁盘是它的镜像，所以操作系统会自动隔离生产中心的磁盘，转而对容灾中心的数据进行访问。从上图我们看到，业务系统可以通过城域SA
42、N网络直接访问灾备中心的磁盘系统的数据，而不需要有任何针对业务系统的动作。也就是说，生产中心磁盘系统的灾难，对业务系统是透明的，应用和数据库不会因为生产中心磁盘系统的故障而停止；更重要的是，因为应用和数据库不会因为灾难而异常中止，从而避免了发生数据库损坏（数据一致性风险）的可能。值得注意的是：整个过程对应用完全透明，不需要也不会中断业务系统的正常运行。这是基于磁盘系统间复制技术构建的容灾系统无法实现的。4.3.2 灾备中心数据系统故障以及生产中心和灾备中心SAN链路故障灾备中心数据系统故障，以及生产中心到灾备中心的链路故障，我们都可以把其看成是容灾部分的故障，其原理和后果与生产中的数据系统故障
43、相同。都是导致了镜像的破坏。而后，系统将自动的只与状态健康的磁盘阵列继续工作。整个过程对应用完全透明。4.3.3 故障修复后的恢复（远程镜像快速恢复）磁盘系统故障修复之后，我们需要尽可能快的将远程镜像系统恢复起来，以确保容灾的功能继续得以实现，同时，在整个镜像恢复的过程中，势必会对应用造成影响。因为磁盘数据的同步，一定会造成I/O的极度繁忙而导致应用性能下降，如果镜像恢复无法快速完成，其后果跟系统应用停机也非常接近了。因此，如何快速有效的实现镜像的重新同步，同样是一个容灾方案是否成功的关键因素。传统的镜像技术（如OS的镜像技术），在镜像链路被中断以后，中断的镜像会被认为完全作废，在链路恢复以后
44、，我们不得不将数据完整地从生产中心拷贝一份到容灾中心。这种方式，对于用户的的应用是无法接受的。链路方面的故障如果经常发生，我们就需要不断的重复将生产中心的数据全部同步到灾备中心的磁盘系统上，实际上，这种方案不具有可实施性和可维护性，是不现实的。这也是什么主机厂商虽然也有类似镜像功能，但不会用于容灾的的根本原因。为了解决这个问题，VERITAS Storage Foundation提供了DCO+FMR技术，其中DCO（Data Change Object）是一种针对镜像的Log技术，该技术允许Storage Foundation在镜像链路中断后记录逻辑卷的数据变化情况，以便在镜像链路恢复后，由F
45、MR实现数据的增量恢复。所谓FMR，其全称是Fast Mirror Resync，意思就是“镜像的快速再同步”，FMR是和DCO技术对应的镜像快速恢复技术，利用VERITAS Storage Foundation 的DCO和FMR技术，我们现在可以不用再担心容灾系统本身的可维护性了。利用DCO和FMR，我们的应对步骤如下：1 一切故障，导致镜像被破坏。2 生产中心的Storage Foundation利用 DCO日志记录因业务数据的变化而变化的数据块。3 一旦故障被修复，Storage Foundation的FMR功能模块，会根据 DCO日志记录的情况，将链路中断后更新的业务数据（变化量）同步
46、到灾难端实现增量更新。4 镜像快速同步的过程中，用户的应用始终可以正常工作。整个过程的发起，只需要执行一条命令即刻完成。整个过程的速度，由于只是同步增量，时间远远小于整个数据系统的完全同步。从而大大减小对用户应用的影响，这也是传统镜像技术如OS镜像所以不具备的。4.4 系统容灾方案结构和实现根据上面的阐述，我们提出了在SAN环境下，基于Veritas Storage Foundation远程镜像的数据容灾方案：1 生产中心与容灾中心通过裸光纤将两边的SAN 环境联接起来。2 容灾中心增加一台磁盘阵列。利用Storage Foundation 的镜像技术，建立基于磁盘系统间镜像的容灾系统。3 每个使用需要容灾的数据的主机，都需要部署一套Storage Foundation 系列软件。4 如果距离较远，无法直接部署光纤联接，可以租用运营商光纤将生产中心和灾备中心的SAN网络连接起来。常用的技术有DWDM技术。5 根据实际容灾需求，如果希望实现应用级容灾，需要在灾备中心布置和生产中心处理能力相当的用于灾备的服务器系统。4.5 应用级容灾系统费用估算序号项目描述数量单价（万元）合计（万元）1机房建设20平米，
