《网络存储备份技术.ppt》由会员分享，可在线阅读，更多相关《网络存储备份技术.ppt（55页珍藏版）》请在三一办公上搜索。
1、网络存储备份技术,主要内容,RAID存储技术网络存储方案DAS存储技术SAN存储技术NAS存储技术,2,什么是磁盘阵列？,RAIDRedundant Array of Independent Disks，廉价硬盘冗余阵列基本概念来自於集结多个容量小、又不贵的硬磁盘组成一个磁盘阵列，产生比一个容量大但是较贵的硬磁盘还要好的效能。通常说的“磁盘阵列”则是指由自带CPU的阵列控制器控制的一个硬盘阵列柜一种海量存储设备,3,磁盘阵列产品的分类,IDE磁盘阵列低端产品，按使用硬盘可分为ATA和S-ATAATA产品 使用普通ATA硬盘，成本低，但P-ATA的硬盘最高传输率的理论值为133MB/s，所以I/
2、O性能是其弱项。SATA产品 第一代SATA接口的标准为150MB，接近于SCSI Ultra160 I/O速率，价格却明显低于SCSI硬盘，性价比最突出。SAS SCSI磁盘阵列中端产品，丰富的产品系列（如双控制器、冗余电源、风扇，避免系统的单点故障的SCSI存储产品）将业务的不停顿服务变为可能。容量可按需求扩容也是SCSI主要的性能之一。FC磁盘阵列高端产品，所有的先进技术都在FC磁盘阵列系统中体现-完善的硬件冗余、Cableless无线缆模块化设计、涡轮散热系统、LES监控模块、GUI的管理软件等等。其中全光纤产品内部使用FC硬盘，无论是外部主机通道还是内部磁盘通道都是2Gb/s带宽。半
3、光纤产品 内部使用SATA或SCSI硬盘，外部主机通道是2G Fibre。,4,FC-RAID,5,磁盘阵列的实现方式,基本原理一个“阵列控制器”（Array controller）来控制多个硬盘的相互连接、使多个硬盘的读写同步以减少错误、提高效率和可靠性的存储控制技术。软阵列(Software RAID)通过软件(如操作系统)实现，占用CPU时间，可靠性较差，一般不用 1.整体拥有成本较低 2.需要服务器主机进行全部的RAID 运算 3.会大幅降低服务器整体效能 4.操作系统异常时无法提供任何保护 5.可靠性较低硬阵列(Hardware RAID Adapter)通过专门的阵列控制器实现,6
4、,阵列控制器,磁盘阵列系统,7,建邦科技(Tekram)公司Intelligent RAID DC-922 磁盘阵列卡,微处理器:Intel i960RM 100MHz 64Bit RISC I/O ProcessorSCSI 控制芯片:LSI SYMBIOS 53C896 SCSI Chipset,Tekram DC-922 的心脏Intel i960RM I/O Processor,8,为什么需要磁盘阵列？,提高存储速度 过去十多年来，CPU的处理速度增加了数十倍，内存的存取速度亦大幅增加，而数据储存装置-主要是磁盘(hard disk)的存取速度只增加了三、四倍，形成电脑系统的瓶颈，拉低
5、了电脑系统的整体性能，若不能有效的提升磁盘的存取速度，CPU、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。提高存储可靠性 提供为实现数据保护而必需的数据冗余,9,为什么需要RAID 的十大理由,1.确保数据的完整及有效。2.确保数据的可靠性。3.确保商业竞争优势。4.增进磁盘存取效率。5.服务器的必要安全配备。6.有重要数据的PC 安全设备。7.多媒体之播放加速。8.可实时备份数据，不必担心硬盘损毁。9.节省传统备份方式之人力、时间及高成本设备的浪费。10.加大硬盘的固定容量。,10,如何提高磁盘的存取速度？,法一：使用磁盘高速缓存(disk cache)控制技术 将从磁盘读取的数据存
6、在高速缓存(cache)中以减少磁盘存取的次数。这种方式在单任务环境（如DOS）之下，对大量数据的存取有很好的性能(量小且频繁的存取则不然)，但在多任务环境（如Windows）之下，或因为要不停的作数据交换的动作，或因为数据库的频繁存取(每一记录都很小)，就不能显示其性能。而且这种方式没有任何安全保障。,11,如何提高磁盘的存取速度？,法二：使用磁盘阵列控制技术 把多个磁盘组成一个阵列，当作单一磁盘使用。它将数据以“条块”(striping)的方式储存在不同的磁盘中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间，同时有更佳的空间利用率。,12,磁盘阵列系统的基本功能,一般高性能
7、的磁盘阵列都是以硬件把磁盘快取控制及磁盘阵列结合在一个阵列控制器(RAID controller)上形式出现，满足人们对磁盘输出入系统的四大要求:增加存取速度，容错(fault tolerance)，即安全性（一个或几个硬盘损坏不会导致用户数据丢失）有效的利用磁盘空间;尽量的平衡CPU，内存及磁盘的性能差异，提高电脑的整体工作性能。,13,磁盘阵列的两个基本技术,磁盘延伸(Disk Spanning),把小容量的磁盘延伸为大容量的单一磁盘，用户不必规划数据在各磁盘的分布，从且提高了磁盘空间的使用率。SCSI磁盘阵列更可连接几十个磁盘，形成数十GB到数百GB的阵列，使磁盘容量几乎可作无限的延伸;
8、。,14,磁盘阵列的两个基本技术,磁盘或数据条块化(Disk Striping or Data Striping),数据按需要分段，从第一个磁盘开始放，放到最後一个磁盘再回到第一个磁盘放起，直到数据分布完毕。从上图我们可以看出，数据以分段于在不同的磁盘，整个阵列的各个磁盘可同时作读写，故数据分段使数据的存取有最好的效率，理论上本来读一个包含四个分段的数据所需要的时间约=(磁盘的access time+数据的transfer time)4次，现在只要一次就可以完成。,15,RAID级别,磁盘阵列中针对不同的应用使用的不同技术，称为RAID level，每一level代表一种应用技术。目前业界公认
9、的标准是RAID 0RAID 5。但level并不代表技术的高低，level 5并不高于level 3，level 1也不低过level 4，至于要选择那一种RAID level的产品，纯视用户的操作环境及应用而定（很多人对磁盘阵列的误解，以为磁盘阵列非要RAID 5不可）。其他如RAID 6，RAID 7，乃至RAID 10等，都是厂商各做各的，并无一致的标准。常用的RAID级别有：RAID0，RAID1，RAID5和RAID10（RAID 0+1）,16,RAID 0:单纯数据条块化,“数据条块化”的“无容错能力”磁盘驱动器群组所有磁盘阵列系统中，数据存取效能最佳和磁盘空间利用率最高的一种
10、,Disk striping也称为RAID 0，将所有硬盘组成一个阵列，可同时多盘读写，对于一个由n个硬盘组成的RAID 0阵列，存储速度理论上是单个硬盘的n倍。对操作系统来说，组成RAID 0的磁盘被视为一个单独的逻辑磁盘。但RAID 0不提供任何数据冗余，如果阵列内的某个磁盘出现了错误，所有的数据都会丢失。所以通常要使用其他备份方式（如磁带）来提高可靠度。(据对DELL阵列产品PowerVault 660F/224F的研究，配有14个硬盘的RAID 0系统三年内发生数据损失的可能性可达77%)。,优点：传输率和硬盘利用率最高，价格便宜。缺点：无冗余，可靠性最差，其中一个磁盘发生故障，所有数
11、据将丢失。应用：通常使用在暂存数据和高 I/O 速率的工作站。,17,RAID 0 Striping,With RAID 0 and using the 280Gb hard disks you would get the full 160Gb of storage space.Although the data is split between the 2 hard disks.There is no data redundancy(duplicate data).This allows for the full storage space to be used.,18,RAID1：磁盘镜像
12、和磁盘双工,在 RAID 1 系统中，相同的数据被存储在两个硬盘上（100%冗余）。当一个磁盘驱动器发生故障时，在另一个磁盘上可立即获得数据，从而无损数据完整性。通过一个 SCSI 通道映射两个磁盘时我们称之为磁盘镜像。如果每个磁盘都与独立的 SCSI 通道连接，我们称之为磁盘双工（更加安全）。RAID 1 为数据安全和系统可用性提供了一种简单及高效的解决方案。,优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用。缺点：需要 2 个磁盘，但只使用其中一个存储数据。应用：通常使用于较小的系统，其中一个磁盘的容量足够，并用作启动盘。,19,RAID 1,20,RAID 1 Mirror
13、ing,When using two 80Gb hard disks with the RAID 1 function you would only receive 80Gb of storage space.Because you are using the two drives to contain the same data,the logical drive will appear as a single 80Gb drive.,21,RAID 1,“磁盘镜像备份”磁盘驱动器群组所有拥有容错能力的磁盘阵列系统中，容错能力最好，磁盘空间利用率最低，数据存取效率最高的一种,使用磁盘镜像(d
14、isk mirroring)技术，并以磁盘延伸的方式形成阵列，以数据分段的方式进行储存，故与RAID 0具有几乎相同的读写性能。但RAID1还能完全做到了容错和不停机。“容错”即使磁盘故障，数据仍能保持完整。“不停机”发生磁盘故障时系统能持续工作而不停顿，仍可正常读写磁盘并可将此磁盘拆下来而不影向其他磁盘的操作，待新的磁盘换上去之后，系统即时做镜像，将数据重新复上去。,22,RAID 10,RAID 0+1的综合体,RAID 10 是 RAID 0(性能)和 RAID 1(数据安全)的结合，以提供了良好的性能和数据安全性。与 RAID 0 相同之处在于，在较高负载条件下可以保证最佳性能。与 R
15、AID 1 相同之处在于，50%的安装容量被用作冗余。在RAID 0+1配置下，数据被分段存入到一个磁盘组1，然后又被镜象到另一个磁盘组2，从而既产生了良好的输入/输出性能，又可获得了良好的可靠性。如果一个磁盘组中的硬盘出现错误，该磁盘组的数据将会丢失，但所有数据都保留在镜象磁盘组上。但如果第二个磁盘组中任何一个硬盘在第一个磁盘组恢复前出现错误，那么所有的数据都会丢失。,优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用优点：良好的写入性能缺点：需要偶数个磁盘，最少为 4 个，另外只能使用一半的磁盘容量 应用：通常使用于需要较高序列写入性能的场合,23,RAID 0+1 Strip
16、ing and Mirroring,In this example we would need to use 4 80Gb drives.RAID 0+1 is a combination of the two above and so storage works out as a combination of the two as well.The logical drive will appear as a single drive,this drives capacity will be 160Gb.The 2 striped drives will be included in the
17、 logical drives space,but as above the mirrored drives will appear invisible to the user.,24,RAID 2 和 RAID 3,带出错校验的比特级数据条块化,容错能力好，磁盘空间利用率较高，大数据量存取性能好。二者的主要区别在于数据安全技术不同RAID 2采用“海明码”进行错误校正及检测，故需要较多的额外磁盘（如8个数据盘需要3个校正盘），而RAID 3采用奇偶校验的（parity check）技术，所需的额外磁盘数大大减少（只需一个），故常用之。,25,RAID 3工作示意图,26,RAID 2 和 R
18、AID 3,在一个由n个硬盘组成的阵列中，RAID 3可承受一个硬盘的失败。如奇偶校验盘失败，剩余的数据硬盘不受影响，但冗余将丢失。如果数据硬盘出现了失败，RAID控制器使用剩余的数据硬盘及奇偶校验盘计算丢失的数据，以恢复出现错误的硬盘，不会有数据丢失。但如果在发生错误的硬盘恢复以前另一个硬盘又出现错误，那么RAID内所有的数据都将丢失。(据对DELL阵列产品PowerVault 660F/224F的研究，配有14个硬盘的RAID 3系统三年内发生数据损失的可能性低于38%)。,27,RAID 2和RAID 3都采用“共轴同步”技术，即存取数据时，整个磁盘阵列一起动作，在各作磁盘的相同位置作平
19、行存取，而且其总线是特别设计的，能以大带宽并行传输所存取的数据，所以有最好的传输时间。在大型档案的存取应用，它们均有最好的性能，但如果档案太小，因为磁盘的存取是以扇区为单位，而RAID 2/3的存取是所有磁盘平行动作，故小于一个扇区的数据量会使其性能大打折扣。RAID 2/3技术是设计给需要连续且大量数据的电脑使用的，如大型电脑、作影像处理或CAD/CAM的工作站等，并不适用于一般的多用户环境、网络服务器、小型机或PC。,RAID 2 和 RAID 3,28,RAID4：带有指定奇偶校验的数据条块,RAID 4 与 RAID 0 非常相似。数据分割在各磁盘之间。此外，RAID 控制器也会计算单
20、个磁盘(P1,P2,.)上存储的冗余性（奇偶校验信息）。即使有一个磁盘发生故障，所有的数据完全可用。丢失的数据通过有效数据以及奇偶校验信息计算后存取。与 RAID 1 不同之处在于，只需要一个磁盘空间用于冗余。假如有一个由 5 个磁盘组成的 RAID 4 磁盘阵列，其中 80%的安装磁盘容量用于用户容量，则只有 20%的容量用于冗余。如果存在许多小数据块时，奇偶校验磁盘将出现吞吐量的瓶颈。对于较大的数据块，RAID 4 将展示大大提高的性能。,优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用优点：很好地利用了磁盘空间（如 n 个磁盘的阵列，n-1 被用作数据存储）缺点：必须计算冗
21、余信息，这样就限制了写入性能 应用：由于安装容量与实际可用容量的比率较高，通常使用于较大的数据存储系统,29,RAID5：带有分段的奇偶校验的数据条块,与 RAID 4 不同，RAID 5 磁盘阵列中的奇偶校验数据分割在各磁盘之间。RAID 5 磁盘阵列提供更加平衡的吞吐量。即使对多重任务和多用户环境中的小数据块，它的响应时间都十分良好。RAID 5 与 RAID 4 的安全级别相同：其中一个磁盘发生故障时，所有的数据完全可用。丢失的数据通过有效数据以及奇偶校验信息计算得出。,优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用优点：很好地利用了磁盘空间缺点：必须计算冗余信息，这样就
22、限制了写入性能 应用：由于安装容量与实际可用容量的比率较高，通常用于较大的数据存储系统,30,31,RAID 4 和RAID5,容错能力好，磁盘空间利用率较高，小数据密集存取性能好。RAID 4和RAID 3是一样的，但RAID 4可以兼容更大的数据块。RAID 5与RAID 4很相似，但只是奇偶校验数据被分段保存到所有的硬盘，即它不用校验磁盘而将校验数据以循环的方式放在每一个磁盘中，而不是写入一个指定的硬盘，从而消除了读取单个奇偶校验盘引起的瓶颈问题。所以RAID 5能大幅增加小档案的存取性能，不但可同时读取，甚至有可能同时执行多个写入的动作，这对联机交易处理(OLTP)如银行系统、金融、股
23、市等或大型数据库的处理提供了最佳的解决方案，因为这些应用的每一笔数据量小，磁盘输出入频繁而且必须容错。RAID 4和RAID 5的可靠性同RAID 3。,32,RAID 6Independent Data disks with two independent distributed parity schemes（独立的数据硬盘与两个独立分布式校方案）,RAID 6等级是在RAID 5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID 5等级。与RAID 5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块
24、的校验数据不可能存在当前盘而是交错存储的，具体形式见图。,33,RAID 6,这样一来，等于每个数据块有了两个校验保护屏障（一个分层校验，一个是总体校验），因此RAID 6的数据冗余性能相当好。但是，由于增加了一个校验，所以写入的效率较RAID 5还差，而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。由于RAID 6相对于RAID 5在校验方面的微弱优势和在性能与性价比方面的较大劣势，RAID 6等级基本没有实际应用过，只是对更高级的数据的冗余进行的一种技术与思路上的尝试,34,RAID 7Optimized Asynchrony for High I/O Rates as
25、well as High Data Transfer Rates（最优化的异步高I/O速率和高数据传输率）,RAID 7等级是至今为止，理论上性能最高的RAID模式，因为它从组建方式上就已经和以往的方式有了重大的不同。基本形式见图，以往一个硬盘是一个组成阵列的“柱子”，而RAID 7中多个硬盘组成一个“柱子”。换言之，在RAID 7中，以前的单个硬盘相当于分割成多个独立的硬盘，有自己的读写通道，这样做的好处就是在读/写某一区域的数据时，可以迅速定位，而不会因为以往因单个硬盘的限制同一时间只能访问该数据区的一部分。,35,关于RAID 7,RAID 7是一个整体的系统，有自己的操作系统，有自己的
26、处理器，有自己的总线，而不是通过简单的插卡就可以实现的。RAID 7的主要特性如下：所有的I/O传输都是异步的，都有自己独立的控制器和带有Cache的接口，与系统时钟并不同步所有的读与写的操作都将通过一个带有中心Cache的高速系统总线（X-Bus）专用的校验硬盘可以用于任何通道带有完整功能的即时操作系统内嵌于阵列控制微处理器，负责各通道的通信以及Cache的管理，这也是它与其他等级最大不同之一连通性：可增至12个主机接口扩展性：线性容量可增至48个硬盘开放式系统，运用标准的SCSI硬盘、标准的PC总线、主板以及SIMM内存在Cache内部完成校验生成工作多重的附加驱动可以随时热机待命，提高冗
27、余率和灵活性易管理性：SNMP（简单网络管理协议）可以让管理员远程监视并实现系统控制按照RAID 7设计者的说法，将比其他RAID提高150-600%写入I/O性能。,36,RAID 7,已被SCC公司(Storage Computer Corporation)注册了商标,37,2 网络存储方案,38,今天的存储解决方案,DAS(直连存储)大型服务器采用的主要存储方式SAN(存储网络)网络化的DASNAS(网络存储)适用于多用户网络环境,SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统。换句
28、话说：NAS和SAN存储系统的区别是NAS有自己的文件系统管理。,39,DAS 直接存储-数据块方式存储,DAS(Direct Attached Storage)直接将存储设备连接到服务器上以“服务器为中心”的数据管理方式,40,Typical LAN using DAS,41,DAS的主要优点和缺点,优点价格低廉，配置简单，使用方便缺点不能适合将分散存储的数据集中起来统一管理的需求不能提供不同操作系统下文件的共享不是独立的存储系统，向DAS设备存取数据时必须通过相应的服务器或客户端数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源（包括CPU、系统IO等），数据流需要回流主机
29、再到服务器连接着的磁带机（库）数据备份通常占用服务器主机资源20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。存储阵列容量的扩展，都会造成业务系统的停机,42,SAN存储网络-数据块方式存储,SAN(Storage Area Network)以光纤交换机为中心的独立的数据存储设备SAN通常由存储设备（磁盘阵列等）和光纤交换机组成在网络服务器群的后端，采用光纤通道（FC）协议连接成高速专用网络,43,SAN(存储网络),44,Storage Area Networks(SAN),45,SAN的主要优点和缺点,优点（与DAS相比）高性能，高扩
30、展性，可升级性、稳定性和可用性都大大加强数据集中管理，网络内部传输很快，总拥有成本降低缺点成本较高（每端口1000美元的光纤交换设备和昂贵的光纤存储设备）客户端不能直接访问SAN，而要通过相应的服务器操作系统进行，异构环境下不能实现文件共享存储资源共享，但不提供数据共享,46,NAS网络存储-文件级方式存储,NAS(Network Area Storage)一种特殊的专用数据存储服务器，包括存储器件（磁盘阵列、CD/DVD驱动器、磁带驱动器等）和内嵌系统软件，可提供跨平台文件共享功能采用一个面向用户设计的、专门用于数据存储的简化操作系统将存储器从应用服务器中分离出来，进行集中管理存储网络,47
31、,Typical LAN using NAS,48,NAS网络拓扑,NAS是一种专业的网络文件存储及文件备份设备，它是基于LAN（局域网）的，按照TCP/IP协议进行通信，以文件的I/O（输入/输出）方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如NT、UNIX等平台的共享。一个NAS系统包括处理器，文件服务管理模块和多个硬盘驱动器(用于数据的存储)。NAS 可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）NFS格式(Unix,Linux)和CIFS（Common Internet
32、File System）格式等等。,49,NAS架构,从结构上讲，NAS是功能单一的精简型电脑，因此在架构上不像个人电脑那么复杂，在外观上就像家电产品，只需电源与简单的控制钮。,Macrostor NAS 500I型 网络存储器,50,NAS的优点,由于网络接入存储采用TCP/IP网络进行数据交换，TCP/IP是IT业界的标准协议，不同厂商的产品（服务器、交换机、NAS存储）只要满足协议标准就能够实现互连互通，无兼容性的要求；并且万兆以太网（10000Mbps）的出现和投入商用，存储网络带宽将大大提高NAS存储的性能。NAS需求旺盛已经成为事实。首先NAS几乎继承了磁盘列阵的所有优点，可以将设
33、备通过标准的网络拓扑结构连接，摆脱了服务器和异构化构架的桎梏；其次，在企业数据量飞速膨胀中，SAN、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案，但他们那高贵的身份和复杂的操作是资金和技术实力有限的中小企业无论如何也不能接受的。NAS正是满足这种需求的产品，在解决足够的存储和扩展空间的同时，还提供极高的性价比。因此，无论是从适用性还是TCO的角度来说，NAS自然成为多数企业，尤其是大中小企业的最佳选择。,51,通常数据库存取用SAN更好文件存取用NAS更好,52,统一网络存储NASSANFAS,53,推荐阅读,Tekram System Co.,Ltd.RAIDsolution.pdf(RAID完全解决方案)网络存储之必备知识篇,作者：IT168 微尘,54,磁盘阵列的两个基本技术是什么?什么是RAID?RAID0 RAID5适用的范围分别是什么?网络存储方案通常有哪三种？简述其主要区别。,55,
