《2节点服务器群集及网络存储系统集成方案.docx》由会员分享，可在线阅读，更多相关《2节点服务器群集及网络存储系统集成方案.docx（18页珍藏版）》请在三一办公上搜索。
1、0执行 第一次发布版本状态编制人审核人修订内容批准人日期AP1000 核 电 项 目 2节点服务器群集及网络存储系统集成方案文件编号级别版本编制部门ZBICCBCG05332A信息中心发布单位： 中国核工业第五建设公司AP1000施工总承包部版权声明：此文件内容属中国核工业第五建设公司所有，未经同意不得引用、复制、借阅或发表。2节点服务器群集及网络存储系统集成方案编号：ZBICCBCG00533版本：0目 录1.说明32.需求分析与选型原则32.1需求分析32.2选型原则43.2节点服务器群集介绍54.服务器群集方法比较55.网络存储系统技术介绍65.1网络存储技术分类65.2网络存储方式对比
2、76.网络存储技术方案整合86.1NAS+SAN方案86.2NAS+SAN融合构架97.网络存储安全108.存储方案总结118.1相同点118.2不同点119.总承包部网络存储部署方案119.1总包部存储及服务器使用状况119.2部署方案选择149.3产品的选型1410.存储系统划分1511.Oracle数据库集群部署1611.1Oracle群集系统的介绍1611.2Windows平台下Oracle集群的安装步骤181. 说明随着总包部信息系统的深入应用，信息系统内的服务器担负着总包部的关键应用，存储着重要的信息和数据，为总包部领导及决策部门提供综合信息查询服务，因此，建立可靠的网络群集存储系
3、统，保护关键应用的数据安全是重中之重，本方案是根据AP1000三门核电项目信息系统的特点而编制的，在总包部现有计算机网络平台的基础上，构建一套群集存储系统，保证数据的完整性，避免数据不会破坏和丢失。2. 需求分析与选型原则 2.1 需求分析随着总承包部业务数据的增加和应用对数据的依赖性的增强，数据的有效汇集、集中管理、综合分析以及容灾备份等处理要求日益提高，总承包部存储系统应具备以下的需求：n 数据集中化数据存储与管理集中化这种模式有利于总包部各项业务间的联动处理，并且有利于实现分级授权，加强控制和监督，提高总包部集约化管理水平；n 业务综合化业务综合处理就是将各种业务紧密结合起来成为一个整体
4、，使得各系统之间、部门之间信息共享，以消除总包部信息孤岛现象，为数据挖掘与决策分析奠定坚实基础；n 数据安全性存储系统作为数据高度集中的系统，数据的安全是第一位的，必须从网络、操作系统、数据库、存储设备等方面建立起一套严密的保障措施，保证总包部、用户和业务数据的100%可用；n 高可靠性与高可用性 存储系统的数据备份是保证数据高可靠、高可用的基本手段，在本地及异地建立与业务系统相同的备份系统，或将各种系统的数据进行实时备份，将大大提高数据资源的可靠性；n 效率与成本 总包部目前的数据由于比较分散，管理和备份都相当的难度，容易造成损坏或丢失，安全性很低，新部署的存储系统，数据需高度集中，管理和备
5、份都非常方便，可以提高了工作效率同时也可以降低系统成本；n 兼容性和可扩展性由于总包部工作的进一步开展和扩大，数据量会迅速的增加，存储系统的可扩展性尤为重要，良好的扩展性可以保证系统的连续性；n 数据备份存储系统正式运行后，数据及应用系统都迫切需要行之有效的数据安全保护措施，在此情况下，必须采取有效的数据备份手段，确保网络系统、应用系统的高度安全，建立自动化、跨平台网络备份管理系统有利于以后系统管理要求；2.2 选型原则n 先进性群集及网络存储集成系统采用的技术必须是先进而成熟的；现在计算机技术的发展日新月异，要保护总包部的投资就必须采用先进的技术，并且这种技术和产品必须被业界公认为成熟且有发
6、展前途的；n 实用性建设群集及网络存储集成系统的目的是要解决总包部数据信息的共享和交换，提供现代化的管理，因此，部署存储系统的出发点就是要满足用户的信息要求；n 经济性在进行设备选择时不但要考虑采用技术的先进、可靠，而且还必须考虑总包部的经济负担。因此，群集及网络存储集成系统方案必须具备很高的性价比；n 高可管理性与高可靠性由于总包部整个信息系统的数据采取集中式的存储策略，所以群集及网络存储集成系统必须具备很高的可管理性，另外，计算机网络系统的外部环境是多变的，存储方案必须能够很方便地进行调整，以满足外部环境的变化；n 高可扩充性与升级能力群集及网络存储集成系统方案必须能够适应总包部网络系统发
7、展的需要，具备高可扩充性与升级能力，存储系统必须是可以扩充的，必须具备较高的扩展能力，而且随着计算机技术的发展可以对存储局域网络进行升级；n 开放性与标准化群集及网络存储集成系统中所采用的技术和选用的产品都必须是目前业界公认的主流，而且必须满足开放性的要求。3. 2节点服务器群集介绍2节点服务器群集是通过两台服务器共享一个外部的磁盘存储设备，所有要求高可用的数据和应用程序代码存储在共享的设备中，两台服务器分别对磁盘存储设备具有访问权，当一个服务器发生失效的时候，另外一个服务器仍然可以对共享存储设备中的数据进行访问，客户端网络的访问，可以由这台服务器继续维持。4. 服务器群集方法比较5. 网络存
8、储系统技术介绍众所周知，目前主流存储应用的体系结构主要有DAS、NAS和SAN三种模式，三种模式从体系架构的逻辑上看，有明显的区别，根据总包部实际情况，本方案必须符合性能、安全性、扩展性、易用性、整体拥有成本、服务等要求。5.1 网络存储技术分类5.1.1 DASDAS是大型服务器采用的主要存储方式，是指将外置存储设备通过连接电缆，直接连接到一台或多台服务器上，采用直接外挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分，在这种情况下往往是数据和操作系统都未分离，DAS这种直连方式，能够解决单台服务器的存储空间扩
9、展、高性能传输需求，并且单台外置存储系统的容量，已经从不到1TB，发展到了2TB，随着大容量硬盘的推出，单台外置存储系统容量还会上升，此外，DAS还可以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求，从目前发展趋势上看，DAS仍然会作为一种存储模式，继续得到应用。5.1.2 NASNAS设备主要用来实现在不同操作系统平台下的文件共享应用，与传统的服务器或DAS存储设备相比，NAS设备的安装、调试、使用和管理非常简单，采用NAS可以节省一定的设备管理与维护费用，NAS设备提供 RJ- 45 接口和单独的IP地址，可以将其直接挂接在主干网的交换机或其它局域网的桌面交换机上，通过简单的
10、设置就可以在网络即插即用地使用NAS设备，而且进行网络数据在线扩容时也无需停顿，从而保证数据流畅存储。5.1.3 SANSAN的 支撑技术是光纤通道技术，光纤通道是ANSI为网络和通道I/O接口建立的一个标准集成，支持HIP PI 、IPI、SCSI、IP、ATM等多种高级协议，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开，这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络使用单I/O接口，使得系统的成本和复杂程度大大降低， 光纤通道支持多种拓扑结构。5.2 网络存储方式对比5.2.1 NAS1) 特点NAS可理解为是一整套的网络存储服务器产品，它和客户之间通过NFS
11、和CIFS协议通信，网络中多个不同操作系统的应用服务器都支持这两个协议，在服务器集群系统尤其显得重要，可以实现不同操作系统之间文件共享，即异构平台实现文件共享；2) 缺点n 单一连入网络容易单点失败，一旦出错，系统将无法访问数据；n 扩张性能方面，NAS不保证服务持续，添加新的磁盘将引起服务中断；n NAS是提供文件级的访问，经过TCP/IP打包才能传输数据，打包解包影响传输速度；n NAS的备份和恢复相当困难，备份时间依数据量而定，容易使网络饱和；因此NAS不能满足事务处理。5.2.2 SAN1) 特点SAN可理解为一个专用网络，可以把一个或多个系统连接到存储设备和子系统，是负责存储传输的“
12、后端”网络，而“前端”网络（即数据网络）负责正常的数据传输，SAN主要通过Fibre Channel连接，在光纤协议上映射SCSImingling，实现块级数据访问，可以实现高可用性、高扩张性、集中存储、较小备份周期等。2) 缺点n 只实现设备及共享，各个客户端的存储空间是分离的；n 通过Fibre Channel 实现连接，设备价格高昂，SAN的实现需要相当高的费用；同时网络维护也需要相当的开销；6. 网络存储技术方案整合6.1 NAS+SAN方案NAS+SAN网络存储方案适合于大型企业存储，将两种方式进行融合，根据总包部实际需要进行选择组合，即可以使用以NAS为主、SAN为辅，也可以使用S
13、AN为主、NAS为辅；6.1.1 NAS为主、SAN为辅NAS为主的整合方法是将NAS中的操作系统与存储服务器分开，通过SAN连接操作系统和存储资源，对外通过NFS和CIFS协议提供基于文件级的数据访问，同时还可以通过ISCSI协议提供对基于块数据级访问。网络可以利用SAN来统一管理存储资源，并进行高效备份和远程容灾，还可以通过存储服务器，对外提供异构平台数据共享，不过通过存储器访问存储资源，会有一定开销，拓朴图如下：6.1.2 SAN为主、NAS为辅SAN为主、NAS为辅的方法是将应用服务器中文件系统功能剥离出来，集中到元数据服务器，对外通过直接提供和SAN相连，并通过存储服务器实现块级数据
14、的访问，对于访问文件级数据而言，需要通过元数据服务器访问SAN，对元数据服务器会产生而外开销，拓朴图如下：6.2 NAS+SAN融合构架存储服务器为NAS服务器，其他服务器除了和以太网连接外，还和SAN直接连接，即解决了NAS单点失败问题，也解决了SAN块级数据访问问题。此方案可以满足上述2个系统的存储需求，又有较高的I/O速度，实现数据备份和远程容灾，提供较高可靠性，因此，此方案适合很多大中型企业，不仅可应用于关键业务，也可以实现文件级和块级数据访问，部署结构图如下：7. 网络存储安全存储安全实质上是指系统中的数据受到保护，不受偶然的或者恶意的原因而遭到破坏、更改、泄露，系统可连续可靠正常地
15、运行；因此，在网络存储选型时必须考虑其安全性并保证符合以下要求：n 保密性：存储信息不泄露给非授权用户、实体或过程；n 完整性： 数据未经授权不能进行改变的特性；即信息在存储或传输过程中保持不被恶意修改、破坏和丢失；n 可用性：可被授权实体访问并按需求使用的特性，即当需要时能否存取所需的信息；n 可控性：对存储信息及内容具有控制能力。8. 存储方案总结NAS、SAN与传统网络存储技术相比而言，无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和安全性等方面来说，其优越性是不言而喻的，所以，我们在选择存储方案时，实际上也是就对NAS和SAN的择择了，可以说，NAS和SAN各有
16、其长短之处，在实际应用中也各有不同之处，对于经济实力不足，有传统以太网络，且急需扩充存储空间的用户，NAS无疑是一种便宜、快速的方案，而对于拥有强大经济后盾，对网络性能要求较高及未来发展势头强劲的用户，则应该选择SAN或者选择NAS+SAN模式；8.1 相同点NAS和SAN也有许多共同的特点，它们都提供集中化的数据存储和整合优化，都能有效的存取文件，都允许在众多的主机间共享并支持多种操作系统，都允许从应用服务器上分离存储。而且，它们都提供数据的高可用性，都能通过冗余部件和RAID保证数据的完整性；8.2 不同点n 实施和维护的难易程度不同；n 二者的设备管理难易成度不同；9. 总承包部网络存储
17、部署方案9.1 总包部存储及服务器使用状况总包部原有2台IBM NET Finity 7000 服务器、一台磁盘阵列和一台磁带机，磁盘阵列和服务器仅用于数据库群集使用，目前，由于设备老化原因，已经按照正常程序报废，目前总包部的存储方式采用不同服务器之间进行数据互为备份，由于数据比较分散等原因，管理和备份都相当的难度，容易造成损坏或丢失，安全性很低，因此，随着总包部数据量的不断增加，急需扩展存储容量. 9.1.1 服务器目前使用情况9.1.2 服务器资源整合9.2 部署方案选择 从系统的兼容性、稳定性与可靠性角度出发，并且考虑保护项目部已有的投资，经过市场调研和信息中心分析，认为选择基于SAN架
18、构的数据存储方案可以满足要求；本方案中使用光纤通道交换机、本地磁盘阵列、备份磁带库及远程容灾磁盘阵列组成SAN系统，为不同平台的操作系统和磁盘系统提供支持，为容灾备份提供无缝支持，并且可以将现在已有的投资与长期的存储解决方案结合起来，建立一个可扩展、易管理、能够灵活地适应不可预见的存储需要的网络存储环境。9.3 产品的选型10. 存储系统划分11. Oracle数据库集群部署11.1 Oracle群集系统的介绍11.1.1 Oracle集群体系统结构Oracle集群实际是使用2台或多台服务器访问同一Oracle数据库，这样一方面可以避免一台服务器务器出现故障时数据库不能正常使用数据库，同时也可
19、以进行并行运算或负载均衡。从软件组件上讲，oracle集群由2台或2台以上服务器组成，每台服务器有自已的临听器，用于临听自已的网络端口，每台服务器有自已的Oracle RAC服务，用于数据库的集群访问；每台服务器有自已的集群就绪服务，用于集群管理；所有的服务器通过自已的操作系统访问一个共享的存储设备，共享存储设备的存储设备的存储机制可使用裸设备（Raw），集群文件系统(OCFS)，自动存储管理(ASM)或网络区域存储（NAS），当客户端访问时，由上而下依次调用相应的软件。11.1.2 群集部署软件的组成要安装Oracle集群，至少需要两个软件，分别为：Oracle数据库软件和Oracle Cl
20、usterWare；从逻辑结绝上讲，集群中的每台服务器有一个实例，每台服务器上的实例都对应到同一个数据库，详情如下图所示：Oracle软件Oracle软件本地磁盘本地磁盘RAC数据库实例2实例1 数据文件、控制文件、 日志文件从上图中可以看出，在集群中有两台服务器，每台服务器拥有一个实便，每个实例都访问同一个数据库，数据库存储在共享磁盘上，关于Oracle软件，即可以存储在本地磁盘上，也可以存储在共享磁盘上，关键取决于安时选择的存储机制。11.1.3 有关Oracle集群的存储选项1) 软件和空间序号项目说明最少磁盘空间备注1ClusterWare软件集群软件700M2Voting Disk记
21、录信群集节点信息100M3OCR(Oracle集群注册)存储集群配置信息200M4Oracle数据库软件数据库软件1.5G5RAC数据库存储所有数据库文件根据数据量来确定6恢复文件(Recovery File)用于快速恢复数据3G2) Oracle集群的存储机制序号项目存储系统存储位置备注1ClusterWare软件NTFS本地磁盘2Voting DiskOCFS、Raw device共享磁盘3OCR(Oracle集群注册)OCFS、Raw device共享磁盘4Oracle数据库软件OCFS(共享)、NTFS（本地）本地磁盘或共享磁盘5RAC数据库OCFS、ASM、Raw device共享磁
22、盘6恢复文件(Recovery File)OCFS、ASM共享磁盘3) 存储机制的选择从下表可以看出，要想使用单一文件系统，必须使用OCFS文件系统，但是，由于oracle提供了非常方便的存储管理系统ASM，因此，此方案中我们采用OCFS来存储Clusterware的数据和oracle数据库软件，使用ASM来存放数据库文件。序号存储选项支持的文件类型备注Clusterware数据库恢复文件1ASM否是是2OCFS是是是3Raw Device是是否11.2 Windows平台下Oracle集群的安装步骤11.2.1 安装前的准备工作1) 系统要求序号项目要求备注1体系结构32位2操作系统wind
23、ows server 2003+SP23内存2G4网络协议TCP/IP5网络适配器2*NIC6浏览器IE6.0以上2) 网络规划序号主机名类型IP地址注册位置备注1RAC01.Sanmen.Local公共172.23.0.21DNS2RAC02.Sanmen.Local公共172.23.0.22DNS3VIP01.Sanemn.local虚拟172.23.0.1DNS4VIP02.Sanmen.local虚拟172.23.0.2DNS5Node1专用10.1.1.1主机文件6NOde2专用10.1.1.2主机文件3) 数据存储策略 序号项目存储系统存储位置备注1ClusterWare软件NTF
24、S本地磁盘2Voting DiskOCFS共享磁盘3OCR(Oracle集群注册)OCFS共享磁盘4Oracle数据库软件OCFS共享磁盘5RAC数据库OCFS共享磁盘6恢复文件(Recovery File)OCFS共享磁盘 11.2.2 安装集群就绪软件1) 关闭磁盘写缓存 在安装集群就绪软件之前，需要分别在两节点上关闭磁盘写缓存，方法为，打开windows磁盘管理器，在共享磁盘上点右键，选择“属性”在“属性”对话框中，选择“策略”标签，在策略标签中将“启用磁盘上的写入缓存”复选框去掉。2) 开启windows2003磁盘自动加载功能由于此方案使用的系统是windows 2003，存储策略选
25、择了OCFS，ASM等存储系统，因此必须开启磁盘自动加载功能，在Windows 2003中开启自动加载功能，使用diskpart工具即可，首先在windows 2003的命令行运行diskpart命令，然后在diskpart的提示符下运行automount enable命令即可，完成后运行exit命令退出diskpart工具。3) 创建磁盘分区根据磁盘分配规划，在节点1上创建磁盘分区，并且 在创建分区时不要分配盘符，也不要格式化。4) 设置网络根据10.2.1中的第2点，在节点1和节点2上，将本地连接重名为Public,本地连接2重命名为pvivate，注意，配置完之后，再使用ipconfig
26、查看网络设置时，要确保public被列在第一个。5) 主机名称解析由于主机名，除NODE1、NODE2外，其他都通过DNS服务器来解析，因此，我们只需要在Hosts文中解析用于内部通信的主机名，方法为，分别编辑节点1和节点2上的C:windowssystem32driversetchosts文件，在文件内输入如下内容：10.1.1.1 NODE110.1.1.2 NODE26) 重新启动节点为了确保配置生效，需要对两节点进行重新启动，启动节点后，检查每个节眯的磁盘管理，确保在每个节点上没有给共享磁盘的分区分配盘符，如有发现某节点给共享磁盘的分区他配了盘符，删除盘符分配，并重新启动该节点。7)
27、开始安装在其中一个节点上执行安装程序setup，进入Clusterware的安装界面，点击“下一步”继续。8) 设置安装目录指定Oracle Home的名称和安装的目录位置，因为CRS为集群就绪软件，在集群起来之前，每个节点必须要启动该软件，所以只能将其安装在各个节点的本地磁盘上。9) 安装条件检测安装程序会自动进行安装条件检测，如果没有报告错误，则点击“下一步”继续，如果报告错误，根根错误提示作相应的设置。10) 指定集群配置指定集群名称及集群节点的相关信息，相关配置参见10.2.1中的第2点；11) 指定网络接口用途在确保设置了公用IP（用于外部通讯）的网络接口类型是公用的，设置了私网IP
28、（用于内部通讯）的网络接口的类型为专用的，如果有错，在确定配置正确的前提下可以点击“编辑”进行手工修改，完成后点击“下一步”继续。12) 配置存储选项在存储选项配置中，列出了可用的磁盘分区，根据磁盘分配方案选中相关的分区，点击“编辑”将出现指定的磁盘配置对话框，分别选择：“用CFS来格式化分区”，“将分区用于存储软件”，并为该分区指定一个在两个节上都能使用的盘符，然后点击“确定”确认配置，依次选择第二分区，根据用途对磁盘进行相应的处理，完成磁盘配置后，点击“下一步”继续，此时会出现一些警告信息，提示是否需要对OCR和表决盘做冗余。13) 开始安装软件出现安装概要后，查看各项概要是否符合要求，点
29、击“安装”开始安装软件，此时，请耐心等待安装过程，安装完成后点击“退出”程序。11.2.3 安装Oracle数据库软件1) 执行安装程序将数据库光盘插入光驱中或将oracle源程序复制到服务器中，然后执行SETUP.EXE程序，待出现安装界面后，点击“下一步”继续。2) 选择安装类型在安装类型择时，选择“企业版”。3) 选择软件的安装位置由于本方案采用OCFS存储系统，在创建OCFS时，将软件安装在已规划好的共享盘符中。4) 选择安装模式在安装模式中，选择集群安半，并选中要集群的所有节点，然后点击“下一步”继续，注意：只有安装了集群就绪软件，才会有集群安装选项。5) 检查安装条件安装程会自动检
30、测系统环境是否满足安装条件，如果不能满足，根据错误码提示进行调整，如没有错误，点击“下一步”继续。6) 选择配置选择在配置选项中，选择“仅安装数据库软件”，点击“下一步”继续。7) 安装软件在概要查看时，如果查看概要信息正确，然后点击“安装”开始安装数据库软件。11.2.4 创建数据库1) 执行DBCA在命令行执行dbca创建数据库，在选择创建数据库类型时，选择“Oracle Real Application Clusters数据库”，点击“下一步”继续，然后在选择要进行的操作时，选择“创建数据库”点击“下一步”继续。2) 选择集群节点选择要使用该数据库的集群节点，点击“下一步”继续3) 选择
31、模板在选择数据库模板时，可以选反“一般用途、事务处理、定制数据库、数据仓库”，我们这里选反“一般用途”即可，然后点击“下一步”继续。4) 输入数据库名称输入数据库名的全局名称和SID，这里我们输入全局数据库名为：Canppe2.sanmen.local，SID为：CANPPE2,然后点击“下一步”继续。5) 管理选项在管理选项中，为了以后管理简单，“使用Enterprise Managers配置数据库”，这样以后可以使用Enterprise Managers来管理数据库，然后点击“下一步”继续。6) 指定数据库管理员口令为内置的几个管理帐户设置口令，然后点击“下一步”继续，注意，口令一定要记住
32、。7) 选择存储机制在选择存储机制的选择中，选择“群集文件系统”然后点击下一步，继续。8) 选择数据库的存储位置在选择存储位置时，选择“使用oracle管理的文件“。数据区填入数据库需要存入的路径，然后点击“下一步”继续。9) 指定快速恢复区在快速恢复区指定路径并输入快速恢复区大小。10) 选择数据库内容选择是否安装“示例”方案，我这里选择不安装，然后点击“下一步”继续。11) 配置TAF策略如果要使用TAF策略，需要进行配置，这里，不对策略进行配置，直接点击“下一步”继续。12) 设置初始化参数关于初始化参数据的设置实际上是对oracle数据库进行优化，这里可以使用缺省配置即可，点击“下一步”继续。13) 配置数据库存储在配置数据存储时，使用默认配置，点击“下一步”继续。14) 创建数据库点击“完成”开始创建数据库。在创建数据库时，由于无法在各个节点上检测到可用的网络临听程序，会出现提示，只要点击“是”接受创建默认的临听程序即可。12. 附录EMC CX4-120存储详细配置参数如下：共18页 第18页中国核工业第五建设公司AP1000施工总承包部
