《高可用集群培训课件.ppt》由会员分享，可在线阅读，更多相关《高可用集群培训课件.ppt（71页珍藏版）》请在三一办公上搜索。
1、方德高可信服务器集群,报告日期：,目录,集群介绍,集群管理工具,集群各模块服务,集群应用,总结,集群介绍,集群概述 集群技术(Cluster技术)就是将多台服务器用集群软件连接在一起，组成一个高度透明的大型服务器群的计算机系统；作为一个整体为客户端提供服务，客户端能共享网络上的所有资源，如数据或应用软件等，同时客户端的用户并不关心其应用Server运行在那台服务器上，只关心其应用Server是否能连续工作。,集群介绍,当集群系统内某一台服务器出现故障时，其备援服务器便立即接管该故障服务器的应用服务，继续为前端的用户提供服务。从客户端看来，集群中的所有服务器是一个系统，就像一台大型的计算机系统，
2、其上运行着客户端需要的应用服务。在一年之内可达9999可用性时，这样的集群系统我们称为高可用性的集群系统。,集群模型,集群普通结构,集群分类（1）,高可用集群高可用集群简称HA（High Availability Cluster）。是一项以减少服务中断时间为目的的服务器集群技术。,工作方式,高可用集群通常有两种工作方式：容错系统：通常是主从服务器方式。互备系统：集群中所有的节点都处于活动状态，它们 承担系统的工作负载。,集群分类（2）,负载均衡集群 负载均衡集群就是带均衡策略算法的服务器集群。负载均衡集群在多节点之间按照一定的算法分发网络或计算处理负载。,集群的重要性,在高可用性的集群系统中，
3、由于是多台服务器在高可用性的集群系统软件的管理下为客户端提供服务，故每一个计算机的部件都有冗余备份，其中最重要的是数据存放的介质要有冗余保护，一旦某个部件出现问题，冗余部件会自动接管故障部件的工作，也就是说某台服务器出现故障，则备份服务器将在集群软件的指挥下自动接管故障服务器的工作，从而消除了此故障对整个系统的影响。,集群应用前景,网络的高速发展,带来了服务器的线形增长,当访问需求增长时,服务器会在很短的时间内超载,集群技术由此应运而生。目前,越来越多的企业采用Linux操作系统,提供Web、邮件、文件存储数据库等服务。随着人们对Linux服务器依赖的加深,对其可靠性、负载能力和数据能力也备加
4、关注。Linux集群技术以低廉的成本,实现了这些需求。Linux可以运行于极为普及的PC机上,不需要购买昂贵的UNIX硬件设备。在几台运行Linux的PC机上,只要加入相应的集群软件,就可以组成具有很强可靠性、负载能力和计算能力的Linux集群。,集群介绍,小结：本次集群是在中科方德高可信服务器操作系统平台上进行搭建；技术的目标在于通过多层网络结构进一步提高扩展性、可用性与可靠性；将目前应用最为广泛的高可用集群技术和负载均衡集群技术融合到一起。,目录,集群介绍,集群管理工具,集群各模块服务,集群应用,总结,Heartbeat介绍：,概述：Heartbeat是Linux-HA工程的一个组件。是集
5、群的管理工具，同时也是集群中的一个服务；它通过插件技术实现了集群间的串口、多播、广播和组播通信，根据通信媒介选择采用的通信协议，heartbeat启动的时候检查这些媒介是否存在，如果存在则加载相应的通信模块。检测各节点和服务的运行状态，不需要人工干预的情况下，自动保证系统能持续对外提供服务。,Heartbeat组件结构图,结构图,Heartbeat原理,高可用性集群的实现原理大致来说，就是有服务监测进程运行在负载均衡器上，用来定期检查服务器是否可用。如果在指定的时间内没有响应服务接入请求或没有从服务器获得ICMP ECHO_REQUEST数据，监测服务就会认为服务器是不可用，并且将它从现有的负
6、载均衡器上的服务器列表中删除，从而不会有新的请求再被发送到这台不可用的服务器中。当监测服务检测到不可用的服务器已经可以恢复工作，监测服务将会把这台服务器重新添加到可用的服务器列表中。,acemaker介绍,Pacemaker是集群资源管理。它利用你的集群基础组件（如heartbeat）来停止，启动甚至监控你希望集群提供服务的健康状况。它可以在任何大小规模的集群中工作，伴随使用可靠的模块，管理可以很准确的描述集群中资源的关系。,hb_gui介绍,acemaker的图形管理工具 :,图形界面,root用户登录信息 ：,Cman介绍,cman概述 cman（cluster manager）是RHCS
7、(Red Hat Cluster Suite)管理工具集的其中一个组件，是一个基于内核的对称通用分布式集群管理工具，在RHCS中执行集群管理任务，通过配置和管理其它组件来管理高可用集群。,Cman介绍,cman原理 cman通过监视集群节点提供一个法定节点数（quorum），当集群中有多余一半的节点处于活跃状态时说明有一个法定节点数，当有一半或少于一半的节点处于活跃状态是则不具有一个法定节点数，此时整个集群不可用。cman通过监控节点来了解节点的成员关系，当集群中的成员关系改变时，cman通知底层结构做相应调整。,Cman组件（1）,cman.ko：CMAN 的内核模块。 cman_tool：
8、这是 CMAN 的管理前台，是一个管理 CMAN 群集管理器的程序。它启动和停止 CMAN 并能修改某些内部参数，它提供加入集群、离开集群、杀死节点或修改集群里节点的预期 quorum votes 的功能。 dlm_controld：由 cman 初始脚本启动的守护进程，它管理内核中的 dlm；用户不可直接使用。,Cman组件（2）,gfs_controld：cman 初始脚本启动的守护进程，它管理内核中的 gfs；用户不可直接使用。group_tool：用来获取与保护（fencing）、DLM、GFS 相关的组群列表，并获取调试信息，包括 cman_tool services 在 RHEL
9、4 中提供的信息。Groupd：cman 初始脚本启动的守护进程，它是 openais/cman 和 dlm_controld/gfs_controld/fenced 之间的接口；用户不可直接使用。,总结,Heartbeat集群管理工具主要负责心跳信号，而Pacemaker对资源进行管理。Pacemaker则可以通过命令行或者图形界面来对资源（组），节点创建，管理，配置等工作，用来搭建和管理一个高可用集群。cman集群管理工具用于管理集群成员，消息和通知。cman包括一套内核补丁和一个用户空间程序 。cman_tool 用于使一个节点加入或者离开集群。改变集群的投票期望值。,目录,集群介绍,集
10、群管理工具,集群各模块服务,集群应用,总结,多网卡绑定,bonding概述 Linux bonding实现就是用多块网卡虚拟成为一块网卡，这个聚合起来的设备对外看起来是一个单独的以太网接口设备，通俗点讲就是多块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。,Bonding原理,正常情况下，网卡只接收目的硬件地址(MAC Address)，自身Mac的以太网帧，将别的数据帧都滤掉，以减轻驱动程序的负担。网卡也支持另外一种被称为混杂promisc的模式，可以接收网络上所有的帧，bonding运行在这个模式下，而且修改了驱动程序中的mac地址，将两块网卡的Mac地址改成相同，可以接收特定m
11、ac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。Linux bonding 驱动提供了一个把多个网络接口设备捆绑为单个的网络接口设置来使用，用于网络负载均衡及网络冗余。,bonding模块,bonding模块本质上是一个虚拟的网卡驱动（network device driver），只不过并没有真实的物理网卡与之对应，而是由这个虚拟网卡去“管辖”一系列的真实的物理网卡，所以它的代码结构和一般网卡驱动的代码结构非常类似，这是共性；除此之外，它还有自己的一些特性功能，例如特别的链路状态监控机制，绑定/解除绑定等。,DRBD介绍,DRBD概述： DRBD（Distributed Repli
12、cated Block Device）实际上是一种块设备的实现，主要被用于构建linux系统下的高可用集群。它是由内核模块和相关程序组成，通过网络通信来同步镜像整个设备。DRBD负责接收数据，将数据写入本地DRBD设备上的文件系统时，数据会同时被发送到该服务器集群中另外的节点，并以完全相同的内容格式保存。,DRBD原理：,每个设备（DRBD 提供了不止一个设备）都有一个状态，可能是主状态或从状态。在带有主设备的节点上，应用程序能运行并且访问主、从节点设备。每次写入都会发往本地底层设备和从节点设备中。从节点只能简单地把数据写入它的底层块设备上。,DRBD数据镜像特点,适时性：当应用程序在写入或修
13、改数据的同时也在向其它节点进行备份该数据；透明性：将数据保存到本地设备时，实际上也保存到其它节点上，而在其它节点也能看到数据的保存过程；同步或异步：同步是指本地节点与集群中的其它节点同时对数据进行写入；异步是写数据被存储到本地节点中之后，写事务被认可，对等节点中的数据副本出现在后台中；,DRBD模式,单用户模式 在单主模式下，任何资源，在任何时候，集群成员只有一个主角色。这样就保证了只有一个集群节点操纵数据，这种模式可用于与任何传统的文件系统。双主模式 在双主模式下，任何资源，在任何时候，两个节点都在集群节点上都发挥主节点作用。这种模式要求共享集群文件系统管理者使用一个分布式锁机制。包括GFS
14、与OCFS2。,DRBD组件,DRBD包含几个具有可与内核组件通信能力的管理工具，为了能够配置和管理DRBD资源。drbdadm：DRBD应用套件的高层管理工具。drbdsetup：需要用户配置已经被载入到运行内核的DRBD模型，它是drbd应用套件的底层工具。drbdmeta：该应用允许用户创建，删除，恢复，修改DRBD的元数据结构，也是一个很少使用的命令,iSCSI介绍,iSCSI概述iSCSI是由IEETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据，iSCSI推动了数据在网际之间的传递，同时也促进了数据的远距离管理。,iSCSI原理
15、,iSCSI技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、iSCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输，iSCSI 协议定义了在 TCP/IP 网络发送、接收 block（数据块）级的存储数据的规则和方法。发送端将SCSI命令和数据封装到 TCP/IP 包中再通过网络转发，接收端收到 TCP/IP 包之后，将其还原为SCSI命令和数据并执行，完成之后将返回的SCSI命令和数据再封装到 TCP/IP 包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就象访问本地的 SCSI设备一样简单。,iSCSI工作流程,iSCSI工
16、作流程：,iSCSI组件,iSCSI存储使用以下三个组件：服务端（Initiator）：安装在需要使用iSCSI存储设备的主机上的客户端软件，提供连接iSCSI存储设备并进行数据读写的驱动程序；客户端（Target）：iSCSI存储设备，提供数据存储服务；端口（Portal）：由IP地址和端口（默认为TCP 3260）组成，发起方通过入口来连接目标。,iSCSI模块,iscsiadm模块 iscsiadm是用来管理（更新、删除、插入、查询）iSCSI配置数据库文件的命令行工具。iscsi-target模块 target端即磁盘阵列或其他装有磁盘的主机。iscsi-initiator模块 iSC
17、SI-initiator提供了相当合理的iSCSI解决方案。,GFS与GFS2 介绍,GFS与GFS2概述 Global (GFS)是一个开放源代码的，POSIX兼容的Cluster文件系统和卷管理系统。是Red Hat Cluster Suite提供一个集群文件系统，它允许多个节点在块级别上共享存储。GFS使用一个分布式的元数据和多个记录，GFS是一个理想的集群文件系统。 GFS2是GFS基础上的改进。,GFS工作原理,GFS文件系统通过一个或多个存储单元来构建一个存储池，集群中的节点通过SAN可以连接到指定的存储池，这样每个集群节点就可以通过一个或多个路径把存储池连接到网络应用中，由于存储
18、池连接方式是通过直接I/O连接方式，所以可以大大提升I/O性能。,GFS文件系统格式转换,将GFS文件系统转成GFS2文件系统操作步骤：备份原来的GFS文件系统；从所有集群节点中卸载GFS文件系统；在GFS文件系统中执行gfs_fsck命令，确保没有文件系统损坏，并且现在使用的文件系统是一个干净的文件系统；执行gfs2_convert + 文件系统，系统将显示警告或确认信息,ldirectord 介绍,为了从主Director将LVS负载均衡资源故障转移到备用Director，并从集群中自动移除节点，我们需要使用ldirectord程序，这个程序在启动时自动建立IPVS表，然后监视集群节点的健
19、康情况，在发现失效节点时将其自动从IPVS表中移除。,ldirectord原理,ldirectord守护进程通过向每台真实服务器真实IP（RIP）上的集群资源发送访问请求来实现对真实服务器的监控，这对所有类型的LVS集群都是成立的：正常情况下，为每个Director上的VIP地址运行一个ldirectord守护进程，当真实服务器不响应运行在Director上的ldirectord守护进程时，ldirectord守护进程运行适当的ipvsadm命令将VIP 地址从IPVS表中移除。（以后，当真实服务器回到在线状态时，ldirectord使用适当的ipvsadm命令将真实服务器重新添加到IPVS表
20、中）；,Ldirectord功能,负载均衡集群，通过Ldirectord监测各RealServer的健康状况。在RealServer不可用时把它从群中剔除，恢复时重新加入。,ldirectord模块,ipvsadmIPVS（IP虚拟服务器）是实现传输层的负载均衡工具包含在linux内核中，所以也叫做4层交换机。ldirectordLdirectord (Linux Director Daemon)是Jacob Rief编程实现的一个独立进程，以实现对服务和物理服务器的监测，广泛地用于http和https服务。,NFS 介绍,NFS（Net ）网络文件系统是由SUN公司开发，目前已经成为文件服务
21、的一种标准（RFC1904，RFC1813）。NFS是分布式计算机系统的一个组成部分，可实现在异构网络上共享和装配远程文件系统。其最大功能是可以通过网络让不同操作系统的计算机可以共享数据和远程访问，所以也可以将其看作是一台文件服务器。,NFS原理,NFS客户端通过其TCP/IP模块向NFS服务器发送RPC请求，NFS主要使用UDP，最新的实现也可以使用TCP。NFS服务器在端口2049接收作为UDP数据包的客户端请求，尽管NFS可以被实现为使用端口映射器，允许服务器使用一个临时端口，但是大多数实现都是直接指定UDP端口2049。当NFS服务器收到一个客户端请求时，它将这个请求传递给本地文件访问
22、例程，然后访问服务器主机上的一个本地的磁盘文件。,LVM介绍,LVM概述LVM是逻辑盘卷管理（Logical Volume Manager）的简称，LVM作为Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。LVM是在磁盘分区和文件系统之间添加的一个逻辑层，来为文件系统屏蔽下层磁盘分区布局，提供一个抽象的盘卷，使得用户在无需停机的情况下方便地调整各个分区大小，在盘卷上建立文件系统。,基本术语,物理存储介质（The physical media）这里指系统的存储设备：硬盘，如：/dev/hda1、/dev/sda等等，是存储系统最
23、低层的存储单元。物理卷（physical volume）物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备(如RAID)，是LVM的基本存储逻辑块，但和基本的物理存储介质（如分区、磁盘等）比较，却包含有与LVM相关的管理参数。卷组（Volume Group）LVM卷组类似于非LVM系统中的物理硬盘，其由物理卷组成。可以在卷组上创建一个或多个“LVM分区”（逻辑卷），LVM卷组由一个或多个物理卷组成。,基本术语,逻辑卷（logical volume）LVM的逻辑卷类似于非LVM系统中的硬盘分区，在逻辑卷之上可以建立文件系统(比如/home或者/usr等)。PE（physical exte
24、nt） -逻辑扩展每一个物理卷被划分为称为PE(Physical Extents)的基本单元，具有唯一编号的PE是可以被LVM寻址的最小单元。PE的大小是可配置的，默认为4MB。LE（logical extent）逻辑卷也被划分为被称为LE(Logical Extents)的可被寻址的基本单位。在同一个卷组中，LE的大小和PE是相同的，并且一一对应。,集群服务总结,总结集群的实现离不开以上的服务，多网卡绑定保证了网络的连接；磁盘镜像实现了数据的备份；多机热互备为用户服务提供了安全保障；负载均衡提高了服务器的性能，同时也节省了用户的访问时间。,目录,集群介绍,集群管理工具,集群各模块服务,集群应
25、用,总结,系统配置环境,本章所描述的实例应用的系统配置环境如下：硬件环境：集群节点：每个节点设备应该能运行中科方德高可信服务器 操作系统，并且内存大于等于1GB，应具备两个网络适配器接口。交换机或者Hub：为了每个节点相互链接。存储器：集群所必需的设备,系统配置环境,软件环境：操作系统版本：方德高可信服务器操作系统64位操作系统内核版本：2.6.18-123.7NFSHeartbeat服务版本：heartbeat-2.99.2-9.1Pacemaker服务版本：pacemaker-0.6.6-6.6Bonding服务版本：3.2.4 Drbd服务版本：0.7.23Iscsi-target版本：
26、0.4.17-LAXS3Iscsi-initiator-utils版本：6.2.0.868-0.18.LNFSIpvaadm服务版本：1.24Ldirectord服务版本：1.186-ha-2.99.2,集群应用（1）,下图提供了一种5节点的高可用负载均衡集群解决方案：,方案说明,从上图我们看出，LVS的抽象体系结构分为三个层次。 第一层是负载均衡器，这是集群的唯一入口。从客户端的角度看，集群通过这层的服务体现为一个基于IP地址的单一系统映像（SSI），整个集群共用这个虚拟地址，通过它客户端可以把整个集群看作一个独立的具有合法IP地址的主机系统，客户端的所有访问都发往这个虚拟IP地址。,方案说
27、明,但我们也发现，如果仅有一台负载均衡器，容易造成负载均衡器成为集群的单点失效，使其成为集群中最脆弱的环节。因此，有必要提供容错机制，能够在负载均衡器失效的时候进行自动检测并平滑替换，也就是常说的HA技术。在上图的结构中，有一个以备份均衡身份运行的结点实时地监控负载均衡器的运行状态，并根据检测到的状态做出响应：报警、接管、恢复。,方案说明,第二层是提供实际服务的服务器组，并且节点间使用drbd服务来实现磁盘镜像。客户端发出的服务请求经过均衡器处理以后，转交到服务池由具体的服务器响应请求并返回数据。通常我们会在服务结点池上提供Web服务、FTP服务或者视频点播服务。由于单一系统无法应付高峰值的数
28、据访问，那么通过多台服务器分担这些负载就比较经济可行了。,方案说明,服务器节点也有可能出现暂时失效的情况，特别是在节点提供多种服务的时候，系统的随机故障或外部环境的突变都可能造成该节点的某个服务暂时不可用。因此，由负载均衡扩展出的容错机制要能够识别这种错误，及时进行处理。同样，当错误排除后，集群能够自动识别恢复事件，把恢复的结点重新纳入集群继续运行。,方案说明,由于服务器节点可能会失效，所以保护节点中的数据是非常重要的！通过drbd服务，可以让集群之间的节点实现磁盘镜像。每个节点中的硬盘都会有自己的镜像，这样即使某节点失效了，用户也可以正常访问其镜像中的数据，从而不会出现数据丢失的现象，更不会
29、有用户访问不到数据的现象发生。,方案说明,第三层是存储服务系统，为整个集群内部运行提供稳定、一致的文件存取服务。这一层作为LVS集群的扩展，可以为集群节点池提供单一的文件系统入口，即在每一台服务结点上都共用同一个根（/）；并且自动完成不同结点访问文件系统所引发的文件锁定、负载均衡、容错、内容一致、读写事务等底层功能，对应用层提供一个透明的文件访问服务。,集群应用（2）,下图提供了一种16节点的高可用负载均衡集群解决方案：,应用说明,本集群模型是一个的3层集群的概念多节点扩充，前端是4个负载均衡器实现的是主备模式的负载均衡，而中间层是多节点的服务器层运行客户所需的服务，为负载均衡服务器提供多个可
30、供选择的真实服务器，存储层还是沿用中型集群设计方案进行设计。,应用说明,本集群的设计基于大型企业来设计的，由16台计算机或者服务器来组成有一个大规模的集群，成本方面，由于是16台计算机的联合工作的大型集群，所以成本费用较高，但是增加负载均衡服务器的主备模式，提高了负载均衡服务器的可用性；存储方面，由于使用了共享存储，所以提高了数据的安全性和保密性；共享存储方面，使用了磁盘镜像技术，对数据进行备份从而提高了对数据的可靠性。但是本集群的服务器节点过多，而存储层只使用一个双节点磁盘镜像与共享存储的综合应用，对数据的访问和存储有一定局限，如果需要更改，可以减少节点数，增加存储层的节点个数。,节点状态添
31、加,节点状态图：,资源添加,资源窗口：,服务添加,添加http服务：,资源粘性,添加资源粘性：,集群应用总结,高可用性集群的配置实现了集群的整体服务。对集群各项功能一一配置并测试后，按预定方案配置，将热互备、磁盘镜像、负载均衡、共享存储综合到一起，实现了高可用集群；通过在中科方德高可信服务器操作系统上实际配置小型集群，并获得了一个综合性的中科方德高可信服务器操作系统的LVS集群方案。使得我们的理论得到了实际的支持。,目录,集群介绍,集群管理工具,集群各模块服务,集群应用,总结,经常不断地学习,你就什么都知道。你知道得越多,你就越有力量Study Constantly, And You Will Know Everything. The More You Know, The More Powerful You Will Be,写在最后,谢谢你的到来学习并没有结束，希望大家继续努力Learning Is Not Over. I Hope You Will Continue To Work Hard,演讲人：XXXXXX 时 间：XX年XX月XX日,
