《ORACLE 高可用性（RAC）技术解决方案及实现过程.doc》由会员分享，可在线阅读，更多相关《ORACLE 高可用性（RAC）技术解决方案及实现过程.doc（82页珍藏版）》请在三一办公上搜索。
1、ORACLE 高可用性（RAC）技术解决方案及实现过程目录一、基础知识介绍41.RAC是什么42.RAC的优缺点43.Oracle RAC原理5二、RAID存储技术介绍6三、RAC系统结构设计91.RAC系统拓扑结构基本如下图所示：92.主机操作系统系统101)用户组规划102)用户规划113)主机文件系统规划113.存储规划114.数据库RAC环境数据库规划121)RAC环境信息122)Oracle RAC软件组件123)Oracle RAC网络规划124)Oracle用户组信息135)表空间规划136)数据库备份规划13四、Oracle数据库及RAC配置清单141.硬件清单142.软件清单
2、143.网络硬件需求144.网络规划165.系统安装规划176.系统环境需求187.查所需软件包19五、安装工作221.修改主机名称，在所有节点执行；222.创建用户和组223.修改用户密码224.修改gird 用户的环境变量225.修改oracle 用户的环境变量246.创建软件目录267.修改系统参数278.配置用户等效性299.配置NTPD服务3010.安装并配置 ASM 驱动3111.安装 cvuqdisk 软件包3512.安装 Grid前检查3613.安装Grid Infrastructure3914.确认群集安装成功5715.创建 asm 磁盘组5816.安装 oracle 软件6
3、017.创建数据库7018.数据库管理工作80一、 基础知识介绍1. RAC是什么RAC，全称real application clusters，译为“实时应用集群”， 是Oracle新版数据库中采用的一项新技术，是高可用性的一种，也是Oracle数据库支持网格计算环境的核心技术。 2. RAC的优缺点l 优点：Oracle RAC主要支持Oracle9i、10g、11g版本，可以支持24 x 7 有效的数据库应用系统，在低成本服务器上构建高可用性数据库系统，并且自由部署应用，无需修改代码。在Oracle RAC环境下，Oracle集成提供了集群软件和存储管理软件，为用户降低了应用成本。当应用
4、规模需要扩充时，用户可以按需扩展系统，以保证系统的性能。 (1)多节点负载均衡; (2)提供高可用：故障容错和无缝切换功能，将硬件和软件错误造成的影响最小化; (3)通过并行执行技术提高事务响应时间-通常用于数据分析系统; (4)通过横向扩展提高每秒交易数和连接数-通常对于联机事务系统; (5)节约硬件成本，可以用多个廉价PC服务器代替昂贵的小型机或大型机，同时节约相应维护成本; (6)可扩展性好，可以方便添加删除节点，扩展硬件资源。l 缺点：(1)相对单机，管理更复杂，要求更高; (2)可能会增加软件成本(如果使用高配置的pc服务器，Oracle一般按照CPU个数收费)。3. Oracle
5、RAC原理在一个应用环境当中，所有的服务器使用和管理同一个数据库，目的是为了分散每一台服务器的工作量，硬件上至少需要两台以上的服务器，而且还需要一个共享存储设备。同时所有服务器上的OS都应该是同一类OS,根据负载均衡的配置策略，当一个客户端发送请求到某一台服务的listener后，这台服务器根据我们的负载均衡策略，会把请求发送给本机的RAC组件处理也可能会发送给另外一台服务器的RAC组件处理，处理完请求后，RAC会通过集群软件来访问共享存储设备. 逻辑结构上看：l 每一个参加集群的节点有一个独立的instance，这些instance访问同一个数据库。l 每一个节点的linstance都有自己
6、的SGA。l 每一个节点的linstance都有自己的background process。l 每一个节点的linstance都有自己的redo logs。l 每一个节点的instance都有自己的undo表空间。l 所有节点都共享一份datafiles和controlfiles。三类Resource：l VIP - 虚拟IP地址(Virtual IP)l OCR - Oracle Cluster Registry(集群注册文件),记录每个节点的相关信息l Voting Disk,仲裁机制用于仲裁多个节点向共享节点同时写的行为，这样做是为了避免发生冲突。二、 RAID存储技术介绍独立冗余磁盘阵
7、列（Redundant Array of Independent Disk，RAID）是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能与数据备份能力的技术。RAID特色是N块硬盘同时读取速度加快及提供容错性。可以将RAID分为不同级别，级别并不代表技术高低，选择哪一种RAID产品纯视用户的操作环境及应用而定，与级别高低没有必然关系。RAID 0：无差错控制的带区组要实现RAID0必须要有两个以上硬盘驱动器，数据并不是保存在一个硬盘上，而是分成数据块保存在不同驱动器上。因为将数据分布在不同驱动器上，所以数据吞吐率大大提高，驱动器的
8、负载也比较平衡。它的缺点是它没有数据差错控制，如果一个驱动器中的数据发生错误，即使其它盘上的数据正确也无济于事了。不应该将它用于对数据稳定性要求高的场合。在所有的级别中，RAID 0的速度是最快的。但是RAID 0没有冗余功能的，如果一个磁盘（物理）损坏，则所有的数据都无法使用。RAID 1：镜象结构对于使用这种RAID1结构的设备来说，RAID控制器必须能够同时对两个盘进行读操作和对两个镜象盘进行写操作。镜象结构是在一组盘出现问题时，可以使用镜象磁盘，提高系统的容错能力。每读一次盘只能读出一块数据，也就是说数据块传送速率与单独的盘的读取速率相同。当您的系统需要极高的可靠性时，如进行数据统计，
9、那么使用RAID1比较合适。而且RAID1技术支持“热替换”，即不断电的情况下对故障磁盘进行更换，更换完毕只要从镜像盘上恢复数据即可。当主硬盘损坏时，镜像硬盘就可以代替主硬盘工作。镜像硬盘相当于一个备份盘，这种硬盘模式的安全性是非常高的，RAID 1的数据安全性在所有的RAID级别上来说是最好的。但是其磁盘的利用率却只有50%，是所有RAID级别中最低的。RAID5：分布式奇偶校验的独立磁盘结构RAID 5将数据分散存放于多个硬盘上面，同时使用一定的编码技术产生奇偶校验码来提供错误检查及恢复能力，数据段的校验位交互存放于各个硬盘上。因为奇偶校验码在不同的磁盘上，所以提高了可靠性，允许单个磁盘出
10、错。任何一个硬盘损坏，都可以根据其它硬盘上的校验位来重建损坏的数据。硬盘的利用率为n-1。优点是提供了冗余性（支持一块盘掉线后仍然正常运行），磁盘空间利用率较高（N-1/N），读写速度较快（N-1倍）。RAID5是RAID级别中最常见的一个类型。RAID10：高可靠性与高效磁盘结构这种结构是一个带区结构加一个镜象结构，因为两种结构各有优缺点，因此可以相互补充，达到既高效又高速还可以互为镜像的目的。大家可以结合两种结构的优点和缺点来理解这种新结构。这种新结构的价格高，可扩充性不好。主要用于容量不大，但要求速度和差错控制的数据库中。 RAID 10是先镜射再分区数据。是将所有硬盘分为两组，然后将这
11、两组各自视为RAID 1运作。RAID 10有着不错的读取速度，而且拥有比RAID 0更高的数据保护性。 三、 RAC系统结构设计1. RAC系统拓扑结构基本如下图所示：2. 主机操作系统系统RAC支持常用的linux、AIX、windows、solaris等操作系统，本文以linux操作为例。l 数据库服务器Redhat Linux系统规划1) 用户组规划GroupNameGroupID说明HOSToinstall501Oracle清单和软件所有者rac1rac2rac3rac4asmadmin504Oracle自动存储管理组rac1rac2rac3rac4asmdba506ASM数据库管理
12、员组rac1rac2rac3rac4asmopen507ASM操作员组rac1rac2rac3rac4dba502数据库管理员rac1rac2rac3rac42) 用户规划UserIDPrimaryGroupGroup说明HOST默认口令501GridOinstall AsmadminAsmdba asmopenOracle Cluster用户rac1rac2oracle502OracleOinstallAsmdbaOracle数据管理员rac1rac2oracle3) 主机文件系统规划物理硬盘数RAID方式文件系统挂载点文件系统大小2*300GB1/homeext3100GB/bootboo
13、t200MB/swapswap32GB/ext3剩下所有空间3. 存储规划存储一般采用RAID 5存储方式。硬盘总数物理大小RAID方式逻辑大小(可用空间大小)HotSpare10600GB*1054.2TB1存储组件Block DeviceASMlib NameSizeComments系统路径OCR/dev/sdaOCR_VOL11GOCR and Voting Disks/dev/oracleasm/ORC/dev/sdbOCR_VOL21G数据文件/dev/sdbDATA_VOL11TASM Data Diskgroup/dev/oracleasm/DATA_VOL1文件备份/dev/s
14、daBACK_VOL1800GASM RecoveryBackup Diskgroup/dev/oracleasm/BACK_VOL14. 数据库RAC环境数据库规划1) RAC环境信息节点名称实例名称处理器内存操作系统数据库版本rac1orcl432GBRedhatRedhat 5.5企业版 64位Oracle 11.2.0.3rac2432GBRedhatRedhat 5.5企业版 64位Oracle 11.2.0.32) Oracle RAC软件组件软件组件名称OS用户主组辅组用户目录Oracle基目录grid gridoinstallasmadmin,asmoperasmdba/hom
15、e/grid/u01/grid/11.2.0/gridoracle racOracleoinstalldbaasmdba/home/oracle/u01/app /oracle/product/11.2.0/db_13) Oracle RAC网络规划节点Public IPVIPPRIVATE IPscan名称scan iprac1192.168.221.61192.168.221.1110.0.0.11rac-scan192.168.221.20rac2192.168.221.62192.168.221.1210.0.0.12rac3192.168.221.63192.168.221.1310
16、.0.0.13rac4192.168.221.64192.168.221.1410.0.0.144) Oracle用户组信息组名属组用户Oracle权限Oracle组名描述oinstallgridoracleOracle清单和软件所有者asmadminGridSYSTEMOSASMOracle自动存储管理组asmdbagridoracleASM SYSDBAOSDBA FOR ASMASM数据库管理员组asmopenGridASM SYSOPEROSOPER FOR ASMASM操作员组dbaoracleSYSDBAOSDBA数据库管理员5) 表空间规划用户表空间名规划(GB)说 明100初始
17、表空间大小为100GB，并且以自增扩展的方式添加；OthersControl Files20mb控制文件（共2个）文件存放位置：数据库默认Redo Log Files40mb重做日志文件（3组2成员10M）Redo本地位置：数据库默认位置Redo存储位置：+BACK_VOL1/redo/Archive Log Files40GB归档日志文件系统 +BACK_VOL1/archivelog/6) 数据库备份规划2344.14.24.34.44.54.64.74.8建议策略归档模式启用备份方式热备建议策略每周做一次0级备份；全备作业天以外每天：增量备份增量备份后清除归档日志根据平台业务特性及考虑到
18、节约硬件成本，建议每周作一次完全备份，每天做一次增量备份。恢复时，首先恢复最近一次完全备份的数据，然后再依次恢复服务器硬盘上增量备份的数据，最后通过归档的日志文件将数据恢复到故障点处；四、 Oracle数据库及RAC配置清单1.1. 硬件清单 l 数据库服务器两台，主要配置如下： CPU 2*Intel Xeon 内存 8*2GB 硬盘 2*146GBl 数据库服务器磁盘阵列 RAID 52. 软件清单 Red Hat Enterprise Linux AS release 5 Oracle Database 11g Release 2 (11.2.0.1.0) for Linux x86 l
19、inux_11gR2_database_1of2.zip linux_11gR2_database_2of2.zip linux_11gR2_grid.zip oracleasmlib-2.0.4-1.el5.x86_64.rpm(11gR2后非必须)3. 网络硬件需求 每个 Oracle RAC 节点必须至少有两个网络适配器（即网络接口卡 (NIC)）：一个用于公共网络接口，另一个用于专用网络接口（互连）。要对公共网络或专用网络使用多个NIC，Oracle 建议采用 NIC 绑定。对公共网络和专用网络使用不同的绑定（即对公共网络使用 bond0，对专用网络使用 bond1），这是因为在安装过
20、程中，每个接口要么定义为公共接口，要么定义为专用接口。本文不讨论 NIC 绑定。 每个网络中网络适配器的相关公共接口名称在所有节点上都应相同，网络适配器的相关专用接口名称在所有节点上都应相同。 对于公共网络，每个网络适配器必须支持 TCP/IP。 对于专用网络，互连必须支持用户数据报协议 (UDP)，使用支持 TCP/IP（最小要求为 1 Gb 以太网）的高速网络适配器和交换机。 TCP 是 Oracle Clusterware 的互连协议。对于此互连，必须使用一个交换机。Oracle 建议您使用一个专用交换机。 对于专用网络，所有指定互连接口的端点在网络上必须完全可达。每个节点均应连接到所有
21、的专用网络接口。可以使用 ping 命令测试一个互连接口是否可达。 在 Oracle Grid Infrastructure 的安装过程中，系统都会要求您标识OUI在您的集群节点上检测到的每个网络接口计划使用方式。必须将每个接口标识为 public interface、private interface 或 not used。 可将若干独立的接口绑定为一个公共接口，这样可在某个 NIC 出现故障时提供冗余性。但是，Oracle 建议您不要为 Oracle Clusterware 和 Oracle RAC 创建不同的接口。如果您对专用互连使用多个 NIC，Oracle 建议您使用 NIC 绑定。
22、请注意，多个专用接口提供负载平衡，但不提供故障切换功能，只有将它们绑定在一起时才提供故障切换功能。 从 Oracle Clusterware 11g 第 2 版开始，无需再为互连提供专用名称或 IP 地址。标识为专用的子网上的 IP 地址将被分配作为集群成员节点的专用 IP 地址。无需在 hosts 目录中手动配置这些地址。如果需要针对互连进行名称解析，可在 hosts 文件或 DNS 上配置专用 IP 名称。而 Oracle Clusterware 会为安装期间定义为专用接口的那个接口（如 eth1）分配互连地址，并将该地址分配给用作专用子网的那个子网。实际上，在本指南中，我会继续在每个节点
23、包括一个专用名称和 IP 地址以用于 RAC 互连。这在专用网络上提供了自我文档编制的方法和一组端点，可供故障排除之用。4. 网络规划 服务器 1 (rac1)设备IP 地址子网备注Eth0192.168.11.11255.255.255.0Public IPEth110.0.0.1255.255.255.0PRIVATE IP192.168.11.23255.255.255.0VIP/etc/hosts#eth0-Public IP192.168.11.11 rac1192.168.11.12 rac2#eth1 PRIVATE IP10.0.0.1 rac1-priv10.0.0.2 ra
24、c2-priv#VIP192.168.11.23 rac1-vip192.168.11.24 rac2-vip#SCAN 192.168.11.13 rac-cluster-scan服务器 2 (rac2)设备IP 地址子网目的Eth0192.168.11.11255.255.255.0Public IPEth110.0.0.2255.255.255.0PRIVATE IP192.168.11.14255.255.255.0VIP/etc/hosts#eth0-Public IP192.168.11.11 rac1192.168.11.12 rac2#eth1 PRIVATE IP10.0.0
25、.1 rac1-priv10.0.0.2 rac2-priv#VIP192.168.11.23 rac1-vip192.168.11.24 rac2-vip#SCAN 192.168.11.13 rac-cluster-scan5. 系统安装规划 业务数据库配置参数ORACLE_BASE/u01/appCRS_HOME/u01/grid/11.2.0/gridORACLE_HOME (Unix) /u01/app/oracle/product/11.2.0/db_1DB_NAMEorclORACLE_SIDrac1,rac2TNS_ADMIN$ORACLE_HOME/network/admin
26、Oracle管理帐户的口令sys/oraclesystem/oracle数据库存放位置ASM是否使用归档方式运行数据库Enable备份方式说明RMAN注意：服务器的主机名必须全部都是小写,并且不要有下划线。6. 系统环境需求环境需求内存 Between 4 GB and 16 GB Equal to the size of RAM磁盘空间Enterprise Edition 5GBStandard Edition 5GB7. 查所需软件包 如果是 64bit,需要检查以下的 Packages。以下重复包名称的部分是64bit,注明 32bit的是 32bit packages。如果是32bit
27、 OS,那么重复包名的只需要32bit 部分的包。注意不同版本Linux 系统后面的版本不太一样。binutils2.15.92.0.2 compatlibstdc+333.2.3 compatlibstdc+333.2.3 (32 bit) elfutilslibelf0.97 elfutilslibelfdevel0.97 expat1.95.7 gcc3.4.6 gccc+3.4.6 glibc2.3.42.41 glibc2.3.42.41 (32 bit) glibccommon2.3.4 glibcdevel2.3.4 glibcheaders2.3.4 libaio0.3.105
28、 libaio0.3.105 (32 bit) libaiodevel0.3.105 libaiodevel0.3.105 (32 bit) libgcc3.4.6 libgcc3.4.6 (32bit) libstdc+3.4.6 libstdc+3.4.6 (32 bit) libstdc+devel 3.4.6 make3.80 pdksh5.2.14 sysstat5.0.5 unixODBC2.2.11 unixODBC2.2.11 (32 bit) unixODBCdevel2.2.11 unixODBCdevel2.2.11 (32 bit) 检查方法： rootrac02 gr
29、id# rpm q qf %NAME%VERSION%RELEASE (%ARCH)n binutils 然后输入：compatlibstdc+33 elfutilslibelf elfutilslibelfdevel expat gcc gccc+ glibc glibccommon glibcdevel glibcheaders ksh libaio libaiodevel libgcc libstdc+ libstdc+devel make pdksh sysstat unixODBC unixODBCdevel结果如下：binutils2.17.50.0.69.el5 (i386) c
30、ompatlibstdc+333.2.361 (i386) elfutilslibelf0.1373.el5 (i386) elfutilslibelfdevel0.1373.el5 (i386) expat1.95.88.2.1 (i386) gcc4.1.244.el5 (i386) gccc+4.1.244.el5 (i386) glibc2.534 (i686) glibccommon2.534 (i386) glibcdevel2.534 (i386) glibcheaders2.534 (i386) ksh200802022.el5 (i386) libaio0.3.1063.2
31、(i386) libaiodevel0.3.1063.2 (i386) libgcc4.1.244.el5 (i386) libstdc+4.1.244.el5 (i386) libstdc+devel4.1.244.el5 (i386) make3.813.el5 (i386) package pdksh is not installed pdksh 没有安装 sysstat7.0.23.el5 (i386) unixODBC2.2.117.1 (i386) unixODBCdevel2.2.117.1 (i386)查询一些文档，pdksh 这个包可以不用安装。五、 安装工作1. 修改主机名
32、称，在所有节点执行；rootrac1 # vi /etc/sysconfig/networkNETWORKING=yesNETWORKING_IPV6=noHOSTNAME=rac1 #此处为主机名GATEWAY=192.9.100.2512. 创建用户和组 创建RAC相关用户和组，在所有节点执行； rootrac1 # groupadd -g 501 oinstallrootrac1 # groupadd -g 502 dbarootrac1 # groupadd -g 504 asmadminrootrac1 # groupadd -g 506 asmdbarootrac1 # group
33、add -g 507 asmoperrootrac1 # useradd -u 501 -g oinstall -G asmadmin,asmdba,asmoper gridrootrac1 # useradd -u 502 -g oinstall -G dba,asmdba oracle rootrac1 # id grid rootrac1 # id oracle3. 修改用户密码rootrac1 # passwd oraclerootrac1 # passwd grid4. 修改gird 用户的环境变量 切换到 grid 用户，准备安装 grid Infrastructure . 首先需
34、要修改所有节点 grid 用户的环境变量.bash_profilerootrac01 init.d# su grid gridrac01 $ cd /home/grid/ gridrac01 $ vi .bash_profile以下 grid 的 bash_profile, 仅供参考，还有一些参数可以自行加入。TMP=/tmp; export TMP y0FZ22494861TMPDIR=$TMP; export TMPDIRORACLE_SID=+ASM1; export ORACLE_SID ORACLE_BASE=/u01/app/grid; export ORACLE_BASE ORA
35、CLE_HOME=/u01/app/11.2.0/grid/product/db_1; export ORACLE_HOME# 这里注意： 测试发现安装RAC的时候， grid用户的ORACLE_BASE不能包含ORACLE_HOME，# 比如 /u01/grid , /u01/grid/11.2 就不行。ORACLE_BASE=/u01/app/grid; export ORACLE_BASEORACLE_HOME=/u01/app/11.2.0/grid/product/db_1; export ORACLE_HOME# 这里注意： 测试发现安装RAC的时候， grid用户的ORACLE_
36、BASE不能包含ORACLE_HOME，# 比如 /u01/grid , /u01/grid/11.2 就不行。,c.GO%(Z22494861NLS_DATE_FORMAT=yyyy-mm-dd HH24:MI:SS; export NLS_DATE_FORMAT)$B.U.V RDaF7Kg&m:C22494861THREADS_FLAG=native; export THREADS_FLAGPATH=$ORACLE_HOME/bin:$PATH; export PATHw7p j4|2p0L(T-f!o!l22494861THREADS_FLAG=native; export THREA
37、DS_FLAGPATH=$ORACLE_HOME/bin:$PATH; export PATHif $USER = oracle | $USER = grid ; thenITPUB个人空间|G9xx4t,H)H0F,bUK if $SHELL = /bin/ksh ; thenO&B2Us:M22494861 ulimit -p 16384ITPUB个人空间5lY)d$Tt#N3r*T ulimit -n 65536PX6N o%J+e2:#A%w22494861 else7a*f(E4MI$Krc22494861 ulimit -u 16384 -n 65536ITPUB个人空间&C;QG
38、qJSp$n$e fiITPUB个人空间8?1X$AME2o umask 022ITPUB个人空间*7ptb4P5h A)rBzfi使配置文件生效，同样在其他节点的Grid用户.bash_profile 中加入，并注意修改 ORACLE_SID=+ASM2$source .bash_profile5. 修改oracle 用户的环境变量 Oracle 用户也需要设置.bash_profilerootrac01 init.d# su oracle gridrac01 $ cd /home/oracle/ gridrac01 $ vi .bash_profile以下 Oracle的 bash_pro
39、file, 仅供参考TMP=/tmp; export TMP 8Y7_8VF!v9N1H22494861TMPDIR=$TMP; export TMPDIRORACLE_BASE=/u01/app/oracle; export ORACLE_BASEITPUB个人空间6L)3E!z$N2F| wr w ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1; export ORACLE_HOMEITPUB个人空间lxh2tk7U)BT ORACLE_SID=racdb1; export ORACLE_SID +S+yk KT+c H22494861ORACLE
40、_TERM=xterm; export ORACLE_TERMPATH=/usr/sbin:$PATH; export PATH;5|4;i)f_C22494861PATH=$ORACLE_HOME/bin:$PATH; export PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; export LD_LIBRARY_PATHITPUB个人空间?Jz-B3(qzCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATHo)V1
41、|8KO&x+s 22494861NLS_DATE_FORMAT=yyyy-mm-dd HH24:MI:SS; export NLS_DATE_FORMATITPUB个人空间gUW1ANLS_LANG=AMERICAN_AMERICA.ZHS16GBK;export NLS_LANGif $USER = oracle | $USER = grid ; thenITPUB个人空间x F1p6T b;Z;cH if $SHELL = /bin/ksh ; thenV Q8*Z.bX3|L22494861 ulimit -p 16384W.B.inW V vnp22494861 ulimit -n 65536ITPUB个人空间90(Av;Rc_f5! elseITPUB个人空间ZX.Z:h*pXv ulimit -u 16384 -n 65536ITPUB个人空间|8g;wX9a fi!oDLDE8Q22494861 umask 022XP-%h fiC)v22494861fi使配置文件生效, 同样在其他节点的Oracle用户.bash_profile 中加入，并注意修改 ORACLE_SID=orcl2$source .bash_profile6. 创建软件目录 创建Oracle RAC所使用的目录，并修改相应的权限，在所有节点执
