《DSGRealsync管理维护手册.docx》由会员分享，可在线阅读，更多相关《DSGRealsync管理维护手册.docx（49页珍藏版）》请在三一办公上搜索。
1、DSG Realsync管理维护手册 2022-12-21DSG RealSync 操作管理手册 2012/1/14DSGdata Inc.迪思杰（北京）数码技术有限公司49/49目 录1REALSYNC工作原理41.1原理概论41.2日志抓取（Data Capture）51.3日志分析（Analyze）51.4交易合成（Synthesize）61.5交易传输71.6数据装载82REALSYNC支持列表102.1首次全同步102.2复制关系维护102.3DML操作复制支持102.4DDL操作复制支持122.5常见的不支持操作及处理方式143各复制端口一览表164软件部署结构说明195发起全同步
2、并启动复制206REALSYNC目录和文件结构说明236.1源端安装目录说明236.1.1config目录重点文件说明236.1.2scripts目录中的文件说明236.1.3bin目录重点文件说明246.1.4log目录重点文件说明246.1.5rmp目录重点文件说明256.2目标端安装目录说明256.2.1scripts目录重点文件说明256.2.2bin目录重点文件说明266.2.3log目录重点文件说明266.2.4rmp目录重点文件说明267REALSYNC日常维护287.1进程检查287.1.1数据复制的进程检查287.2如何停止和启动进程297.2.1源端进程的停止297.2.2
3、源端进程的启动297.2.3目标端进程的停止307.2.4目标端进程的启动307.3日志监控317.3.1源端日志分析监控317.3.2目标端装载日志347.4队列累积查看367.4.1源端日常是否xf1积压367.4.2目标端日常是否xf1积压377.5如何进行重新全同步377.5.1停止并清空源端的realsync程序只需执行full_sync_ds.sh377.5.2停止并清空目标端的realsync程序秩序执行full_sync_dt.sh407.5.3重新启动源端的realsync程序只需执行start_dsg.sh417.5.4重新启动目标端的realsync程序只需执行start
4、_dsg_dt.sh427.5.5确认全同步已经结束并且进入到实时同步阶段427.6如何修改日志分析间隔457.7维护需要过滤的DDL操作457.7.1过滤DDL操作的意义457.7.2支持的过滤操作种类457.8日常需要删除的一些文件487.8.1检查磁盘阵列的剩余空间487.8.2删除源端realsync的文件487.8.3删除目标端realsync的文件491 RealSync工作原理1.1 原理概论RealSync技术是针对数据库提供了基于逻辑的交易复制方式。该方式通过直接捕获源数据库的交易，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。如上图所示，Rea
5、lSync在数据源（Data Source，简称DS）端和数据目标端（Data Target端，简称DT）分别安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。当应用系统在Data Source端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成XF1数据格式，并实时通过网络传送到Data Target系统。Data Target系统的RealSync Agent接收数据库包，经
6、过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在Data Target系统中执行该交易。1.2 日志抓取（Data Capture）RealSync对数据的抓取是通过安装在Data Source端的Agent模块定时分析Oracle Redo Log来获取Data Source端的交易类型及数据的。RealSync Agent在判断Data Source端的Oracle系统是否有新的交易产生时是通过定期检查oracle提供的视图中记录的当前SCN号来判断的，这样避免每次检都通过读取log文件来判断否有新的交易产生时造成的系统影响。在确认有新的交易产生时，可以同时获得
7、当前的Redo Log 组，以及最新日志在日志文件的最新位置。RealSync Agent模块根据这些信息将上次抓取时记录的日志位置与本次读取的最新位置之间的Log读取并加以分析。然后将这些数据保存在Online Log Cache文件中，等待下一步作交易合成处理。RealSync的优势：与其他类似日志复制产品相比，RealSync对日志进行分析，得到交易信息再进行传送；而其他类似产品不对日志作分析，传送全部日志，然后在目标端通过日志作Recover， 这样一来，不仅传送数据量大，而且目标端数据库不能打开。1.3 日志分析（Analyze）Oracle数据库的所有更改都记录在日志中，其中记录了
8、对数据库中的每一个变化。当我们需要了解数据库中所作的交易时，一个最有效实用而又低成本的方法就是分析Oracle数据库的日志文件。RealSync Agent中集成了DSG的优秀日志分析功能，该功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都大大提高，主要体现在系统性能的优化上，大幅度提高日志分析的速度，使得对于高并发业务系统的复制成为可能。按照RealSync的日志分析设计目标，每秒能够分析的日志量达到10M/s。RealSync通过对日志的分析，得到该数据库中的每个SQL指令，并将这些SQL指令生成XF1格式的表达方式。XF1格式是DSG公司的专有技术，该技术是
9、DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达的各种数据类型。1.4 交易合成（Synthesize）通过ORACLE REDO LOG分析的交易指令存在如下的几个特点：（1）这些指令是交叉出现的，属于一个交易（Transaction）的多条SQL指令是非连续存储的，多个交易的SQL之间是相互穿插的；（2）Redo log中记录了所有的commit的交易以及没有commit的交易；所以，为了提高系统的可控制性、保证逻辑完整性、避免数据丢失，最好
10、将复制的最小单位为一个交易（Transaction），而不是以单个SQL指令为复制单位，这样在Data Target端的交易装载更加容易控制。同时，对于复制的数据而言，只有那些Commit的数据对于Data Target端系统是有意义的，而对于那些Rollback的数据无需复制到Data target系统上。所以RealSync在复制过程中不是复制每个SQL语句，而是对抓取的数据进行交易整合后以交易（Transaction）为单位进行复制，同时只复制COMMIT的交易。如上图所示，在Online Log Cache文件中，包括Commit的交易，没有Commit的交易和Rollback的交易。
11、交易合成模块首先按照交易序号对SOL语句进行划分，每个交易包含多条SOL语句。然后，以交易为单位进行处理，将已经Commit的交易，传至传输处理模块；将未提交的交易保存在本地，一旦通过日志得知保存的未提交交易已提交，立即将该交易发送到传输处理模块；对Rollback的交易作丢弃处理。RealSync的优势：RealSync是以交易为单位进行传输的，而不是以SOL语句为单位进行传输的，更容易保证数据的一致性和完整性。1.5 交易传输RealSync技术为了保证数据传输的安全、可靠，在传输处理上作了特殊的处理与支持:（1）数据在传输之前首先存入Data Source端的Cache，传输进程（sen
12、der）从Cache中读取交易数据封装为TCP/IP数据包传送给Data target端的vagentd进程。（2）在data target端，vagentd进程在收到传输的交易数据包后，首先存入Queue，然后由Load进程从Queue中严格按照交易的顺序装载交易信息。如上图所示，负责传输的进程（sender）从本地队列中按照先进先出的原则抓取需要传输的交易，将交易数据封装成一个数据包后通过TCP/IP协议传递给对端系统。在封装的数据包的包头部分描述了包的大小。对端系统在接受到传来的数据包后，首先根据包头描述的包大小进行传输的合法性检查，判断是否传输完整。1.6 数据装载在传统的复制技术中，
13、常用的数据装载方式是采用Oracle 的SQL接口，通过Insert、Update、Delete等SQL语句实现数据的装载。这种方式在通用性上很好，但关键在于性能问题非常突出。SQL语句的执行需要经过parse、plan、格式转换等过程，造成大量的系统开销。尤其是update和Delte操作的大量Where子句操作需要进行复杂的查询定位任务，从而导致装载性能低下，对处理能力的要求比生产系统的还高。DSG RealSync在设计之初就定位于电信级大数据量系统的应用，因此在装载性能上进行了大幅度的改善，使得装载端的性能和处理能力需求降至最低。在其中DSG RealSync采用了两个关键的技术提高了
14、装载速度：（1）采用XF1数据格式的装载；（2）采用Rowid mapping的方式实现快速定位；XF1（DSG Extend Format）格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富sql语句的表达方式。Oracle数据库系统在设计上提供了4个层次的接口，其中包括User层，SQL层，Transformation层和I/O层。其结构为：USERSQLTransformationI/O在这四层当中，当采用SQL接
15、口进行数据装载时，调用的是User层，而DSG RealSync通过XF1数据格式装载时，调用I/O层直接将数据通过Oracle的最底层函数写入系统中，所以DSG RealSync在装载层上有一定优势；对于交易中的操作，存在着大量的Where子句操作，在采用标准SQL语句执行这些操作时，系统需要首先定位目标记录所在的数据文件的位置信息，这将带来大量的索引查询开销，当并发执行数千条指令时，系统的开销将变得非常庞大。DSG RealSync工具不采用该方式实现装载数据的定位，而是通过ROW Mapping的方式实现记录的快速定位：当RealSync从源端Log文件中读取交易数据时，将获得该交易对应
16、记录的所在位置，用rowid表示为rowid_ds；当该交易在目标端装载时，系统不翻译为Where子句，而是去通过保存在目标端的row mapping表获得对应目标端该记录的所在位置rowid，记录为rowid_dt。从而在目标端装载时通过rowid能够直接定位于该数据需要写入的位置。避免了大量的索引查找时间。每条记录的row mapping信息是在该记录执行insert操作、sql loader或首次批量同步时建立起来的。RealSync的优势：DSG扩展格式XF1(DSG Extend Format)是RealSync产品的一个核心技术，是一种最高效率表示ORACLE记录的数据格式，该格式
17、只需要经过最小的转换过程就能够装载到ORACLE数据库中，并且装载效率非常高。n 无需标准SQL语句执行的复杂过程n 加快装载速度对于Update，Delete等带Where子句的交易，可以大幅度提高装载速度2 realsync支持列表2.1 首次全同步（1）指定复制对象 指定需要复制的user 指定需要复制的表 指定哪些表需要复制 指定哪些表不需要复制（2）不停业务的首次全同步（3）指定表的重新全同步2.2 复制关系维护（1）添加新表到复制任务（2）删除某些表的复制任务（3）添加新的用户到复制任务（4）删除某个用户的复制任务2.3 DML操作复制支持（1）支持的DML操作类型 Insert；
18、 Update； Delete；（2）支持对Truncate Table操作复制（3）支持DIRECT PATH LOADING在Logging模式下批量装载数据的复制 sqlldr direct=y impdp insert into /*+ APPEND */（4）提供ROWID Mapping模式的映射关系（支持Unique key和非unique key的表的复制）（5）支持的DATA TYPES： CHAR DATE NUMBER LONG VARCHAR VARCHAR VARCHAR2 NCHAR NVARCHAR2 FLOAT LONG LONG RAW BLOB CLOB R
19、OWID（6）支持的Table 类型 Table with partitions Table with chainedrows（7）支持Insert all操作insert all when 1=1 then into ts_test_nokey values (id , name,addr,info,sysdate,systimestamp,num) when id=1000 then into ts_test values(id+1,name,addr , info,sysdate,systimestamp,num) select * from ts_test ;（8）支持Merge操作b
20、egin for i in 1.1000 loop if mod(i,3)=0 then insert into ts_test values( i , 测试|i , 中上海, 1, sysdate, systimestamp , i/200) ; end if ; end loop ; commit ; for i in 1.1000 loop merge into ts_test a using dual b on (a.id = i) when matched then update set name=测试|to_char(sysdate,yyyymmdd) when not match
21、ed then insert values ( i , 测试|i , 中上海, 1, sysdate, systimestamp , i/200) ; end loop ; commit ;end;2.4 DDL操作复制支持（1）系统支持的DDL操作Objects typeOperate type备注tablesCreate tableDrop tableTruncate tableAlter table:column_clauses:add_column_clausesmodify_column_clausesdrop_column_clauserename_column_clausecon
22、straint_clauses:ADD constraintsMODIFY constraintsDrop constraintsalter_table_partitioning:add_table_partitiondrop_table_partitiontruncate partition indexesCreateAlterDropviewsCreateAlterDropsequencesCreateAlterfunctionsCreateAlterDropproceduresCreateAlterDroppackagesCreate packageCreate package body
23、Alter packageDrop packageDrop package bodygrantalter databaseuserCreate userAlter userDrop userroleCreate roleAlter roleDrop rolecreate bodydirectoryCreate directoryDrop directoryprofileCreate profileAlter profileDrop profiledblinkCreate dblinkAlter dblinkDrop dblinkrevoke（2）支持的DDL操作配置可在以上支持的DDL中进行一
24、些DDL是否复制的配置，包括： database level 的DDL过滤，可指定role,user,dblink，profile等database级的操作是否需要同步 USER level的DDL过滤：可指定user级下的重要操作是否需要同步，例如可指定所有的drop table等大破坏性的操作都不能被复制。 TABLE LEVEL的ddl过滤：可指定某些重要表的TRUNCATE TABLE,DROP TABLE等大破坏性操作不被复制。2.5 常见的不支持操作及处理方式不支持的对象类型ClusterContextIOT TABLEORGANIZATION EXTERNAL tableNEST
25、ED TABLEXML TABLEDIRECTORYBITMAP INDEXDomain indexesLibraryType/type bodyUser defined typeBFILE以上对象或者数据类型DSG Realsync暂时没支持，但如果应用中的确用到了这些对象，DSG将承诺马上支持，因为这些对象的数据已经分析到了，只不过是过滤了而已。不支持的database级的常见操作alter database add tablespacealter database add datafilealter system 不支持的schema下的对象操作对于nologging的table上执行的
26、如下操作：insert /*+append*/, impdp, sqlldr direct=y；对于不支持的操作，只需要对这些表或整个schema进行一次全同步就能够把数据全部复制过去。3 各复制端口一览表生产系统容灾系统复制内容口腔医院复制IP:130.1.10.19安装路径：/oracle/realsync登录用户名：oracleDbpsd port：60000Vagentd port：60001IP：130.1.31.8安装路径：/oracle/realsync登录用户名：oracleVagentd port：60001DSG DSGXXKLOG XXKLOGOUTPBILL OUTPB
27、ILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM OUTPA
28、DMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE本地复制IP：130.1.10.18IP：130.1.10.6DSG DSGXXKLOG XXKLOGOUTPBILL
29、 OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM
30、 OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE安装路径：/sharedisk/realsync安装路径：/dsg/realsync登录用户名：oracl
31、e登录用户名：oraclevagentd port：50001vagentd port：50001dbpsd port：500004 软件部署结构说明如上图所示，RealSync在生产数据库(source)上和备份系统端(target)分别安装Agent进程，Source端的vagent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。当应用系统在Source端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成XF1数据格式
32、，并由发送进程sender实时通过网络传送到Target系统。Target系统的vagentd进程接收数据库包，经过校验码检查，确认正确的数据库包后，由装载进程loder调用Oracle函数按照交易的先后顺序在Target系统中执行该交易。dbpsd进程为管理控制进程，该进程是在作系统配置和发起全同步时使用的，该进程一般安装在生产系统上。vman程序为配置终端，该终端通过dbpsd进程管理source和target上的vagentd程序。5 发起全同步并启动复制发起全步的方式就是在bin目录下执行vm文件。n 源端的全同步rac2 /sharedisk/realsync/bin$ cat vm
33、connect : 50000user root/dbpsset ds 1 -itvl 3 -state startset dt 1.1 -tgt db 2 -xf1 y -state startset dm 1.1 -cfg -sync ftcqiM6rac2 /sharedisk/realsync/bin$ ./vmanvmanvm1 set dm过程的日志信息set dm过程是realsync软件中进行数据的导出和导入过程，该过程分为源端导出过程和目标端装载过程。导出过程的日志在源端的log/log.vagentd文件中，在导出过程中的日志信息如下：Log.vagentd日志内容（全同步
34、过程中）$ cd log$ tail f log.vagentd$r 0.18% 13MB (R9: 4.44,C1: 0.00,W5: 0.00,P: 4.44,T:0,E:1) TIME:Thu Dec 15 23:14:55 2011/*开始抽取表，显示百分比（0.18%），已经抽取的大小（13MB），读取速度（R9:4.44），压缩速度（C1: 0.00，写速度（W5: 0.00），平均速度（P: 4.44），总共耗时（E:1ms）*/INFO: CR-POOL initialized! CR_POOL size: 1000, eliminate algorithm : 1(FIFO)
35、 xexp TBCS.SUBS_PRODUCT P_R_20 .(PID:26945 ReaderID:2)Performance report is disabledDetail Performance report is disabled2012-01-14:23:15:01, 0 sequence save to cachegrp# size seq# bsz nab flg dup TH Next-SCN 2011/12/15 23:15:0110 4192256 21014 1024 1283568 8 1 1 0xffffffffffff 21014.1283083.014 419
36、2256 15840 1024 1668169 8 1 2 0xffffffffffff 15840.1667573.0线程、日志大小、seq号、标志位、块大小、下一块、标志位（8为当前日志）如果出现以上信息表明全同步过程正常开始。log.s0,log.s1,log.s2,log.s3是全同步过程中目标端的日志执行tail -f log.s0日志不断变化并且无错误提示表明目标端装载正常。$ cd log$tail f log.s0IPC_KEY=0x630106cdCHECK_MEMLEAK is turned offEntering XF1ToOracleLoader(pid:17379,
37、sem_no:8). .Loader: 0.xf1 2012-01-14:12:16:38: TRUNCATE TABLE ODS.SUBSCRIBER_1 .Truncate OK2012-01-14:12:16:38: 0-I 0-D 0-U 2-DDL(0 ms)Loader: 1.xf1 DP: handler size: 0, allocated 16384KB, maxrows one time 10242012-01-14:12:16:38: 1-I 0-D 0-U 0-DDL(0 ms)Loader: 2.xf1 Mapping TBCS. SUBSCRIBER - ODS.
38、SUBSCRIBER_1ODS SUBSCRIBER_1 1 rows1 rows mapped2 如何判断全同步过程顺利完成全同步过程的完成分为两个阶段：源端导出过程完成和目标端装载过程完成。源端导出过程完成的标志：源端导出过程都打印在log.vagentd日志中，在该日志的导出完成后会看到如下信息：= Summary of DBPS Express Export = Tables 6 (36) Rows 835752820 Extents 16272 Zip Level 1 To Read 4800.00MB Read 130176.00MB CR Read 0.00MB XF1 1174
39、34.39MB XF1 Zipped 33602.50MB (71.39%) Elapsed 00:32:59.579(1979.579s) =当看到以上的全同步导出统计信息时，可认为源端的导出已经结束目标端装载过程完成的检查：目标端的装载是有多个队列共同完成的，因此我们需要监测几个队列下都已经完成了。检查一：检查目标端的log.s*日志中已经没有新的任务在执行。检查二：检查目标端的rmp/sync0,sync1,sync2队列中已经没有任何xf1文件。$ cd rmp$ls sync*sync0:cfg.loadernosync1:cfg.loadernosync2:cfg.loaderno
40、当目标端装载完成全同步的数据后，将自动进入到实时同步阶段，我们可以通过查看目标端的log.r0观察系统是否已经自动进入到了实时同步阶段：$ cd log$tail f log.r0Loader: 1.xf1 2011-12-16:03:31:41: 6-I 0-D 0-U 0-DDL(2086 ms)Loader: 2.xf1 2011-12-16:03:31:41: 0-I 0-D 6-U 0-DDL(2086 ms)Loader:3.xf1 2011-12-16:03:31:41: 0-I 6-D 0-U 0-DDL(2086 ms)Loader: 4.xf1 2011-12-16:03:
41、31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 5.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 6.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)6 realsync目录和文件结构说明6.1 源端安装目录说明安装完成的目录结构如下：rac2 /sharedisk/realsync$ ls -lrt total 128drwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 indexdrwxr-xr-
42、x 2 dsg oinstall 96 Dec 15 21:12 softdrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 expdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:12 scriptsdrwxr-xr-x 3 dsg oinstall 96 Dec 15 21:21 logdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:24 vcfsddrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:52 configdrwxr-xr-x 4 dsg oinstall
43、 8192 Dec 19 12:00 bindrwxr-xr-x 3 dsg oinstall 32768 Dec 20 15:16 rmpdrwxr-xr-x 3 dsg oinstall 8192 Dec 20 15:16 vcfsarac2 /sharedisk/realsync$n Scripts目录：所有脚本所在目录n $VCFS_HOME：该环境变量一般设为vcfsa，用以保存系统运行状态，如log读取的位置，uncommitted交易、统计信息n $XLDR_HOME：该环境变量一般设为rmp，用以保存数据传输之前的缓存队列和传输控制信息n bin目录：执行文件所在目录n Vcfsd目录：系统配置信息，由dbpsd进程使用6.1.1 config目录重点文件说明n mapping.ini：set dm命令中用到的映射关系文件。n ddl
