适用于TB级数据库跨平台快速迁移方法研究.doc

《适用于TB级数据库跨平台快速迁移方法研究.doc》由会员分享，可在线阅读，更多相关《适用于TB级数据库跨平台快速迁移方法研究.doc（13页珍藏版）》请在三一办公上搜索。

1、成果上报申请书成果名称适用于TB级数据库跨平台快速迁移方法研究关键词索引（35个）存储虚拟化;数据库;跨平台;快速迁移应用投资产品版权归属单位对企业现有标准规范的符合度：（按填写说明5）无成果来源：如果该成果来源于集团研发项目，请填写研发项目年度、项目名称及类型（按填写说明6）省内自立项目：中心资源数据库迁移专利情况：如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况。（按填写说明7）无成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。传统数据库迁移方法往往存在耗时较久、停机时间过长、业务中断影响范围较大等

2、问题，若使用第三方软件如GOLDGATE进行迁移则需要高额软件费用。针对此问题，我们提出了Portable Data Containers(PDC可移动数据封装)技术与Transportable Database（TDB数据库传输）技术相结合的海量数据库迁移方案， 使操作系统/存储层面和数据库层面数据迁移达最优组合， 并在本次中心资源库迁移中得到有效实践,实现跨平台迁移现网5T庞大数据量仅停机2小时，停机时间较传统跨平台迁移方式大为缩短，减少了因业务中断带来的经济损失，高效保障了业务连续性和可用性，取得显著效果。省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。中心

3、资源库是NGBOSS核心数据库之一,现网数据5T，由于设备更换需要将原SUN主机迁移至HP主机, 生产端存储由USPV(ST9990v)迁移到富士通DX8700，本次迁移由于采用了PDC和TDB结合的迁移方案，停机时间控制在2小时以内，较其它传统迁移方案缩短停机时间8小时以上，高效保障了业务连续性、可用性， 对往后NGBOSS核心系统数据库迁移也具极大的指导意义。 同时，由于本次中心资源库迁移践行低成本高运营原则，避免购买第三方软件，节约费用约100万。文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明8”。 适用于TB级数据库跨平台

4、快速迁移研究一、项目背景(一)存在的问题 随着电信运营商用户规模持续稳定增长和业务的不断发展，随之而来的是业务数据量的大量增长，而承载关键业务的NGBOSS核心业务系统数据库如中心资源库、营业库、账务库等更是日益庞大。在日常运维过程中，当硬件资源不足以保障数据库系统稳定运行时，不可避免的面临数据库迁移问题。针对TB级别的海量数据库，如何在保护业务数据的前提下，安全快速实施数据库迁移，尽可能缩短业务影响时间，降低割接过程对业务的影响，是当前面临的重要挑战。针对此问题，需要从根本上制定科学、完善、高效的数据库安全迁移方案。安徽省公司认真分析了影响数据库迁移的主要环节， 对基础环境、数据库迁移、应用

5、系统迁移测试等环节重点把控，主要分为以下三个目标：1.检查源端、目标端的数据库运行环境，建议/实施合适手段以保障数据库的平稳迁移。2.在保障业务数据的前提下,数据库迁移以尽量缩短割接时间为首要指标，并制定合理的快速回退预案。3.尽可能缩短业务系统迁移时间,制定完善的应用系统测试用例, 以保障迁移前后的业务连续性、可用性。安徽省公司现阶段，基于基础环境管控已有诸多规范，并拥有大量的应用迁移测试案例可供借鉴,而生产数据由生产端迁移至目标端过程中，如迁移时间掌控不足,则存在次日业务中断风险。安徽省公司经过对传统迁移方案进行仔细分析发现，传统数据库迁移方案如数据导入导出、第三方软件(如GoldenGa

6、te)等，有效实现数据的跨平台迁移，但均存在迁移时间较长的特点。显然，面对电信运营商NGBOSS核心业务系统TB级庞大数据量，传统数据迁移方案已无法满足快速迁移需要，研究一种基于TB级海量数据库安全快速迁移方法，实现高效运维，已势在必行。 (二) 解决方案传统oracle数据库迁移方案主要有以下四种：1.数据导入导出 主要通过exp/imp或expdp/impdp实现, 该方式通过先从源端数据库导出备份文件，再将此文件导入目标端实现，操作简单、易实现。该方式无需考虑操作系统平台和数据库版本，但其数据传输过程需通过FTP或TCP进行,且数据导入导出过程耗时较久，主要适用于数据量较小的中小型数据库

7、迁移。2. GoldenGate等第三方软件 GoldenGate 软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与 目标数据库同步。GoldenGate 可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而可以在应急系统、在线报表、实时数据 仓库供应、交易跟踪、数据同步、集中/分发、容灾等多个场景下应用。 其GoldenGate TDM 数据复制过程示意图如下: 由此可见，GoldenGate TDM 是一种基于软件的数据复制方式，它从数据库

8、的日志解析数据的变化（变化数据量约占日志的四分之一）。GoldenGate TDM将数据变化通过固有格式进行转换，通过 TCP/IP 网络传输，无需依赖于数据库自身的传递方式，并且通过高达 10:1 的数据压缩率以实现降低带宽需求目标。在目标端，GoldenGate TDM 可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制。但通过GoldenGate实现数据库同步对生产端有一定性能影响，同时需要通过传统方式进行目标数据库的初始化，消耗时间较长，并且GoldenGate为高额付费软件, 本着低成本高效运营原则，不建议采用此方

9、案。3. Portable Data Containers (PDC可移动数据封装) 在存储级别底层复制将数据文件传输到异构的磁盘阵列上，文件传输速度快。但不支持跨平台oracle数据库迁移，因为不同操作系统下，目标端实例无法识别从源端传输过来的表空间数据文件。4.可迁移数据TDB(Transportable Database)TDB组件的设计初衷就是要解决在不同Oracle实例之间移植数据库数据的时候产生的问题，可以完成跨平台的表空间转换。TDB是将数据库的元数据导出后，到目标端直接将元数据导入。因元数据数据量很小，而真正对数据的迁移将会在操作系统或存储层面进行，这样可以利用操作系统和存储的

10、优势来迁移数据，在数据库层面只做必要的转换，使数据文件可用，尽量缩短迁移所需的宕机时间。该方式通常采用ftp等数据文件传输方式，文件传输耗时久,主要适用于数据量较小的中小型数据库迁移。综上，对传统oracle数据库迁移方案优劣比较如下： 迁移方案优点缺点数据导入导出( exp/imp或 expdp/impdp)1. 支持跨平台数据库传输2. 操作简单、易实现1. 不适用于大数据量数据库迁移2. 数据导入导出时间久3. 文件传输时间久第三方软件(GoldenGate)1. 支持跨平台数据转换2. 数据压缩率达10:1,对网络带宽需求较低3. 目标端可通过交易重组、分批加载等方式加快数据投递速度1

11、. 数据库同步期间对生产端有一定性能影响2. 目标库初始化时间久3. 需额外购买第三方软件，不符合低成本高效运营原则PDC(Portable Data Containers)1. 通过存储级别底层复制,文件传输速度快.2. 可实现不同操作系统下数据文件传输1. 不支持跨平台数据库迁移TDB(Transportable Database)1. 可快速实现不同平台的数据文件格式转换1. 文件传输耗时久 本创新中，提出了Portable Data Containers(PDC可移动数据封装)技术与Transportable Database（TDB数据库传输）技术相结合的海量数据库迁移方案， 即融合

12、PDC和TDB各自优点, 互补两种方案的不足，实现操作系统/存储层面和数据库层面数据迁移的最优组合,并在本次中心资源库迁移中得到有效实践,实现跨平台迁移现网5T庞大数据量仅停机2小时，取得显著效果，对往后NGBOSS核心系统数据库迁移也具极大的指导意义。 二、实现方案本创新针对传统oracle数据库迁移方案的缺点，提出Storage Foundation提供的Portable Data Containers(PDC可移动数据封装)技术与Oracle提供的Transportable Database（TDB数据库传输）技术相结合的海量数据库迁移方案，并在本次中心资源库(现网5T)数据库迁移过程中

13、得以成功实施，为TB级海量数据库迁移在生产运维中的有效实践方案。下面结合附图，对本创新涉及的核心技术点作详细的阐述。1. 通过卷管理动态多路径技术，实现存储的虚拟化、异构存储的统一管理。主机可以访问到对应的存储是通过通道管理实现的，而通道管理通常由存储厂商提供。而不同的UNIX平台，存储厂商的为了维护方便，各自之间的多路径软件并不能共用。这就造成存储虚拟化在异构环境下存在障碍。卷管理动态多路径技术通过独立的阵列扫描模块，标明所有挂接的磁盘设备，配置链路管理数据库，自动根据厂商VID对应不同的动态库(Array-Support-Library), 并对磁盘信息做标准化处理；通过链路管理层，根据阵

14、列扫描模块得到的信息, 对通过不同路径识别的相同磁盘做绑定处理，通过统一的多路径设备驱动向操作系统提供标准磁盘接口，自动根据不同厂商阵列特点调用(Array Policy Manager)动态库进行链路流量算法优化。图(1) 卷管理动态多路径技术原理示意图 存储的虚拟化是开放的存储系统的基础，最大限度屏蔽不同硬件平台技术实现的差异，可以将更多地将精力放在业务上；系统扩展具有最大限度的兼容性，摆脱硬件技术限制，为采购降低了门槛。统一的资源池，便于优化业务系统对于存储空间的使用，方便的根据业务需要合理配置硬件资源，降低硬件设备投资。图(2) PDC跨平台文件传输示意图 Storage Founda

15、tion提供的Portable Data Containers(PDC可移动数据封装)技术， PDC可以为终端用户的应用程序提供对存储区的访问通道，而与操作环境无关。仅通过此方法仅能实现数据库数据文件传输，但目标数据库实例仍无法识别被传输过来的数据文件。2. 通过TDB技术实现跨平台数据文件转换. 图3示出示了本次中心资源库迁移环境示意图，中心资源数据库是NGBOSS核心数据库之一，现网数据5T，因设备更换需要将原有SUN主机迁移至HP主机、生产端存储由USPV(ST9990v)迁移至富士通DX8700、容灾端存储由XP12K迁移至XP24K。图(3) 本次中心资源库迁移环境示意图 Oracl

16、e 的Transportable Database（TDB传输数据库）技术利用其rman备份恢复工具中的covert database特性来实现强大的异构平台数据库之间整个数据库迁移功能，10g版本要求endianess必须相同，11g开始可实现endianess之间相互迁移。该技术的核心思想是将源端数据库中包含回滚段信息的数据文件转换为目标端数据库可识别的数据文件格式，直接在目标端数据库应用转换后的数据文件来实现数据库的跨平台数据库迁移，但其瓶颈在于在操作系统层面进行数据文件传输需通过FTP等方式，文件传输所需时间窗口较长。 下面结合图4，说明本次中心资源库迁移应用PDC和TDB技术的具体流

17、程。图(4)中心资源库迁移实现流程具体说明如下：步骤1： 检查目标库基础操作系统、数据库环境是否符合要求，备份源库参数文件和控制文件。根据TDB技术要求,确认源库可被传输，检查源库是否包含外部对象，以及本次传输数据库所必要转换的包含回滚段信息的数据文件，切换源库至read only 状态，准备迁移.步骤2： 源库应用TDB技术,通过RMAN运行convert database on target platform ，生成转换数据文件脚本、传输数据库脚本以及初始化参数文件，并将该部分脚本拷至目标端.步骤3： 使用PDC存储技术将源端数据文件复制至目标端,在目标端修改该部分文件与源端数据文件权限一

18、直，并删除不必要的redo和temp文件。步骤4： 目标端创建密码文件， 根据目标端环境编辑步骤2提供的初始化参数文件、转换脚本和传输脚本, 生成临时用的控制文件，并通过转换脚本转换目标端数据文件。步骤5： 应用传输脚本启动目标端数据库。步骤6： 根据PSU4和PSU12的readme文档，目标库下运行post installation提到的脚本，并将数据库改RAC并添加至CRS，启动实例后收集系统统计信息，并在时间窗口允许范围内对目标库进行全备份。至此, 中心资源库应用PDC和TDB技术成功迁移!三、 主要成果和应用情况 本创新中提出的Portable Data Containers(PDC

19、可移动数据封装)技术与Transportable Database（TDB数据库传输）技术相结合的TB级海量数据库迁移方法，实现操作系统/存储层面和数据库层面数据迁移的最优组合,并在本次中心资源库迁移中得到有效实践,实现跨平台迁移现网5T庞大数据量停机时间控制在2小时以内，较其它传统数据库迁移方案缩短停机时间8小时以上，高效保障了业务连续性、可用性， 对往后NGBOSS核心系统数据库迁移也具极大的指导意义。 本次中心资源库迁移践行低成本高运营原则，避免购买第三方软件，节约费用约100万。“成果上报申请书”的填写说明：1、“成果专业类别”指：核心网、无线、传输、IP、网管、业务支撑、管理信息系统

20、、市场研究、数据业务、数据网络、通信电源、空调、其他。2、“成果研究类别”指：超前研究、新产品开发、相关网络解决方案、现有业务优化、其他。3、“所属专业部门”指：完成该成果的单位在省公司或地市分公司所属的专业部门线条。可填写：规划计划线条、网络线条、业务支撑线条、管理信息系统线条、数据线条、市场线条、集团客户线条、其他。4、“省内评审结果”指：优秀、通过。5、“对企业现有标准规范的符合度”指：列举该成果使用并符合的中国移动统一发布的企业标准的名称和编号，详细描述该成果在现有的企业标准基础上所需新增的功能要求（如业务流程的改变、设备新增的功能要求等）。6、成果来源指：如果该成果来源于集团研发项目

21、，请填写研发项目的年度、项目名称和类型（类型包括：集团重大研发项目、集团重点研发项目、省公司自立项目）。7、专利情况指：1)类型：发明、实用新型、外观2）名称：该成果申请专利的名称3）申请号：由知识产权审查机构授予的该成果专利申请号4）状态：申请中、已授权8、“文章主体”：根据不同科技成果分类实施不同的主体要求，具体如下：1）超前研究类成果主体包括： 背景情况 技术特点分析 标准化情况 其他运营商应用情况（可选） 技术发展趋势 引入策略分析2）相关网络解决方案类成果主体包括： 背景情况 技术方案：概述、网络解决方案（如果涉及到网络方面的改造，信令改造，路由改造等，应有详细的描述）、设备及系统改

22、造/建设要求、码号资源需求 效果（解决了哪些问题） 本省应用推广情况3）新产品开发类成果主体包括： 业务及功能简介：业务概述、业务主要功能介绍 技术实现方案：包括业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程、码号要求等 业务申请和开通：包括用户范围及业务使用范围、业务申请与注销等 业务商务模式及资费：包括商务模式、业务资费模式、业务收费方式等 市场前景分析4）现有业务优化类成果主体包括： 业务及功能简介：业务概述、业务主要功能介绍 现有业务存在的问题：现有缺陷分析、解决问题的思路 原有业务方案/流程：业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程 优化后的方案/流程：业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程 优化后达到的效果，产生的经济效益 5）其他类成果主体，参考1）4）的成果主体要求，阐述清楚项目背景、实现方案、解决的问题、取得的社会和经济效益等。