《数据交换平台的设计方案课件.ppt》由会员分享，可在线阅读，更多相关《数据交换平台的设计方案课件.ppt（44页珍藏版）》请在三一办公上搜索。
1、数据交换平台的设计方案，架构方,案，总体建设思路整体解决方案,目录,2,平台简介,功能介绍,典型案例,三,二,一,平台简介,3,总体目标,：提供企业级复杂环境下异构信息系统间数据共享、集成、融合的整体解决方案,总部,子公司,系统,B,系统,A,子公司,系统,B,系统,A,子公司,系统,B,系统,A,1.,系统间文件传输,2.,数据库数据抽取、转换、装载,3.,系统间高频消息通信,4.,数据库准实时同步复制,5.,应用接口服务注册、转换、编,排、管理,平台简介,4,海迅数据交换平台简介,海迅数据交换平台（,HSP-EXG,）旨在提供复杂环境下、异构系统间企业数据孤岛问题的一体化解决方案。平,台集
2、合了业内主流的数据交换产品功能，提供,ETL,、,ESB,、,MQ,、文件传输、数据库同步复制等产品的整体功能实现,，各组件能够按照需求组合或裁剪，从而一次性满足中大型企业各类型数据集成共享需求，并进行统一的数据交换,监测与管理。平台主要包括五大子系统：,批量数据总线子系统（,HSP-EXG-ETL,）,作为中间件实现将数据从源端经过抽取、转换、加载至目的端，主要,提供系统间基于文件的交换功能以及数据库间的批量数据交换功能。支持,TB,级文件交换，,GB,级数据库数据交换。,即时数据总线子系统（,HSP-EXG-MQ,）,实现了满足,JMS1.1,规范面向系统间消息型数据交换的中间件，用于,在
3、应用程序之间或分布式系统中互发消息，进行高效异步通信，一般用作企业级数据集成通信总线。支持,30000,条,/,秒的高频度点对点、一对多消息通信。,数据库同步复制子系统（,HSP-EXG-Sync,）,实现基于数据库日志的同步复制功能，主要用于,oracle,数据库的,主备式灾备、读写分离、数据迁移。系统保障数据的事务性，支持秒级数据库准实时同步。,服务集成总线子系统（,HSP-EXG-ESB,）,基于,SOA,思想，实现对企业接口服务的协议转换、注册,/,发布、编排,、管理，帮助企业对繁杂的应用服务接口进行统一标准、分类管理、集成共享。,统一监测子系统（,HSP-EXG-MS,）,对平台各组
4、件提供统一的可视化状态监测、统计分析、告警、报表导出等,功能。以全局视图方式展示企业数据集成情况以及数据流向。,SG-UEP,一期成果介绍,5,上级单位,下级单位,协同办公,营销系统,协同办公,营销系统,ERP,ERP,数据中心,数据中心,SG-UEP,SG-UEP,横向数据交换,横向数据交换,纵向数据交换,统一监测,SG-UEP,两级部署,批,量,消,息,同,步,服,务,批,量,消,息,同,步,服,务,典型解决方案,平台简介,6,整体功能架构,平台简介,7,技术特点,分布式高可靠文件传输；,数据库数据抽取、转换、传输、装载；,基于数据库日志的低延迟、低影响同步复制；,高性能分布式企业级消息中
5、间件；,面向服务的企业级服务集成总线。,客户价值,一体化企业数据交换解决方案；,统一企业业务系统数据交换标准；,简化应用集成技术复杂度；,集中管理与共享企业接口服务资产；,提高企业应用集成共享水平；,目录,8,平台简介,功能介绍,典型案例,三,二,一,功能介绍,9,1,、批量数据总线子系统介绍,批量数据总线子系统（,HSP-EXG-ETL,）主要实现将批量数据从源端经过抽取、转换、加载至目标端的功能,，主要提供系统间基于文件的交换功能以及数据库间的数据交换功能。系统支持对,oracle,、,mysql,、,db2,等主流,数据以及,excel,等常见文件的数据抽取，在交换过程中可以对数据进行合
6、并、拆分、转换、筛选、过滤等处理。,批量总线子系统可以单机部署，为局域网第三方应用系统提供批量数据交换服务，也可以随平台进行分布式部,署，交换节点部署于企业多个上下级部门，贯穿组网形成通信网络，为企业提供横纵向批量数据交换服务。,应,用,程,序,第三方系统（源端）,数据库,文件,应,用,程,序,第三方系统（目标端）,数据库,文件,交换,节点,交换,节点,交换,节点,批量数据总线（单机,/,组网）,数据传输,功能介绍,10,运行原理,批量数据总线子系统（,HSP-EXG-ETL,）由引擎节点,、管理服务器、管理工具、集成接口组成，主要完成,两大类工作：面向文件的分布式高可靠路由分发传输；面向数据
7、库的数据抽取、转换、传输、装载。,管理服务器对多个引擎节点进行管理，用户通过管理工具连接到管理服务器进行图形化开发管理，管理服,务器将用户开发的服务,/,流程下发到涉及的引擎。引擎分布式部署在不同机器上，他们按照服务,/,流程信息相互,协作对数据在各节点上进行抽取、转换、传输、装载等处理以完成数据交换任务。第三方系统通过平台提供的,API,、,URL,、定时调度等方式调用总线上配置好的服务或流程完成数据交换任务。,管理工具,管理工具,管理工具,管理服,务器,http,xml,引擎,/,节点,引擎,/,节点,引擎,/,节点,第三方系统,集成,接口,URL/,定时,服务,文件传输,数据库数据抽取,
8、数据清洗、转换、过滤,数据库数据装载,流程编排,功能介绍,11,性能,1.,单节点最大配置数据交换流程,2000,个；,2.,单节点并发交换数,500,；,3.,单节点数据吞吐率,40M/,秒；,4.,结构化数据加工速度,3000,行,/,秒；,5.,系统资源平均消耗不大于,50%,；,6.,支持对,TB,级数据进行数据交换。,以上指标在以下测试环境测得：,服务器（,CPU 8,核,2.20GHz,；内存,48G,；,64,位,Windows,），网络（,1000Mbps,），数据库（,oracle 11g,）。,12,基于文件的批量数据传输,文件、文件夹传输；,模糊匹配多文件传输功能；,对文
9、件的压缩、加密传输；,断点续传功能；,数据的完整性检查及差错校验；,多任务并发传输；,文件变化传输机制（增量传输）；,文件传输后删除、备份功能；,节点间一对多、多对一传输；,同步,/,异步传输机制；,可视化配置与,FTP,系统集成；,数据整合功能,常见数据库数据抽取、装载；,动态,SQL,、变量数据抽取；,XML/Excel,文件数据抽取；,数据库表条件路由传输；,字段逻辑检查；,数学运算支持；,字段拆分、合并；,数据类型转换；,数据内容转换；,数据清洗；,高效私有格式转换；,前置、后置处理；,功能介绍,13,调度与管理,API,调度触发交换任务；,URL,调度触发交换任务；,管理工具手动触发
10、交换任务；,定时调度触发交换任务；,图形化开发与配置；,数据库接口管理；,节点管理；,服务,/,流程管理；,状态和过程监控；,功能介绍,14,界面效果,-,节点配置,批量数据总线截图,功能介绍,15,界面效果,-,数据整合,功能介绍,16,界面效果,-,推送服务,功能介绍,17,界面效果,-,流程配置,功能介绍,18,2,、即时消息总线子系统介绍,即时消息总线子系统（,HSP-EXG-MQ,）实现了满足,JMS1.1,规范面向消息型数据交换的中间件，用于在应,用程序之间或分布式系统中互发消息，支持高达,30000,条,/,秒的高效异步通信。本系统一般用作企业级高性能数,据集成总线，通信应用不需
11、要知道彼此物理位置使得应用集成实现松耦合，不需要知道彼此间怎样建立通信从,而简化应用底层通信复杂度，不需要同时处于运行状态由总线保障消息的可靠到达，不需要在同样的操作系统,或网络环境下运行实现跨平台跨系统通信。系统支持一对一、一对多、请求应答三种通信模式，提供了,java,、,c/c+,等常见编程语言的,API,。系统节点可以单机部署，也可以分布式多级部门部署并组网形成横纵向数据交换,网络。,功能介绍,应用系,统,第三方系统（接收端）,Broker,节点,Broker,节点,Broker,节点,即时消息总线（单机,/,组网）,数据传输,API,第三方系统（发送端）,应用系,统,API,19,运
12、行原理,即时消息总线子系统（,HSP-EXG-MQ,）由交换节点、监管系统、,API,组成，实现了满足,JMS1.1,规范面向系统间消息型数据交换的中间件，旨在为局域网,/,广域网环境下的应用系统提供,高效、稳定、透明路由和安全的企业级消息通信总线，以满足企业异构系统高效数据集成需求。,交换节点可单独部署也可以分布式部署，监管系统统一对个节点进行管理分配队列资源，节,点程序根据监管系统的配置进行组网通信与消息路由，第三方系统通过,API,向指定队列发送消息，,符合路由规则的消息将会被路由到其它节点供接收消费。,系统,B,系统,D,交换节点,a,队列,1,队列,2,队列,2,交换节点,b,API
13、,API,级联组网,路由规则,系统,A,API,流量控制,流量控制,监管,系统,配置文件,功能介绍,功能介绍,20,性能,1.,系统非持久化异步消息发送总吞吐,80000,条,/s,；,2.,系统非持久化同步消息发送总吞吐,40000,条,/s,；,3.,系统持久化异步消息发送总吞吐,40000,条,/s,；,4.,系统持久化同步消息发送总吞吐,20000,条,/s,；,5.,单线程非持久化异步消息发送,20000,条,/s,；,6.,单线程非持久化同步消息发送,4000,条,/s,；,7.,单线程持久化异步消息发送,3000,条,/s,；,8.,单线程持久化同步消息发送,1500,条,/s,
14、；,9.,系统总吞吐量,80MB/s,。,以上指标在以下测试环境测得：,服务器（,CPU 8,核,2.20GHz,；内存,48G,；,64,位,Windows,），网络（,1000Mbps,），消息大小,500,字符。,21,支持的消息类型,BytesMessage,字节流,ObjectMessage,可序列化的对象,TextMessage,字符串,StreamMessage,原始数据流,MapMessage key/value,映射,map,消息交互功能,点对点模式,发布,/,订阅模式,持久化,/,非持久化,同步发送（可靠性高）,异步发送（吞吐量大）,请求应答（应用层同步）,事务支持,安全认
15、证,多消费者负载,消息分组,消息过滤,消费者优先级设置,增强特性,广域网多节点级联组网,消息路由透明通信,流量控制防阻塞,分布式统一监管,统一授权,资源监测,即,时,消,息,总,线,功,能,功能介绍,业务应用服务器,22,3,、同步复制子系统介绍,同步复制子系统（,HSP-EXG-Sync,）实现了基于,oracle,数据库日志解析的低延迟、非侵入式,同步复制功能，当源库发生变化时系统将通过解析数据库日志（而不是访问数据库，对源数据库,性能影响小）识别变化并将变化同步到目标库，从而实现,oracle,数据库的秒级同步复制。系统保,证数据的事务性，支持全量、增量同步方式，主要用于灾难情况下的数据
16、库准实时备份、高压力,情况下数据库的读写分离,/,负载均衡、以及数据共享数据分析的数据同步。系统源端支持,oracle,数,据库，目标端支持,oracle,、,mysql,、,db2,等常见数据库。,功能介绍,应用,程序,业务数据库服务器,灾备数据库服务器,oracle,常见数据库,复制节点,复制节点,业务应用服务器,应用程序,A,业务,数据,库服,务器,灾备,数据,库服,务器,oracle,常见数据库,复制节点,复制节点,应用程序,B,写,读,23,3,、同步复制子系统介绍,同步复制子系统（,HSP-EXG-Sync,）实现了基于数据库日志的低延迟、低影响、高效率的同,步复制功能，可准实时完
17、成数据库灾备、读写分离。,数据库使用本系统建立复制关系后，系统日志分析进程将实时对数据库日志进行监听、解析,，当业务系统对源数据库进行操作后，日志分析进程识别出需要复制的数据进行临时存储为,jsonfile,，然后调用发送进程将数据传输到目标端，目标端接收到数据后进行适当处理装载到目标,库。,功能介绍,24,系统功能,基于数据库日志解析,多任务并发复制,断点续传,数据加密安全传输,缓存队列传输,并发多线程装载,异构数据库,DML,装载,支持分布式数据库,保证数据库事务一致性,支持,JDBC,装载,支持常见主流操作系统,业务功能,数据库读写分离,数据库双向同步,数据库数据分发,数据库级联同步,常
18、见数据库支持,数据过滤,全量同步复制,增量同步复制,准实时同步复制,对源库低影响,准实时同步复制,可视化监测,同,步,复,制,子,系,统,功,能,功能介绍,25,常见实施方案,功能介绍,26,4,、服务集成总线子系统介绍,服务集成总线（,HSP-EXG-ESB,）作为企业网络中最基本的连接中枢，是构筑企业神经系统、,提高企业服务重用性的必要元素。基于,SOA,思想，实现对企业接口服务的协议转换、注册,/,发布、,编排、管理、标准化，帮助企业对繁杂的应用服务接口进行标准化与重用、分类管理、集成共享,。采用“总线”模式管理和简化应用之间的集成拓扑结构，以广为接受的开放标准为基础来支持,应用之间在事
19、件和服务级别上动态的互连互通，是一种在松散耦合的服务和应用之间标准的集成,方式。系统可以单套部署，也可以在企业上下级进行跨地域分布式组网部署，互联互通。,功能介绍,服务集成总线,服务注册,/,发布,协议转换,服务编排,服务管理,服务质量监测,业务系统,1,发布服务,业务系统,2,发布服务,业务系统,3,发布服务,业务系统,n,发布服务,业务系统,A,消费服务,服务查询,业务系统,B,消费服务,业务系统,C,消费服务,业务系统,x,消费服务,服务,集成,总线,级联,27,运行原理,服务集成总线（,HSP-EXG-ESB,）提供了级联式基于服务调用的接口服务集成平台，主要,提供,了服务注册、服务编
20、排、协议接入,/,接出、协议转换、服务转换、服务路由等功能,。,服务集成总线,采用,SOA,松耦合的思想来进行企业服务的集成，通过灵活的服务接口和适配器方便不同协议、不,同报文格式的应用接口的集成，并提供松耦合、效灵活的设计架构，方便未来系统接口的扩展。,功能介绍,业务系统,1,业务系统,n,服务集成总线,http,jms,socket,其他,http,jms,socket,其他,协,议,接,出,协,议,接,入,协,议,转,换,服,务,路,由,服务转换,SOA,P,JSO,N,XML,txt,Hess,ian,HL7,其他,服务注册,1,5,6,调用对应服务,服,务,消,费,者,2,服务请求,
21、3,服务注册,1,可视化开发、管理、监测,业务系统,2,服务注册,1,28,服务集成,服务管理,服务运行监控,?,协议适配（接出,/,接入）,?,协议转换,?,JMS,?,HTTP,?,Webservice,?,UDP/TPC,?,?,服务转换,?,服务编排,?,服务路由,?,静态路由,?,动态路由,?,服务级联,?,服务异常处理,?,服务注册,?,服务目录管理与服务查询,?,服务访问权限控制,?,服务访问流量控制,服务器管理,?,服务部署,?,服务器管理,?,集群管理,?,服务运行统计,?,服务运行查询,?,接口运行诊断（服务运行耗时排名）,?,接口运行检索（拦截查看请求响应报文）,?,服务
22、日志分析,功能介绍,功能介绍,29,性能,1.Http,协议穿透代理事务数,14000,次,/s,，响应时间,0.005s,；,2.WebService,协议穿透代理事务数,7000,次,/s,，响应时间,0.03s,；,3.JMS,协议穿透代理事务数,20000,次,/s,，响应时间,0.007s,；,4.http,与,WebService,协议转换处理事务数,7000,次,/s,，响应时间,0.04s,；,5.http,转,jms,协议转换处理事务数,11000,次,/s,，响应时间,0.02s,；,6.WebServicee,转,jms,协议转换处理事务数,11000,次,/s,，响应时
23、间,0.02s,。,以上指标在以下测试环境测得：,服务器（,CPU 8,核,2.20GHz,；内存,48G,；,64,位,Windows,），网络（,1000Mbps,），用例,300,并发。,30,业务场景,-,服务注册,30,在线工具,Excel,模板,生成,权限管理,系统权限,应用权限,运行统计,统计综,合查询,软件资产管理,接口注册,管理,系统,IP,地,址管理,资产审计管理,上线部署管理,资产管,理者,资产,提供者,资产,调用者,用户通过服务注册功能对企业接口,服务、数据模型等软件资产通过一,定的管理流程进行集中管理,软件服务资产的注册管理在,SOA,体系下至关重要，其,中接口服务资
24、产的集中管控使得“资产状况透明化”,从而有效支撑集成架构的部署价值,调用关系,管理,软件资产,统计管理,部署管,理,变更历,史查询,注册审,计,报文审,计,调用审,计,审计任,务管理,接口运,行统计,接口运,行诊断,接口运,行检索,Excel,格式,校验,在线比对,工具,功能介绍,31,业务场景,-,服务编排,提供图形化的服务编排设计工具，可以可视化的配置服务调用、处理等过程，从而更容易完,成服务的编排，利用已有服务接口编排产生符合需求的新服务接口。,?,动态消息路由,?,异常处理机制,?,复杂业务运算,?,垃圾消息过滤,功能介绍,32,5,、统一监测子系统介绍,统一监测子系统,批量数据总线,
25、子系统,即时数据总线,子系统,数据库同步复,制子系统,服务集成总线,子系统,采,集,器,采,集,器,采,集,器,采,集,器,数据收集,统计分析,数据存储,报表生成,图形化展示,远程连接,统一监测子系统（,HSP-EXG-MS,）实现了对海迅数据交换平台各子系统的远程运行数据采集,、运行状态分析、图形化展示、报表生成、异常告警等功能，能够直观的展现平台各子系统的运,行状况、业务系统交换关系、交换数据量等，为企业针对数据交换、服务集成、数据库同步复制,提供了统一的监测管理实现。,告警,功能介绍,33,系统管理,分级授权,三权分立控制,告警配置,统一监控与全景展示,系统基本信息采集,全局分析概况,地
26、图动态信息,服务器集中监测展示,服务器资源监测,节点信息监测,组件运行情况监测,日志查询,告警功能,报表导出,异常告警,智能分析,峰值分析,接入信息统计,交换数据量,/,频度统计,系统热度统计,系统健康度分析,关联度分析,统,一,监,测,子,系,统,功,能,功能介绍,34,统一监测,-,全局监测,功能介绍,35,统一监测,-,资源监测,功能介绍,36,统一监测,-,远程配置查看,功能介绍,37,统一监测,-,远程日志分析,功能介绍,目录,38,平台简介,功能介绍,典型案例,三,二,一,典型案例,业务系统,ODS,ODS,DXP,DXP,营销,协同办公,营销,协同办公,总,部,省,(,市,),W
27、S/HTTP,WS/HTTP,业务系统,企业服务总线,企业服务总线,1,2,3,BW,ETL,平台,DB,连接,DB,连接,ETL,平台,GIS,非结构,化平台,GIS,非结构,化平台,5,WebService,WebService,海量平台,海量平台,4,1,6,OGG,Queu,e,ERP,BW,ABAP,ERP,BW,ABAP,国家电网公司统一数据交换,1,、公司业务系统庞多，公司跨,地域子公司较多，业务系统分布,在不同地理位置；,2,、业务系统间集成方式繁多，,技术实现不统一，缺乏统一设计,和管控；,3,、缺少基于文件传输的批量数,据总线；,4,、现有数据交换能力有限；,5,、数据集成
28、方式定位不清晰、,使用不规范、分工不明确；,6,、国产化不足，自主可控能力,薄弱；,7,、需要一体化的数据交换系统,完成业务系统间的集成与共享，,并提供统一的管理、控制、分析,功能；,40,基于数据交换现状，国网启动了统推项目,统一数据交换平台项目,，主要通过我公司海迅数据交,换平台实现。需要交换的数据主要包括大中小三种类型的数据横纵向交换，其数据量递减，实时性要,求递增。,其中大批量数据（,GB-TB,）一般为数据库表到表交换或文件到文件交换，对实时性要求低但是,数据量大，使用,HSP-EXG,批量数据总线完成；,中量数据（,MB-GB,）对实时性要求一般，其中实时性要求低的使用批量数据总线
29、完成，实时性,要求稍高的使用即时消息总线完成；实时要求高的数据库同步需求使用同步复制子系统完成；,小量数据（,KB-MB,）对实时性要求较高，使用,HSP-EXG,消息总线完成，消息总线支持双向即时,通信；,服务集成共享类需求使用服务集成子系统提供统一的接口服务注册与管理，基于,SOA,理念解耦,系统间集成耦合性，提高公司应用系统接口服务共享质量与可管理性。,为满足国网横纵向数据交换需求，设计在总部、省公司各部署,HSP-EXG,两套，一套负责纵向交,换，一套负责横向交换，从而将横纵向数据交换完全打通。,基于,HSP-EXG,的解决方案,典型案例,统,一,权,限,目,录,数据中心,统,一,数,
30、据,交,换,平,台,批量数据,总线,即时数据,总线,流媒体数,据总线,数据库同,步复制,ETL,服务集成,总线,统一管理,统一监控,统一调度,统一部署,统一运维,非结构化,结构化,海量准实时,人力资源,财务管理,物质管理,大规划,大建设,地理信息,大检修,大营销,大运行,电网统一视频,产业业务管理,国际业务管理,协同办公,综合管理,.,统一账号组件,统一验证组件,统一授权组件,统一审计组件,统,一,流,程,平,台,流程建模组件,流程监控组件,流程标准库,流程管理组件,集成共享,统一权限目录,统一数据交换平台,统一流程平台,集成共享,业务应用,/,数据中心,业务应用,消息,文件,表同步,复制,服务,调用,表抽取,与转换,视频流,总部,省（市）,/,三中心,消息,/,服务,视频流,/,消息,数据库表,/,文件,国,网,统,一,数,据,交,换,平,台,架,构,典型案例,42,逻辑部署图,总部,地方公司,协同办公,营销系统,协同办公,营销系统,ERP,ERP,数据中心,数据中心,HSP-EXG,横向交换,横向交换,纵向交换,统一监测,SG-UEP,两级部署,批,量,消,息,复,制,集,成,HSP-EXG,批,量,消,息,复,制,集,成,典型案例,43,物理部署图,典型案例,汇报完毕,感谢聆听,
