《数据架构参考.doc》由会员分享，可在线阅读，更多相关《数据架构参考.doc（81页珍藏版）》请在三一办公上搜索。
1、1 数据架构设计（数据架构组）1.1 概述1.1.1 总体描述相对于业务架构和应用架构，数据架构在总体架构中处于基础和核心地位。因为信息系统支撑下的海关业务运作状况，是通过信息系统中的数据反映出来的，数据信息系统管理的重要资源。因此构建海关的IT总体架构时，首先要考虑数据架构对当前业务的支持。理想的IT总体架构规划逻辑上是数据驱动的，即：首先根据业务架构分析定义数据架构；然后根据数据架构结合业务功能定义应用架构；最后根据应用架构与数据架构的定义，来设计技术架构。1.1.2 数据架构蓝图1.1.2.1 逻辑蓝图图：数据架构总体逻辑蓝图数据架构的六个统一，即统一数据规划、统一存储、统一计算、统一服
2、务、统一接入、统一数据治理。1.1.2.2 物理蓝图图4-1-1l 通过万兆连接核心交换区，实现网络高速交换，确保可靠性 l 各服务器均双线连接数据区核心交换机，消除单点故障 l 结构清晰，层次分明1.1.3 设计原则1、整体性原则共享服务平台必须根据统一的总体方案的统筹规划，按总署、直属海关、隶属海关的功能划分实行多级部署，同时按照职责分工进行建设和管理，保证三个层级的部署构成一个整体，各部分通信畅顺，信息共享，形成一个全国性的共享服务平台。2、标准化原则总署统一制定信息资源共享服务的技术标准、通信协议标准、数据交换报文标准，提供数据访问功能、基本业务逻辑处理功能的标准组件。系统的开发、集成
3、按照规定的标准进行，保证海关共享服务平台的结构一致性和技术规范性。3、安全与效率并重原则总结和汲取超大业务量海关的成功经验，采取充分足够的技术手段和管理制度，在保证共享服务平台与海关业务应用系统之间高速的数据交换，在保证共享服务平台良好运行效率的同时，保证海关业务运行网和业务管理网的信息安全和运行安全。系统设计方面要充分考虑共享服务平台数据量大、负荷高等因素，严格控制程序流程设计、严把程序编制质量、同步制定配套的系统运行管理办法，确保共享服务平台运行的高效性和稳定性。4、系统功能与职责分工相适应原则平台多方共建，发挥各方面的积极性，信息系统、业务系统与业务管理或操作运行的主体之间的关系和分工必
4、须明确。5、一致性原则共享服务平台在体系架构上必须与金关业务解决方案的框架保持一致，在系统开发建设的设备选型、开发技术、认证授权、门户框架、数据定义、参数管理、通信协议、网络结构、安全运维等方面必须与金关总体技术方案保持一致，保证共享服务平台成为现代海关综合管理系统的有机组成部分。注:整体统筹原则数据层和应用层解耦数据的高可靠服务的高可用1.1.4 设计目标“信息资源体系建设”是一项长期工程，是支撑海关各个业务条线之间实现充分协作信息共享基础架构。将确保金关工程二期在海关信息资源开发利用方面抓住数据一致性、规范性等数据质量源头建设,形成统一顶层设计，做到海关信息资源一盘棋，数据统一管控，统一开
5、发利用，促进海关信息共享、业务协作效率和科学决策水平的更高提升。总体目标主要包括以下五个方面内容：1、实现信息资源整合信息资源规划的一项很重要的目标就是要解决目前信息系统建设中的重复建设问题，达到信息系统的整合和集约，信息资源规划是信息系统顶层设计的一部分，能够从整体上对信息资源进行设计，并能够提供信息系统建设的标准和规范，这样信息系统就能够以此为标准，进行适时、适度、逐步整合，最终达到消除冗余，集约良性发展的效果。2、提高技术响应速度业务需求的变化和技术的响应速度之间一直是一对矛盾，信息资源规划通过对信息系统，尤其是信息资源架构进行科学设计，可以增强信息资源架构的稳定性，当业务需求变化时，可
6、以通过很少的数据结构和程序变动就能够满足业务需求，这样不但提高了技术响应速度，而且能够增强系统的稳定性，降低故障率。3、实现信息共享信息资源规划通过建设信息共享服务平台，实现了数据的集中存储和计算，并实现了对外统一的服务接口，不论是对于海关内部的信息共享需求，还是外部的数据共享需求；不论是直接面向用户的共享查询，还是面向应用系统的数据服务，都可以通过数据服务共享平台解决。4、实现大数据分析海关要实现智能海关，必须实现海关信息系统的物联化、互联化、智能化，而最重要的就是智能化，即通过大数据分析，为海关准确决策提供信息支持。信息资源规划通过设计和实现数据共享服务平台，引入并行数据库、分布式数据库等
7、大数据存储和计算技术，能够解决海关的大数据分析问题，达到数据用得好、决策准的业务目标。5、提升数据质量 信息资源规划通过设定标准规范、业务管理流程，能够规范数据的定义、存储、使用、传输、交换，使得数据采集更加规范、数据传输更加准确高效，数据使用更加安全方便，通过各种管理流程和规范，能够大幅提升数据质量。1.2 数据定义1.2.1 总体描述数据的基本结构分三个层次，反映了观察数据的三种不同角度。(1)概念数据层。它是数据的整体逻辑表示。指出了每个数据的逻辑定义及数据间的逻辑联系，是存贮记录的集合。它所涉及的是数据所有对象的逻辑关系，而不是它们的物理情况。(2)物理数据层。它是物理存贮设备上实际存
8、储的数据的集合。这些数据是原始数据，是用户加工的对象，由内部模式描述的指令操作处理的位串、字符和字组成。(3)逻辑数据层。它是用户所看到和使用的数据，表示了一个或一些特定用户使用的数据集合，即逻辑记录的集合。数据建模1.2.2 业务域根据目前海关不同的网络，运行网、管理网和接入网以及总署和直属的这种物理关系，梳理出每个域中业务情况和相互的关联关系划分出不同的业务域。海关目前的现状梳理出来的业务域有： 公共域、首长决策域、公共办公域、业务管理域、综合保障域和内部监控公共域：1) 公共时间域2) 公共金融域3) 公共位置域4) 公共人员域5) 公共机构域6) 公共参数域首长决策：1) 署长办公公共
9、办公：1) 办公2) 国际事务业务管理：1) 政法2) 关税3) 监管4) 物流5) 加贸6) 稽查7) 缉私8) 统计综合保障：1) 科技2) 财务3) 关务保障4) 人事内部监控1) 督查审计2) 监察根据业务 划分核心数据和非核心数据。1.2.3 概念模型设计概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。概念数据模型的内容包括重要的实体及实体之间的关系。在概念数据模型中不包括实体的属性，也不用定义实体的主键。这是概念数据模型和逻辑数据模型的主要区别。概念数据模型的目标是统
10、一业务概念，作为业务人员和技术人员之间沟通的桥梁，确定不同实体之间的最高层次的关系。根据业务域的划分，梳理跨业务域的端到端的业务流程，从而梳理出大的对象之间的关系和小的业务流程。例如，用户（user）ER图1.2.4 逻辑模型设计逻辑数据模型反映的是系统分析设计人员对数据存储的观点，是对概念数据模型进一步的分解和细化。逻辑数据模型是根据业务规则确定的，关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。 逻辑数据模型的内容包括所有的实体和关系，确定每个实体的属性，定义每个实体的主键，指定实体的外键，需要进行范式化处理。 逻辑数据模型的目标是尽可能详细的描述数据，但并不考虑数据在物理上如
11、何来实现。逻辑数据建模不仅会影响数据库设计的方向，还间接影响最终数据库的性能和管理。如果在实现逻辑数据模型时投入得足够多，那么在物理数据模型设计时就可以有许多可供选择的方法。解决端到端的业务流程梳理出大量的小流程和对象关系，进一步梳理出各个业务域的业务对象及其行为和属性。1.2.5 物理模型设计物理数据模型是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放。 物理数据模型的内容包括确定所有的表和列，定义外键用于确定表之间的关系，基于用户的需求可能进行发范式化等内容。在物理实现上的考虑，可能会导致物理数据模型和逻辑数据模型有较大的不同。物理
12、数据模型的目标是指定如何用数据库模式来实现逻辑数据模型，以及真正的保存数据。常用的设计范式，以及对于数据量大的业务，在数据模型层面不处理表之间的主外键之间的关系。主要将逻辑模型的各个业务对象及之间的关系，以表、主外键及关联表的方式表示。针对各个逻辑模型勾勒出各个域的ER模型。1.3 数据分布1.3.1 总体描述将数据物理分布式处理方式逐步转为集中式处理方式，本节主要描述数据在各个业务子系统之间的逻辑分布，以及数据物理分布。1.3.2 逻辑分布系统名称分系统名称子系统名称系统应用类型业务应用类数据业务分析类数据缉私监控指挥企业信息应用归类风险监控审单执法企业综合资信数据交换应急指挥情报预警监测决
13、策分析风险监测物流链监控分析专家会诊审单数据信息管理全国HG监控指挥系统风险管理分系统风险监控子系统实时性要求不高的OLTP风险处置子系统实时性要求不高的OLTP应急指挥分系统应急监控预警子系统实时性要求不高的OLTP应急指挥调度子系统实时性要求不高的OLTP决策分析分系统决策分析分系统OLAP值班管理分系统值班管理分系统实时性要求不高的OLTP预案管理分系统预案管理子系统实时性要求不高的OLTP演练管理子系统实时性要求不高的OLTP缉私作战指挥分系统实战管理子系统实时性要求不高的OLTP信息支持子系统实时性要求不高的OLTP地理信息子系统实时性要求不高的OLTP移动应用分系统移动客户端框架子
14、系统实时性要求不高的OLTP移动端统一入口子系统实时性要求不高的OLTP移动应用服务中间件子系统实时性要求不高的OLTP移动应用管理子系统实时性要求不高的OLTP移动设备管理子系统实时性要求不高的OLTP业务应用插件子系统 实时性要求不高的OLTP地理信息系统应用分系统地理信息系统应用分系统实时性要求不高的OLTP进出口企业诚信管理系统企业诚信守法申报子系统实时性要求不高的OLTP企业资格管理子系统实时性要求不高的OLTP报关员管理子系统实时性要求不高的OLTP企业稽（核）查子系统实时性要求不高的OLTP企业诚信守法信息采集子系统实时性要求不高的OLTP企业诚信守法规则管理子系统实时性要求不高
15、的OLTP企业诚信守法差别化应用子系统实时性要求高的OLTP企业诚信守法信息指标统计子系统OLAP企业诚信守法评估子系统OLAP企业诚信守法绩效评估子系统OLAP加工和保税货物管理系统加工贸易手册管理分系统加工贸易手册申报子系统实时性要求高的OLTP加工贸易手册审批管理子系统实时性要求高的OLTP加工贸易账册管理分系统加工贸易账册申报子系统实时性要求高的OLTP加工贸易账册审批管理子系统实时性要求高的OLTPHG特殊监管区域管理分系统HG特殊监管区域管理申报子系统实时性要求高的OLTPHG特殊监管区域审批管理子系统实时性要求高的OLTP保税监管场所管理分系统保税监管场所申报子系统实时性要求高的
16、OLTP保税监管场所审批管理子系统实时性要求高的OLTP保税综合管理分系统保税业务监控分析子系统OLAP单耗管理子系统实时性要求不高的OLTPHG物流监控系统HG物流链可视化管理分系统物流链数据收集子系统实时性要求高的OLTP物流链信息展示子系统实时性要求高的OLTP物流链分析预警作业子系统实时性要求高的OLTP物流连信息预警处置子系统实时性要求高的OLTP物流可视化预警参数管理子系统实时性要求高的OLTP智能卡口分系统前端集成子系统实时性要求高的OLTP现场服务子系统实时性要求高的OLTP后台核放子系统实时性要求高的OLTP查验业务管理分系统机检查验管理子系统实时性要求高的OLTP人工查验管
17、理子系统实时性要求高的OLTP知识产权自动识别子系统实时性要求高的OLTP辅助管理子系统实时性要求高的OLTP统计查询子系统实时性要求高的OLTP机动巡查管理分系统机动巡查作业管理子系统实时性要求高的OLTP机动巡查查询统计子系统实时性要求高的OLTP通关管理系统报关单通关无纸化分系统通关电子数据申报子系统实时性要求高的OLTP通关事务/行政许可审批子系统实时性要求高的OLTP报关单无纸化审单子系统实时性要求高的OLTP报关单无纸化放行子系统实时性要求高的OLTP非报关单管理分系统快件管理子系统实时性要求高的OLTP旅客行李物品监管子系统实时性要求高的OLTP邮政总包监管子系统实时性要求高的O
18、LTP邮件通关监管子系统实时性要求高的OLTP特殊人员及机构进出境公自用物品通关子系统实时性要求高的OLTP免税店及商品监管子系统实时性要求高的OLTP电子随附单据管理分系统通关电子随附单据管理子系统实时性要求高的OLTP执法电子随附单据管理子系统实时性要求高的OLTP通关电子随附单据归档管理子系统实时性要求高的OLTP执法电子随附单据归档管理子系统实时性要求高的OLTP接单环节派单叫号分系统公共服务子系统实时性要求高的OLTP现场作业子系统实时性要求高的OLTP挂号管理子系统实时性要求高的OLTP查询统计子系统实时性要求高的OLTP关税管理系统关税电子数据申报子系统实时性要求高的OLTP减免
19、税管理子系统实时性要求高的OLTP原产地管理子系统实时性要求高的OLTP归类风险监控子系统OLAP价格管理子系统实时性要求不高的OLTP报关单批量复审子系统实时性要求不高的OLTP审单辅助支持子系统实时性要求不高的OLTP远程专家在线会诊/审单子系统实时性要求高的OLTP商品条码信息管理子系统实时性要求不高的OLTP征税管理子系统OLAP征税分析子系统实时性要求高的OLTPHG基础数据管理系统数据分析管理分系统数据抽取分发子系统实时性要求不高的OLTP动态数据仓库子系统OLAPHG业务数据管理分系统数据质量监控子系统实时性要求不高的OLTP业务数据管理子系统实时性要求不高的OLTP数据信息管理
20、子系统OLAP统一数据加工子系统OLAP缉私管理系统执法规范分系统刑事执法子系统实时性要求不高的OLTP行政执法子系统实时性要求不高的OLTP辅助办案子系统实时性要求不高的OLTP证据管理子系统实时性要求不高的OLTP协查管理子系统实时性要求不高的OLTP职能管理分系统督察管理子系统实时性要求不高的OLTP绩效管理子系统实时性要求不高的OLTP要案管理子系统实时性要求不高的OLTP综合应用子系统OLAP情报作业分系统情报信息采集子系统实时性要求高的OLTP情报线索办理子系统实时性要求不高的OLTP境外执法合作子系统实时性要求不高的OLTP情报产品生产子系统实时性要求不高的OLTP情报预警监测子
21、系统实时性要求高的OLTP情报研判分系统情报信息智能检索子系统OLAP情报专题研判子系统OLAP常用研判工具集子系统OLAP图形视频研判子系统OLAP情报研判模型管理子系统OLAP情报管理分系统情报监督子系统实时性要求不高的OLTP绩效评估子系统实时性要求不高的OLTP情报培训子系统实时性要求不高的OLTP情报应用积分子系统实时性要求不高的OLTP业务数据监测与处理子系统OLAP情报服务分系统缉私办案离线支持子系统实时性要求不高的OLTP缉私信息决策支持子系统实时性要求不高的OLTP情报布控及协查子系统实时性要求高的OLTPHG监管支持子系统实时性要求高的OLTP情报共享交换子系统实时性要求高
22、的OLTP对外联网应用系统联网数据采集分系统企业综合资信库数据采集子系统实时性要求不高的OLTP联网核查证件数据采集子系统实时性要求不高的OLTP情报公安数据采集子系统实时性要求不高的OLTP外单位数据采集子系统实时性要求不高的OLTP互联网公开数据采集子系统实时性要求不高的OLTP数据转换处理分系统企业综合资信数据处理子系统OLAP联网核查证件数据处理子系统实时性要求不高的OLTP联网核查通关处理分系统自动进口许可证联网核查子系统实时性要求高的OLTP密码产品和含有密码技术设备进出口许可证联网核查子系统实时性要求高的OLTP濒危物种允许进出口证明书联网核销子系统实时性要求高的OLTP进口药品
23、通关单联网核销子系统实时性要求高的OLTP进口兽药通关单联网核查子系统实时性要求高的OLTP原产地证书联网共享子系统实时性要求高的OLTP关库联网核销子系统实时性要求高的OLTP加工贸易多方联网管理子系统实时性要求高的OLTP数据对外服务分系统联网数据企业服务子系统实时性要求不高的OLTP联网核查国家（地区）、部委数据服务子系统实时性要求不高的OLTP企业综合资信数据政务服务子系统实时性要求不高的OLTP缉私案件数据服务子系统实时性要求不高的OLTP1.3.3 物理分布数据存放：集中存放+灾备？分布式主从模式？分布式无中心化？数据：核心交易：商用关系DB+小机集群？分析：newSQL+小机集群
24、？低价值密度的大规模数据：No SQL+大规模普通机器集群据地理分布：交易数据集中存放+灾备；其他管理支持类应用数据可三中心分别存放？1.4 数据分类1.4.1 总体描述数据分类是企业数据的组成部分，其目的是为了满足各种数据需求对数据组织的要求，根据数据内容的属性或特征，将信息按一定的原则和方法进行区分和归类，并建立起一定的分类体系，为数据的合理分布提供决策依据，以便管理和使用数据信息。1.4.2 分类原则在数据分类时遵循以下原则： 数据分类需要满足各种数据需求对数据组织的要求，即数据分类应该独立于具体的数据模型； 数据分类应有利于数据的维护和扩充。1.4.3 分类内容金关工程二期综合考虑海关
25、应用系统所产生的数据属性、应用性质、处理方式、使用范围等因素对数据进行分类，同时考虑对数据进行生命周期管理和数据质量管理；海关数据可以从业务、生命周期及数据特点进行分类。1、按照业务，海关的数据分为数据管理类（N）、业务基础类（Y）、业务处理类（Y）、业务管理类（N）、业务应用类（N）、业务分析类（N）六类数据。业务数据分类核心和非核心数据与上面业务域数据之间的对应关系 数据管理类数据，此类数据包含动态数据仓库、数据抽取分发、数据质量监控、统一数据加工、数据生命周期管理中的数据。 业务基础类数据，此类数据包含商品条码、企业信息基础、多维、公安信息资源、案件信息服务资源、自动许可证联网核查、联网
26、核销、原产地证书联网共享、加工贸易多方联网、GIS应用、核心系统参数、海关情报信息采集、海关情报移动支持的数据。 业务处理类数据，此类数据包含报关单、免税品、行邮、关税电子、外单位信息资源、加贸手册、加贸账册、互联网信息资源、智能卡口、核心系统基本通关、核心系统辅助通关、核心系统备案的数据。 业务管理类数据，此类数据包含减免税管理、原产地管理、价格管理、业务数据管理、机动巡查、值班、预案、移动应用、海关特殊监控区域、保税监管场所、保税综合管理、批量复审、海关情报业务管理、海关情报境外执法合作、执法规范化业务执法、执法规范化辅助办案、执法规范化职能管理的数据。 业务应用类数据，此类数据包括缉私监
27、控指挥、企业信息应用、归类风险监控、审单执法、企业综合资信、数据交换、应急指挥、海关情报预警监测的数据。 业务分析类数据，此类数据包含决策分析、风险数据、物流链监控分析、专家会诊审单、数据信息管理的数据。2、按照数据来源以及服务对象，海关数据可分为对外交换数据、生产数据、共享数据、决策支持数据、元数据五类。 对外交换数据，此类数据包括物流舱单、国外海关、电商订单、互联网舆情、政务公开等数据。 生产数据，此类数据包括报关单、证件核销、税收、减免税、证件监管、加贸手册、加贸合同、加贸单耗、风险布控、风险查验、行政办公等数据。 共享数据，此类数据包括企业主数据、商品主数据、公共业务通关、公共业务企管
28、数据。 决策支持数据，此类数据包括数据仓库、数据集市、业务报表、分析报告等数据。 元数据，此类数据包括技术元数据、数据模型、指标体系、标准化等数据。3、按照生命周期，海关数据可以分为“生产数据（核心，非核心）”、“分析数据”、“归档数据”三类。4、按照数据本身的特点，海关数据可以分为结构化数据和非结构化数据，结构化数据主要是应用系统生成的存储在关系数据库中的数据，数据具有明显的共性结构特点。非结构化数据主要指一些文本、图片、图像、视频、音频等数据。对于某一种数据（维度中的1个格子）对应一种存储技术。1.5 数据接入1.5.1 总体描述数据统一接入层主要目的是解耦应用系统和数据存储之间的关系，本部分主要描述应用系统和关系型数据库之间的解耦，应用与其他类型的存储之间的关系在本章的其他小节来描述。其整体架构如下图所示：应用系统数据存储MySqlOracleSQLServer。统一接入管理平台应用系统管理逻辑节点管理配置数据管理物理节点管理路由规则管理扩容迁移管理代理访问统一访问服务数据驱动故障切换Mysql协议适配Oracle协议适配SQL Server协议适配数据节点池故障备份处理引擎数据扩容Sql的解析数据路由数据分片备份管理结果集处理备份管理上层为应用
