《城乡一体化权籍应用管理系统总体建设方案.doc》由会员分享,可在线阅读,更多相关《城乡一体化权籍应用管理系统总体建设方案.doc(100页珍藏版)》请在三一办公上搜索。
1、xx市城乡一体化权籍应用管理系统建设方案xx市国土资源和房屋管理局二一三年七月目录1项目背景与必要性分析12数据现状分析32.1城镇地籍数据32.2土地利用现状数据32.3土地利用规划数据32.4数字正射影像数据42.5城镇土地定级与基准地价数据42.6城乡一体化权籍数据43建设目标与建设内容54系统总体设计84.1总体架构84.2体系结构94.3系统技术路线114.3.1总体技术思路114.3.2采用B/S与C/S相结合的多层架构114.3.3基于Oracle+ArcSDE数据库环境124.3.4基于ArcGIS Engine的GIS组件开发124.4系统建设原则124.4.1坚持先进性、实
2、用性原则124.4.2坚持标准化和开放性原则134.4.3坚持可扩充性原则134.4.4坚持可维护性原则134.4.5坚持“上下兼容、保护投资”的原则144.4.6开放信息服务、保证信息安全的原则144.5系统运行环境144.6系统关键技术问题的解决154.6.1采用分布式数据库技术实现数据同步更新154.6.1.1ArcGIS的分布式数据库概述154.6.1.2市、县数据同步更新的实现174.6.2采用空间ETL技术实现数据交换174.6.2.1空间ETL概述174.6.2.2空间ETL的实现思路194.6.2.3空间ETL实现数据交换(以VCT为例)234.6.3基于Silverlight
3、技术实现插页式开发274.6.3.1插件式架构设计概述274.6.3.2插件式架构设计的优点284.6.3.3插件式架构技术选型294.6.3.4Silverlight插件式开发技术30图4.11插件式框架的架构图325城乡一体化权籍数据库建设345.1制定数据库建设规范345.2数据库建设内容355.3数据库建设方式365.4数据库的结构设计365.4.1数据库的总体结构365.4.2数据的分层及编码规则385.4.2.1要素层命名规则385.4.2.2各专题数据的层名和表名385.4.2.3要素分类编码规则445.5建立数据库数据管理和更新机制455.6数据交换系统建设466应用系统功能设
4、计476.1城乡一体化权籍数据中心管理平台476.1.1系统概述476.1.2功能说明476.2土地和房产登记成果的监管系统496.2.1权籍信息监管模块496.2.2权籍信息查询模块506.2.3权籍信息统计模块516.2.4权籍信息分析模块526.2.5统一配号管理模块526.2.6系统维护管理模块536.2.7权籍图形管理模块526.3土地征收转用系统536.3.1系统概述536.3.2功能分析536.3.2.1客户端功能536.3.2.2Web端业务办理功能546.3.2.3WebGIS功能546.4地类变更和用途管制系统556.4.1系统概述556.4.2功能分析556.4.2.1变
5、更项目管理556.4.2.2数据编辑566.4.2.3查询选择566.4.2.4数据导入导出566.4.2.5统计分析566.4.2.6土地利用变化分析功能566.4.2.7汇总统计和图件输出功能576.5建设用地指标分析系统576.5.1系统概述576.5.2功能分析586.6建设用地批后监管系统586.6.1系统概述586.6.2功能分析596.6.2.1综合查询分析596.6.2.2统计报表分析616.6.2.3项目编辑入库626.6.2.4批后监测监管626.6.2.5重点项目跟踪666.7空间数据入库检测系统676.7.1系统概述676.7.2功能分析676.7.2.1客户端功能67
6、6.7.2.2Web端业务办理功能686.8城乡一体化权籍应用管理共享平台686.8.1系统概述686.8.2功能分析696.8.2.1数据展现696.8.2.2图形浏览696.8.2.3宗地查询706.8.2.4专题叠加706.8.2.5综合分析716.9土地登记公开查询系统716.9.1土地登记结果查询716.9.2土地登记办理状态查询726.9.3触摸屏查询726.9.4动态发布土地登记公告727系统保障体系建设747.1标准规范体系747.1.1数据服务接口757.1.2服务目录接口767.1.3元数据目录接口777.1.4图片引擎接口777.1.5功能接口777.2安全保密体系787
7、.2.1管理层安全风险分析787.2.2管理层安全风险的规避797.2.3安全体系建设规范797.2.4安全组织体系建设797.2.5安全管理制度建设797.2.6安全管理手段817.2.6.1通信网络安全817.2.6.2局域网的安全827.2.6.3城域网和广域网的安全827.2.6.4防火墙技术837.2.6.5软件安全837.2.7存取控制847.2.8隔离控制857.2.9安全操作系统867.2.9.1数据库安全867.2.9.2信息存贮媒体的安全908项目组织机构和人员培训938.1领导和管理机构938.2项目实施机构938.3运行维护机构948.4技术力量和人员配置958.5人员
8、培训计划969费用预算971 项目背景与必要性分析xx位于xx半岛南端(北纬3535-3709,东经11930-12100)、黄海之滨,是全国70个大中城市之一,全国五个计划单列市之一。xx市地处xx半岛东南部,东、南濒临黄海,东北与烟台市毗邻,西与潍坊市相连,西南与日照市接壤。2008年末全市户籍总人口为761.56万人,其中市区1159平方公里,人口276.25万人;五市(县级)485.3万人。xx市是国家计划单列市、副省级城市、胶东半岛的经济中心城市、全国首批沿海开放城市、国家级历史文化名城、首批全国文明城市、国家卫生城市、中国海洋科研中心、中国十大最具经济活力城市和中国十佳商务城市。近
9、年来,随着xx市经济的发展,城市化进城的加快,土地资源保护与城镇建设用地的矛盾越发突显,xx市国土资源与房屋管理局为平衡此矛盾,确定了以信息化规范和创新国土资源管理,先后建设了房地产市场信息系统、保障性住房信息系统、个人住房信息系统、土地调查成果管理与更新系统、测绘成果管理系统、城乡一体化权籍管理信息系统,并通过第二次土地调查、土地利用总体规划修编、集体土地确权登记等专项工程,建设了十二个区市的土地利用现状数据库、土地调查成果数据库、土地利用总体规划数据库、农村集体土地数据库以及遥感影像数据库。目前信息化已成为xx国土资源与房屋管理局日常工作不可或缺的重要组成部分,有力地支撑了xx国土资源事业
10、发展。然而,从总体上看,所建设的这些数据资源因分散在各个单列的系统中,数据格式也不统一,无法实现数据的综合共享和深度挖掘分析,在创新国土资源管理方面的巨大作用无法得到充分发挥。xx市城乡一体化权籍应用管理系统就是在这个背景下提出来的,该系统建设的主要意义在于坚持以需求为导向、以应用促发展,打通房地产市场信息系统、保障性住房信息系统、个人住房信息系统、土地调查成果管理与更新系统、土地测绘成果管理系统、城乡一体化权籍管理信息系统之间的数据关联关系,促进各类资源信息进行深度融合,更有效的发挥城乡一体化权籍信息资源在国土资源管理中的基础作用,同时建立权籍登记信息综合监管查询平台,为今后的不动产统一登记
11、以及形成国土资源“批、供、用、补、查、登”的完整体系提供有力的技术支撑和数据支撑。2 数据现状分析2.1 城镇地籍数据城镇地籍现有数据为:2006年全市完成的城镇地籍调查数据库,约800平方公里,以及以城镇地籍调查为基础开展完成的城镇土地调查数据库成果,面积约1000平方公里。市内四区即市南区、市北区、四方区和李沧区,采用金图公司的城镇地籍建库软件进行数据建库,建成的数据库格式为arcgis数据格式。其它区县均采用MapGis软件进行城镇地籍数据建库,建成的数据库格式为MapGis的数据格式,需要进行数据转换后,再进行数据共享。2.2 土地利用现状数据土地利用现状的现有数据为:四个县级市1:5
12、000农村土地调查数据库成果,六个区1:2000农村土地调查数据库成果,这些成果都是第二次土地调查工作成果以及年度更新调查成果。2.3 土地利用规划数据土地利用总体规划的现有数据为:六区四县1:5000土地利用总体规划数据库成果,这些成果是xx土地利用总体规划修编工作的最新成果。2.4 数字正射影像数据数字正射影像的现有数据为:2008年xx省国土资源厅提供的12区市用于开展第二次土地调查农村部分的1:5000正射影像标准分幅图电子数据,约2100幅,数据格式为tiff;7区1:2000正射影像标准分幅图电子数据,约2200幅,数据格式为tiff。2.5 城镇土地定级与基准地价数据城镇土地定级
13、与基准地价的现有数据为:12区市城镇土地定级与基准地价数据库成果,现已统一纳入到xx土地基础数据管理及更新系统中,采用的arcgis平台的软件进行建库,建成的数据格式为arcgis格式。2.6 城乡一体化权籍数据通过城乡一体化权籍数据整合和管理系统项目建设,形成的数据有:城乡一体化房地合一权籍数据库;测绘与调查成果数据库;集体土地所有权数据库;集体建设用地使用权数据库;宅基地使用权数据库;遥感及监测数据库;耕地后备资源数据库;基本农田数据库。建成的数据格式为arcgis格式。3 建设目标与建设内容城乡一体化权籍应用管理系统建设的总体目标是在国土资源“一张图”框架下,构建以城乡一体化权籍信息应用
14、管理为主体,集土地利用总体规划、土地现状、土地征收、土地供地、批后监管、占补平衡、执法监察、房屋产权等专题的综合应用管理平台。根据此建设目标,实现城乡一体化权籍应用管理系统的建设,需完成以下建设内容:1. 以城乡一体化权籍数据为抓手,依批、供、用、补、查、登的用地过程为主线,对房地产市场信息系统、保障性住房信息系统、个人住房信息系统、土地调查成果管理与更新系统、测绘成果管理系统、城乡一体化权籍管理信息系统的业务数据进行梳理和整合。在基础设施支撑下,按xx市国土资源“一张图”建设技术标准规范,采用先进的整合集成技术,建立多尺度、多时态、全覆盖、统一空间参考的xx市城乡一体化权籍多用途数据库。具体
15、包括城镇土地调查数据、农村土地调查数据、城镇国有土地确权登记发证数据、农村集体土地确权登记发证数据、房屋产权数据、土地利用总体规划数据、土地利用现状数据、建设用地报批数据、土地供应数据、遥感监测数据、开发复垦整理数据、执法监察数据、基础地理数据、遥感影像数据等。2. 城乡一体化权籍数据管理平台城乡一体化权籍数据管理平台为全市的权籍数据提供集中存储和管理的平台,是对全市城乡一体化权籍多用途数据的采集、质检、管理、更新、展现及应用的平台,它涵盖城乡一体化权籍多用途数据库的所有数据,涉及基础地理、土地现状、土地登记、房屋产权、土地调查、土地规划、土地征收、土地供应、基础地价、遥感影像、占补平衡、执法
16、监察等专题数据,城乡一体化权籍数据管理平台实现将这些数据统一纳入进来,形成多专题、多年度、多尺度、多时态、现势性强的国土资源管理数据库。3. 城乡一体化权籍应用管理系统建设城乡一体化权籍应用管理系统主要实现全市城乡一体化权籍数据的综合应用,主要包括实现对全市土地和房产登记成果的监督管理;实现对全市权籍宗地土地审批过程的全程追溯;实现批、供、用、补、查、登的综合分析;为各类专题管理系统提供数据共享与服务平台;围绕城乡一体化权籍数据向社会公众提供公开查询与信息服务。4. 开展城乡一体化权籍成果的共享服务为满足全市城乡一体化权籍成果的共享应用,建设城乡一体化权籍成果共享平台,实现对空间信息数据图形浏
17、览、定位查询、空间分析、登记数据查询与浏览、统计与分析、专题图制作等,开发对权籍监督管理数据库调用和操作的应用接口,为行政许可事项审批业务系统、土地市场动态监测和监管系统、项目建设进度监控平台和其它应用系统提供数据支撑、应用与服务。5. 建立登记数据汇交和更新的机制权籍成果资源共享是国土资源信息化建设的关键问题,它涉及到管理体制、机制与技术等方面的一系列问题。建立和完善数据汇交、数据更新机制对城乡一体化权籍应用管理数据库建设是必要的前提。为此,需要制定登记数据汇交及更新管理办法,在此框架内,(a)建立有关权籍登记数据库数据汇交与更新的协调、操作、运行的管理机制;(b)规范相关部门数据汇交与更新
18、规定,以及约束其共享行为的行政规章制度;(c)保证数据汇交与更新的相关标准规范等。(d)按照“谁生产谁负责”的原则,及时进行数据更新,保持数据的现势性。6. 编制相关的技术标准规范开展城乡一体化权籍数据库建设,在技术上需要制定数据库建设、管理和应用等一系列技术标准和规范,确保建设过程中按照统一的空间数据数学基础,统一的数据分类代码、数据格式、命名规则和统计口径等。标准和规范的内容主要包括数据整理、质量检查、数据转换、成果入库、数据管理、动态更新及其对外服务等。4 系统总体设计4.1 总体架构xx市城乡一体化权籍应用管理系统通过实时获取各区县的权籍登记信息,并结合规划、征供、现状、监察、影像等数
19、据,为用户提供登记信息监管、查询、统计、分析和辅助决策服务,面向对象主要是市级用户、县级用户以及其他的共享用户。针对不同层级的用户,分别设计不同的应用模块,主要包括城乡一体化权籍应用管理系统、城乡一体化权籍数据管理平台、城乡一体化权籍成果共享平台。城乡一体化权籍管理系统用于从现有的系统即房地产市场信息系统、保障性住房信息系统、个人住房信息系统、土地调查成果管理与更新系统、测绘成果管理系统、城乡一体化权籍管理信息系统中提取相关登记信息和审批信息,进行数据检查、同时对全市范围的登记信息进行监管、查询、统计、分析及发布共享;系统架构如下图:系统总体架构系统架构由数据层、应用层、用户层组成,三级软件均
20、采用SOA理念设计、以ArcGIS为平台、.NET为开发语言进行设计研发,同时都采用统一身份认证、工作流、LDAP等技术实现数据的访问控制,这充分体现了软件一体化设计的思想,实现了技术一体化、业务一体化和数据一体化。4.2 体系结构xx市城乡一体化权籍应用管理系统是一个对土地房产权籍信息进行采集、查询、统计、监管、共享为主的应用系统,系统的建设采用成熟的平台产品,使用最优的体系结构建立应用框架。系统体系结构如下:BS结构具有便于部署维护、客户端配置要求低等特点,所以日常的登记监管、信息查询、地图展现、统计分析、成果共享、统一配号等功能采用BS架构实现。用户通过网页方式即可轻松访问和浏览系统,具
21、有更好的用户体验。CS结构包括数据检查、数据上报、图形数据维护以及其他(如报批、供地、影像、规划、占补等)数据的维护模块,数据量大、更新维护专业要求高,故采用CS结构。4.3 系统技术路线4.3.1 总体技术思路1、 在软件设计上,采用面向对象的设计方法,恪守“高内聚、紧耦合”的设计原则,提高系统复用度。2、 在系统架构上,采用C/S、B/S相结合的体系架构,对于复杂业务系统采用C/S架构模式实现,客户应用场景可以实现自定义或灵活配置。3、 在系统实现上,全面结合在应用中得到验证的成熟组件和成熟模块,用组件化、参数化、模式化、集成化等先进构造思想,构建灵活、健壮、高效、稳定的xx市城乡一体化权
22、籍应用管理系统。4、 在数据建设方面,采用ArcGIS平台、大型数据库等技术,按照制定的标准,通过集中与分布式管理相结合、两级备份、相对独立的数据管理机制实现数据的统一管理与维护。4.3.2 采用B/S与C/S相结合的多层架构xx市城乡一体化权籍应用管理系统采用.Net或J2EE进行开发。采用J2EE环境,支持所有主流的J2EE环境(如Bea WebLogic、Apach+Tomcat、JBoss、IBM Websphere、Oracle AS等)。在开发过程中充分考虑不同应用的实际需求,采用客户机/服务器(简称C/S)和浏览器/服务器(简称B/S)相结合的运行模式。针对不同的应用,采用的C/
23、S或B/S运行模式安排如下:(1) 城乡一体化权籍应用管理在上级层面的应用侧重于监管、查询、统计、分析、共享等功能,主要以B/S结构为主;(2) 下级层面的应用侧重于数据的检查和上报,以C/S为主;4.3.3 基于Oracle+ArcSDE数据库环境城乡一体化权籍数据库涵盖了土地登记、土地调查以及“批供用补查”等条线数据,包括了空间图形数据和属性信息数据,数据量大且更新频度高,必须采用关系数据库Oracle 10g以上和ArcSDE相结合的技术统一管理空间数据和属性数据,确保空间和非空间数据的一体化存储,以保证系统整合的成果能够为以后统一实现基础空间地理信息的各种海量数据的存储、索引、管理、查
24、询、处理及数据的深层次挖掘问题奠定良好的基础,为前端GIS应用功能开发和空间信息发布提供强有力的支持。4.3.4 基于ArcGIS Engine的GIS组件开发本次项目采用ESRI公司 ArcGIS Engine进行GIS组件和系统功能模块的开发。4.4 系统建设原则4.4.1 坚持先进性、实用性原则系统的建设既采用先进的技术、概念和方法,又从实际出发,从土地调查基础数据管理与应用服务出发,走重点突出,见效快的信息化、网络化建设道路。系统的设计遵照标准的用户界面设计规范,充分考虑业务人员与管理决策人员的操作习惯,通过人性化界面提供业务处理。在保证系统实用性的前提下,确保系统有一定的先进性、前瞻
25、性、扩充性,符合技术发展方向,以延长系统的生命周期,保证建成的系统具有良好的稳定性、可扩展性和安全性。4.4.2 坚持标准化和开放性原则为保证系统的互联互通和网络信息资源的共享,系统的建设和软件的开发按照统一标准进行。在系统构架、应用技术、平台选用等方面都必须遵守IT工业标准,具有良好的开放性,应用系统的各个模块之间保持相对独立。在科学规范的管理制度的保障下,数据资源能够得以顺畅流动,能够和其它政府部门的数据资源和应用资源实现顺利对接,构成一个具有统一软件平台、统一标准、统一数据的开放系统,具有易扩充的、稳定的数据与应用体系。4.4.3 坚持可扩充性原则信息化建设是一个循序渐进、不断扩充的过程
26、,系统的设计和建设具有可扩充性和可维护性,整体构架要考虑与各级系统间的无缝连接,为今后系统扩展和集成留有扩充余量,以满足建成后国土资源管理业务的拓展。4.4.4 坚持可维护性原则系统设计应按照标准化、规范化、分层化的方法设计,软件实现时尽量采用构件化。通过采用构件化软件开发方式,引入面向服务(SOA)的理念和技术,以满足如下可维护性要求:一是系统结构分层,业务与实现分离,逻辑与数据分离;二是以接口为核心,使用开放标准;三是构件语言描述的形式化;四是提炼封装构件的规范化。4.4.5 坚持“上下兼容、保护投资”的原则充分利用现有网络和数据等资源,面向全系统开放,避免重复建设。对已经建立的各种应用系
27、统和数据库,从保护投资角度考虑,建立数据交换接口,统一纳入到监督管理系统中来。4.4.6 开放信息服务、保证信息安全的原则系统建设必须立足社会经济发展,满足社会的需要,实现土地调查信息的社会化服务。同时要采用系统和信息安全保密技术,保证系统和信息的安全,在安全的前提下,开放信息服务。4.5 系统运行环境为保证系统稳定安全运行,并符合国家有关标准规范,同时具有较强的可扩展性和变化自适应性,满足系统今后扩展的需要,数据库管理与系统开发运行的软件环境一致。(1)操作系统选择从应用软件的兼容性、使用维护方便程度、可集成扩展性以及应用开发支持等方面考虑,服务器操作系统采用Windows Server20
28、08 R2,客户端操作系统采用Windows XP、Windows7。(2)GIS软件平台选择空间数据管理及图形功能开发采用ARCGIS 10平台,包括ArcInfo-CON 专家级地理信息系统平台核心模块、ArcGIS Server Enterprise Advance (4 CPU及4Cores,包含SDE且无连接限制,无用户数据限制)、ArcGIS Image Server 10(针对大数据量影像管理,采用文件方式,减少数据库的压力)、ArcGIS Engine Developer Kit 9.3。(3)数据库平台选择数据库软件采用Oracle 10g企业版或更高版本。(4)系统开发平台
29、选择B/S采用基于JavaEE(J2EE)进行软件开发,C/S采用基于.NET(GIS采用ArcGIS Engine)进行软件开发。4.6 系统关键技术问题的解决4.6.1 采用分布式数据库技术实现数据同步更新4.6.1.1 ArcGIS的分布式数据库概述ArcGIS的分布式数据库能够在两个或者多个Geodatabase之间实现数据的复制与同步,比增量数据备份更为有效。Geodatabase Replication是建立在版本化数据的基础上的,支持拓扑与网络等完全的数据模型,并且能够在不同类型的数据库之间实现数据的复制与同步,例如Oracle与SQL Server之间;并且还支持在联网和非联网
30、的方式下实现,在支持本地数据库连接的基础上,还支持通过Internet 所获得的GeodataServer对象;ArcGIS的分布式数据库支持的应用有:(1)复制树(Replica Tree)Geodatabase Replication能够用于创建复制树,允许企业在层状机构中间分发数据,每个下级部分获得的是与自己业务相关的一部分数据,而最上级机关负责管理所有的数据。(2)数据中心(Central Hub)为了使得某些操作能够快速进行,可以将中心Geodatabase作为一个Hub,其它地方对中心数据库复制一份,用于数据编辑,然后将编辑的结果同步到中心数据库中。(3)移动设备(Mobile U
31、sers)将中心数据库的一部分拷贝到移动设备上,拿到野外进行离线编辑,最后连接到中心数据库,利用移动设备上的数据来更新中心数据库。(4)数据产品(Contractors)能够将中心数据库中的数据复制下来,作为产品,每个一段时间给用户实现同步以更新数据(5)负载均衡(Load Balancing)为了实现机构内部数据编辑和访问的负载均衡,可以建立两套Geodatabase ,一个提供只读数据,方便用户进行数据浏览,另外一个提供可编辑的数据,方便用户进行数据更新。然后定期用可编辑的数据库去同步只读的数据库,实现数据库的同步,并且达到负载均衡、提高效率的目的。(6)多部门数据管理(Multi-Gro
32、up Data Management)在一个机构内部,一个中心数据库可能需要多个部门分别来管理,因此会将中心数据库分开拷贝到子数据库,由分中心进行维护,维护后的结果需要同步到中心数据库。4.6.1.2 系统数据同步更新的实现根据xx国土资源城乡一体化权籍多用途数据库的建设要求,需要将房地产市场信息系统、保障性住房信息系统、个人住房信息系统、土地调查成果管理与更新系统、城乡一体化权籍管理信息系统等各系统数据及时同步到城乡一体化权籍多用途数据库中来,以实现数据的集中统一,系统采用实时同步更新机制。4.6.2 采用空间ETL技术实现数据交换基于空间ETL的数据交换模式,是将空间ETL的一些数据转换处
33、理的步骤定义成GIS操作的标准流程节点,而且每个节点的数据操作是可以对数据属性结构进行配置的,因此使得要完成两种不同数据格式的数据交换,只需要通过数据转换的流程配置和对流程节点的属性结构对照配置即可完成数据的交换。4.6.2.1 空间ETL概述数据仓库的ETL,即数据抽取(Extraction)、转换(Transformation)、装载(Loading)的过程,是构建数据仓库的重要环节。用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。具体来讲,数据抽取是数据源接口,包括原始数据接口和外部数据接口,数据源接口从业务系统中抽取数据,为数据仓
34、库输入数据。数据转换包含对来自多个生产系统的数据源的处理,确保数据集中的所有数值是一致的和被正确记录的,保证数据按要求装入数据仓库。数据装载部件负责将数据按照物理数据模型定义的表结构装入数据仓库。这些步骤包括清空数据域、填充空格、有效性检查等等。ETL的本质是数据流动的过程,从多源异构数据库、数据文件流向统一的目标数据,期间抽取、转换、加载大致体现了这样一个过程。针对空间ETL还需满足一些特定的需求,比如属性数据空间化(比如一条文字描述的地址,如何赋予它地理坐标位置)等。图4.1 空间ETL的数据流动过程 ETL的元数据大致分为数据源元数据、抽取元数据、转换元数据、加载元数据、维表元数据和数据
35、图层元数据五类。从数据来源来看,数据源可能来自文件,或者网络数据库,从数据格式来看,有可能是MapInfo、mapGIS、ArcGIS等等,也可能是纯属性数据。因此,通过数据源元数据,可以获得空间数据仓库中数据来源信息,从而采取针对性的读取方式去获取所需数据。而在抽取过程中,首先通过抽取元数据,了解并获得数据抽取规则,对待抽取数据进行有选择的抽取,形成待转换的数据。然后通过转换元数据,了解并获得数据转换规则,对待转换数据按规则有目的的转换,形成目标数据,等待加载。接着,通过加载元数据,获得数据加载规则,对数据进行指定格式、指定路径、指定存储介质的加载。在形成目标数据以后,ETL要根据情况,生成
36、维表元数据以及对空间数据形成数据图层元数据,以便应用层能够很好的获取数据信息。4.6.2.2 空间ETL的实现思路空间ETL包括数据抽取、转换、装载三个过程,那么空间ETL的实现思路也就围绕这三个过程来实现,如下图所示,其中主要包括多源异构数据抽取接口和空间数据的映射与转换。图4.2 空间ETL的实现思路(1)多源异构数据抽取接口针对多种异构数据源,有必要设计多个接口去建立跨平台、跨数据访问、跨数据格式的数据读取接口,根据这些接口,抽取源数据,实现不同网络、不同操作系统、不同数据库之间的数据的抽取。抽取的过程是完成从外部多源异构数据资源提取数据子集,并将它们装载到空间数据仓库中的首要步骤。数据
37、抽取是空间数据仓库成功的关键,抽取的数据集一般先保存到数据准备区内,在此进行数据清理、转换和集成,然后再装载到数据仓库中。(2)空间数据的映射与转换数据的映射指的是从源数据到目标数据的映射,空间数据的映射转换就是要建立源数据S(SourceData)到目标数据D(Destination)的关系。为了规范化或未来应用目标的需要,可能会将一个或多个属性数据表的列与空间数据模型、栅格模型、文档等组合成一个面向应用的目标数据模型。当然也存在一个模型分解到多个目标数据模型中的情况。在进行映射时,可以有选择的选取空间域与属性域集合,经过转换后形成新数据模型的域集,属性域映射成目标数据模型的属性域,空间域映
38、射成目标数据模型的空间或属性域。例如:属性模型的域的一部分或全部构成目标数据模型的部分域,保存若干条经度和纬度信息的关系表或空间数据映射成目标数据模型中的一个空间列作为空间数据,而栅格和文档构建一个索引域保存在同一个数据模型中,并用附表保存栅格数据的坐标定位信息、空间范围信息等。由于管理上的方便,可能存在文档和栅格等映射到另一个数据模型中,属性和矢量数据映射到同一个数据模型中,由于它们是关于同一主题的内容,所以要建立它们的关联,即两个新的数据模型通过某个列建立关联。下图实例中给出了属性、空间、栅格和文档映射到不同模型,并在模型间建立关联的实例。将源数据模型映射到目标数据模型的模式数据作为映射规
39、则保存到映射规则文件中。图4.3 多类型文件模型组织图在转换方面,针对空间数据,需要设计几个特定的转换器及转换规则。主要的转换器如下图所示:图4.4 数据转换器分类图简单处理:将源数据和目标数据进行简单的匹配等操作。多路输出:将不同的源数据进行比对,选取符合设定条件的数据或在设定条件之外的数据输入到不同的目标中。列值计算:在数据的导入时可以根据现有数据进行计算处理在输入到目标数据中。支持的操作有字符以及数字字段的+、一、*、/、操作,支持字符串的substr等函数的操作。在这个处理器中,尽量使数据的操作函数与标准的Sql函数相一致,以使用户尽可能快的熟悉ETL工具。属性空间化:根据存储空间数据
40、信息的字段将属性数据转成空间数据。这里需要利用到地理编码工具。首先,从源数据表中抽取含有地址信息的属性字段,获得地址信息以后,把地址信息传给地理编码工具,通过地理编码工具的查找与匹配,得到相应的与地址信息最匹配的结果(包括标准地址和坐标),把查找的结果按照要求加载到目标数据表中。空间属性化:将空间数据的坐标信息提取出来存放到目标数据的一个字段中。联合处理:将两个源数据中的一个与联合处理的输入记录连接,另一个源数据与联合处理的参考记录连接。目标数据与联合处理的匹配记录连接,输入想得到的数据类型。自定义SQL:通过自定义SQL处理可以将源数据表中的代码翻译为对应的名称再存储到目标数据库中。4.6.
41、2.3 空间ETL实现数据交换(以VCT为例) 采用基于COM组件技术的ArcEngine为开发基础,遵循数据互操作模式OpenGIS consortium (OGC)制定的规范,开发基于空间ETL的数据转换组件,以GeoDatabase格式和VCT格式的相互转换为例,实现基于空间ETL的数据转换模式,即统一数据交换标准中间件的开发。考虑到具体的应用用户,他们可能没有专业的计算机知识和建模概念,因此有必要设计一个简单易懂的工具提供给用户使用。本文采用类似 FME、SQL Server SSIS 的形式的可视化工具,如图所示,通过鼠标拖拽,设置源数据、数据转换处理器和目标数据,就能够轻易的实现源
42、表到目标表的 ETL设计和建模过程。 图4.5 统一数据交换标准中间件的体系结构图4.6 空间ETL流程定制工具可视化操作过程首先要自己定制处理过程,即编辑model原理是,找出面和线的关系,而且描述面的线都是由面通过polygon to line生成。然后把生成的线和面通过拓扑工具生成面线关系表。由于只是指定了几个比较重要的面图层,及面可以生成的线图层,和一个点图层,在model中可以修改VCT Write Tool工具参数,完成VCT的图层设置。图4.7 VCT拓扑设置图4.8 属性设置第一个Input Features列表是导入图层,列出图层,根据需要设定图层的颜色及ID,如果是不需要显
43、示在FeatureCodeBegin,FeatureCodeEnd中的线图层可以设置为true。如,房屋需要在linebegin和lineend中进行描述,但是作为间接图层的房屋拓扑线不需要在FeatureCodeBegin,FeatureCodeEnd中对房屋的间接的线图层做描述,故可以设为unvisual标志。第二个拓扑表导入,是设置线和面图层之间的拓扑关系。第三个参数是设置VCT属性字段与源数据的对应关系,如图4.10所示。第四个参数是输出VCT的路径。图4.9为SHP源数据,图4.10为转换后VCT格式文件。图4.9 SHP源数据图4.10 转换后的VCT文件4.6.3 基于Silve
44、rlight技术实现插页式开发4.6.3.1 插件式架构设计概述插件式架构是一个开放的体系结构,以方便中间件的选择、组装和集成,应用框架的重用已成为软件开发生产中最有效的重用方式之一。它是一种全新的、开放性的、高扩展性的架构体系。基于插件的设计好处很多,把扩展功能从框架中剥离出来,降低了框架的复杂度,让框架更容易实现。扩展功能与框架以一种很松的方式耦合,两者在保持接口不变的情况下,可以独立变化和发布。插件式架构设计中主要包括:插件框架、插件契约(服务)以及插件组件三部分组成。1、插件框架:组织和管理系统插件的下载、装载、组合、实例化以及销毁,并提供整套完整的与后台服务通信的操作接口等。2、插件
45、契约(服务):插件契约以服务接口的形式存在,系统的所有插件全部通过实现系统框架统一的接口规范,偏于有效的组织、管理插件对象。3、插件组件:插件组件既为具体的插件程序,实现了插件契约服务的一个独立的程序。对于插件式应用框架的开发,关键是要识别出框架中的通用点和扩展点。基于这个原则,开发系统插件式应用框架的方法和步骤主要分以下三点:1、分析并提取出框架中的通用点。2、分析并提取出框架中的扩展点。3、在应用框架的扩展点处根据系统配置信息动态加载实际需要的程序集(应用插件),动态创建实例对象并调用其服务。4.6.3.2 插件式架构设计的优点采用插件式架构设计的优点主要体现在以下几个方面:1)、降低系统
46、各模块之间的互依赖性在进行插件式开发中,任何一个系统功能模块、通用用户界面以及最小的图标等都可以插件的方式进行开发,从而提高了通用功能模块的重用性;各个功能进行独立开发,相互之间不存在互依赖性,使各个独立的功能都可以单独运行,也可以通过插件框架进行托管运行,从而提高了整个系统的灵活性;对于修改功能模块也不会影响到其他插件模块的正常运行,降低了系统的维护难度,提高了系统的可扩展性。2)、系统模块独立开发、部署、维护每个功能模块都可以按照插件契约服务接口所定义的服务接口以及相关的元数据的形式当做一个插件进行独立开发,开发完成编译后可独立运行,也可通过插件框架进行托管运行。3)、根据需求动态的组装、分离系统每个功能模块都可以当做一个插件进行开发,通过统一的配置文件维护插件包的部署信息,插件框架可根据活动情况动态从服务器上下载相应的xap插件包或者是.dll的动态库文件到客户端进行插件初始化创建,插件到框架的组合等,插件框架能够灵活的管理各个插件实例以及插件之间的通信机制,也支持插件的卸载。4.6.3.3 插件式架构技术选型使用RIA技术解决方案进行企业管理系统建设时,采用RIA技术进行系统建设的最大优点就是将后台处理