《数据管理平台.docx》由会员分享，可在线阅读，更多相关《数据管理平台.docx（18页珍藏版）》请在三一办公上搜索。
1、文档编号：GM-YFZX-Temp-27文档密级：内部公开GREATMAP数据管理平台产品需求规格说明书版本号:0.2天耀宏图科技有限公司修订记录版本号修订记录编写人审核人日期V0.1创建邹锦辉2016-06-19V0.2修改文档格式王芳2016-06-21目录1 文档介绍 11.1 文档目的11.2 读者对象11.3 参考文档11.4 术语与缩写解释12 产品介绍 13 项目目标 13.1 数据集存储13.2 数据负载均衡23.3 数据交互23.4 支持GIS数据类型 33.5 接口的高扩展性 34 总体架构 35 产品的功能性需求 45.1 数据视图45.1.1服务器视图功能54.1.2数
2、据集视图功能64.1.3图层视图功能65.2 数据提交84.2.1单文件提交84.2.2批量提交84.2.3断点续传95.3 服务器设置94.3.1主服务设置94.3.2服务器启动停止104.3.3负载均衡116 性能需求 127 外部接口需求 128 软硬件环境需求 139 其他需求 131文档介绍1.1文档目的本文档的目的是通过对用户需求的分析，将用户需求转化为对产品需求规 格的定义，为产品的设计开发和测试提供依据。本文档范围包括：产品介绍及产品范围，产品应当遵循的标准或规范，产 品功能性需求、用户界面需求、性能需求、软硬件环境需求及其他需求等。1.2读者对象产品的开发设计和测试人员、产品
3、的用户（包括公司内 /外部客户）。1.3参考文档无1.4术语与缩写解释无2产品介绍数据管理服务将数据预处理工具处理好的数据进行组织，根据制定的数据 发布规则，将数据部署到服务器端，并将数据和数据发布服务进行关联，从而 将数据提供给浏览终端使用，并对数据进行有效的管理。3项目目标3.1数据集存储一个数据集可以理解为一个数据仓库，内部可以存储任意条目的数据。数据集用一个065535的数字编号进行标识，其中有几个编号为固定仓库， 其它类型的数据不允许使用：RDSC_VirtualCubeCode （ 1）：八叉树索引数据专用RDSC_LayerCfgCode （ 3）:图层配置数据专用RDSC_Da
4、taSetCfgCode （ 2）:客户端数据工具配置专用（服务端不会存在 此数据集）RDSC_InternalShareObject （ 4）:三维客户端内部共享数据专用（服务端不 会存在此数据集）RDSC_ExternalDataSetCode （ 99）: 连接外部数据专用， 如 WMTS/WMS/WMFS等（服务端不会存在此数据集）一个数据集可以分布于多个Globe服务端实例上以实现数据存储与发布服 务的负载均衡。3.2数据负载均衡Globe允许多个服务端进程实例同时提供数据服务，一个服务端实例，用 IP:Port进行标识。1. 一台实体服务器硬件，可以有多个服务端实例同时提供数据服务
5、2. 多台实体服务器硬件，可以有各自的服务端实例同时提供数据服务数据负载均衡的作用，就是让数据分布在不同的服务端进程实例中，让每 一个服务端进程实例尽量均衡地承载数据访问压力；同时数据可以冗余分布， 也可以非冗余分布以保证数据服务的高可用性；数据负载均衡，在最初配置服 务端实例时就应该规划好，后期修改时才能不影响到前期的数据，后期修改负 载均衡配置，不得涉及到前期已经均衡配置的数据集3.3数据交互1. 客户端数据通过数据维护工具可以上传到事先配置好的服务端实例中2. 数据维护工具也可以将事先上传到服务端实例的数据删除掉3. 数据维护工具可以更新指定的数据条目4. 数据维护工具可以在服务端创建图
6、层树结构3.4支持GIS数据类型数据平台需要具备支持常用GIS数据的存储与服务，包括以下三种数据类 型：影像数据地形数据模型数据3.5接口的高扩展性该项目除了实现上述基本数据服务需求之外，应该确保接口的高扩展性， 以支撑未来各种应用场景的自定义数据服务实现，主要包括两个层次的模块接 口设计： C+层DataKeeper模块接口设计 COM 层GMDataKeeper模块接口设计4总体架构架构视图如图所示，该项目聚焦于数据服务层，从数据维护工具应该具备 的功能需求开始，逐层梳理现有的模块与接口，根据业务需求重新进行架构设 计，提高数据服务框架的可扩展性与可复用性。GMGlobe模型图层GMGlo
7、be影像图层GMGlobe地形图层展示层数据服务层DataKeeper数据维护工具NetWorkService网络通信组件DataSerivcePlatform后台数据服务端TileBuilderTool影像预处理工具TileBuilderTool地形预处理工具PreProcessor模型预处理工具数据生产层图4-1数据定义：记录是以ID、Object的形式存储的，数据集里存放着 N条记录，ID描述 了 Object的类型，唯一标识与所在数据集号；Object有一种特殊类型叫图层， 它可以包含对象，也可以包含图层，Object数据对象支持嵌套，数据物理存储 格式为Bson格式。5产品的功能性需
8、求无5.1数据视图数据视图包括两个层次，第一个是粗粒度的视图，包括服务器视图，数据 集视图，图层视图，第二个是细粒度的视图，主要是粗粒度视图中的数据集或 图层对象所包含的最基本的瓦片数据集合或模型数据集合的数据展示。数据从粗粒度视图角度来看，有三种组织结构，因此数据视图功能模块至 少应该包括三个视图的功能子模块：以服务器组织以数据集组织以图层组织5.1.1服务器视图功能可以通过树视图查看每个服务器节点上的数据集存储分布，双击每个数据集可以展示数据列表视图并能通过列表视图进行单条记录的查找、单条记录/ 批量记录/全部记录的删除，以及列表视图翻页等常用功能。由于目前查找记录功能只支持ID方式查找，
9、可以考虑为每个记录添加名 字属性来支持查找，比如模型数据应用场景可以通过名字属性来删除一些目标 模型从而支持场景编辑。 U略器节点80s 1-!口 1 -.;.，；.:-;.;.,! - .B-:，；.；：；：19216B 5.144 0 dt2:2 dl;l dm日 moddlClslCl darr25D25D DDmDsiJOO model DS;LLO白 B081rnodelDSlltl图5-1查捞I谛选：|所斓据jJ 提文卷降厂全踏sID操作rl: 言：口口 5I-J口6S007FlA321A5X1314.3a:7lKFa97l90.I)0CO()3i300 650D 齐？9 冷崩巳4
10、0H2334U45E 您 E*AK3=70 3O0EOMO30D 6SQ07F34 36 匚自 E%fimSE5 5C6265B 31 lDD4O2GD0Cfl(M0 55OQ7F7B3CELDDSEa=A5q J9巽筛 5F2A 莫 DgMOJOCOCOO S50 皿时77怫 594距了+极9 王 BC143涉 BSEAfltMOCCKJDa 6S0029A041CE 正珀位 90* 起嘶 C 用网 3d lOCOODOCOCOiM 65007F50K250B53242ECig6C233&46jE50COZOEOOMO 65002301EE9 72F17D41B13E2 324CB23E7n
11、OM DOCfl (MO 6E00298D51C3A7CB 3CD4g03EBD35O ID CD UmMOCOCOa 650029F5B4D7E594436C4E6E5M54?lBffiB517&2OD0&3M0 6S002%6CO K 70 7772A3426C 5鼬 的 6118i3300i3MO 65007F7B 12iF0C8A&fiE341BB3CFD455-15CvW： OC-OCdWOO 65003=2229 SatQDS 1047K 5EA5 5E53E 7C nWOtMtMMOO &RQ7TOB 呢EL3GFFC6344F9F55ES5CD】31EWJ(HQWJMIQ 65
12、00Z95FEAB01970MRE4593EA3A 35FDF3541EM&JOKCOO 6SOO3FCi5AOCilFOlOFOiN:90.3FBCBe6&CllEOMiiCi3m 6500jFXilDE4fiCBD3eF7q8946gE3693DGD3A IFDDOKKMOCM 65a03F5A27A636E5CBflD4AS 20 271C 5CAFiD003030D 6RD7F5F 王王 5C*3=邙 241fidW56R3C3 52 22200OJOCO COO 6500jFa=lBF7164517A745S42EES42575C2g250raM0DDra 6SOQ7FO0任牝明左2
13、6融知爵13网20书印吾DOOCOOJiXXi共牛芾，:!页4.1.2数据集视图功能数据集视图可以清晰展示每个数据集对应存储的服务器节点，但是这个视 图功能目前没有展示出数据集在节点上的负载配置，并且双击某个服务器节点 弹出的数据列表视图无任何数据记录。图5-34.1.3图层视图功能图层视图支持图层创建、图层删除以及图层更新，对于每个图层节点支持 图层的创建、删除、图层名修改、数据集增加以及数据集复制与粘贴。目前平台设计思路是在提交目标数据集到服务器节点时会自动以数据集文件名为图层名创建一个图层添加到 RDSC_LayerCfgCode=3对应的图层数据 集中，因此可以看到存在 XX.GMCT
14、后缀的图层。每个图层是对子图层DOMDEMVCUBE类型数据集的引用，因此图层视 图功能需要支持以上各种图层与数据集关联的功能。数据集增加/关联就是将某 个数据集关联到目标图层，但是必须是同类型的数据集与图层的关联，比如不 能将模型数据集关联到影像图层；同理数据集复制与粘贴功能是在同类型图层 节点之间的编辑操作，跨类型图层节点之间不支持此类操作，目前数据维护工 具并无相关校验逻辑与易用性提示。图5-4同样双击目标图层节点能通过数据列表视图进行展示，并提供单条记录/批量记录从图层引用列表中移除。图层/符号数据数据1JZ0006-GEODE1JZ0008-GEODE1JZ0015-GEODE01J
15、Z0014-GEODE01JZ0013-GEODEO1JZOO10-GEODE口 01JZ0002-GEODE OIJZOOOI-GEODE 01JZ0003-GEODE 01JZ0007-GEODE01JZ0012-GEODE01JZ0004-GEODE01JZ0005-GEODE口 01JZ0009-GEODE OIJZOO11-GEODE 101JZ0006-GEOC-E共16条jt 1页类型数据ID6E00 3F 7DBECHC89 58FB 742AF6CCE66 2Ali6liB 1300000000006E00 3F 7EC20E9 722EODOFAD64849E66DOE 1
16、4 30000000000 6E00 3F 7B62C A A968133=4A A8 A9BC1D2F700E1413000000000 6E003F48D67BC5DF49804E920B88226F46ED 360000000000 6E003FDD72A3421A8AD74D9D43121ECE6C32860000000000 6E00 3FE641BDD0A0D 7E 545A74E 7C ：1CB 3E6A23S0000000000 6E00 3F6069 16B8E33241872F8 509FCE99C10000000000 6E00 3FD97FD 7090086624CB6
17、9B 5FBE9BDBE 53D0000000000 6E00 3F2710111930411A44AC00AC7DE4 12F F0000000000 6E00 3F 的 54D27F7CCF8 54DA7874A8B 7EACC18C0000000000 6E003FDCBBDC867B61274696ACE13C 51135E1D00000000006E003F3B 1D995OOB2AA8A8 53422038DD7ECD0000000000 6E00 3F334570AF16D 70944B06B6352C86D4ED 10000000000 6E003F0C6994A 1D137F
18、O9DE4B467F26949410000000000 6E00 3FC6 56715A9B 5FFFA94E3C 546D 18BB80000000000 6E003F1001C6DD69B30D4BBC62CA6C 547879C70000000000删除图5-55.2数据提交4.2.1单文件提交6E0D 矛舛12D新正亟二tED2BE 5FBEBBC1 归归 L段EEKSSMOMW新1 甬:。6E1 口芹礼8H=H7E8K5HE95Cia 丑 7SAS回新1 甫二和1哺:-3D2TCF2A&E6ECOE42E9W73ECF8D32COEOJDCO的江旬-fEE凶BKDfff 或做D 帝
19、BCECSK 理 2 通就KIKnDMM著证浦TDD2CE2DHXe7B19B27HaD9O3DMEO3DCO3D嗣浦-fHD2BEfE313O5 洗&必爆0页650明内2 6FOFMCOJCOM0正通二阿。困牝口50例195肉虻41=跳眄|：敬网网口（思证跛1打阿口击览场膀CHDHED420AA371K：明0YF仍 COOmUCOO1打6HD3C2fiEU13rfi5l 457E L5fl3fiCfiDaDCOraDO验证鲍=16BD3CAC4nA 3E6 4=EEE46a L2 34FAF7DEi4Ci?lWMDCfflDa板证固二君6BDEDDBF6CgrA9J4334S3aig29EE
20、fl070MMDC(MDa折正宜二埋L6ED3ZDnqA453CCCE4eBMaj!iE35EAA7107ICOraoa)灿一029B4=5ED3DlD641S5K29DO2308aM0C03m询-6E002B5C67401129A宅蜘 9AA 晰 3512AOSOCODCOOOCU脂止亟二6&3D2B4J=S65E 5(01=5458 UH 痢 2 5a)C4B&3CO30CODCO3翊一E& 时盈就CDS 技 igOQM做5371 遍 M 殳QHMEIOMtOJl埒工tElCDDFeBECASCHZA IS 3EFM4E&瞄 DWDOO咒胸 DQ野工s. ?rtin做1上一页|下一页数据提
21、交包括数据记录的增加与更新，同时需要支持用户任意选择或全部 数据的提交。整个提交业务流程是根据每条记录ID中的DataSetCode数据集编 码，找到该数据集对应的服务器进程，因负载配置的不同因此可能是多个服务 器进程，然后提交到对应的服务器节点。图5-6单文件提交选择单个数据文件后通过列表视图（文档视图的一种）进行展 示，用户在视图中可以进行记录的查找、数据选择、操作类型（更新与增加） 的选择以及查看每条记录的类型等相关属性，最后通过提交功能进行批量记录 提交。4.2.2批量提交支持批量选择任意多个数据文件进行批量提交，数据文件可是是同类型也 可以是跨类型，支持DOMDEM模型三种数据文件类
22、型。!, 舌一E: VHdeeerrTreitBB.GMCrE; gck&i心TretFRGMDOME; VndrrerrTtstMXIEL.GMCT-Copv.GMCCME: ade!rrTeTTE57DCW.GMDaM回回回旧园回回回回旧回HHH00回回向向因回回回闭回回回回回0B6E16B6B6B636?6B阳阳阳防阳阳即即即6EJ6B6B6B6B6B6B6B6B6B6B6E0Qg912DM5BF2J此| 理|未知类型旅f言三天|一图5-74.2.3断点续传支持批量提交过程中网络传输中断情况下的续传，以保证网络中断之前已 经提交到服务器节点的数据成果避免耗时耗力的重复上传。通过设计合理的
23、用 户操作日志来支撑断点续传功能或机制。日志格式可以是：时间+用户名+动作+资源+状态53服务器设置服务器设置功能模块包括主服务器切换与子服务器节点添加功能模块、服 务器的启动与停止功能模块、以及服务器的负载均衡配置模块。4.3.1主服务设置通过该功能模块可以自由切换当前激活的主服务器，同时可以动态创建子服务器节点以用于数据存储与发布服务的均衡负载。图5-84.3.2服务器启动停止通过客户端方式启动停止服务器进程更加方便高效，为用户屏蔽Linux服务器端繁琐的shell命令操作，同时通过输出视图输出相关状态信息。图5-94.3.3负载均衡支持数据存储与发布服务的均衡负载支持数据存储的冗余备份负
24、载均衡业务流程如图所示:图 5-10同步至主耶务以卜柬当鸟:g-dsll:EJ-OrvlOD%-192168.5.144:8080j-modellO 1:101白 OIOD%-jL- 192,168.5.144：80EOEl-dsZZ:白 0-10D%.:192.1S. 5.144:8080d53三j H 010D%19216S.5.144;0D8OQ-DomDs:200192.168. 5.144:80500-mDdeDS:llO& 50100%:192.168.5.144:8D81i El-OSO%J L- 192.163.5.W：3DS0白 dom250:;250图 5-11目前数据维护
25、工具在已有的负载配置基础上可以进行服务器节点的添加， 比如可以将ds1:1的0-100%散列区间上再次添加若十个服务器节点，并同步到 主服务器，但是并不会涉及到原来已经提交的数据集的修改变更或冗余备份， 只有当提交新数据集时才会同时提交到多个服务器节点进行冗余存储与备份。已经配置好的数据集，其存储区间分割不能变更，只能删除目标数据集再 重新创建；同时删除的目标数据集同步到主服务后会直接将数据集从服务器中 移除。6性能需求数据查询的最长等待时间1S数据库入库时间1000条/S系统能7*24正常运行，无故障7外部接口需求8软硬件环境需求表8-1需求名称需求定义硬件平台8G内存，1T硬盘，CPU 4核以上网络环境局域网百兆带宽第三方硬件接口无操作系统Linux操作系统centos6.5与Win7以上操作系统数据库自定义DB运行库环境第三方软件接口http协议9其他需求
