实时位置数据集成与分析处理解决方案.docx

《实时位置数据集成与分析处理解决方案.docx》由会员分享，可在线阅读，更多相关《实时位置数据集成与分析处理解决方案.docx（23页珍藏版）》请在三一办公上搜索。

1、实时GIS解决方案2013年7月易智瑞（中国）信息技术XXX制定及修订记录，版本修订时间修订人V1.02013.7.19伏伟伟修订类型修订章节修订内容A全部* 修订类型分为 A - ADDED M - MODIFIED D - DELETED注：对该文件内容增加、删除或修改均需填写此记录，详细记载变更信息，以保证其可追溯性。1前言2013年8月5日，住房和城乡建设部公布2013年度国家智慧城 市试点名单，确定103个城市（区、县、镇）为2013年度国家智慧城 市试点，至此住建部确定的试点已达193个。智慧城市正在紧锣密鼓 的建设中，而支撑智慧城市其中一项非常重要的技术手段是物联网。 2013年

2、，国务院发布了国务院关于推进物联网有序健康发展的指 导意见，为我国物联网发展指明了方向。经过几年的技术和市场培 育，加之我国在物联网领域的自主创新能力不断增强，可以预见物联 网即将进入高速发展期。预计到2015年的时候，全球与互联网相连 的物体将达60亿件。物联网技术的核心和基础依然是互联网技术， 是在互联网技术基础上的延伸和扩展的一种网络技术它是通过网络 及各类感应设备来实现物与物、物与人之间的信息交换和通讯。通过 物联网技术可以收集物联网节点的各种信息，从而对环境、事物、过 程等进行全实时、可视化的监控和管理，各领域的用户可以借助这一 技术实现从信息化向智能化的转变。物联网的核心理念在于感

3、、传、知、控，进而实现人与人、人与 物、物与物之间的有机了解。作为这种了解的基础，位置或者地理信 息是其重要的组成部分。采用物联网技术，把各类感应设备嵌入和装 备到与空间地理位置相关的城市部件（摄像头、路灯、电杆等建 筑物、铁路、桥梁、隧道、公路、大坝、管道（石油、给排水电 网等各种设施中，利用互联网及移动通信等网络技术，再结合地理信 息可视化及信息集成方式，把此类与空间位置相关的感应设备及其感 应信息映射在电子地图上，实现物联网与地理信息的集成与整合，建 立可视化的物联网实时GIS原型系统。那么面对纷繁浩杂的传感设备，如何方便快捷的接入这些设备产 生的实时数据，并对其在地图上进行可视化的监控

4、、分析并智能化为 人为决策提供支持，是当前用户所面临的亟需解决的问题。基于此需 求，我们需要结合一些新技术，提供一个全新的实时GIS解决方案， 用于对物联网实时数据进行收集与共享，对实时数据进行可视化、分 析，最终辅助用户进行即时科学决策。2物联网及技术体系简介物联网即The Internet of Things，是通过射频识别装置、红外线 感应器、全球定位系统、激光扫描器等信息传感装置才安约定的协议， 把任何物品与互联网相连接，进行信息交换和通信，以实现智能化识 别、定位、跟踪、监控和管理的一种网络，是互联网的基础之上延伸 和扩展的一种网络。2.1物联网的技术架构和关键技术根据物联网的运行过

5、程可以在技术架构的层面上将物联网分为 三个层次：感知层、网络层和应用层。感知层主要指系统信息的采集。即是由各种传感器及传感器网关 构成，如一维/二维标签码、RFID、传感器、红外感应器、全球定位 系统以及摄像头等感知终端。主要达到识别物体、信息采集并将采集 到的数据上传的目的，类似于人类神经系统的末梢。网络层由各种有线和无线网络系统组成，具体包括计算机终端、 各种网络设备等硬件设施以及网络管理系统、各种网络通信协议、云 计算平台等软件系统。网络层的作用就是传递和处理感知层产生的数 据。应用层是物联网和用户(包括人、组织和其他系统)的接口，它与 行业需求结合，实现物联网的智能应用。具体来讲，应用

6、层实现信息 和存储、数据的挖掘、应用的决策等，涉及海量信息的智能处理、分 布式计算、中间件、信息发现等多种技术。2.1.1 RFID射频识别技术即 RFID(Radio Frequency Identification)技术，又称 电子标签、无线射频识别，是一种通信技术，可以通过无线电讯号识 别特定目标并读写相关数据，而无需识别系统与特定目标之间建立机 械或光学接触。一般情况下，RFID由标签(Tag)、阅读器(Reader)、 天线(Antenna)三部分组成。射频识别技术是物联网感知层采集信息的 重要手段。射频标签可以附着于物品上并用于对库存、资产、人员等的 追踪与管理。比如在监狱管理中，

7、应用2.45GHz微波的CY-TZB防拆卸 腕带，应用RFID技术和ZigBee组网技术，对犯人进行定位，从而有效 的监视和管理犯人日常行为，防止犯人越狱，造成严重的社会问题。目前市场上的RFID读写器基本上有3种接口供与计算机通信， 网口、RS-232/ RS-485接口和USB接口。一般读写器都带有SDK开 发包。采用串口操作，读取数据按协议来分析。2.1.2传感器传感器是指能感受被测量并按照一定的规律转换成可用输出信 号的器件或装置，通常由敏感元件和转换元件组成。传感器的分类方 法很多，而且互相交叉，一般以被测量参数来分类和以测量原理两种 分类为主：被测量参数分类可分为温度、压力、流量、

8、位移、速度、 加速度、粘度、湿度等传感器；按测量原理分类可分为根据电阻定律 的电位计式、应变式传感器等。目前，常用的传感器名称是以上两种 的综合，以用途为主，如力敏传感器、热敏传感器、湿敏传感器、磁 敏传感器等。目前国内传感器共分10大类，24小类，6000多个品种。基于传感器的实时监测系统一般包括数据采集、数据传输及数据 管理三个部分。目前，传感器与数据监控终端的连接方式有很多，如 串口、并口、USB接口等。其中串口是监控领域应用较为广泛的接 口。2.1.3定位导航系统全球四大导航：GPS、俄罗斯GLONASS、欧洲伽利略以及中国 北斗系统。国内常用的是GPS和北斗导航。国内使用最普遍的是G

9、PS， 近几年北斗导航也慢慢占领了部分市场。GPS采用的通讯协议通常可以分为两类:第1类就是NMEA0183 通用协议，第2类是厂商协议。NMEA0183协议是美国国家海洋电子 协会为了保证海上的通讯设备之间互相通讯、共享信息而制定的一种 协议,这是一种格式公开的、用逗号分隔各种ASCII字符串表示不同 内容的协议，不同的信息用在文件中的不同位置加以区分，大部分的 GPS接收机都支持这种协议。；厂商协议是指GPS生产厂商为了自己 生产的GPS能与其他电子产品进行通讯而规定的一种信息结构和传 输规则，不同厂商生产的GPS厂商协议通常是不同的，且这种协议通 常比较复杂，但使用它可以对GPS进行全面

10、的控制，能开发出功能更 全面的应用。目前北斗导航国内还没有相应的标准来规定北斗通信 协议，因此不同厂商提供的北斗模块在通信协议上有很大差别。2.1.4社交平台社交网络无疑已成为今天互联网最热门的概念和应用，在中国， 以新浪微博，腾讯微博，人人网，开心网为代表的社交网络成为中国 网民最活跃的场所。随着物联网，云计算，大数据等新现象的出现， 社交网络的形态也必将发生改变，当物联网连接的物体不断产生信息 并形成报告发送给向互联网用户时，它们也将加入到传统的社交网络 中，与社交网络中的“人进行交互。当物联网与社交网络融合时，每一栋大楼，每一辆汽车，每一个 景区每一个商场每一个电器都会在SNS网站上开设

11、账号（如微博， 如facebook),自动的发布自己实时的信息，并与其他人”利物” 进行交互。每种社交平台都提供相应的API来获取其大数据量的实时数据。3实时GIS问题及需求分析在当前信息社会中人们利用生活中的各类交互设备来处理大量 的实时信息，以便能及时作出更为合理的决策。实时信息的获取能使 人们在有限的时间里接受和理解更为丰富的信息，培养受众的能力。 因此，各个行业领域中越来越多的GIS应用纳入了实时信息，以辅 助进行科学决策。总体来说，对于实时数据的需求归纳一下总共有这 么几点：3.1实时数据源接入物联网有非常庞大且类型丰富的传感设备产生更加庞杂类型的 数据，且不同设备的采集方式、载体形

12、式以及传输方式差异较大，创 建实时GIS应用或向现有企业系统中集成实时GIS能力，首先需要 考虑对多源多设备类型的实时数据快速接入，如对各种传感器、GPS/ 北斗导航、移动设备以及社交平台产生的数据进行快速接入。3.2实时动态可视化为更直观的了解查看实时数据，需要提供多种展现手段和展示方 式，对接入的各类实时数据流进行动态可视化展示。对于温度、湿度等数值型监测数据，可采用仪表盘、折线图等表 现手段，看上去直观，一目了然；对于位置型数据，如GPS数据、 社交媒体数据，在地图上进行标示，还可实时查看事物运行轨迹、历 史轨迹、实时状态等。总的来说，实时动态可视化需兼顾多种数据类型，进行多样化表 达，

13、有利于进行辅助决策。3.3实时数据处理与分析除进行可视化之外用户还需要结合实时数据辅助业务分析及决 策。因此对实时数据按需进行处理与分析是用户需要考虑的问题，同 时，由于绝大多数数据与位置相关，因此结合地理空间信息来进行实 时数据分析同样是用户需要的一种分析手段。比如，在面向众多对象进行监控时，用户通常会选择部分对象进 行重点监控，如需要对某个固定范围内的对象进行重点监控等；而对 各种指标进行监控时，而这些指标通常会有一定的阈值范围，因此也 需要对这些监控指标数据进行阈值分析地理围栏也是目前非常重要 被普遍使用到多种业务场景中的一种手段渚如此类因此在方案中， 必须要向用户提供实用的分析和数据处

14、理能力。3.4结果信息输出实时监控业务中，用户会预先定义策略或规则对获取的实时数据 进行分析，一旦违反策略或规则需要向相关责任人进行报警处理似 快速对异常状况进行处置。而报警方式也是多种多样，比如采用传统手段如报警提示音、电 子邮件、滚动消息、短信等；随着社交媒体不断发展，还可结合一些 流行的常见工具，如微信、微博等发布警报信息，通知相应人群对异 常进行及时响应。4实时GIS解决方案4.1概述Esri实时GIS解决方案是把GIS、GPS、RFID，通信网络 （GPRS/3C），互联网，数据库等多种技术进行集成而建立的可视化 信息服务系统。其基本思路是以空间基础地理信息为基础，把各类传 感器设备

15、的空间地理位置进行采集后才把传感器的位置与地理信息相 结合，利用通信网络及互联网，按约定的协议进行信息交换和通讯， 实现物联网实体在地理信息平台的可视化定位、跟踪、监控和管理。4.2系统体系架构Esri实时GIS解决方案为您提供了一个快速集成、处理分析实时 数据流的最佳方案。解决方案具备高度可扩展性、可伸缩性和可定制 性。针对对实时数据接入、处理的需求，解决方案不仅提供了关键技 术支撑，同时更注重应用，最大化实时数据的价值。本解决方案主要解决在现有企业级应用或搭建新应用时对各种类型传感器、GPS设备、移动设备以及社交平台产生的实时数据流 的集成及实时分析处理能力。主要解决四大问题：1、实时数据

16、源接入。方案集成多种主流传输协议用于信息接入， 如 bbb、web socket、TCP、UDP、NMEA0183 等，用户无需再开发 即可方便在系统中集成实时数据源。2、基于GIS的实时动态可视化。方案提供基于地图的实时数据 可视化展示，用户可直接在流服务中载入实时数据，同时无需手动客 户端刷新即可实现数据的实时动态展现。3、基于GIS的实时数据处理与分析。方案可实现基于地理位置 的实时数据处理与分析，如用户可结合当前流行技术-地理围栏，对 目标进行监控。还可以基于空间范围对实时数据进行过滤筛选。4、处理结果输出。方案集成web socket、TCP等用户结果数据 输出，同时集成SMTP、S

17、MS等协议，用户可按需将分析结果推送 给目标人群。方案还集成了主流社交平台，如新浪微博和微信，可作 为结果输出。另外还与MongoDB进行集成，可直接将实时数据存入 数据库。系统体系架构分五层，如下图：感知层：由各类传感器组成，负责信息数据的采集工作；数据层：由空间地理数据、业务数据以及采集的实时数据组成， 空间数据是基础，业务数据和实时数据可以根据行业需求与空间数据 进行集成应用;网络层：负责信息的传输，主要包括互联网、移动通信网络、卫 星通信网、短距离无线通信网络等；服务层：包括实时数据处理服务、地图服务等，它是为各领域各 行业的应用系统提供实时GIS服务的；应用层：即是在服务层的基础上建

18、立起来的各应用系统，它是根 据统一的服务接口及服务方式与基于GIS的物联网原型系统进行整 合与集成，在基于GIS的物联网系统的基础上，开发出满足其自身 应用需求的行业应用系统。4.3产品配置方案数据层：数据层主要用于对空间数据及实时数据的存储管理。其 中空间数据采用ArcSDE，实时数据可采用MongoDB。服务层：数据可通过地图服务或要素服务供用户访问，对实时数 据的接入及分析处理通过GeoEvent Service或Stream Service提供。 这些服务可直接通过ArcGIS Online或Portal for ArcGIS提供，也可 通过本地ArcGIS for Server服务器

19、提供。应用层：用户可在web应用或移动应用或桌面应用中集成实时 数据。为便于用户使用，本方案中为用户提供了一跨可配置的实时 GIS框架，用户通过它可快速搭建桌面端监控系统，该框架是基于 ArcGIS Runtime .Net SDK 开发的。4.4方案介绍4.4.1服务层：实时数据集成及分析处理流程方案通过GeoEvent Processor产品提供实时数据集成能力，产品 通过一个定义的GeoEvent Service提供对实时数据处理的整个流程， 包括对数据的输入、输出以及分析处理。4.4.1.1实时数据输入几乎任意实时数据源都可以输入GeoEvent Processor中，常见的 实时数据

20、源包括车载GPS设备、移动设备、环境监测设备、网站以 及社交媒体提供商。GeoEvent 集成 WebSocket，XMPP，TCP，UDP， SMTP，bbb等主流常用数据传输协议，支持Txt，CSV，JOSN，KML 等多种常用数据格式，能够轻松接入常见传感器、移动设备、车载 GPS以及社交媒体平台产生的实时数据。GeoEvent Processor通过输入连接器接收数据，其自带的预配置Input连接器包括以下几种：Label描述Poll an ArcGIS Server for Features轮询要素服务中的要素，将其转换为地理事件。Poll an external website f

21、or JSON轮询URL获取可以转换为地理事件的J SON数据。Receive Features on a REST endpoint从REST站点获取JSON格式的要素数据，并将其转换为地理事件。Receive JSON on a REST endpoint从REST站点获取通用JSON格式的数据Receive JSON on a Web Socket通过Web Socket获取通用JSON格式数据Receive RSS按固定频次轮询URL，获取RSS/ATOM feedReceive text from a TCP Socket能够获取 GeoEvent Simulator（GeoEven

22、t Processor 自带的实用工 具）发送的模拟数据。Receive text from a UDP Socket通过UDP socket获取文本数据Subscribe to an external Web Socket for JSONDescription for connectorWatch a folder for new .csv files从文件夹获取csv文件Watch a folder for new .json files从文件夹获取json文件4.4.1.2实时数据分析处理针对大数据量的实时数据,GeoEvent提供了丰富的即拿即用的分 析处理工具，实时处理包括了 fi

23、ltering过滤器（空间和属性过滤）和processors 处理器。空间过滤（地理围栏+空间操作）和属性过滤匚=用户可基于空间要素和属性信息从大数据量的实时数据中筛选目标信息。空间过滤可以基于空间条件过滤地理事件，由空间操作和地理围栏 组成。创建空间过滤之前需要GeoEvent Processor中具有地理围栏。 有四个基本的空间操作可以用于过滤地理事件。空间操作Inside仅允许指定地理围栏内部的地理事件通过Outside仅允许指定地理围栏外部的地理事件通过。Enter只允许进入指定地理围栏得监控对象通过。Exit仅允许离开指定地理围栏的监控对象通过。属性过滤器可用于GeoEvent Pr

24、ocessor ,用来基于属性表达式过滤 地理事件。processors 处理器Processors用来进行数据的常规处理。 GeoEvent Processor 自带了 一些处理器，包括：4.4.1.3信息输出：监控资产、更新地图、向关键人员报警GeoEvent Processor可以在地图上跟踪所有有价值的资产，不管 是可运动的资产，如车辆、飞机或船只，还是在物理网络和基础设施 中的静止资产，都可进行跟踪。一旦位置变化或达到某重要阈值， GeoEvent Processor可以自动实时给关键人员发送警报、更新地图、 附加数据库以及与其他企业级系统进行互操作。GeoEvent Process

25、or 通过Outputs连接器将实时数据流从 GeoEvent Processor中输出。这既包括将实时分析处理的结果输出给 其他人，也包括将这些实时处理结果提供给整个ArcGIS系统。同样的GeoEvent Processor提供了多种输出连接器，使我们能够 快速轻松输出多源实时流数据。GeoEvent Processor 自带的预配置的Output连接器包括以下几 种：4.4.2应用层：实时GIS开发框架实时GIS开发框架是方案提供的一款可扩展的系统模版，框架 提供可扩展的组件库，各领域用户可通过可视化界面配置功能，从而 快速创建满足业务需求的实时GIS应用。框架主体解决三大问题：（1）实

26、时数据源接入（包括传感器、移动目标）（2）可视化实时监控与分析（3）结果信息输出其设计思路为：1张地图、N多组件、无限自由，即用户可以选 择组件随意搭配，自由布局展示页面。框架基于Runtime .NET SDK 进行开发，用户可以无需开发，通过配置接入传感器设备、GPS设备 等产生的实时数据，并可结合地图、仪表盘、指示器等丰富展现形式， 对自然环境、事物进行态势感知及追踪监控，实现对设备、资源、环 境的可视化智能监控和管理。可在桌面端和移动设备上跨端运行。同 时开发人员可对框架进行扩展开发。4.4.2.1数据源管理提供Online/Portal、本地或远程Server、GeoEvent管理。

27、用户任 意配置选择常用数据源及GeoEvent服务。4.4.2.2组件配置组件包括，地图、仪表盘、指示器、统计图表、目标列表、地理 围栏、警示栏、更多（可扩展）。（1）地:提供静态传感器位置分布，或动态目标的可视化追踪监控。包括常见地图部件，如图层列表、书签、图例等。包括常用地 图操作，如选择、弹出窗口、高亮显示等。提供配置页面，用户可通 过可视化界面配置地图服务、可操作图层（静态动态），及需要的地 图交互能力。（2）仪表盘:提供对静态传感器的可视化监控。提供多种仪表盘 式样供用户选择。用户通过可视化界面配置监控对象和监控指标。可 与警示栏（下面介绍）搭配使用。（3）指示器：通过与参考指定值的

28、比较，显示当前状态。如设置 需要监控的车速为60，当未超过60时，显示正常，超过时显示异常等等。用户可对监控数据源和参考值进行设置。主要是提供多种监控 手段。可与警示栏（下面介绍）搭配使用。（4）统计图表：提供多种式样的图表，包括折线图、气泡图、 柱图等。用户可对多个指标的当前及历史状况进行实时监控。通过可18 / 23视化界面配置图表展示的指标及y坐标轴度量，X轴表示时间刻度。(5)标列表：针对移动目标监控。在大批量移动目标中，显示重点监控的目标，用户可通过可视化界面配置筛选重点监控目标（可通过配置过滤条件），并设置高亮显示等。（6）地理用户可配置地理围栏两种方式，提供已有的含地理围栏的要素

29、服务，或者手动创建。可与警示栏（下面介绍）搭 配使用。（7）警示栏：可与其他组件搭配使用，主要在于将分析处理结 果在警示栏出显示出来。另，提供紧急人员管理，包括了解人微信、 电话、邮箱的配置。4.4.2.3接口设计提供开发接口，用户可自定义组件。5实时GIS应用场景5.1物联网实时态势感知5.1.1噪音监控GeoEvent可以连接物联网中各种传感器设备，该场景中监控的 则是噪音传感器产生的噪音值，当前显示的是噪音传感器的分布。可 以看到，随着飞机的往来，噪音值在不断的发生变化。的#=JWM%ILSW?Mi耳Et_B#aisameqhv 段直除了实时监控之外，还可以通过GeoEvent对噪音值进

30、行阈值分 析。当噪音值超过60分贝时，直接进行报警提醒。这样可以很好的 辅助决策者进行快速的决策处理。5.2移动目标监控5.2.1人员/设备监控某社区为保障区内儿童安全，需要对区内儿童进行实时监控。依 托GeoEvent Processor快速搭建了儿童智能监控系统，家长可以实时 了解孩子的当前位置，在孩子进入危险区域附近（如池塘等）时，即 时向家长发送短信提醒。同样可应用与野外值勤人员工作考核：实时工作轨迹、是否脱离 工作区域等；昂贵设备监控：监控设备实时位置，在离开既定区域时报警。5.3企业级集成5.3.1设施监控GeoEvent Processor可以与OSIsoft的PI设备管理进行集

31、成，用 于监控大型企业设备的实时状态。如电力设施监控，实时监控电力设 施，一旦发电设备出现故障，可立即看到。然后可以启用补充设备， 还可以监控到其实时的用电量。5.4网络舆情监控GeoEvent还可以连接社交平台进行舆情监控。该场景为新浪微 博实时监控及分析。接入微博数据，可以输入关键字从大量数据中挖掘感兴趣的内容。 基于这些大量的数据，还可以进行进一步的分析，如基于格网进行区 域统计，统计不同区域微博发布的热度。这种模式可以很好的应用于灾害救援、传染病防御等领域上匕如， 灾害救援时，通过分析了解哪些地区等待救援的人员较多。传染病发 生后，通过分析查看哪些区域发病人数多，从而进行紧急部署响应。

32、6方案优势6.1内置多种传输协议ArcGIS GeoEvent Processor内置多种主流数据传输协议，如： WebSocket、XMPP、TCP/UDP、SMTP、bbb、Esri feature service 等， 同时支持多种数据格式Txt, CSV , JOSN,KML等，无需再开发即可 使用这些协议接入、输出实时数据。6.2即拿即用的分析处理工具提供地理围栏、属性过滤、字段计算、事件监测等十余种分析处 理工具，无需可发即可使用工具对实时数据进行相应处理及分析。6.3拖拽式处理流程编辑定义提供可视化在线编辑器定义实时数据分析处理流程。可灵活搭建 处理流程，拖拽式轻松实现工作流程的定义。操作简单易用。6.4与ArcGIS应用无缝集成提供GeoEvent服务遵循REST标准，支持使用要素服务进行实 时数据可视化展示，因此可以非常方便的在ArcGIS产品及ArcGIS 应用中集成实时数据。6.5提供开发工具包，支持灵活扩展功能除已提供的传输协议和处理分析工具之外，GeoEvent为开发人 员提供了开发工具包，开发人员可以对输入、输出及分析处理能力进 行扩展。6.6支持多平台操作系统广泛的平台支持，包括 Windows (64bit)， Linux (64bit)o