分布式海洋监测与信息发布系统实时性的研究.ppt

上传人:laozhun 文档编号:2691788 上传时间:2023-02-22 格式:PPT 页数:50 大小:378KB
返回 下载 相关 举报
分布式海洋监测与信息发布系统实时性的研究.ppt_第1页
第1页 / 共50页
分布式海洋监测与信息发布系统实时性的研究.ppt_第2页
第2页 / 共50页
分布式海洋监测与信息发布系统实时性的研究.ppt_第3页
第3页 / 共50页
分布式海洋监测与信息发布系统实时性的研究.ppt_第4页
第4页 / 共50页
分布式海洋监测与信息发布系统实时性的研究.ppt_第5页
第5页 / 共50页
点击查看更多>>
资源描述

《分布式海洋监测与信息发布系统实时性的研究.ppt》由会员分享,可在线阅读,更多相关《分布式海洋监测与信息发布系统实时性的研究.ppt(50页珍藏版)》请在三一办公上搜索。

1、分布式海洋监测与信息发布系统实时性的研究,绪论监测子系统实时架构与研究分布式信息发布子系统实时架构与研究实时嵌入式GIS平台设计与研究实时分布式聚类算法设计与研究实时增量式聚类算法设计与研究总结与展望,论文结构安排,内容安排,1.1 课题选题背景1.1 课题研究现状1.3 课题研究方向与意义1.4 论文结构组织,第一章 绪论,课题来源背景,资源和环境方面随着全球陆地资源日趋紧张和环境不断恶化,世界各国将目光转向海洋,开发海洋资源,发展海洋经济成为国民经济的重要支柱。我国海洋面积约为陆地国土面积的1/3。海洋对我国经济、政治、国防和文化都有极其重要的意义。但随着工农业生产的发展,沿海地区人口的增

2、多,大量工农业废水和生活污水排入海洋,引起赤潮等海洋灾害的发生。政府支持方面海洋监测技术被确立为国家“十五”攻关计划,同时也是国家863计划资源环境领域的四个主题之一。山东省科学技术发展计划重点项目“海洋环境在线监测及灾害智能预警系统的研制。,第一章 绪论,课题研究现状,美国HABSOS(Harmful Algal Blooms Observing System):该系统依赖由卫星、海岸基自动观测站、浮标等现场监测系统组成的立体监测网络,获取全方位、高频率的监测数据。欧洲ROSES(Real-Time Ocean Services for Environment and Security):是

3、一个综合的海洋环境资源信息平台,通过现场监测系统获取实时的海洋监测数据。全球海洋观测系统GOOS(Global Ocean Observing System):GOOS是联合国教科文组织政府间海洋学委员会(简称海委会)迄今发起的全球性最大、综合性最强的海洋观测系统。国内海洋监测技术水平落后于先进海洋国家10-15年,大部分海洋监测站以人工监测为主,自动化水平较低。国内自主研发的监测设备很少,国内高档海洋仪器市场的95为国外产品所占据。“九五”、“十五”期间,依托863计划等科技攻关项目的支持,我国逐步建立起海洋监测台站、浮标、调查船、卫星遥感及航空遥感等组成的海洋环境立体监测网络。,第一章 绪

4、论,论文主要研究方向,1)基于GPRS技术的监控架构。2)基于嵌入式GIS的实时分布式发布架构。3)适用于不同灾害信息挖掘需求的实时聚类算法。,第一章 绪论,论文内容组织,1.介绍了本论文的选题背景以及海洋监测发布技术的研究现状,并就本文在课题中的研究方向及其意义进行了阐述。2.主要描述了海洋监测子系统的架构,并就数据采集、集成中提高实时性的技术和理论进行探讨。3.重点介绍了所提出的台站级分布式信息发布子系统的架构,并对架构中所应用的嵌入式GIS、信息聚类、实时交互协议等针对实时性的提高进行了探讨和论证。4.提出台站信息发布中的嵌入式GIS模块的设计架构,并就GIS的显示、漫游及查询等方面详细

5、的探讨了提高发布实时性的性能提高策略以及论证分析。5.对分布式聚类算法的研究进行分析,探讨提出一种基于抽样核心集的聚类算法,应用于海洋分布式监测环境。6.探讨提出一种实时增量式聚类算法及其在数据中心实时监控和历史数据库更新聚类中的应用。7.对全文进行总结分析,并对课题的研究不足与进一步的工作进行展望。,第一章 绪论,海洋立体监测集成系统集空中、海面、水下、海岸多平台监测设备为一体,和数据中心、数据通信网络共同构成海洋环境立体监测网络体系。海洋监测信息系统,通过由各种先进监测设备和手段组成的立体监测网络体系,获取海洋监测要素信息。先进的监测手段已经可以提供包括气象、水文、化学、生物要素的近实时的

6、全方位信息,尤其是气象和水文目前的技术已经足以提供实时的监测数据。监测子系统包括采集子系统和集成子系统,采集子系统负责采集封装各类监测传感器的实时数据,并将其发送到所属台站集成系统,分布式台站集成子系统将对这些初始采集数据进行分组管理和分组数据预处理,并且组织成数据报文汇总至数据管理子系统。,第二章 监测子系统,内容安排,2.1 子系统架构2.2 关键技术与实时性分析2.2.1 无线GPRS通讯技术2.2.2 GPS定位技术2.2.3 XML技术,第二章 监测子系统,子系统空间架构,第二章 监测子系统,子系统数据流程,海洋环境在线监测子系统位于系统架构的最底层,是整个系统的基础,为数据集成、数

7、据管理、模型分析以及数据产品子系统提供实时监测数据。数据监测子系统工作于现场监测平台上,通过和各类基本传感器的交互,自动完成海洋环境要素现场监测、采集,并实现数据传输的功能。其基本工作过程如下图:,第二章 监测子系统,无线GPRS通讯技术,海洋监测系统中的各类监测子站分布于监测海域中,无法通过有线方式接入Internet网络,因此子站必须借助无线网络连接所属的监测台站,传输所采集的实时传感器数据。系统采用移动通讯提供的数据传输技术GPRS为子站与台站之间的数据传送提供网络支持。它是一种基于GSM系统的分组交换技术,提供端到端的广域的无线IP连接。通俗地讲,GPRS是一种高速数据处理的技术,方法

8、是以“分组的形式传送资料到用户手上。虽然GPRS是作为现有GSM网络向第三代移动通信演变的过渡技术,但是它在许多方面都具有显著的优势:(1)网络覆盖范围广,能够在较恶劣的海洋环境中传输数据(2)传输速度高,GPRS数据传输速度可达到57.6Kbps,最高可达到115Kbps170Kbps(3)接入时间短,GPRS接入等待时间短,可快速建立连接,平均为两秒(4)提供实时在线功能“alwaysonline”,用户将始终处于连线和在线状态,这将使访问服务变得非常简单、快速(5)按流量计费,GPRS用户只有在发送或接收数据期间才占用资源,第二章 监测子系统,GPS地理定位技术,在海洋监测采集系统中,由

9、于采集站点的位置并不固定,而是根据监控的需要分布式在整个监控区域内,因此系统采用GPS定位技术来确定各采集站的位置,并将此定位信息作为采集数据的一部分传送给上层的数据接收端。GPS的通讯协议全部输出信息相当复杂,但本文系统仅需要获取模块的经纬度定位信息即可,因此系统实现时5秒钟更新一次经纬度和时间数据,如果过于频繁的数据更新,将会增加网络通讯量和浪费设备的电池。GPS模块每秒钟发送6条数据,则每5秒钟就是30条,仅需从中挑选$GPRMC语句信息,其余信息可忽略掉。,第二章 监测子系统,XML技术的应用,过去十年内XML语言的应用日渐广泛,各种以XML文档为基础的应用标准和软件系统层出不穷,如用

10、于封装对象访问的SOAP协议、Web Services服务等等。在海洋监测子系统的实现中,充分利用了XML在数据表示、封装、传递方面的灵活优势。子系统主要在以下几个方面应用了XML技术来提高监测系统的性能:封装监测子站采集数据描述赤潮实时交换协议描述监测数据访问接口,第二章 监测子系统,XML技术的应用(续),在监测子系统中,定时将采集到的基本监测要素以XML格式封装成数据包,然后通过GPRS数据传输模块将数据包以无线的方式发送到集成子系统中的数据接收服务器。采用XML封装的优势在于:为了便于数据的解析通过成对的标签匹配,可以发现并纠正部分无线传输错误,第二章 监测子系统,XML技术的应用(续

11、),海洋数据种类繁多、获取手段多样化,不同海洋学科之间、不同调查项目之间存在许多不同的海洋数据处理分析系统。需要标准的数据接口实现跨平台、跨系统的数据信息交互。系统根据赤潮监测与预报系统的需要,只针对与赤潮预报有关的海洋数据进行分析研究,所设计的实时XML协议实现以下目标:(1)提供一种封装所有有害藻华现象相关的海洋监测数据的方法,便于数据存储和在系统内部传输、交换。(2)建立易理解、自描述的赤潮等灾害相关的海洋数据的编码体系。(3)提供在同一数据文件中跟踪数据质量控制过程的手段。,第二章 监测子系统,XML技术的应用(续),为了使监测子系统能与数据管理子系统之间实现无缝融合,必须为其设计实现

12、标准的数据访问接口,使得数据监测子系统具有良好的开放性。在海洋环境监测系统中引入OPC标准数据访问接口,可以提升数据监测子系统和上层数据管理子系统之间的互操作性,使得整个海洋环境在线监测与灾害智能预警系统更具开放性和灵活性。采用OPC XML标准实现海洋监测系统的数据访问接口具有以下三个方面的优势:(1)OPC XML采用HTTP协议中内嵌SOAP消息的方法,通讯机制可以跨越Internet网络,不受防火墙的限制。(2)OPC XML基于XML技术,XML的跨平台特性使得OPC XML接口可以应用于任何系统平台上,其中包括本课题中监测系统所使用的嵌入式Linux操作系统。(3)监测台站具备的Q

13、T/Embedded开发环境提供了丰富完善的XML解析类库,为实现OPC XML DA Server提供了必备的基础条件。,第二章 监测子系统,海洋信息发布子系统是海洋监测与信息发布系统的重要组成部分,在整个监测与信息发布系统中,它位于监测子系统之上,负责对监测子系统所初步处理的海洋监测采集数据进行挖掘分析,然后再以可视化的方式将当前监控海域的灾害情况实时可靠显示出来,从而尽早的对可能出现的赤潮等海洋灾害进行治理和预防。此外,由于各级别海洋监控系统在地理空间上广泛分布,因此信息发布系统必须能够尽可能的实现各分布节点能够协作计算,资源共享,以提高灾害信息在各监控站发布的效率。,第三章 信息发布子

14、系统,内容安排,3.1 发布子系统架构3.2 关键技术与实时性分析3.2.1 嵌入式GIS服务器3.2.2 信息交互机制3.2.3 分布式聚类3.2.4 嵌入式WebGis发布技术3.2.5 彩信发布技术,第三章 信息发布子系统,发布子系统架构,从数据流动处理上来看,子系统横跨整个海洋监测空间,需要分布式海洋环境中的各级监测节点协同工作,实现操作上的无缝结合,降低数据计算的规模和复杂性,提高数据、信息的共享程度,进一步提高信息发布的实时性与可靠性。,第三章 信息发布子系统,发布子系统数据流程,在信息发布系统架构中,数据与挖掘后的信息在系统中是一个往返流动的过程。,第三章 信息发布子系统,发布子

15、系统模块划分,根据系统的空间分布,子系统可以划分成台站发布模块和监测子站终端模块两部分。前者为发布子系统的主模块,负责与上层数据中心进行协同分布式聚类,对上对下发布灾害挖掘信息;后者负责在处理能力较差的监测子站设备上的所监测海域灾害信息的可视化显示,提供与所属台站的服务模块进行交互的功能。关于系统实时性的几点考虑:子站位置不确定,并且处理能力差,因此海域地图存放于台站之上,子站必须具备动态请求的能力,而且可视化系统要简单、耗费资源小。子站请求的可视化地理信息应具备渐进式传输的特点,以降低移动网络较慢造成的视觉延迟,提高实时性(采用png图像格式+数据渲染)。,第三章 信息发布子系统,嵌入式GI

16、S服务器,GIS服务器不仅在其宿主的台站集成系统之上提供单机的实时地理环境的数据监控、采集信息,而且具有向分布式环境中的多种平台提供多种形式的地理信息发布的功能,即实现了一种嵌入式平台上面向海洋分布式领域的GIS发布服务器平台。,第三章 信息发布子系统,嵌入式GIS服务器(续),在GIS服务器平台的层次架构中,整个平台建立在台站系统的支撑软件之上,共分为GIS基础设施模块、GIS服务与信息交互模块和GIS服务的图形界面模块三个部分。GIS服务器平台是整个信息发布系统的核心,它的性能直接影响到从分布式聚类到终端信息发布的各个方面,因此需要对其的设计与实现方法进行研究,以降低信息处理和图形显示的操

17、作延迟,进而提高整个信息发布系统的实时性。,第三章 信息发布子系统,信息交互机制,在通过对整个分布式信息发布系统的节点设备、通讯网络和数据传输需求等方面的考虑分析基础上,适应于本系统实时发布环境的信息交互协议应满足以下三个方面的要求:(1)数据传输量小,数据格式简单,降低对节点计算能力的需求(2)数据具有优先级划分,实现渐进式传输,即实现“先概貌,后细节”的效果(3)容错能力好,能够处理无线通讯中造成的传输错误,第三章 信息发布子系统,信息交互机制(续),关于交互实时性的几点考虑:与子站交互协议的设计实现中,将计算工作和数据传输量更多的集中到台站上,以保证子站设备的正常运行。子站不具备安装完整

18、的图形绘制能力,即无法采用SVG等描绘型矢量格式图像,只能采用直接图片传输。图像数据传输无法采用PC型服务器所采用的整体数据打包和图像预切片的方式,二者资源耗费过大且处理器计算时间耗费长。需要一种可以实现渐进式图像传输的方法,即实现“先概貌,后细节”的效果,减小因设备能力小、网络通讯环境差对实时监控造成的影响。通过比较常用栅格图像格式,系统选用文件小、支持渐进式传输且实现接口简单方便的png格式。针对无线网络中信息易于发生传输错误和丢包这两种情况,分别采取数据校验和定时器两种方法来进行简单的容错处理。,第三章 信息发布子系统,分布式聚类,不同于数据中心的大规模数据单机聚类分析算法,我们在信息发

19、布子系统中采用分布式环境下的聚类算法来挖掘灾害信息。其原因、主要基于以下两点考虑:面向的应用环境是台站级的信息挖掘及发布,实时性要求更强,分布式聚类可以缩短挖掘延迟算法改进框架抽取的本地模式小而且能够反映本地数据分布情况,而且较传统框架,聚类的时间更短。灾害信息的挖掘依赖于多个台站监测海域之间的全局性挖掘,否则挖掘结果将具有局部性,影响信息发布的质量和准确性算法中更新数据附加全局聚类中心,避免直接采用邻域更新方式造成的聚类偏差,第三章 信息发布子系统,嵌入式WebGIS发布,对外发布的服务方式之一,面向具有SVG插件的Internet浏览器、手持设备等发布对象。采用SVG技术以提供较为复杂的查

20、询、检索、细节查看等操作发布过程分为服务器SVG生成和数据传输两个部分,必须对该过程进行优化,以保证台站服务器的正常运行和发布实时性。为实现多分辨率数据的渐进式传输,设计一种新的数据结构模型:等级搜索树,具有以下优势:引入等级关键字使数据本身具有多细节层次的特点,解决了矢量图形的多分辨率环境中的显示问题取消传统多路搜索树的一些约束,便于实现数据的增量存储采用失高分级算法,解决节点等级信息无法层次存储的缺点,而复杂度为线性,第三章 信息发布子系统,彩信发布技术,对外发布的服务方式之一,面向支持彩信业务的手机终端设备。发布形式较嵌入式Webgis形式简单、内容单一,不具备复杂查询检索能力。不同于子

21、站渐进式传输需求,由于图片信息需要一次性的封装到彩信文件中,不需要图片渐显的特点,因此选择压缩比更高的JPEG格式,减小图片压缩时间和彩信文件大小在服务对象认证检索方面,采用存储空间较小,实现方便的dbf文件作为对象存储数据库,降低台站的资源负荷。用户主动请求和订阅服务相结合,提供实时动态的服务请求。,第三章 信息发布子系统,位于监测台站系统之上的嵌入式地理信息平台是整个台站级信息发布子系统的重要组成部分。它主要负责向上层管理人员提供相应台站监测海域的关于实时灾害信息的可视化监视界面,并提供对实时灾害数据的查询、检索等管理功能,用以辅助管理人员在灾害发生时采取及时的措施以遏制灾害的进一步蔓延;

22、平台另一方面为对外和对内信息发布服务提供有关地理信息的数据和基础性设施,为信息的实时发布提供保障。因此,嵌入式GIS平台的设计性能对整个发布子系统的实时性和可靠性具有决定性的影响。,第四章 嵌入式GIS平台,内容安排,4.1 嵌入式GIS相关研究4.2 平台总体架构4.3 平台关键技术与实时性分析4.3.1 嵌入式电子地图4.3.2 空间索引机制4.3.3 图形绘制模型4.3.4 空间数据缓存,第四章 嵌入式GIS平台,相关研究现状,嵌入式GIS逐渐在野外资源调查、交通信息查询等领域广泛应用传统桌面GIS厂商逐渐推出其嵌入式版本,如ESRI的ArcPad,MapInfo的MapXMobile和

23、MapXTrend,国内超图公司的eSuperMap以及武汉灵图公司的SmartInHand等。上述产品主要运行与WinCE平台之上,虽然具有易于开发、缩短开发周期等优势,但WinCE不但价格昂贵,而且所开发程序移植性差,难以移植到其他系统平台之上,难以满足人们对于手持设备的低成本、高移植性的要求。基于嵌入式Linux平台之上的GIS产品目前还未有较为成熟的实现,主要原因是平台种类多,缺乏标准化;但自由裁剪和底层访问能力可以带来性能上的提升空间。,第四章 嵌入式GIS平台,平台设计需求,嵌入式软件需要根据具体应用环境的要求进行功能上的裁剪,以最大限度的减少对资源的耗费。台站信息发布的GIS平台

24、所需要的功能与一般的嵌入式GIS更加精简,如广泛用于公路信息等导航系统中所需要的路径分析、规划等功能,在海洋信息发布中并不需要。通过分析台站信息发布系统对GIS图形化显示的需求,本文介绍的嵌入式GIS平台主要实现下面几个方面的功能:(1)监测地图的基本浏览功能包括对监测区域电子地图的查看、放缩、平移操作,图层的简单控制功能。(2)集成子站位置、数据渲染功能实现对各监测子站地理位置的获取与渲染,然后将其动态的定位到生成的图层对象上。(3)灾害数据的查询检索提供图形化的数据检索界面,能够根据管理人员的需求,检索定位所需监测子站或台站的采集数据和灾害发生情况。,第四章 嵌入式GIS平台,平台架构设计

25、,第四章 嵌入式GIS平台,架构实时性优化,上述嵌入式GIS平台的架构设计充分考虑到台站发布系统的软硬件配置以及信息发布系统的需求,同时对于平台实时性的提升,此设计主要从以下几个方面进行架构上的优化:(1)空间数据读取并行化、分块化(2)直接显存操作加速图形绘制(3)裁剪符号库,第四章 嵌入式GIS平台,嵌入式电子地图,嵌入式设备环境限制了地图文件所占存储空间的大小,此外设备计算能力弱也需要地图文件具有简洁易读的文件结构。传统地图文件如MapInfo的Tab格式相应的二进制格式属商业秘密,只能应用于具有相应开发包的WinCE平台,而且存储了大量冗余信息,占用存储空间大。不适合于本文介绍的运行嵌

26、入式Linux系统的台站设备,故有必要设计一种适合嵌入式环境和海洋信息发布的专用电子地图格式。,第四章 嵌入式GIS平台,嵌入式电子地图(续),所设计的每个地理图层由三个文件组成,即对象文件(后缀名osd)、属性文件(asd)和索引文件(isd)。为节省文件存储空间,地理文件均采用二进制格式存储。(1)采用整型坐标存储、对象坐标压缩存储等策略缩小文件大小(2)精简地理对象类型Point,PLine,Regin,Multipoint,Text(3)添加少量冗余信息提高地图的易访问性主要添加了两种冗余信息,即加速对象式样信息读取的掩码字段和精简数据读取量的对象外接矩形信息,第四章 嵌入式GIS平台

27、,空间索引机制,空间信息的查询检索等操作的性能直接依赖于GIS平台的高效实现,其效率直接影响空间数据的存储效率以及空间检索的性能,尤其是在本文所应用的嵌入式海洋信息发布环境。信息查询检索对象主要为监测子站和监测海域,因此索引对象类型包括点和面两种类型,且海域和子站之间存在包容关系,必须实现多分辨率数据索引。系统所设计的一种应用于海洋GIS发布环境的新空间索引结构RG树,结合了网格索引的快速性和四叉树支持多分辨率数据的优势,同时采取策略避免重复存储同一对象,降低了数据索引的冗余程度。,第四章 嵌入式GIS平台,空间索引机制(续),关于空间索引效率提升的几点考虑:对跨越多个网格区域的对象,仅在所包

28、含的第一个区域内记录其全部信息,其余部分仅记录其“虚”信息,检索时将跳过。分层分块划分区域。上层索引节点所标识的区域包含子节点所标识的区域,避免R树等结构存在的区域重叠的情况。避免对象重叠冗余。与四叉树等结构不同,RD将对象按照不同的分辨率分布在内节点和叶节点之上,分辨率低的对象分布在层次较高的内节点上,这些节点所标识的区域较大,因而出现对象在多区域中重复的情况概率更小。同时,由于子节点区域采用二分划分,因此较四分区域产生的对象归属的交叉机会更小。采用RD树搜索对象的复杂度包括搜索树和节点区域包含对象数有关,即,由于索引树高最大限制为常数,因此其搜索复杂度仅为。,第四章 嵌入式GIS平台,图形

29、绘制模型,地理对象信息全部存放于磁盘中的电子地图文件中,在绘制显示地图时,需要动态的从文件中读取所需的地理对象数据。由于磁盘读写速度与处理器速度存在数量级上的较大差距,直接采用先读取磁盘文件后绘制的方法,将增大地理对象绘制的延迟时间,影响GIS平台可视化显示的实时性能。因此,必须采取优化对象物理信息的读取和绘制的措施,缩小磁盘读取与处理器绘制之间的性能差异。所采取的措施降低延迟有:设置对象缓存暂存一定数量的地理对象于内存中来避免频繁读取磁盘文件 并行分块绘制对象 将对象文件的信息读取和绘制过程并行化,优先绘制低分辨率对象,以改善用户的视觉延迟。,第四章 嵌入式GIS平台,图形绘制模型(续),绘

30、制模型主要依赖于上节所介绍的索引树来加速图形绘制,索引树节点存放着有关网格区域和区域内多分辨率对象信息,通过将待绘制区域和索引树节点从上至下匹配,再以多线程并行实现技术来加速图形的绘制绘制线程由主分配线程和四个子绘制线程组成,其中主分配线程负责将待绘制区域的对象分配到子绘制线程,管理回收空闲绘制线程;而子绘制线程负责根据所分配的对象信息列表进行实际的绘制任务,第四章 嵌入式GIS平台,空间数据缓存,空间数据缓存是减少磁盘文件请求,提高图形绘制速度的另外一种重要技术。显然,数据缓存的关键是采取策略提高缓存的命中率。缓存区采用二级索引管理,即索引树节点号为一级索引域,对象文件地址为二级索引域。“时

31、延隐藏”:采取预取的方法将当前区域的周边对象读入缓存,解决由于平移定位等操作所绘制的对象变化较大,导致对象在缓存区的命中率急剧下降的问题,第四章 嵌入式GIS平台,分布式聚类挖掘与传统挖掘相比所具有的主要不同在于数据分布在不同的站点中,聚类过程中除要提高聚类的有效性外,还要考虑到数据传递、交互所带来的网络代价和时间延迟。尤其是在本文所依托的海洋赤潮数据监测环境中,监测数据数量较大、监测要素多、维数大而且监控节点的能力有限,完全将监测数据传送到中心站点进行聚类,不仅浪费网络带宽、增加监控节点的负载,同时会降低海洋赤潮监控的实时性,影响预警效果。在分析了传统分布式聚类算法不足的基础之上,提出了一种

32、新的基于核心集抽样技术的聚类算法框架,并对算法的性能进行了实验分析。该算法能够满足发布子系统的分布式信息挖掘要求,具有较好的实时性和准确性。,第五章 分布式聚类算法,内容结构,分布式聚类与信息发布相关理论与算法经典k-means算法分布式聚类数据抽样与核心集新的分布式聚类算法改进框架本地模式抽取中心站点聚类本地样本类属算法性能与复杂度分析结论,第五章 分布式聚类算法,算法实时性策略,本地模式采用抽取核心集的方法,不仅数据扫描的次数较直接k-means聚类更少,而且取得的核心集较小,降低网络负载全局聚类采用改进了的k-means聚类算法,较经典算法速度更快更精确:(1)对所抽取核心集进行多次聚类

33、,获取初始聚类中心(2)采用三角不等式原理减少距离计算,加快算法运行将全局聚类中心与代表点类属一并传回,计算剩余样本的聚类类属,避免直接标识邻域法可能造成的错误,第五章 分布式聚类算法,数据中心是海洋监测与信息发布系统中灾害监测数据的最终汇集点,数据将进入监测历史数据库,并应用数据挖掘技术进行后续的信息挖掘,以辅助海洋监测管理人员做出决策。在海洋监测系统运行时,由于不断采集到的数据是动态增加的方式添加到数据仓库中的,这种情况下无法采用传统的一次性聚类挖掘算法进行处理,否则将耗费大量的内存空间和系统时间,甚至导致数据仓库系统无法正常工作。此外,对历史数据库进行挖掘和决策分析需要较长时间,无法满足

34、管理人员实时监控的特殊要求。针对数据中心聚类挖掘中上述困难,设计了一种增量式聚类算法来解决这些问题。增量式算法的聚类处理过程与数据库数据更新的过程一致,可以实现在不对已聚类的历史数据重新聚类的前提下,对新增加的数据进行挖掘;同时算法可以缩短数据聚类的周期,使数据在较短时间周期内作出挖掘分类,满足了管理人员对获取实时灾害挖掘结果的要求。,第六章 增量式聚类算法,内容结构,聚类分析与数据中心挖掘相关理论与算法基于目标的聚类熵与相关熵期望熵增量式聚类算法EIFCA 传统算法问题与改进策略增量聚类算法算法实验与性能分析小结,第六章 增量式聚类算法,全文总结,给出了监测子系统的架构设计和数据流程,总结了

35、子系统提高性能所采用的关键技术 设计了监测台站级的分布式信息子系统的架构,并分析了这些发布服务的技术实现在实时性方面的考虑。设计了运行在监测台站设备上实时嵌入式GIS平台,对平台的电子地图、空间索引查询、图形的高速绘制等方面进行技术上优化研究,以确保平台发布的实时性 设计了一种基于核心集抽样技术的分布式聚类算法,以满足分布式信息发布中实时灾害信息挖掘的要求 针对数据中心的实时灾害预警和历史数据库更新挖掘的要求,设计了一种基于熵的增量式聚类算法,第七章 总结与展望,论文研究展望,由于海洋监测与信息发布系统的复杂性,该课题涉及面广、工作量大,受时间和研究条件的限制,尚有一些问题有待进一步深入研究:限于设备条件限制,监测子系统在实时环境中还需相应的改进优化嵌入式GIS平台在功能设计与实现的标准化进行研究分布式聚类算法应用k-means算法聚类,在高维环境可能会导致“维数灾难”,另外如何进行分布式环境下的子空间聚类本文针对课题所设计的三层监测发布系统进行研究,总结分析了系统设计与实现中,在提高系统实时性和准确性等方面所做的一些探讨和研究,对今后进一步的研究和开发海洋环境实时监测与发布系统有着重要的借鉴和参考意义。,第七章 总结与展望,谢谢大家!,

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 建筑/施工/环境 > 项目建议


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号