《数据挖掘在智慧交通领域的应用.docx》由会员分享，可在线阅读，更多相关《数据挖掘在智慧交通领域的应用.docx（6页珍藏版）》请在三一办公上搜索。
1、数据挖掘在智慧交通领域的应用论述了数据挖掘的技术概述和方法论，分析了智慧交通领域数据的现状，结 合数据挖掘方法论和当前国内研究实际情况，提出了适合智慧城市建设的挖掘思 路，以一个典型的挖掘案例来具体说明这些关键环节上的主要工作和产物。标签：CRISP-DM ；数据挖掘；智慧城市；聚类算法F491引言2009年某省会城市市委提出，将充分发挥软件产业优势，集成先进技术， 推进电信网、广电网与互联网在技术上的融合，努力建设以信息资源数字化、信 息传输网络化、信息技术应用普及化为主要标志的“智慧城市”。“智能交通”工程是智慧城市中的一个重要标志，目前该城市用地布局已基本 确定，在中心城区道路不允许大规
2、模扩建和改造的前提下，唯有依靠智能交通系 统(ITS)，对城市交通进行更有效的控制和管理，提高交通的机动性、安全性， 最大限度地发挥现有道路资源的效率。交通信息主要由道路信息、监测基站、车 辆种类、车辆速度、车流量、违法违章信息、道路事故等信息组成，随着设备的 部署及时间的推移，交通信息的数据量越来越庞大，面对海量的独立的数据，按 照传统的维度汇总、以特定的视角去分析统计的方法是无法从这些庞大的数据中 获取价值。因此我们需要新的智慧的手段、能够发现有效信息的技术，这就是数 据挖掘(Data Mining)o数据挖掘是为了在海量的低价值数据中发掘出有用的高价值数据，在交通领 域可以用来识别道路通
3、行的能力并可用作未来车辆流量的预测依据，把抽样的数 据进行类比分析得出隐藏在数据中的的发展趋势，预测道路车辆流量的发展，并 根据预测的结论来管理交通。另一方面可以研究各种与交通存在潜在关系的对象 的数据，来识别这些影响道路运营的因素，同时演算出测出各个因素的影响度， 最终的目的是利用这些挖掘出来的高价值信息，精确地指导交通，为城市服务。2数据挖掘概述数据挖掘是从大量的、有噪声的、模糊的数据中提取隐含在其中未知的、有 用的信息和知识的过程。随着互联网时代的到来，城市在运作过程中形成的数据 快速增长，小到个人，大到企业、政府城市都堆积了海量的信息。数据的爆炸式 增长，广泛可用和海量的数据使我们进入
4、了数据时代，同时也让我们面临信息匮 乏的困境，因此能从海量数据中发掘有效信息的工具成了人们的迫切需求，数据 挖掘正是顺应这种需求而诞生。数据挖掘的通常有如下几大任务：关联分析、分类分析、聚类分析、离群点 分析、时间序列分析等。（1）关联分析是指如果两个或多个对象之间存在某种关联，那么其中一个 对象就能通过其它对象进行预测。其目的是为了挖掘数据间的隐藏在相互关系。 而数据关联说的是数据库中重要的、可被发现的知识。关联分为简单、时序和关 联。它通常由两个关键指标来度量其相关性：支持度与可信度，后续研究过程中 逐步引入其它参数，如兴趣度、相关性等，保证挖掘得到的规则更接近真实情况。关联性分析广泛应用
5、于销售分析与事务数据分析之中。更重要的是关联性分 析是很多其它挖掘任务，如classification sequential pattern mining的基础。（2）分类分析就是找出一个描述和区分数据类别的模型，以便可以预测未 知数据的类别。分类的主概念是训练集，数据利用它按特定的模型推出分类。应 用最为广泛的两种分类模型是决策树模型和朴素贝叶斯模型。（3）聚类分析是在数据对象没有预定类别的前提下，把数据按照相“最大化 类内相似性，最小化类间相似性”的原则归纳成若干类别，从而使得同一类的数 据对象有很高的相似性，不同类之间相似性比较低。通常对于数据的分析，宏观 性的概念可以由聚类来建立，得出
6、它的分布模式，同时可以发现一些属性间的相 互依赖关系。（4）离群点分析通过假定一个数据分布或者概率模型，利用统计检验来检 测离群点，或者使用距离度量，将远离簇的对象发现离群点。数据集中可能包含 一些与数据的一般行为或模型不一致的数据对象，它们被称为离群点，大部分数 据挖掘方法都将离群点视为异常或者是噪声将其丢弃，然而在一些应用中，罕见 的事比正常的事包含根据丰富的信息量。（5）时间序列是按时间顺序的一组数字序列，分析这些数据，演算出的重 复发生概率较高的模式，进而通过分析，根据已有的数据推算出未来的数据范围。 时间序列分析则侧重研究数据序列的互相依赖关系。3数据挖掘在智慧交通领域的应用智慧城市
7、数据中心最终要求构建一个开发、可扩展的统一数据中心平台。其 中交通是该平台的一块比较重要的领域，智能交通技术已经越来越成为大家备受 关注的交通技术，“智能”的能力体现在可以使用一定的算法来海量、独立、杂乱、 不规则的数据。它需要能从这些数据中提炼出一些规则，而这些规则都拥有一颗 “智慧”的心，利用它们可以很好的指导交通，从而发现日常数据中隐藏的变化规 律和结论。本文将采用IBM的SPSS对交通数据进行挖掘，力求更加准确的得 到数据中隐藏的“知识”。3.1数据挖掘过程模型应用智慧城市平台架构要能为城市管理提供如下信息驱动业务的闭环流程：获取 信息一分析数据一管理决策一绩效分析一获取信息，通过这种
8、良性的持续改善流 程循环来实现数据中心的最佳实践目标。结合CRISP-DM过程模型设计出挖掘 的整体框架，如图1。图1智慧交通数据挖掘过程图3.2交通数据预处理本数据来源于该城市各个路段车辆抓拍设备采集的原始数据，包括了 2013 年2月和3月份的主要数据。由于抓拍设备故障、车辆状况或天气情况通常会造 成数据错误、不完整甚至数据缺失，这样会对后续的分析效果产生极大的影响。 所以在分析数据之前，必须对错误、不完整和丢失的数据进行预处理，为后续数 据分析做好比较好的基础。为了方便处理，把数据全部加载到数据库中，根据数 据的特点，针对异常数据情况进行分别处理。首先分析各个字段，检查数据是否 满足既定
9、的业务含义，对于数字型字段通过阈值法识别出明显的错误数据；然后 采用正态分布原则识别出去除较为隐含的异常数据。在识别出异常的数据之后， 可以用当前时间的相邻的同期历史均值将其替代补偿。同时为了保证样本数据的 完整性和精确性，采样数据的时间间隔处理为5分钟，得出某个一天的抓拍数据 采样个数为288。3.3建立挖掘模型本文选择了该城市的某个快速路段这两月内抓拍数据按照时间序列进行聚 类分析。希望发现一些典型的车辆流量的变化趋势，同时识别出不同类别车辆流 量模式背后的时段特性，可以为日后的车辆流量预测做好数据准备理论依据。在 数据挖掘的聚类过程中，不需要事先人为的确定分类数，分类的个数由工具在通 过
10、聚类算法过程中的不断变化的统计量来自动调整确定。3.4实验结果需要通过聚类先观察数据的特点，打开SPSS Modeler建立了待分析的数据 源、视图和需要挖掘的结构，本次为了找到数据内部不同时间的特点，采用了聚 类算法，希望得出这些数据自身可以分为几类，分析每个类别之间的有没有存在 关系等。根据分类后的数据，单独每类统计车流量曲线图，再根据多条同类别的 曲线图，转换为流量模式曲线图。最终合成在同一个图中，得到5条车流量模式 曲线对比图，如图2。图2各类车流量模式曲线3.5挖掘结果分析根据上一节中两个月来的数据得来的五类车流量模式曲线对比图以及各类的样本分布情况，可以得出以下结论：（1）二月数据
11、相对均匀分布在各个类别中，而三月则主要集中在前三类中， 由此可以得出两月流量趋势总体上有比较大的不同，形成这样的原因应该和两个 月份不同假期情况、天气情况有很大关系。（2）平常工作日的车流量大致分为两种情况，参见2中第一、二类曲线， 总体上比较接近，各自有3到4个高峰点，和市民实际生活中的早中晚的上下班 小高峰一一对应。需要额外注意的是，另外一个小高峰会在晚上9点左右呈现。 这两类情况，总体态势类似，但是各自的高峰时间不是同时来临的，且它们达到 高峰的数据值也不相等，各自的持续时间也不一样。（3）两个月的周末流量均呈现同种态势，如图2中第三类曲线，这条曲线 它的峰值出现不是很明显，只是存在几个
12、小的平高峰，而且这些区域的走势总体 变化平缓，数值上下波动不大，时间持续亦较长，考虑到市民实际出行情况，由 于是非工作日，市民的出行比较不规律，不容易看到类似平常工作日的上下班高 峰点，仅仅是在上下午出现了长时间的平高峰。（4）对于二月份特有的曲线，如图2,在第四类中，正值春节长假期间， 人们出行随机性大，走势非常平稳。对于第五类中夜间的流量较为大，恰逢节假 日边缘，人们往返流量较大，符合日常假期的流动情况。将这些有着类似变化趋势的车辆流量数据按照时间序列通过聚类分析是一 件很有实际意义的事，它能够发现车辆流量逐渐发生变化走势情况，同时也能够 对这些有着不同走势特性的数据进行组合，这些组内的数
13、据有着比较接近的特 性。后续我们依据此分析结果，可以进一步对路段车辆流量进行精确预测，再结 合其它方面的因素，为更好的规划、控制和优化交通提供帮助。4结论智慧交通是智慧城市的一部分，是一个服务于特大型城市级别的，具有自适 应性的智慧应用与整合能力的集成软件系统。所以设立一套科学、合理的方法论 和管理过程模型，是保证该项目成功的一个非常重要的前提，数据挖掘方法论和 过程模型为实现由信息驱动业务的持续改善闭环提供了可能，同时也为该项目的 大规模复制和推广创造了基础条件。针对交通信息甚至城市发展中各类信息的不 确定性，传统的多维汇总分析数据是存在不足的，而数据挖掘技术的使用是很有 必要的。随着挖掘技术的不断进步，必将逐步深入应用到智慧交通以及整个智慧 城市系统，终将可以科学、高效的服务于我们的城市。参考文献1童隆俊，陈铭.构建智慧南京提升城市功能M/OL.2010.2HAND D J，MANNILA H，SMYTH P.Principles of data miningM.MITpress, 2001.3JIWEI H, KAMBER M.数据挖掘概念与技术M.北京：机械工业出版社 2006.数据泄费致据理解用n用息 底部底信 业市民务木 企城居政应用评估建立授型Eg. 一 粤 一sm q图1智慧交通数据挖掘过程图第一类第.桑果第五夷2各类车流量模式曲线
