《佛山市顺德区公安局交通警察大队.doc》由会员分享，可在线阅读，更多相关《佛山市顺德区公安局交通警察大队.doc（38页珍藏版）》请在三一办公上搜索。
1、附件三：顺德交通管理大数据平台项目总体建设方案项目编号：项目建设单位：佛山市顺德区公安局编制单位：佛山市顺德区公安局交通警察大队二一四年七月目录第一章概述51.1. 项目名称51.2. 项目性质51.3. 项目承担单位及负责人51.4. 项目建设方案编制依据51.5. 项目建设目标、规模、周期61.5.1.项目建设目标61.5.2.项目规模61.5.3.建设周期61.6. 项目建设内容61.7. 总投资及来源81.8. 经济及社会效益8第二章现状、必要性和需求分析92.1. 项目建设背景92.2. 组织机构及职能92.3. 信息化现状及存在的问题102.3.1.信息化总体现状102.3.2.问
2、题分析102.3.3.面临的机遇与挑战112.4. 项目建设的必要性112.5. 需求分析122.5.1.大数据平台数据库系统122.5.2.数据库抽取工具122.5.3.大数据平台BI展现工具122.5.4.大数据平台集群管理系统132.5.5.大数据平台服务器13第三章可行性分析133.1. 社会可行性分析133.2. 技术可行性分析143.3. 经济可行性分析14第四章项目建设目标与任务144.1. 建设目标与思路144.1.1.建设目标154.1.2.建设思路154.2. 项目建设主要任务15第五章项目建设原则及技术路线155.1. 项目建设原则155.2. 项目技术路线165.3.
3、项目建设遵循的依据和参考规范16第六章项目建设总体设计176.1. 总体架构设计176.2. 关键特性设计186.3. 技术架构设计18第七章项目技术实现方案197.1. 应用支撑层建设方案197.2. 大数据平台层建设方案217.3. 硬件资源池建设方案227.4. 集中监控平台建设方案247.5. 交通管理大数据资源池的共享方案25第八章项目投资概算268.1. 投资概算汇总表268.1.1.软件费用预算268.1.2.硬件费用预算278.1.3.建设费用合计278.2. 资金来源与落实27第九章项目的建设及运行管理289.1. 项目建设管理组织机构289.2. 项目关联的业务主体299.
4、3. 项目运行维护机构299.3.1.服务外包299.3.2.自主管理309.3.3.运维人员配置309.4. 技术力量和人员配置319.4.1.售后服务与技术支持方式319.4.2.售后服务与技术支持规范329.5. 项目建设的实施策略349.5.1.综合管理349.5.2.进度控制359.5.3.组织机构和人员管理359.5.4.质量控制方法369.5.5.保密措施36第十章项目建设工期37第十一章社会与经济效益分析38第一章 概述1.1. 项目名称项目名称：顺德交通管理大数据平台项目1.2. 项目性质项目性质：新建1.3. 项目承担单位及负责人项目承担单位：佛山市顺德区公安局交通警察大队
5、单位负责人：梁辉元项目负责人：陈云杰1.4. 项目建设方案编制依据本项目建设主要依据佛山市政府下发的佛山市人民政府关于佛山市第四、五、六阶段限制高污染（高排放）汽车通行的通告（佛府201412号）的精神要求，并结合国内外信息化建设的发展状况，公安部交管局以及省交管局提出的信息化发展战略，以及顺德区公安信息化建设现状及未来的建设需要进行规划。顺德交通管理大数据平台的建设，将严格依据以下规范和标准进行建设：1、金盾工程总体方案设计2、金盾工程安全保障体系总体设计方案3、中华人民共和国道路交通安全法4、中华人民共和国道路交通安全法实施条例5、全国公安交通管理综合应用平台建设实施方案6、全国公安交通管
6、理综合应用平台数据标准7、公安部公安信息系统应用支撑平台总体方案设计 8、公安部共享数据项代码标准9、公安部共享数据项集项目规范10、公安部公安信息化标准汇编 11、GA 186-1998 公安机关常用标号12、GB 8566-1995 信息技术软件生存期过程13、GB 8567-88* 计算机软件产品开发文件编制指南14、GB/T 12505-90 计算机软件配置管理计划规范15、GB/T 16680-1996* 软件文档管理指南16、公安交通管理综合应用平台建设指导意见的通知【公交管2010196号】1.5. 项目建设目标、规模、周期1.5.1. 项目建设目标本项目将全面推进顺德公安交警信
7、息资源高度整合共享和综合开发利用，构建面向公安交通管理的“交通管理大数据资源池”，创新性地利用大数据管理技术，以提高公安海量数据的稽查布控、数据查询、分析性能和数据管理的应用水平，并为今后公安交通管理大数据决策、大数据分析、大数据作战、大数据监管、大数据服务打下坚实基础。1.5.2. 项目规模项目涉及了顺德交通管理大数据平台软件（通用标准软件产品），以及配套硬件建设。总投资概算约86万元，其中软件费用58万元，硬件费用28万元。1.5.3. 建设周期项目建设周期计划安排在两个月内完成。1.6. 项目建设内容本项目侧重于顺德交通管理大数据平台基础框架的搭建，由软件（通用标准软件产品）和硬件两部分
8、组成，建设内容如下：名称说明软件部分大数据平台数据库系统（支持28节点）用于公安交通管理大数据的分布式存储和分布式关系型分析。具体要求如下：（1）支持海量结构化分布式数据存储和分布式关系型分析。（2）支持并行计算的数据分析。（3）支持节点数量动态增加。（4）支持数据备份与恢复，支持多副本备份。（5）提供C/C+接口和JDBC驱动。（6）具备数据仓库基本功能，无需另加数据仓库软件。（7）支持系统一键安装。数据库抽取工具（1套）用于从公安交通管理业务生产库中抽取数据的工具。具体要求如下：（1）支持oracle、sqlserver、mysql数据库数据结构和结构定义信息抽取。（2）支持oracle、
9、sqlserver、mysql数据库数据清洗、转换抽取。（3）支持oracle数据源的同步。大数据平台BI展现工具（1套）用于完成基于“交通管理大数据资源池”应用开发的展现工具。具体要求如下：（1）提供了企业级的报表、多维分析、仪表盘、数据挖掘功能。（2）提供了可以作为嵌入式的组件、自定义的BI应用方案大数据平台集群管理系统（1套）用于大数据平台集群的管理和监控。具体要求如下：（1）支持对服务器、交换机、路由器等网络设备运行状态监测。（2）支持对CPU、内存、网络、硬盘等硬件资源使用情况的实时监测。（3）支持对应用进程监测。（4）支持故障自动报警。（5）支持图形化管理。硬件部分大数据平台服务器
10、（1台）高性能刀片服务器，用于大数据存储和应用部署。具体要求如下：1、刀片服务器机箱，7U高，支持最大14片刀片（含：4*1620W电源、1*管理模块、导轨）2、14 PR7014B_R3 节点配置如下：（1）CPU，1 * Intel Xeon E5-2620 6C/12T 2.0GHz 15MB 7.2GT/s 95W（2）内存，16GB （44GB） DDR3 1333MHz ECC RDIMM （3）本地存储，2 * 300GB 10k SAS 2.53、以太网交换机，10个外部以太网电口，14个内部以太网电口。4、三年（5*8）现场响应1.7. 总投资及来源顺德交通管理大数据平台项目
11、总投资预算约为人民币86万元，资金来源为区财政投资。1.8. 经济及社会效益通过本项目的建设进一步推进信息资源高度整合共享和综合开发利用，将数据处理分析与我们的交通管理工作相结合，探索出新的交通管理模式，全面提升道路交通科学管理水平，提高社会效益。第二章 现状、必要性和需求分析2.1. 项目建设背景近几年，为持续实现“科技强警，向科技要警力、向科技要战斗力”，顺德区不断加大交通管理信息化建设力度，各类传感器、高清卡口和信息终端已遍布全区。这些设备以及信息系统每天都为交通管理者提供了海量的数据，这些全方位、多渠道、全覆盖的海量立体数据，标志着公安交通管理信息化进入了大数据时代。然而，受传统存储技
12、术、数据库技术的限制，这些宝贵的信息资源没有得到充分利用，不是作为过程数据被删除，就是当作陈旧数据被清理，仅存的一部分也长期搁置，任其沉睡。大数据开启了一次重大的时代转换，是一场变革。大数据时代的到来伴随着新的机遇和挑战。为了唤醒和充分利用这些信息宝库，将数据处理分析与我们的交通管理工作相结合，探索出新的交通管理模式，全面提升道路交通科学管理水平，提高社会效益，是进入大数据时代公安交通管理部门面临的问题。为加快黄标车淘汰进度，进一步改善空气环境质量，佛山市政府发布了调整佛山市第四、五、六阶段限制高污染（高排放）汽车通行的通告。根据通告，从2014年3月1日起，每日719时，禁止未持有绿色环保检
13、验合格标志的汽车在顺德区全境通行（高速公路、佛山“一环”、国道除外），禅、桂、新片区内的区域还实行黄标车全天24小时限行。2015年1月1日起，佛山全境实行黄标车全天24小时限行（高速公路、佛山“一环”、国道除外）。车辆违反限行规定的，将由公安交警部门进行查处。2.2. 组织机构及职能顺德区公安局交通警察大队主要职责是负责指导、组织和实施全市道路交通管理工作，维护交通秩序，保障交通安全畅通；开展交通法规宣传教育；负责驾驶员的教育培训、考核、审验及发证工作；对机动车辆进行登记、检查、核发牌照；预防和处理交通事故；负责交通警卫工作，保障安全。2.3. 信息化现状及存在的问题2.3.1. 信息化总体
14、现状多年来的信息化建设，顺德交警大队已建设应用了智能交通管理指挥系统、交通流检测系统、接处警系统、信号控制系统、交通诱导系统、电子警察系统、卡口监控系统、道路交通事故处理信息系统、违法文书制作系统、滞留停车场系统、涉酒人员处罚跟踪系统。此外，还推广应用了全国统一的“公安交通管理综合应用平台”以及全省统一的“警务综合应用系统”，基本实现了日常交通管理的信息化。2.3.2. 问题分析随着我国经济的飞速发展和城市化进程的加速，人、车、路的矛盾日益突出，交通拥堵、交通事故频发等问题早已从一线城市蔓延至二、三线城市，仅凭传统的“人海战术、人力作业、人工运转”的管理模式已无法解决当前公安交通管理存在的问题
15、。近几年，是公安交通管理信息化大跃进、信息大爆炸的时代，公安交通管理信息化经历了从无到有，从信息孤岛到大集中、优整合、高共享的建设高潮。2011年，公安部交管局在全国推广应用了公安交通管理综合应用平台，统一了业务系统、规范了业务流程，更是公安交通管理信息化建设中里程碑式的发展。为持续实现“科技强警，向科技要警力、向科技要战斗力”。各地公安交通管理部门不断加大交通管理信息化建设力度，各类传感器、高清卡口和信息终端已遍布整个城市。这些设备以及信息系统每天都为交通管理者提供了海量的数据，这些全方位、多渠道、全覆盖的海量立体数据，标志着公安交通管理信息化进入了大数据时代。然而，受传统存储技术、数据库技
16、术的限制，这些宝贵的信息资源没有得到充分利用，不是作为过程数据被删除，就是当作陈旧数据被清理，仅存的一部分也长期搁置，任其沉睡。如何唤醒和充分利用这些信息宝库，将数据处理分析与我们的交通管理工作相结合，探索出新的交通管理模式，全面提升道路交通科学管理水平，提高社会效益，是进入大数据时代公安交通管理部门面临的问题。目前顺德区公安卡口，每天产生超500万过车数据，每年约产生25亿条过车数据，随着卡口设备的不断投入，数据还将呈逐年上升趋势。传统oracle数据库已经不能有效管理如此庞大的数据，且数据不能跨平台碰撞，不能充分挖掘卡口数据价值来大幅提高公安交通管理水平和执法水平。2.3.3. 面临的机遇
17、与挑战近几年，随着计算机技术的飞速发展和互联网的广泛应用以及智能手机及其他移动设备的普及，“云计算”已成为当下最热门的技术名词，被看作是继个人计算机变革、互联网变革之后的第三次IT浪潮。云计算通常伴随在大数据身边，现今的互联网时代，尤其是社交网络、电子商务与移动应用已经把人类社会带入了一个以“PB”为单位的结构与非结构数据信息的新时代。大数据通常是指信息爆炸时代产生的海量数据，最早提出大数据概念的是全球知名的麦肯锡，他2011年发布研究报告称，“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对海量数据的挖掘和应用，预示着新一波生产率增长和消费盈利浪潮的到来。”大数据开启了
18、一次重大的时代转换，是一场变革。它将影响我们的生活、工作，更重要的是影响我们的思考问题的方式，会让我们对世界有新的理解，会成为新发明和新服务的源。大数据时代的到来伴随着新的机遇和挑战。2.4. 项目建设的必要性大数据分析为智能交通发展带来新的机遇。一是大数据技术的海量数据存储和高效计算能力，将实现交通管理系统跨区域、跨部门的集成和组合，将会更加有效地配置交通资源，从而大大提高交通运行效率、安全水平和服务能力。二是交通大数据分析将为交通管理、决策、规划和运营、服务以及主动安全防范带来更加有效的支持。三是基于交通大数据的分析为公共安全和社会管理提供新的理念、模式和手段。通过顺德交通管理大数据平台的
19、建设，全面推进顺德公安交警信息资源高度整合共享和综合开发利用，构建面向公安交通管理的“交通管理大数据资源池”，创新性地利用大数据管理技术，以提高公安海量数据的稽查布控、数据查询、分析性能和数据管理的应用水平，并为今后公安交通管理大数据决策、大数据分析、大数据作战、大数据监管、大数据服务打下坚实基础。2.5. 需求分析2.5.1. 大数据平台数据库系统用于公安交通管理大数据的分布式存储和分布式关系型分析。具体要求如下：（1）支持海量结构化分布式数据存储和分布式关系型分析。（2）支持并行计算的数据分析。（3）支持节点数量动态增加。（4）支持数据备份与恢复，支持多副本备份。（5）提供C/C+接口和J
20、DBC驱动。（6）具备数据仓库基本功能，无需另加数据仓库软件。（7）支持系统一键安装。2.5.2. 数据库抽取工具用于从公安交通管理业务生产库中抽取数据的工具。具体要求如下：（1）支持oracle、sqlserver、mysql数据库数据结构和结构定义信息抽取。（2）支持oracle、sqlserver、mysql数据库数据清洗、转换抽取。（3）支持oracle数据源的抽取。2.5.3. 大数据平台BI展现工具用于完成基于“交通管理大数据资源池”应用开发的展现工具。具体要求如下：（1）提供了企业级的报表、多维分析、仪表盘、数据挖掘功能。（2）提供了可以作为嵌入式的组件、自定义的BI应用方案。2
21、.5.4. 大数据平台集群管理系统用于大数据平台集群的管理和监控。具体要求如下：（1）支持对服务器、交换机、路由器等网络设备运行状态监测。（2）支持对CPU、内存、网络、硬盘等硬件资源使用情况的实时监测。（3）支持对应用进程监测。（4）支持故障自动报警。（5）支持图形化管理。2.5.5. 大数据平台服务器高性能刀片服务器，用于大数据存储和应用部署。具体要求如下：1、刀片服务器机箱，7U高，支持最大14片刀片（含：4*1620W电源、1*管理模块、导轨）2、14 PR7014B_R3 节点配置如下：（1）CPU，1 * Intel Xeon E5-2620 6C/12T 2.0GHz 15MB
22、7.2GT/s 95W（2）内存，16GB （44GB） DDR3 1333MHz ECC RDIMM （3）本地存储，2 * 300GB 10k SAS 2.53、以太网交换机，10个外部以太网电口，14个内部以太网电口。4、三年（5*8）现场响应第三章 可行性分析3.1. 社会可行性分析本项目不涉及到基建、占地、拆迁、移民、民族宗教等问题，不会导致社会风险，也不存在受损补偿问题。本项目的建设进一步推进信息资源高度整合共享和综合开发利用，将数据处理分析与我们的交通管理工作相结合，探索出新的交通管理模式，全面提升道路交通科学管理水平，提高社会效益。3.2. 技术可行性分析 近几年，随着计算机技
23、术的飞速发展和互联网的广泛应用以及智能手机及其他移动设备的普及，“云计算”已成为当下最热门的技术名词，被看作是继个人计算机变革、互联网变革之后的第三次IT浪潮。云计算通常伴随在大数据身边，现今的互联网时代，尤其是社交网络、电子商务与移动应用已经把人类社会带入了一个以“PB”为单位的结构与非结构数据信息的新时代。大数据时代的到来伴随着新的机遇和挑战，各大软件厂商为顺应技术潮流纷纷投入了大数据管理软件产品的研发，近几年结构与非结构数据的管理软件产品也日趋成熟。3.3. 经济可行性分析顺德交通管理大数据平台项目的建设，全面推进顺德公安交警信息资源高度整合共享和综合开发利用，构建面向公安交通管理的“交
24、通管理大数据资源池”，创新性地利用大数据管理技术，以提高公安海量数据的稽查布控、数据查询、分析性能和数据管理的应用水平，并为今后公安交通管理大数据决策、大数据分析、大数据作战、大数据监管、大数据服务打下坚实基础。本项目投资总额人民币约86万元，来源是顺德区财政审核拨款。从上述几点分析可知建设产生的经济效益远大于系统建设所投入的成本，而且投资预算额是合理的、可承受的，因而在经济上是可行的。第四章 项目建设目标与任务4.1. 建设目标与思路4.1.1. 建设目标本项目将全面推进顺德公安交警信息资源高度整合共享和综合开发利用，构建面向公安交通管理的“交通管理大数据资源池”，创新性地利用大数据管理技术
25、，以提高公安海量数据的稽查布控、数据查询、分析性能和数据管理的应用水平，并为今后公安交通管理大数据决策、大数据分析、大数据作战、大数据监管、大数据服务打下坚实基础。4.1.2. 建设思路随着交通管理各项业务的不断开展和深入，交通管理大数据平台的建设也必将是一个迭代式、不断深入推进的过程，因此系统建设须渐进式划分为近期和远期分阶段实施，本项目中重点实现系统近期目标，搭建交通管理大数据平台的基本框架，为系统中、远期目标积累经验并奠定基础。4.2. 项目建设主要任务本项目建设主要任务全面推进顺德公安交警信息资源高度整合共享和综合开发利用，构建面向公安交通管理的“交通管理大数据资源池”，创新性地利用大
26、数据管理技术，以提高公安海量数据的稽查布控、数据查询、分析性能和数据管理的应用水平，并为今后公安交通管理大数据决策、大数据分析、大数据作战、大数据监管、大数据服务打下坚实基础。第五章 项目建设原则及技术路线5.1. 项目建设原则为了确保顺德区交通管理大数据平台建设能够满足当前黄标车冲禁令查处应用需要，以及未来交通管理大数据管理应用需求，本项目建设中须遵循以下原则：1、开放性平台是完整的系统产品而非基于应用的解决方案，具备完整、规范的使用手册，并提供开放的应用开发接口（API）给系统集成或软件开发公司可以基于本平台进行应用开发。2、高性能在十亿数据情况下，常用数据查询在秒级响应。在数据量大量增加
27、的情况下可通过增加服务器资源保持系统性能稳定。3、稳定性平台必须具备高稳定性，单台服务器故障不影响系统正常运行，数据不丢失、不混乱，大数据平台服务保持正常运行，确保应用系统稳定、高效、正常运行。4、安全性平台软件必须拥有中国自主知识产权，从根本上确保平台和数据安全。5、可扩展性平台可以通过动态增加服务器数量提升数据查询与分析性能。5.2. 项目技术路线本项目将采用Google技术路线，利用分布式并行计算技术，将大量刀片服务器组成存储计算集群，实现海量数据的存储和高性能查询分析需求。5.3. 项目建设遵循的依据和参考规范顺德交通管理大数据平台的建设，将严格依据以下规范和标准进行建设：1、金盾工程
28、总体方案设计2、金盾工程安全保障体系总体设计方案3、中华人民共和国道路交通安全法4、中华人民共和国道路交通安全法实施条例5、全国公安交通管理综合应用平台建设实施方案6、全国公安交通管理综合应用平台数据标准7、公安部公安信息系统应用支撑平台总体方案设计 8、公安部共享数据项代码标准9、公安部共享数据项集项目规范10、公安部公安信息化标准汇编 11、GA 186-1998 公安机关常用标号12、GB 8566-1995 信息技术软件生存期过程13、GB 8567-88* 计算机软件产品开发文件编制指南14、GB/T 12505-90 计算机软件配置管理计划规范15、GB/T 16680-1996*
29、 软件文档管理指南16、公安交通管理综合应用平台建设指导意见的通知【公交管2010196号】第六章 项目建设总体设计6.1. 总体架构设计 顺德区交通管理大数据平台应用架构上由交通管理数据源、交通管理大数据资源池和大数据应用三个部分组成。大数据数据源，来自顺德区公安卡口系统产生卡口过车数据，以及其他交通管理相关的业务数据库数据。交通管理大数据资源池是本平台的核心，为大数据应用以及稽查布控（黄标车冲禁令等）提供大数据数据存储、大数据查询以及分析挖掘支持支持。大数据资源池主要主要包括基础设施层、数据调度层和应用支撑层。大数据应用是围绕交通管理相关的大数据应用，包括当前针对黄标车冲禁令的稽查布控以及
30、今后的公安交通管理大数据决策、大数据分析、大数据作战、大数据监管、大数据服务等。6.2. 关键特性设计高性能：满足25亿数据量，达到普通查询秒级响应，数据碰撞分钟级响应。扩展性：数据大量增加情况下，可以通过动态增加服务器数据量保持数据查询与分析性能稳定。海量数据：存储超过一年卡口监控文本数据，并进行高效数据分析与挖掘。可靠性：单台服务器故障不影响系统正常运行，用户数据不丢失、数据不混乱，业务系统保持正常运行。6.3. 技术架构设计本项目技术架构分为三层，即硬件资源池、大数据管理调度层、应用支持层。如下图所示。1、 硬件资源池。硬件资源池包括服务器设备以及网络设备。他们是实现大数据管理的最基础资
31、源。2、大数据平台层，主要包括具备分布式存储和分布式计算的大数据软件平台，实现对海量交通管理数据的管理和调度。大数据平台包括具备分布式存储、分布式计算、资源按需供给、弹性扩展、负载均衡、数据冗余、数据动态迁移等功能。大数据平台提供应用开发接口（API）和数据操作指令支持应用系统开发。3、应用支撑层，向用户提供数据ETL和数据展现工具。ETL实现业务系统数据向大数据平台融合。数据展现工具为用户提供可视化数据管理和数据挖掘工具。4、集中监控平台，监控硬件资源池各种服务器和网络设备的运行状态，向平台管理员提供集群管理功能。第七章 项目技术实现方案7.1. 应用支撑层建设方案1、ETL建设方案ETL（
32、Extract、Transform、Load，即抽取、转换、加载）实现如下功能：（1）数据抽取：从源数据源（包括卡口数据、机动车登记数据以及黄标车数据）系统抽取目的数据源系统需要的数据；（2）数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工。（3）数据加载：将转换后的数据装载到目的数据源。目前，公安交通管理各业务系统基本使用Oracle和SQLServer数据库，本项目ETL要求源数据库支持Oracle和SQLserver数据库。ETL具备如下功能：（1）数据库信息抽取实现业务数据库数据表表结构、及表字段注释信息抽取到大数据平台，并
33、且业务数据库的各项数据格式自动转换为大数据平台可识别的格式。（2）数据全量抽取全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成云数据库系统可识别的格式，插入到云数据库系统中。（3）数据清洗抽取ETL通过把源数据库一个表格的无效数据进行清理、转换抽取到云数据库系统，同时支持多个数据表进行融合抽取到云数据库系统。（4）数据增量抽取ETL增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。捕获变化的数据是增量抽取的关键。对捕获方法有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力
34、，影响现有业务。根据交通管理业务数据库数据特点，要求本ETL具备基于时间戳、自增长字段、Oracle闪回机制的数据增量抽取方式。2、数据展现方案数据展现是实现对数据的可视化操作，数据通过图形和图表将数据呈现，使得数据更直观。数据展现工具要求具备如下功能：1、可以可视化管理数据库实例，数据表，实现数据库、表的增删改查，以及用户、权限管理。2、可以通过输入数据操作指令，将数据操作结果在图表化展现3、提供数据挖掘功能，实现数据深度钻取，并将结果以柱状图、饼图、仪表盘等形式展现出来。7.2. 大数据平台层建设方案交通管理数据具有如下特点：1、数据量大，仅顺德区卡口监控系统每月新增过车数据达到2亿条，年
35、产生过车数据达到25亿条。2、交通管理主要数据都是数据库数据（即结构化数据）。3、业务系统需要要海量卡口过车数据的快速查询和关系分析，以及多业务总业务数据综合分析。根据交通管理应用特点，本项目平台采用能够满足海量结构化数据存储，及关系查询的分布式大数据平台以满足交通管理大数据管理、分析需求。大数据平台具备如下功能和特性：1、分布式存储和分布式计算。本项目平台采用分布式存储和分布式计算架构，通过整合利用服务器集群的存储能力和计算能力实现海量结构化数据的存储和数据高效分析性能。2、按需分配。系统能够接入出卡口过车数据及其他交通管理业务数据。大数据平台可以根据业务需求，为每一个数据库实例按需分配服务
36、器数量，使得在满足业务需求的前提下达到服务器资源的最优化配置。3、弹性扩展。数据库实例在数据查询和数据分析性能不能满足不不能满足应用需要时可以动态为数据实例增加服务器资源提高数据库实现的数据查询分析性能。4、负载均衡。数据库提供负载均衡策略，实现硬件资源池每个服务器节点存储的数据相当。并且在出现不数据不均衡和增加服务器节点时，数据能重新分布达到数据均衡的状态。5、数据安全。数据库提供多种备份策略，每一份数据可以设置为不备份、双备份或多副本备份，并且提供数据跨机柜、跨机房的配置方式使得数据可以设定不同的安全级别，在一台服务器或者多台服务器出现故障的情况下，系统保持数据完整性，达到数据高可用的应用
37、要求。6、用户与权限管理。数据库支持多用户的管理，数据库中每一个数据库实例和数据表可以设置数据访问权限，实现数据集授权访问。7、大数据平台提供应用开发接口（API）和SQL或类似SQL的数据操作指令，实现基于大数据的应用开发的目的。8、大数据平台支持海量结构化数据的存储和分析。9、本大数据平台是一款通用标准平台产品，非应用解决方案，降低系统建设风险。7.3. 硬件资源池建设方案1、服务器计算性能估算交通管理大数据平台进行每年需存储25亿条数据，并对这些数据能进行快速查询和分析，为确保这些业务的快速响应要求交通管理大数据平台必须具备足够的计算力和存储力。根据TPC-C的标准，tpmC值是根据标准
38、模型中New-Order事务的处理数目来计算的，一个New-Order事务由平均4-5个SQL语句处理完成，整个执行过程中，New-Order处理占45%。按照数据查询峰值事情每秒1000个查询请求。高峰时期每分钟处理用户数：1000*60=60000一个会话按照执行6个数据库查询，汇总处理业务相当的TPC-C值为：6*0.45/4=0.675tpmC系统汇总和分析的TPC-C值要求满足：60000*0.674=40440tpmC考虑25%的冗余（系统其他开销）单节点计算力总和：540000*1.25=50550tpmC根据专门从事硬件系统性能工业标准测试的第三方资源公司（TPC，www.tp
39、c.org）所公布的相关性能测试结果，目前单台具有4核处理器满足节点服务器要求。2、服务器存储需求估算为确保应用的顺利建设和数据正常存储，要求交通管理大数据平台必须提供足够数据存储能力。（1）存储容量计算：目前顺德区公安卡口，每月新增约2亿条过车数据，年数据量约25亿条。按照平均每条过车数据1KB计算，总共需要存储资源25亿*1KB=2.5TB。考虑数据冗余要求存储容量总共需要：2.5TB*3=7.5TB。（2）磁盘数量计算按照一个New-Order处理周期3秒计算，大数据平台配置经验，一块10000 rpm SAS硬盘可存储约1亿条卡口数据。总共需要25/1 = 25块硬盘。3、服务器配置方
40、案（1）服务器数量计算：为了满足系统分析需求，每块硬盘配置两个计算核心，总共需要核心数：25*2=50个，每个核心配置4G内存总共需要内存200GB。按照服务器双硬盘配置，需要存储计算服务器13个存储计算服务器，考虑到系统管理服务器的需要总共需要服务器13+1=14台。通过上面的计算可知，为了满足顺德交通管理大数据平台对数据处理能力和存储能力的要求，本项目配置14个刀片的刀片式服务器服务器主要技术规格如下： 1颗4核CPU(支持CPU虚拟化技术，支持64位操作系统) 16GB内存 1Gbps 网卡 2*300GB硬盘4、网络架构方案 图 服务器网络架构图本平台采用总共使用14台服务器和2台接入
41、交换机。其中14台服务器包括13台存储计算服务器和1台管理服务器。存储计算服务器用于存储大数据平台用户数据，以及提供数据查询、分析等计算资源。管理服务器用于管理整个大数据平台和监控集群中所有服务器和网络设备运行状态。本硬件资源池采用双网络冗余架构提高网络可用性。7.4. 集中监控平台建设方案集中监控平台是监控硬件资源池服务器、交换机等硬件设备运行状态和集群CPU资源、存储资源、网络资源等集群硬件使用状况，检测集群运行健康度。在出现故障情况下自动产生报警，通知管理员进行维护。集群基础资源监控是监视所有主机、服务、网络设备，同时提供异常通知功能等。集群基础资源监控提供一个可选的基于浏览器的WEB界
42、面以方便系统管理人员查看网络状态，各种系统问题，以及日志等等。监控功能内容有：1、监控软件服务（SMTP、POP3、HTTP、NNTP、PING等）；2、监控主机资源（处理器负荷、磁盘利用率等）；3、监控交换机设备网络连通性。4、定义网络分层结构的能力，图像表示网络设备间的关系，这种关系可被用来发现和明晰主机宕机或不可达状态；5、当服务或主机问题产生与解决时将告警发送给联系人（通过Email方式通知联系人）；6、可以定义一些处理程序，使之能够在服务或者主机发生故障时起到预防作用；7、自动的日志滚动功能；8、可以支持并实现对主机的冗余监控；9、可选的WEB界面用于查看当前的网络状态、通知和故障历
43、史、日志文件等。7.5. 交通管理大数据资源池的共享方案本项目将全面推进顺德公安交警信息资源高度整合共享和综合开发利用，构建面向公安交通管理的“交通管理大数据资源池”。1、 整合的信息资源面向公安交通管理的“交通管理大数据资源池”主要整合的信息资源包括卡口过车信息、机动车登记信息、驾驶人登记信息、交通事故信息等，以及今后公安交通管理大数据决策、大数据分析、大数据作战、大数据监管、大数据服务需要的信息资源。2、 共享的信息资源共享的信息资源主要用于顺德交警大队各外挂系统的信息共享复用，包括机动车登记信息、驾驶人登记信息、交通事故信息等。3、 共享方式共享方式统一采用标准的Web service请
44、求服务接口，确保信息共享的安全性。4、数据交换方式“交通管理大数据资源池”通过增量抽取相业务系统的分发库数据实现数据的同步。第八章 项目投资概算8.1. 投资概算汇总表8.1.1. 软件费用预算 序号名称型号及描述单位数量单价总价1大数据平台数据库系统（支持28节点）用于公安交通管理大数据的分布式存储和分布式关系型分析。具体要求如下：（1）支持海量结构化分布式数据存储和分布式关系型分析。（2）支持并行计算的数据分析。（3）支持节点数量动态增加。（4）支持数据备份与恢复，支持多副本备份。（5）提供C/C+接口和JDBC驱动。（6）具备数据仓库基本功能，无需另加数据仓库软件。（7）支持系统一键安装
45、。套13000003000002数据库抽取工具用于从公安交通管理业务生产库中抽取数据的工具。具体要求如下：（1）支持oracle、sqlserver、mysql数据库数据结构和结构定义信息抽取。（2）支持oracle、sqlserver、mysql数据库数据清洗、转换抽取。（3）支持oracle数据源的同步。套11000001000003大数据平台BI展现工具用于完成基于“交通管理大数据资源池”应用开发的展现工具。具体要求如下：（1）提供了企业级的报表、多维分析、仪表盘、数据挖掘功能。（2）提供了可以作为嵌入式的组件、自定义的BI应用方案套11200001200004大数据平台集群管理系统用于
46、大数据平台集群的管理和监控。具体要求如下：（1）支持对服务器、交换机、路由器等网络设备运行状态监测。（2）支持对CPU、内存、网络、硬盘等硬件资源使用情况的实时监测。（3）支持对应用进程监测。（4）支持故障自动报警。（5）支持图形化管理。套16000060000小计：58万元8.1.2. 硬件费用预算序号名称型号及描述单位数量单价总价1大数据平台服务器高性能刀片服务器，用于大数据存储和应用部署。具体要求如下：1、刀片服务器机箱，7U高，支持最大14片刀片（含：4*1620W电源、1*管理模块、导轨）2、14 PR7014B_R3 节点配置如下：（1）CPU，1 * Intel Xeon E5-2620 6C/12T 2.0GHz 15MB 7.2GT/s 95W（2）
