中位物联网大数据平台总体设计.docx

《中位物联网大数据平台总体设计.docx》由会员分享，可在线阅读，更多相关《中位物联网大数据平台总体设计.docx（26页珍藏版）》请在三一办公上搜索。

1、北京中位科技物联网大数据平台总体设计V0.2李拓2015.101. 引言41.1. 文档目的41.2. 文档范围41.3. 预期的读者及阅读建议41.4. 术语52. 项目概述52.1. 项目背景53.1. 设计目标63.1.1. 技术规划路线建议63.1.2. 大数据软硬平台/网络架构规划建议63.1.3. 大数据应用集成点规划建议73.1.4. 大数据团队建设规划建议73.1.5. 大数据系统实施指导建议方案73. 数据平台总体架构规划73.1. 数据平台愿景73.2. 数据处理流程113.3. 主要功能113.4. 设计原则123.5. 平台建设路线124. 数据平台软件架构设计134.

2、1. 数据平台结构图134.2. 数据采集系统144.3. 数据存储系统154.4. 离线计算系统164.5. 海量数据库系统164.6. 管理系统175. 应用平台架构设计195.1. 应用平台架构图196. 平台安全207. 平台监控208. 部署架构209. 平台运维2010. 团队建设2110.1. 运维工程师2110.2. 应用开发工程师2110.3. 通信协议开发工程师22CXJrxJgsaHfcgdoo*HHbM.寸.。I-a.9.01CXJrxJgsaH 整 SB林.Ln.OI1. 引言1.1.文档目的本文档是关于xx公司物联网大平台的总体架构设计方案。本文包括以下内 容：1.

3、 平台总体架构设计;2. 五大子系统设计;3. 应用平台设计4. 平台部署架构设计;5. 平台运维及团队建设;1.2.文档范匚二1. 7_J本文档仅限于北京乂乂科技公司内部人员和直接协助北京乂乂科技进行大平台建设的相关人员阅读。1.3.预期的读者及阅读建议本文档的预期读者:1. 北京xx科技的大平台项目相关人员;2. 直接协助北京xx科技进行大平台建设的相关外部人员;1.4.术语1. Hadoop: Apache的分布式框架。2. HDFS : Hadoop的分布式文件系统。3. NameNode : Hadoop HDFS元数据主节点服务器。负责保持DataNode 文件存储元数据信息。4.

4、 JobTracker: Hadoop 的 Map/Reduce 调度器，负责与 TackTracker通信 分配计算任务并跟踪任务进度。5. DataNode : Hadoop数据节点，负责存储数据。6. TaskTracker: Hadoop调度程序，负责Map,Reduce任务的具体启动和执 行。7. Kafka :消息队列。8. Netty : NOI 框架。2. 项目概述2.1.项目背景1. 随着业务的增加，数据采集存储备份能力严重不足2. 数据处理分析能力无法满足业务的需要3. 公司业务创新转型的需要3.1.设计目标xx的大数据平台主要是为车辆、人员、物联网提供终端接入、数据分 析

5、，并为行业应用提供数据接口。平台建成后，初期可接入百万级的终端， 可承载多种业务及应用。随着业务增长，平台可以动态扩容，最终可实现千 万级、亿级终端的接入及数据分析处理能力。本文档针对xx的大数据平台应用需求，结合数据的特点，提出未来公 司整体的系统架构，以充分满足公司在3到5年内的业务增长和数据增长 需求。并且在企业总体系统架构的基础上，提出系统的软硬件的具体选型方 案，以及提供大数据平台整体规划，分步实施和推广的建议；提供大数据平 台产品整合、集成、系统优化、稳定性等建议方案。3.1.1.技术规划路线建议对xx大数据平台系统进行总体规划，与现有的交通部数据中心以及各个业务系统进行对接，以适

6、应未来3到5年内公司业务发展的要求。3.1.2.大数据软硬平台/网络架构规划建议从需求的数据量、计算量、应用的场景、功能、性能等因素来配置软硬件平台的建议；提出具体的系统总体架构和软硬件部署结构建议；3.1.3.大数据应用集成点规划建议Hadoop数据集成、应用集成、运维管理设计建议;3.1.4.大数据团队建设规划建议对XX技术团队的人员需求和配置情况以及所需要掌握的技能提出建议;3.1.5.大数据系统实施指导建议方案提供大数据平台整体规划，分步实施和推广的建议；提供大数据产品整合、集成、平台化的建议系统优化、稳定性等建议方案。3. 数据平台总体架构规划3.1.数据平台愿景如上图所示，xx的大

7、数据平台最终建成后，应该是一个完备的数据服 务平台，包括数据平台、应用平台、数据产品以及内部运行支撑应用环境， 该平台上的用户既包括外部用户，也包括企业内部用户，既有最终用户，也 有应用开发人员以及数据分析和数据开发人员。1.据服务平台组成数据平台：是数据的集散地。数据平台的主要目标是存储和处理海 量数据，该平台除了汇聚XX所有的业务数据和用户数据之外，还 有合作机构的相关数据，其核心功能包括数据采集、同步与集成、海量数据存储、海量数据处理框架、海量数据仓库等。该平台的用 户主要有数据分析用户和数据开发用户，这两类用户在数据平台上 进行数据分析及数据集成、建模与挖掘。应用平台:应用开发人员开发

8、基于数据平台的车辆监控、人员监控、 物品监控等应用并部署在应用平台，供最终用户访问。该平台的建 设目标是处理海量http请求，其核心功能包括应用服务器、分布 式缓存、分布式消息队列、分布式文件系统、分布式数据库以及分 布式简单存储等。内部运行支撑应用环境：该环境主要供企业内部用户将使用，包括 商业智能、运营支撑、系统运维、分析应用等。该数据产品由大数 据平台开发人员进行研发。据产品：当该平台稳定运行一段时间之后，企业根据业务发展的需要，可以开发专门的数据产品，对外提供数据服务，供最终用户使用。该数据产品由大数据平台开发人员进行研发。2.据服务平台的用户划分应用开发用户:XX内部的技术研发人员，

9、主要结合具体业务，开发基于数据平台的应用，并部署到应用平台；据分析用户:XX内部的技术研发人员，主要基于数据平台中的海量数据，进行业务数据分析，指导生产运营;据开发用户:XX内部的技术研发人员，主要基于数据平台中的海量数据，进行数据建模、集成和挖掘，在指导生产运营的同时，挖掘新的利润增长点;内部数据产品用户：包括各条业务线上的各类业务人员如客服等。外部用户：合作机构如运营商、银行、商户，终端用户、企业用户3. 位信息数据源数据平台可以从第三方平台（交通部数据中心、运营商）或定位中端 （车机、sim卡）等采集位置、状态等信息。无论是企业内部用户，还是企业外部用户，无论是技术研发人员还是业 务人员

10、，他们既是平台数据的生产者，同时也是平台数据的消费者。集存储、 计算、分析于一体的大数据平台，涵盖了 xx业务数据的全生命周期管理， 既符合现在行业大数据企业发展的趋势，也最终体现了 xx企业的最终最内 涵的价值。3.2.数据处理流程源xx大数据平台的数据处理流程如上上图所示。对各类终端产生的结构非 结 构 化结 构 化 数非结构化 数据实时 流式同步结构化数据实时流式同步结构化数据离线同应 用 服 务 器化和非结构化数据源首先通过数据采集平台进行数据采集，然后进入海量存 储计算处理平台，生成各种多维数据，供应用服务平台调用，支持最终的用 户访问。3.3.主要功能结合xx的当前业务发展现状，目

11、前xx的大数据平台重点解决三类典型需求：1. 业务数据归集、备份与可靠存储2. 离线数据分析挖掘3. 实时查询统计分析针对这三类需求，大数据平台在数据采集和运营管理的辅助下，分别提 供存储系统、离线计算系统和海量数据库系统，分别满足上述三类需求。下 面首先介绍平台的软件架构设计。3.4. 设计原则1. 采用基于Hadoop的开源技术路线2. 整合公司的终端数据、员工、客户、计算、存储等所有资源于一体3. 平台涵盖公司数据生产、存储、挖掘、分析、服务等全生命周期管理4. 结合业务线，分析挖掘和业务支持等应用自主研发3.5. 平台建设路线项目分阶段完成。1期：开发数据采集系统，从第三方平台及终端采

12、集位置信息，实现2 种终端的接入。开发应用平台，提供接口给客户端访问数据。2期：实现多种终端的接入，并完善应用接口。3期：开放存储系统和简单的MapReduce功能给其他用户使用，数据 库方面单表的简单查询或带条件查询，内部使用实时采集组件。4期：开放Hive这样的类SQL计算给外部门，内部开始引入Mahout进行数据挖掘，数据库方面改进查询语言，支持更多的SQL语法，实时采集可以交给其他部门任意部署客户端，支持常见的异构数据源5期：计算平台成熟，完全成为各部门共同参与开发业务的平台，数据 库具备大部分SQL查询语法，实时采集系统稳定高效运行。4. 数据平台软件架构设计4.1.数据平台结构作业

13、调度如所上图所示，大数据平台由五个子系统组成，分别为：存储系统、离ETLWorkFlowManagerDataq Model gign ToolMahout数据挖掘AnalysiloolCollected用户管理线计算系统、海量数据库系统、采集系统和管理系统。这五个子系统之间有如下关联关系:1. 管理系统为整个平台的辅助系统，为其它系统的正常运行提供相关的辅 助功能；2. 采集系统负责平台的数据采集工作，这些数据的产生来自各业务生产系 统及第三方平台或终端；3. 存储系统、离线计算系统和海量数据库系统共用一套底层文件系统，保 证了这三个主要系统的数据集成与有效共享；4. 离线计算系统和海量数据

14、库系统还可以根据各自的负载，可以动态分配 相应的计算能力。从错误!未找到引用源。可以看出，除采集系统和管理系统之外，包括 底层存储环境在内的所有系统都是采用开源软件搭建，而这些软件都是经过 相关行业的技术公司先验是成熟可靠可行的。采用开源软件，在平台可以达 到低成本建设的效果的同时，相应开源社区的持续演进，也为平台后续的运 行升级提供了持续的技术支持和版本稳定保证。4.2.数据采集系统1. 功能负责接入第三方服务平台和终端设备。负责采集、清洗和导入公司 各业务线上的所有的结构化业务数据和非结构化数据。2. 要解决的问题目前，公司需要和交通部的数据中心对接，接收终端的位置数据。同时也要接入大量的

15、终端。而且，未来业务生产线的系统日志信息 由于也需要保存下来，并进行分析挖掘。采集系统可以将业务生产 线的所有业务数据和日志数据采集到采用低成本的开源可线性扩 展的存储环境，达到了数据低成本安全可靠存储，并支持进一步的 数据分析和挖掘。3. 搭建方法使用优秀的Netty框架，与第三方应用和终端通信，采集数据。针对各种终端采用的不同通信协议，开发相应的协议解析模块，将 位置和指令信息解析为结构化数据，保存到HDFS中。采用业界成熟的Flume开源包将驻留在生产环境共享存储上的非结构化的日志数据以增量可靠的方式采集到HDFS中，采用Sqoop开源包从备库中将业务结构化数据增量采集到HDFS中。4.

16、3.数据存储系统1. 功能为公司内部各业务部门提供低成本安全可靠可扩展的一揽子存储解决方案，做为业务数据的备库、支持离线计算和实施处理系统的 数据导入与导出等。2. 要解决的问题存储系统利用开源Apache HDFS平台所提供的低成本、安全、可靠、可线性扩展的平台优势，可以解决公司的业务数据归集、备份与低成本可靠存储。4.4.离线计算系统1.功能为公司各业务部门的技术人员和业务人员提供海量数据的分析、建模、集成和挖掘计算环境。2.要解决的问题搭建公司数据离线计算环境，安排专业的运维团队，用低成本、计 算共享、专业团队支撑的方式建设起来的可线性扩展的离线计算环境。3.搭建方法在Hadoop HD

17、FS之上用MapReduce进行分布式计算用Hive为用户提供友好的计算客户端，用Mathout解决机器学习数据挖 掘问题。4.5.海量数据库系统1. 功能为公司内部人员、产业链上下游合作伙伴、终端用户提供高并发、实时可扩展的数据分析查询统计环境。2. 要解决的问题搭建实时查询统计分析处理系统，在专业开发和运维团队的支持下，提供一个公司目前紧缺的专业的分布式海量数据实时处理环境。该 环境对内可以支撑公司相关业务的商业智能、业务支撑等应用，提 升业务能力，开展新的业务，对外可以支持公司上下游产业链的相 关合作伙伴、相关的企业用户的在线查询请求，改善用户体验，提 升服务质量，增强客户的黏性，扩大用

18、户范围，增加业务营收。3. 搭建方法在Apache HDFS基础上，通过HBase的海量存储能力和快速的查询功能，对外提供Web和RESTfull API两种用户接口，为相关的用户和应用提供高并发、高吞吐量的基于海量数据的实时查询统 计分析处理系统。4.6.管理系统1. 功能提供整个平台的共性功能，包括用户管理、访问控制、平台监控、 平台升级、性能隔离和作业调度等辅助功能组件，为平台的持续可 靠运营提供外围支撑环境。2. 要解决的问题每一个好的生产系统，都有一个可靠的运行辅助支撑环境。管理系 统为整个大数据平台的稳定安全持久运行提供可靠的外部辅助支 撑。3. 搭建方法用户系统可以采用服务器本地

19、系统和平台新建用户系统相结合的 方式来解决；监控可以采用Hadoop Ambari来搭建；访问控制 可以通过设置用户访问权限、环境隔离等方式来达到要求；要解决 性能隔离和作业调度，一个最简单的办法是通过平台和任务监控、 作业队列、负载均衡和资源动态调度等方式来实现；平台审计也可 以通过系统监控来实现。5皿平台架构设计5.1.应用平台架构应用平台是针对具体业务开发的平台，负责承载公司运营的各种业务。例如： 车辆监控系统、人员定位系统、物流货物跟踪系统等。目前，应用平台要开发的 是车辆监控系统。车辆监控系统的服务使用RESTfull API用户接口。接口与exlive平台的接口完全兼容，方便已有客

20、户端的接入。应用平台与数据平台通信，获取相应的数据。*a触地相皿薜拉m曲g触地相卅摧3 御第相皿薜拉m曲S御第相皿摧寸 cn 旺回巨槌埠燎W姓H螺CN 二脸g长删划S& HmK、snssi doop 件霸tt.1 二富茵6. 故障能自动恢复的一定要实现自动恢复7. 在设置每一个检查项的同时，要另外设置一个或者多个对应的切实有效可行的紧急预案8. 关键时刻还得靠人上去，所以，比以上更重要的是要建立一支能打硬仗的高效的运维团队10.团队建设根据xx大数据平台建设的要求以及结合xx技术能力的现状，需要从 Hadoop运维工程师、应用开发工程师、基于Hadoop的开发工程师、数 据开发工程师、数据挖掘工程师5个角度去考虑培养整个团队。10.1.运维工程师略10.2.应用开发工程师10.3.通信协议开发工程师略10.4. 基于Hadoop的开发工程师略10.5. 数据开发工程师略10.6. 数据挖掘工程师个入黄时晚底秘用系统智能峪台位宣段务支特平台如m尝道松剑琴城曲旎仲珈麻传案溟与交刊挈褒*抨戒瘫做攻曜第群携会洪娥摒序推基制趋面窣寿故婚标出代祚授原沽煎据位ti睦需露鼬令陆票蜿1IJE制股克棒 J卜|财三由处埠股&段您囊支牌|总厅黑1燃1目*一膨号坎行小蕈9-行业堡甲