《大数据平台交流课件.ppt》由会员分享，可在线阅读，更多相关《大数据平台交流课件.ppt（34页珍藏版）》请在三一办公上搜索。
1、大数据平台交流,1,目录,一,二,三,五,项目概述,总体框架,数据汇聚,大数据治理,四,大数据存储,六,大数据分析,七,大数据共享,八,项目建议,2,1、总体思路,以大数据支撑平台建设为核心，为后续数据应用提供有力支撑 建立数据管控体系，汇聚集团所有数据，通过数据治理手段保障数据质量 提供一系列数据应用支撑组件，为项目人员、业务分析人员、数据分析员提供可视化的数据应用机制。 以大数据平台为中心，建立系统之间的共享协同机制 选取一到两类示范业务作为试点，展示大数据平台的魅力,3,2、建设目标,1、数据管理目标：建设统一的数据管控体系，对整个集团各个项目的数据进行集中化管理，保障数据质量。2、数据
2、应用目标 DaaS：Data as a Service，使数据管理集中化管理，让更多的用户无需去注意底层数据的问题，而将注意力完全放在如何使用这些数据。 BIaaS：Business Intelligence as a service，提供一系列数据分析、数据可视化组件，作为一种敏捷的BI服务为项目提供支撑。,4,决策层,仪表盘：通过图表的方式对关键指标数据进行展示，为领导决策提供直观的数据支持。 报表：按照预定义的格式，在线查询报表,即席查询：通过即席查询工具或者自定义SQL方式，完成业务信息的检索 多维分析：从多个维度灵活组合进行分析，提供上下钻取等 信息检索：对文档数据进行全文搜索,数据
3、挖掘：通过数据挖掘工具分析结构化、非结构化数据，通过数据模型挖掘隐藏的数据价值。,数据共享：访问数据平台汇聚的不同项目共享的数据。 数据分析：提供工具，实现数据的分析与可视化,3、不同用户对数据平台的关注点,业务人员,数据分析员,业务系统,数据管理员,数据管控：提供对数据标准、元数据、数据质量的管控体系 数据安全：对数据平台的数据进行安全访问控制和监控,5,目录,二,一,三,五,总体框架,项目概述,数据汇聚,大数据治理,四,大数据存储,六,大数据分析,七,大数据共享,八,项目建议,6,1、总体框架,数据应用,数据开放门户,平台管理门户,数据增值应用,业务应用,数据治理,数据标准,元数据,数据质
4、量监控,数据安全,自动化运维,资源监控,事件管理,问题处理,运维服务,数据分析,数据可视化,即席分析,OL AP分析,数据挖掘,全文检索,大数据基础平台,iPaaS,数据采集,数据清洗,数据服务,数据分发,数据库、文件、接口、协议适配,业务系统,APP应用,数据资源目录,7,数据适配数据采集数据清洗数据校验,HDFSHBase索引库,数据标准元数据数据资源目录数据质量数据安全,即席分析OLAP分析数据挖掘全文检索数据可视化,数据服务数据分发数据订阅,2、大数据平台关键技术,8,目录,三,二,一,五,数据汇聚,总体框架,项目概述,大数据治理,四,大数据存储,六,大数据分析,七,大数据共享,八,项
5、目建议,9,数据汇聚过程,10,目录,四,二,三,五,大数据存储,总体框架,数据集成,大数据治理,一,项目概述,六,大数据分析,七,大数据共享,八,项目建议,11,数据存储架构,历史归档数据区,临时数据区,源数据区,主题数据区,索引数据区,应用数据区,沙盘演练区,12,目录,五,二,三,一,大数据治理,总体框架,数据集成,项目概述,四,大数据存储,六,大数据分析,七,大数据共享,八,项目建议,13,1、数据治理过程中遇到的问题,在业务需求方面：缺乏企业级通用的业务规则。各业务部门制定自己的业务标准，部门之间的标准常常有矛盾或相互混淆。 在数据质量方面：以满足功能应用为主，未形成企业级的整体数据
6、架构设计，数据共享上比较困难，数据冗余、数据完整性、数据合规性、数据一致性等问题突出；在组织管控方面：针对数据质量管控提升，业务部门与信息部门之间未达成共识，职责划分不清，标准规范不统一，未形成企业级统一的管理体系、管理规范和执行流程。 在数据发现方面：各部门建设了大量的业务系统，信息资源数量多、门类广、分布分散、信息不对称的特性，没有统一的机制进行资源的发现和定位。,14,2、解决这些问题需要哪些手段？,我们需要一个尺度作为判断的依据来衡量 - 建立数据标准体系 我们需要一个监测、报告、协助分析数据问题的系统 - 数据质量管理 我们需要对数据问题的影响进行分析，对数据进行统一的版本管理和规范
7、管理控制 - 元数据管理 我们需要有一套完整的定义、度量、分析、评估、执行的完整制度规范和流程 - 管理规范和流程 我们需要业务人员、开发人员、数据管理员、数据治理人员等相关人员的通力合作，各司其职对数据负责 - 组织和角色职责 我们需要一种方式，对众多的分布分散的信息资源进行发现、定位和使用资源 - 信息资源目录,15,组织架构 数据生产者 数据使用者 数据管理者 数据拥有者,制度流程 数据治理基本制度 数据治理管理办法 数据治理实施细则 数据治理管控流程,技术平台数据标准管理元数据管理数据质量管理资源目录体系,系统实现,流程制定,支持,3、数据治理框架,16,3、总体框架-人员组织,数据治
8、理组织体系,数据生产者,数据使用者,数据管理者,数据拥有者,数据标准核对数据质量初审数据质量绩效执行,理解数据标准、管理制度提出数据质量问题数据发现、定位、使用,数据治理绩效评估日常数据管理维护数据安全防护,执行数据标准化流程修复数据质量问题按照标准建设系统,17,3、总体框架-制度流程,数据治理组织架构与岗位职责,数据治理制度规范,数据治理考核办法,数据标准管理,元数据管理,数据质量管理,数据资源目录,数据安全管理,数据标准需求管理流程,数据标准制定流程,数据标准执行流程,数据标准维护流程,元数据需求管理流程,元数据发布流程,元数据维护管理流程,元数据变更流程,数据质量需求管理流程,数据质量
9、核检定义流程,数据质量问题排查流程,数据质量问题处理流程,数据资源目录发布流程,数据服务申请流程,数据访问流程,数据安全控制流程,18,3、总体框架-技术平台,19,4、数据治理：数据标准管理,什么是数据标准化：对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、复制规则等的定义基准，并提供运维这套数据标准成功的科学流程。有哪些数据标准类型：术语标准、代码标准（代码集）、层次代码标准、规则标准、引用分类标准数据标准化的目标是什么：通过统一信息标准制定、发布使用、制度约束、系统控制等手段，实现信息的完整性、有效性、一致性、规范性、开放性和共享性管理，提高信息化水平,20,5、元数据
10、管理（1）-数据管理面临的困惑？,庞大的数据资源该如何管理？ 形态万千、散落在企业各处的数据资源如何管理？ 数据资源之间的关系是怎么样的？ 如何让数据资源正确、有效的被使用并产生价值？,21,5、元数据管理（2）-可以带来什么价值？,对数据资源再组织并形成全局性的视图 帮助用户更好的理解各个环节的数据和系统的建设现状 是保障企业数据质量的基础 支持企业信息化的知识传承 提高数据信息化管理水平,22,6、数据质量管理,23,7、数据资源目录,什么时候可以使用？什么时候可以提供？什么时间用的？,有什么资源？资源的内容是什么？,信息从哪里来？需要的信息在哪里？信息到哪里去？在哪里使用？,谁提供的？谁
11、加工的？谁使用的？,如何使用？如何管理？,如何发布？如何查找？,24,目录,六,二,三,五,大数据分析,总体框架,数据集成,大数据治理,四,大数据存储,一,项目概述,七,大数据共享,八,项目建议,25,大数据分析是大数据平台的核心价值，只有通过分析才能获得更多智能的、深入的、有价值的信息。 由于目前广州地铁业务部门对大数据分析的需求不是非常明确，但大数据平台作为公司的核心资源，需要提供一套完善的数据分析工具，为业务部门、项目提供数据分析和数据可视化支撑。 将分析和可视化平台作为一种敏捷的BI服务，提供给各个业务部门和项目使用，方便数据的探索，充分利用数据的价值。,1、大数据分析概述,26,2、
12、大数据分析总体思路,大数据应用，是利用大数据分析的结果，为用户提供辅助决策，发掘潜在价值的过程。大数据应用建设总体建设思路：1、建立大数据分析和可视化支撑平台，为项目提供数据统计、分析、挖掘服务。2、迁移目前一些常用的数据统计和分析功能到大数据平台，并提供统一的可视化系统。3、通过与业务部门的需求沟通和数据分析建模，针对一些业务做深度的数据挖掘和分析。,27,3、大数据分析服务,即席查询服务：提供SQL即席分析机制，简便快捷的检索、分析小规模的数据集，并提供灵活方便的配置方式，允许用户自定义查询，并生成查询结果和统计图表。 多维自助分析服务：结合数据立方体（Cube）技术实现多维度快速OLAP
13、分析能力。通过建立维度分析机制，有效的减少Hadoop在亿级以上数据规模情况下的查询延迟。 全文信息检索服务：借助索引、分词等技术，对大数据平台的大量结构化、非结构化数据提供统一的数据检索方式。 可视化数据挖掘服务：建立通用的算法库，和可视化数据建模方式，使得分析人员探索数据模式及特征，进而发现行为规律，专业人员就可以预测到未来可能发生的变化趋势。,28,4、数据可视化,大数据可视化是以图形的方式直观的展示数据信息，能够帮助人们更快的理解数据，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。 大数据分析支撑平台可以通过一个直观的拖放界面就可创造交互式的图表，轻松打造“私人订制”级的数
14、据可视化,有力支持管理者进行商业决策，提高核心竞争力。 常用可视化方法：图形可视化、多维数据可视化、时空数据可视化、网络关系可视化、文本信息可视化,29,目录,七,二,三,五,大数据共享,总体框架,数据集成,大数据治理,四,大数据存储,六,大数据分析,一,项目概述,八,项目建议,30,大数据共享概述,大数据平台汇聚了大量的企业数据，以大数据平台为中心，构建DaaS服务，实现企业不同系统之间的数据共享和业务协同。数据共享方式：服务共享：通过接口服务的方式访问共享数据，支持字段级权限控制。数据分发：预定义规则将大数据平台处理的数据分发到不同的系统。数据订阅：业务系统订阅自己关心的数据主题，当有数据
15、变更时会通知到相应的订阅方,31,目录,八,二,三,五,项目建议,总体框架,数据集成,大数据治理,四,大数据存储,六,大数据分析,七,大数据共享,一,项目概述,32,1、总体建议,建设大数据平台汇聚企业数据建立数据治理体系建立自助分析体系建设数据可视化系统,建设数据增值服务业务部门自助分析,33,2、数据平台（一期）建立处理方式,数据平台（一期）中，数据可视化，是通过硬编码实现的，不具备灵活性，需要建立统一的可视化机制，建议采用报表或图形可视化的展示。 对于数据平台（一期）的数据，将原始数据抽取到大数据平台，并将数据仓库计算的结果也抽取过来，一些计算任务，难以进行迁移的，进行保留。 陆续将数据仓库的任务迁移到大数据平台,34,
