《大数据体系架构课件.pptx》由会员分享，可在线阅读，更多相关《大数据体系架构课件.pptx（39页珍藏版）》请在三一办公上搜索。
1、大数据导论,大数据应用人才培养系列教材,习题,2.1 云计算,第二章 大数据的架构,大数据和云计算密不可分，由于大数据处理和应用需求急剧增长，学术界和工业界不断推出新的或改进的计算模式和系统工具平台。,大数据与云计算,2.1 云计算,第二章 大数据的架构,云计算的概念 云是网络、互联网的一种比喻说法，通常在图中往往用云来表示电信网，后来也用云来表示互联网和底层基础设施的抽象。云计算并不是对某一项独立技术的称呼，而是对实现云计算模式所需要的所有技术的总称。,云计算是什么？,2.1 云计算,第二章 大数据的架构,基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供、动态易扩展且经常
2、是虚拟化的资源。云计算是传统计算机和网络技术发展融合的产物，他意味着计算能力也可作为一种商品通过互联网进行流通。,第二章 大数据的架构,2.1 云计算,资源池弹性可扩张,需求服务自助化,1,2,虚拟化,以网络为中心,3,5,4,云计算的特点,高可靠性和安全性,2.1 云计算,第二章 大数据的架构,云计算的服务方式,2.1 云计算,第二章 大数据的架构,云平台架构图,2.1 云计算,第二章 大数据的架构,云计算的8个应用,习题,大数据应用人才培养系列教材,大数据架构是什么？,2.2大数据架构介绍,第二章 大数据的架构,大数据架构是一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。,大数
3、据架构,Hadoop是由Apache软件基金会研发的一种开源、高可靠、伸缩性强的分布式计算系统，主要用于处理大于1TB的海量数据。其核心包括系统HDFS和MapReduce，这一结构的实现十分有利于面向数据的系统架构，因此已经成为大数据技术领域的事实标准。,2.2 大数据架构介绍,第二章 大数据的架构,1大数据的分类,1、传统企业数据(Traditionalenterprisedata)：包括MIS系统的数据，传统的ERP数据库存数据以及财务账目数据等。2、机器和传感器数据(Machine-generated/sensordata)：包括呼叫记录(CallDetailRecords)，智能仪表
4、，工业设备传感器，设备日志，交易数据等。3、社交数据(Socialdata)：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。,海量型数据。大数据计算中的数据挖掘是通过挖掘海量的数据推动科学知识的界限，数据集越大，结论越精确。响应型数据。响应型的数据集很大，但它的价值围绕着很具价值的分析结果影随型数据。影随型数据是一种你拥有，但并不容易拿到的数据。过程型数据。又称为操作数据。这是从生产设备、工业机械和其他在商业建筑和工业厂房里找到的信息。未知型数据。未知型数据包括现在可以能够拿到的、希望拿到的、然而还不充足的信息。,2.2大数据架构介绍,第二章 大数据的架构
5、,1大数据的分类,2.2大数据架构介绍,第二章 大数据的架构,1大数据的分类,2.2 大数据架构介绍,第二章 大数据的架构,1大数据分类图,2.2 大数据架构介绍,第二章 大数据的架构,2.数据类型,数据类型包括原始类型、多元组、记录单元、代数数据类型、抽象数据类型、参考类型以及函数类型。,在大数据时代中，又有哪些数据类型出现呢？,第二章 大数据的架构,2.2 大数据架构介绍,移动互联网，每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据,电子地图，它代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值,1,2,社交网络，它的出现，大量的互联网用户创造出
6、海量的社交行为数据,电子商务，它的崛起带来了大量的网上交易数据，这些数据的产生为大数据的研究带来了很大的契机，其中隐藏了更大的商业价值。,3,5,4,传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能性。,2.2 大数据架构介绍,第二章 大数据的架构,分析大数据时，四种参考数据类型,2.2 大数据架构介绍,第二章 大数据的架构,2.数据类型,采用大数据方案解决问题时，应熟悉项目的实际状况，熟悉项目的建设流程，弄清大数据分析技术的原理，架构，设计理念，以及掌握大数据的关键技术，才可以从容不迫的对待建设项目进行调研实施。,
7、2.2 大数据架构介绍,第二章 大数据的架构,2.架构概述,架构，又称软件架构，是有关软件整体结构与组件的抽象描述，用于指导大型软件系统各个方面的设计。软件系统的架构有两个要素：首先他是一个软件系统从整体到部分的最高层的的划分，再则一个系统通常是由元件组成，而这些元件如何形成、相互之间怎样发生作用，就是这个系统本身结构的问题了。所以说软件架构是平衡的艺术。,2.2 大数据架构介绍,第二章 大数据的架构,2.架构四大注意要素,2.2大数据架构介绍,第二章 大数据的架构,与Oracle性能关系最大的SGA,SGA包含三个部分：,2.2 大数据架构介绍,第二章 大数据的架构,数据库体系架构图,2.2
8、 大数据架构介绍,第二章 大数据的架构,整体系统架构图,2.2 大数据架构介绍,第二章 大数据的架构,整体逻辑功能架构图,第二章 大数据的架构,2.2 大数据架构介绍,大数据存储技术,并行计算能力,1,2,数据分析技术,数据显示技术,3,5,4,数据挖掘算法,大数据架构关键技术,习题,大数据应用人才培养系列教材,2.3Hadoop体系架构,第二章 大数据的架构,2.3Hadoop体系架构,第二章 大数据的架构,2.3Hadoop体系架构,第二章 大数据的架构,4）高容错性。Hadoop能够自动保存数据的多个副本，并自动将失败的任务重新分配。5）低成本。Hadoop是开源的，项目的软件成本因此会
9、大大降低。,2.3Hadoop体系架构,第二章 大数据的架构,第二章 大数据的架构,2.3Hadoop体系架构,Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。他是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。,MapReduce是一种编程模型，MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1）是一个基于集群的高性能并行计算平台（Cluster Infrastructure）；2）是一个并行计算与运行软件框架（Software
10、 Framework）；3）是一个并行程序设计模型与方法（Programming Model&Methodology）。,HDFS,MapReduce,HBase:类似Google BigTable的分布式NoSQL列数据库；Hive：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以sql语句转换为MapReduce任务进行运行；Zookeeper：分布式锁，提供类似Google Chubby的功能；Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制；Pig：大数据数据流分析平台，为用户提供多种接口；S
11、qoop：在HADOOP与传统的数据库间进行数据的传递。,其他,Hadoophe核心组件,习题,大数据应用人才培养系列教材,2.4上机与项目实训,第二章 大数据的架构,3)到Oracle官网下载java jdk安装包,2)以Centos为例，分区可以选择默认，安装选项选择Desktop Gnome，以及Server、Server GUI即可。其它Linux，注意选项里应包括ssh，vi（用于编辑配置文件），perl等（有些脚本里包含perl代码需要解析）,4)安装Linux后一定要确认iptables,selinux等防火墙或访问控制机制已经关闭，否则实验很可能受影响,习题,大数据应用人才培养系列教材,感谢聆听,
