《云存储概述ppt课件.pptx》由会员分享，可在线阅读，更多相关《云存储概述ppt课件.pptx（77页珍藏版）》请在三一办公上搜索。
1、云存储的源起,大数据挑战,数据单位 Yotta 10 *24 septillionZetta 10 * 21 sextillionExa 10 * 18 quintillionPeta 10 * 15 quadrillionTera 10 * 12 trillionGiga 10 * 9 billonMega 10 * 6 millionKilo 10 * 3 thousand,数据的估量,1B = 一个字符或一粒沙子1KB = 一个句子或几撮沙子1MB = 一个20页的PPT/一本小书或者一大汤勺沙子1GB = 书架上9米长的书或者一鞋盒子沙子1TB = 300小时优质视频、美国国会图书馆存
2、储容量的1/10或者一个操场的沙箱1PB = 35万张数字照片或者一片1.6公里长的沙滩1EB = 1999年全世界生成的信息的一半或者上海到香港之间的沙滩1ZB = 无法想象，或许全世界的沙滩总和,60秒的数据,Video & Graphics,Genetic Sequencing,Satellite Photos,Computer Modeling,Seismic Exploration,Music / Audio,PDFs,Medical Imaging,文件，非结构化数据.“大数据”,文件，非结构化数据.“大数据”,数据的三种分类,结构化数据：数据结构字段含义确定,清晰,典型的如数据库
3、中的表结构.可以用二维表结构来逻辑表达实现的数据半结构化数据：是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，具有一定结构,但语义不够确定，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。非结构化数据：杂乱无章的数据,很难按照一个概念去进行抽取,无规律性。包括视频、音频、图片、图像、文档、文本等形式,I/O 调用模式应用系统操作系统,文件管理系统,RAID控制磁盘读写,数据结构,结构化数据,半结构化数据,非结构化数据,数据的三种分类,大数据特征,Volume，数据体量巨大。Variet
4、y，数据类型繁多。Veracity,数据真实性。Velocity，处理速度快。,18,可视：结构化资料 15%DB/DW,未视：半/非结构化数据 85%,主管们看的 战情数位仪表板，其实是残缺的,BigData带来的挑战,大数据正在改变企业存储,20092010基于文件: 60.7% CAGR,2011,20122013基于块: 21.8% CAGR,2014,90 80 70 60 50 40 30 20 10 0,到2012年, 80%存储空间用于基于文件的数据来源: IDC,10万,GB,10万 TB计算更快 存储更省,需要更高性价比的数据计算与储存方式,20,数据库,数据仓库,21,不
5、同的数据管理策略,集群存储：横向扩展,.,.,F,TRAIN KEEPS GOING!,Slower,TRAIN STOPS!,传统存储：纵向扩展,垂直扩展与横向存储,垂直存储与横向存储,在过去的十多年中集群网络的重要进展之一是可 以将成千上万的节点连起来，同时保证高可扩展 性和相对较低的通讯开销。,传统存储技术,!L.17.05,!lL of l.,CO.):l_ fJ/,t. .,.s.),早期存储设备：纸带,存储技术的发展,早期存储设备：磁鼓,IBM650计算机上的16英寸长磁鼓，有40个磁道，容量10KB，每分钟12,500转,第一只软式软盘是由IBM于1971年开发出的，直径8吋第一
6、个5.25英寸的软驱，是1976年的时候由Shugart Associates公司为IBM的大型机研发的。后来才用在 IBM早期的PC中。1980年，索尼公司推出了3.5英寸的磁盘，容量不足 1MB到90年代初时到现在，3.5英寸、1.44MB的软盘一直 用于PC的标准的数据传输方式。,早期存储设备：软盘,磁盘是一种机电混合设备。 在过去的十多年中，磁盘的区域密度、轨密度和线密度分别获得了100%,50%和30%的增长。,存储设备:磁盘驱动器,存储角色的演变,数据的增涨导致了以“计算”为中心到以“数据存储”为中心的的观念革新。存储领域的两个重要转折点：并行存储：比如磁盘阵列技术（RAID）。网
7、络存储：NAS,SAN,RAID的基本概念,RAID 0,RAID 0,RAID 1,RAID 1,RAID 2,RAID 3,RAID 3,RAID 4,RAID 5,RAID 5,RAID 10,常用RAID级别的比较,RAID的应用场景,热备盘,热备（Hot Spare）：当冗余的RAID阵列中某个磁盘失效时，在不干扰当前RAID系统正常使用的情况下，用RAID系统中另外一个正常的备用磁盘顶替失效磁盘。热备通过配置热备盘实现，热备盘分为全局热备盘和局部热备盘。热备盘要求和RAID组成员盘的容量，接口类型，速率一致，最好是采用同一厂家的同型号硬盘。,RAID1/RAID5/RAID6/,预
8、拷贝,预拷贝：系统通过监控发现RAID组中某成员盘即将故障时，将即将故障成员盘中的数据提前拷贝到热备盘中，有效降低数据丢失风险。,驱动器2,驱动器1,热备盘,RAID1/RAID5/RAID6/,重构,重构：RAID阵列中发生故障的磁盘上的所有用户数据和校验数据的重新生成，并将这些数据写到热备盘上的过程。,RAID与LUN,RAID由几个硬盘组成 ，从整体上看相当于由多个硬盘组成的一个大的物理卷。在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元，这些逻辑单元称作LUN,可以做为映射给主机的基本块设备。,物理卷,物理卷,逻辑卷,逻辑卷,单个物理卷上创建1个逻辑卷,单个物理卷上创建多个逻辑卷
9、,LUN2,LUN3,RAID、逻辑卷的形成过程,Page 43,物理磁盘,逻辑卷,RAID,分割,RAID与LUN,RAID由几个硬盘组成 ，从整体上看相当于由多个硬盘组成的一个大的物理卷。在物理卷的基础上可以按照指定容量创建一个或多个逻辑单元，这些逻辑单元称作LUN,可以做为映射给主机的基本块设备。,物理卷,物理卷,逻辑卷,逻辑卷,单个物理卷上创建1个逻辑卷,单个物理卷上创建多个逻辑卷,LUN2,LUN3,RAID、逻辑卷的形成过程,Page 45,物理磁盘,逻辑卷,RAID,分割,试验,Linux扩展硬盘 物理卷（PV） 卷组(VG) 逻辑卷(LV)https:/,练习题,多选题、以下阵
10、列类型中，具有冗余功能的有（ ）RAID0RAID1RAID5RAID10判断题、在RAID10中，任意两块磁盘出故障都不影响读取数据。(T or F)思考 题RAID5和RAID1的应用场景有区别吗？有哪些？在客户更关注可靠性和性能的情况下，给客户推荐合适的RAID方案有哪些？RAID与LUN的关系是什么？,基于网络的存储,将网络引入存储系统，改变主机与外部存储节点间的连接模式，产生了若干新型存储体系结构：直接联网存储DAS（ Direct Attached Storage ）网络附加存储NAS（Network Attached Storage ）存储区域网SAN(Storage Area
11、Network )。存储系统必须要从少数的存储引擎向连在网络上的成千上万的商用化存储设备进行转变。,新型存储体系结构,三种典型的存储系统,附网存储NAS,存储区域网SAN,直连存储DAS,直连存储,DAS是指将外置存储设备通过连接电缆，直接连接到一台计算机上外部数据存储设备采用SCSI技术， 或者FC技术，直接挂接在内部总线 上的方式，数据存储是整个服务器 结构的一部分，在这种情况下往往 是数据和操作系统都未分离,JBOD,JBOD (Just a Bunch Of Disks) is an architecture using multiple hard drives, but not in
12、 a RAID configuration, thus providing neither redundancy nor performance improvements,存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。SAN中，存储设备通过专用交换机到一群计算机上。在该网络中提供了多主机连接，允许任何服务器连接到任何存储阵列，让多主机访问存储器和主机间互相访问一样方便，这样不管数据置放在那里，服务器都可直接存取所需的数据。优点：服务器共享存储系统，降低
13、异构化，成本降低，数据集中便于维护，提高存储资源利用率。,SAN（Storage Aera Network ）,是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。NAS 包括存储器件（例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质）和专用服务器。专用服务器利用NFS或CIFS，充当远程文件服务器，对外提供文件级的访问。,NAS（Network Attach Storage）,统一存储,是一个可以支持基于文件的网络附加存储（NAS）以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储，因此也被称为多协议存储
14、。块访问通过使用类似光通道、SAS、或者以太网承载的 iSCSI 等接口来实现。基于文件的访问是通过以太网上的 CIFS 或者 NFS 来访问存储系统上的文件系统。,几种存储方法的对比,几种存储方法的对比,试验,linux软RAID配置、测试、删除,分组讨论,用自己的话来描述三种存储模式最大的差别最主要的应用场景,云存储的定义,云存储服务：按照指定的具有可扩展性的服务水平，通过网络将虚拟的存储和数据服务以按需使用、按量计费的方式提供的服务交付方式。该交付方式无需配置或以自服务方式配置。,云存储与云计算的关系,云存储是云计算的一个子集云存储是一个以数据存储和管理为核心的（特别的）云计算系统（通用
15、）云计算系统可以认为是以数据处理、数据运 算为中心的系统（通用）云计算系统不但能对数据进行处理和运算， 系统中还有大量的存储阵列设备，以实现对计算数据 的保存和管理。在云计算系统中配置相应的存储设 备，该计算系统即拥有了云存储系统功能。,云存储与传统存储的不同,功能需求云存储系统面向多种类型的网络在线存储服务传统存储系统则面向如高性能计算、事务处理等应用性能需求首先要考虑数据的安全性、可靠性、效率等指标；由于用户规模大、服务范围广、网络环境复杂多变等特 点，实现高质量的云存储服务必将面临更大的技术挑 战；数据管理云存储系统不仅要提供传统文件访问，还要能够支持海 量数据管理并提供公共服务支撑功能
16、，以方便云存储系 统后台数据的维护。,59,云存储服务类型,房间规划和设施共享60,云存储的关键要素,62,块存储云,文件存储云,块存储用户,文件存储用户,LUN,iSCSI LUNTargets,POSIX(NFS,CIFS,WebDAV),快速为用户部署存储空间按实际用量计费,降低存储成本 (存储共享，重复数据删除，数据压缩),系统管理简单,弹性扩展,云存储的特点,云存储主要问题,数据安全云存储提供的是在线的数据存储服务，数据的安全以及保密 问题是绝大多数用户首要考虑的，作为云存储提供商需要有 相应的存储技术去保障。网络状况云存储服务的速度很大程度上取决于网络的状况，尤其对于 OLTP类型
17、的事务。数据备份的恢复客户的备份数据能否完整的进行恢复到某一时间点，确保系 统的无缝衔接。归档数据的查阅客户能否随时查询具体某段时间的数据，响应时间是否能达 到客户要求。一方面是网络带宽问题，另一方面由于云存储 技术的复杂性，数据提取响应时间。,分组讨论,为什么需要云存储？云存储和传统存储的比较最大的特性有哪些？最主要的应用场景有哪些？你使用云存储最大的担心是什么？,分组讨论,云存储和传统存储的比较最大的特性最主要的应用场景,以AWS为例,核心 AWS 服务,Amazon EC2,Amazon S3,Amazon Glacier,Amazon EBS,Amazon RDS,Amazon Dyn
18、amoDB,AWS IAM,Amazon EFS,AmazonVPC,数据库,存储,EBS,Amazon EBS 卷提供以下功能：持久性存储：存储卷的使用寿命与任何特定 Amazon EC2 实例无关。一般用途：Amazon EBS 卷是原始的、未格式化的块储存设备，可通过任何操作系统使用。高性能：Amazon EBS 卷相当于或优于本地 Amazon EC2 驱动器。高可靠性：Amazon EBS 卷在可用区内具有内置冗余。设计有弹性：Amazon EBS 的年故障率 (AFR) 在 0.1% 到 1% 之间。可变大小：卷的大小范围在 1GB 到 16TB 之间。易于使用：Amazon EB
19、S 卷可轻松创建、挂载、备份、还原和删除。,EBS生命周期,实验,大约 45 分钟,在本实验中，您完成了以下工作：创建了 Amazon EBS 卷将卷挂载到了实例上配置了实例以使用虚拟磁盘创建了 Amazon EBS 快照还原了快照,Amazon EC2 实例,Amazon EBS,快照,已挂载,已创建,Amazon Elastic File System (Amazon EFS),EFS存储,Amazon EFS 功能,AWS 云中的文件存储 适用于大数据和分析、媒体处理工作流程、内容管理、Web 服务和主目录PB 级低延迟文件系统共享存储弹性容量支持网络文件系统版本 4.0 和 4.1 (NFSv4) 协议与适用于 Amazon EC2 的所有基于 Linux 的 AMI 兼容,Amazon EFS 架构,Amazon EFS 实施,创建 Amazon EC2 资源并启动 Amazon EC2 实例。创建 Amazon EFS 文件系统。在相应的子网中创建挂载目标。 将 Amazon EC2 实例连接到挂载目标。清理资源并保护 AWS 账户。,1,2,3,4,5,
