《对象存储技术课件.pptx》由会员分享，可在线阅读，更多相关《对象存储技术课件.pptx（74页珍藏版）》请在三一办公上搜索。
1、对象存储Object-Based Storage,History of Object Storage,The Data Access Taxonomy,The Block Paradigm,DAS, SAN,The Block Paradigm,The Data Access Taxonomy,The File Paradigm,Local FS, Distributed FS: (NFS, CIFS, WAFS) Shared FS: (Cluster FS, SAN FS) Global, Distributed & Parallel FS,NAS,Local File Systems,O
2、ne more levelof indirection,Distributed File Systemse.g. NAS with NFS,CIFS Protocol,NAS Aggregation/Virtualization Global Namespace,NAS Aggregation/Virtualization Global Namespace,NAS ClusterTightly Coupled NAS,NAS ClusterLoosely Coupled NAS: Global Namespace with NFSv4.1 and pNFS,The Data Access Ta
3、xonomy,The Object Paradigm,OSDCASOSS,The Old Block Paradigm,The New Object Paradigm,Block Paradigm,The New Object Paradigm,WRITE 26,763 BytesQoS= HighDescription = “X-Ray”Retention = 50 yearsAccess Key = *&%#Data Payload.,Object Storage Responsibilities: Space Management Access Control (Identity Mgm
4、t) QoS Management Cache, Backup Policy Migration, Retention,Self-Contained Objects,Metadata: creation date/time; ownership, size.Attributes inferred: access patterns, content, indexes.Attributes user supplied: retention, QoS,Block Access - Inodes,The inode contains a few block numbers to ensure effi
5、cient access to small files. Access to larger files is provided via indirect blocks that contain block numbers,Block Access - Inodes,Inodes vs. Objects,ANSI T10 OSD SCSI Targets,SCSI Standards Architecture,Object Autonomy,Storage becomes autonomous:capacity planningload balancingbackupQoS, SLAsunder
6、stand data/object groupingaggressive pre-fetchingthin provisioningsearchcompression/de-duplication/encryptionstrong securitycompliance/retention/secure deleteavailability/replicationaudit . . .,Data SharingHomogeneous/Heterogeneous,Data SharingHomogeneous/Heterogeneous,Data Migration - ILMHomogeneou
7、s/Heterogeneous,Additional Layer of Security, strong security via external service authentication authorization NIS, LDAP.fine granularity per object,Living in a Flat Namespace,Virtual View / Virtual File Systems,The First Generation of Object Storage,Object Decomposition,对象存储系统结构,对象存储系统组成,对象(Object
8、)包含了文件数据以及相关的属性信息，可以进行自我管理,OSD（Object-based Storage Device)一个智能设备，是Object的集合,文件系统文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上,元数据服务器(Metadata Server，MDS)系统提供元数据、Cache一致性等服务,网络连接,1. 对象(Object),对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管
9、理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。,对象分类,2、OSD（Object-based Storage Device),每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。,OSD的主要功能,数据存储和安全访问 对象放置管理：OSD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。对象操作：每个O
10、bject同传统的文件相似，使用同文件类似的访问接口，包括Open、Read、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。,3、客户端文件系统,文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。 现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接
11、口。 接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。 同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致,文件系统读访问实例：,客户端应用发出读请求;文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD;然后直接向每个OSD发送数据读取请求；OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端；文件系统收到OSD返回的数据以后，读操作完成。,4.元数据服务器 (Metadata Server),为客户端
12、提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。,4.元数据服务器 (Metadata Server),在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。 在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。,4.元数据服务器 (Metadata Server),特点客户端采用Cache来缓存数据 当多个客户端同时访问某些数据时，MDS提供分布的锁机制来确保Cache的一致性。为客户端提
13、供认证为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。,5. 网络连接,网络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来，构成了一个完整的系统。,对象存储与传统存储的对比,对象存储的特性（总结）,性能优势 存储设备的智能化 数据的共享更容易管理更方便 更好的安全性,对象存储系统实例：Lustre,A shared file system for HPC clusters Open Source software (GPL) linux clusterVery high metadata and I/O perform
14、ance5,000 file creations/sec in 1 dir, 1,000 nodesSingle clients up to 290MB/sec.Aggregate up to 11GB/secScalable to 1,000s of nodesIn production now on such clusters,Lustre Retrospective,1999 Initial ideas CMUSeagate: management aspects, prototypesMuch survives today2000 National LabsCan Lustre be
15、next generation FS?100 GB/sec, trillion files, 10,000s clients, secure, PBs2002 2003Many partners: Dell, HP, Cray, LNXI, DDN othersProduction use, 1.0 released,A Lustre Cluster,Lustre Systems,Clients1000s now, 10,000s futureObtain access to Lustre file systemTypical role: Linux compute serverOSS100s
16、 now, 1000s futureObject storage serversLinux servers handling (stripes of) file dataMDS10s, 100s nodesMetadata request transaction engine.Linux server handling metadata requests,Key Design Issue : Scalability,I/O throughputHow to avoid bottlenecksMetadata scalabilityHow can 10,000s of clients work
17、on files in same folderCluster RecoveryIf sth fails, how can transparent recovery happenManagementAdding, removing, replacing, systems; data migration & backup,Reference,Lustre: A SAN File System for Linuxhttp:/www/lustre.org/docs/lustre/luswhite.pdfSeveral presentation materials from Dr. Peter J. B
18、raam,The Current Generation of Object Storage,Cloud Storage, Storage Clouds, Object Storage,Cloud Storage is the storage used for Compute Cloud infrastructuresCompute Clouds are very IOPS intensive and usually block storage is used in these applicationsStorage Clouds are “storage in the cloud”, whet
19、her public or privateStorage Clouds are simply storage capacity that is made available through the Internet Most of todays storage clouds use object storage technologies,Scale out object storage with simple REST API,REST APIs,REST stands for Representational State TransferIt is a software architectu
20、re that is used for distributed application environmentsREST APIs have become the predominant interface for cloud applications to connect to the cloudFor storage-centric cloud applications, a REST API is the interface between the application and the object storage platformPUT GET DELETE,Current Obje
21、ct Storage Summary,Data is stored as objects in one large, scalable pool of storageObjects are stored with metadata information about the objectAn Object ID is stored, to locate the dataREST is the standard interface, simple commands used by applicationsObjects are immutable; edits are saved as a ne
22、w object,Why Object Storage?,Massive Data GrowthAlways Onlinedata needs to be available anywhere at anytimePower to the ApplicationsApp. to storage with REST API directly, without additional (file system) layersThe Big Data Explosion,The Evolution of Data Processing,Migration of Storage Application,
23、The Evolution of Storage,The Vertical Consolidation,Storage and serverMigration of data processing applicationsNo I/O is best I/O,主动对象存储,传统存储系统被动响应服务请求对象具有智能性,智能的系统能够提供主动服务,存储组织结构对比,应用,系统接口,主机适配器驱动,文件系统用户部件,扇区接口,块I/O管理器,应用,系统接口,文件系统存储部件,文件系统用户部件,传统模式,主动对象模式,块I/O管理器,文件系统用户部件,适配器驱动,文件系统存储部件,盘设备驱动,总线设备
24、驱动,总线驱动,硬盘驱动,文件系统存储部件,主机存储系统,只含数据主机组织和管理被动响应,含“数据、属性”和“操作”自组织和自管理主动服务,性能高管理简单,效率低管理复杂,主动对象存储服务机制,负载模型/预测模型,根据历史负载预测未来趋势,存储主动服务机制,存储节点,主动对象中的概念,方法对象：一段可执行代码，用于对用户对象进行操作过滤型方法服务型方法策略对象：决定方法的执行有两种方式请求触发策略触发,主动对象特点,自我学习和策略触发机制，实现存储主动服务自我组织与管理，自我优化调节，使系统整体性能最佳利用对象“封闭”特性，使系统具有安全性提高系统可靠性，在故障出现时实现快速恢复,IP硬盘,硬
25、盘作为通用存储介质已有超过40年的历史硬盘接口技术已经演进到第四代基于SCSI协议的SAS/SATA接口IDE接口、ATA接口、SCSI接口和SAS接口PCIe推进成为一种事实上的“硬盘接口”传统的硬盘接口，如SAS和SATA基于传统的LBA定长寻址协议，依赖OS，扩展困难互联网公司对冷存储的需求愈演愈烈，IP接口是理想的选择,IP硬盘,某些海量存储不可能再以传统的块、文件系统、应用的访问方式进行建设，这一架构尤其是文件系统的效率是很低的，业界的共识是，海量存储的主流很可能会是对象存储，因为这一架构可以让上层应用从“数据到底存在了硬盘的什么地方”，转变为“不再需要关心数据存放在硬盘的什么具体位
26、置”传统的服务器或存储系统，以SAS为基础，需要“进行空间管理、协议转换，底层RAID控制器实现数据的小范围冗余容错及性能优化，在所有服务器上运行分布式文件系统来执行数据的大范围容错和均衡，但随着互联网企业在海量存储领域的话语权逐渐增强，越来越多的用户希望，将尽可能细颗粒度的组件不只是一块硬盘甚至是一个盘片一个磁头都开放给上层应用访问，尽可能的“降低访问粒度，提升了大范围内的访问并行度”,IP硬盘,2005年，国外一家初创公司做了一种以太网口的硬盘，在硬盘上加上一个转接板固态存储、Big data技术崛起，除了块和文件，对象接口越来越被广泛使用2012年，华为就推出了自己的海量存储产品UDS，
27、其中就可以看到IP硬盘的前身ARM+SAS/SATA控制，以太网口+对象访问2013.10，华为与希捷公司联合推出代号为Kinetic的IP接口硬盘。希捷、WD、HGST、东芝均在IP盘投入不少精力,SAS,vs,Kinetic Open Storage,IP硬盘采用Key/Value的方式访问支持大规模并行访问Kinetic提供一组API（Kinetic Library），应用程序直接通过调用API来完成对IP硬盘的管理,工作方式,IO路径对比,应用前景,希捷和西数等硬盘厂商提供IP接口的硬盘，硬盘实现相应的Kinetic协议；Cisco等网络厂商提供相应的以太网络，保证相应的传输QoS；Redhat可以把Kinetic API做到系统里面去，变成OS的一部分；华为和NetApp等存储厂商可以利用IP硬盘开发自己的对象存储系统，在自己的客户哪里进行销售,海量低成本存储冷数据存储备份,
