《横向扩展存储—先进架构支撑全新数据湖应用课件.pptx》由会员分享，可在线阅读，更多相关《横向扩展存储—先进架构支撑全新数据湖应用课件.pptx（42页珍藏版）》请在三一办公上搜索。
1、,横向扩展存储先进架构支撑全新数据湖,(Isilon),1, Copyright 2015 EMC Corporation. All rights reserved.,议程,非结构化数据增长引出数据湖概念,数据来源：IDC,3,2015,71 EB,全球发售的总容量,非结构化数据所占的比例,75%,78%,80%,2016,106 EB,2017,133 EB,大数据应用需要处理任何不能用传统系统处理的数据集,非结构化数据增长推动大数据发展,新兴数据源,传统数据源,HPC,备份/归档,云应用程序,移动,5, 版权所有 2014 EMC Corporation。保留所有权利。, 版权所有 201
2、4 EMC Corporation。保留所有权利。,分析,文件共享,数据湖,数据湖是一个共享的存储基础设施，可以使各种不同的应用程序和工作负载无缝的结合。数据湖主要应用于非结构化数据和高扩展性要求的场景目前，Hadoop是最常用的部署数据湖的技术。数据湖是一个概念，Hadoop是用于实现这个概念的技术。EMC Isilon提供了一个企业级的横向扩展数据湖，以帮助管理和保护所有的非结构化数据,数据湖的概念,谁需要数据湖?,Archive,VMware,BLOBS,Cloud/Object,Video,Call Recording,Splunk,DB Dumps,Probing Questions
3、:,有新的应用场景：Splunk, Cloudera, Hortonworks, Pivotal, RainStor, Teradata, Netezza, Exadata, SAS Grid等？需要管理Hadoop的数据增长?需要管理视频监控的数据增长?SharePoint 数据增长超出控制？需要存储实现大型数据库 dumps, log 文件, 归档?,Hadoop & Data Analytics,Sync n Share,Ticker Data,Remote Office,优化运营,了解行为,支持创新,管理风险,Hadoop 是大数据分析的关键底层技术,EMC 虚拟化计算平台,Hadoo
4、p 套件,EMC 共享存储平台,EMC为您灵活部署恰当的数据湖平台,Hadoop部署,正确选择HADOOP存储,Isilon支持多协议访问整合数据,独立扩展计算和存储 HDFS 支持现有数据无单点故障通过新一代通信技术轻松导入和导出；包括 HDFS、S3、Swift 和 Atmos API 支持容错，端到端数据保护自助资源调配,EMC Isilon本机 NFS、SMB/CIFS 和 HDFS 企业数据服务功能无客户端驱动程序高性能高吞吐量,企业级功能的数据湖平台,IsIlon 数据湖帮助Hadoop实现大数据分析,数据湖是一个共享的存储基础设施，可以使各种不同的应用程序和工作负载无缝的结合。数
5、据湖主要应用于非结构化数据和可扩展性要求的技术目前，Hadoop是最常用的部署数据湖的技术。数据湖是一个概念，Hadoop是用于实现这个概念的技术。EMC Isilon提供了一个企业级的横向扩展数据湖，以帮助管理和保护所有的非结构化数据,Ethernet,Job Tracker,Task Tracker,DataNode,2nd NameNode,NameNode,Hadoop 架构 传统DAS模式,R (RHIPE),Mahout,Hive,HBase,PIG,NameNode,Ethernet,R (RHIPE),PIG,Mahout,Hive,HBase,Job Tracker,Task
6、 Tracker,DataNode,Compute Node,Compute Node,Compute Node,Compute Node,Compute Node,Compute Node,NameNode,业界第一款与 HDFS 层本机集成的企业级横向扩展 NAS 存储平台,Hadoop 架构-Isilon模式,name node,name node,name node,name node,data node,NAS,SAN,云,磁带,DAS,对象,14,新一代工作负载,传统工作负载,HPC,备份/归档,分析,移动,文件共享,云应用程序,磁带,NAS,DAS,云,SAN,对象,Isilon
7、 数据湖基础,15,新一代工作负载,传统工作负载,HPC,备份/归档,分析,移动,文件共享,云应用程序,新一代访问方法,REST,SWIFT,NFS,HTTP,NDMP,HDFS,SMB,FTP,文件,文件,16,HPC,备份/归档,分析,移动,文件共享,云应用程序,企业级功能,数据保护,数据安全性,性能管理,17,Isilon 数据湖基础,数据管理,Isilon 数据湖基础的优点,移动访问,企业文件应用,云业务/虚拟化,存储基础架构,20PB单一文件系统,大数据分析,HDFS,简单,可扩展,灵活,高效,第 3 代平台,第 2 代平台,横向扩展 NAS 理想的第 2 代/第 3 代平台体系结构
8、,高IOPS需求应用,主目录,备份/归档,软件定义的vOneFS,EMC Isilon 的市场领导地位,树立横向扩展 NAS 的标准,6,000 多家客户,横向扩展市场领导者,EMC Isilon 横向扩展 NAS 体系结构,客户端和应用程序,RESTful APIGET PUT POST DELETE,千兆位以太网10 千兆位以太网网络,OneFS 操作环境,多协议,客户端/应用程序层,以太网层,协议,SMB,NFS,FTP,HTTP,HDFSfor Hadoop,REST for Object,群集内通信,Isilon OneFS 操作系统,单个卷/文件系统,无与伦比的效率,简洁性和易用性
9、,线性扩展能力,轻松增长,高性能,22,全面的企业软件,数据保护,SmartPools基于策略的自动分层SmartDedupe重复数据消除，可降低存储需求和成本，而不会影响性能SmartQuotas 配额管理和精简资源调配InsightIQ性能监视和报告，可管理存储资源,SnapshotIQ快速高效的数据备份和恢复SyncIQ 快速灵活的异步复制，可实现灾难恢复保护SmartConnect 使用负载平衡的基于策略的客户端故障切换SmartLock基于策略的 WORM 数据保护,数据管理,EMC Isilon,横向扩展 NAS 产品系列,性能和容量的线性扩展,高事务性平台,高吞吐量平台,近线存储
10、平台,S 系列,X 系列,容量,性能,NL 系列,高密度平台,HD 系列,2015 ISILON硬件平台新产品,即将更新,现有平台,新推平台,高达 37 TB,最高 20 PB,最高 1 PB,硬盘驱动器,Isilon SmartFlash,首个也是唯一的全局一致横向扩展闪存即缓存,26,高达 37 TB,Isilon 可在单文件系统、单卷群集中从 16 TB扩展到 50 PB不到 60 秒即可完成扩展，不会造成宕机,可大规模扩展,高于传统存储系统的可扩展性,Isilon 简单性和易用性,单个卷和文件系统目录和文件跨群集分条自动化无需手动干预无需重新配置无需更改服务器或客户端装载点或应用程序无
11、需数据迁移无需 RAID,单个卷,将效率提升到全新水平,Isilon AutoBalance,AutoBalance 自动将内容移至新存储节点 消除了“热点”实现无与伦比的存储容量利用率 超过 80%,空,空,空,空,空,完全,完全,完全,完全,平衡,平衡,平衡,平衡,平衡,AutoBalance跨节点自动平衡数据降低了扩展存储的成本、复杂性和风险,SmartPools 自动分层,单点管理单个文件系统/单个卷多个性能层自动数据移动基于策略的分层管理透明的重新分配无需更改应用程序优化存储资源 使存储资源自动与数据要求保持一致 消除数据迁移,Policy,30 days,30 days,S210,
12、NL400,30 days-2years,2 years,NL400,HD400,无与伦比的数据保护和可用性,具有超强恢复能力的群集体系结构,对于 Isilon，群集中的节点越多，驱动器重建时间越短,企业数据保护选项,快速轻松的备份和灾难恢复,Isilon NL 系列群集,Isilon S 系列和 X 系列群集,Isilon 安全和法规遵从性选项,法律,IT,会计,市场营销,Isilon 面向 Hadoop 的优点,就地分析 本机集成加速获得洞察结果企业数据保护快速的快照、备份和数据恢复针对灾难恢复的简单高效的数据复制 降低成本无需专用 Hadoop 基础架构 效率远超基于 DAS 的方法增加
13、灵活性同时支持任何与 Apache 兼容的 Hadoop 分发集成 Ambari 以便管理、监视和调配,具有本机 Hadoop 集成的横向扩展存储,平台特性,行业标准对象存储能力PB 规模适用于非结构化数据和对象存储的多功能数据湖基础,新的适用于对象存储的 OpenStack Swift,Isilon 横向扩展 NAS,易于管理 单个文件系统、单个卷、全局命名空间可大规模扩展 可在单个群集中从 16 TB 扩展到 50 PB 以上无与伦比的效率超过 80% 的存储利用率、自动分层以及 SmartDedupe企业数据保护高效备份和灾难恢复，以及 N+1 到 N+4 冗余强大的安全性与法规遵从性选
14、项RBAC、访问分区、WORM 数据安全性、文件系统审核使用 SED 进行静态数据加密 操作灵活性包括 NFS、SMB、HTTP、FTP 和 HDFS 在内的多协议支持针对移动计算的 Syncplicity 支持对象和云计算（包括 OpenStack Swift）,Isilon 横向扩展 NAS 体系结构,OneFS Operating Environment,群集内通信层,客户端/应用程序层,以太网层,千兆以太网万兆以太网网络,协议,144节点50PB存储容量,HDFS,SMB, NFS, HTTP, FTP,Nodereply,Nodereply,Nodereply,Nodereply,N
15、ameNode,Data,支持多个Hadoop平台,NFS,SMB,SMB,NFS,Hadoop + Isilon 大数据分析,Isilon本身只做HDFS部分，M/R部分在计算节点上做。在传统的Hadoop中这两部分是放在一起的，其实是可以分开的。这是最大不同克服传统hadoop namenode 单点故障节省存储空间，兼顾数据安全和快速企业级数据保护,分析,移动,主要功能,好处,Hadoop 2.0本机 HDFS 支持Pivotal HD 支持同时支持 HDFS 1.0 和 HDFS 2.0分布式 NameNode,支持开放的 Hadoop 应用程序无单点故障降低总体拥有成本 (TCO),Isilon集成HDFS-新一代分析技术,HDFS,适用于 Hadoop 的 Isilon 优势,就地分析 本机集成加速获得洞察结果企业数据保护快速的快照、备份和数据恢复针对灾难恢复的简单高效的数据复制 降低成本无需专用 Hadoop 基础架构 效率远超基于 DAS 的方法增加灵活性同时支持任何与 Apache 兼容的 Hadoop 分发,具有本机 Hadoop 集成的横向扩展存储,
