《IT基础架构新趋势超融合架构下的虚拟化.docx》由会员分享，可在线阅读，更多相关《IT基础架构新趋势超融合架构下的虚拟化.docx（8页珍藏版）》请在三一办公上搜索。
1、IT基础架构新趋势超融合架构下的虚拟化技术白皮书 1、 2、 3、SMARTX ZBS 系统设计 4、SMARTX ZBS 功能亮点 摘要 SMARTX ZBS(“Z”Block Storage system),即ZBS分布式块存储系统，运行于商用X86服务器，为虚拟化环境提供可水平扩展的存储服务。本文就ZBS的设计哲学、系统架构等核心技术展开详述，通过和传统计算存储分离架构对比，让企业用户能够清晰地了解SMARTX ZBS超融合架构的技术优势，为用户构建虚拟化数据中心提供参考。 背景介绍 当前IT数据中心面临的挑战 当下企业IT 数据中心虚拟化是行业发展的趋势，更是未来的标准。利用Hyper
2、visor 将物理服务器虚拟成多个虚拟机，把应用部署不同的虚拟中运行，为企业提供更高的运行密度和更敏捷解决方案。在传统计算存储分离的体系架构下，虚拟机在计算服务器上被创建，其后端存储通常采用 SAN/NAS。这种架构已经不能满足企业 IT 数据中心高速发展和变化的需求，主要体现在： l 扩展困难 传统存储 SAN/NAS 通过添加新的存储柜扩容升级ZBS 可以调度 VM 到离数据最近的节点，减少远程 IO 的访问； 2）充分挖掘 SSD 的高性能实现了智能的分层存储，用作 VM 的本地缓存； 3）实现 VM 重连机制，可在不停虚拟机的情况下给集群系统升级。 l 自动化管理运维 ZBS 设计的一
3、大考量就是简化运维，从部署、日常管理、出错处理都力争做到自动化。ZBS 集群的安装部署非常简单迅速，只需简单配置 IP 地址和服务器角色等信息就能在 1 小时内完成安装部署；当硬盘损坏，数据可靠性降低时，ZBS 会触发自动修复将数据复制到健康的节点，整个过程无需人工参与。ZBS 也提供了 Web 可视化管理和丰富的分析功能，可以采集和分析当前系统的多维指标，并设置预警，第一时间通知管理员。 系统架构 SMARTX ZBS 集群的每个节点都部署相同的 ZBS 分布式块存储系统，集群的每个节点从用户的角度来看是等价的。ZBS 对外提供块设备接口，可以创建虚拟存储盘。ZBS 兼容多种 hypervi
4、sor，通过简单配置和部署，即可形成超融合架构的计算存储平台。用户可以在任意节点上启动 VM。这些 VM 像使用本地存储一样使用 ZBS 创建出的虚拟盘。 下图对比了计算存储分离的架构和 SMARTX ZBS 超融合架构。 ZBS分布式块存储特点 ZBS 提供最基本的块设备接口供虚拟使用机，同时具备以下功能特点。 高性能层次存储 ZBS 实现了智能 SSD 分层存储，并通过大量优化来提升虚拟机的 I/O 性能。整个集群系统拥有 SATA 磁盘的大容量和低成本，却实现了接近 SSD 的性能。 l SSD 智能缓存 ZBS 能够智能识别冷热数据，将经常访问的热数据提升到 SSD 里，将不常访问的冷
5、数据交换到 SATA 上。ZBS 采用了两级 LRU 队列，当数据块初次被访问的时候会提升到 SSD 的 Inactive 列表，如果继续被多次访问会提升到 Active 列表，只有 Inactive 列表里的冷数据才会被换出到 SATA，实验表明该算法能够显著提高真实负载下 SSD 的 Cache 命中率，有效减少性能抖动。 l IO 请求合并优化 l 全 SSD 存储池 ZBS 为写操作做了专门优化，通过将随机的小 I/O 写请求合并成一个大 I/O写请求，然后顺序写到 SSD 日志中，从而大大提升了 I/O 吞吐量。 ZBS 支持创建全 SSD 存储池，全闪存池里创建的虚拟盘上的数据不会
6、被替换到 SATA 盘上，拥有更高 QoS 保障。用户可以将核心业务部署在全 SSD存储池中的虚拟盘上，获得媲美昂贵的全闪存阵列方案。 水平扩展 ZBS 的水平扩展得益于合理的分布式架构。存储容量和性能都可以弹性水平扩展，而且扩展后的 Rack 空间、容量和性能是可预估的，所以能极大帮助企业IT 选择最合适的软硬件解决方案。日后只需要简单添置节点来扩容就能满足业务增长的需求。ZBS 的水平扩展有以下几个特性： l 自动负载均衡 扩展节点后，旧数据会自动迁移到新节点， 以此达到整个系统的负载均衡。避免单点过热的情况出现。 l 扩展无需暂停业务 水平扩展只需要将部署了 ZBS 的新节点和原有集群连
7、接到同一网络，然后在管理平台上执行一条扩容命令。整个扩容过程不会影响任何服务，虚拟机无需停机。 即刻生效 节点被添加到集群，该新增节点的计算和存储资源会通过一轮“心跳”向集群汇报，集群系统的整体容量和性能也随之线性扩展，此后新节点的资源就会被 ZBS 接管，被用于分配或者回收。 数据高可靠 确保数据高可靠是 ZBS 非常重要的功能设计。ZBS 不仅能对数据进行主动保护，而且还会对丢失的数据进行自动修复。 l 弹性多副本 同一份数据可以有多个副本，副本会分布到不同的物理节点，即便一个节点损坏也不会影响数据的可用性和可靠性 l 数据块校验 为防止数据的 silent 的损坏，ZBS 会对每个数据块
8、做效验。 l 数据备份 ZBS 提供了一组外围的工具，能将数据备份到外部的存储，比如 HDFS、S3 等 l 智能数据恢复 ZBS 是一个能自我修复的系统。同一份数据可以有多个副本，副本会分布到不同的物理节点，即便一个节点损坏也不会影响数据的可用性和可靠性，一旦发现某个数据块的可靠性级别低于设定值，就会自动的触发只能恢复。例如用户设定某个虚拟盘副本数为三份，同一份数据会复制到三个不同的物理服务器上，假使某台服务器损坏得数据副本数减少，ZBS 会及时发现这一事件，并将数据恢复到另一台健康的物理服务器，以确保三副本的数据可靠性。 ZBS核心组件 ZBS 分布式存储集群里有两类物理服务器：Maste
9、r 和 Storage。ZBS 有两个最重要的服务 Meta 和 Chunk， Master 节点上会同时启动 Meta 和 Chunk 服务，在 Storage 节点上只启动 Chunk。 l Meta 服务 Meta 负责管理元数据，即维护了数据块到具体物理服务器的映射。在生产环境下，一个集群通常部署多个 Meta 服务，组成一个 Meta 集群，它们之间实现了分布式强一致性协议，来保证元数据的高可用、高可靠，解决了单点失效的问题。另外，ZBS 的 Meta 服务还负责集群的负载均衡、数据主动恢复、垃圾回收等集群层面的策略任务。 l Chunk 服务 Chunk 负责实际数据的存储。通常客
10、户端在 Meta 查询元数据信息后，Meta 会将存放该数据的物理服务器返回给客户端，此后客户端就和该存储服务器上的Chunk 交互，完成实际数据的读写。Chunk 管理着单机的存储资源，包括 SATA和 SSD，并充分挖掘 SSD 的特性来优化本地 I/O 性能。Meta 和 Chunk 的组织架构如下图所示： 多个 Meta 组成高可用元数据集群集群。Chunk 之间也是完全互连，同一份数据块会分布存放在多个 Chunk 节点。图中 Client 表示 ZBS 分布式存储系统客户端，在虚拟化场景，Client 即是虚拟机。数据通路描述： 1. Meta-Meta：元数据写入或者更新时需要同
11、步到所有的 Meta 节点； 2. Meta-Chunk：Chunk 会定期的向 Meta 汇报服务状态； 3. Chunk-Chunk：Chunk 节点之间数据的迁移和恢复； 4. Client-Meta：元数据更新查询等操作，大部分管理命令的数据是通过该数据通路； 5. Client-Chunk：I/O 数据的实际通路。对于标准的 I/O 操作，Client 会首先查询元数据，获取实际数据的 Chunk，之后对该 Chunk 进行读写，由于实际的 I/O 操作发生在 Chunk 端，并且 Chunk 会缓存从 Meta 返回的元数据，所以 Client 和 Meta 交互的频率很低，不会成
12、为集群的性能瓶颈。 SMARTX ZBS功能亮点 ZBS 的产品功能主要围绕企业 IT 最重要的三个方面：丰富的数据服务、业务的连续性、简化 IT 管理。 丰富的数据服务 l 弹性可配置副本 应用场景不同，对数据的可靠性、可用性的要求也不同。ZBS 通过对存储盘副本数的配置，满足不同场景的可靠性和可用性需求 l 智能数据恢复 当遇到物理磁盘损坏、存储节点掉电、网络连接失败等因素导致的数据可用性、可靠性下降的事故，ZBS 存储系统会智能的在健康物理节点上重建数据，来保证数据的可靠性。同时为了使得背景恢复任务不影响正常的数据读写性能，ZBS 会对恢复任务设置流量，并在负载很轻的时候调度。 l 备份
13、工具 ZBS 提供了一组工具会将数据备份到外部的存储，比如 HDFS、S3 等。多一个层面对数据进行保护。 l 集群负载均衡 ZBS 能够智能的将数据均匀的分布到不同的物理节点，达成容量和性能的负载均衡。 l 瘦供给 集群级的全局瘦供给能允许用户分配出大于当前存储系统空间的存储盘。存储盘只有被真正使用的时候才算作被消耗的存储资源。这项特性为公有云弹性存储“超卖”提供了强力的支持，已成为公有云后端存储的标配。 l 秒级无依赖快照 创建快照在 ZBS 中是非常轻松高效的操作，快照创建均在 1ms 内完成。此外，快照之间无依赖，方便快照管理。ZBS 使用了写时复制的技术来提升快照的性能和体验，由于快
14、照的真实数据只要在修改的时候才会被复制，所以快照操作实际上就是简单的元数据操作。 业务连续性 l 不停机扩容 整个扩容升级过程无需暂停任何服务，用户虚拟机里的业务无需中断。 l 硬盘热插拔 当磁盘损坏需要更换的时候，无需停机断电，用好的磁盘替换损坏的磁盘即可，ZBS 可以自动将顺坏磁盘的数据恢复出来。 l 虚拟机重连 网络分区在分布式系统里是很常见的错误，这类错误会导致分布式存储暂时不可用，ZBS 支持虚拟机重连的机制，使得虚拟机 I/O 不会受短暂网络错误影响。 l VM 热迁移 虚拟机热迁移允许在不关闭虚拟机的情况下，将其转移到另一台物理服务器上运行。ZBS 在存储层面支持虚拟机热迁移，提升虚拟机高可用性。 简化IT管理 l CLI/Web 管理 CLI 为系统管理员最常用的管理方式，编写自动化脚本的基础。Web 提供可视化的操作界面，让操作变得简洁直观。 l 开放 API ZBS 开放 API，当前支持的 RESTFUL 和 Python 接口，对开发者友好，外部系统集成 ZBS 十分容易。 l 集群事件分析、监控和报警 丰富的多维度、多指标监控，自定义集群预警事件，方便系统管理员运维。强大的性能和日志分析工具，帮助管理员快速定位问题。 北京中科泰科技有限公司 地址：北京市经济技术开发区 电话：18611708288 钟先生
