数据中心间二层互联技术方案.docx

《数据中心间二层互联技术方案.docx》由会员分享，可在线阅读，更多相关《数据中心间二层互联技术方案.docx（12页珍藏版）》请在三一办公上搜索。

1、数据中心间二层互联技术方案在传统的数据中心服务器区网络设计中，通常将二层网络的范围限制在网络汇聚 层以下，通过配置跨汇聚交换机的VLAN，可以将二层网络扩展到多台接入交换 机，这种方案为服务器网络接入层提供了灵活扩展能力。近年来，服务器高可用 集群技术和虚拟服务器动态迁移技术（如VMware的VMotion），在数据中心容 灾及计算资源调配方面得以广泛应用，这两种技术不仅要求在数据中心内实现大 二层网络接入，而且要求在数据中心间也实现大范围二层网络扩展。1数据中心间二层互联的业务需求如图1所示，数据中心间通常部署以下三种互联链路，每种互联链路所承载的数 据不同，实现的功能不同，并且这三种链路在

2、逻辑上相互隔离。l网络三层互联。也称为数据中心前端网络互联，所谓“前端网络”是指数据中 心面向企业园区网或企业广域网的出口。不同数据中心（主中心、灾备中心）的 前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据 中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾 备中心以保障业务连续性。l网络二层互联。也称为数据中心服务器网络互联。在不同的数据中心服务器网 络接入层，构建一个跨数据中心的大二层网络（VLAN），以满足服务器集群或虚 拟机动态迁移等场景对二层网络接入的需求。l SAN互联。也称为后端存储网络互联。借助传输技术（DWDM、SDH等）实现主 中

3、心和灾备中心间磁盘阵列的数据复制。图1.数据中心的三种互联方式数据中心间网络二层互联的应用场景有以下两种。1.1服务器高可用集群l=J服务器集群（Cluster），是借助集群软件将网络上的多台服务器关联在一起， 提供一致的服务，对外表现为一台逻辑服务器。多数厂商（HP、IBM、微软、Veritas 等）的集群软件需要各服务器间采用二层网络互连。将集群中的服务器部署于不 同数据中心，可实现跨数据中心的应用系统容灾。服务器集群互联通常需要部署 两个二层网络，如图2所示。图2.服务器集群高可用集群l集群软件进程间通信（心跳、会话同步）网络，用于保持和控制主控节点的状 态，这个网络上的IP地址不会通过

4、数据中心前端网络发布出去。l集群公共通信网络，也就是集群虚IP的接入网络。虚拟IP是集群对外提供服 务的地址，类似与路由器上配置VRRP功能时的虚IP，该地址将通过数据中心前 端网络向外发布。1.2服务器搬迁和虚拟机动态迁移对数据中心进行扩建或搬迁时，需要将物理服务器从一个数据中心迁至另一个数 据中心。在此过程中，考虑以下两个因素，需要在数据中心间构建二层互联网络. l当服务器被迁至新机房，若未构建新老中心间的二层互联网络，则面临重新规 划新中心服务器IP地址的问题。同时还需修改DNS，或修改客户端应用程序配 置的服务器IP。因此，构建跨中心的二层互联网络可保留被迁移服务器的IP地 址，进而简

5、化迁移过程。l在服务器搬迁期间，经常在给定的时间内，只能将服务器群的一部分服务器迁 至新中心，为保证业务连续性，需建立跨中心的服务器集群，因此构建跨越中心 的二层互联网络可实现服务器平滑迁移。与服务器搬迁类似的情况是“虚拟机迁移”。当前，一些服务器虚拟化软件可实 现在两台虚拟化的物理服务器之间对虚拟机做动态迁移，如图3所示。迁移至另 一中心的虚拟机不仅保留原有IP地址，而且还保持迁移前的运行状态（如TCP 会话状态），所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络（虚 拟机在迁移前后的网关不变），这种应用场景要求构建跨中心的二层互联网络。苗靴卫*遇5：“堵图.片来源 w.h3c. co

6、rn cn图3.虚拟机动态迁移2数据中心间二层互联的关键端到端环路避免在数据中心间实现二层网络互联时，为了提升整网高可用性，必须保证数据中心 互联链路冗余性，由此也带来了一个问题一一二层环路。因此需要防止由一个远 端数据中心的二层环路引起所有数据中心服务器接入网络的故障。消除二层环路 技术包括：l在接入层网络使能生成树协议（STP）。l通过交换机虚拟化技术（如H3C IRF）消除二层环路。2.1生成树协议的设计要点当STP域通过广域链路跨多个数据中心的接入层时，某个中心的故障会引起多个 中心的网络震荡。因此在考虑数据中心二层互联的STP部署时，建议将STP域限 制在每个数据中心内部。部署方式如

7、图4所示，在数据中心二层互联交换机的面 向互联链路的端口上，使能BPDU拦截功能和关闭STP。W眼桥抿帝图4.将STP孤立于数据中心内部这种孤立和分割STP域的方案将简化数据中心二层互联的管理维护工作，即使在 某一个数据中心的二层网络发生变化时，也不会导致由STP计算引起的整个二层 互联网络的不稳定状态。2.2交换机虚拟化技术设计要点交换机虚拟化技术（如H3C IRF、Cisco VSS等）是将多台交换机连接起来形成 一台虚拟的逻辑设备。用户对这台虚拟设备进行管理，来实现对所有成员设备的 管理。由于虚拟交换机系统已经被当作为一台设备，因此不同物理设备的端口可 以被捆绑在一起被当作一个逻辑端口，

8、在配置与组网上也完全相同于单台设备的 端口聚合功能，这种特性被称为“跨设备链路聚合”。对于数据中心服务器接入层来说，通常使用两台接入交换机对同类业务系统服务 器进行接入，以满足服务器双网卡的上行要求，这种拓扑通常采用成VLAN跨汇 聚的配置，并使能STP避免二层环路。当使用交换机虚拟化进行网络简化时，对 网络汇聚层的虚拟化整合是必要的，因为这是消除STP的关键网络层。对接入层 网络来说，有两种方式，如图5所示：图5.虚拟交换机消除接入层环路l方式A,保持原有网络拓扑和设备独立性不变，将汇聚层做虚拟化，接入交换 机双归属上联的两条链路直接进行捆绑，消除了环路，服务器网卡归属到独立的 两台交换机。

9、l方式B，在两台接入交换机之间增加IRF互联线缆，使得接入层也实现虚拟化 整合，服务器双网卡连接的两台交换机虚拟化成一台，则这两台交换机的所有上 联线缆可实现跨设备的捆绑，进一步减少逻辑链路数。无论方式A或方式B，汇聚层的虚拟化都是必要条件，在以下讨论的各种方案中， 都建议在网络汇聚层实现交换机虚拟化技术。3数据中心间二层互联方案探讨3.1承载于裸光纤的虚拟交换机二层互联方案本文以H3C IRF为例说明虚拟交换机在数据中心间二层互联方案的应用，读者也 可将此设计思路应用在其他厂商的虚拟交换机技术上。如图6所示，有四个分布在不同位置的数据中心，各中心间通过DWDM设备组成 一个环状的光传输网络，

10、相邻数据中心间距离小于100公里。每个数据中心内部 网络分为接入层、汇聚层和核心层。汇聚层设备采用IRF虚拟化，所以各中心汇 聚层在逻辑上只是一台交换机。8巾心图片来源ww就hE岫cim cn图6.四数据中心光纤环状互联为实现四中心的二层互联，另需构建一个同时连接四中心汇聚层的互联节点，该 节点由两台支持IRF的物理交换机构成，逻辑上为一台交换机。出于高可用性的 考虑，这两台物理交换机应部署在不同的数据中心内3中心和B中心），如图 7所示。互联节点与各中心的汇聚层采用双链路捆绑互联。在逻辑结构上，四中 心与互联节点构成了一个Hub-Spoke的星形拓扑，其中互联节点为HUB，各中心 汇聚层为S

11、poke。另外，在A中心和B中心间，还需在DWDM设备上划分一个专 用的波长久，做为互联节点的两台IRF成员设备的互联链路，对于IRF虚拟化 来说互联链路必须是10GE接口。鉴蛇中心的IRF巨聆节点5心D 4*心HUB-SPOKE星形避将拓扑g心图片来源.wwwEh3c. eom cn图7.互联节点与各中心的拓扑关系图8示出了各站点汇聚层与互联节点间DWDM光传输通道的连接关系。互联节点 包含A、B两台物理设备，A设备部署在A中心，B设备部署在B中心。从A中心 到互联节点有两条链路，其中一条链路是中心内的光纤，另一条链路承载于A、 B中心间互联DWDM设备分配的波长入上。B中心与互联节点连接方

12、式与上述情 况类似。对于C、D中心，从汇聚层到汇聚节点的两条链路都承载于DWDM设备分 配的波长入上。依次计算，四中心的二层互联需要占用8个DWDM的波长入。其中2个入（必须承载10GE）用于IRF互联，另6个入用于各中心汇聚到互联 节点的链路（A中心1个，B中心1个，C和D各2个，A中心和B中心各有一个 链路使用本地光纤资源）。B中心号中心S亡图片来源vMh3c.coin cn图8.汇聚层与互联节点物理连接关系如“交换机虚拟化技术设计要点”一章所述，对于数据中心内部，为实现服务器 双归属高可用接入，建议在接入层也部署IRF虚拟化技术。虚拟化后的接入交换 机通过多链路捆绑方式上连至汇聚交换机，

13、一方面可完全避免二层环路，另一方 面充分利用接入层上行链路带宽。这里需要注意，即使在没有环路的二层网络中，也应使能STP，以防止设备配置 和物理链路维护中的错误。同时，虽然网络不存在环路，但STP仍有可能影响整 个跨多个数据中心的二层网络。例如，当网络拓扑有变化时，TCN BPDU可能会 通过二层网络扩展到数据中心以外。因此，有必要控制STP域的范围，对于使能 STP的汇聚交换机，应在其面向互联节点的端口上开启BPDU拦截和关闭STP计 算，使得各数据中心内的STP域互相分割。3.2承载于MPLS网络的VLL或VPLS方案3.2.1方案说明这里所讨论的MPLS网络包括企业自建或由运营商提供给企

14、业的MPLS网络，不管 是哪种场景，实现数据中心二层互联的思路都相同：由一对数据中心互联设备（PE）发起二层VPN，实现二层网络（VLAN）在数据中心间的扩展。这里同样要 注意端到端的环路避免问题。承载于MPLS网的数据中心二层互联方案有两种实现技术：l MPLS VLL（Mpls Virtual Leased Line）:实现两数据中心的点到点二层互联。l VPLS（Virtual Private LAN Service）:实现多个数据中心的点到多点二层互 联。MPLS VLL是在MPLS网络上透明传递用户的二层数据。从用户的角度来看，这个 MPLS网络就是一个二层的交换网络，通过这个网络，

15、可以在不同站点之间建立 二层的连接。VLL可以让两个数据中心的二层互联效果像直接用光纤连接一样。 VLL技术通过给用户报文添加双层标签来实现转发:外层标签（隧道标签）是MPLS 标签或GRE标签，用于将报文从一个PE传递到另一个PE；内层标签（虚电路标 签）是MPLS标签，用来标识PE-CE间链路的标签。如图9所示为基于MPLS VLL 技术的双中心二层互联方案。图9.基于MPLS VLL的双中心二层互联方案VPLS是在传统MPLS VLL方案的基础上发展而成，也通过双层标签实现报文转发 控制。VPLS可实现点到多点二层互联方案。利用VPLS技术可在MPLS网络上为 多个数据中心间模拟了一个以

16、太网交换机，基于MAC地址或者MAC地址加VLAN 标识来做出二层端口间的转发决策。一个实现多数据中心二层互联的VPLS实例 包括连接到多个PE的多个数据中心，数据中心CE设备（汇聚交换机）直接跟所 有与该VPLS实例关联的其它CE （汇聚交换机）通信。在VLL和VPLS方案中心, 将PE间建立的两条单向转发路径称之为一条虚链路。如图10所示为基于MPLS VPLS技术的三中心二层互联方案。图10.基于MPLS VPLS的三中心二层互联方案按照传统网络设计思路，二层网络只部署在园区或数据中心内部，二层网络的范 围不会很大，而且构成二层网络的物理链路都是很稳定的铜缆或光纤。将二层网 络扩展到多个

17、数据中心的方案，超出了二层网络协议对网络扩展性和链路质量适 应性的要求。而三层网络来说（MPLS或IP），本身却很适合广域网长距离大规 模组网。相对于二层网络来说三层网络比较稳定，并且有很多快速收敛技术（如 BFD）用以保证网络高可用性，因此三层网络可以为二层扩展提供稳定链路质量 的虚链路，任何发生在网络物理层的问题对承载于三层技术上的二层网络都是透 明的。3.2.2 VLL和VPLS方案中的二层环路避免点到点的VLL方案在PE间无环路，多点互联的VPLS通过水平分割避免PE间环 路。按前文所述（生成树协议的设计要点），每个数据中心都设计为一个独立 STP域，因此在数据中心内也不存在环路。然而

18、，由于数据中心汇聚（CE）通过 双归属上行到PE，造成在整个多中心二层互联网络中出现环路，如图11的红色 虚线。因此在规划多中心二层扩展方案时，应从端到端的角度去考虑环路避免问 题。图11.多中心二层互联的环路问题通常的思路是将STP域延伸至整个二层网络可避免多中心间环路，但由此将使网 络故障域过大，且维护管理困难，形成“牵一发而动全身”的被动局面。因此， STP延伸方案不可取。避免环路的另一种方案是采用交换机虚拟化技术，分别将 两台PE和CE设备各虚拟化成一台逻辑设备，并在PE与CE间采用双链路捆绑方 式互联，则可实现端到端环路避免，如图12图12.多中心二层互联的环路问题3.3 承载于 I

19、P 网络的 VLL Over GRE 或 VPLS Over GRE 方案当多个数据中心间只有IP互联网络时，可以借助VLL Over GRE或VPLS Over GRE 来实现二层互联方案。VLL和VPLS技术方案本身需要在PE与对端PE间建立一 条可承载多个虚链路(pseudowire)的隧道，这个隧道可以是MPLS或GRE隧道。 对于VLL或VPLS的MPLS隧道实现来说，报文的外层标签为MPLS标签；相应的GRE隧道方式则为IP+GRE。因此VLL Over GRE方案和VPLS Over GRE方案在 组网拓扑、二层环路避免等设计要素上，与基于MPLS隧道的VLL和VPLS的要求 基

20、本相同，此处不再赘述。3.4三种方案对比分析从报文转发性能以及故障收敛时间来看，以上三种方案都可实现数据中心间二层 互联，并且能解决端到端的环路避免问题。数据中心间基于光传输网络和交换机虚拟化技术的Hub-Spoke星形拓扑方案，配 置管理简单、扩展性强，如果需要互联的数据中心在城域网范围内，且采用光纤 资源充足，则建议采用这种方案。该方案的链路利用率高（报文在多条互联链路 间做分担），故障收敛快（小于1秒），既可以做点对点互联，也可做点到多点 互联。当数据中心间没有专用的光纤资源，或者由于相距太远（大于100公里）使得部 署光纤的成本很高时，可选择基于MPLS或IP GRE隧道的VLL方案实

21、现点到点的 数据中心间二层互联，还可选择基于MPLS或IP GRE隧道的VPLS方案实现点到 多点数据中心间二层互联。三种方案的差异对比如表1所示。互联链路成本互联扩展距离传输效率易维护性适用场景裸光纤/DWDMMPLS VLL高小于100公里高容易点到点、点到 多点MPLS VPLSVLL Over GRE中无限制中较容易点到点 八、工八、VPLS OverGRE低无限制低表1三种方案综合对比较容易点到U占 八、工八、4结束语数据中心内通常采用服务器二层接入方案，以实现灵活扩展能力。随着企业对业 务连续性要求和计算资源灵活调度能力要求的不断提升，必然将面临二层网络在 多数据中心间的扩展问题。本文提出三种不同实现方案，且都具备拓扑稳定、高 可用和可扩展的特点，但各种方案亦有部署差异。方案没有最好的，只有最适合 的。希望通过本文的阐述与分析，给读者一些帮助与启发，以便未来实现多中心 互联时选择最适合的技术方案。