【交易技术前沿】基于SDN架构的数据中心园区网设计与应用

本文选自《交易技术前沿》总第四十三期文章（2021年3月）

孙君文 上交所技术有限责任公司 金桥运行部 

邮箱:jwsun@sse.com.cn

　　随着云计算的不断发展和深入，基于云计算、云网络的网络虚拟化技术已广泛应用于企业局域网或广域网，作为提供基础设施与应用服务的重要平台，数据中心近几年的投入比例也在不断的加大，数据中心或企业园区网的网络状况和应用承受能力也在逐渐的提高。但是从目前来说，园区网在流量灵活调度，业务快速部署，安全性等方面还存在一定的问题。本文分析园区网现在情况，利用虚拟化和SDN技术，对数据中心园区网架构进行了重新设计，从而达到增强内网的安全性，提升用户互联网访问体验，满足各系统应用需求，简化网络维护管理难度，节约人力成本及后期扩容成本，根据需求提出了访问控制和业务随行的新方法。

　　随着人工智能、云计算、互联网业务的快速发展，当前，数据中心已成为企业或机构管理IT基础设施与应用，提供基础设施与应用服务的重要平台。随着更加先进的技术融合的发展，建设新一代数据中心成为企业普遍关心的热点话题，它不仅代表着IT产业发展的潮流，也反映了不同IT用户最迫切的核心需求。截止至目前，全球数据中心行业已经逐渐实现由资源出售向提供综合服务的方向转变。为满足数据中心用户各种网络互连、灵活调度、安全控制等需求，数据中心服务提供商通常都会部署园区网，同时由于应用架构的技术升级，应用间的互访关系日益复杂，实现网络的自动化部署与虚拟化成为一个需要尽快解决的问题。本文介绍一种基于SDN架构的数据中心园区网设计方案，为下一代数据中心园区网提供了一种新的思路。

　　利用SDN架构，在同一张underlay物理网络中将上层业务网络进行虚拟化部署，为不同用户或者不同业务构建多个overlay虚拟网络，在满足不同用户安全隔离的前提下，实现底层物理资源复用，满足用户园区内部互联、统一ISP出口、机房环境监控、代监控、混合云互联等多种业务需求。

2.1 underlay设计方案

图1 SDN园区网物理设备部署方案

　　underlay网络架构采用经典局域网SDN架构，Fabric采用Spine-Leaf两层扁平化设计，两台设备堆叠作为Spine/Border，Leaf设备上行两根线连接每个Spine/Border设备，上联端口初期为10G端口，后续根据业务情况可扩容至40G。Leaf设备和Spine设备均为三层互联，在Underlay运行OSPF三层路由协议打通Underlay网络，并再在各设备上运行BGP路由协议。采用OSPF作为SDN网络与核心交换机互联获取数据中心外部网络路由，OSPF同时作为SDN网络内部MP-BGP路由协议的IGP承载协议。Leaf设备和Spine设备之间通过ECMP实现上下行流量链路负载和链路备份。Spine和Leaf各设备采用自动化上线，默认采用管理口地址作为OSPF router id。OSPF区域的划分：OSPF进程区域号均统一定义为Area 0。OSPF网络互联IP地址均借用设备自动上线时获得的VTEP地址。Spine/Border物理旁挂防火墙，实现南北向安全访问控制和租户间访问控制。为提高出口的高冗余性和降低与外高桥对接的运维难度，Spine/Border和PE均为堆叠，Spine/Border与PE之间采用Full Mesh连接。

2.2 overlay设计方案

　　Overlay层面的路由协议通过MP-BGP EVPN自动学习机制，可以实现VxLAN隧道的自动建立，实现VxLAN标签与VLAN标签或物理端口的关联，然后通过建立不同的隧道满足租户到不同目的地址的互访，同时为每个租户建立一个虚拟路由表，实现安全隔离。主要实现如下场景：
　　■ 把不同物理房间或建筑之间的Leaf打通，实现数据中心内部交叉互联；
　　■ 把租户设备与ISP出口打通，并设置出口网关，实现租户访问ISP需求，包括互联网、云联网等；
　　■ 把租户设备与服务器区监控服务器打通，实现数据中心代监控服务；
　　■ 把租户设备与机房动环监控设备打通，满足用户监控数据调阅需求；
　　■ 把租户设备与数据中心云服务打通，满足用户物理机柜和云服务互联需求，实现混合云接入；
　　■ 为未来园区网新业务提供平台。

图2 SDN园区网网络虚拟化部署方案

　　如图2所示，整个Overlay层面可分为3个区域：租户区域、SDN网络区域、外部区域。其中租户区域为数据中心各类用户自有区域，可以服务器接入、终端接入或者网络设备接入；SDN区域为数据中心园区网的设备，按照Spine-Leaf架构搭建；外部区域为一般为园区统一提供的服务，可根据不同的安全要求在边界部署防火墙等安全设备。

2.3 安全网络规划

　　Overlay网络部署两台防火墙按需提供安全隔离，两台防火墙使用IRF技术部署在border外，与border使用万兆光口互联，作为南北向访问流量的安全资源池

图3 防火墙部署方案

　　■ 安全外网：用于FW与外网之间流量；
　　■ 安全内网：用于FW和LB之间流量，占用一个VLAN；
　　■ 租户承载网：用于FW和LB与租户VXLAN/VLAN网络之间流量，占用一个VLAN；
　　■ 虚拟资源管理网：用于FW和LB与VCFC之间流量，要求与VCFC互通；
　　■ 跨虚拟路由器互通网：用于FW Context互通。

2.4 网络自动化上线流程

　　1）Underlay自动化的主要过程如下：

图4 Underlay自动化上线流程

　　1、 交换机设备连接业务网、带外管理网。
　　2、 在SDN控制器上预配置TFTP、DHCP、SYSLOG服务，管理网地址池、VTEP地址池。设备自动化上线过程中，需要从DHCP获取一个IP地址用于与控制器通信，这个IP地址池称为管理网地址池。
　　3、 在SDN控制器上创建Fabric、自动化模板、指定Underlay协议、DHCP服务器、管理网地址池、VTEP地址池。
　　4、 交换机管理口连入管理网络后上电，发起DHCP流程，申请自动化上线IP地址（从自动化上线地址池中分配）。
　　5、 DHCP Server给设备下发自动化上线IP地址，同时下发了两个Option：TFTP Server IP和模板名称（以abc为例）。
　　6、 设备根据DHCP携带的Option获取TFTP Server地址和模板名称（Boot-Filename格式为xxxx.template）后，根据默认角色和模板名称生成模板文件的名称abc_leaf.template或abc_spine.template，并向TFTP服务器获取该名称的模板和设备清单文件（device_tag.csv），通过设备序列号匹配设备角色等精细配置，并根据设备模板文件下发配置，进行设备Underlay自动化配置初始化。
　　a) 如果设备当前默认角色与设备清单中指定的角色不一致，会进行角色切换并自动重启，重新进入自动化流程。
　　b) 如果设备当前版本与模板文件中指定的版本信息不一致，会从TFTP服务中获取设备版本自动升级并重启，重新进入自动化流程。
　　7、 设备完成自动化后，控制器获取设备序列号信息，启动纳管流程：
　　a) 下发VTEP IP地址和BGP配置。
　　b) 基于设备的自动化上线IP，从管理IP地址池分配IP地址下发到设备管理接口上，替换自动化上线IP，成为设备的管理IP地址。自动化上线IP将被设备释放，控制器同时会将自动化上线IP的静态绑定从DHCP服务器中删除。用户可以通过设备清单指定管理IP地址，也可从管理IP地址池自动分配。
　　c) 控制器通过管理IP地址和设备建立NETCONF等南向连接，并纳管设备。
　　8、 在控制器上可以查看到设备，自动化上线完成。
　　2）Overlay自动化：网络虚拟化
　　Overlay采用业内通用的标准BGP EVPN和VxLAN协议，在Underlay网络基础上构建了多个按需分配的Overlay网络。Overlay网络是一种网络架构上叠加的虚拟化技术模式，建立在已有网络上的虚拟网，由逻辑节点和逻辑链路构成，其基本框架是对基础网络不进行大规模修改的条件下，实现网络的虚拟化。
　　传统自学习方式构建VxLAN需要人工手动配置隧道，配置复杂。地址同步需要依赖数据报文泛洪方式实现，产生大量泛洪报文，不适合大规模组网。EVPN通过MP-BGP自动建立和关联VxLAN隧道，自动同步MAC和IP地址，很好的解决了这些问题。EVPN（Ethernet Virtual Private Network，以太网虚拟专用网络）是一种二层VPN技术，控制平面采用MP-BGP通告EVPN路由信息，数据平面支持采用VxLAN封装方式转发报文。租户的物理站点分散在不同位置时，EVPN可以基于已有的服务提供商或企业IP网络，为同一租户的相同子网提供二层互联；通过EVPN网关为同一租户的不同子网提供三层互联，并为其提供与外部网络的三层互联。

图5 EVPN的自动隧道关联和地址同步

　　EVPN不仅继承了MP-BGP和VxLAN的优势，还提供了新的功能。EVPN具有如下特点：
　　■ 简化配置：通过MP-BGP实现VTEP自动发现、VxLAN隧道自动建立、VxLAN隧道与VxLAN自动关联，无需用户手工配置，降低网络部署难度。
　　■ 分离控制平面与数据平面：控制平面负责发布路由信息，数据平面负责转发报文，分工明确，易于管理。
　　■ 支持多归属站点的主备备份：当同一个站点通过多台VTEP接入VxLAN网络时，连接该站点的多条路径作为主备路径进行备份，以避免单点故障。
　　■ 支持对称IRB（Integrated Bridging and Routing，集成的桥接和路由）：MP-BGP同时发布二层MAC地址和三层路由信息，VTEP既可以进行二层转发，也可以进行三层路由。这样，不仅可以保证流量采用最优路径转发，还可以减少广播流量。

　　基于以上设计方案，并结合局域网SDN的技术实现，我们初步判断该方案可以满足数据中心园区网各类用户需求，但是由于局域网SDN技术主要设计用于云计算下虚拟机自动化管理，用于园区网还需解决一些技术难题。下面将逐个分析不同场景的实现方法。

3.1 场景一 数据中心内部互联

　　数据中心按照不同功能区域，一般划分为机房区域、办公区域、测试机房、监控室、业务操作区等，而大型数据中心可能会有多栋建筑，生产、办公、测试、监控服务器以及各类终端之间都需要网络连接，不同区域之间以及不同建筑之间面临大量的互连需求，传统的方式是使用综合布线系统进行交叉互连，如果是自用数据中心一般没有问题，而托管数据中心用户数量众多，如全部使用交叉互连将对跨楼管井和楼内桥架的容量是一个非常大的困难，受限于各类管道的空间，数据中心的管井和桥架也不能无限制的扩大，因此通过搭建数据中心园区网将是一个比较好的解决方案，SDN园区网可以在不同区域部署接入交换机，用户通过交换机实现不同区域互访，可实现用户办公、生产、监控、混合云等多种需求。该场景满足需求主要有：
　　1） 用户不同区域网络互连，并可按照用户的需求划分不同局域网
　　2） 满足用户多种互连需求，包括二层透明通道和三层ip互连
　　3） 用户自行分配自己的ip网段，不同用户之间ip可复用
　　4） 不同用户之间安全隔离，防止信息泄露

 图6 园区网应用场景一

　　技术实现要点：
　　■ 用户网络透传
　　传统局域网SDN一般Leaf是通过trunk口与服务器互连，该方式在园区网场景下依然适用，如用户想把SDN网络看成一根“网线”，则需要手工进行少量配置，将vlan-vxlan映射实例的封装格式设置成default，即不管带不带vlan上来都封装成某个vxlan ID。
　　■ 用户终端互访
　　该场景类似于传统局域网SDN环境下接入一台裸金属服务器，只需将vlan-vxlan映射实例的封装格式设置成untag，该配置支持SDN控制器下发。

3.2 场景二 统一互联网出口

　　目前用户IT系统访问互联网的需求越来越多，对互联网的带宽和可靠性要求也越来越高，而单一运营商接入在冗余性、跨运营商访问等方面还存在一定的问题，而申请多家运营商线路并实现自动切换对企业来说又是一笔不小的设备和维护成本。为实现资源聚合，降低用户网络带宽的成本，数据中心可以为用户提供大带宽，可进行BGP自动选路的互联网出口服务，用户通过共享统一的互联网出口，一方面降低了成本，一方面提升了可靠性，SDN园区网可以通过设置外部网络和出口网关来满足该需求，具体包括：
　　1） 不同用户使用统一互联网出口；
　　2） 满足用户多种互连需求，包括二层接入和三层网间网接入；
　　3） 用户自行分配自己的ip网段，不同用户之间ip可复用；
　　4） 不同用户之间安全隔离，防止信息泄露。

图7 园区网应用场景二

　　技术实现要点：
　　■ 用户二层网络接入
　　该接入方式用户网关设置在Leaf上，一般使用私网地址，访问互联网时需要先进行NAT地址转换，SDN园区网部署了一个service Leaf区域，通过给租户出口网关配置L4-L7层的资源，可以实现用户地址NAT转换。
　　■ 用户三层网间网接入
　　如图8所示，该接入方式可将网间网地址看成“服务器和三层网关”，其中三层网关地址在Leaf交换机上，服务器地址在用户上联交换机上，此外在租户路由表中再添加一条指向用户业务地址的静态路由，通过EVPN在租户路由表中全网通告。

图8 SDN园区网用户网间网接入方案

3.3 场景三 不同用户间互访

　　托管数据中心除了机柜托管业务，其最大的核心竞争力是利用行业聚集效应吸引行业用户以及上下游众多的合作商，构建横向联合，纵向深化的战略格局，最终打造合作共赢的生态圈，因此数据中心内部不同用户之间的网络互联。
　　1） 不同客户之间网络互访，可按需进行防火墙安全控制；
　　2） 满足用户多种互连需求，包括二层接入和三层网间网接入；
　　3） 不同用户之间安全隔离，防止信息泄露。

图9 园区网应用场景三

　　技术实现要点：
　　该场景主要利用SDN园区网将用户被管设备（一般通过带外网管网连接）与园区统一操作监控网打通，具体实现方法为将园区统一操作监控网看成一个租户并创建一个虚拟路由器，然后在SDN控制器创建“虚拟路由器连接”将租户与园区的2个虚拟路由器打通，其中二层接入和三层网间网接入两种方式的实现方法与场景一、场景二相同，此外还可以在创建“虚拟路由器连接”时关联Service Leaf下的L4-L7层防火墙资源，为数据包互访提供访问控制。

3.4 场景四 代运维监控服务

　　托管数据中心用户可能分散在全国各个地区，远程用户或IT规模较小的客户一般不会部署数据中心7*24小时常驻人员，而IT系统需要保持业务连续性和应急时效性，因此客户有大量代运维的需求。数据中心可搭建统一的运维监控网并将该网络与用户网管网连通，以实现帮助用户代监控、代操作的目的。技术实现要点与场景三类似，利用SDN园区网将用户被管设备（一般通过带外网管网连接）与园区统一操作监控网打通，具体实现方法为将园区统一操作监控网看成一个租户，创建虚拟路由器，将2个租户的网络连通。

图10 园区网应用场景四

　　SDN技术作为未来网络技术的发展方向，已经广泛应用于数据中心局域网和广域网，本文提出了一种托管数据中心服务于市场用户的园区网的设计方案，实现了在一张物理网络上承载多种业务及多用户相互隔离的功能，为托管数据中心的增值服务提供了一种新的思路，该方案目前主要基于局域网SDN技术，在场景应用时进行适当适配和创新，随着托管数据中心业务不断发展，园区网将成为用户服务的重要系统，围绕快速部署、定制服务、效率提升的目标，未来还可以进一步对现有功能进行拓展和改进：
　　■ 用户自服务平台：在整个系统中增加用户认证服务器和自服务平台，并与SDN控制器联动，实现用户在不同位置，不同ip的情况下，保证获得相同的网络访问策略，该场景可为临时访客业务开通提供极大的便利，只需为用户分配账号和预定义的策略，用户可随时随地快速接入园区网相关业务。
　　■ 多运营商出口：提供多运营商互联网出口服务，满足不同的用户需求。
　　■ 更加丰富的业务场景：未来基于SDN架构的园区网可以对接基础设施相关系统，为用户提供门禁卡自助申请，设备电量查阅，机房温湿度实时监控等各类服务，不断提升服务能力和水平。

--------------------------
上海证券交易所为证券公司、基金管理公司等市场参与者及相关行业机构提供交易技术支持与服务，包括日常交易技术支持、技术交流研讨、市场调查反馈、证券信息技术知识库、测试等服务。