引言
省级电网企业数据中心信息网络是电网公司信息网中最核心的网络部位，作为企业信息系统运行的重要支撑，数据中心信息网络为电网公司的生产、经营和管理类系统提供基本的数据传输通道。随着国家电网公司“三集五大”建设和改革发展的需要，作为改革发展重要支撑手段的信息系统建设取得了长足发展和重大突破，实现了企业关键系统在国网和省公司的两级集中部署。省公司数据中心集中部署的重要信息系统越来越多，系统交换数据量越来越大。由于电网企业关乎国计民生，电力客户和电网企业对信息系统的连续稳定运行要求非常高，十二五期间国家电网还将开展云计算和硬件资源池建设。所以，支撑核心系统运行的省公司数据中心信息网络面临着“高性能、高带宽、高可靠、高灵活性”的应用需求。为适应电网企业这种新形势下的网络需求，数据中心网络需要不断优化结构。
网络虚拟化是当前网络发展中重要的研究内容，并且是下一代网络的重要发展方向，其关键思想是实现网络各层的横向整合，将交换网络每一层的多台物理设备使用虚拟化技术形成一个统一的交换架构，减少了逻辑上的设备数量，增加网络对业务部署的灵活性。
虚拟化整合后的网络系统，对外表现为单台物理设备，因此，在保持网络基本互联条件下(图1左)，可将一对虚拟系统之间的多条线缆进行链路捆绑聚合动作(图1中)，从而将不同网络层之间的网状互联简化成单条逻辑链路并增加带宽(图1右)。
图1 网络横向虚拟化的整合过程
1 现状分析
某省电网企业数据中心网络经过多年的发展和建设，建成了分布在黄山路电网调度大楼、黄山路第二办公楼、芜湖路办公楼三地信息机房的数据中心核心网络。改造前省公司数据中心核心网络是呈星型网络结构，以黄山路数据中心为网络核心节点，黄山路第二办公楼和芜湖路数据中心分别部署一套汇聚交换机，三地机房的接人层交换机经过本地机房汇聚交换机星状接人网络。
随着省公司数据中心集中部署的应用系统不断增加，现有数据中心网络的技术缺陷和结构弊端日益凸显，主要表现在以下几个方面:
1)单网络出口:虽然有三地数据中心，但是网络出口只位于黄山路信息机房一处，一旦该节点核心交换机故障或停机检修将造成整个数据中心网络对外联络中断。同时该节点核心交换机负载很高，业务板卡槽位已满配，扩容有难度。
2)设备资源利用率不高:网络核心节点、三地机房的网络汇聚设备全部采用双机部署。核心交换机双机运行虚拟路由器冗余协议(virtualrouter redundancy protocol，VRRP)实现双机热备。受到VRRP技术制约，两台核心交换机在同一时刻其实只有一台负责业务数据的转发，另外一台处于热备状态。
3)网络结构复杂:整个网络逻辑结构虽然是星状，但是设备与设备之间的互联链路是全连接(fullmesh)的结构，拓扑关系复杂。
4)链路资源利用率不高:由于网络在二层转发层面需要按照固定无环的网络结构转发，所以再复杂的物理连接链路最终在逻辑上通过生成树算法协议(spanning tree protocol，STP)算法计算后只表现为单链路在发挥作用，故full mesh的二层链路只有一条链路在真正发挥作用。
5)网络收敛慢:因为是星状的二层交换网络冗余全依赖STP协议二层收敛，网关依靠VRRP收敛，一旦网络中有设备和链路异常，STP全网收敛时间至少在30秒以上。
2 改造方案
2. 1总体方案
该省电网数据中心网络改造一方面对原有网络架构改造，将原来的单核心网络节点改造成分布式的三地机房分别部署核心交换机，三个网络节点间的核心交换机背靠背互联形成环状网络，并分别在黄山路数据中心和芜湖路数据中心建立与广域网的互联出口，形成环网双出口的核心网络结构;另一方面引人网络虚拟化技术，所有的核心节点使用H3 C12508 Tb级别的数据中心路由交换机双机部署，所有的接入层交换机使用H3C 7500E系列交换机双机部署，使用IRF2技术将每个节点的交换机虚拟成一台逻辑交换机。虚拟后的核心交换机与虚拟后的接人交换机直连，摒弃了网络核心层、汇聚层、接人层的传统三层结构，使用核心层直连接人层方式，形成扁平化的统一虚拟化交换网络。
图2 省电网企业数据中心网络改造方案
2. 2统一交换架构实现方案
因为该省电网企业三地数据中心机房互为备份关系，设计人员在设计网络架构时保留三地互备关系，重点将各个机房的网络资源进行整合。整合方案是以高端的H3C12508数据中心级交换机作为核心，双机部署使用IRF2虚拟化形成一个逻辑的核心交换设备;以H3C 7500E系列交换机作为接入，在每机房的集中配线柜双机部署并使用IRF2形成一个逻辑接人设备;逻辑接人交换机7500E与逻辑核心交换机12508使用双万兆链路互联并通过链路聚合控制协议(link aggregation control protocol， LACP)捆绑成一个20G逻辑通道。因为所有节点设备都是通过虚拟化后对外互联，所以每个机房就形成逻辑上纯星型的高速交换网络。
图3 统一交换网络示意图
在这个网络中，57500 E不开启三层功能，仅提供二层转发功能，所有的三层以上功能交由核心交换机12508处理。因为设备间有足够的带宽，整个机房内是一个高速的统一交换网络。
根据三个数据中心全部改造需求，安徽省电力公司在三地机房10个分区总计部署了6台12508交换机形成三个机房的核心节点，部署了20台7500E交换机形成了10个接入节点。
2. 3设备间带宽设计方案
数据中心网络每两个逻辑节点之间的4台设备呈口字型互联，2个逻辑节点链路通过LACP实现了双链路逻辑捆绑，聚合后的双链路同时转发数据并使用HASH算法负载均衡。链路聚合实现了网络逻辑节点间20G的高速网络带宽(如果有需要，可以聚合更多接口获取更大带宽)。
2. 4虚拟机接人和网络动态迁移方案
网络设备与终端主机的互联接口工作方式因为主机的工作方式变化而有所不同。传统上一个主机只运行一个应用系统，这时候其上联交换机接口会明确地工作在接入(access)模式下。随着虚拟主机(virtual machine ， VM )应用部署，物理服务器上可能运行多个虚拟服务器，而且物理主机上不同的VM可能用不同的子网IP。
网络改造方案设计将子网的网关部署在12508核心交换机上，7500E交换机纯做二层接入，系统间网络通过ULAN技术实现逻辑分区，从而实现了整个物理机房的大二层交换。这时候再将VM宿主物理服务器与交换机接口工作模式配置为trunk模式，VM可以根据802. 1 Q协议中的VLAN标签对进出的数据包按标签识别处理，确保转发给需要的VM。因为整个机房二层互通，所以VM可以在机房不同位置的宿主物理服务器上灵活迁移应用。
2. 5 MAD实现方案
因为数据中心全网的网络节点通过IRF2虚拟化，当虚拟化堆叠链路发生断裂的时候，原来的IRF堆叠系统可能会分裂成为两台上全局配置完全一致的IRF设备。这些IRF堆叠设备同时运行在网络中可能会引起多种网络故障，如IP地址冲突、STP协议计算出错，而且原来跨设备的链路聚合也会出现问题。为了提高IRF系统的可用性则需要这样一种机制:在IRF堆叠链路发生故障断裂、堆叠分裂时，能够检测出组网环境中存在的多台IRF堆叠设备，并提供相应的处理方式使得网络能够正常运行。这种机制就是MAD，即多Active检测。
方案设计时在两台虚拟化设备上开启建立专用的监测VLAN接口，用专用线路互联，并使能基于双向转发检测(bidirectional forwarding detection ， BFD)分裂检测功能。BFD在两台设备间建立会话，会话建立后会周期性地快速发送BFD报文，如果在检测时间内没有收到BFD报文则认为该双向转发路径发生了故障，通知被服务的上层MAD应用进行相应的处理。
MAD机制收到BFD通知后立即启动措施为网络只保留一个Active设备，而将其它的Active的业务口关闭，防止多台配置相同的设备对组网环境产生影响。
3 基于虚拟化技术的数据中心网络改造优势
3. 1网络简化
数据中心网络全面使用虚拟化技术组网后，网络节点和链路的逻辑表现更加简单。
(1)网络节点简化
网络设备虚拟化后，IRF2技术屏蔽了IRF2系统内成员设备的物理差异，网络节点内的两台物理交换机对外表现为一台网络设备在服务。不论在网管上还是设备操作配置上，完全可以通过IRF2的管理层面对设备一次性监视和管理。
(2)拓扑结构简化
虚拟化后的网络因为屏蔽了物理差异，所以传统上LACP对跨设备链路聚合无法实现的问题迎刃而解。虚拟化设备整体表现为一台设备，所以两个网络节点间4台设备互联完全可以当做两个逻辑设备互联。从而使原来复杂的full mesh链路在虚拟化网络中通过跨设备的链路聚合变成了简单的2个设备互联。
3. 2网络资源利用率提高
(1)设备全利用
使用IRF2虚拟化后的逻辑设备会从物理设备的主控板中进行角色选举，选出master和slave，masto:统一指挥所有的物理交换机协同工作，其他的slave作为备用引擎，解决了VRRP中有一台设备资源闲置的问题。
(2)通道全利用
使用IRF2虚拟化设备解决了跨设备链路聚合问题，所以网络节点间的链路互联可以依托LACP实现全部的聚合，网络节点之间不运行STP协议，所有的互联链路不再被STP阻塞，提高了链路利用率、增加了链路带宽。
3. 3网络收敛速度快
(1)设备故障的网路收敛
使用VRRP协议进行双机热备时，VRRP协议的切换速度取决于它的hello以及配置的抢占速度，不过至少是在秒级。而IRF对设备的切换检测时间是毫秒级，用户基本感觉不到网络故障收敛时的链路中断。
(2)链路故障的网路收敛
在网络没有虚拟化之前，二层网络的收敛完全依靠STP协议对拓扑链路重新计算。根据STP切换状态过程，备用链路切换需要经过从blocking一>listening一>learning一>forwarding过程，总计需要50秒时间。即时使用快速生成树RSTP协议减少等待时间，但是仍然停留在秒级的切换。虚拟化后的链路使用了LACP协议捆绑，当其中一个链路故障时，其余的链路仍然正常发送数据，这种检测时间在SOms内完成，用户感觉不到网络中断，满足电网企业网络低延时需求。我们知道即使IP电话也只需要保证100ms内的延时即可实现无损通话。
3.4安全性更高
(1)网架更坚强
数据中心网架从星状拓扑改造成三地核心互联的环状并设立了双出口，不但增加了跨机房的数据交换路径冗余性，而且巩固了三体机房形成的整体数据中心网络可靠性。即使任意一个机房发生意外，仍然有两个机房的网络能够对外提供服务。另外，通过数据中心双出口改造，数据中心与广域网之间的对接更加可靠。
(2)网络节点更加强
传统的网络节点是通过设备1 +1和引擎1 +1实现节点冗余。虚拟化后的网络节点在设备同时发挥作用的基础上仍保证设备级1十1冗余，同时IRF2系统内的两台设备的总计4块引擎是1 +3冗余关系，网络节点更可靠。
4 结语
该省电网企业成功地将网络虚拟化技术应用于数据中心网络改造，数据中心网络更加安全、高效和扁平化，为信息系统向省公司的集中部署提供了良好的网络基础环境。今后电网企业数据中心的网络发展还应当结合信息系统虚拟化和国家电网公司硬件资源池建设开展研究，为下一步国家电网电力云计算建设提供更可靠、更灵活的网络服务。
核心关注：拓步ERP系统平台是覆盖了众多的业务领域、行业应用，蕴涵了丰富的ERP管理思想，集成了ERP软件业务管理理念，功能涉及供应链、成本、制造、CRM、HR等众多业务领域的管理，全面涵盖了企业关注ERP管理系统的核心领域，是众多中小企业信息化建设***的ERP管理软件信赖品牌。
