[00117176]分布式技术在云数据中心建设中的应用与实践

云南电网有限责任公司面临电力体制改革,开展竞争性业务必须要确保数据中心的高可用率和高服务品质。现有的灾备模式已无法满足开展竞争性业务的需求。随着CSGII系统不断投入运行,同城容灾的RTO与RPO已无法满足需要,而且资源利用率低下。随着技术的发展,未来云计算大数据已成为业界主流,国内外大型云服务提供商大部分都以分布式数据中心的模式对外提供服务。 在进行昆明供电局与曲靖供电局之间大二层网络部署时,大二层网络协议需要对正常的数据包进行重新封装,需要在正常以太网数据包上新增加58Byte的包头。大二层交换机由于受芯片规格所限,不会对超大帧进行分片,同时也不会对分片的数据进行重组,当大于1500Byte的大二层数据包传输到中间的网络设备、安全设备后,中间的设备会对大数据包进行分片,但是由于大二层交换机在收到这种被分片的数据包后,不能够对数据包进行重组,以至最后将这类型的数据包全部丢弃,最终造成大二层上的业务不正常。经过深入研究, 首次提出将数据包MTU值从源头进行解决的理念,最终完美的解决了昆明供电局与曲靖供电局大数据包部分正常在大二层网络上传输的问题。 昆明供电局与曲靖供电局两个机房间距离超过100KM,为实现超长距离两地的分布式存储,首次提出将开源的openstack cinder技术与商业的EMC Scale IO结合,最终实现了昆明供电局与曲靖供电局两地的分布式存储。 为实现分布式数据中心计算资源的分配及调度,在虚拟运算资源出现运行故障或者信息系统需要检修时,计算资源可以利用虚拟化在线迁移功能实现无缝的转移,保障信息系统不间断运行,首次提出通过开源的openstack nova技术来管理跨数据中心的计算资源。 为实现跨多个数据中心的分布式数据库,首次提出通过开源的HAproxry+keepalive实现MYcat中间件的负载均衡,其次通过MyCat统一管理所有的数据源,后端数据库集群对前端应用程序透明。 创新性地提出自主知识产权的分布式运行框架,实现了应用层的负载均衡,最终实现业务的多活部署。 利用以上成果,已经在昆明供电局与曲靖供电局搭建了分布式数据中心验证测试环境,并部署了供应商履约评价系统。 关键技术如下： 1、大二层网络：华为EVN、华为VXLAN-EVPN 2、分布式存储：openstack cinder+EMC Scale IO 3、分布式计算：openstack NOVA 4、分布式数据库：HAproxy+Mycat+MySQL 5、分布式运行平台：健康管理、负载均衡、分布式事物、消息队列 创新点如下： 1、首次实现业务跨远距离双活 首次在云南电网实现了100KM以上的远距离业务双活,以往的业务双活只能依靠专用网络通道,建设在同城30KM范围以内。此次项目通过IP网络承载的远距离共享存储、分布式数据库等技术,在云南电网实现了100KM以上的远距离业务双活。 2、首次通过修改服务器配置,实现异地二层网络贯通 通过对服务器MTU（单个数据包大小）参数配置,首次在云南电网现有网络基础上实现大二层网络贯通。可有效保护现有投资,为快速构建异地分布式数据中心网络提供了技术基础。 3、创新性地提出自主知识产权的分布式运行框架 以开源技术（zookeeper、dubbo）为基础,开发了分布式运行框架。通过框架解决了分布式环境中的一致性、远程调用问题。降低了分布式开发的难度。