基于软件定义网络的反饱和分组云负载均衡

admin

文字版：
JournalofComputerApplications
计算机应用，2016，36(6)：1520—1525
ISSN1001．9081
CODENJYIIDU
2016一06．10
http：／／www．joea．cn
文章编号：1001-9081(2016)06·1520—06DOI：10．11772／j．issn．1001-9081．2016．06．1520
基于软件定义网络的反饱和分组云负载均衡
何倩’，胡启伟，王勇，阳鑫磊，刘曙铭
(桂林电子科技大学云安全与云服务工程技术研究中心，广西桂林541004)
(·通信作者电子邮箱heqian@guet．edu．ca)
摘要：云计算中统计复用是其显著特点，通过使用虚拟化技术可以提高物理资源利用率。针对云虚拟机集群
需要考虑资源利用的负载均衡问题，面向OpenStack云平台，提出基于软件定义网络(SDN)的反饱和分组负载均衡
(ASGS)方法。云主机按权值分配到不同的分组，SDN控制器利用探针根据不同分组周期性获取云主机负载。当请
求到来时，均衡器以每组云主机平均权值为概率，随机选择一组，并在组内通过轮询选择一台合适的后端。为避免某
台后端出现突发请求利用资源过多造成的云主机宕机现象，对较高权值的云主机预先加上一个参数，增高权值，使其
处于高负载状态，让其接收更少的请求。实验结果表明，所提算法使各云主机不管请求量如何变化，随着时间的变化
集群中云主机的资源利用率的标准方差比随机和轮询波动更小，更趋近于0，使得云主机集群的负载更均衡。
关键词：OpenStack；软件定义网络；OpenDaylight；OpenFlow；负载均衡
中图分类号：TP393文献标志码：A
Softwaredefinednetworkbasedanti-saturatedgroupingcloudloadbalance
HEQian‘，HUQiwei，WANGYong，YANGXinlei，LIUShuming
(CloudSecurityandCloudServicesEngineenngTechnologyResearchCenter，GuilinUniversityofElectronicTechnology,GuilinGuangxi541004，China)
Abstract：Inthecloudcomputing，thestatisticalmultiplexingisaremarkablecharacter，andtheutilizationeflqeieneyof
physicalresourceCanbeimprovedthroughthevirtualtechnology．Aimingattheloadbalancingproblemoftheresource
utilizationneededtobediscussedinthecloudvirtualmachinecluster，aSoftwareDefinedNetwork(SDN)basedAnti·
SaturatedGroupingStrategy(ASGS)methodWasproposedaccordingtotheOpenStackcloudplatform．Thecloudhostswere
separatedintodifferentgroupsbasedontheirweights，andthentheloadinformationofcloudhostswereobtainedbytheSDN
controllerwhichusedtheprobewithdifferentgroupsperiodically．Whenarequestcame，agroupWasselectedrandomlyusing
the
averageweightofeachgroupcloudhostsbytheloadbalaneer，andaproperbackendWaschosenbythepollingmethod
withinthe
group．Inordertoavoidthecloudhostdowntimecausedbythesuddenincreasedrequestsfortoomanyresourcesof
abackend，thecloudhostwithhigherweightWasgivenadefaultparametertoincreasetheweight，andthenthehostwould
receivefewer
requestsonthehigherloadstatus．Theexperimentalresultsshowthat，whatevertherequestnumberchanges，
theresourceutilizationstandardvarianceoftheproposedASGSisalwayssmallerthantherandomandroundrobinmethods
whentimevaries，whichisnearly0．TheproposedASGShasbetterloadbalanceforthecloudhostcluster．
Keywords：OpenStack；SoftwareDefinedNetwork(SDN)；OpenDaylight；OpenFlow；loadbalancing
0引言
云计算技术日益成熟，因其具有资源利用最大化的能力
而被应用得越来越广泛…。对于在创业初期的公司和小型
公司，借助云平台，可以减少硬件成本和运维成本；对于拥有
大型数据中心的公司，可以使用云计算将自己的服务迁移到
云上，高效利用数据中心资源，还可以作为云提供商(Cloud
Provider，CP)，向客户提供云计算服务，如基础设施即服务
(InfrastructureasaService，IaaS)、平台即服务(Plafforillasa
Service，PaaS)、软件即服务(SoftwareasaService，SaaS)等。
虽然云计算在计算虚拟化、存储虚拟化方面技术非常成熟，但
在网络虚拟化方面一直没有驱动力，发展缓慢。
针对云计算在网络虚拟化技术上的不足，软件定义网络
(SoftwareDefinedNetwork，SDN)能够很好地满足云计算下网
络虚拟化的需求。OpenFlow协议’2o提供了网络创新的一种
全新的方式，成为实现SDN的代表。相比传统交换机将软硬
件绑定在一起的方式，OpenFlow将数据转发平面和控制平面
分离开来，数据转发平面负责数据转发，控制平面负责整个
OpenFlow网元的控制，网元和控制平面之间的通信使用加密
的OpenFlow协议。通过在应用层部署应用，可使控制器向交
换机下发流表，进而网络可以按照自己的意愿进行运作，实现
网络可编程，以此对网络的控制更加细粒度、方便和灵活。
服务提供商(ServiceProvider，SP)为了提高服务的可扩
展性和稳定性，将越来越多的服务放到云中。针对服务的访
收稿日期：2015．11．10；修回日期：2016—01一18。
基金项目：国家自然科学基金资助项目(61201250，61163057，61163058)；广西自动检测技术与仪器重点实验室基金资助项目(YQl5102)；
云计算与复杂系统高校重点实验室基金资助项目(14102)；桂林电子科技大学研究生教育创新计划资助项目(GDYCSZ201467)。
作者简介：何倩(1979一)，男，湖南郴州人，教授，博士，CCF会员，主要研究方向：分布式计算；胡启伟(1990一)，男，重庆人，硕士研究生，主
要研究方向：云计算、软件定义网络；王勇(1964一)，男，四川阆中人，教授，博士，CCF会员，主要研究方向：云计算、信息安全；阳鑫磊(1991一)，
男．湖南郴州人，硕士，主要研究方向：云计算、软件定义网络；刘曙铭(1990一)，男，四川广元人，硕士，主要研究方向：云计算。
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。第6期何倩等：基于软件定义网络的反饱和分组云负载均衡152l
问量不同，云租户租用资源的方式可以分为两种：第一种，当
访问量一直很小，云租户可以租用少量资源，若访问量突然增
大，云租户可以弹性增加租用的云资源来满足服务需求，不用
自己专门购买备用服务器；第二种，当访问量一直都很大，云
租户就需要固定租用一定量的云主机组成一个集群。以上两
种方式很好地解决了云租户对总的虚拟化资源的弹性需求，
然而当访问量突增以及一直很大的时候，会产生资源使用不
均衡的问题。通过使用负载均衡技术可以将请求均衡的分发
到各个服务器，不仅可以更好地缓解倾斜、分布式拒绝服务
(DistributedDenimofService，DDoS)攻击旧1，还能对云主机
集群的资源利用最大化，也能够获得更短的服务响应时间。
本文研究了一个SDN在云数据中心实现网络虚拟化的
案例，面向OpenStack云平台，提出基于SDN的反饱和分组负
载均衡(Anti-SaturatedGroupingStrategy，ASGS)方法。SDN
控制器利用探针和不同权值组的周期获取云主机运行负载，
并按不同云主机权值分配到不同的组，以达到负载均衡。
1相关工作
1．1传统负载均衡策略
随机策略，被转发到负载均衡器的每一个新流，负载均衡
器都会从已注册的服务器中随机地选择一个用于响应客户端
请求HJ。这种策略的缺点是没有考虑服务器的负载。
轮询策略中负载均衡器对接收到的请求，按照一定的顺
序选择服务器，响应客户端的请求”“l。这种策略的缺点也
是没有考虑服务器的负载。
加权最小连接策略是动态权值分配的典型代表，通常应
用于Linux虚拟服务器(LinuxVirtualServer，LVS)的实际应
用。该算法考虑集群系统中各异构机器节点性能不同，结合
每台服务器节点的实际能力来定义服务器节点的权值。7o。
但是加权最小连接调度算法也有其局限性：服务器节点的当
前连接数并不能很好地说明这个节点的负载情况，因为并不
是每个连接所带来的请求需要花费服务器一样的资源；其次，
服务器的权值是管理员手动设定的，不是根据服务器负载正
向反馈设定；最后，若给一台服务器设定较大权值，则这台服
务器将会不断接收到更多的请求，长时间的运行会导致集群
负载高倾斜。
1．2云负载均衡策略
云计算利用统计复用提高了物理资源的利用率，对资源
和任务进行调度以达到负载均衡是其中非常重要的内容。文
献[9—12]在不同层面对云负载均衡技术展开了研究。
Singh等’81提出基于负载均衡算法的自治代理
(AutonomousAgentbasedLoadBalancingalgorithm，A2LB)方
案。当云物理主机收到一个请求后，LoadAgent根据可用的虚
拟机(VirtualMachine，VM)进行映射，若一个VM适配值小
于等于25％则触发均衡。LoadAgent将通告给ChannelAgent
此虚拟机信息，由ChannelAgent查找相似配置的VM，其会初
始化MigrationAgent到其他数据中心去搜索具有相似配置的
VM，将最大记录发给LoadAgent作进一步均衡，不是则重新
选择出一个类似的VM。A2LB方案仅以内存使用率作为触
发均衡的标准。
Mondal等‘9’使用StochasticHillClimbing．A软计算方法
来实现云计算中的负载均衡，其使用随机方法配合任务执行
反馈，若任务未达到预期执行效果，则降低下次分配VM任务
的概率。Dasgupta等¨驯应用遗传算法对云资源作负载均衡，
将处理单元用固定长度的二进制数编码，随机地初始化一个
种群，通过交叉变异等遗传操作得到最优的分配策略。这两
种方法都是通过CloudAnalystsimulator仿真实现并未实际部
署过。
Alonso．Cairo等…o提出一种基于图像分割算法的云计算
负载均衡策略，在每一个工作代理上都会有一个调度线程，将
需要分成多个子图处理的大图调度到最少使用的工作代理
上。Aroca等’121提出在最节能的情况下实现VM到物理机的
调度，并认为VM整合没有额外添加物理机更能有效地智能
用电。
以上研究主要针对虚机分配作负载均衡，都没有针对
OpenStack提出具体实现。
1．3反饱和分组策略
当服务器接收的请求使得其负载高的难以再响应新请求
的时候，称其处于饱和状态。而当分发请求到负载最轻的云
主机时，可能分发的请求会使得其负载变化很大，但其负载信
息还没有得到及时更新，还会不断获得新的请求，可能会使其
处于过载状态。为解决以上两个问题，本文基于OpenFlow，
结合反饱和因子和根据权重将云主机分组。反饱和因子使得
在服务器在要进入饱和状态之前，用一个反饱和因子加速其
进入饱和状态，而并不是分发请求给它让它处于真正意义上
的“饱和”。根据权重将云主机分组，使得请求在轻负载中分
发请求，高负载组暂时不再接受请求的方案，实现云主机的负
载均衡。
2系统架构
在本系统中，整个方案基于OpenStack云计算平台，其有
1个OpenStack控制节点和／7,个计算节点(计算节点里面是云
主机)并将OpenStack网络虚拟化部分交给OpenDaylight控制
器实现。
系统中使用的OpenvSwitch(OVS)和Linuxbridge均是
虚拟网桥‘1…。OpenvSwitch是OpenFlow虚拟交换机，该虚拟
交换机在OpenStackNeutron中被称为集成网桥和物理连接桥
(或称隧道桥)，如图1所示。集成网桥通过虚拟局域网
(VirtualLocalAreaNetwork，VLAN)等方式对不同租户的虚
拟机进行区分，物理连接桥则对集成网桥中的租户流量
VLAN标识转换为物理网络中VLAN标识或使用虚拟可扩展
局域网(VirtualeXtensibleLAN，VXLAN)的方式将不同租户
的流量进行封装，再发送至物理网络，保证不同租户数据隔离
的同时，还能在同一个物理通道上进行数据传输。集成网桥
的两个方向都使用的veth．pair，其是一对直接相连的虚拟网
卡(virtualNIC，vNIC)，一个网卡获得的以太网帧会马上被另
一个网卡收到，veth-pair常被使用为虚拟跳线来连接两个桥。
因整个设计中没有网络节点且为方便虚拟机动态获取IP地
址，把负责动态分配IP地址的动态主机配置协议(Dynamic
HostConfigurationProtocol，DHCP)代理安装在计算节点的集
成网桥上。
Linuxbridge是普通虚拟网桥，且其上和云主机使用的均
是tapdevice。tapdevice是Linuxkernel实现的虚拟网卡，发
送给tapdevice的以太网帧会被客户操作系统接收。
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。1522计算机应用第36卷
客户端客户端服务器服务器
虚拟机0虚拟机H虚拟机0虚拟村tn
ITAP设备llTAP设备llTAP设备llTAP设备l
ITAP设备IlTAP设备lfTAP设备llTAP设备l
Linuxl碉桥I…lLinuxl碉桥lLinuxl碉桥l…lLinuxl积l桥l
veth对端lveth对端Iveth对端lveth对端l
veth对端I…Iveth剥"端Iveth对端I…Iveth对端l
OpenvSwitch集成网桥
I!!!!型塑l
瓜碉
物理连接网矫
VXLAN端点IIethlethflI
实例隧道网络占蹿点l■一佃爨窖鳞孽煞息。．OpenStack
OpenStack计算节点”
图I架构设计
2．1OpenStack网络虚拟化与SDN
OpenStack的Icehouse版本包含了12个集成项目，项目之间
是松耦合的，这些项目由社区驱动或者来自很多供应商和公司的
贡献，包含有Nova(OpenStack计算组件)、Neutron(OpenStack网
络组件)、Hrizon(OpenStack仪表盘组件)等。其中，Neutron管理
Openstack网络，把Neutron作为软件定义网络的一个可扩展性
应用可以非常方便地被SDN控制器使用。
软件定义网络的引入不仅是为克服Neutron的缺陷，而
且是为支持多网络虚拟化技术(一个集中控制平面创建分隔
的租户虚拟网络)：有了SDN的集成，Neutron可以支持大容
量、高密度和多租户云环境的动态特性。
OpenStackNeutron插件架构提供SDN控制器到OpenStack
的集成能力÷这种SDN控制器使用Neutron插件集成技术提供
集中式管理，并且促进OpenStack网络利用应用程序接口
(ApplicationProgramInterface，API)实现可编程性。
SDN控制器．诸如OpenDaylight、RYU和Floodlight，运用
对应的机制驱动，使用指定的插件或者使用二层模块化
(ModularLayer2，ML2)插件，实现Neutron和SDN控制器之
间的通信：OpenStaek与SDN控制器的融合，如图2所示。
·SDN控制器<＼／，
；区巫堕圃匦亟巫壹壶珊叵四i一一
服务和服务抽象
南向协议
je
I坷元(可选的插件代理)
『冬I2OpenStack和SDN控制器的融合
在关于SDN控制器的文章里，网络操作系统如
OpenDaylight、RYU，或者其他网络操作系统，负责提供一个完
整的网络(拓扑)视网，也负责管理(应用、实行和保证)对网
络必要的更新，通过转换需求去配置(和监控)网络元素(物
理的和虚拟的)。典型地，这些对下层网络(和网络元素)的
更新来自运行于SDN控制器上的网络应用。
随着OpenStaekNeutron和SDN控制器的集成，OpenStack
用户所触发的网络改变，被转换成NeutronAPI，由Neutron插
件和对应的SDN控制器上的代理来处理。例如，
OpenDaylight使用北向通信的RESTfulAPI(Representational
StateTransferAPI)与Neutron的ML2插件交互。
2．2基于SDN的负载均衡工作原理
设计中负载均衡的基本工作流程中主要分为两个平台、
三个角色：
1)IaaS平台。由OpenStack实现，是云主机集群的IaaS
提供商。
2)SDN平台。由OpenDaylight实现，是负载均衡器的载
体。
3)云主机集群。是服务提供商在IaaS提供商租赁的云
主机，来向外提供服务。
4)客户端。作为云主机集群向外提供服务的?肖费者。
5)负载均衡器。对客户端的请求，在云主机集群之间提
供分流作用，使集群达到均衡目的。
当客户端(如图1客户端虚拟机)请求云主机服务器集
群(如图1服务器端虚拟机)提供的服务时，这个请求包首先
会通过Linux网桥到达OpenvSwitch集成网桥，请求包根据传
输控制协议／因特网互联协议(TransmissionControlProtocol／
InternetProtocol，TCP／IP)包头生成用于匹配流表是的对应头
部，然后在流表中顺序查表项，若查到就按匹配的表项输出到
某个端口，若没有匹配到，则这个请求包被通过OpenFlow协
议送到控制节点，由控制器里面的负载均衡器对这个请求包
进行分析。同时经过负载均衡器对云主机服务器集群每台云
主机负载信息的动态收集，根据设计的算法，得出这个请求包
应该被送到那个云主机服务器，然后负载均衡器安装流表到
集成网桥，后续的同一个流里面的包，均会匹配到刚下发下来
的流表项，不用再经过控制器，直接通过OpenFlow交换机集
成网桥被转发出去，完成一次客户消费服务提供者提供服务
的过程，也完成了一次负载均衡的过程。
3ASGS负载均衡算法
3．1权值计算
为克服静态算法不了解服务器负载，从而造成集群失衡
的缺点，这里控制器要动态地收集服务器的负载信息，包括中
央处理器(CentralProcessingUnit，CPU)利用率、内存利用率、
网络带宽利用率，分别用c。、M。、B。(i表示是第i台服务器)表
示，则第i台服务器的负载为：
￡。=占l术C。+占2术M，+占3丰B。(1)
其中：∑s。=1；占。表示影响因子，值越大，表明这项性能参
数对这台服务器的影响更大，可以根据均衡服务面向的业务
不同，静态设定占。的大小。
为让均衡器更好地了解每台服务的服务能力，这里对每
台服务器的容量进行收集：
R．=pl木F。+肛2木N。木1000+肛3丰MT,+肛4水BTi(2)
其中：∑以=1；p．越大，表示该项参数对计算服务器的容量
一
证务
[网凹～二园～二圜～一霪二圈～二园～]园～一瓣一|：
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。第6期何倩等：基于软件定义网络的反饱和分组云负载均衡1523
所占比重更大，可以根据均衡服务面向的业务不同，设定肛。
的大小；F。为CPU频率；N。为CPU核心数；MTi为内存总量；
BTi为总带宽。
根据定义的负载￡．和容量尺．，得出每台服务器的权值：
W。=1／((1一L。)女v／尺。)(3)
3．2反饱和因子
当发送的请求数量达到一定值时，服务器响应请求的数
量突然下降为零，并持续一段时间’1“。系统软件为防止死
机而采取的一种措施，也称“拒绝服务”或“假死”现象。文
献[14]还提到，服务器要“假死”时，过程是响应时间是先缓
慢增加，再抖动，最后急剧增加，一旦急剧增加时，称为其进入
饱和状态，这时若在抖动期间加入一个反饱和因子，将服务器
权值假增大，通过阈值让其不进入饱和状态，以有效防止服务
器进入饱和状态影响提供的服务。
f
WS．=J
【
1
(1一￡。)+压’F扬L¨。，(1一。)+~／尺．(4)
这里将云主机的各资源利用率超过阈值和云主机进入的
较高分组判定为响应时间抖动，加上反饱和因子；否则判定为
响应时间未抖动。
反饱和因子8。是云主机权值乘以静态比例的结果。因每
个云主机的配置不同，所以权值会不同，6。也会不同。当云主
机的负载信息被搜集回来后，首先云主机的各资源利用率会
被判断是否超过阈值，若超过则直接将权值设为l，云主机进
入高负载组；若未超过，则判断云主机权值是否进入权值较高
的分组，若进入权值较高的分组则云主机权值会增加占。。云主
机权值增加6．后，云主机将会使所在组的平均权值更高，这
样．该分组将被分配更多请求的概率更小，从而达到反饱和的
目的。
3．3权值分组
反饱和因子可以预防较高权值的服务器进入饱和状态，
从而不会急剧增加服务的响应时间。但对于一台相对低权值
的服务器，在其负载信息没有在均衡器得到及时更新的情况
下，其会被均衡器连续地分配请求，致使其负载迅速增加，可
能会让其进入过载状态，使得整个集群失衡。为解决这个问
题，将具有相近权值的服务器分为一组”““，在这一组中进
行分发请求，而不是对一个服务器分发请求。
按照权值，将服务器分为5组，如表1：
表1按权值将服务器分组
组别权值组别权值
第一组(0，0．05]第四组(0．5，0．75]
第二组(0．05，0．25]第五组(0．75，1)
第2组(0．25．0．5]
从第一到第五组，服务器处理的请求数越来越多，处理的
时间也会越来越长。这里根据权值的不同，在控制器中的均
衡器去收集分组里面服务器的时间也会有所不同。第一组、
第二组的服务器由于处理的请求数较少，在一定时间内权值
不会变化很大；同理，第四组、第五组由于要处理更多的请求，
处理完需要更多的时间，一定时间内权值变化也不会很大，所
以收集这两组的负载信息时间间隔可以大一些；但对于第i
组的服务器，处在第二组和第四组的过渡阶段，对权值信息很
敏感，一旦权值变化，就会使得这组还要不要再接受请求，所
以对这个组别里面的服务器的权值信息收集间隔会短一点。
设五组权值信息收集的间隔分别为：_r3<7-2=下4<丁l=r5。
另当主机池中的云主机因请求的资源过多均进入第四、
第五组时，因为反饱和因子的存在，保证两组中的云主机处于
伪饱和状态，仍旧能够正常处理已经接受的请求。若此时还
有新的请求到来，请求将不会被送往后端，触发SDN控制器
通知云平台建立新的云主机实例加入到主机池中。这在下一
步的研究中会有所体现：
3．4分发请求
上面根据权值信息将服务器分为5组，在分发请求的时
候，只会在第一到第三组中分发请求，每组都采用轮询的方
式，以权值分发请求，而第四和第五组暂时不会分发请求。因
为第一、二、三组，各组中服务器的权值有所不同，如第一组明
显比第三组平均权值要小，所以应该多分配请求数。这里定
义各组的平均权值和各组分发概率：
W。=∑Wk／m(5)
k=I
却。=W。／∑W。(6)
其中：k为每组中第k台服务器；m为每组中服务器的数量。彤
根据组别不同，值有所差异，然后以却。作为请求分发到组的
概率，其越大，能够获得更少的请求；否则，获得更多的请求。
总的来说，先将服务器按照彤。分为五组，第四、第五组不
参与接收新请求，并获得较长收集间隔，减少由于收集彤所
引发的不必要流量，第--N第三组参与接收新请求，三组根据
每组的却。为概率接收请求，然后在这三个组内部用轮询的方
式分发请求，同时第一、二、四、五组获得较长权值收集间隔，
第三组收集权值信息的间隔最短。
4实验
4．1实验方案
为使设计的方案和算法具有通用性和可扩展性，负载信
息的收集、负载均衡器对负载的处理都是采用Java模块化的
方式实现。每种负载信息的收集只需再实现一个接口，生成
对应的类即可，负载均衡器对负载的处理同理。通用性体现
在，现在实现的类，都是搜集的最基本的负载信息，要作负载
均衡都理应考虑的因素；可扩展性体现在接口和类上。
在服务器端接收请求之后，通过脚本消耗服务器的CPU、
内存、带宽资源，每次请求的服务都会产生对应的资源消耗，
如CPU会产生10％～20％的消耗，具体消耗多少CPU可改
动脚本调节，并在一段时间后，每次请求产生的负载会完成后
自动退出。实验中使用Linux性能监测工具dstat，能对每台
云主机服务器每隔一定的时间进行记录，并且记录的结果会
以日志进行保存，每次的记录都会带有时间，方便后面分析数
据时同步比较每个云主机的负载。其中网络带宽测试使用的
是iperf工具，CPU和内存的测试使用脚本完成。
首先采用各台云主机的资源利用率对各种策略对比分
析，随着时间的变化，观察各策略对集群均衡度的影响以及相
同时刻各策略对集群均衡度的影响。然后使用云主机集群的
资源利用率的标准差对不同策略进行比较，实验不同策略对
整个集群均衡度的效果。其中主要对比的是Random、Round
Robin、ASGS三种策略。
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。1524计算机应用第36卷
4．2实验结果分析都是相同的软硬件，只是根据测试的策略不同，通过RESTful
实验环境配置如表2所示。三个策略的测试时，使用的结构在均衡器处作配置上的更改。
表2实验环境配置
为比较3个策略的均衡效果，使用两种指标来衡量：第一
种，将每个时刻云主机集群中各云主机的资源利用率对比。
若每个时刻三种策略下各云主机的资源利用率越接近，则均
衡度越高，如图3所示，q至峨分别表示4台云主机，其表
示三种策略(Random(①)、RoundRobin(②)、ASGS(③)策
略)在每个时刻各台云主机的资源利用率情况。如第l时刻，
Random策略下，第4台云主机的资源利用率比其他3台高很
多，这导致在第1时刻集群负载严重失衡，且随着时刻的变
化，均衡效果也不是很好。相比之下，RoundRobin、ASGS则
不会产生这种情况，并且ASGS在经过3时刻后均衡程度明
显好于Random和RoundRobin，因此均衡效果越来越好的排
序是：Random、RoundRobin、ASGS。第二种，通过在每个时刻
对比各台主机的资源利用率的标准方差来衡量此刻各台云主
机的均衡程度。若标准差趋近0则说明均衡程度越高，相反
则越低。
3曼
亩白●白冒二音目!
I}2．{
时刎『F∥、
图3三种策略云主机资源利用率对比
图4表示各台云主机资源利用率在每种策略下偏离理想
均衡值的程度。
If,扑1J／s
(c)ASGS策略
图4Random、RoundRobin、ASGS标准差对比
由图4可知：图4(a)中，Random策略开始时均衡度低，
后面逐渐增高，这是因为开始都选择相同虚拟机响应请求的
原因，而剩下的云主机处于空转状态，所以导致失衡；图4(b)
中RoundRobin策略随着时间的变化，其标准差的波动相对
Random策略更小，更趋近于0；而图4(C)中，在每时刻ASGS
策略各台云主机偏离理想均衡值的程度比RoundRobin更
低，因此其具有更好的均衡效果。最终将Random、Round
Robin、ASGS策略比较，标准差波动较小，且趋近于0排序，均
衡效果越来越好的是：Random、RoundRobin、ASGS。
5结语
针对云主机集群资源利用的负载均衡问题，面向
OpenStack云平台，提出了基于软件定义网络的反饱和分组负
载均衡方法。云主机按权值分配到不同的分组，SDN控制器
利用探针根据不同分组周期性获取云主机负载。实验分析表
明，提出的算法保证了云主机集群的负载更加均衡。目前数
据平面OVS都是Linu】【networkstack来实现的，其性能不是很
好，尤其是对小包的处理，而通过数据平面开发工具(Data
PlaneDevelopmentKit，DPDK)技术将会使OVS对包的处理
更快，所以后期将会对OVS结合DPDK技术来增加云主机集
群的整体吞吐量，测试均衡策略在数据中心高带宽利用率的
情况下的效果。
参考文献：
[1]ZHANGQ，ZHUQY，ZHANIMF，eta1．Dynamicserviceplacementingeographicallydistributedclouds【J]．IEEEJournalonSelectedAreasinCommunications，2013，3I(12)：762—772．
【2】OpenNetworkingFoundation．OpenFlowswitchspecification
versionl．3．5【EB／OL]．【2015-10-20】．https：／／www．opennetworking．org／images／stories／downloads／sdn·resources／onf-specifications／openflow／openflow-switch—v1．3．5．pdf．
【3]VIZYARYM，VYKOPALJ．FutureofDDoSattacksmitigationinsoft．
waredefinednetworks【c]／／Proceedingsofthe8thIFIPWG6．6InternationalConferenceOilAutonomous
Infrastructure，Management，and
Security，LNCS8508．BedimSpringer，2014：123—127．
[4】MURATAY，1NABAT，TAKIZAWAH，eta1．Adistributedand
cooperativeloadbalancingmechanismforlargesealeP2Psystems
【C]／／SAINTW2006：Proceedingsofthe2006InternationalSym·
posiumonApplicationsandtheInternetWorkshops．Washington，
DC：IEEE
ComputerSociety，2006：126—129．
【5]ADABAS，CHASHAV，CHAWLAP，eta1．Fromvirtualizedre·
sourcestovirtual
computinggnds：theIn—VIGOsystem【J1．Future
GenerationComputerSystems，2005，21(6)：896-909，
【6】KAURS．KUMARK，SINGHJ，eta1．Round—robinbasedload
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。第6期何倩等：基于软件定义网络的反饱和分组云负载均衡1525
(上接第1519页)
【6】LLORCAJ，TULINOAM，GUANK，eta1．Dynanlicin·networkeat2一
hingforenergyefficientcontentdelivery【C]／／Proceedingsofthe2013
IEEEINFOCOM．Piscataway．NJ：IEEE．2013：245—249．
【7】CHENF，GUOK，LINJ，eta1．Intra-cloudlightning：building
CDNsinthecloud【C1／／Proceedingsofthe2012IEEEINFO—
COM．Piscataway．NJ：IEEE．2012：433—441．
【8】CARLSSONN，EAGERD，GOPINATHANA，eta1．Cachingand
optimizedrequestroutingincloud·basedcontentdeliverysystems
[J1．PerformanceEvaluation，2014，79(3)：38—55．
【9】DENGzG，ZENGGS，HEQ，eta1．Usingpricedtimedautoma·
tontoanalysetheenergyconsumptionincloudcomputingenvironment【J】．ClusterComputing，2014，17(4)：1295—1307．
【10】FELDMANNA，GLADISCHA，KINDM，eta1．Energytrade·offs
amongcontentdeliveryarchitectures【C1／／Proceedingsofthe
2010NinthConferenceonTelecommunicationsIntemetandMedia
TechnoEconomics．Piscataway，NJ：IEEE，2010：1—6．
f11】JAYASUNDARAC，NIRMALATHASA，WONGE，eta1．Energy
efficientcontentdistributionforVoDservices【C】／／Proceedingsof
the2011
OpticalFiberCommunicationConferenceandExposition
andtheNationalFiber
OpticEngineersConference．Piscataway，
NJ：IEEE．2010：I一6．
【12]KARABUTOA．HDDDiet：powerconsumptionandheatdissipa—
tion【EB／0L】．【2005·07·111．http：／／ixbflabs．corn／article2／
storage／hddpower．html．
【13】WAXMANBM．Routingofmuhipointconnections【J]．IEEEJournal
onSelectedAreasinCommunications，1988，6(9)：181-206．
Background
Thisworkis
partiallysuppofledbytheNationalHighTechnologyRe—
searchand
DevelopmentProgram(863program)ofChina
(2009AA012201)，theNationalNaturalScienceFoundationofChina
(61272107，61202173，61103068)，theStateKeyLaboratoryofHig}l—end
Server&StorageTechnology(2014HSSAl0)，theProgramofShahghai
SubjectChiefScientist(10XDl404400)，theJiangxiProvincialNatural
ScienceFoundation(20151BAB207016，20151BAB207040)，theHuawei
InnovationResearchProject(IRP·2013-12—03)．
DENG
Zhigang，bornin1976，Ph．D．candidate．HisresealIchin—
terestsinclude
greencomputing，cloudcomputing．
ZENGGuosun．bomin1964，Ph．D．，professor．Hisrosearehiflterestsinclude
parallelcomputing，trustedsoftware，informationsecurity．
TANYunlan，bomin1972，Ph．D．candidate，associateprofessor．
Herresearchinterestsinclude
greencomputing，cloudcomputing．
XIONGHuanliang，bomin1977，Ph．D．candidate．Hisresearch
interestsincludeparallelcomputing，cloudcomputing．
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。