跨数据中心的统一监控研究与实现

admin

文字版：
专题：SDN＆NFV
专题导读
云计算技术经历了多年的发展，已经进入成熟
期和快速应用阶段，伴随着以云计算技术为代表
的新技术的落地，以IP为核心的计算机网络在可
扩展性、灵活性、安全性等方面的瓶颈日益凸显，
SDN(软件定义网络)技术解除了数据转发面与网
络控制之间的紧耦合关系，并通过标准化的北向
接口为开发者提供了良好的网络编程接口，从而
使网络获得了前所未有的灵活度和敏捷度。与此
同时，NFV(网络功能虚拟化)技术也伴随着云计算
技术而兴起．它将网络功能从专用硬件设备中剥
离出来，实现软件和硬件解耦后的各自独立，基于
通用的计算、存储、网络设备并根据需要实现网络
功能及其动态灵活的部署，并已成为基于云计算
技术的一项重要应用。在SDN和NFV迅速发展的
浪潮中，开放和开源逐渐成为产业的热点，开源项
目在推动产业发展和技术创新上发挥着巨大的作
用，促进着产业生态的开放。
本专题共组织9篇文章，《跨数据中心的统一
监控研究与实现》涉及云计算研究的热点领域，提
出一种能够支撑多数据中心和多私有云环境的监
控系统解决方案：((SDN在IP广域网的典型应用与
实现》分析了SDN在广域网应用系统的架构和各
层的主要功能，并对其典型应用展开详细说明：
《基于SDN的大型IP网络BGP路由优化方案》在
分析传统BGP路由选路机制缺陷的基础上，采用
SDN控制技术。提出一种支持传统路由设备和
OpenFlow设备的路由反射优化方法；《基于BGP增
强的流量调度技术》概括了运营商IP网络的主要
流量调度需求．分析了现网基于BGP的流量调度
技术存在的问题，提出了一种基于SDN的集中式
流量调度方案；《基于SDN的跨数据中心承载技
术》提出了一种基于SDN的运营商数据中心互联
承载技术方案；<<NFV弹性技术》对NFV弹性技术
进行分析，归纳弹性结构的设计原则，并给出弹性
用例；<<NFV安全需求及应对策略》针对NFV架构
中的安全技术进行研究．指出安全对NFV技术的
重要性．分析管理支持设施的可用性及安全启动
相关问题．并总结了NFV的软件安全隐患；<<NVV
标准与开源技术现状》研究了以ETSI为代表的各
标准组织以及以OPNFV为代表的开源组织的研
究动态和最新成果，并深入分析了NFV标准发展
趋势，归纳了NFV架构开源实现的关键技术；《基
于改进智能优化算法的网络功能虚拟化故障分析
处理方法》在研究网络功能虚拟化传统故障管理
功能机制的基础上．提出了一种基于改进智能优
化算法的网络功能虚拟化故障分析处理方法。
希望本专题可以让业界同行产生共鸣，帮助读
者进一步了解SDN和NFV相关的技术发展和应
用实现．共同推动SDN和NFV领域的技术发展。
博
专题策划人：张云勇，男，博士后，中国联合网
络通信有限公司研究院副院长、教授级高级工
程师、技术委员会主任．国务院特殊津贴专家，
“863”计划基金、国家科技重大专项和国家奖励
办专家，北京邮电大学、四川大学兼职教授。中
国通信学会会士，CCF大数据专委会委员，中国
电子学会、计算机学会、人工智能学会高级会员。《信息通信技术》
编委会主任、主编，《通信学报》、《电信科学》、《中兴通讯》等杂志编
委。出版中文论著19部(其中3部输出到中国台湾)。英文论著
1部；发表学术论文250余篇，其中SCI检索3篇，EI检索24篇；
授权36项专利(含2项国际专利)和37项软件著作权；主持发布
国际上第一个ITU云计算框架、SDN标准，获工业和信息化部
r11U优秀文稿奖2次，优秀个人奖2次：获省部级奖励及成果鉴
定20项，中国联通科技进步奖及中国联通技术标准奖共36项。
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。／／、——。，～。t
。镰i》譬”“j‘
。．蔓≥乏：¨
|
专题：SDN＆NFV
跨数据中心的统一监控研究与实现
贾宝军，徐雷。郭玉华。熊微。李素粉
(中国联合网络通信有限公司研究院，北京100032)
摘要：提出了一种能够支撑多数据中心和多私有云环境的监控系统解决方案。通过采用分布式框架，重新封
装ZabbixAPI和OpenStackAH，实现了压力分担、易于扩展的统一监控系统。该方案对于研究类似的分布式
集群调度系统具有重要意义。
关键词：统一监控系统；虚拟化；资源池
中图分类号：TP393文献标识码：A
doi：10．119596．issn．1000-0801．2016095
Researchandimplementationofunifiedmonitoring
systemformulti—datacenters
JIASaojan，XULei，GUOYuhua，XIONGWei，LISufen
ResearchInstitute，ChinaUnitedNetworkCommunicationsCo．，Ltd．，Beijing100032，China
Abstract：Amonitoringsystemsolutionofsupportingmulti-dataeenterandmultipleprivatecloudenvironmentswere
proposed．Inordertoachieveloadbalancingandeasyscale-out，theunifiedmonitoringsystemadoptedadistributed
frameworkandencapsulatedZabbixAPIandOpenStackAPI．Thissolutionwas,significantforthestudyofsimilar
distributedclusterschedulingsystem．
Keywords：unifiedmonitoringsystem，virtualization，resouix3epool
1引言
rI’系统的监控技术从信息化伊始就一直存在和发展
着。小到单独的rI’系统，大到成百上千台的服务器和网络
设备，都有或大或小的监控系统。开源社区也形成了如
Ganglia、Nagios、Splunk的监控软件，被不少公司的信息化
部门采用。近年来，随着云计算、大数据和互联网的快速发
展。rI’基础设施发生了根本转变，监控需求从一些独立的
系统要求转变为整体平台化的系统要求。服务器不再是孤
立的计算单元。而是通过云计算、大数据等平台将计算、存
储资源统一起来．跨越数据中心范围形成规模更大、统一
收稿日期：2015—10—08：修回日期：2016—03—09
管理的资源池．因此需要能够监控大规模、跨地域的虚拟
资源的监控系统。
2统一监控的需求
2．1云平台的统一监控要求
私有云平台除了采用商业的VMware和hypervisor作
为虚拟化平台外。还可以采用0penStack等开源技术。本
文提出的云平台基于0penStack底层技术进行搭建。为构
建一套完整的统一监控系统，需要实现覆盖全部物理机和
虚拟机的监控功能。以实现高效管理大规模软硬件资源、
动态合理分配系统资源的目标。
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。(1)物理机监控，通过在物理机上安装一个守护进程，
定时收集每个节点的状态信息．最后汇总到监控系统中．
进行存储、归纳、分析、展示。智能平台管理接13(IPMI)获
取监控数据。
(2)虚拟机监控，通过底层的Hypervisor进程和虚拟
化管理平台收集相关的监控项信息，发送给监控系统，存
储、归纳、分析、展示每台虚拟机的监控信息。
(3)监控系统可以同时展示物理机和虚拟机的监控
视图。
(4)对于多个OpenStack平台的环境，需要同时监听多
个Ceilometer来源以获取不同虚拟化平台下虚拟机的监控
数据，汇总上报到监控系统中。
2．2跨地域的资源统一监控
随着IrI'资源的虚拟化．数据中心间的区隔也变得日
益模糊。用户不再关心自己的硬件到底部署在什么地方，
只关心软件系统的服务能力是否满足业务需求。这样就要
求底层资源池能提供一定的QoS保障．或者具有资源使用
的调优能力。要实现该要求，必须有纵观全局的监控能力。
依据监控指标制定资源使用策略．实现资源的自动或智能
调配，保障软件系统的能力要求。
因历史原因遗留下来的一些规模较小的数据中心。也
需要纳人统一资源池的环境中。当下互联网的系统需求往
往会急剧膨胀．有限的IrI’资源很难满足互联网快速发展
的需求，这样势必要将以往孤立的小规模数据中心打通．
提供统一的服务能力。
3Zabbix监控软件
Zabbix是开源社区监控软件的后起之秀。集成了
SNMP、agent、IPMI等多种数据采集方式．方便在不同环境
中使用，完善了监控和图形化显示功能。
Zabbix软件具备一定的分布式系统管理能力．可以监
控小型和大型的分布式环境．并将所有历史数据、趋势和
配置信息存储在数据库中。Zabbix所有的逻辑运算都在服
务器端执行．对监控对象的性能影响很小。
Zabbix代理(proxy)支持分布式能力，可以代表Zabbix
服务器收集性能和可用数据，承担采集数据的任务并减轻
Zabbix服务器的负载。同时．使用Zabbix代理是实施统一
和分布式监控最简单的方式．因为所有的客户端和代理
向同一个Zabbix服务器报告数据，并且所有数据集中保存
在服务器数据库中。Zabbix代理可在监控远程区域、拥有
不可靠链接的区域时使用。当监控数以千计的设备时，
Zabbix代理可分担Zabbix服务器的负载。Zabbix分布式架
构如图l所示。
采用Zabbix作为监控系统可以支持分布式集中管理，
用于分布式环境监控，但也存在明显缺点。首先，Zabbix方
案需要在被监控的主机上安装。agent，这样会侵害用户的
隐私，而且agent也存在被用户卸载的情况；其次，所有数
据都集中保存在数据库中．Zabbix监控系统产生的数据
量很大，数据库会成为系统发展的瓶颈；最后，Zabbix代
理的方案受限于代理性能．当代理服务的监控机器数
量较多时，很难满足资源的监控要求。综上所述，
Zabbix不是一个能够满足云平台和多数据中心统一监
控的软件方案。
4分布式架构的引入
Dubbo是一个分布式服务框架．致力于提供高性能和
透明化的RPC远程服务调用方案以及SOA服务治理方
案。其核心部分如下所述。
(1)远程通信
提供对多种基于长连接的NIO框架的抽象封装，包括
多种线程模型、序列化以及“请求一响应”模式的信息交换
方式，像调用本地方法一样调用远程方法。
訇1Zabbix分布式架构
远程位置的服务器
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。专题：SDN＆NFV·4·
(2)集群容错
提供基于接口方法的透明远程过程的调用．包括多
协议支持、软负载均衡、失败容错、地址路由、动态配置等
集群支持。
(3)自动发现
基于注册中心目录服务，使服务消费方能动态查找服
务提供方，使地址透明，使服务提供方可以平滑增加或减
少机器。
Dubbo架构示意如图2所示。
系统包括5种不同的角色：服务提供者、服务消费者、
服务注册中心、服务监控中心和服务运行容器。服务提供
者是暴露服务的服务提供方；服务消费者是调用远程分布
式服务的服务使用方；服务注册中心是系统的基础和核
心．是服务提供者和服务消费者沟通的桥梁；服务监控中
心负责统计各服务调用次数、调用时间以及服务提供者的
服务运行上报信息等；服务运行容器启动、加载、运行服务
提供者。具体角色功能如下所述。
(1)服务注册中心提供集中的服务注册、服务订阅、服
务信息通知及服务监控功能，并提供代理模式的服务调用
能力。
(2)服务提供者负责提供具体的服务，并在服务启动后
向集群服务管理系统进行服务注册，并定期将服务运行统计
信息(如服务性能数据、服务使用情况等)上报给监控中心。
(3)服务消费者需要在服务启动后，主动向集群服务
管理系统订阅所需的服务。当消费者订购的服务信息发生
变化时，向订阅的消费者发送异步消息通知。
(4)服务提供者及服务消费者采用长连接方式与集群
服务管理系统进行通信。
(5)监控中心统计服务消费者和服务提供者的性能指
…’初始化
．．．．卜异步
——+同步
标等．并向服务注册中心汇报服务提供者的服务运行上报
情况。
(6)服务运行容器提供Web服务容器功能，负责启
动、加载、运行服务提供者。
5统一监控系统的实现
采用Zabbix作为监控能力的提供层，监控系统重新定
制portal以满足跨数据中心的监控以及统一的物理资源
和虚拟资源的监控。
采用Dubbo框架对ZabbixAPI和OpenStackAPI进行
重新封装．如图3所示．实现分布式监控系统。这样监控门
户对数据的访问变成由Dubbo引导的访问。Zabbix服务通
过API方式由Dubbo服务提供者提供．用户请求作为
Dubbo下的服务消费者向服务器提供者发送请求信息。
当监控多个数据中心时。在每个数据中心部署一套或
多套Zabbix软件系统．Dubbo服务提供者调用Zabbi】【系统
API实现监控能力，Dubbo服务消费者负责处理用户请
求．通过调用Dubbo服务提供者响应请求，Dubbo服务消
费者和服务提供者都需要首先在服务注册中心完成注
册。当用户通过poaal访问某一机器的监控信息时，需要
根据区域标识符来决定由哪个Zabbix服务器提供监控
源。从而引导用户请求到对应的Zabbix服务器。
对于数据中心有一个或多个云平台的情况，首先对
OpenStack云平台的监控服务设置单独的Dubbo服务提供
者和服务消费者，将CeilometerAPI封装为实现Dubbo服
务提供者．用户请求通过Dubbo的服务消费者模式执行。
每增加一个OpenStack云平台，新增相应的Dubbo服务消
费者和服务提供者，从而实现对多个云平台资源池的监
控。分布式监控系统架构如图3所示。
(4)调用
服务消费者服务提供者
(5)计数
，
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。：曼：塑塑姻●I
数据中心I数据中心II
服务消费者H服务提供者}一_．卜r监控门户●服务消费者H服务提供者
．+▲
．．．．．．LAPI八—h
>上、
OpenStack叫注躲bI·＼厂／OpenStack
服务．L
—■-
监控中心一
服务消费者一I_服务提供者服务消费者服务提供者
，上+agent▲
仁1一恫．．．．APl．．．．．．．．．．．．．．．．一ZabbixI．一．闾一
lagent【{塔ntf
…～I-Dubbo控制流
羁3分布式监控系统架构
图3描绘了两个数据中心的场景。每个数据中心部署
有一套0penStack云平台，虚拟机的监控数据由OpenStaek
Ceilometer组件进行采集和存储。在每个数据中心部署一
套Zabbix监控系统，通过Zabbixagent采集服务器的运行
状态。来自portal的用户请求通过Dubbo层转发到相应的
Zabbix服务器和云平台，以获取相应的数据。
数据中心之间可通过公网或者VPN进行连接，网络
应提供足够的带宽和质量保障。系统对监控数据的处理主
要在本数据中心完成，监控数据的采集分别由各自数据中
心的Zabbix服务器和云平台完成，Dubbo的服务消费者和
服务提供者负责将处理好的数据返回给portal。数据中心
间仅传送必要的数据和Dubbo控制的数据．大部分数据流
量限制在本地数据中心。
图4是其中服务器1h内的监控情况。
6结束语
本文提出了一种能够支撑多数据中心1T资源统一
监控的系统，同时实现了云平台环境下物理与虚拟资
源的统一监控。本文将监控系统搭建在Dubbo架构上．
很好地解决了原来集中系统的性能问题和管理分布式
环境问题。该系统已上线运行，从结果上看符合设计目
标。该方案对于研究类似的分布式集群调度系统具有
重要的意义。
参考文献：
图4服务器的运行状态躲控
[1】Alibabaopensesame[EB／OL]．【2015—10·081．http：／／dubbo．io／
Home-zh．him．
[2】Zabbix：theenterprise-classopensourcenetworkmonitoring
solution【EB／OL]．【2015—09—291．http：／／www．zabbix．corn／
documentation．php．
【3]郭晓慧，李润知，张茜，等．基于Zabbix的分布式服务器监控
应用研究[J】通信学报，2013，34(Z2)：94—98．
GUOXH，LIRz，ZHANGQ，eta1．Applicationresearchon
distributedZabbixnetwork
monitoringsystem[J]．Journalon
Communications．2013，34(Z2)：94·98．
[4】陈天，陈楠，黄志兰，等．基于OpenStack的异构混合云解决
方案【J】．电信科学，2015，31(7)：132—138．
CHENT，CHENN，HUANGZL，eta1．OpenStack．based
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。一塑型巡旦
heterogeneoushybridcloudsolution【J】．Telecommunications
Science，2015，3l(7)：132—138．
【5]和荣，肖海力．基于Naxos的监控平台的设计与实现【J】．科
研信息化技术与应用，2014，5(5)：77．85．
HER，XIAOHL．Amonitor
platformbasedonNa萄OS【J】．
E—ScienceTechnology&Application，2014，5(5)：77—85．
[作者简介】
贾宝军(1974一)，男，中国联合网络通信有
限公司研究院工程师，主要研究方向为云
计算、IDC、互联网应用。
徐雷(1978一)，男，中国联合网络通信有限
公司研究院高级工程师，主要研究方向为
云计算、SDN、NFV。
郭玉华(1987一)，女，中国联合网络通信有
限公司研究院工程师，主要研究方向为云
计算、监控、虚拟化等。
熊微(1988一)，女，中国联合网络通信有限
公司研究院工程师，主要研究方向为云计
算、移动核心网、SDN／NFV。
李素粉(1979一)，女，博士，中国联合网络
通信有限公司研究院工程师．主要研究方
网—吲￡卫熏向为云计算、核心网等。
万方数据
51学通信（51xuetongxin.com），致力打造最佳的通信技术分享平台，主打IMS、EPC、NFV、云、SDN以及5G核心网等主题。
终身视频会员赠送51学通信所有原创高清视频及PDF课件，终身免费更新。有微信群答疑。
购买请联系站长爱卫生微信：gprshome201101或51学通信淘宝店：51xuetongxin.taobao.com。