《云计算环境下网络与系统监控、管理和运维v3.0.ppt》由会员分享,可在线阅读,更多相关《云计算环境下网络与系统监控、管理和运维v3.0.ppt(87页珍藏版)》请在三一办公上搜索。
1、肖德宝华中师范大学网络与通信研究所所长、博士生导师、二级教授,云计算环境下网络与系统监控、管理和运维,目录,云集群服务器监控系统案例展示,04,云计算网络监控运维新思路,03,云计算环境下的新特点与新挑战,02,信息技术和信息产业发展,01,信息技术用于管理和处理信息所采用的各种技术的总称,包括数据与信息的采集、表示、处理、安全、传输、交换、显现、管理、组织、存储、检索等应用技术。,信息技术和信息产业发展,信息技术的特征,狭义信息产业,广 义 信 息 产 业,传统信息产业,新一代信息技术产业,计算机的演进,1960s,1970s,1980s,1990s,2000s,2010s,任何人、任何时间
2、、任何地点、任何物体均可以实现互联,物联网典型3层体系结构,物联网的特征,物联网,物联网的应用,8,云计算,根据维基百科(Wikipedia)的定义,云计算(Cloud Computing)是一种动态的、易扩展的、且通常是通过互联网提供虚拟化的资源计算方式。其主要特点是能够快速部署资源或获得服务,能够按需扩展和使用,能够按使用量付费,并且通过互联网提供服务。,云计算这个名词借用了量子物理中的“电子云”(Electron Cloud),强调说明计算的弥漫性、无所不在的分布性和社会性特征。22,云计算是什么?,云计算的提供者:以租代售,云计算的使用者:按需使用,使用云计算,企业无需增加硬件基础设施
3、投资,训练员工成为专业人员或购买新软件,就能实现增加资源容量或提升计算性能等IT方面的需求,集中式数据处理能力的不足,资源利用率不平衡(单机能力)ICT产业由卖产品变为卖服务,从自给自足小作坊到规模化运营,用户方便使用,不需要专业知识,设备无需专业人员维护减少初期投资,降低管理开销,降低成本,方便使用,云计算介绍,云计算架构图,云计算是分布式计算(Distributed Computing)、并行计算(Parallel Computing)和网格计算(Grid Computing)的发展,是这些科学概念的商业实现云计算也是一种新的基础架构管理方法,是一种有效资源的合理共享,它能够把大量的、高度
4、虚拟化的资源管理起来,组成一个庞大的资源池,统一提供服务,云计算关键技术,云计算关键技术,并行计算,并行计算是通过高速网络相互联接的两个以上的处理机相互协调,同时计算同一个任务的不同部分,从而提高问题求解速度,或者求解单机无法求解的大规模问题。,分布式计算,分布式计算是利用互联网上的计算机的CPU的闲置处理能力来解决大型计算问题的一种计算科学。一个工作被分成多个任务包,同时在通过网络连接起来的计算机上运行。,虚拟化技术,虚拟化对计算资源进行抽象虚拟化对上层应用或用户隐藏了计算资源的底层属性。将单个的资源(比如一个服务器,一个操作系统,一个应用程序,一个存储设备)划分成多个虚拟资源将多个资源(比
5、如存储设备或服务器)整合成一个虚拟资源,数据存储、管理技术,数据存储技术云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的高可用、高可靠和经济性云计算系统同时为大量用户提供并行服务,其存储技术必须具有高吞吐率和高传输率的特点数据管理技术云计算系统对大数据集进行处理、分析向用户提供高效的服务,如何从数据中获取有效的信息,这将是决定云计算应用成败的关键云计算数据管理技术能够高效的管理大数据集,能在规模巨大的数据中分析、找到特定的数据,云安全技术,数据安全技术-云安全将原本保存在本地、为自己所掌控的数据交给一个外部的云计算服务中心,安全性依旧是重要的顾虑目前云计算数据安全主要通
6、过划分公有云、私有云和虚拟私有公用云,来对不同应用级别下的数据进行保护,云计算在信息产业的层次,中国企业使用云计算现状,中国企业使用云计算现状(续),各国企业使用云计算目的对比分析,多数中国企业使用云计算的目的是:希望云计算为企业节省成本,增加灵活性,并非创新或市场增长,目录,云集群服务器监控系统案例展示,04,云计算网络监控运维新思路,03,云计算环境下的新特点与新挑战,02,信息技术和信息产业发展,01,云计算环境下的新特点与新挑战,云计算环境下网络与系统的监控、运维,存在以下新特点与新挑战:多种异构平台组成需要处理海量数据虚拟化资源的管理对安全的更高要求,云计算环境下的新特点,云计算可以
7、构建在不同的基础平台之上横向维度:可采购不同厂商的软硬件,有效兼容不同种类硬件和软件基础资源纵向维度:既可兼容当下采购的新设备和新软件系统,也可兼容旧有设备和原有软件系统在有效利用老资源的同时,保证新老资源平滑过渡,多种异构平台组成,云计算环境下的新特点,云计算的底层需要面对各类众多的基础软硬件资源;上层需要能够同时支持各类众多的异构业务;而具体到某一业务,往往也需要面对大量的用户。由此,云计算必然需要面对海量信息交互,需要有高效、稳定的海量数据通信/存储系统作支撑,并需要实现对云环境下海量数据的监控。,Business Model,海量数据的处理支持,云计算环境下的新特点,网络环境三大主要资
8、源:计算(服务器)存储(存储设备)网络(交换机、路由器等设备)云环境下不仅包含物理设备,还包含虚拟化技术形成的逻辑虚拟设备传统的网络管理软件大多只考虑对物理设备的管理只有实现对虚拟设备的管理,才真正实现云集群服务器的网络运维管理,虚拟化资源的管理,云计算环境下的新特点,不安全的接口和API针对云端的恶意攻击共享产生的数据安全问题数据泄漏未知的风险场景对云平台提出更高的安全要求,对安全的更高要求,目录,云集群服务器监控系统案例展示,04,云计算网络监控运维新思路,03,云计算环境下的新特点与新挑战,02,信息技术和信息产业发展,01,云计算网络监控运维新思路,云计算网络监控运维新思路,基于捆绑式
9、的监管架构,采用分布式架构,各个管理服务器分别监控各个服务器集群下的子服务器;通过将多套系统进行捆绑,结合负载均衡处理器,连接各个系统,实现万台级别的管理能力;管理客户端具有单一登录,统一显示界面,节点管理权限设置的功能,部署方式灵活,可根据数据中心的规模灵活扩展。,基于捆绑式的监管架构,多平台、可扩展的监控系统,通过预置、整合各类服务器和应用的监控功能模板,可以有效兼容不同种类硬件和软件的基础资源既可以兼容旧有设备和原有软件系统,又便于随时扩展监控新设备和新软件系统,使云监控系统具有更高的兼容性和更好的可扩展性,多平台、可扩展的监控系统,可视化的云网络监控管理,云环境中,服务器、应用、业务、
10、网络更为集中,企业IT环境复杂多样只有通过综合的、可视化的展示界面,才能实时掌控云环境整体架构的综合状况和云下业务及其功能要素的实时性能,可视化、整合的性能监控展示界面,可视化的云网络监控管理,在性能监控展示界面中,采用直观的评估指标,来衡量被监控网络的各个服务器节点、服务器下应用等的运行状态,直观、可自定义的性能评估指标,可视化的云网络监控管理,需要监视的服务器和应用的性能指标,可以根据不同主机/应用,以及不同的环境需要,进行自定义配置,直观、可自定义的性能评估指标,可视化的云网络监控管理,需要监视的服务器和应用的性能指标,可以根据不同主机/应用,以及不同的环境需要,进行自定义配置,直观、可
11、自定义的性能评估指标,可视化的云网络监控管理,云下的服务器集群众多,集群下的服务器又多达成千上万个,因此考虑将传统网络拓扑图分为根图与子图,便于查看与管理,分层次的云网络拓扑展示方式,可视化的云网络监控管理,通过监测采集获得历史监测数据,再引入数理统计学方法,建立较为准确的系统负载趋势分析与容量预测,性能趋势预测,云计算网络监控运维新思路,云监控调度方案,云计算环境下对于集群服务器的监控和负载调度的评判分为两种类型:监测各个物理服务器的硬件指标,了解物理服务器的负载状况监测对集群的响应延时,据此调节集群下的资源与服务调度方案虚拟机动态迁移调节负载均衡对集群监控访问实现负载均衡平衡采集流量保证负
12、载均衡,虚拟机动态迁移调节负载均衡,通过监测各个物理服务器的硬件指标来了解物理服务器的负载状况,当负载过低或者过高时,对云计算集群服务器中的虚拟机进行动态迁移,使各个服务器的负载保持均衡,对集群监控访问实现负载均衡,为了保证多用户同时访问监控管理系统,通过使用tomcat作为web server,在访问端实现负载均衡,当访问流量过大时,自适应地将访问客户分流到不同的管理服务器上,保证监控服务器的工作负荷和运行性能,平衡采集流量的负载调度方法,云环境下的集群可能有万台服务器,需要对大量服务器进行界面展示,因而需要采集大量服务器的数据通过建立平衡采集流量的调度方法,保证监控采集服务器的负荷均衡。,
13、虚拟化资源管理,虚拟化资源管理,虚拟化计算管理平台,虚拟化网络管理平台,VLAN 管理不同用户虚拟机之间的网络安全隔离不同物理服务器上的用户虚拟机安全连接、通信网络IP管理按需为虚拟机分配公网 IP 地址虚拟机关闭公网IP地址回收,提高利用率,网络流量控制和监控获得整个云平台网络资源利用率根据各种监控数据提前做出预判充分保证云平台网络可靠性虚拟防火墙管理实现自定义虚拟防火墙,提升管理便利性,基于元数据的虚拟存储管理平台,元数据是提供关于信息资源或数据的一种结构化的数据,是对信息资源的结构化的描述。通过将虚拟化整合的云计算存储资源以元数据的形式进行管理,将能非常方便地对整合的资源进行定位和存取。
14、,基于元数据的虚拟存储管理平台,基于元数据的虚拟存储管理平台,利用元数据搜索和定位存储资源客户端先通过与元数据集群交互,获取文件的元数据信息获取元数据信息后,客户端直接和存储集群进行交互,以并行 I/O的方式访问文件数据 控制路径与数据路径相分离,避免服务器成为数据传输路径上的瓶颈,基于元数据存储的虚拟存储管理平台原理,云平台安全管理,云计算环境下,各种应用是在虚拟机中运作,因此云平台中需要重点保障各个虚拟机系统的安全。云中虚拟机的安全保障方式主要有以下几种:面向虚拟机的离线安全检测技术 面向虚拟机的在线安全检测技术实时升级的杀毒软件病毒库,面向虚拟机的离线安全检测技术,面向虚拟机的在线安全检
15、测技术,采用虚拟机透视技术,杀毒引擎安装在主机中,直接扫描客户虚拟机中的内存和进程,找到并清除目标系统内的病毒,病毒库实时升级,在杀毒软件领域,爆发式的病毒传播速度让原来架设在用户终端的病毒库不堪重负。解决每3秒钟一个新病毒的难题,靠的正是云技术实现杀毒软件病毒库实时升级。,云计算网络监控运维新思路,基于云端的运维服务,云计算IT运维服务把数据乃至应用程序全部集中到云端,大量本地的运维工作转移到云服务器端基于云计算的IT运维管理服务模式以各种监控、告警、日志、报告服务工具为依托,结合部署在云端的运维服务,可实现全网的统一运维管理不仅打破传统的本地式运维的地域限制,还能及早发现故障隐患,从而可以
16、建立起主动式IT运维,同时运维总体工作量大大减少,运维成本大幅降低,业务视角的运维管理,通过从业务视角统一管理服务器、应用、网络状态,对业务及其下软硬件资源进行高效的运维管理在故障发生时,通过颜色、声音邮件等方式进行报警通知;同时按照业务逻辑进行多层次管理,准确解决业务中出现的问题,基于智慧库的自动化运维,云计算能力与规模越来越大,人工管理资源越来越不实际。这些新特性对IT管理自动化能力提出了更高要求部署基于智慧库的自动化运维管理模块,自动化管理云平台智慧库从历史操作中积累运维知识,当发生事件或监控数据触发规则时,基于智慧库中存储的历史方案,由决策引擎提供自动化解决方案,节约人力,同时提高响应
17、速度,自动化的流程管理,目录,云集群服务器监控系统案例展示,04,云计算网络监控运维新思路,03,云计算环境下的新特点与新挑战,02,信息技术和信息产业发展,01,云计算集群服务器管理软件,企业级的云计算整体解决方案,云计算集群服务器管理软件,模块划分,服务器管理,安全管理,应用管理,业务管理,配置管理,事件管理,性能管理,云平台的虚拟化安全技术,提供无插件、无代理的云安全服务,监视服务器各性能指标和阈值、程序组的性能指标,以业务视图的形式展示了业务的构成(网络链路、服务器、程序组、端口和监视器),及时了解服务的状态和告警,为管理人员提供管理入口,进行设备资源管理和、IP资源管理,历史性能、实
18、时性能、性能分析、性能阈值、性能公式设置,事件通知、集中展示、查询统计、事件设置及关联事件设置、行为及级别管理等,环境管理、模板管理、轮询设置、Trap设置、采样周期设置、数据维护,监视各种中间件、数据库、web应用,运维管理,云计算集群服务器管理软件,模块介绍安全管理,无插件、无代理的虚拟化云安全服务,模块介绍运维管理,模块介绍配置监视管理,模块介绍服务器管理,服务器列表,模块介绍服务器管理,服务器监控详细信息,模块介绍应用管理,应用列表,模块介绍应用管理,应用监控详细信息,模块介绍业务管理,业务列表,模块介绍业务管理,业务监控详细信息,模块介绍性能管理,服务器性能指标,模块介绍性能管理,服
19、务器性能指标,模块介绍性能管理,应用性能指标,模块介绍性能管理,应用性能指标,模块介绍事件管理,轮询与告警设置,模块介绍事件管理,告警事件信息,功能特色,中国华能集团IT运维管理平台,中国华能集团IT运维管理平台,网络监控对象,完成网络设备监控数量总计108台(集团公司:54台,广域网54台)完成服务器监控数量总计146台(IBM:71台,Liunx:13台,Windows:60台,HP:2台)完成数据库监控数量总计17个实例(SQL:2个,Oracle:1个,DB2:14个),自系统上线以来,记录处理工单3521条月均处理工单数300400条左右。,总计记录资产信息7115条其中设备信息2309个、软件信息43个、文档信息23个、服务商信息14、耗材信息3个、用户信息619个、电话4000个、业务36个、专线33个。,运维工单情况,资产管理情况,中国华能集团IT运维管理平台,中国华能集团IT运维管理平台,中国华能集团IT运维管理平台,中国华能集团IT运维管理平台,结束语,云计算是新一代信息技术产业的重要组成部分云计算将极大推动传统产业改造升级、加速培育高科技新兴产业云计算下网络系统的监控、管理和运维是云计算平台安全、高效运行的保证,谢谢!,