《毕业论文云计算平台下的能耗管理.doc》由会员分享，可在线阅读，更多相关《毕业论文云计算平台下的能耗管理.doc（13页珍藏版）》请在三一办公上搜索。
1、 论文题目 云计算平台下的能耗管理 专业名称 物联网工程 学生姓名 学生学号 任课教师 论文成绩 教务处 制年 月 日目录引言1云计算基本概念2云计算的服务类型2云数据中心的能耗管理方法4云环境下的资源调度算法研究6启发式调度算法简介7参考文献.10 引言 云计算是目前国内外商业和科研机构研究的热点之一。随着用户对云计算需求的不断增长，云中的信息技术（Information Technology，IT）设备越来越多，数据中心规模越来越大，因此，云环境下的能耗问题也日益突出。 云计算能耗在未来 10 年还会快速增长。这是由于硬件价格逐年降低，人们可以花更少的钱买到性能更强大的服务器；另外，随着云
2、计算这种大规模计算模式需求的迅速增加，也需要投入更多的硬件。表面上看，这是一个良性发展，然而潜在的问题是，随着能源价格的逐年升高，廉价的基础设施将带来昂贵的能源开销。同时，云计算系统中能耗利用率不高，造成能耗浪费的现象，由于现有的云计算系统通常处于空闲状态，等待云计算任务的到达，但是当云数据中心的物理主机处于空闲状态时，其空闲功耗会占峰值功耗的 50%60%。另外，由于云计算系统中的物理机性能通常都不相同，其对应的功耗和响应时间不同，执行任务后，产生的总能耗也会不同。因此，对云计算能耗情况的分析是目前所需要的，同时也是亟待解决的问题。云计算的概念、特点和发展 一、云计算基本概念 云计算是一种商
3、业计算模型和信息服务模式。它将计算任务分布在大量计算机服务器或虚拟服务器构成的不同数据中心，使各种应用能够根据需要获取计算能力、存储空间和信息服务。云计算分为狭义云计算和广义云计算。 从狭义上来说，云计算就是一种像用水电煤气一样使用的 IT 服务，可随时获取、按需服务和按需付费，类似于市场化的供需关系，这种服务是无限、方便且透明的。它意味着计算能力可以当做一种商品进行流通，不同的地方是它通过互联网进行传输。 从广义上来说，只要是与 IT 相关的软、硬件通过互联网所提供的服务，都可以理解为广义云计算。首先由数据中心通过互联网把各种软硬件资源虚拟成资源池（包括计算资源、存储资源、宽带资源等）构成服
4、务端，即云端，这种服务服务端可以为各种服务提供软硬件环境支持，其特点就是资源集中、自动管理。如果云计算能够按理想来实施，那么服务提供商能够更加专注于自己的业务，有利于保证服务质量和降低成本。 云计算的服务类型，就是指云数据中心能够为用户提供什么样的服务；用户通过这种服务，可以完成哪些工作；同时服务类型也规范了用户该如何使用这些服务等内容。目前，云计算按照服务类型可划分为以下三类：（1）软件服务(Software as a Service，SaaS) SaaS 是用户获取软件服务的一种新形式，它将某些特定应用软件功能封装成服务，用户不需要将软件产品安装在自己的电脑或服务器上，而是按某种服务水平协
5、议(SLA)直接通过网络向专门的提供商获取自己所需要的、带有相应软件功能的服务。本质上而言，软件即服务就是软件服务提供商为满足用户某种特定需求而提供其消费的软件的计算能力。多数情况下每一个 SaaS 都是一种指定的服务，一般是基于用户的定制化的开发出来，SaaS 已吸引了众多厂商的参与，例如 Salesforce、微软、用友、金蝶等。 （2）平台服务(Platform as a Service，PaaS) PaaS 可以为用户提供一个软件开发的平台，在这种服务模式中，客户不需要购买硬件和软件，只需要利用 PaaS 平台，就能够创建、测试和部署应用和服务。目前国内典型的 PaaS服务有 Sina
6、 App Engine，国外典型的 PaaS 服务有 Google app Engine、Windows Azure、Facebook的开发平台等。 （3）基础设施服务(Infrastructure as a Service，IaaS) IaaS 将硬件设备如裸机、磁盘等基础资源封装成服务直接提供给用户使用，用户可以自行部署操作系统和运行应用程序。这种云服务是最底层的，无论是最终用户、SaaS 提供商还是 PaaS 提供商都可以从基础设施服务中获得应用所需的计算能力，但却无需对支持这一计算能力的基础 IT 软硬件付出相应的原始投资成本。 二、云数据中心的能耗管理方法 云计算作为一种新型的计算方
7、式，以其高可扩展性和高可用性等优点迅速成为学术界和产业界的研究热点。随着云计算的迅速发展，数据中心的数量和规模也迅猛增长，能耗问题也越显突出，另一方面大型数据中心系统的耗电居高不下，电费也极大地增加了成本。一篇 IDC（Internet Data Center）报道称：全世界每年在企业服务以及散热耗电上的花费超过 300 亿美元，可能超过在购买新硬件设备上的花费20。在过去的几十年当中，数据中心的计算和制冷所消耗的能源已经增长了 400%，并且这一数字会继续增加。数据中心的能耗管理正成为研究的热点。 针对数据中心的能耗问题，研究者提出了不少能耗管理方法，本论文对各种能耗管理方法进行了调研和总结
8、，主要分为以下五类： （1）动态电压调整 (Dynamic Voltage Scaling，DVS)技术 DVS 技术主要针对处理器等电压/频率可调节的系统部件。根据功耗和频率的递增凸函数关系，在完成同样的工作量情况下，当处理器稳定在尽可能低的频率上时能耗最低。另一方面，应用程序并非总是需要以最快的速度执行，如果能以较低处理器频率满足任务的性能要求，则可以降低系统能耗或者达到期望电池寿命。问题关键在于正确预测工作负载对处理器的需求，合理分配处理器配额。通过启发式调度，对一个集群中的具有约束性的并行任务，使用动态电压频率调整技术降低集群能耗。对于具有最迟截止任务时间的并行任务，分析出关键任务和非
9、关键任务，在不影响整个并行任务完成时间的前提下，延长非关键任务的执行时间，对非关键任务执行 DVFS，调整其电压，降低整个并行任务的总能耗。文献22突破了传统的只将 DVS 使用在单台物理机上的限制，提出了在多层 Web 服务环境中结合服务等级协议（Service-Level Agreement，SLA）的要求动态的调节 CPU 电压的解决方案。其部署分布式的能耗管理服务在三层的 Web 服务环境中，同时提出优化算法优化协调各个DVS 的设置以最大限度的降低数据中心的整体功耗。提出了一种基于电压动态调整的能耗优化算法。该算法针对任务预测执行时间不准确的问题，把因预测执行时间比实际执行时间要长而
10、导致计算机空闲的时间段分配给新的任务或调整处理器电压以降低能耗。 （2）虚拟化技术 随着虚拟化技术的发展， 其已经被广泛应用于数据中心。使用虚拟化技术管理数据中心变得更加方便， 也提高了数据中心的服务可靠性，提高资源利用率。我们可以把这些归功于虚拟化技术的固有特性。虚拟化技术能够提高资源已用率的主要原因在于它可以实现多台虚拟机共享一台物理机器的资源，通过这种方式物理资源能够被更加有效的使用同时各个虚拟机又能够互相独立；虚拟机迁移也是提高资源利用率的另外一项重要技术，这是因为虚拟机迁移能够实现负载的整合。通过负载整合将虚拟机更加合理的部署到尽量少的物理机器上，把空闲的物理机器关闭或者调整为低功耗
11、状态，以此降低整个数据中心的能耗。实时的虚拟机迁移技术24则提供了一种更为先进的方式，在对服务质量产生很小影响的前提下进行负载整合，这使得负载整合技术的优势更加明显。另外一方面，当前的大部分虚拟化管理软件，例如 XEN，VMWare25能够使系统管理员设定虚拟机资源分配的最大最小值，使得针对不同优先级应用的资源分配更加合理化和智能化。将能耗管理技术与虚拟化技术相结合，为大规模数据中心开发了一种能耗优化管理方法 VirtualPower。该方法支持虚拟机独立运行自己的能耗控制方法，并能够合理协调不同虚拟化平台之间、同一个虚拟化平台上不同虚拟机之间的能耗控制请求，实现对能耗的整体优化管理。开发了一
12、个分布多层的能量控制系统。该系统包含两个子系统：宿主级和用户级子系统。宿主级子系统从宏观上控制整个系统的能耗，根据所有用户请求对硬件资源进行合理分配，使得每个虚拟机的能耗不超过其规定的上限。用户级子系统在虚拟机层重新对虚拟硬件资源进行分配，使每个用户任务产生的能耗不超过其规定的上限。 （3）对存储设备的能耗管理方法 数据存储是云计算的重要组成部分，是各种云计算服务的基础，在云计算的整个能耗组成中占有很大比例，一些大规模数据中心上的存储系统的能耗占到整个数据中心能耗的27%40%。 存储设备对系统性能的影响因素主要包括磁盘类型、磁盘请求频率、高速缓存容量和存储数据的访问比例。这些信息也可以作为减
13、少存储能耗的参考因素。典型网络的应用请求通常具有很强的局部性，我们可以采用和请求分布同样的思路，引用流行数据的概念，这样就可以将这部分数据聚集存储在一部分高性能低能耗的磁盘阵列中，而其他存储设备则可以处于低能耗状态以节约能量。在存储系统方面，提出了针对于数据中心存储服务的技能方案。该方案将使用频率较高的数据迁移整合到一组硬盘当中，从而将其他的硬盘调节到低功耗状态，从而达到降低存储系统能耗的目的。 （4）动态电源管理技术 云计算系统中许多部件具有多种功耗模式，如磁盘驱动器、通讯网卡、内存等，这类部件也称为功率可管理部件 PMC(Power Manageable Component)。在空闲时 P
14、MC 可以一直保持在高功耗状态，一旦服务请求到达立刻响应请求。也可以切换到低功耗休眠模式，请求到达时先激活，而后再提供服务。实验观察发现计算机系统的许多部件大部分时间均处于空闲状态。由于 PMC 休眠模式的功耗一般比运行模式低很多，系统可通过选择性地将空闲 PMC 设置为低功耗休眠模式，降低 PMC 空闲时间的功耗。 DPM 是一种应用非常广泛的低功耗设计技术。这种动态配置技术可以使系统在最少的负载下提供并满足所需要的性能。功耗管理者实时监测系统各功耗可管理部件 PMC 的运行负荷情况，在满足系统所要求性能的前提下，动态调整 PMC 的功耗程度，控制系统进入不同的工作模式，降低空闲时间的系统功
15、耗，从而达到系统节能的目的。 （5）资源调度算法 通过资源调度的方式，可以对云计算系统的奢侈能耗进行优化控制，从而降低总能耗。云环境主要运用虚拟化技术，将云计算29数据中心的各种计算资源、存储资源和网络资源等整合到一起，形成一个资源池。由于资源的种类多、规模大，在任务与资源之间它们往往是多对多的关系，即多个请求的计算任务对应多个可用资源30，而它们的状态又同时处于动态变化过程中，这给分布式并行计算31带来了技术困难，并且这一领域中的许多问题是 NP 完全问题，迄今没有令人满意的解决方案。 针对第一章分析的空闲能耗和奢侈能耗，本文主要研究了后面两种能耗管理方法，即采用 DPM 策略以降低云平台中
16、的空闲能耗，采用资源调度算法以降低云计算系统因不合理的调度方式而产生的奢侈能耗。 三丶云环境下的资源调度算法研究 在云计算系统中，有大量的用户任务运行，它们共享云计算的各种资源，如何才能使这些任务获得最大的性能是调度要解决的问题。简而言之，云计算资源调度的目标就是如何种类繁多的云计算资源合理分配到各个任务上，是云计算系统高效的运行。云计算资源调度的优劣可以从四个方面来衡量：最优跨度(Optimal MakeSpan)、服务质量 (Quality of service，QoS)、资源优化和负载均衡(Load Balaneing)。 （1）最优跨度 跨度指的是用户提交一组任务的整体执行时间，也就是
17、从第一个任务开始运行到最后一个任务运行完毕所经历的时间。 （2）服务质量 云计算系统为用户提供计算和存储服务时，用户对服务需求情况是通过 QoS 形式反映出来的。不同的资源使用者希望获得不同的服务质量，有的希望在一个规定的 deadline 内完成任务，有的希望平均响应时间时间较短，有的则对安全性要求较高，这就要求云计算系统能针对不同的用户需求提供不同的服务质量保障。 （3）资源优化 定时对数据中心资源分配进行优化，以保持数据中心资源的合理分配。资源的优化依据不同的策略，不同的策略有不同的优化目标，通常有一下几种：a、通信调优策略：主要依据数据中心的网络带宽调度资源，该策略使得服务器之间的通信
18、带宽、服务器与外部的通信带宽得到合理的分配；b、热均衡策略：主要依据数据中心内服务器的产热分布进行资源调度，该策略调整数据中心的资源使用分布情况，从而达到指定服务器之间的产热均衡，使得数据中心的散热设备得到充分利用，节约能源。 （4）负载均衡 负载均衡是指采取某种调度策略后，云计算中的各种异构资源都能被充分使用，不同的资源都能发挥它的优势，性能好的资源分配较多任务，而性能较差的资源分配较少任务，最大限度地利用云中各种不同的资源。云计算资源调度是涉及交叉领域和大规模应用的调度，解决好系统的负载平衡是一个非常关键的问题。 目前国内外对云环境下的资源调度的研究基本集中启发式调度算法上，其中研究和应用
19、比较广泛的算法主要包括遗传算法、Min-Min 算法、粒子群算法、模拟退火算法和蚁群算法等。 （1）遗传算法 遗传算法（Genetic Algorithm，GA）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法，它最初由美国 Michigan 大学 J.Holland 教授于 1975 年首先提出来的。遗传算法通过模仿自然界的选择与遗传的机理来寻找最优解。遗传算法有三个基本算子：选择、交叉和变异。遗传算法的原理是随机生成一个由出师解组成的种群，然后通过选择、交叉和变异操作，生成新的种群；对群体中每一个个体计算其适应度，根据适应度的
20、大小选择个体，并根据交叉和变异概率进行交叉和变异操作，来生成下一代种群；如此迭代直至找到最优解或迭代次数达到上限。遗传算法克服了一般的迭代算法容易陷入局部极小的陷阱而出现“死循环”现象，使迭代无法进行的问题，是一种全局优化算法。遗传算法的优点主要有：快速随机的搜索能力； 搜索从群体出发，具有潜在的并行性，可以进行多个个体的同时比较，有较强的鲁棒性；搜索使用评价函数启发，过程简单；具有可扩展性，容易与其他算法结合。但是遗传算法编程实现比较复杂，首先需要对问题进行编码，找到最优解之后还需要对问题进行解码，另外三个算子的实现也有许多参数，如选择概率、交叉概率和变异概率，并且这些参数的取值会对解的优劣
21、产生重要影响，而目前这些参数的选择大部分是依靠经验，并没有能够及时利用网络的反馈信息，因而算法的搜索速度比较慢。 GA 算法在全局空间内搜索最优解，被广泛应用于资源调度中，基于遗传算法的资源调度已经被应用在多处理器系统，同构的集群环境以及云计算环境中。 （2）Min-Min 算法 Min-Min 算法调度的目标是任务最小执行时间最短的最先执行。对于每一个任务，计算在所有可用资源上的估计完成时间(Estimated Completion Time，ECT)，将 ECT 最小的任务分配到相应节点上。Min-Min 的含义即为最早完成的任务，最快完成的节点。Min-Min 调度算法的特点是实现简单，
22、效率高，缺点是系统负载均衡性差，不能保证服务质量。 （3）粒子群算法 粒子群算法（Particle Swarm Optimization，PSO）是一种进化计算技术，由 Eberhart 博士和 kennedy 博士于 1995 年首次提出，PSO 源于对鸟群捕食的行为研究。它是通过模拟鸟群觅食行为而发展起来的一种基于群体协作的随机搜索算法，是一种基于迭代的优化算法。PSO 的一个最大的特点就是记忆，同遗传算法相比它简单容易实现并且没有许多参数需要调整，所有的粒子可能更快的收敛于最优解。而粒子群算法存在的一个问题是对于离散的优化问题处理不佳，容易陷入局部最优。 （4）模拟退火算法 模拟退火算法
23、(Simulated Annealing，SA)最早被应用于组合优化领域，它是基于Mente-Carlo 迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。SA 算法从某一较高初温出发，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找目标函数的全局最优解。SA 的优点是：质量高；初值鲁棒性强；简单、通用、易实现；但存在的问题是：由于要求较高的初始温度、较慢的降温速率、较低的终止温度，以及各温度下足够多次的抽样，因此优化过程较长。该算法被使用在集群及云计算的资源调度和任务调度中。 （5）蚁群算法 蚁群优化算法是模拟蚂蚁觅食的过程，设计
24、出的一种模拟进化算法。在寻找食物时，每个蚂蚁都会在其经过的路上释放一些信息素，每只蚂蚁在感知的范围内寻找食物，如果没有找到食物，就在一定的范围内感知这种物质的强度，并朝着信息素最多的方向移动。每条路径上信息素的多少会影响其它蚂蚁选取该路径的几率，最后所有的蚂蚁将选择最短的路径。在路径选择过程中，如果遇到在感知范围内没有信息素的情况，蚂蚁就按照自己原来运动的方向随机地挑选一条路径，同时释放出相关的信息素。 蚁群算法是一种并行算法，每只蚂蚁觅食的过程相互独立，一旦找到食物，蚂蚁通过释放信息素的方式告知其它蚂蚁，而不是直接交流。这种并行且独立的搜索方式，增加了算法的可靠性，降低了系统搜索时间，具有较
25、强的全局搜索的能力。另外，蚁群算法有较强的鲁棒性，算法的求解结果不依赖于初始路线的选择。正是由于蚁群算法存在的上述的优点使它非常适合用于云计算环境下的资源调度。但是蚁群算法也存在一定的问题：该算法在执行过程中需要花费较长的计算时间，只适用于一定规模的计算；搜索初期每条路径上的信息素差异不明显的时候，可能会使得大量的蚂蚁选择一条并不理想的路径，造成大量的无效搜索，降低搜索效率，使系统出现停滞现象，最终找到最优路径的时间会比较长。 参考文献刘鹏. 云计算M. 北京: 电子工业出版社, 2010:1-9,177-185. 陈康, 郑纬民. 云计算: 系统实例与研究现状J. 软件学报, 2009(5)
26、:1337-1348. AI L, TANG M, FIDGE C. Resource allocation and scheduling of multiple composite web services in cloud computing using cooperative coevolution genetic algorithmC. Proceedings of the IEEE International Conference on Neural Information Processing, 2011: 258-267. 李 钰 , 张 海 文 , 吴 名 瑜 等 . 一 种 面 向 异 构 机 群 系 统 的 低 功 耗 任 务 调 度 算 法 EB/OL. 2009-10-23.
