《云存储服务质量的若干关键问题研究.doc》由会员分享，可在线阅读，更多相关《云存储服务质量的若干关键问题研究.doc（60页珍藏版）》请在三一办公上搜索。
1、分类号学号D200777568学校代码10487密级博士学位论文云存储服务质量的若干关键问题研究学位申请人：王健宗学科专业：计算机系统结构指导教师：谢长生教授副指导教师：万继光副教授答辩日期：2012年5月24日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofDoctorofPhilosophyinEngineeringResearchonKeyProblemsofQualityofServiceinCloudStoragePh.D.Candidate:WangJianzongMajor:ComputerAr
2、chitectureSupervisor:Prof.XieChangshengCo-Supervisor:Assoc.Prof.WanJiguangHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaMay,2012独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月
3、日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密 ，在年解密后适用本授权书。不保密 。（请在以上方框内打“”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日摘要?随着科技的进步，信息技术的发展日新月异，特别是互联网的发展，促成人类生活的改变，从2006年Amazon公司发布AWS系统到2007年IBM和谷歌公司提出云计算的概
4、念以来，云计算已经逐步走入人们的生活当中，使得计算资源如同消费水电般被人们以按需付费的形式使用成为可能。众所周知，当今社会信息量的爆炸式增长使人们对于存储量的需求越来越大，也为云存储发展提供了契机，成为最快为大家所接受的一种云服务形式。云存储用户范围从最初的互联网行业扩大到企业、个人应用等多个领域。服务规模的扩大为云存储系统运营和维护带来了诸多挑战：如数据存储的费用、可靠性和可用性等。云存储的基础设施需要专门为存储海量数据而设计，并需要不断扩容，随着规模的不断扩大维护数据可靠性和可用性的难度也随之增加。同时作为云存储服务的使用者，无论企业或者个人，会在将数据移植到云端前综合考虑权衡各种因素，评
5、价各项指标和性能，例如移植代价、服务质量、数据的可获得性，特别是后续持续使用的开销等，务必通过严格的评估才能做出正确合理的决定。针对目前云存储提供商中，特别是公用云存储平台的性能瓶颈，以及云服务提供商和使用者对于工作负载开销的预估性不足等问题，本论文系统研究了云存储中服务质量的若干关键问题，重点考虑公有云平台的性能稳定性、数据可获得性、云存储系统的可靠性以及其资源调度策略等主题。此外，随着越来越多的工作负载借助于云计算平台来完成，对于InfrastructureasaService（IaaS）提供商来说，一个很大的挑战就在于如何进行精确的成本核算并向租用其平台的SoftwareasaServi
6、ce（SaaS）用户收费，即如何用一个可靠并智能的模型去相对正确地估算负载所消耗的成本并制定合理的价格策略。针对上述的问题和挑战，本文的主要贡献如下：提出一种基于混合公有云存储的优化结构CloudMW，CloudMW针对公有云存储平台中，存储性能稳定度不足及对数据共享支持度不够等问题给出了优化改进方案，通过借鉴RAID系统中复制和分块的思想，将数据条带化放置到云端，并利用中间件技术实现了数据的共享和性能的优化，实验结果证明CloudMW能很好地维护系统的稳定性，并支持数据共?本课题得到国家重点基础研究发展计划（2011CB302303）和国家自然科学基金（60933002）的资助I享且在线服务
7、性能得到保障。当前将用于本地存储或网络系统可靠性的纠错码技术引入到分布式的云存储环境成为趋势，以取代当前云存储系统中常用的多份副本可靠性策略。针对工作负载的多样性特点，深入云存储系统内部，本文提出了一种基于负载特征的云存储可靠性框架CloudRAID，把工作负载的特征考虑到可靠性的保障机制选择中，通过定量化的评价模型，自适应地合理构建云存储可靠性策略，并且在HDFS中实现CloudRAID原型，以验证其有效性以及服务能力。还特别关注云存储提供商的利润率，提出了一种云端自适应的利润优先的调度效用优化算法CloudIO用于分布式云存储环境的I/O资源调度，该算法在保证云存储提供商服务能力的前提下，
8、避免工作负载突发性导致的性能下降乃至停滞，在最大化满足服务水平目标的同时，把云存储提供商的利润考虑到调度算法中，通过实验证明本调度算法同其他调度算法相比能达到更好的负载均衡并使云存储提供商获得更高的利润率。最后提出云环境中工作负载成本开销模型CloudCOST，该模型具备较强的灵活性，既能将应用分配到更大的资源池中，也考虑了更优化的资源共享，并具有自适应性，即对应用分配方式的敏感度较低，能基于应用负载突发性对IT公司的不同应用创建突发过滤器，过滤掉那些因突发性太剧烈而使成本过高的应用，把这些应用移植到云端，此外能整体为IaaS供应商设计成本核算和价格生成模型，通过利用在实际IT公司中收集到的工
9、作负载进行模型的验证，发现CloudCOST具备一定的鲁棒性，同时能根据市场的价格变化动态调节云平台的定价机制。通过对上述云存储服务质量的若干关键问题研究，目标是能够为客户提供性能优良、可靠性高、负载均衡同时能节约成本的云存储生态系统。关键词：云存储，性能优化，可靠性，资源调度，开销模型，定价策略，服务质量，波动因子，负载突发度，虚拟化合并，纠错码IIAbstractWiththeprogressofscienceandtechnology,theinformationtechnologyhasbeende-velopingwitheachpassingday.Especially,thede
10、velopmentoftheinternethascontributedgreatlytothechangeofhumanlife.SincethereleaseofAmazonWebService(AWS)sys-tembyAmazonfrom2006andtheproposaloftheconceptofcloudcomputingbyIBMandGooglein2007,cloudcomputinghasgraduallygoneintopeopleslife,makingitpos-sibleforpeopletoconsumecomputationresourcesliketheyc
11、onsumewaterandelectricityaccordingtotheirdemandintheformofpay-as-you-go.Asweallknow,cloudstorageiswellacceptedbypeopleaccordingwiththeexplosivegrowthoftodayssocietyinformation.Inadditiontotheearlyadoptersfromtheinternetcompanies,moreandmoreenterprises,organizations,andindividualsbegintorelyoncloudst
12、oragetoholdtheirhugedigitalinformation.Somechallengeshavebeenbroughtout,suchasdatastoragecosts,reliabilityandavailabilitywiththescaleexpansionofcloudservice.Meanwhile,thecloudstorageserviceuserswilltakeintoconsiderationvariousfactorsbeforemigratingdatatoclouds,forinstancetheoverhead,qualityofservice
13、,dataavailability,especiallythefollow-upcostofcontinuousservice.Inordertomaketherightdecision,whetherenterprisesorindividualswillgiveadeepthinkingbeforeinvolvingincloudservices.Toaddresstheproblemswiththebottleneckofpubliccloudstorageperformanceandthelackofaccuracyofthebudgetforbothsidesbetweencloud
14、storageprovidersandusers,thispaperistodealwiththekeyproblemsofqualityofserviceincloudstorageincludingpubliccloudstorageperformanceoptimization,cloudstoragesystemreliabilityandI/Oresourceschedulingstrategies.Inaddition,abigchallengeofIaaSprovidersishowtoaccountthecostandchargefeesfromtheleasingSaaScu
15、stoms.Inotherwords,weareaimtouseareliableandrobustmodelandmaketherightpricingstrategiesaftertheevaluationofworkloadscostaccurately.Thispapermakesomeprogressesfacingthepreviouskeyproblemsandchallenges.Themaincontributionsofthepaperasfollows:weproposedahybridcloudstorageop-timizedframeworkCloudMW,Clou
16、dMWcanbringoutseveralimprovedschemastoIIIaddressthelackofperformancefluctuation,datasharingsupport.ByimportingchunkingandreplicationthinkingofRAIDintocloudstorage,westripethedataintocloudsandu-tilizethemiddlewaretechnologytoimplementdatasharingandperformanceoptimizing.TheevaluationprovedthatCloudMWc
17、anavoidtheperformancefluctuation,supportdatasharingandmaintaintheonlinequalityofservice.Inaddition,thecloudstoragereliabilityframework,calledCloudRAIDispresented.Itistendencythatreplacemultiplyreplicationstoerasurecodingastheefficientredundancystrategiesincloudstorageplatforms.Ourworkconsideredworkl
18、oadcharacteristicsintotheselectionofcloudreliabilityschemas.Afteradoptingthequantitativeevaluationmodels,CloudRAIDcangrouprightreliabilitymechanismsadaptively.WepractisedCloudRAIDinHDFStovalidatethecapabilityofserviceandeffectiveness.Then,weputforwardanadaptiveI/Oresourceschedulingalgorithm(CalledCl
19、oudIO)forutilityoptimizationtotakethecloudprovidersprofitmarginintoconsideration.Un-dertheservicecapabilityguaranteeofthepremiseofcloudstorageprovider,thealgorithmcanavoidtheperformancedecreasingorstagnatingandsatisfytheServiceLevelObjec-tive(SLO).Theresultsofourexperimentssuggestthatthealgorithmisa
20、daptivetoarchivebetterworkloadsbalancingwhilemaximizingprofitscomparedwithotheralgorithms.WefinallyproposedtheCloudCOSTmodelforworkloadscostincloudcomputingenvironments.CloudCOSTisofstrongflexibilityandnotsensitivetotheapplicationcon-solidation.Webroughtoutworkloadsburstinessfilterhere:migratebursty
21、workloadstotheclouds,whereIaaSprovidersexist,andthenlettherestprocessedlocally.Weensurethatourmodelisabletoadjustitselfaccordingbythemarketchanging.ThroughthevalidationbyadoptingoftheactualITcompanyworkloads,wefoundthatCloudCOSTisrobustandmaketherightpricingmechanismsynchronously.Throughtheabovestud
22、yaboutqualityofserviceincloudstorage,thisthesisistobeabletoprovidecustomerswithexcellentperformance,highreliability,loadbalanceandsavethecostincloudstorageecosystematthesametime.Keywords:cloudstorage,performanceoptimization,reliability,resourceallocation,costmodel,pricingstrategy,qualityofservice,vo
23、latilityfactors,workloadbursti-ness,virtualizationconsolidation,erasurecodingIV目录摘要.IAbstract.III目录.V插图索引表格索引1绪论1.1研究背景.(1)1.2国内外研究现状.(3)1.3研究的目的与意义.(11)1.4研究主要内容.(11)1.5论文组织结构.(13)2基于公有云存储平台的性能优化2.1研究背景与出发点.(15)2.2一种基于混合云存储的优化结构CloudMW.(16)2.3CloudMW实验结果与分析.(22)2.4本章小结.(27)3基于纠错码的云存储可靠性保障机制3.1研究背景与
24、挑战.(29)3.2一种基于负载特征的云存储可靠性框架CloudRAID.(31)3.3CloudRAID空间效率与性能分析.(39)3.4CloudRAID原型实现与结果评估.(44)3.5本章小结.(51)V4面向云存储的I/O资源调度优化算法4.1研究动机与调度目标.(53)4.2一种云端自适应I/O调度效用优化算法CloudIO.(56)4.3CloudIO调度算法效用优先设计.(60)4.4CloudIO实验结果与分析.(64)4.5本章小结.(70)5基于云计算环境的工作负载开销模型5.1研究背景与动机.(71)5.2一种具备鲁棒性的负载成本估算模型CloudCOST.(73)5.
25、3工作负载特性和突发性过滤器评测.(80)5.4CloudCOST鲁棒性和定价策略评估.(84)5.5本章小结.(88)6总结与展望6.1全文总结.(91)6.2进一步研究的工作思考.(92)致谢.(95)参考文献.(97)附录1攻读学位期间的主要成果和奖励.(103)VI插图索引图1.1云计算的层次.4图1.2论文研究内容的逻辑结构.12图2.1传输时间的累积分布函数.17图2.2混合云存储系统CloudMW框架.17图2.3CloudMW框架数据的分块和复制.20图2.4亚马逊公有云存储中默认数据共享方式.21图2.5ClouwMW数据共享方式.22图2.6云端存储介质基准测试配置.23图
26、2.7S3中数据分1到6块后的访问时间.24图2.8分块和复制后对性能提升的时间累积分布函数.25图2.9分块后云端EBS和S3的I/O性能比较.26图2.10CloudMW的Postmark基准测试I/O性能.26图3.1CloudRAID系统体系结构.36图3.2CloudRAID数据恢复过程.39图3.3文件特征的累积分布函数比较.40图3.4CloudRAID不同组织模式存储开销比较.41图3.5云RAID系统可靠性分析.43图3.6云RAID系统可恢复数据概率分析.43图3.7云RAID调节（w，k）编解码计算速度.46图3.8CloudRAID中数据块个数调节对性能影响分析.47图
27、3.9TPC-C基准测试性能分析.48图3.10CloudRAID系统降级读性能分析.49图3.11Postmark基准测试性能分析.50图3.12不同应用类型的空间开销分析.51图4.1CloudIO算法的系统框架和模块.57图4.2OLTP和WebSearchTraces的I/O全局请求到达率.64图4.3存储节点1的I/O请求到达率.65VII图4.4存储节点2的I/O请求到达率.65图4.5OLTP的SLO分解结果.66图4.6WebSearch的SLO分解结果.67图4.7存储节点1（I/O资源充足）中各虚拟机的响应时间对比.68图4.8存储节点2（I/O资源紧张）中各虚拟机的响应时
28、间对比.69图4.9不同价格策略的调度结果比较.69图5.1工作负载A和B的存储需求.73图5.2CloudCOST体系结构图.74图5.320个应用的最大和平均CPU需求.80图5.420个应用的最大和平均存储需求.81图5.5应用C和D的CPU需求.83图5.6不同阙值下20个应用通过突发性过滤器之前和之后的成本估算.84图5.7不同阙值下20个应用通过突发性过滤器之前和之后的成本总和.84图5.8在Average-based模型计算下20个应用的成本.85图5.9在Bursty-based模型计算下20个应用的成本.85图5.10在CloudCOST模型计算下20个应用的成本.86图5.
29、11三个模型20个应用的最大和最小开销差值对比.86图5.12在分配方案一下使用CloudCOST模型计算出的CPU、存储和总成本（=1.28）.87图5.13在分配方案一下使用CloudCOST模型计算出的总成本对比图（=0.7/1.28）.88图5.14在分配方案I下，20个应用的成本和定价情况.89图5.15在分配方案III下，20个应用的成本和定价情况.89VIII表格索引表1.1国内外公用云平台比较.5表2.1亚马逊云存储资源特征分析.16表2.2S3和EC2之间数据传输的性能波动.16表2.3公有云存储优化建模命名规范.20表2.4公有云存储基准I/O测试结果.24表2.5S3和E
30、BS的读写性能比较.27表3.1云RAID建模命名.32表3.2CloudRAIDHadoop测试平台配置.47表4.1不同访问模式导致的资源需求差异.54表4.2CloudIO算法中符号及其含义.58表4.3CloudIO局部SLO设置.68表4.4不同定价策略下各算法的收益对比.70表5.1Average-based、Average-based和CloudCOST中模型的主要参数.76表5.2在第三种分配方案下应用C和D的成本.82IXX1绪论本章主要介绍论文的研究背景、国内外研究现状、研究目的与意义、研究主要内容以及论文组织结构。1.1研究背景众所周知，IT技术的发展经历过三次浪潮：第一
31、次浪潮以计算技术为中心，以处理器的发展为核心推动力，产生了计算机工业，推动了计算机的迅速普及和应用；第二次浪潮以传输技术为中心，促进了计算机网络的发展和普及。这两次浪潮大大加速了信息数字化进程，使得越来越多的人类信息活动转变为数字形式，从而导致数字?畔栽龀T技术的目前第三次发展浪潮云计算时代的到来。云计算的出现代表了信息技术（IT）服务在创造、开发、部署、扩展、更新、维护和计价等方法上的根本性变革。计算如今呈现出一种矛盾一方面，计算机的能力指数级地增长并且单位计算的价格迅速降低，以至于现在计算能力本身很大程度上就是一种商品1。另一方面，当计算逐渐深入到组织内部，分散的信息结构以及分布式数据和软
32、件使得管理整个基础设施变得越来越复杂，进而使得一个组织的计算成本越来越高。对过去很多无法自己部署IT服务2的组织来说，云计算已经显著降低了计算的前期成本，因此越来越为诸多公司所接受。在当前云计算、大数据的时代背景下，最显著的特征就是数据爆炸式的增长。在2009年，互联网上的数据内容已经达到了5000亿GB，而且这个数据非常有可能会在一年里面翻一倍4。十年前，100GB已经是一个很大的数据，现在人们已经开始以TB（Terabyte）、PB（Petabyte）作为计量单位。大数据时代的到来，将挑战企业的存储架构及数据中心基础设施等，也会引发云计算、数据仓库、数据挖掘、商业智能等应用的连锁反应。最近
33、，全球最大社交网络提供商脸谱公司Facebook5宣称其已经成为世界第三人口大国，仅次于中国和印度，用户已经超过7.5亿人，每天分享的次数达到40亿，可以想象7亿多人在网上分享照片，存储视频其数据量有多大？预计到2020年，全球数据使用的数据总量将达到35ZB（1ZB=10亿TB）。1此外，市场研究机构国际数据集团（InternationalDataCorporation，IDC）6的一项研究表明按照目前的趋势发展，财富五百强企业的平均用户的存储容量已经超过500TB，且存储相关的支出所占企业IT预算的比重从2007年的17%增长到2011年24%，而其存储系统的平均利用率仅仅是50%，因此用
34、户或者企业自己管理存储系统不仅仅是成本过高，而且是效果欠佳，存储社会化33已经成为一种趋势存储即服务（StorageAsAService，SaaS），就如同企业都要用电用水一样，如果企业要自建电厂、水厂服务自身是完全没有必要的，在当今无论对于企业或者个人用户来讲，都很乐意逐步将自己的存储服务外包出去，转移到云存储提供商中。对这些潜在云存储客户而言，转移服务到云端的前提是要求供应商所提供的存储服务应该是具有高可靠性、高可用性、高安全性的系统，只有达到这些性能的要求，用户才会放心地转移到云端中以减轻自己的运营和维护压力，正是这样的刚性需求为云存储发展提供了契机，目前云存储用户范围从最初的互联网行业
35、扩大到企业、教育等多种领域，以及个人存储领域，总之云存储成为云计算领域中增长最快的应用领域。本文正是在当前云存储飞速发展的背景下，从云存储提供商和用户两个角度开展研究。对云存储提供商来说，希望能构建一个可维护性高的、高可用的、高性能海量存储系统来提供服务，并希望同时能尽可能地降低运营的成本。而对用户来讲，当选择云服务的时候，通过充分的权衡和比较，选择性能最优而又符合其开销预期的云存储提供商。总之，在一定程度上云存储提供商和用户之间是一个市场的供需关系，用户当然希望能得到性能最好，价格最便宜的存储服务，而对提供商来说，如果用户太少，可能导致资源的闲置，维护成本过高，而用户太多，则会导致服务质量的
36、降低，最终带来用户的流逝，总之两者之间存在一定程度上的供求矛盾。本文针对云存储服务质量的问题展开研究，从不同的角度，来全面地分析云存储生态系统的各个角色，期望能在云存储提供商和云服务使用者之间在一定程度上达到平衡，取得双赢，最大限度地提升公用云平台的性能，并深入到云存储系统的内部，从可靠性以及资源调度的方面展开优化探索，此外同时能让用户从成本估算的角度合理地选择提供商，本工作通过构建云存储系统优化、可靠性若干关键问题的优化方案，并依据用户负载的突发特性，提出基于负载的开销估算模型，通过具备鲁棒性的成本估算模型，为用户和云存储提供商提供决策支持，从两个维度来系统全面地分析研究云存储整个生态系统。
37、21.2国内外研究现状云存储（CloudStorage）意思是将存储变成一种服务，客户可以是个人也可以是企业按需存储，将数据的存储、备份、管理都交给存储提供商，自己只需要支付相应的服务费用，实质上云存储是在云计算（CloudComputing）概念上延伸和发展出来的一个新的概念32。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以
38、数据存储和管理为核心的云计算系统。其实云存储系统的核心技术还是分布式存储系统、海量存储系统的技术框架，伯克利大学的Michael等人7的观念是：云计算唯一的创新就是商业模式的创新，可以让计算资源商品化，用户实现按需付费，轻易实现弹性计算，因此云计算的出现带来的最大的特点就是IT公司经营方式历史性地变革。下面首先介绍目前云服务的几种模式以及主流的公有云提供商和产品（PublicCloudComputingProviders），接着深入分析云存储系统优化（CloudStorageSystemOptimization）和云计算的经济模型（CloudComputingEconomics）国内外的研究现
39、状。1.2.1云服务模式从终端用户的角度来说，云计算行业常常是指云计算的不同交付模型，不同交付模型涉及云计算体系结构中的不同层次：如图1.1所示例。最常听到的可能是软件即服务，或者说是SoftwareasaService（SaaS），在这种服务模式中，应用在云端运行，客户端机器不再需要安装和运行应用程序。SaaS的实际例子既有Salesforce8提供在线客户关系管理软件（CloudCRM），Netsuite9提供企业资源企划软件（CloudERP）或者GoogleApps10这样的企业级的应用，也有像GmailDocs，Facebook和TwitterApps这样的个人应用服务。其次是平台即
40、服务，或者叫PlatformasaService（PaaS），可以为应用发展和部署提供便利，免除了管理底层硬件和软件的成本以及复杂性。像PaaS这样的例子有Microsoft的AzureServicesPlatform11，Google的AppEngine10，Amazon的RelationalDatabase12服务以及Rackspace的CloudSites13等。3)RUJ )ROKTZY ?=KH (XUYKXY 3UHORK 'VVY :NOT )ROKTZ :KXSOTGR +SRGZUX?9GG9 ?)83 +SGOR <OXZGR *KYQZUV )USTOIG
41、ZOUTY -GSKY?6GG9 ?+KIZOUT 8TZOSK *GZGHGYK =KH? 9KXKX 'VV :UURY?/GG9 ?<OXZGR 3GINOTKY 9ZUXGMK 2UGJ (GRGTIKXY 4KZUXQ?图1.1云计算的层次第三种云计算模型是基础设施即服务，或者叫InfrastructureasaService（IaaS），也就是提供存储和计算能力等基础设施的服务。Amazon的S3存储服务和EC2计算平台，RackspaceCloudServers、阿里云14是一些著名的IaaS实例。综上所述，表1.1列举了当前云计算领域中的一些关键厂家，包括云计算开创者Amazon、IBM和Microsoft，也有国内目
