《VMCkpt基于虚拟机的检查点技术研究.ppt》由会员分享，可在线阅读，更多相关《VMCkpt基于虚拟机的检查点技术研究.ppt（40页珍藏版）》请在三一办公上搜索。
1、VMCkpt:基于虚拟机的检查点技术研究,提纲,课题背景及意义,1,国内外研究现状,2,核心问题及策略,3,4,课题规划,检查点概述,定义：Checkpoint is a designated place in a program at which normal processing is interrupted specifically to preserve the status information necessary to allow resumption of processing at a later time(Zomaya 1996).检查点用途容错及灾备（FT&HA），广泛应
2、用于DBMS，并行高性能计算（longtime）等进程或系统的休眠、迁移，系统快速启动。程序调试,课题背景,项目：973子课题四，“虚拟计算系统普适化运行环境研究”支撑系统：多平台共享的虚拟用户环境(VUE)系统现状：已经实现了用户多状态可回滚的桌面虚拟环境,课题背景（续）,全系统检查点数据组织结构,课题意义（续）,亟待解决问题,课题意义（续）,如何提高系统的可用性和运行效率？设计和优化基于虚拟机的全系统检查点：可压缩存储、对用户透明、可增量存储、可聚合、可协作。抛开系统，实现高效的VM检查点本身意义重大。对任何应用完全透明。可迁移性好。,提纲,课题意义,1,国内外研究现状,2,核心问题及策略
3、,3,4,课题规划,4,检查点分类（续）,检查点分类（实现方式）用户层：API函数库或user-mode signal handler进程类:Libckpt，Thckpt，Esky，Condor并行程序类：PM2，Score，CLIP，CoCheck系统层：system call，Kernel mode signal handler,Kernel thread Zap,VMADump，EPCKPT，BLCR等VMM层：Hyper callXen，VMware，Hyper-V文件系统级：商业DBMS，Windows系统还原，Symantec 的 VxFS，清华的CprFS,进程级检查点研究现状,
4、Libckpt:Transparent Checkpointing Under UNIX（USENIX95）The Design and Implementation of Zap:A System for Migrating Computing Environments(OSDI02)PM2:A High Performance Communication Middleware for Heterogeneous Network Environments(Supercomputing00)CLIP A Checkpointing Tool for Message-Passing Parall
5、el Programs(Supercomputing97)DejaVu:Transparent User-Level Checkpointing,Migration,and Recovery for Distributed Systems(IPDPS07)Application-level checkpointing for shared memory program(ASPLOS04)Implementation and Evaluation of a Scalable Application-level Checkpoint-Recovery Scheme for MPI Programs
6、(SC04)Transparent Checkpoint-Restart of Multiple Processes on Commodity Operating Systems(USENIX07),检查点特性比较（续）,基于虚拟机的检查点研究现状,现有基础：Xen Save/Restore,Live Migration保存VM transient state，不包括文件系统，可能导致内存快照和镜像文件不一致对应用不透明，内存不可增量，每次快照都造成了很大的时空overhead。现有文献：Checkpoint Restart of Virtual Machines Based on Xen(H
7、APC Workshop 06)Virtual Machine Time Travel Using Continuous Data Protection and Checkpointing(ACM OS Review 2008)Remus:High Availability via Asynchronous Virtual Machine Replication（NSDI 08）,虚拟机Xen检查点研究现状,2,基于虚拟机在线迁移的检查点技术，并提供持续的数据保护。,ACM OS Review 08,3,NSDI 08,HAPC workshop 06,Remus，通过虚拟机状态的异步复制和检
8、查点技术，实现对虚拟机的透明容错，从而提高系统的高可用性。,1,基于Xen虚拟机的Save/restore技术。,美国橡树岭实验1，提出了虚拟机检查点在分布式环境中的管理框架2，分析了Xen检查点可能造成状态不一致的原因,IBM海法研究实验室项目1，引入CDP(Continuous Data Protection)不间断的数据保护存储技术2，基于虚拟机迁移技术的内存透明检查点实现,英属哥伦比亚大学研究项目1，高可用性（ckpt/25ms）2，基于VM live migration,需要一台slave机3，频繁增量保存VM快照,提纲,课题意义,1,国内外研究现状,2,核心问题及策略,3,课题规划
9、,4,4,5,核心问题及策略,检查点性能指标Checkpoint sizeCheckpointing downtime Checkpointing latency(total time)Checkpointing overhead研究问题如何减小虚拟机检查点的大小？如何利用COW技术实现透明检查点？内存镜像数据如何增量保存？VM镜像文件如何管理（删除或合并）？如何设计多机协同检查点算法？,问题1（内存镜像优化）,VMM,VM,VM,D 0,VM,用户环境数据,Intranet/Internet,使用虚拟环境,VM restore,VM,VM save,数据服务器,如何对内存镜像进行压缩存储,优
10、化网络传输?,HW,虚拟机的内存空洞问题在虚拟机保存和恢复时没有考虑内存空洞的问题，VM快照大小主要取决于预配置的内存大小，未使用的内存页面也都一并写入磁盘.符合BLCR检查点规律,问题1（消除内存镜像空洞）,WWS curve for a complete run of SPEC CINT2000(512MB VM),问题1（VM内存镜像空洞）,200MB,如何设计内存镜像的压缩算法，消除内存空洞，减小保存和恢复的时空消耗？Optimizing Checkpoint Size in the C3 System(IPDPS05)利用进程应用级的语义信息来self-checkpointing.可
11、以减少内存中对象的拷贝。Memory Exclusion:Optimizing the Performance of Checkpointing Systems(SP&E 99)Optimizing the Migration of Virtual Computers（OSDI02）利用ballooning 机制来把页面内容内存换出到交换分区，然后把该页面清0，从而方便压缩。但该机制没有考虑页面属性，可能导致PF。Post-Copy Based Live Virtual Machine Migration Using Adaptive Pre-Paging And Dynamic Self-B
12、allooning（VEE09）创新点：检测出VM内存中的所有空闲页，记录到一张线性表中，不拷贝这部份数据到磁盘。,问题1（消除内存镜像空洞）,虚拟机的保存：Dom U 断开与设备的连接Xen 探测VM内存页表中未分配（free)的页面。记录虚拟机中MFN表中页面为free的页表项地址到一张线形表中。把已使用的页表MFN转化为PFN表，dump到磁盘。保存CPU及设备状态。对已经消除了内存空洞的镜像进一步进行压缩。虚拟机的恢复：VMM根据VM配置信息创建一个虚拟机，建立页表映射关系。进行PFN-MFN表的影射，把磁盘中保存的内存页面装填到内存。恢复设备和VCPU状态。,问题1（消除内存镜像空洞
13、）,技术难点：虚拟机空闲内存页面的快速探测算法（VMM和VM之间存在语义隔阂）研究状态：已经有一定进展，分析设计工作已经完成，已经完成了部分试验。系统正在编码和调试。目标：Cluster2009 4.14,问题2（VM 透明检查点设计）,关键问题：虚拟机检查点的过程会中断系统服务，downtime时间主要取决于需要保存的内存镜像大小，为了不中断用户操作，应设计一种对用户透明的检查点。Libckpt:Transparent Checkpointing Under UNIX（Usenix95）利用UNIX fork来clone process，实际是利用了缓存机制。Transparent Chec
14、kpoint-Restart of Multiple Processes on Commodity Operating Systems(usenix07)利用 copy-on-write机制来保存页面Reducing Downtime Due to System Maintenance and Upgrades（LISA05)Virtual Machine Time Travel Using Continuous Data Protection and Checkpointing(ACM OS Review 2008)Remus:High Availability via Asynchrono
15、us Virtual Machine Replication（NSDI 08）,问题2（VM透明检查点设计）,Make a checkpoint,Make a checkpoint,State 1,State 2,State 1,文献2，3中利用Xen migration实现的检查点滞后于触发时间,方案一：,方案二：,问题2（VM 透明检查点设计）,解决方案：在拷贝内存页面到磁盘的过程中利用COW机制及缓存技术，保证检查点过程中用户数据的初始状态一致性。停止虚拟机的运行，保存VCPU和设备状态初始化虚拟机内存页面状态虚拟机恢复执行，用COW机制拷贝所有的内存页,0,0,0,0,0,0,0,0,
16、0,0,0,0,0,0,0,0,0,0,0,0,做检查点时设置页面状态为未拷贝（0）和只读,write,1,1,1,1,COW机制的实现,页面拷贝策略：Lipper-hop 算法从页表的低地址开始copy页面到磁盘，然后清除页面只读和未拷贝标志。拷贝过程中VM对页面的read操作不做任何处理VM对页面的Write操作产生一个protection violation（PV）,拷贝线程会立即进行处理，把该页面拷贝到缓冲区，清除只读标志后，页面可写。根据程序执行的局部性原理，总是预拷贝发生PV页面的地址附近的页面,这种预拷贝策略可以减小PV次数，减少了的处理page fault的时间消耗。,Page
17、 fault,Page fault,问题2（VM透明检查点设计）,研究状态：目前，分析设计工作已经基本完成。对Xen的实现的工作基础进行了分析已经开始进行系统实现目标：VEE 2010 or Other,问题3（可增量的内存检查点）,问题：内存镜像的数据量比较大，同一个用户多次保存运行的系统快照，如果每次都保存所有内存镜像，时空消耗非常大 面向进程的检查点系统很少实现了Incremental Checkpoint，只有 Libckpt（USENIX95）有实现。,Memory taint,Memory map,Memory taint,ckpt1,ckpt2,ckpt3,time,方案：实现增
18、量的检查点，将极大的提高检查点的效率。所有页面设置为写保护状态，write会产生PF用bitmap数据结构记录从上一次检查点之后修改过的内存页面。设计页面增量保存的数据格式。进行内存检查点数据版本控制。扩展：不同用户间检查点页面数据的共享？创新点：Pre-checkpointing,即在检查点间隔期间利用CPU 空闲时来预先保存修改不频繁的页面，减小检查点时刻的系统的overhead.(2009.10 ACM conf),问题3（可增量的内存检查点）,问题4（文件系统检查点管理）,文件系统增量由树形结构组织，只有叶子节点为可读可写的，增量文件以指针逆向指向根节点。问题：当指针链过长的时候会增加
19、从检查点恢复系统的时间，同时无法删除历史久远的检查点，因为存在层层依赖关系。,现有文献,Distribution-Free Checkpoint Placement Algorithms Based on Min-Max Principle（IEEE TRANSACTIONS ON DEPENDABLE AND SECURE COMPUTING,2006）A Variational Calculus Approach to Optimal Checkpoint Placement（IEEE TRANSACTIONS ON COMPUTERS 2001）Optimal Checkpoint Pl
20、acement with Equality Constraints（Proceedings of the 2nd IEEE International Symposium on Dependable,Autonomic and Secure Computing(DASC06),问题4（文件系统检查点管理）,解决办法：分析qcow生成的文件格式，以文件的语义信息进行内容的合并。研究问题：基于时间戳和操作序列的检查点更新策略。基于时间序列和用户行为的检查点删除策略。LNCS conference 2009,12,文件1T:0,文件2T:0,文件3T:0,文件2T:1,文件3删除,文件4T:0,版本
21、1,版本2,merge,文件1T:0,文件2T:1,文件4T:0,问题5(分布式多虚拟机协同检查点),多虚拟机的协作检查点,关键在于保证状态的一致性.对于虚拟机之间存在通讯的情况,如何避免网络包的丢失?,Domain 0,Hypervisor,DBMSServer,MiddlewareServer,WEBServer,Guest OS,Guest OS,Guest OS,现有文献,An Optimal Checkpoint/Restart Model for a Large Scale High Performance Computing(IPDPS08)On Coordinated Chec
22、kpointing in Distributed Systems(TPDS98)Cooperative Checkpointing Theory(IPDPS06)Cooperative Checkpointing:A Robust Approach to LargeScale Systems Reliability(ICS06),问题5(分布式多虚拟机协同检查点),同物理主机和分布式VM需要采用不同的协同检查点策略，算法设计还在考虑中。关键问题：消除可能存在的孤儿消息。设计检查点放置策略，消除检查点回滚的多诺米骨牌效应。,系统架构,核心策略及进展计划,消除内存镜像空洞（Cluster 2009 4.19)基于Xen 保存与恢复时空开销的考虑Xen 透明检查点设计(VEE 2009.8)基于Xen虚拟机上服务高可用性及容错的考虑可增量的内存检查点(ACM conference 2009,10)基于Xen虚拟机检查点性能的考虑文件系统检查点管理(LNCS conference 2009,12）基于Xen虚拟机全系统增量检查点数据一致性的考虑分布式多虚拟机协同检查点(计算机学报，2010,2)基于分布式协作应用的检查点一致性考虑撰写博士毕业论文（2010,3-6）,附录,附录（续）,
