《652高性能计算与任务管理.ppt》由会员分享，可在线阅读，更多相关《652高性能计算与任务管理.ppt（60页珍藏版）》请在三一办公上搜索。
1、高性能计算与任务管理,解决方案中心,Contents,Contents,IDC对未来三年服务器市场的预测：IDC统计称，2011年全球服务器销售收入达到483亿美元；随着全球经济开始复苏，从2011年至2013年，全球服务器销售将每年增长5%至6%之间，其中HPC产业需求比较旺盛，预计发展速度将会超10%在中国，HPC市场的发展速度将会超过12%HPC市场既是一个传统的市场，又是一个新兴的、高速发展的市场高：定位高端用户标杆项目，影响力大平民化趋势快速发展,高性能计算市场,硬件厂商的表现IntelAMDInfiniBand国家的政策自主创新政府扶持,高性能计算发展趋势,技术的发展CPU多核化的
2、趋势多进程、多线程并行化其他并行计算机上的广泛应用高端下移,高性能计算领域仍然处于蓬勃发展阶段,Contents,高性能计算HPC：High Performance Compute高性能计算-并行计算并行计算(Parallel Computing）高端计算(High-end Parallel Computing)高性能计算(High Performance Computing)超级计算(Super Computing),高性能计算,为什么要做高性能计算？,高性能计算的应用领域,数学,基因信息,气象预报,生物物理,石油勘探,信息服务,汽车制造,船舶制造,计算科学与传统的两种科学，即理论科学和实验
3、科学，并立被认为是人类认识自然的三大支柱；三者相辅相成，共同推动科学发展与社会进步；在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。,高性能计算的应用领域,人类对计算及性能的要求是无止境的从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求从应用的角度：适当分解应用，以实现更大规模或更细致的计算问题:科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合,为什么要做高性能计算,从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求从应用的角度：适当分解应用，以实现更大规模或更细致的计算降低单个问题
4、求解的时间.增加问题求解规模.提高吞吐率(多机同时执行多个串行程序).,如何满足高精度计算的需求？并行计算,Contents,什么是高性能计算机？,由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。,也称为：巨型计算机、超级计算机目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。,随着高性能计算向高性能服务转变，超级计算机系统追求的目标也将从“高性能”（High Performance）走向“高效能”（High Productivity）,高效能计算机系统,高效能,High Productivity,可移植性,可靠性,计算性能,可编程性,并行计
5、算?分而治之,资料来源:Tim Mattson Intel Co.Com.Science Lab.Rudolf Eigenmann Purdue Uni.School of Elec.and Comp.Eng.,并行的硬件基础：SMP v.s.ClusterSMP基于单节点Cluster由多个SMP节点组成并行的软件基础：OpenMP v.s.MPIOpenMP基于多线程概念，只能运行在单节点之内MPI基于多进程概念，既可在单节点内多CPU并行，又可实现跨节点并行,并行计算的实施,并行计算机就是由多个处理单元组成的计算机系统，这些处理单元相互通信和协作以快速、高效求解大型复杂问题。,并行计算的
6、硬件体系,处理单元有多少 处理单元的功能有多强 处理单元之间怎样连接 处理单元的数据如何传递 各处理单元如何相互协作并行程序如何编写,SMP对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、机率都是等价的;系统是对称的；微处理器:一般少于64个;处理器不能太多,总线和交叉开关的一旦作成难于扩展；例子:IBM R50,SGI Power Challenge,SUN Enterprise,曙光一号;,对称多处理机系统(SMP),Cluster每个节点都是一个完整的计算机各个节点通过高性能网络相互连接网络接口和I/O总线松耦合连接每个节点有完整的操作系统曙光2000、3000、40
7、00,ASCI Blue Mountain,集群系统(Cluster),集群系统的体系结构,集群系统的物理架构,(InfiniBand),多线程库标准 Win32 API.POSIX threads.编译制导标准 OpenMP 可移植共享存储并行编程标准.消息传递库标准 MPI PVM,并行计算的软件体系,串行程序的循环语句前插入特定的制导语句，告知编译系统一些有助于对其进行并行的信息，以及/或是强制编译系统按照指定的方式将其并行化主要应用于SMP构架结合编译系统的自动并行化功能使用某些自动化工具，可对程序结构及数据流分析，自动插入适当的OpenMP语句优点：简单，不需对原算法/程序作大的改动
8、，缺点：只适合某些机型，且可扩展性不如消息传递对某些具有强数据相关的过程需改变计算顺序，或修改算法,OpenMP并行编程模式,Massage Passing Interface:是消息传递函数库的标准规范，支持Fortran和C并行程序由一组独立的进程组成，相互通过发送消息实现数据交换并行应用程序开发的最底层编程方式之一，很多其他并行开发语言/工具将程序转化成消息传递类型实现。优点：通用性好，基于MPI编写的程序可用于任何并行机；MPI已在IBM PC机上、MS Windows上、所有主要的Unix工作站上和所有主流的并行机上得到实现。使用MPI作消息传递的C或Fortran并行程序可不加改变
9、地运行在IBM PC、MS Windows、Unix工作站、以及各种并行机上。缺点：编制、调试困难，有时需对程序算法做大的改动,MPI并行编程模式,MPI:vasp,crystal,q-chem,molcas,molpro,adf,turbomol,amber,dalton,nwchem,mpqc,aces,OpenMP+Linda:Gaussian,Jaguar,OpenMP与MPI阵营对比,CPU：速度快，单节点CPU数量多，相互之间并行效率高；内存：越多越好，通常建议每个CPU核心配2G内存；硬盘：涉及到缓存文件的读写，I/O速度越快越好；网络：节点之间通信速度越高越好；,并行计算的硬件
10、需求,网络：InfiniBand,传统TCPIP协议的多层次结构使得复杂的缓冲管理带来很大的网络延迟和操作系统的额外开销问题,需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构,InfiniBand 应运而生,InfiniBand发展历程,1999首次提出,2004年调整定位,得到主流服务器生产链上厂商的一致追捧，但由于协议、软件支持、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资,调整定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转换，InfiniBand又开始得到
11、欢迎,InfiniBand标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机和路由器信道适配器用于同其它设备的连接，包括主机信道适配器（HCA）和目标信道适配器（TCA）交换机是 InfiniBand结构中的基本组件点到点的交换结构：解决了共享总线、容错性和可扩展性问题具有物理层低功耗特点和箱外带宽连接能力,InfiniBand体系架构,高速度目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps。下一代采用QDR，带宽最高可达120Gbps 远程直接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部
12、分内存，无需涉及操作系统的内核。传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担,曙光5000A采用基于DDR的 Infiniband计算网络，实现了节点间20Gb/s的传输速度，达到当时业界最快的小于1.3us延时，Linpack测试并行效率高达77.35%。MPI结合InfiniBand，有望实现高效率的多节点并行。应用软件对其支持越来越广泛，如VASP软件在传统以太网上的并行上限设定为16个核心，改用InfiniBand可以实现更大规模的并行计算。,InfiniBand的特点,Contents,集群系统是利用高性能通信网络将一组计算机（节
13、点）按某种结构连接起来，在并行化设计及可视化人机交互集成开发环境支持下，统一调度、协调处理，实现高效并行处理的系统所有计算机节点一起工作如同一个单一集成的系统资源，实现单一系统映像（SSI）集群是目前高性能计算机三大体系结构之一，是目前最主流的和最有生命力的体系结构集群是目前性能价格比最高的高性能计算机体系结构集群特点：容易实现、容易维护、较好用的高性能计算机,集群系统的特点,集群结构的松散性节点类型的差别（CPU类型、内存大小、数量等）系统资源丰富（节点/CPU）用户不同类型的作业（串行/并行）用户可以使用资源的限制,集群使用中的问题,单一系统映象集群松散的结构的整合系统资源整合异构系统的整
14、合多用户的管理用户提交的任务的统一安排，避免冲突用户权限的管理非授权用户的控制,任务管理系统的功能,资源管理器：管理集群的硬件资源及认证信息等队列管理器：管理当前所有已提交但还未完成的作业调度器：为作业分配资源,作业管理系统的组成,作业管理系统的结构,力求控制对批处理的初始化和调度执行，允许作业在不同主机间的路由。独立的调度模块存有各个可用的排队作业、运行作业和系统资源使用信息，并且允许系统管理员定义资源和每个作业可使用的数量。在作业调度策略上，PBS提供了默认的公平共享和独占FIFO调度策略，还提供了TCL、BACL、C三种过程语言和调度类，并定义了一些调度需要的函数和完整的API，方便实现
15、新的调度策略。提供文件传送，File Stage-in 和Stage-out。满足POSIX1003.2d 标准，支持作业依赖，和完整的安全认证。提供用户映射功能，使PBS 能用于用户不一致的系统中。,PBS的技术特色,2023年8月,39/58,PBS的结构,2023年8月,40/58,PBS 的组成,PBS基本组件pbs command:提交、监视、修改和删除作业pbs server:提供基本的批处理服务，例如接收/创建一个批处理作业，管理维护作业队列，管理输出结果等。pbs mom:是一个守护进程，从pbs server处接收作业后放入其执行队列中等待执行。scheduler(maui)
16、:对用户提交的作业进行调度,准备：编写描述改作业的脚本，包括作业名，需要的资源等。提交：使用qsub命令将该作业提交给PBS服务器排队：服务器将该任务排入适当的队列调度：服务器检查各工作节点的状态是否符合该作业的要求，并进行调度。执行：当条件满足时，作业被发给相应的执行服务器执行。程序运行时执行服务器会收集程序的标准输出和标准错误流，等程序结束时，将这些信息返回给用户。查询和调整：当作业在运行时，用户可以使用qstat进行状态查询。用户发现作业提交错误时，可以使用qdel删除正在运行的作业。查看结果：使用文本编辑软件vi或者系统命令cat,less等查看输出及错误信息显示。,PBS使用步骤,在
17、PBS系统中，用户使用qsub 命令提交用户程序。用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，作业脚本使用如下格式提交到PBS系统运行：,PBS 的基本命令,qsub运行参数,qsub-l nodes=12 qsub-l nodes=1:ppn=4 qsub-l nodes=4:ppn=2 qsub-l nodes=2:server+14 qsub-l nodes=server:ib+3:bigmem:ib qsub-l nodes=node01+node02+node03 qsub-l nodes=2:blue:ppn=2+red:ppn=3+b1014 qsub-l mem=
18、200mb/home/script.sh qsub-l nodes=4:ppn=4,mem=200mbqsub-l other=matlab/home/user/script.sh,$TORQUEHOME/server_priv/nodes node01 np=4 bigmem dualcore node02 np=8 bigmem matlab,qsub l:申请资源,#qmgr-c p s#Create and define queue highcreate queue highset queue high queue_type=Executionset queue high acl_us
19、er_enable=Trueset queue high acl_users=dawnset queue high acl_users+=rootset queue high Priority=30set queue high resources_max.nodect=4set queue high max_user_queuable=10set queue high max_user_run=4set queue high enabled=Trueset queue high started=Trueqmgr-c“set queue high acl_users+=guest”,qmgr c
20、:管理队列,$TORQUE_HOME/server_priv/nodes:node01 np=16 chem node02 np=16 chem node03 np=8 cae node04 np=8 cae qmgr-c“set queue chem resources_default.neednodes=chem”qmgr-c“set queue cae resources_default.neednodes=cae”,利用队列分组管理资源,PBS的环境变量,PBS 作业脚本,注释,以“#”开头PBS指令,以“#PBS”开头SHELL命令,PBS 作业脚本示例,Gaussian-PBS作业
21、示例,一个较复杂的PBS作业脚本,查询作业命令 qstat 参数，其中参数可为:-q 列出系统队列信息-Q：列出队列的一些限制信息-an：列出队列中的所有作业-r：列出正在运行的作业-f jobid：列出指定作业的信息-Qf queue：列出指定队列的所有信息-B：列出PBS服务器的相关信息,查询作业运行的位置,作业删除命令：qdel 作业号注意事项 1、非root用户只能查看、删除自己提交的作业 2、在提交作业时一定要根据自己的使用的机器数估算内存，把其写进作业提交脚本里。3、默认设置root用户无法提交作业,查询和取消作业,作业提交后处于排队状态 没有可用的节点，也就是节点资源被其他作业使
22、用；节点处于忙状态;调度器失效;指定的节点失效，或者节点上的mom失效作业提交后异常结束 脚本文件使用的是windows格式 脚本中使用一些命令路径问题 脚本退出但是作业没有退出 用户使用的文件的权限问题处理方法的原则是查看作业的标准输入和标准错误输出的结果,错误处理,如果环境配置错误，可能导致作业反复在等待状态和运行状态转换，可以通过“qdel 作业号”将该作业删除再重新配置环境。可能出现作业显示为运行状态，但是已经没有活动的进程，可通过“qsig SIGNULL 作业号”通知server作业已经退出。作业的输出无法传出，可能是以下原因造成：目标主机不被信任，并且用户没有.rhost文件指定了一个错误的路径名指定的目标目录不可写目标主机的用户.cshrc执行时产生了输出。执行主机的PBS的spool目录没有使用正确的权限，这个目录必须使用1777权限（drwxrwxrwx）。,错误处理（续）,提交作业,查询作业(1),实例演示,查询作业(3),查询作业(2),实例演示,删除作业,实例演示,Contents,谢谢！Q&A,
