《LenovoIntelligentComputingOrchestration管理员手册.docx》由会员分享，可在线阅读，更多相关《LenovoIntelligentComputingOrchestration管理员手册.docx（56页珍藏版）》请在三一办公上搜索。
1、联想智能超算平台 V2.1管理员手册 2015年9月联想企业级业务部门system x解决方案研发中心前言41. 产品简介51.1 运行环境51.2 名词解释52. 使用说明72.1 登陆管理员界面72.1.1 切换到用户态界面82.1.2 查看集群基本状态102.1.3 查看机群详细监控信息112.1.4 查看机群报警信息122.2 用户/账户管理132.2.1 创建用户组152.2.2 修改用户组192.2.3 删除用户组212.2.4 创建计费账户232.2.5 修改费率252.2.6 充值262.2.7 扣款272.2.8 删除计费组282.2.9 创建用户302.2.10 修改用户3
2、32.2.11 删除用户362.2.12 查看更详细账户记录382.2.13 问题分析及解决办法412.3 HPC集群管理422.3.1 查看HPC集群详细信息422.3.2 HPC集群的硬件远程管理432.4 作业调度管理472.4.1 队列管理472.4.2 作业管理482.4.3 作业策略管理483. 注意事项493.1 系统重启493.1.1 IO节点正常工作的时候，管理节点重启503.1.2 IO节点正常工作的时候，计算节点重启513.1.3 IO节点正常工作的时候，登录节点重启523.1.4 IO节点重启533.1.5 整个集群重启543.2 mpi程序的安装位置553.3 用户目
3、录的绝对路径553.4 管理员发布公告和修改管理员联系信息55前言本文档的读者需要具备一定的高性能计算，服务器集群的基础知识，同时对高性能计算中的并行开发，作业调度有一定的了解。1. 产品简介联想智能超算平台是HPC基础管理软件，其功能包括有计算机集群管理，集群监控，作业调度管理，集群用户管理，账户管理，文件系统管理等。本软件基于BS结构，用户可以通过浏览器轻松登陆到管理界面进行操作，也可以通过其他Linux shell工具登陆到集群登陆节点进行命令行操作。1.1 运行环境 服务器：联想system x服务器系列。操作系统：CentOS 6.5 或RedHat 6.5客户端：硬件：CPU主频2
4、.0GHz以上，内存1GB以上。 浏览器：推荐Firefox 或 Chrome。 显示分辨率：推荐1280*8001.2 名词解释计算机集群: 包含管理节点、计算节点等在内的资源的统称。 作业: 完成特定任务的命令序列。 作业状态：是指作业在调度系统中的状态标识，包括等待、排队、保留、运行、挂起、结束。 节点状态：是指节点的状态标识，包括空闲、已占用、繁忙、停机。 作业调度系统: 负责接收、分发、执行、记账作业的分布式程序。管理节点: 运行作业调度，集群管理，用户计费等管理程序的节点。 计算节点: 执行作业的节点。 用户组：定义了对资源的访问控制策略，属于同一个用户组的所有用户可以访问相同的集
5、群资源。计费组：也是计费账户，可以一个用户使用也可以几个用户共享使用。用来对集群使用者进行计费，结算等操作。.2. 使用说明2.1 登陆管理员界面打开浏览器输入集群管理节点的IP地址，端口为8080如：http:/10.240.212.28:8080（客户端必须可以直接访问集群管理节点）。并看到如下示图：图1： 登陆界面用户名的类别分为两种：管理员和操作员。管理员可以看到整个计算机集群和所有用户的信息，而操作员只能看到自己有权限访问的资源和自己的用户信息。如果是管理员用户，输入用户名和密码后，用鼠标点击登陆按钮可以看到管理员界面下图：图2： 管理员主界面2.1.1 切换到用户态界面管理员可以任
6、意切换到用户界面，并且像用户一样使用HPC集群。用鼠标点击右上角其他链接，继而点击切换到用户界面： 图3： 切换到用户界面接下来就可以看到用户界面：图4：用户界面2.1.2 查看集群基本状态在管理员主页上，还可以看到整个集群的基本状态：最顶上一行的导航栏显示了三个按钮图标：主页：当前页，显示集群基本信息。资源：显示HPC集群所有机器的详细信息页。详情见2.3用户: 用户管理页，管理员可以对用户/组，账户/费率做一些基本操作。详情见2.2进入主页后，可以看到以下信息：集群名字 (注：集群名字可以在/etc/cluster.conf中通过属性DOMAIN来配置，如DOMAIN=，但是集群名字必须符
7、合域名命名规则)。调度器：调度器服务的状态，绿色代表调度器工作正常，红色代表调度器没有正常工作。并行文件系统：并行文件系统的状态，绿色代表调并行文件系统工作正常，红色代表并行文件系统没有正常工作。网络吞吐：服务器集群网络的吞吐量，包括读速率和写速率。集群CPU: 服务器集群CPU的利用率，包括已经被占用的CPU核数和集群总共具有的CPU核数。集群内存：服务器集群内存的利用率，包括已经被占用的内存大小和集群总共具有的内存大小。集群存储：服务器集群存储空间的利用率，包括已经被占用的存储空间大小和集群总共具有的存储空间大小。作业：显示作业的历史信息，包括运行中的作业数，等待中的作业数和结束的作业数。
8、管理员可以选择显示全部队列的作业数，也可以指定显示某个队列的作业数。时间上可以选择分别显示：过去一小时，过去一天，过去七天，过去三十天的作业数。类型上可以选择分别显示未完成和已完成的作业数。节点占用情况：显示计算机集群中节点占用的情况：包括忙碌，占用，空闲和关机。 判断这些节点占用情况的主要依据是各个节点的平均每分钟的进程负载量。2.1.3 查看机群详细监控信息用鼠标点击右上角其他链接，继而点击查看详细监控信息： 图5-1：查看详细监控信息用户界面图5-2：查看详细监控信息用户界面2.1.4 查看机群报警信息如果集群中部署了报警模块， 用鼠标点击右上角其他链接，继而点击查看报警信息,查看Nag
9、ios报警信息图6：查看报警信息2.2 用户/账户管理用户管理中有三个概念：用户，用户组和计费组（也称计费账户）。用户组：一组HPC集群用户，他们具有相同的队列访问权限。它的属性如下：组名：用户组的名字。用户组的状态：包括有“正常”、“创建中”、“更新中”、“删除中”和“无效”。用户数：所包含的用户数目。可用队列：可以访问的队列的名称（队列必须事先创建好，创建详情可以参照章节2.4.1 队列管理）。最近更新：最近一次信息更新的时间以及相关的消息。计费组（计费账户）：计费账号，可以被一个用户独自使用，也可以被多个用户共享使用。当计费组成员在集群中运行应用程序时，所属计费组账户中的费用会根据其运行
10、的应用程序占用的CPU核数和时间进行扣除。它的属性如下：组名：计费组名字。费率：单位机时所用金额。若费率为1，代表这个计费组的任何成员若占用1个CPU core，时间为1小时，那就要付1块钱。已用机时：成员的应用程序一共占用了多少：CPU（核数） * 时间（秒）。已用金额：该计费组的成员总共所花费的金额。由于费率可以根据需要调整变化，当前已用金额可能不等于当前已用机时*当前费率。剩余金额：该计费组里还剩下的金额。最近更新：最近一次更新的时间以及相关的消息。用户：HPC机群的个体用户。它的属性如下：角色：管理员或操作员。管理员可以看到整个集群的状况。操作员只能看到和自己相关的队列，作业的状况。用
11、户名：用户名字。用户组：所属用户组。计费组：所属计费组。密码：用户密码。用户的状态：包括有“正常”、“创建中”、“更新中”、“删除中”和“无效”。电子邮箱：用户电子邮箱。最近登录时间：用户最近一次登录的时间。最近更新：对该用户的最近一次信息更新的时间以及相关的消息。2.2.1 创建用户组管理员首先需要创建用户组，在系统初始化时，系统已经创建一个用户组（默认是default_os_group）。建议管理员创建新的用户组来使用。图7：用户组管理界面点击“添加”按钮，弹出如下对话框：图7-1：创建用户组界面管理员可以输入系统中还未使用的用户组名，并选择可用队列。(队列必须事先创建好，创建详情可以参照
12、章节2.4.1 队列管理)系统初始化配置完成以后，系统内部有一个默认队列：batch. 它的acl_group_enable被设为false. 也就意味着它不可以被某一个用户组独占，所有用户组的用户都可以访问。因此这里是必选。在本例中，图示里还有一个队列为管理员事先创建好的队列：queuetest1和queuetest2。queuetest1的acl_group_enable属性为false，这也就意味着它也不可以被某一个用户组独占，所有用户组的用户都可以访问。因此该队列是必选的。queuetest2的acl_group_enable属性为true，这也就意味着管理员可以将该队列分配给某些特定
13、的用户组使用，该队列并不是所有用户组的用户都可以访问。因此该队列是可选的。图7-2：创建用户组界面图7-3：添加用户组界面点击“确定”按钮后，系统开始创建该用户组，结果如下图所示：图7-4：添加用户组界面等待一段时间后，该用户组创建完成。图7-5：添加用户组界面2.2.2 修改用户组管理员在创建完用户组以后，还可以对用户组进行修改：修改该用户组所能访问的队列的信息。选择该用户组记录前面的选择框，然后点击“编辑”按钮，弹出如下对话框。图8-1：编辑用户组界面在对队列信息进行修改以后，点击确定按钮，系统开始更新该用户组的队列信息，如下图所示：图8-2：用户组更新界面等待一段时间后，该用户组更新完成
14、。图8-3：用户组更新完成界面2.2.3 删除用户组管理员在创建用户组以后，还可以将该用户组删除。选择该用户组记录前面的选择框，然后点击“删除”按钮，弹出如下对话框。图9-1：删除用户组界面点击“确定”按钮，系统开始删除该用户组。图9-2：用户组删除界面等待一段时间后，该用户组删除完成。图9-3：用户组删除完成界面2.2.4 创建计费账户管理员接下来需要创建计费账户，在系统初始化时，已经创建一个计费组/账户（默认是default_bill_group）。建议管理员创建新的计费组来使用。图9-1：添加计费组界面点击“添加”按钮，可以看到如下对话框：图9-2：添加计费组界面输入系统中还未使用的计费
15、组的名称、费率和初始金额。费率为单位机时所用金额。若费率为1，代表这个计费组的任何成员若占用1个CPU core，时间为1小时，那就要付1块钱。点击“确定”按钮并等待一些时间，该计费组创建成功。结果如下图所示：图9-3：添加计费组界面2.2.5 修改费率选中计费组，点击“修改费率”按钮，可以看到如下对话框：图10-1：修改费率界面点击“确定”后，如下图示图10-2：修改费率界面2.2.6 充值选中计费组，点击“充值”按钮，可以看到如下对话框：图11-1：充值界面点击“确定”按钮并等待一段时间后，充值成功，如下图所示：图11-2：修改费率界面2.2.7 扣款选中计费组，点击“扣款”按钮，可以看到
16、如下对话框：图12-1：扣款界面点击“确定”按钮并等待一段时间后，扣款成功，如下图所示：图12-2：扣款界面2.2.8 删除计费组管理员可以将不再使用的计费组进行删除。选择该计费组记录前面的选择框，然后点击“删除”按钮，弹出如下对话框：图13-1：删除计费组界面点击“确认”按钮，系统开始删除该计费组，等待一段时间后，该计费组被成功删除。图13-2：删除计费组界面2.2.9 创建用户管理员接下来可以创建用户了。在初始化时，已经创建一个管理员用户（用户名默认是hpcadmin）。图14-1：创建用户界面点击“添加”按钮，可以看到如下图示：图14-2：创建用户界面输入系统中还未使用的用户名、密码、角
17、色、所属用户组、计费组、电子邮箱等信息。点击“确定”按钮后，系统开始创建该用户，该过程需要等待一些时间。图14-3：创建用户界面该用户创建成功后，该用户可以“正常”登录。结果如下图示：图14-4：创建用户界面2.2.10 修改用户管理员可以对用户的各种信息：角色、密码、所属用户组、所属计费组、邮箱等进行修改。选择其中某个用户记录前面的单选框，然后点击“编辑”按钮，弹出如下对话框。图15-1：修改用户界面在对某些信息进行修改后，图15-2：修改用户界面点击“确定”按钮，系统开始更新该用户的信息（更新过程中，该用户将无法登录该系统）。图15-3：用户修改界面等待一段时间后，该用户状态恢复“正常”。
18、图15-4：修改用户成功界面注意：修改用户所属的计费组的时候，需要手动重启调度服务：service maui.d restart。2.2.11 删除用户管理员可以将已有用户进行删除。选择其中某个用户记录前面的单选框，然后点击“删除”按钮，弹出如下对话框。图16-1：删除用户界面点击“确定”按钮，系统将开始删除该用户（删除过程中，该用户将无法登录该系统）。图16-2：删除用户界面稍等一段时间，该用户将从系统中彻底删除。图16-3：删除用户界面2.2.12 查看更详细账户记录打开浏览器，输入 “https:/管理节点IP” 后跟 “cgi-bin/gold/index.cgi”， 例如https:
19、/10.240.212.28/cgi-bin/gold/index.cgi结果如下图示：输入默认用户名/密码：root/Passw0rd可以得到下图：从左边导航栏选择Account - List Account, 可以看到两个accounts, 名字分别为 default_bill_group和 demo_bill_group。它们正是我们初始创建和后来通过界面创建的两个计费账户。查看其详细内容，可以看到它们所属的project也和账户重名。account内的数字相当于 账户金额*3600 从左边导航栏选择Project - List Project看到如下信息：查看其详细内容，可以看到每个p
20、roject下面的用户也是我们初始创建和后来通过界面创建的两个用户；下面的节点是机群内的所有节点。3从左边导航栏选择Transaction - List Transaction 可以遍历所有的交易记录，包括账户金额的充改退，作业运行的花费等。更多详情可以参照以下链接Note:若在Gold工具上直接修改账户金额或费率相关参数，LiCO界面上不会反应出其变化。2.2.13 问题分析及解决办法在下列情况下，相关用户操作可能失败：1. 集群中各服务器节点之间出现网络故障2. 集群中服务器节点的操作系统上已经有同名用户组、用户被创建3. 集群中各服务器节点的操作系统上的用户组、用户信息不一致。4. Go
21、ld、Torque 服务未运行解决办法：1 保证网络畅通，可以通过root账号在所有服务器节点之间实现无密码登录2 将操作失败的用户组、计费组、用户删除然后重新创建新的用户组、计费组、用户。3 联系Lenovo售后服务提供技术支持。2.3 HPC集群管理HPC集群管理十分复杂，有一部分功能可以通过界面完成，还有很多复杂的操作需要通过命令行或其他工具完成。2.3.1 查看HPC集群详细信息点击导航栏上的资源图标按钮, 可以看到集群中每一台机器的具体状态，如下图示：图14：查看机群详细信息界面信息包括：节点名：hostname节点状态：空闲，已占用，忙碌或关机。类别：计算机点，管理节点，登录节点，
22、I/O节点。管理IP：管理模块IMM的IP地址。OS IP：节点的IP地址。CPU 核数：每个节点CPU Core的个数。已用内存/总内存：每个节点已经使用的内存大小/总共拥有的内存大小。已用存储/总存储：每个节点已经使用的本地存储/总共拥有的本地存储，这里指的是本地存储，而不是并行文件系统存储。2.3.2 HPC集群的硬件远程管理1界面管理：点击机器列表中管理IP链接图15-1：机群远程管理界面可以进入Lenovo IMM 管理模块界面，进行硬件远程管理，如远程开关机，远程 console, 硬件配置等操作。图15-2：机群远程管理界面输入用户名/密码后 (出厂设置为：USERID/PASS
23、W0RD)， 进入IMM管理界面。详情可以参照IMM用户手册2命令行管理：通过ssh等方式登录管理节点的shell, 直接通过xCAT工具命令远程管理。以下图示为一些例子：2.1 远程重启节点：2.2 远程查看节点硬件设备asset信息：2.3 远程查看节点硬件设备log信息：更多命令用法可以参照以下链接：2.4 作业调度管理LiCO用户界面提供了文件的上传，作业提交，取消，重新运行，删除等作业的生命周期操作。更多详情可以参照Lenovo Intelligent Computing Orchestration用户手册。若管理员需要更为复杂的调度管理操作，需要通过命令行的方式完成。2.4.1 队
24、列管理队列管理包括查看队列、创建队列和修改队列。LiCO没有提供界面来对队列进行管理，用户需要登录到管理节点，通过调度器torque的命令行对队列进行管理。- 查看队列：使用torque命令查看已有队列rootmgt /# qmgr -c “p s”- 创建队列：1. 使用torque命令创建了一个队列test：rootmgt /# qmgr -c create queue testrootmgt /# qmgr -c set queue test queue_type = Executionrootmgt /# qmgr -c set queue test resources_default
25、.nodes = 1rootmgt /# qmgr -c set queue test resources_default.walltime = 01:00:00rootmgt /# qmgr -c set queue test keep_completed = 600rootmgt /# qmgr -c set queue test enabled = Truerootmgt /# qmgr -c set queue test started = TrueNote：创建队列时keep_completed必须设置为大于等于300.2. 重启torque相关服务：rootmgt /# servi
26、ce trqauthd restartrootmgt /# service pbs_server restartrootmgt /# service maui.d restart3. 运行下面命令将队列同步到界面：rootmgt home# python /home/lico_2.*/bin/sync.py上面步骤完成后，我们在界面上就可以看到新创建的队列了。- 修改队列：修改队列用到的命令和创建队列基本相同，如下命令设置队列中任务完成后torque保留任务多长时间，单位为秒。rootmgt /# qmgr -c set queue test keep_completed = 500更多队列管
27、理相关命令请参考：2.4.2 作业管理作业管理完全可以在LiCO界面完成，当然作为管理员也可以登录到管理节点，通过调度器的命令查看和操作作业：- 查看作业状态 rootmgt /# qstat rootmgt /# qstatJob ID Name User Time Use S Queue- - - - - -56.mgt test hpcadmin 0 R batch - 查看某一作业的详细状态 rootmgt /# qstat -f jobid- 取消一个正在排队或运行的任务 rootmgt /# canceljob jobid更过作业管理相关命令请参考： 注意：如果用户通过Torque
28、的命令行提交了任务，那么任务不会反应在Lico的界面上2.4.3 作业策略管理作业调度我们使用的是软件是maui, 默认策略是公平策略，不建议修改调度策略。更多关于调度策略的配置请参考maui文档：3. 注意事项3.1 系统重启假设/home/lico_2.x/etc/lustre.conf的配置文件如下：interface是eth1, sharedir是/lustre, file-system的名字是userfs，mds中的第一台机器是io01file-system userfs interface eth1; shareddir /lustre; datanet_type Ethernet
29、 datanet_hostnamemap io01:io01-data,io02:io02-data mds io01 dev/sdb ; oss io02 dev/sdb 3.1.1 IO节点正常工作的时候，管理节点重启1. 管理节点上umount /lustre2. 重启管理节点3. 管理节点重启后，在管理节点上运行如下命令：root lico2.*/# cd binroot bin.*/# ./service_manager.py -restart torqueroot bin.*/# ./service_manager.py -restart gangliaroot bin.*/# .
30、/service_manager.py -restart gold4. 查看各个非IO节点的lustre是否已经mount，如果没有，在各个非IO节点上mount lustre, 比如：mount -t lustre io01-datatcp0:/userfs /lustre 一个重要的原则，在管理节点重启前，一定要df -h先查看并记录下机子当前的mount状态，重启后恢复到重启前的mount状态。3.1.2 IO节点正常工作的时候，计算节点重启1. 计算节点上umount /lustre2. 重启计算节点3. 计算节点重启后：在计算节点上用df -h查看lustre文件系统是否已经moun
31、t上，如果没有，在计算节点运行如下命令来mount lustre 文件系统：mount -t lustre io01-datatcp0:/userfs /lustre 一个最重要的原则，在机子重启前，一定要df -h先查看并记录下机子当前的mount状态，重启后恢复到重启前的mount状态。4. 在管理节点上运行如下命令：root bin.*/# ./service_manager.py -restart torqueroot bin.*/# ./service_manager.py -restart ganglia3.1.3 IO节点正常工作的时候，登录节点重启1. 登录节点上umount
32、/lustre2. 重启登录节点3. 登录节点重启后，在登录节点上用df -h查看lustre文件系统是否已经mount上，如果没有，在计算节点运行如下命令来mount lustre 文件系统：mount -t lustre io01-datatcp0:/userfs /lustre 一个最重要的原则，在机子重启前，一定要df -h先查看并记录下机子当前的mount状态，重启后恢复到重启前的mount状态。3.1.4 IO节点重启- 如果需要重启oss节点:1 所有非io节点需要先：umount /lustre2. oss 节点重启后：在oss节点用df -h查看ost是否已经mount上，如
33、果没有，使用如下命令来mount：mount -tlustre /dev/sdb1 /ost1 #sdb1和ost1是示例，应以实际环境为准3. 所有非io节点：mount -t lustre io01-datatcp0:/userfs /lustre- 如果要重启mds节点1. 所有非io节点需要先：umount /lustre2. 所有oss节点需要先：umount /ost13. mds节点重启后：在mds节点用df -h查看mdt是否已经mount上，如果没有，使用如下命令来mount：mount-tlustre-oacl/dev/sdb1/mdt1 #sdb1和mdt1 是示例，应以
34、实际环境为准4. 所有 oss节点：mount -tlustre /dev/sdb1 /ost1 #sdb1和ost1 是示例，应以实际环境为准5. 所有非io节点：mount -t lustre io01-datatcp0:/userfs /lustre一个最重要的原则，在机子重启前，一定要df -h先查看并记录下机子当前的mount状态，重启后恢复到重启前的mount状态。如果想要了解更过lustre文件系统的相关内容，请参考：3.1.5 整个集群重启整个集群重启的的步骤：1重启头节点1.1 头节点上umount /lustre,1.2 重启头节点2 重启IO节点2.1所有非IO节点上um
35、ount /lustre2.2 IO节点中的oss节点上 umount /ost*: 先用df -h查看有哪些ost是mount的，然后umount掉这些ost2.3 IO 节点中的mds节点上 umount /mdt*:先用df -h查看有哪些mdt是mount的，然后umount掉这些mdt2.4 重启 mds节点2.5 检查 mds上的mdt*是否已经mount上，如果没有手动mount，例如：mount-tlustre-oacl/dev/sdb1/mdt1 2.5 重启 oss节点2.6 检查 oss上的ost*是否已经mount上，如果没有手动mount，例如：mount -tlus
36、tre /dev/sdb1 /ost1 3 重启计算节点3.1 计算节点上umount /lustre,3.2 重启计算节点4 检查所有节非IO节点上是否已经mount /lustre, 如果没有手动mount /lustre，例如：mount -t lustre io01-datatcp0:/userfs /lustre5头节点上重启相关服务root bin.*/# ./service_manager.py -restart torqueroot bin.*/# ./service_manager.py -restart gangliaroot bin.*/# ./service_manag
37、er.py -restart gold3.2 mpi程序的安装位置在我们集群中安装了多种MPI软件：mpich、openmpi、 mvapich、 intelmpi， 这些软件的安装位置如下：/usr/local/mpich/usr/local/mvapich/usr/local/openmpi/opt/intelmpi软件的在同一时刻只能有一个起作用，集群建立好以后，默认是mvapich起作用，mvapich的bin已经加入到了系统的PATH里面。 如果要切换到其它的mpi软件，请手动将mvapich的bin从PATH里面移除掉，然后添加要切换到的mpi软件到PATH中，或者在job文件中直
38、接指定要使用的mpi软件, 如下在job文件中直接指定使用mpich运行程序。#!/bin/bash#PBS -N test#PBS -q batch#PBS -j oe#PBS -m abe#PBS -M demo#PBS -l nodes=2:ppn=1cd /lustre/hpcadmin/usr/local/mpich/bin/mpiexec ./prog3.3 用户目录的绝对路径集群中每个用户在文件系统中有一个自己的目录，这个目录在UI的文件管理里面看到的名字就是”My folder”。 假设集群配置文件/home/lico_2.x/etc/lustre.conf中的shareddi
39、r为lustre，”My folder”对应的绝对路径就是/lustre/用户名， 比如用户hpcadmin，其目录的绝对路径为/lustre/hpcadmin。3.4 管理员发布公告和修改管理员联系信息如果管理员想修改用户界面上的公告信息和页脚管理员联系信息的话，可以用SSH登陆head节点，修改“lico安装目录/openHPC_web_project/static/config/config.json”的文件内容： notice: 公告：4月5日凌晨12:00-8:00系统维护，所有服务暂停。, footer: 联系管理员 电话: 68459422 邮件: administrator其中notice是用户界面上的公告信息，footer是用户界面和管理员界面上显示的管理员联系信息。确保文件内容以utf-8格式保存。
