一卡通平台系统应急预案.docx

《一卡通平台系统应急预案.docx》由会员分享，可在线阅读，更多相关《一卡通平台系统应急预案.docx（51页珍藏版）》请在三一办公上搜索。

1、一卡通平台系统应急预案深圳数智国兴信息科技有限公司一卡通技术部2016-01-13 修订历史记录版本日期AMD修订者说明V1.02016-01-13AM刘运亚V1.12016-01-15AM刘运亚（A-添加，M-修改，D-删除） 目录总则51.1. 编写目的51.2. 适用范围51.3. 编写人员52. 应急处理流程52.1. 原则52.2. 触发条件52.3. 实施流程62.4. 职责分工63. 系统描述93.1. 物理拓扑图93.2. 设备列表93.3. 系统软件安装/部署103.4. 应用软件安装/部署103.5. 数据库安装部署111.1 安装Windows 2008111.1.1 用

2、光盘启动系统111.1.2 安装Windows 2008111.2 安装数据库151.3 加载系统数据库251.4 启动操作254. WEB服务器安装部署274.1. 安装Windows 2008274.2. 安装JDK1.7274.3. 安装TOMCAT 7.0314.4. WEB应用安装部署354.5. 启动操作355. 应用服务器安装部署361.5 安装Windows 2008365.1. 安装JDK1.7 TOMCAT7.0365.2. 应用的安装部署365.3. 启动操作366. 文件服务器安装部署366.1. 安装Windows 2008366.2. 安装JDK1.7 TOMCAT

3、7.0366.3. 应用的安装部署366.4. 启动操作376.5. 关联系统376.6. 数据库备份376.6.1. 数据备份377. 应急详细技术方案397.1. 故障判断397.1.1. 故障判断流程397.1.2. 流程说明397.2. 单点服务器故障417.2.1. 故障类型1417.2.2. 故障类型2427.2.3. 故障类型3427.2.4. 数据库损坏或者服务器系统崩溃437.3. 数据库软件437.4. 磁盘阵列447.4.1. 配置信息恢复447.4.2. 文件系统数据恢复457.5. 服务器硬件457.6. 系统软件457.7. 网络设备457.8. 电源设备458.

4、系统恢复确认468.1. 主机系统检查468.2. 应用程序检查469. 附件一、备份操作步骤479.1. 数据库备份479.1.1. 逻辑备份479.1.2. 物理备份479.2. 数据库备份数据恢复47总则1.1. 编写目的本文的编写目的是为各个用户的应急处理提供操作指导，确保在系统异常时，可以有序的实施恢复操作，及时恢复业务。1.2. 适用范围适用系统：一卡通系统适用对象：各个用户系统管理员、维护支撑人员以及其他管理人员。1.3. 编写人员一、一卡通系统应急预案编写工作小组人员名单：刘运亚2. 应急处理流程2.1. 原则支撑系统应急处理遵循“先疏通，后抢修”的原则，在较短时间内尽可能恢复

5、业务，减少业务受影响的范围，缩短业务受阻的历时：1. 确保网络安全，最大限度地预防业务中断，防止业务性能下降扩散。2. 应急处理尽量简单、明了，尽量优先恢复业务，保证网络效益最大化。3. 业务应急按照不同业务类别实施不同的应急策略，优先满足面向客户的业务恢复。2.2. 触发条件同时具备以下条件的时候，经省移动公司批准后启用应急处理流程：1. 是否开启应急处理流程；2. 判断100分钟内无法排除；3. 严重影响业务；2.3. 实施流程2.4. 职责分工角色职责描述部门姓名联系电话备注(*)协调部门1、向用户解释系统状况；2、协调相关部门协同处理 移动运维部门分公司监控中心上级领导1、向省公司或分

6、公司领导汇报故障处理进度；2、部门间沟通协调。3、决定是否启用应急环境。 移动运维部门故障协调人员1、组织维护人员分工协作；2、向上级领导汇报进度； 移动运维部门故障处理人员1、判断故障点；2、提出并实施解决方案或应急措施；3、系统恢复后检查系统状况；4、编写故障分析报告。移动运维部门厂家支撑人员1、协助判断故障点，可电话技术支持，必要时必须赶到现场处理故障；2、按维保合同提供必要的备件；3、协助分析故障原因并协助整改。 平台供应商报障电话400-6809856业务配合人员1、执行业务应急措施，向用户解释系统状况；2、系统恢复后检查应用系统状况。市场部彭波发18620362107技术支持中心刘

7、运亚18565814559研发中心杨杰187791759723. 系统描述3.1. 物理拓扑图3.2. 设备列表设备名称操作系统用途序列号IP地址ykt_SDJN-YPT-YKT-03Linux SUSE生产环境NFC数据库1172.16.16.102ykt_SDJN-YPT-YKT-06Windows Server 2008 R2生产环境数据采集服务器2172.16.16.103ykt_SDJN-YPT-YKT-05Windows Server 2008 R2生产环境数据访问节点生产环境NFC WEB应用入口3172.16.16.104ykt_SDJN-YPT-YKT-04Windows S

8、erver 2008 R2生产环境数据访问节点生产环境数据库服务器4172.16.16.105ykt_SDJN-YPT-YKT-01Windows Server 2008 R2生产环境WEB应用入口172.16.16.1003.3. 系统软件安装/部署设备名称安装软件作用数据库服务器172.16.16.105 SQL Server2012应用服务器172.16.16.100 部署card、OneCardReport项目一卡通云平台和报表项目172.16.16.101 部署MyRest、cloudweb项目一卡通云平台后台程序与BOSS接口程序172.16.16.104 部署 MyRest、cl

9、oudweb smartcar项目为APP后台接口程序3.4. 应用软件安装/部署注意：apk需放在smartcardappspkgs 目录下1.把项目源代码导入(选择import)Eclipse开发工具。2.根据部署的服务器修改对应项目的配置文件card项目:修改src/ config.properties 文件修改resturl值，把IP地址修改成Web服务器的路径 示例: resturl=http:/192.168.10.103:8080/MyRest/(只需要修改IP地址和端口号)修改reporturl值, 把IP地址修改成Web服务器的路径 示例: reporturl=http:/1

10、92.168.10.103:8080MyRest项目:修改 src/com/hzyd/jdbc/dbhelper/fig.xml文件修改 url值 修改成数据库平台库的库名,与数据库服务器的IP修改username值:数据库对应的登陆账户名修改 password值：数据库对应的密码OneCardReport项目:报表项目。在Webroot/reports/ 目录下,每张报表有单独的数据集,需要填写数据库对应的地址.与账户密码.密码采用BASE64加密。示例：jdbc:sqlserver:/172.16.16.105:1433;databaseName=OCard_HZ_Base sa SEYz

11、Z3hyWTkcloudweb项目:修改src/main/conf/props/jdbhc.propertries修改jdbc.url值 (对应的数据IP地址与库名 端口号)修改jdbc.username值 (对应的数据库登录名)修改jdbc.password (数据库对应的密码)3.把修改好的项目源代码导出成War包4.把相应War包解压到服务器Tomcat下的webapps目录下,启动Tomcat,完成部署。5.完成部署后输入正确的IP地址加上端口号与项目名可以访问项目 示例:http:/192.168.10.103:8080/card3.5. 数据库安装部署1.1 安装Windows 2

12、0081.1.1 用光盘启动系统重新启动系统并把光驱设为第一启动盘,保存设置并重启。将2003安装光盘放入光驱,重新启动电脑。刚启动时，当出现如下图1所示时快速按下回车键，否则不能启动2003系统安装。1.1.2 安装Windows 2008光盘自启动后,如无意外即可见到安装界面从光盘读取启动信息，很快出现如下图所示。全中文提示,“要现在安装Windows,请按ENTER”，按回车键。许可协议,这里没有选择的余地，按“F8”。这里用“向下或向上”方向键选择安装系统所用的分区，这里准备用C盘安装2003，并准备在下面的过程中格式化C盘。选择好分区后按“Enter”键回车，安装程序将检查C盘的空间

13、和C盘现有的操作系统。下图表示安装程序检测到C盘已经有操作系统存在，提出警告信息。如果你选择安装系统的分区是空的。在这里我坚持用C盘安装系统，根据提示，按下键盘上的“C”键后出现如下图所示。下图最下方提供了5个对所选分区进行操作的选项，其中“保存现有文件系统(无变化)”的选项不含格式化分区操作，其它都会有对分区进行格式化的操作。这里，我用“上移”箭头键选择“用NTFS文件系统格式化磁盘分区”。格式化C分区完成后,创建要复制的文件列表，跟接着开始复制系统文件随后的操作按照系统操作步骤一步步进行即可完成Windows Server2003的安装。1.2 安装数据库平台数据库为 SQL SERVER

14、 2008 R2,安装图解如下:1.3 加载系统数据库（1） 首先建立数据库。用Sa用户登录后，在数据库-新建数据库中建立OCard_HZ_Base数据库。（2） 建立sdykt用户打开Microsoft SQL Server Management Studio，在安全性-用户名中创建sdykt用户，访问密码设为abcd，并把该用户设为sdykt数据库的用户。（3） 导入OCard_HZ_Base系统数据库在OCard_HZ_Base数据库上右键任务还原数据库上操作，将OCard_HZ_Base.bak导入到数据库中。1.4 启动操作在系统找到相应的服务启动：4. WEB服务器安装部署4.1.

15、 安装Windows 20084.2. 安装JDK1.74.3. 安装TOMCAT 7.0Tomcat 7.0的安装过程如下:4.4. WEB应用安装部署（1） 将程序打包的文件复制到tomcat安装路径的webapps目录下，（2） 解压后配置访问端口，编码，内存范围已经数据库连接地址（3） 在tomcat安装目录的conf目录下 server.xml配置端口访问控制参数4.5. 启动操作在tomcat 安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问.5. 应用服务器安装部署1.5 安装Windows 20085.1. 安装

16、JDK1.7 TOMCAT7.05.2. 应用的安装部署（1） 将应用的安装文件复制到tomcat安装目录的webapps下，然后解压。（2） 配置好访问端口和数据库连接。5.3. 启动操作在tomcat 安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问6. 文件服务器安装部署6.1. 安装Windows 20086.2. 安装JDK1.7 TOMCAT7.06.3. 应用的安装部署（1） 在tomcat安装目录下的webapps文件夹下新建文件夹upload（2） 设置文件夹upload的读写权限，然后再里面建分类文件6.4.

17、 启动操作在tomcat 安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问.例如: http:/ 172.16.16.100:80/6.5. 关联系统系统名称关联业务故障对系统的影响一卡通会议签到系统业务开通如果不能访问平台，会议签系统仍然可以应用，当能再次连接平台时数据重新同步。一卡通考勤管理系统业务开通如果不能访问平台，考勤系统仍然可以应用，当能再次连接平台时数据重新同步。一卡通门禁管理系统业务开通如果不能访问平台，门禁系统仍然可以应用，当能再次连接平台时数据重新同步。一卡通消费系统业务开通如果不能访问平台，消费系统到仍然可

18、以应用，当能再次连接平台时数据重新同步。6.6. 数据库备份6.6.1. 数据备份设备名称172.16.16.105备份内容平台数据库备份方法数据库软件自动备份备份周期及时间点每天备份9:30分14:30分21:30分00:15分备份介质保存期限9：30、14：30、 21.：30一天00：15 三个月7. 应急详细技术方案7.1. 故障判断7.1.1. 故障判断流程7.1.2. 流程说明1） 故障发生和现象描述：a) 软件或硬件导致宕机,如:数据库、磁盘不可访问、主机不能正常运行、网络不正常、电源掉电、运行温湿度等环境条件超标等b) 操作系统CPU占用率大于95%并严重影响业务超过30分钟c

19、) 操作系统内存消耗超过95%并严重影响业务超过30分钟d) 操作系统I/O等待率大于50%并严重影响业务超过30分钟e) 磁盘使用率达到100%f) 应用程序运行异常,导致业务系统不可用g) 系统双击工作异常,严重影响业务处理h) 业务处理性能比平时慢50%以上且持续一段时间2） 网络和服务器可用行检查：包括PING、TELNET检查等3） 数据库可用行检查：包括SQLPLUS访问、表空间、数据库死锁、等待事件、数据库日志查看等4） 服务器系统资源使用情况检查：包括CPU、内存、磁盘空间、系统I/O的使用率和系统日志查看等5） 应用程序健康性检查：包括服务CORE、服务排队、服务挂死、域间通

20、讯检查和程序运维日志查看等6） 检查的顺序建议按照网络、系统、数据库、中间件和应用日志的顺序进行检查，可以根据故障现象进行实际的调整7） 定位故障等级包括单点故障、多点故障、其他故障8） 需要应急处理的故障如下：故障序号故障现象描述故障等级处理办法备注1如果平台上面设备最后一次通讯时间与现实时间相差5分钟以上，或者大批量通讯异常单点故障参照7.2.12输入平台网址无法显示登陆界面或者显示404单点故障参照7.2.23登陆网址到登陆界面输入正确的用户账号密码无反应单点故障参照7.2.34数据库服务器不能正常使用，或者该服务器系统崩溃无法正常开机运行多点故障参照7.2.47.2. 单点服务器故障7

21、.2.1. 故障类型1平台出现大量设备通讯依次，以及最后一次通讯时间小于现实时间5分钟以外，可以去172.16.16.103上的d:CommServerCommServer.exe该程序是否正常运行，如果程序处于不正常状态，马上重新启动该程序就行7.2.2. 故障类型2输入平台网址无法显示登陆界面或者出现404错误，可以去WEB服务器 172.16.16.100D:Tomcat7063查看该服务是否正常运行，如果没有正常运行那就必须重启该服务。 7.2.3. 故障类型3登陆网址到登陆界面输入正确的用户账号密码无反应，可以去后台数据服务器 172.16.16.101，C:Tomcat7063 ，

22、查看该服务程序是否正常运行，如果程序不正常可以试着重启该服务程序，如果程序正常可以去172.16.16.105 D:DataBase查看该项目数据库是否正常使用，如果不正常可以选择按照“6.2数据库备份数据恢复”恢复数据库7.2.4. 数据库损坏或者服务器系统崩溃如果出现数据库损坏或者数据库服务器系统崩溃，无法开机正常运行。可以在备用服务器上面参照“3.4应用软件安装/部署”重新部署该项目，并且按照“6.2数据库备份数据恢复”恢复数据库7.3. 数据库软件数据库出现紧急故障乃至数据丢失、数据库不可用时，主要通过逻辑恢复和物理恢复两种方式来完成。在执行恢复操作时，一般建议联系集成商和ORACLE

23、协助进行实施。第一种情况：【故障现象】：归档日志目录满的情况。【解决办法】：先将归档日志临时移至其他目录，然后做备份处理：Mv 数据库目录 log_1* 备份数据库目录启动NBU备份软件进行归档日志备份。第二种情况：【故障现象】：单个表或部分表数据丢失的情况。【解决办法】：如果有近期的逻辑备份，可以考虑通过从逻辑备份中导出进行表恢复。但需要考虑恢复的时间点要求问题。第三种情况：【故障现象】：数据库无法打开等情况，采用RMAN进行恢复。【解决办法】：因为硬件原因或数据库内部自身的原因，数据库无法打开，需要全库恢复，部分表空间数据损坏，可以考虑进行部分表空间的恢复。这个恢复操作主要通过调用rman

24、脚本进行恢复。建议这个操作在其他设备上进行：1. 如果有另一套阵列设备环境，建议在新阵列环境上进行恢复。2. 按照原有的配置重新划分卷组、文件系统。3. 在操作系统上按照原有的配置重新划分diskgroup和lv。4. 调用rman脚本进行数据库恢复，需时约4-12小时。5. 如果没有阵列设备，直接在原来的环境上进行恢复。7.4. 磁盘阵列如磁盘阵列故障无法修复时，可使用最近备份进行恢复。7.4.1. 配置信息恢复阵列配置信息的恢复需要建立在原来信息备份的基础上。阵列配置信息的备份主要是记录配置参数。7.4.2. 文件系统数据恢复阵列的文件系统数据出现丢失时，可以使用最近的备份进行恢复。由于阵

25、列的数据量大，目前我们一般都通过备份软件（DP或NBU）采用磁带库进行数据备份。7.5. 服务器硬件第一种情况：【故障现象】：服务器硬盘损坏【解决办法】：尝试从镜像盘启动，同时按照维保的厂家报障流程进行报障处理。第二种情况：【故障现象】：其他部件损坏服务器硬件的故障，按照维保的厂家报障流程进行报障处理。7.6. 系统软件【故障现象】：linux系统配置文件丢失，无法正常启动。【解决办法】：采用系统备份带恢复操作系统。在磁带机中，插入系统恢复带，回复系统。7.7. 网络设备需要根据网络主干故障、网络接入点故障等情况触发网络抢通预案；7.8. 电源设备需要根据主机关机、主机电源告警、供电设备（含机

26、架电源条）故障等情况分别制定相应的预案；原则：主机电源故障导致主机处于关机状态的，需要触发备用系统切换预案和备件更换预案；供电设备故障的，需要触发电源切换预案；8. 系统恢复确认8.1. 主机系统检查检查项检查内容检查情况Tomcat检查Tomcat是否启动8.2. 应用程序检查检查项检查内容检查情况数据采集程序检查数据采集程序是否启用9. 附件一、备份操作步骤9.1. 数据库备份9.1.1. 逻辑备份采取逻辑备份定期备份重要的数据表，在出现故障时，可以快速进行恢复。9.1.2. 物理备份l SQLserver2008备份软件一般，当备份进程配置好之后，SQLserver会按照日期表触发备份进

27、程（分别是9:30分，14:30分。21:30分，00:15分备份后，清空前一天的3次备份数据（00:15分作为最终备份）自动进行指定备份，不需要人工干预。9.2. 数据库备份数据恢复第一步 右键单击系统数据库选着还原数据库第二步 源选择设备 选中添加文件中备份的 .bak 文件第三步可以先验证备份介质 或者直接确定第四步 成功后会弹出成功信息,如果还原的企业最近有门禁刷卡 或者消费刷卡,可以查看对应的记录表核对是否有相关信息Access_Records(门禁记录表, RecordTime字段为刷卡时间) Consume_Records （消费记录表, RecordTime字段为刷卡时间）注意 如果需要还原的数据库 数据库已经有 还原时可以选中覆盖现有数据库