《交换紧急故障处理手册（GSM网分册V4.0）.doc》由会员分享，可在线阅读，更多相关《交换紧急故障处理手册（GSM网分册V4.0）.doc（44页珍藏版）》请在三一办公上搜索。
1、交换紧急故障处理手册（GSM网分册V4.0）网 管 中 心 交 换 室交 换 维 护 组 更新时间：2005-5-16文档修改日志时间修订内容修订人2005年1月31日版本重新修订交换维护组2004年5月16日1 HLR RED的处理流程更新为省公司的第二版2 APG40计费故障应急处理方法更新为省公司的最新R9、R10流程3 更新重要联系电话、交换机房网元信息表4 增加IOG、APG故障抢修、备份流程交换维护组目 录1. 根据紧急故障的情况快速决定采用何种流程1.1 CP331.2 CP401.3 APG401.4 ET1551.5 HLR RED的处理方法1.6 负荷高及各种话务受阻的定位
2、处理2. 各种紧急处理流程2.1 CP332.1.1 CP FAULT处理流程2.1.2 CPT RELOADING处理流程2.1.3 INTIAL LOADING处理流程2.1.4 FEX LOADING 处理流程2.1.5 修改RELOAD的条件，进行RELOAD处理流程2.1.6 LOCAL MODE进行CPT RELOADING处理流程2.2 CP402.2.1 CP FAULT处理流程2.2.2 CPT RELOADING处理流程2.2.3 FUNTION CHANGE RELOADING处理流程2.2.4 INTIAL LOADING处理流程2.2.5 FEX LOADING 处理
3、流程2.3 APG402.3.1 APG40计费故障应急处理流程2.3.2 MML 连接失败处理流程2.3.3 APG40 CPU 使用率达 100%处理流程2.3.4 C盘已无可用空间，导致网元无法连接处理流程2.3.5 CLUSTER故障导致网元连接失败处理流程2.3.6 APG循环RESTART处理流程 2.3.7 APG40的系统恢复方法处理流程2.4 ET1552.4.1 若有“SYNCHRONOUS DIGITAL PATH FAULT SUPERVISON”告警处理流程2.4.2 SWITCHING NETWORK TERMINAL FAULT(SNT=ET155-X)处理流程2
4、.4.3 ET155出现部分2M传输中断告警处理流程2.4.4当ET155上的话务设备出现CBL,SUBSNT,SNT出问题处理流程2.5 HLR RED的处理流程2.6 负荷高及各种话务受阻的定位处理2.7 IOG设备出现计费停的处理方法3. 操作指引3.1 CP3.1.1 RELOAD后的处理流程3.1.2 CDU Panel的说明3.2 APG403.2.1 APG网元IP地址 3.3 IOG 3.3.1 IOG系统备份 3.4 TEST LOADING流程3.4.1 CP TEST LOADING 流程3.4.2 CP40 TEST LOADING流程3.4.3 APG40 TEST
5、LOADING流程4. 附录4.1重要联系电话4.2紧急故障处理所需软硬件工具4.3交换机房网元信息表1. 根据紧急故障的情况快速决定采用何种流程1.1 CP33【故障情况1】现象系统出现CP FAULT告警，用指令不能修复。选择“CP FAULT”处理流程简要说明当系统出现CP FAULT 告警时，表明CP检测出有硬件故障，可能是Temporary or Permanent。如果用指令不能消除则应对CP进行更换PCB板。由于REPCI测出的PCB板不一定是完全正确的，在一般流程不能消除告警时候，可以分析系统自动出的Error Interrupt Data 进行进一步处理。【故障情况2】 现象
6、AT端口不能连机，出现“CP NOT OBTAINABLE，ENTER EXIT OR MCLOC”，其它端局到该局的信令链RESTORING。MAU及CPT系统正常，SPG的RPA（RPV）正常，HD的系统备份文件至少有一文件是好的。CP-EX边应没有硬件故障。选择“CPT RELOADING”的处理流程简要说明这种方法是最简洁的方法，可以选择要RELOAD的备份文件。但要求CPT及SP LINK的正常（保证可以RELOAD系统文件），CP-EX边应没有硬件故障（系统是RELOAD到EX边）。【故障情况3】现象所有IO口失去通信，出现“CP NOT OBTAINABLE，ENTER EXIT
7、 OR MCLOC”，CPT系统正常。系统发生CYCLIC RESTART，CPT系统正常。CP出现严重的硬件故障或软件故障，CPT系统正常。其它不希望做FEX LOADING的情况。选择“INITIAL LOADING”处理流程简要说明当系统自动发生RELOAD失败出现循环RELOAD时或者系统两边都停止正常工作时，INITIAL LOADING是可选使用的一种非常好同时是比较安全的方法。它可以选择使用RELOAD文件，所有BLOCK都被重载入系统，能现场测试硬件，打印RESTART DATA用来分析。先起APZ，再起APT，若APT有问题，可以在激活APT前打软件补丁。这种方法比FEX L
8、ORDING繁琐、同时要求CPT系统工作正常。采用“INITIAL LOADING”，头脑一定要清醒、冷静、果断，全程负责处理。【故障情况4】现象系统掉电CPT系统、IO系统无法正常工作，导致INITIAL LOAD不能做系统完全失去控制、系统两边都停止正常工作其它ERICSSON专家认为只有用“FEX LOADING”才能处理的情况选择 CP-A、CP-B没有硬件故障或怀疑CP-B有硬件故障用“INITIAL LOADING FROM CP-A”处理流程；怀疑CP-A有硬件故障用“INITIAL LOADING FROM CP-B”处理流程简要说明FEX LOADING特点是不用指令操作，不
9、能选择备份文件（只能用RELFSW0），APZ、APT同时起来工作（若APT有问题，RELOAD后还会出问题），不能测试硬件，不能打印RESTART DATA。可以说FEX LOAING是一种不可控制的RELOAD。在APZ 212 30中没有FEX按钮，FEX功能是靠软件来实现的。【故障情况5】 现象AT端口不能连机，出现“CP NOT OBTAINABLE，ENTER EXIT OR MCLOC”，利用FEX LOADING都不能将系统RELOAD起来， CP-EX边应没有硬件故障。选择“修改RELOAD的条件，进行RELOAD”的处理流程简要说明这种方法是最简洁的方法，可以选择要RELO
10、AD的备份文件。但要求CPT及SP LINK的正常（保证可以RELOAD系统文件），CP-EX边应没有硬件故障（系统是RELOAD到EX边）。【故障情况6】现象所有IO口失去通信，无法连机。 CPT也无法连接 需要现场进行连接IOG LOCAL MODE线的情况。 其它不希望做FEX LOADING的情况。选择“利用LOCAL MODE的模式进行CPT LOADING”处理流程简要说明当系统出现普通终端无法连机，根本不能进行任何操作时，系统一定出现紧急故障，极有可能是软件吊死，即整个系统都瘫痪掉。此时应马上赶到现场，直接利用IOG的LOCAL MODE连接到CPT的模式上，对CP进行操作。1.
11、2 CP40【故障情况1】现象系统出现CP FAULT告警，用指令不能修复。选择“CP FAULT”处理流程简要说明当系统出现CP FAULT 告警时，表明CP检测出有硬件故障，可能是Temporary or Permanent。如果用指令不能消除则应对CP进行更换CPU的一边。由于REPCI测出的CPU-A/B板不一定是完全正确的，在一般流程不能消除告警时候，可以分析系统自动出的Error Interrupt Data 进行进一步处理。【故障情况2】 现象AT端口不能连机，出现“CP NOT OBTAINABLE，ENTER EXIT OR MCLOC”，其它端局到该局的信令链RESTORI
12、NG。MAU及CPT系统正常，APG正常，HD的系统备份文件至少有一文件是好的。CP-EX边应没有硬件故障。选择“CPT RELOADING”处理流程（首选）或者“修改RELOAD的条件，进行RELOAD”的处理流程。简要说明这种方法是最简洁的方法，可以选择要RELOAD的备份文件。但要求CPT及APG的正常（保证可以RELOAD系统文件），CP-EX边应没有硬件故障（系统是RELOAD到EX边）。【故障情况3】 现象AT端口不能连机，出现“CP NOT OBTAINABLE，ENTER EXIT OR MCLOC”，其它端局到该局的信令链RESTORING。MAU及CPT系统正常，APG正常
13、，HD的系统备份文件至少有一文件是好的。CP-EX边应没有硬件故障。选择“FUNTION CHANGE RELOADING”处理流程简要说明这种方法是先将备用边RELOAD起来，在进行并边的方法，可以选择要RELOAD的备份文件。但要求CPT及APG的正常（保证可以RELOAD系统文件），CP-SB边应没有硬件故障（系统是RELOAD到SB边）。【故障情况4】现象所有IO口失去通信，出现“CP NOT OBTAINABLE，ENTER EXIT OR MCLOC”，CPT系统正常。系统发生CYCLIC RESTART，CPT系统正常。CP出现严重的硬件故障或软件故障，CPT系统正常。其它不希望
14、做FEX LOADING的情况。选择“INITIAL LOADING”处理流程简要说明当系统自动发生RELOAD失败出现循环RELOAD时或者系统两边都停止正常工作时，INITIAL LOADING是可选使用的一种非常好同时是比较安全的方法。它可以选择使用RELOAD文件，所有BLOCK都被重载入系统，能现场测试硬件，打印RESTART DATA用来分析。先起APZ，再起APT，若APT有问题，可以在激活APT前打软件补丁。这种方法比FEX LORDING繁琐、同时要求CPT系统工作正常。采用“INITIAL LOADING”，头脑一定要清醒、冷静、果断，全程负责处理。【故障情况5】现象系统掉
15、电CPT系统、IO系统无法正常工作，导致INITIAL LOAD不能做系统完全失去控制、系统两边都停止正常工作其它ERICSSON专家认为只有用“FEX LOADING”才能处理的情况选择”FEX LOADING From CP-A”处理流程”1.3 APG40【故障情况1】现象系统出现AP2计费停，需AP1进行计费的紧急故障，如R9.1MSC的AP2完全中断，所有计费信息被保存在CP的BUFFER内并未被传到APG40内。选择“AP2计费停，需AP1进行计费的紧急故障”处理流程【故障情况2】现象MML连接失败现象：C:mml CP NOT OBTAINABLE YOU MAY NOW ENT
16、ER: APLOC, PTCOI, OR EXIT COMMAND ipnaadm -list Connect failed with WSA error 10055 C:dsdls -a Communication error. Cannot connect to DSD. C:pstatPstat version 0.3: memory: 785844 kb uptime: 26 19:08:45.465PageFile: ?C:pagefile.sys Current Size: 819200 kb Total Used: 4964 kb Peak Used 6500 kb Memory
17、: 785844K Avail: 331316K TotalWs: 639592K InRam Kernel: 3940K P:33528K Commit: 473228K/ 409284K Limit:1565916K Peak: 672588K Pool N:18008K P:33620K User Time Kernel Time Ws Faults Commit Pri Hnd Thd Pid Name 0:02:24.127 0:12:08.257 8200 236387 6592 8 8314 71 494 aes_cdh_server选择“MML连接失败”的处理流程【故障情况3】
18、现象指令及操作时系统反应很慢选择“APG40 CPU占用达100%”处理流程【故障情况4】现象网元无法连接，可TELNET访问，但C:已经无可用空间。选择“C:已无可用空间，导致网元无法连接”处理流程【故障情况5】现象 OSS网元无法连接 TELNET CLUSTER失败 TELNET NODE A及NODE B正常 NODE A及NODE B状态正常选择“CLUSTER故障导致网元连接失败”处理流程【故障情况6】现象网元连接时断时续间隔15分钟左右，能正常连接选择“APG循环RESTART”的处理流程 【故障情况7】现象无法Telnet网元 网元进程起不来 网元磁盘镜像没起来 系统运行太慢选
19、择“APG40系统恢复”的处理流程1.4 ET155【故障情况1】现象若有“SYNCHRONOUS DIGITAL PATH FAULT SUPERVISION”告警： MS-0或MS-1 有FC（MSC-MSC，GW，MTM，TR，BSC-RBS之间）， MS-0或MS-1 有FC（MSC-BSC之间）， MS-0或MS-1 无FC, 状态为NONE选择“若有“SYNCHRONOUS DIGITAL PATH FAULT SUPERVISION”告警”处理流程【故障情况2】现象SWITCHING NETWORK TERMINAL FAULT(SNT=ET155-X) 选择“SWITCHING
20、 NETWORK TERMINAL FAULT(SNT=ET155-X)”的处理流程【故障情况3】现象ET155出现部分2M传输中断告警选择“ET155出现部分2M传输中断告告警”处理流程【故障情况4】现象当ET155上的话务设备出现CBL，SUBSNT，SNT出问题时选择“当ET155上的话务设备出现CBL，SUBSNT，SNT出问题时”处理流程1.5 HLR RED 的处理方法【故障情况】1. 现象(1) 当HLR出现瘫痪、RELOAD、循环RESTART等，并在5分钟内不能恢复时现象：A. 所有网元均出现到该HLR的全部信令链中断B. 无法通过任何终端连接CPC. 大量归属该HLR用户投
21、诉D. 现场观察CP状态灯不正常，并显示表征RELOAD进度的数字(2) 当HLR出现严重影响业务的故障，在5分钟内无法解决时现象：E. 可连接CP；F. 存在严重影响业务的故障，如：因传输中断导致重要信令方向全断；时钟、选组级严重故障等；G. 大量归属该HLR的用户投诉，经拨测验证发现归属该HLR用户不能作被叫，而归属另一HLR用户业务正常；注：该情况需要根据投诉情况、故障现象、拨测情况进行具体分析；拨测要包括短信、智能网等方面的被叫拨测。(3) 出现其他严重影响归属同一HLR用户业务的情况，并在5分钟内无法定位故障或解决故障时现象：大量分布在不同区域但归属同一HLR的用户投诉，经拨测验证发
22、现归属该HLR用户不能作被叫，而归属另一HLR用户业务正常；注：该情况需要根据投诉情况、拨测情况进行具体分析；拨测要包括短信、智能网等方面的被叫拨测。根据影响程度审慎决定是否启动应急流程。选择“HLR RED”的处理方法简要说明应急处理流程根据HLR全阻情况（HLR瘫痪、RELOAD、信令全阻等）制定，如非HLR全阻，则须根据实际情况有选择的执行部分操作。1.6 负荷高及各种话务受阻的处理定位【故障情况】现象整个交换机高负荷处理流程分MSC、BSC两大部分： 用户投诉呼叫成功率低，很难接通电话。 系统过负荷，PLLDP超过90%。 用PLLDP检查系统状态:A. 观察APZ“CALIM”参数，
23、如“CALIM”的值低于最大值，则系统处于非正常状态。 B. 观察OFFDO的值是否与FTCHDO的值相等或相差不大。 观察OFFDI的值是否与FTCHDI的值相等或相差不大。 上述值相差比较大，系统处于非正常工作状态。注：如CALIM及上述两对参数：OFFDO与FTCHDO、OFFDI与FTCHDI都出现异常，则可判定，系统出现了限呼。典型的实例：PLLDP;PROCESSOR LOAD DATAINT PLOAD CALIM OFFDO OFFDI FTCHDO FTCHDI OFFMPH OFFMPL FTCHMPH FTCHMPL 1 97 150 510 144 10 0 1047
24、0 140 0 2 97 150 508 170 10 0 1028 0 140 0 3 99 150 459 150 10 0 1074 0 140 0 4 96 150 468 180 10 0 1103 0 140 0 5 98 150 498 217 10 0 997 0 140 0 6 98 150 453 182 10 0 1077 0 140 0 7 99 150 454 119 10 0 1020 0 140 0 8 96 152 501 211 12 0 1111 0 140 0 9 95 151 532 153 11 0 1063 0 140 010 98 150 493
25、158 10 0 1062 0 140 011 96 150 485 179 10 0 1100 0 140 0选择“负荷高及各种话务受阻的定位处理”简要说明该流程主要是针对交换机出现高负荷、系统处于危险的情况下的应急措施。现场抢修人员应根据实际情况，果断采取相应的措施及时处理，确保交换网络的安全。整个交换机高负荷处理流程分MSC、BSC两大部分。2、各种紧急处理流程2.1 CP332.1.1 CP FAULT处理流程1.列出“CP FAULT”的告警： Allip;-2.对CP进行指令测试: Repci;-3. 选择上述测试中最有可能有故障的PCB，用指令通知系统要进行人工干涉： REMCI
26、:MAG=,PCB=;-4.将故障边（CP-A或CP-B）进行关电。-5.进行更换PCB板。-6. 将SB边（CP-A或CP-B）进行开电。-7.进行修复测试: RECCI;-8.按照3-7步进行更换下一块PCB板-注：下面是开关MAU或更换MAU板9选择MAU中最有可能故障的PCB，用指令通知系统要进行人工干涉： REMCI:MAG=,PCB=;-10根据Printout,关掉SB边的电-11下一步是关掉MAU的电-12进行更换MAU的PCB板-13开MAU的电源-14进行修复测试RECCI；-15开SB边的电源-16进行修复测试RECCI；-17打印错误中断的信息进行进一步分析： DIRC
27、P:INF=SPO;-18进行PTITI测试 PTITI：CS=A（B），TEST=2，FORWARD；-19打印相关的信息给ERICSSON专家分析：ALLIP；DIRCP；DIRCP:INF=SPO;对“CP FAULT”进行确认。 显示：CP DIAGNOSIS此printout一般在10分钟内出现,最长不超过2小时,否则系统有故障。如测试出是MAU的故障请转到第9步！一定要有这条指令，否则系统会自动产生RESTART。显示：CP MANUAL INTERVENTION要根据 printout （CP MANUAL INTERVENTION）进行操作。 显示：CP REPAIR如果修复测
28、试成功，流程结束，告警消除。如果修复测试不成功，则更换下一块PCB板直到更换了所有的PCB板。当更换了所有的PCB板都不成功或用REPCI时就测出是MAU的故障时，应对MAU进行处理。在开关MAU或更换MAU板时一定要按照下面的流程来进行。如果还不成功，我们就需要打印出错误中断的信息进行进一步分析。一般来说可以从其中寄存器信息中可以找出硬件故障的信息。利用PTITI进行测试，一般来说可以比较准确定位。由于它是CPT指令，在上述方法可以处理的情况下，不建议用此指令！写TR给ERICSSON进行处理。2.1.2 CPT RELOADING处理流程1 利用IO终端连接到LOCAL MODEMCLOC
29、:USR=SYSTEM,PSW=INIT;- 2. 连接CPT MODEPTCOI;-3. 进行SYSTEM RESTARTPTSRI:RANK=RELOAD;PTSRI:RANK=RELOAD,FILE=file;-4. 退出LOCAL MODE模式EXIT;-5. 等待RELOAD的完成-检查系统是否正常“SYSTEM RESTARTED”应出现在操作终端及APT SYSTEM正常工作-利用此指令是直接与MAU相连，不通过SPS系统。注意这不是IOG的LOCAL MODE模式，不用插到IOG的LOCAL MODE端口上！如以前曾经用过CPT而未退出，请先用PTCOE；退出。第一条指令是采用
30、缺省文件RELFSW0，而第二条则是可以选择备份文件。一般需要15-20分钟，如HLR则时间可能更长。可以用INFIP：FILE=RELFSWn-Rn;查看系统的RELOAD情况或看CDU的数值。如系统还是不正常，则要采用INITIAL LOADING。2.1.3 INTIAL LOADING处理流程1 进入LOCAL MODEMCLOC:USR=system,PSW=init;-2 分离IO端口MCDSC:IO=io,SEP=YES;-3 连接CPTPTCOI;-4 确认CP两边的电源未关及FEX功能没有激活5 确认CP两边的PHCI已经激活-6 分离CP边及倒换PTSES;PTSWI;PT
31、SES;PTSWI;PTJAP;PTVAP;-7 测试CP的一边及MAUPTITI:CS=cs;-8 人工分离SPG LINK按RPA的RESET键，过一秒钟在按一次。-9 对CP一边进行initial load:PTCPL:CS=A,RP=1,FILE=RELFSW2;-10. CP-SB边设置系统时间CACLS:DATE=yymmdd,TIME=hhmm,DAY=day;-11. 启动CP-SB边的APT功能SYATI;-12. 将分离的IO端口设置为正常状态MCLOC:USR=system,PSW=init; MCDSC:IO=io,SEP=NO;-13. CP边进行倒换，开始处理话务P
32、TSWI; EXIT;-14. 去活CP两边的PHCI功能-15. CP进行并边DPPAI;选择一个IO端口连到 CP的LOCAL MODE。将此IO端口分离出来。用分离出来的IO端口连接到CPT。一定要确认CP两边的电源开及FEX ON的灯是关的！下面的操作是关系到CP的两边，上述两个条件都要满足。PHCI ON 的灯应亮，禁止系统进行程序处理检查，否则系统会不停产生CYCLIC RESTART。将CP进行分离及打印RESTART数据。如PTSES；不成功可以先做PTAMR；对MAU做一次RESET（此时CP已两边倒，否则不要轻易用此指令）。此时应快速确定要测试的CP边：（1） 怀疑CP-A
33、有问题，请选择CS=B（2） 怀疑CP-B有问题，请选择CS=A（3） 两边的可能性都不大，请选择CS=B输出显示：CPT MESSAGE INITIAL TEST RESULT如FCODE = 0 则往下走，否则测另一边。如两边都测不过，按FCODE进行换板，直到有一边测试成功。选择正常的IOG边：A边对应RP=1，B边对应RP=4。按顺序进行人工RESET。由于CP控制不了SPS，不能用指令对SP LINK进行分离。利用PTCPL指令进行RELOAD，是initial loading的核心所在：即可以指定CP边、SP LINK及备份文件。这几个参数：CS选择7步中测试通过的CP 边，RP选
34、择所分离的SP NODE的值，FILE建议选择RELFSW1（RELFSW0可能有问题）。等待输出：CPT MESSAGE INITIAL LOADING (ABSOLUTE) STARTEDCPT MESSAGE LOADING (ABSOLUTE) IN PROGRESSCPT MESSAGE INITIAL LOADING (ABSOLUTE) FINISHED（成功）CPT MESSAGE * INITIAL LOADING PROGRESS ABNORMAL（不正常）CPT MESSAGE * INITIAL LOADING (ABSOLUTE) STOPPED（不正常）注：出现不正
35、常，请选择另外参数重新进行RELOAD。 CACLS:DATE=010908,TIME=1644,DAY=SAT;（例如）输出显示：APPLICATION BLOCKS STARTED将AT端口恢复正常，以对CP做倒边。系统此时应处于正常状态。操作终端会出现“SYSTEM RESTARTED”恢复系统的程序处理检查功能。系统并边 :CP-SB-START-PASSEDCP 将变成正常。如不成功，请在晚上按“CP FAULT”进行处理。.2.1.4 FEX LOADING From CP-A处理流程1. 将CPG的电源关掉将CP-A、MAU及CP-B的电源关掉！-2.确认将PHCI功能去活掉 -
36、3.选择CP-A做FEX -4.激活CP-A的 FEX -5. 开CP-A机框的电源 -5. 等待系统RELOAD 成功-7.设置系统的时间CACLS:DATE=yymmdd,TIME=hhmm,DAY=day;-8.人工做SMALL RESTART SYREI:RANK=SMALL，EXPL=OTHER;-9.开MAU的电源 -10.对MAU进行修复测试 RECCI;-11.去活CP-A的FEX功能 在CP-A（EX）的POWC板上按 FEX 键。 -12.开CP-B边的电源-13.做修复测试 RECCI;-14.写紧急故障处理报告 按顺序进行，确认所有的电源关掉此功能会导致系统做CYCLI
37、C RESTART。没有硬件故障或有可能是CP-B有硬件故障，我们选择CP-A按CP-A的POWC magazine的FEX键。如是APZ212 30的CP不用做此步！请按顺序开电源：首先开最左边的电源开关。大概需要10-20分钟的时间，IOG的硬盘灯应在闪烁，否则应先处理IOG的故障。同时可以用INFIP：FILE=RELFSWn-Rn;查看系统的RELOAD情况或看CDU的数值。 CACLS:DATE=010908,TIME=1633,DAY=SAT;（例如）设置了时间后一定要做SMALL以免系统程序出错。等待Printout:SYSTEM RESTARTED等待 printout CP REPAIR. 如成功
