《上海“电子统计”工程测试报告.doc》由会员分享，可在线阅读，更多相关《上海“电子统计”工程测试报告.doc（16页珍藏版）》请在三一办公上搜索。
1、上海市统计局政府“电子统计”工程WD_SHTJJ_STSR_ 080820_YMX测试报告1.0上海市统计局万达信息股份有限公司版权所有，保留所有权利2008-8-20修订记录日期修订内容修订人版本备注2008-07-20建立文档。于敏V1.0建立文档模版。2008-08-25编写文档孙晓明V1.1目录第1章引言11.1目的11.2背景11.3参考资料2第2章测试概要32.1测试用例设计32.2测试环境与配置32.3测试时间32.4测试方法32.4.1单元测试42.4.2组合测试42.4.3系统测试4第3章测试过程53.1功能测试部分53.2性能测试部分53.2.1综合处理数据加载53.2.2
2、综合处理数据导出63.2.3全市名录库数据加载63.2.4区县、专业处名录库数据加载73.2.5名录库区县待查任务导出73.2.6名录库区县查询结果导出83.2.7测试审核速度83.2.8名录区县多人操作最大负载93.2.9加载导出审核查询四大功能并发9第4章测试结论114.1功能测试部分114.2性能测试部分11第1章 引言1.1 目的l 针对08年电子统计系统交付验收的项目阶段性目标，详细规划电子统计项目的测试活动，排除测试的随意性；l 在计划的时间和资源范围内，尽可能多地发现系统中的缺陷，提高各子系统的交付质量；l 明确测试阶段项目组相关人员的职责，以及应当产生的工作产品。1.2 背景上
3、海市国民经济和社会信息化“十五”规划纲要指出：“实现国民经济和社会信息化是上海进入新世纪之后再创辉煌的一项重大战略任务。”同时，对于政府信息系统明确指出其“十五”期间的主要任务为：“建立和完善政务专用网，基本实现宽带到办公室，进一步建设和完善各部门的管理信息系统，共享各部门、各领域的基础数据库和综合业务数据库，积极开发建设数据仓库、知识库和模型方法库，建设和完善辅助决策、管理与分析信息系统。”目前的上海市统计局的信息系统在应用需求、网络平台、主机系统和数据库容量等方面已经无法满足目前统计新的业务需求。因此，根据市领导提出的统计业务改革要求，为了加快上海市政府电子政务系统建设步伐，进一步用现代信
4、息技术装备本市各级人民政府统计机构，使本市国民经济、社会、科学综合统计信息网络建设在全国处于领先地位，为上海市经济建设和社会提供现代化的信息服务，上海市政府“电子统计”工程项目被列入上海市信息化建设“十五”主要建设项目计划，同时作为电子政务的示范工程。1.3 参考资料上海市统计局政府“电子统计”工程-测试计划WD_SHTJJ_TUC_061019_YMX 上海市统计局电子统计系统 测试用例.docWD_SHTJJ_TER_080407_YMX测试问题管理表.doc上海市统计局政府“电子统计”工程-使用手册第2章 测试概要2.1 测试用例设计详见上海市统计局政府“电子统计”工程-测试用例.doc
5、中“用例描述”部分。2.2 测试环境与配置服务器环境详见上海市统计局政府“电子统计”工程-测试用例.doc中“资源”部分。2.3 测试时间n 测试开始时间：2008-7-20n 测试结束时间：2008-8-232.4 测试方法采用专门的软件工具，模拟普通用户访问应用平台典型功能，将应用系统、应用服务器和数据库服务器等全部贯穿起来，从而测试应用平台的整体性能。由于运行应用平台的服务器性能要远远超过一般的测试机（PC机），我们将在测试中使用多台测试机模拟大并发量和大数据量，最终由测试工具自动生成相关测试数据。根据测试结果，分析获得服务器在正常工作情况下及大并发量下的工作效率，系统能承受的最大并发量
6、（导致服务器满负荷工作），并分析系统可能的瓶颈所在，如果问题出在系统配置或代码级别上则对系统进行调优，并对结果进行性能回归测试，检查产生瓶颈的问题是否被正确解决，最终形成测试报告。2.4.1 单元测试测试目标程序模块在设定的条件下能正常的运行，对输入的合理数据和可预见的不合理数据都能正确地处理，不出现死机或死循环现象且返回正确的信息。技术黑盒测试、白盒测试。需考虑的特殊事项无。2.4.2 组合测试测试目标系统的部分或整体能够正常地运行，对输入的有效和无效数据、正确的和不正确的操作、正常和不正常的工作环境等都能正确地处理，并给出合理的信息或结果。技术黑盒测试。完成标准组合测试中发现的缺陷90%已
7、修正，且未修正的缺陷都是属于低级别缺陷。需考虑的特殊事项无。2.4.3 系统测试 测试目标系统在真实软硬件环境下，使用生产中实际业务数据运行正常，功能实现符合需求说明要求，无重大功能缺陷。技术黑盒测试。完成标准能够满足基本业务功能要求。需考虑的特殊事项性能压力测试。2.5 测试工具 工具产商/自产测试管理测试计划自产性能测试Load Runner 8.0Mercury Interactive缺陷跟踪Bugfree自产第3章 测试过程3.1 功能测试部分跟随开发进度，进行功能自测，使用缺陷管理工具BugFree进行跟踪管理、回归测试。3.2 性能测试部分3.2.1 综合处理数据加载l 数据准备：
8、用例名称功能模块具体数据加载文件数据量测试用例1综合处理数据加载批发零售06年报07定报2000测试用例2综合处理数据加载批发零售06年报07定报10000测试用例3综合处理数据加载批发零售06年报07定报15000场景一：三个用例同时并发，模拟客户端用户数量分别依次为8、8、8；场景二：执行用例三，模拟客户端用户数量为50。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景一244分35秒58.36658.36653%3%考虑到专业处室用户实际工作中的数据量，在此选择了2000、10000、15000三种数
9、据文件进行加载，其中2000条是较为常见，10000和15000属于较大的数据文件。场景一模拟了专业处室日常工作中的情况，故仅模拟了24个客户端，在此三个用例并发执行，总的来说此场景中性能已经达到了预期目标。l 第二轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景二5030秒1.862.30484%5%场景二选取了较大的数据量15000条来进一步测试综合处理-数据加载的性能。模拟客户端为50个用户并发的前提下，完成加载的总用时仅为30秒，这个测试结果较为理想。3.2.2 综合处理数据导出l 数据准备：用例名称功能模
10、块具体数据测试用例1综合处理-分组查询导出建筑业07 季报财务汇总报表测试用例2综合处理-汇总报表导出本市建筑业主要经济指标（年报）测试用例3综合处理-汇总报表导出建筑业企业生产情况一览表 月度表（月报）场景一：三个用例同时并发，模拟客户端用户数量各为5；场景二：三个用例同时并发，模拟客户端用户数量各为10。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景一151分39秒34.85534.57645%6%此时为模拟用户正常工作情况，性能已经达到了预期目标。l 第二轮性能测试的系统性能主要指标如下：场景模拟客
11、户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景二302分3秒65.25659.23252%6%三个用例同时并发30个用户，总用时为2分3秒，性能达到了预期目标。3.2.3 全市名录库数据加载l 数据准备：用例名称功能模块加载文件数据量测试用例1全市名录数据加载6000测试用例2全市名录数据加载12000场景一：二个用例同时并发，模拟客户端用户数量各为3。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景一61分26秒41.77141.77137%4%考虑到此功能仅为普查中
12、心用户使用，故在此模拟6个客户端同时并发进行加载，总用时为1分26秒，性能达到了预期目标。3.2.4 区县、专业处名录库数据加载l 数据准备：用例名称功能模块加载文件数据量测试用例1名录库区县数据加载2000测试用例2名录库区县数据加载6000测试用例3名录专业处数据加载2000测试用例2名录专业处数据加载6000场景一：四个用例同时并发，模拟客户端用户数量各为10。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景一404分34秒29.48329.62451%6%区县、专业处同时进行数据加载，在四个用例同时
13、并发的情况下用时为4分34秒，应用服务器CPU负载为50%左右，性能在可接受范围内。3.2.5 名录库区县待查任务导出l 数据准备：用例名称功能模块导出数据量测试用例1以黄浦区用户登录待查任务下载页面2345测试用例2以闵行区用户登录待查任务下载页面7899测试用例3以浦东新区用户登录待查任务下载页面10554场景一：三个用例同时并发，模拟客户端用户数量分别依次为3、9、3。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景一152分30秒62.85762.85746%5%性能完全达到了预期目标。3.2.6
14、名录库区县查询结果导出l 数据准备：用例名称功能模块导出数据量测试用例1以崇明区用户登录维护页面9721测试用例2以闵行区用户登录维护页面24785测试用例3以嘉定区用户登录维护页面52701场景一：三个用例同时并发，模拟客户端用户数量分别依次为2、5、3。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景一106分55秒241.166227.57789%7%全市有19个区县，在此设置了10个区县同时并发进行查询导出操作，总用时为6分55秒。考虑到数据量的因素（9721、24785、52701），名录查询结果
15、导出在尚可接受的范围内，但若继续增0大用户量，则此部分存在性能瓶颈。3.2.7 测试审核速度l 数据准备：用例名称功能模块具体数据测试用例1综合处理-数据审核建筑业统计报表制度06年报07定报测试用例2综合处理-数据审核房地产开发、经营统计报表制度06年报07定报测试用例3名录库-数据审核基本单位统计报表制度测试用例4名录库-重名重码审核基本单位统计报表制度场景一：四个用例同时并发，模拟客户端用户数量各为10。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景一408分51秒235.596278.99881%
16、10%此场景结合了综合处理逻辑审核部分和名录库数据审核部分，录制了4个脚本，设置40个模拟客户端同时并发，用时8分51秒，基本满足性能需求。3.2.8 名录区县多人操作最大负载l 数据准备：用例名称功能模块具体数据测试用例1名录库-区县数据录入待查任务录入测试用例2名录库-名录加载闵行6000条数据加载测试用例3名录库-待查任务下载闵行7899条待查任务测试用例4名录库-名录查询测试用例5名录库-汇总出表静安汇总出表场景一：五个用例同时并发，模拟客户端用户数量分别为30、20、20、20、10。l 第一轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用
17、服务器CPU负载数据库CPU负载场景一1005分144.595141.35875%7%性能基本达到了预期目标。3.2.9 加载导出审核查询四大功能并发l 数据准备：用例名称功能模块具体数据测试用例1综合处理-数据审核房地产开发、经营统计报表制度06年报07定报测试用例2综合处理-数据加载批发零售06年报07定报，数据量为15000条测试用例3名录库-数据导出嘉定区52701条的待查任务到处测试用例4名录库-汇总出表静安汇总出表场景一：四个用例同时并发，模拟客户端用户数量分别为20、40、20、40；场景二：四个用例同时并发，模拟客户端用户数量分别为15、40、10、40。l 第一轮性能测试的系
18、统性能主要指标如下：由于均是比较费时的操作，故用例1综合处理数据审核在测试的过程中超时，在用户数量未做调整的情况下测试结果不理想，故未做记录。l 第二轮性能测试的系统性能主要指标如下：场景模拟客户端数量总用时事务用时事务平均响应时间（秒）应用服务器CPU负载数据库CPU负载场景二10513分8秒145.439428.23695%10%在这一轮测试中，105个客户端同时并发四个用例用时13分8秒，效果不是很理想。通过执行过程中对四个用例的实时监控发现，测试用例1综合处理-数据审核和测试用例3名录库嘉定区50000条数据导出为较为费时的操作。在用例1设置用户15、用例3设置用户10的情况下系统仅能
19、勉强满足需求。故建议对综合处理-数据审核及名录库-查询结果导出两个功能进行进一步优化。第4章 测试结论4.1 功能测试部分错误等级ABCDE总计发现错误数020642490修正错误数020642490未修正错误数000000l 截至至08年8月15日的记录；l 错误信息详见项目组内部缺陷管理工具BugFree的记录；l 错误等级由A至E，严重程度依次降低，说明如下：等级说明A使测试案例无法继续，流程阻塞，功能错误，数据通讯错误等。B较大的BUG，如程序结果不正确，程序接口错误，业务规则未完全正确实现、未加数据完整性等约束条件等。C较小的BUG，如操作界面错误（包括数据窗口内列名定义、含义是否一
20、致），简单的输入限制未控制等。D文字错误，如辅助说明描述不清楚，提示错误，文字错误，提示窗口文字未采用行业术语等。E测试建议，或者可能是新需求。4.2 性能测试部分性能测试通过多轮反复测试和系统调优，从最终的测试结果来看，在大并发量的情况下，测试用例的执行速度仍在用户可以承受的范围内，小并发量时用户的操作时滞几乎没有，大并发量时操作所耗时间也完全可以接受。测试过程中，应用服务器和数据库服务器的各种资源利用率充分，基本未发生超载现象。一般用例测试的结果应用服务器的利用都在70%以下，个别负载90%以上的情况都是由于大量静态文件访问所致，可以通过web转发服务器来减小应用服务器的CPU压力；数据库服务器在读操作时CPU几乎没有压力，写操作时也在50%以下。可以看出，如果系统负载进一步增加，应用服务器层有可能首先成为性能瓶颈。在这种情况下，可以采用应用服务器层横向扩展的方式，再增加多台应用服务器来实现负载均衡，从而满足系统整体性能要求。设置500个模拟用户同时进行自定义查询50000条户籍信息，测试通过。此场景中测试结果较为理想
