《软件测试中的度量与分析方法.doc》由会员分享，可在线阅读，更多相关《软件测试中的度量与分析方法.doc（4页珍藏版）》请在三一办公上搜索。
1、软件测试中的度量与分析方法王煜成 ,苟欢欢(电子信息控制重点实验室 ,成都 610036)摘要 :根据软件测试过程中进行的度量与分析研究 ,提出了在软件测试乃至全生命周期中均可采用的度量与分析实施办法 。阐述了确定度量信息分类和度量元的方法 ,并从实际软件项目 中成功应用的测试进度 、工作量分布 、测试时间与测试间隔 、测试用例数和缺陷数等五个度量 元入手阐明了运用度量与分析方法实施过程控制的技术 。实际软件项目测试过程证明 ,该方 法可以对测试过程进行精确掌握与控制 。关键词 :软件测试 ;度量与分析 ;度量元Mea surement and Analysis in Soft ware Te
2、stingWANG Yu2cheng , GOU Huan2huan( Science and Technology on Electronic Information Control Laboratory ,Chengdu 610036 ,China )Abstract :According to the measurement and analysis in software testing , a measurement and analysisimplementation method is proposed which could be adopted in software tes
3、ting , even the whole life cy2 cle of the software . In addition , it is also stated how to determine the information classification and metrics , and the implementation of process control with the method is discussed from the software - test schedule , workload distribution , the test time and the
4、test time interval between the different test2 ing stages , the number of test cases and the bugs. It is proved that the method could accurately grasp the testing process and control in the practical software testing process.Key words :software testing ; measurement and analysis ; metrics域 ,贯穿整个软件项目
5、生命周期 ,即在需求分析引言为了提高软件产品质量和软件研发效率 ,软 件项目团队对软件测试质量和过程管理的要求也 越来越高 。软件测试主管应适应 GJB5000A 的要 求 ,探索出适用于软件测试过程管理的度量与分 析方法 ,在软件测试过程中利用客观信息进行管理和决策 ,保证测试任务顺利进行 ,继而帮助整个 软件项目获得成功 。1设计编码和测试等阶段都需要开展度量与分析动 ,目的是为项目管理提供量化的决策支持 。 庞大的软件系统提交测试后 ,如何组织测试团 开展测试活动 ,有效监控测试过程 ,是软件测试 管首要关注的目标 。在软件测试过程中开展的 量与 分 析 活 动 , 可 以 为 测 试
6、主 管 提 供 以 下持1 ,2:1) 测试过程管理 ;2) 风险管理 ;3) 积累经验 ;4) 过程改进 。软件测试过程中度量与分析的目标度量与分析过程做为 GJB5000A 的关键过程2收稿日期 :2012 - 01 - 16 ;修回日期 :2012 - 03 - 01作者简介 :王煜成 (1973 ) ,高级工程师 ;苟欢欢 (1986 ) ,助理工程师 。实践显示 ,通过以上五个度量元 ,可以有效涵盖整个测试过程所需的测试信息 ,并可依据这五 个指标对测试项目进行分析与评价 ,从而矫正过 往 ,促使测试过程不断得到改进 。3. 3 软件测试分析测试主管应明确数据采集 、分析和报告的频
7、率以及数据的来源 ,并指定专人负责各度量元的度量与分析实施方法在软件测试过程中开展度量活动前 ,测试主 管要做以下准备 :1) 明确信息需要并将其映射到信息分类 ;2) 为每类信息选择恰当的度量元 。3 . 1确定信息分类确定度量与分析的信息分类 ,是要使测试主 管的管理达到以下目标3 ,4 :1) 发现 :对项目过程 、资源和产品状态进行理 解和分析 ;2) 评价 :通过对比测试过程的计划与实际进行情况 ,并类比其它同类软件的测试过程来对本 过程的实现情况进行判断 ;3) 控制 :度量与分析工作存在于整个测试过程中 ,及时地调整控制 ,可以使偏离度始终在可控 范围内 ,使整个测试过程稳定 ;
8、4) 预测 :度量与分析的重要数据的历史积累 可供项目过程借鉴分析 ,有助于当前测试过程的计划与决策 ;5) 改进 :改进是度量与分析工作的最终目的 。 根据作者的实践 ,在软件测试过程中开展度量活动时可采集以下四类信息 :1) 进度和进展 ;2) 资源和费用 ;3) 过程性能 ;4) 产品质量 。3 . 2 软件测试度量元的确定明确信息分类后就要为每类 信 息 确 定 度 量 元 ,合理的度量元既可以使测试主管全面掌握测 试工作的进展 ,又可以为随后的分析 、控制 、改进 提供准确的依据 。根据作者的实践 ,为信息分类确定如下度量36 ,7度量分析工作 ,分析时需注意以下方面:1) 分析的结
9、果应尽量直观 。分析时需将采集 到的数据可视化 ,既可以用文本 ,也可以用表格和 图形的方式展现出来 。必须结合度量元给出合理 结论 ,指出执行过程中的奇异值并给出分析结果 ,向测试主管或项目负责人提出预警 ;2) 客观地看待度量结果 。测试主管不应被看 似优异或糟糕的数据蒙蔽 ,而应细致分析数据背 后的真实情况 ,这样才能正确评价测试过程 ,并有针对性地采取缓解措施 。 通过恰当的度量与分析手段 ,可以使测试主管和项目负责人获取该项目的当前状态 ,继而采取有效措施进行过程改进 ,保证测试质量 。下面 就以作者在实际项目中的实践来说明该度量与分析方法的应用 。度量与分析的应用44 . 1 测试
10、进度软件测试工作受到项目研制计划和测试计划 的约束 ,测试人员也可能处于被多个项目或多个软件同时争夺的处境 ,图 1 展示了某工程各配置项测试的进度度量图 。其中纵轴为配置项及其测试人 员 ,横轴为时间 (单位 : 工作日) ,浅灰为首轮测试 , 灰为第一次回归测试 ,深灰为第三次回归测试 。元5:1) 测试进度 。用于度量软件测试的进度和进展情况 ;2) 工作量分布 。用于度量软件测试过程中的 人力资源负荷情况 ;3) 测试时间与测试间隔 。用于度量软件测试 过程中的过程有效性 ;4) 测试用例数 。用于度量软件测试过程中的 过程效率 ;5) 缺陷数 。用于度量产品质量 。图 1 测试进度图
11、各软件测试任务使其进展符合预期的同时 ,在恰当的时机精确地释放人力资源 。4 . 2 工作量分布在软件项目的测试过程中 ,测试人员同时测试 多个软件的情况非常普遍 ,测试主管在人员投入方面需要在集约化和均衡性方面取得平衡 ,回避工作量过满或过松带来的风险 。图 2 展示了某工程各 测试阶段各测试人员所完成工作量的类比 。图 3 各配置项首轮测试与第一次回归测试时间之比图4 . 3 . 2 测试时间间隔相邻两次测试之间的时间间隔反映软件研 和测试工作的紧凑程度 ,通常的时间间隔不应过 15 个工作日 。图 4 是某工程各个配置项第次回归测试距首轮测试时间间隔 t 散点图 ,第 次回归测试距第一次
12、回归测试时间间隔散点图 同 ,图略 。图 2 各阶段测试各个测试人员所完成工作量类比图测试主管可以通过该度量结果 ,结合各配置项测试进展情况 ,分析当前人力投入是否合理 ,测 试团队内的人力资源是否得到充分的利用 ,及时调整人员负荷 ,并将回归测试 2 次后仍未归零的软件情况汇总 ,向软件项目负责人及时预警 。4 . 3 测试时间比与测试时间间隔4 . 3 . 1 测试时间比在软件测试过程中 ,首轮测试及各次回归测 试所用时间应该是逐次递减的 ,但在实际的软件测试工作中却不尽然 。图 3 展示了某工程各个配 置项首轮测试与第一次回归测试时间之比 ,度 量结果显示有 5 个配置项的第一次回归测试
13、时间 大于等于首轮测试时间 ,测试主管根据该度量数据进行分析产生预期外结果的 2 个原因 :原因一 : 由于 软 件 新 研 率 高 , 技 术 状 态 不 稳 定 ,代码变动较大 ,使得在回归测试中的开销不能 明显低于首轮测试 ;原因二 :受制于测试环境 ,特别是软件支撑环 境和数据环境 ,在没有足够支撑的情况下 ,本应在首轮测试中完成的工作转移至回归测试中 。测试主管根据分析的结果 ,一方面向软件负 责人预警 ,一方面采取措施完善测试环境和测试数据 ,避免后续测试阶段重复同样问题 。图 4 各配置项第一次回归测试距首轮测试时间间隔散点图透过测试时间间隔度量结果 ,测试主管应超出正常时间间隔
14、值的配置项情况及其测试情 进行分析 ,原因若是程序员无法提交回归测试 ,反映出配置项状态的不确定性加剧 ,应向软件 责人提示研制风险 ,若是测试人员不能开展回 测试 ,应及时安排人员 、技术 、环境等解决方案 , 避风险 。4. 4 测试效率测试效率是测试主管非常关注的 ,但是如 度量测试效率 ? 作者在某工程软件测试过程中 行了两个维度的测试效率度量 ,图 5 是各个测人员测试效率散点图 ,各个配置项测试效率散 图类同 ,图略 。两种方式均采用公式 : 测试效率= 测试用例总数/ 工作量 ,计算测试效率 。 通过度量结果 ,测试主管应该对测试效率低和过高的人员或配置项进行实事求是的分析测试效
15、率过高可能会掩盖测试质量不高的问题测试效率过低则有测试耗时过长或测试用例设不充分的问题 ,在下一阶段的测试中应有针对性地纠正 。图 7 各配置项缺陷产生率散点图图 5 各测试人员测试效率散点图测试主管不能根据缺陷产生率度量结果简单地判定度量结果值偏低的配置项测试人员发现缺 陷的能力偏低 , 事实上 , 配置项因其业务类别不同 ,在实现方式 、呈现方式上各有不同 ,在测试的难度方面也有区别 ,不能简单地以发现缺陷的数 量判定测试的质量 。对缺陷产生率偏高的配置项同样要以客观的态度分析其背后是否有赶进度导 致测试实际并不充分的情况存在 。4 . 5 缺陷软件测试各阶段发现的缺陷是测试工作最直 接的
16、输出 , 也是项目负责人最急于掌握的 。图 6是某工程各个配置项的缺陷类型对比图 ,各个配 置项缺陷的影响等级对比图类同 ,图略 。结束语本文从作者的软件测试主管实践出发 ,对软 件测试过程的度量与分析方法进行了探索与研 究 ,并运用在实际的软件项目测试工作中 。软件 测试的从业人员可以根据各自项目的特点 ,拓展 更多的测试过程信息类别及其度量元 。文中涉及 的度量与分析方法并不仅限于指导软件测试 ,对 于软件生命周期各个阶段的度量与分析活动均有 可借鉴之处 。从软件测试出发 ,拓展全生命周期 的度量与分析活动才是本文的意义所在 。参考文献 :5图 6 各配置项的缺陷类型对比图以上缺陷度量结果
17、可供软件项目负责人与软件测试主管分享 ,但两者根据该结果进行的分析 是有差别的 :1) 软件项目负责人更关注产生较多缺陷的配 置项以及产生较多重要和关键缺陷的配置项 ,便 于调取相关缺陷报告表进行进一步的分析和采取 整改措施 ;2) 软件测试主管需要分析各种缺陷类型和影 响等级在各配置项中的分布 ,重点关注缺陷类型或影响等级较为单调的配置项测试结果 ,调取相关缺陷报告表 ,结合配置项的测试人员工作经验 等因素进行进一步的分析 ,必要时对缺陷类型或 影响等级进行重新判定 。软件测试主管还可以通过缺陷产生率对软件 缺陷进行度量 。作者在某工程测试过程中采用公式 :缺陷产生率 = 缺陷个数/ 工作量
18、 , 计算缺陷 产生率 ,图 7 是各个配置项缺陷产生率散点图 。测试主管透过该项度量结果分析发现 : 缺陷 产生率偏低的 3 个配置项关键缺陷的产生率却占 整个关键缺陷的 78 % ,重要缺陷占 25 % 。MCGARRY J , CARD D , JONES C , et al . 实用软件度量 M . 吴超英 , 廖彬山 , 译 . 北京 : 机械工业出版 社 , 2003.1朱少民. 全程软件测试 M .社 , 2007.北京 : 电子工业出版2叶仁召 ,郑玉墙 ,鲁汉榕. 面向对象软件测试及度量的研究J . 计算机工程与设计 ,2001 ,22(4) :21 - 24.付剑平 , 陆民燕 . 软件测试性度量框架研究 J . 软 件技术与数据库 , 2009 , 35 (14) :60 - 62.万邦睿 ,丁晓明. 基于 CMMI 的软件测试过程度量研究J . 计算机工程与设计 ,2007 ,28(11) :2530 - 2546.ROGER S P. 软件工程实践者的研究方法 M . 郑人 杰 , 译 . 北京 : 机械工业出版社 , 2007.STEPHEN H K. 软 件 质 量 工 程 的 度 量 与 模 型 M .王振宇 , 译 . 北京 : 机械工业出版社 ,2003.34567
