《白盒测试用例设计ppt课件.ppt》由会员分享,可在线阅读,更多相关《白盒测试用例设计ppt课件.ppt(73页珍藏版)》请在三一办公上搜索。
1、课程名称:白盒测试用例设计,主讲教师:王红亮,章节内容,为什么要进行白盒测试? 如果所有软件错误的根源都可以追溯到某个唯一原因,那么问题就简单了。然而,事实上一个bug 常常是由多个因素共同导致的,如下图所示。,白盒测试方法,假设此时开发工作已结束,程序送交到测试组,没有人知道代码中有一个潜在的被 0 除的错误。若测试组采用的测试用例的执行路径没有同时经过x=0和y=5/x进行测试,显然测试工作似乎非常完善,测试用例覆盖了所有执行语句,也没有被 0 除的错误发生。,白盒测试也称结构测试或逻辑驱动测试,是针对被测单元内部是如何进行工作的测试。它根据程序的控制结构设计测试用例,主要用于软件或程序验
2、证。,白盒测试方法,白盒测试法检查程序内部逻辑结构,对所有逻辑路径进行测试,是一种穷举路径的测试方法。但即使每条路径都测试过了,仍然可能存在错误。因为:穷举路径测试无法检查出程序本身是否违反了设计规范,即程序是否是一个错误的程序。穷举路径测试不可能查出程序因为遗漏路径而出错。穷举路径测试发现不了一些与数据相关的错误。,白盒测试方法,采用白盒测试方法必须遵循以下几条原则,才能达到测试的目的:保证一个模块中的所有独立路径至少被测试一次。所有逻辑值均需测试真 (true) 和假 (false) 两种情况。检查程序的内部数据结构,保证其结构的有效性。在上下边界及可操作范围内运行所有循环。,白盒测试方法
3、,白盒测试主要是检查程序的内部结构、逻辑、循环和路径。常用测试用例设计方法有:逻辑覆盖法(逻辑驱动测试)基本路径测试方法,白盒测试方法,由于测试路径可能非常多,由于时间和资源问题,选出足够多的路径测试由于深入到程序编码,通常开发人员协助测试人员书写白盒测试用例,白盒测试用例注意事项,在进行白盒测试之前,一定要根据说明书建立黑盒测试用例。用这种方式可以真正测试模块的用意。如果先从模块的白盒子角度建立测试用例,就会受到代码和注释的影响,而忽略模块的真正意图。白盒测试的局限,白盒测试用例注意事项,覆盖测试,测试覆盖率逻辑覆盖法测试覆盖准则,测试覆盖率:用于确定测试所执行到的覆盖项的百分比。其中的覆盖
4、项是指作为测试基础的一个入口或属性,比如语句、分支、条件等。测试覆盖率可以表示出测试的充分性,在测试分析报告中可以作为量化指标的依据,测试覆盖率越高效果越好。但覆盖率不是目标,只是一种手段。,测试覆盖率,测试覆盖率包括功能点覆盖率和结构覆盖率:功能点覆盖率大致用于表示软件已经实现的功能与软件需要实现的功能之间的比例关系。结构覆盖率包括语句覆盖率、分支覆盖率、循环覆盖率、路径覆盖率等等。,测试覆盖率,根据覆盖目标的不同,逻辑覆盖又可分为语句覆盖、判定覆盖、条件覆盖、判定/条件覆盖、组合覆盖和路径覆盖。语句覆盖:选择足够多的测试用例,使得程序中的每个可执行语句至少执行一次。判定覆盖:通过执行足够的
5、测试用例,使得程序中的每个判定至少都获得一次“真”值和“假”值, 也就是使程序中的每个取“真”分支和取“假”分支至少均经历一次,也称为“分支覆盖”。条件覆盖:设计足够多的测试用例,使得程序中每个判定包含的每个条件的可能取值(真/假)都至少满足一次。,逻辑覆盖法,判定/条件覆盖:设计足够多的测试用例,使得程序中每个判定包含的每个条件的所有情况(真/假)至少出现一次,并且每个判定本身的判定结果(真/假)也至少出现一次。 满足判定/条件覆盖的测试用例一定同时满足判定覆盖和条件覆盖。组合覆盖:通过执行足够的测试用例,使得程序中每个判定的所有可能的条件取值组合都至少出现一次。 满足组合覆盖的测试用例一定
6、满足判定覆盖、条件覆盖和判定/条件覆盖。路径覆盖:设计足够多的测试用例,要求覆盖程序中所有可能的路径。,逻辑覆盖法,逻辑覆盖法,Console.WriteLine(Hello World!);if (System.DateTime.Today.Day = 1 语句覆盖是否完善?,简单的例子,void DoWork (int x,int y,int z) int k=0,j=0; if ( (x3) /语句块3,另一个例子,下面画出流程图。,逻辑覆盖法,要实现DoWork函数的语句覆盖,只需设计一个测试用例就可以覆盖程序中的所有可执行语句。测试用例输入为: x=4、y=5、z=5 程序执行的路径
7、是:abd 这样就够了吗?,语句覆盖,测试用例输入为: x=4、y=5、z=5 程序执行的路径是:abd分析: 语句覆盖可以保证程序中的每个语句都得到执行,但发现不了判定中逻辑运算的错误,即它并不是一种充分的检验方法。例如在第一个判定(x3)&(z10)中把“&”错误的写成了“|”,这时仍使用该测试用例,则程序仍会按照流程图上的路径abd执行。可以说语句覆盖是最弱的逻辑覆盖准则。,语句覆盖,要实现DoWork函数的判定覆盖,需要设计两个测试用例。测试用例的输入为:x=4、y=5、z=5;x=2、y=5、z=5程序执行的路径分别是:abd;ace这样就够了吗,判定覆盖,测试用例的输入为:x=4、
8、y=5、z=5;x=2、y=5、z=5程序执行的路径分别是:abd;ace分析: 上述两个测试用例不仅满足了判定覆盖,同时还做到语句覆盖。从这点看似乎判定覆盖比语句覆盖更强一些,但仍然无法确定判定内部条件的错误。例如把第二个判定中的条件y5错误写为y5,使用上述测试用例,照样能按原路径执行而不影响结果。因此,需要有更强的逻辑覆盖准则去检验判定内的条件。,判定覆盖,判定覆盖,说明:以上仅考虑了两出口的判断,我们还应把判定覆盖准则扩充到多出口判断(如Case语句)的情况。因此,判定覆盖更为广泛的含义应该是使得每一个判定获得每一种可能的结果至少一次。,在实际程序代码中,一个判定中通常都包含若干条件。
9、 条件覆盖的目的是设计若干测试用例,在执行被测程序后,要使每个判定中每个条件的可能值至少满足一次。对DoWork函数的各个判定的各种条件取值加以标记。对于第一个判定( (x3)&(z3 取真值记为T1,取假值记为-T1 条件z5) ): 条件x=4 取真值记为T3,取假值记为-T3 条件y5 取真值记为T4,取假值记为-T4,条件覆盖,根据条件覆盖的基本思想,要使上述4个条件可能产生的8种情况至少满足一次,设计测试用例如下:,条件覆盖,分析:上面这组测试用例不但覆盖了4个条件的全部8种情况,而且将两个判定的4个分支b、c、d、e也同时覆盖了,即同时达到了条件覆盖和判定覆盖。,条件覆盖是否能包括
10、判定覆盖?,条件覆盖,说明:虽然前面的一组测试用例同时达到了条件覆盖和判定覆盖,但是,并不是说满足条件覆盖就一定能满足判定覆盖。如果设计了下表中的这组测试用例,则虽然满足了条件覆盖,但只是覆盖了程序中第一个判定的取假分支c 和第二个判定的取真分支d,不满足判定覆盖的要求。,条件覆盖,判定/条件覆盖实际上是将判定覆盖和条件覆盖结合起来的一种方法,即:设计足够的测试用例,使得判定中每个条件的所有可能取值至少满足一次,同时每个判定的可能结果也至少出现一次。根据判定/条件覆盖的基本思想,只需设计以下两个测试用例便可以覆盖4个条件的8种取值以及4个判定分支。,判定/条件覆盖,是不是这样就够了?,判定/条
11、件覆盖,分析:从表面上看,判定/条件覆盖测试了各个判定中的所有条件的取值,但实际上,编译器在检查含有多个条件的逻辑表达式时,某些情况下的某些条件将会被其它条件所掩盖。因此,判定/条件覆盖也不一定能够完全检查出逻辑表达式中的错误。 例如:对于第一个判定(x3)&(z3和z3为假,则编译器将不再检查z5)来说,若条件x=4满足,就认为该判定为真,这时将不会再检查y5,那么同样也无法发现这个条件中的错误。,判定/条件覆盖,组合覆盖的目的是要使设计的测试用例能覆盖每一个判定的所有可能的条件取值组合。对DoWork函数中的各个判定的条件取值组合加以标记: 1、x3, z3, z=10 记做T1 -T2,
12、 第一个判定的取假分支 3、x=10 记做-T1 -T2,第一个判定的取假分支 5、x=4, y5 记做T3 T4, 第二个判定的取真分支 6、x=4, y5 记做-T3 T4, 第二个判定的取真分支 8、x!=4, y=5 记做-T3 -T4,第二个判定的取假分支,组合覆盖,根据组合覆盖的基本思想,设计测试用例如下:,组合覆盖,这样就够了吗?,根据组合覆盖的基本思想,设计测试用例如下:,组合覆盖,分析:上面这组测试用例覆盖了所有8种条件取值的组合,覆盖了所有判定的真假分支,但是却丢失了一条路径abe。,前面提到的5种逻辑覆盖都未涉及到路径的覆盖。事实上,只有当程序中的每一条路径都受到了检验,
13、才能使程序受到全面检验。路径覆盖的目的就是要使设计的测试用例能覆盖被测程序中所有可能的路径。根据路径覆盖的基本思想,在满足组合覆盖的测试用例中修改其中一个测试用例,则可以实现路径覆盖:,路径覆盖,分析:虽然前面一组测试用例满足了路径覆盖,但并没有覆盖程序中所有的条件组合(丢失了组合3和7),即满足路径覆盖的测试用例并不一定满足组合覆盖。说明:对于比较简单的小程序,实现路径覆盖是可能做到的。但如果程序中出现较多判断和较多循环,可能的路径数目将会急剧增长,要在测试中覆盖所有的路径是无法实现的。为了解决这个难题,只有把覆盖路径数量压缩到一定的限度内,如程序中的循环体只执行一次。在实际测试中,即使对于
14、路径数很有限的程序已经做到路径覆盖,仍然不能保证被测试程序的正确性,还需要采用其他测试方法进行补充。,路径覆盖,小结,为以下流程图所示的程序段设计一组测试用例,要求分别满足语句覆盖、判定覆盖、条件覆盖、判定/条件覆盖、组合覆盖和路径覆盖。,实践,逻辑覆盖的出发点是合理的、完善的。所谓“覆盖”,就是想要做到全面而无遗漏,但逻辑覆盖并不能真正做到无遗漏。例如:我们不小心将前面提到的程序段中的 if (x3 & Z=3 & Z10) 按照我们前面设计的测试用例(x的值取2或4)来看,逻辑覆盖对这样的小问题都无能为力。分析出现这一情况的原因在于:错误区域仅仅在x=3这个点上,即仅当x的值取3时,测试才
15、能发现错误。面对这类情况,我们应该从中吸取的教训是测试工作要有重点,要多针对容易发生问题的地方设计测试用例。,测试覆盖准则,ESTCA覆盖准则:在容易发生问题的地方设计测试用例,即重视程序中谓词(条件判断)的取值。ESTCA覆盖准则是一套错误敏感用例分析规则。这一规则虽然并不完备,但在普通程序中却是有效的。原因在于这是一种经验型的覆盖准则,规则本身针对了程序编写人员容易发生的错误,或是围绕着发生错误的频繁区域,从而提高了发现错误的命中率。具体规则如下: 规则1 对于A rel B型 (rel可以是) 的分支谓词,应适当的选择A与B的值,使得测试执行到该分支语句时,AB的情况分别出现一次。 这是
16、为了检测逻辑符号写错的情况,如将“AB”。,测试覆盖准则,规则2 对于A rel C型 (rel可以是或时,应适当的选择A的值,使A=C+M。 这是为了检测“差1”之类的错误,如“A1”错写成“A0”。规则3 对外部输入变量赋值,使其在每一个测试用例中均有不同的值与符号,并与同一组测试用例中其他变量的值与符号不同。 这是为了检测程序语句中的错误,如应该引用某一变量而错成引用另一个常量。,测试覆盖准则,基本路径测试,Goal: exercise each independent path at least once.,Using the code, draw a corresponding fl
17、ow graph (First drawing the activity diagram for the code may help, but is not required)Determine the cyclomatic complexity of the flow graph.Determine a basis set of linearly independent paths.Prepare test cases that force the execution of each path in the basis set.,Example,Procedure: process reco
18、rds1.Do While records remain2.Read record;3.If record field 1 = 0 Then4.store in buffer;5.increment counter;6.Else If record field 2 = 0 Then7.reset counter;8.Else store in file;9.End If10.End If11.End DoEnd,Example,1,9,10,11,2,4,5,7,8,3,6,V(G) = 4,基本路径测试:流程图,1,2,3,4,5,10,11,流程图复杂度确定,V(G) =number of
19、 regions (areas bounded by nodes and edgesarea outside the graph is also a region) V(G) = number of edges - the number of nodes + 2 V(G) = number of (simple) predicate nodes + 1,Cyclomatic complexity: a quantitative measure of the logical complexity of code, provides an upper bound on the number of
20、paths that need to be tested in the code,流程图复杂度例子,V(G)=4,Region 4,确定线性独立的路径集合,Independent path any path that introduces at least one new set of processing statements or a new condition Basis set set of independent paths through the code Test cases derived from a basis set are guaranteed to execute e
21、very statement at least one time during testing Basis set is not unique,Path1: 1-2-3-6-7-9-10-1-11,Basis path test example,Path2: 1-2-3-6-8-9-10-1-11,Path3: 1-2-3-4-5-10-1-11,Path4: 1-11,测试用例覆盖集合中每条路径,Basis path testing does not test all possible combinations of all paths through the code; it just t
22、ests every path at least once.,you do not need an activity diagram, but the picture will help when you trace component paths count each logical testcompound tests count as the number of Boolean operators + 1 (i.e., count each simple predicate) basis path testing should be applied to all components,
23、if possible, and to critical components always,实践 路径覆盖,基本路径测试方法,void Sort ( int iRecordNum, int iType )1 2 int x=0;3 int y=0;4 while ( iRecordNum- 0 )5 6 If ( iType=0 )7x=y+2;8 else9 If ( iType=1 )10 x=y+10;11 else12 x=y+20;13 14 ,基本路径测试方法(续),画出控制流图: 如右图所示计算环形复杂度: 10(条边)- 8(个节点)+ 2 = 4导出独立路径(用语句编号表示
24、) 路径1:414 路径2:46714 路径3:4691013414 路径4:4691213414,基本路径测试方法(续),设计测试用例:,使用基本路径测试方法,为以下程序段设计测试用例。 void Do (int X,int A,int B) 1 if ( (A1) 5 ,实践,从本质上说,循环测试的目的就是检查循环结构的有效性。通常,循环可以划分为简单循环、嵌套循环、串接循环和 非结构循环4类。(1)测试简单循环。设其循环的最大次数为n ,可采用以下测试集:跳过整个循环;只循环一次;只循环两次;循环 m 次,其中mn;分别循环 n-1、n 和 n+1 次。,循环测试方法,(2)测试嵌套循环
25、。如果将简单循环的测试方法用于嵌套循环,可能的测试次数会随嵌套层数成几何级数增加。 此时可采用以下办法减少测试次数:测试从最内层循环开始,所有外层循环次数设置为最小值;对最内层循环按照简单循环的测试方法进行;由内向外进行下一个循环的测试,本层循环的所有外层循环仍取最小值,而由本层循环嵌套的循环取某些“典型”值;重复上一步的过程,直到测试完所有循环。,循环测试方法,(3)测试串接循环。若串接的各个循环相互独立,则可分别采用简单循环的测试方法;否则采用嵌套循环的测试方法。(4)对于非结构循环这种情况,无法进行测试,需要按结构化程序设计的思想将程序结构化后,再进行测试。,循环测试方法,Z路径覆盖是路
26、径覆盖的一种变体,它是将程序中的循环结构简化为选择结构的一种路径覆盖。循环简化的目的是限制循环的次数,无论循环的形式和循环体实际执行的次数,简化后的循环测试只考虑执行循环体一次和零次(不执行)两种情况,即考虑执行时进入循环体一次和跳过循环体这两种情况。,Z路径覆盖下的循环测试方法,Z路径覆盖下的循环测试方法,在循环简化的思路下,循环与判定分支的效果是一样的,即:循环要么执行、要么跳过。,在实践中,除了前面给出的各种方法外,通常还可以采用以下三种方法来补充设计测试用例:(1)通过非路径分析得到测试用例 这种方法得到的测试用例是在应用系统本身的实践中提供的,基本上是测试人员凭工作经验的得到,甚至是
27、猜测得到的。(2)寻找尚未测试过的路径并生成相应的测试用例 这种方法需要穷举被测程序的所有路径,并与前面已测试路径进行对比。(3)通过指定特定路径并生成相应的测试用例,产生测试用例,为实现测试的逻辑覆盖,必须设计足够多的测试用例,并使用这些测试用例执行被测程序,实施测试。我们关心的是:对于某个具体的程序来说,至少需要设计多少个测试用例。这里提供一种估算最少测试用例数的方法。我们知道,结构化程序是由 3 种基本控制结构组成:顺序型(构成串行操作)、选择型(构成分支操作)和重复型(构成循环操作)。为了把问题化简,避免出现测试用例极多的组合爆炸,把构成循环操作的重复型结构用选择结构代替。这样,任一循
28、环便改造成进入循环体或不进入循环体的分支操作了。,最少测试用例数计算,用N-S图表示程序的3种基本控制结构:,最少测试用例数计算,图中A、B、C、D、S均表示要执行的操作,P是可取真假值的谓词,Y表真值,N表假值。 图中的 (c) 和 (d) 两种重复型结构代表了两种循环。在做了简化循环的假设以后,对于一般的程序控制流,我们只考虑选择型结构。事实上它已经能体现顺序型和重复型结构了。,最少测试用例数计算,显然,要测试这个小程序,需要至少提供4个测试用例才能作到逻辑覆盖,使得ac、ad、bc及bd操作均得到检验。其实,这里的4是图中的第1个分支谓词引出的两个操作,及第2个分支谓词引出的两个操作组合
29、起来而得到的,即 22=4。并且,这里的2是由于两个并列的操作,即1+1=2 而得到的。,例如,下图表达了两个顺序执行的分支结构。当两个分支谓词P1和P2取不同值时,将分别执行a或b及c或d操作。,最少测试用例数计算,对于一般的、更为复杂的问题,估算最少测试用例个数的原则也是同样的:如果在N-S图中存在有并列的层次A1、A2,A1和A2的最少测试用例个数分别为a1、a2,则由 A1、A2 两层所组合的 N-S图对应的最少测试用例数为a1a2。如果在N-S图中不存在有并列的层次,则对应的最少测试用例数由并列的操作数决定,即N-S图中除谓词之外的操作框的个数。,最少测试用例数计算,例:如下图所示的
30、两个N-S图,至少需要多少个测试用例完成逻辑覆盖?,对于第一个N-S图:由于图中并不存在并列的层次,最少测试用例数由并列的操作数决定,即为1+1+1=3。 对于第二个N-S图:由于图中没有包含并列的层次,最少测试用例数仍由并列的操作数决定,即为1+1+1+1+1=5。,最少测试用例数计算,例:如下图所示的N-S图,至少需要多少个测试用例完成逻辑覆盖?,分析该N-S图:图中的2345和67是并列的两层。其中,2345层对应的最少测试用例数为1+1+1+1+1=5,67层对应的测试用例数为1+1+1=3,2345和67这两层组合后对应的测试用例数为53=15。最后,由于两层组合后的部分是不满足谓词
31、1时所要做的操作,还要加上满足谓词1要做的操作,因此整个程序所需测试用例数为15+1=16。,Q & A,1、将下图所示的流程图转换为N-S图,并估算至少需要多少个测试用例完成逻辑覆盖?,实践,2、某程序所画出的N-S图如右图所示的,至少需要多少个测试用例才能对该程序实现逻辑覆盖?,实践,数据流测试,设置使用对 Set-Use pair,对于每个变量或类成员,标识出赋值以及被使用的代码行对。这些就是Set-Use pair 。如果在赋值行后,使用行前,该数据又在其他行中被赋值,这两行就不是Set-Use pair。,数据流测试,阶乘程序Main() int i,n,f; printf(“n=”); scanf(“%d”,实践,模拟上例写一个n的m次方的程序,并找出所有pair 与覆盖用例。,谢谢观看,