[信息与通信]非参数检验.ppt

《[信息与通信]非参数检验.ppt》由会员分享，可在线阅读，更多相关《[信息与通信]非参数检验.ppt（67页珍藏版）》请在三一办公上搜索。

1、第4章续,非参数检验Nonparametric Test,第一节 非参数检验的意义,t-检验、方差分析、及卡方检验中的适合性检验等，都要求所检验的总体服从某一个分布，如正态分布。如果所得到的样本并不来自于正态总体，或我们不知道总体的分布情况，单只要样本足够大，根据中心极限定理，我们仍可认为样本平均数近似服从正态分布。但如果此时样本量较小，总体的分布情况又未知，我们就可以考虑使用非参数检验法。,t-检验、方差分析、适合性检验，及后面要讨论的相关、回归的显著性检验，都需要利用总体分布的信息，因此这些检验都称为参数检验。而非参数检验由于不涉及总体参数，也不依赖于总体分布的形式，因此它与总体分布状况无

2、关，因此非参数检验又称为无分布检验（distribution-free test）。非参数检验是利用样本数据之间的大小比较以及大小顺序，对 2 个或多个样本所属总体是否相同进行检验。,非参数检验常用在以下情况：样本所在总体的分布状况未知，或知之甚少无法肯定总体分布的性质样本观测值明显偏离正态分布，因而不具备参数检验的应用条件非参数检验具有以下优点：计算简便、直观、易于掌握、检验速度快但当我们所得资料符合参数检验的条件时，非参数检验的效率始终低于参数检验法,这是因为：非参数检验法没有充分利用已知的总体分布信息也没有充分利用样本提供的信息因而非参数检验的功效较低，犯型错误的可能性较大非参数检验的方

3、法有很多，几乎每一种参数检验方法都有相应的非参数检验法,第二节 符号检验法（sign test）,符号检验法用来检验配对资料的差异是否显著这种检验方法只考虑每对数据差的正、负号，而不考虑差的绝对值的大小。符号检验法的原理和基本思路是：假定两个样本所属总体服从相同的分布（无效假设），那么这种正、负号出现的频率应该是相等的，至少相差不大，当其相差超过一定的临界值，就可以认为这两个样本所属总体有显著差异，而不服从相同的分布,例：用A、B两种方法同时检测患阴性乳房炎的奶牛所产牛奶中的体细胞数，得如下成对数据，试问A、B这两种方法的检测结果有无差异？奶样序号 1 2 3 4 5 6 7 8 9 10A

4、法 5.52 5.15 4.38 5.41 5.93 4.82 5.32 4.67 4.57 4.51B 法 5.63 5.30 4.72 5.16 6.24 5.26 5.54 4.21 4.61 4.86符号+-+-+奶样序号 11 12 13 14 15 16 17 18 19 20A 法 4.63 5.42 5.17 4.82 4.35 4.67 4.73 5.15 4.87 4.95B 法 4.84 4.93 5.17 4.92 4.65 5.28 5.10 4.72 5.03 5.41符号+-0+-+,20 个样本的差均为 B 法减去 A 法即：A 法的测定结果小于 B 法时，我们

5、记“+”号A 法的测定结果大于 B 法时，我们记“-”号当 A、B 两法的测定结果相等时，记“0”“+”的个数用 n+表示“-”的个数用 n-表示“0”的个数用 n0 表示本例中，n+=4，n-=15，n0=1,设 H0：A、B 两种方法的测定结果相同 H1：A、B两种方法的测定结果不相同r=min(n+,n-)=min(4,15)=4N=n+n-=4+15=19本例共有 20 个样本，有一对对子的差为 0，没有提供有效信息，有 19 对样本为有效对子数。如果无效假设成立，r 应等于或接近N/2，否则就会偏离N/2。查符号检验表，给出了判断 r值在显著水平为 0.05和 0.01时是否偏离 N

6、/2 时的临界值,将查得的临界值 r0.05(n)和 r0.01(n)与所得 r 值与之比较：若 r r0.05(n)，即 P0.05，表示两试验结果差异不显著。若 r0.01(n)rr0.05(n)，即 P0.05，表示两试验结果差异显著。若 rr0.01(n)，即 P0.01，表示两试验结果差异极显著。本例结果：r=4 r0.05(19)，即 P=0.05表明两试验方法的测定结果差异显著,符号检验法的最大优点是：简单、直观、不需要知道检验对象的分布规律。由于符号检验法所利用的信息量少，因此效率低，精确性也差。当样本的配对数少于 6 对时符号检验法无法检出差异。当样本的对子数处于 712 对

7、时，检验效果也不佳。只有当样本的对子数大于 20 对或以上时检验效果才比较好，但其效率仅为配对资料 t-test 的 65%。,本例如果我们用配对数据的 t-test 进行检验，则，差异不显著两者结果相反，其原因是，符号检验法没有考虑差值的大小，仅考虑正负号的多少，从这里我们也可以看出符号检验法是远不如普通 t-test 精确的,第二节 符号秩和检验（sign rank sum test）,符号秩和检验法，又称为Wilcoxon法，又称为配对比较的秩和检验法。符号秩和检验法是对符号检验法的改进，由于符号秩和检验法考虑了差值的大小，因此克服了符号检验法精确性太差、检验效率低的缺陷。符号秩和检验法

8、的检验步骤如下：求出每对数据的差值；确定秩次：将差值按绝对值的大小顺序从大到小排列，并标明序号，加上原有的正、负号；求秩和，取秩和绝对值小者，并进行统计推断。,例：用上一节的例子奶样序号 1 2 3 4 5 6 7 8 9 10A 法 5.52 5.15 4.38 5.41 5.93 4.82 5.32 4.67 4.57 4.51B 法 5.63 5.30 4.72 5.16 6.24 5.26 5.54 4.21 4.61 4.86差值 0.11 0.15 0.34-0.25 0.31 0.44 0.22-0.46 0.04 0.35秩次 4 5 12-9 11 16 8-17.5 2 1

9、3奶样序号 11 12 13 14 15 16 17 18 19 20A 法 4.63 5.42 5.17 4.82 4.35 4.67 4.73 5.15 4.87 4.95B 法 4.84 4.93 5.17 4.92 4.65 5.28 5.10 4.72 5.03 5.41差值 0.21-0.49 0 0.10 0.30 0.61 0.37-0.43 0.16 0.46 秩次 7-19 1 3 10 20 14-15 6 17.5,首先求每对数据的差值，并标上符号；接着按差值绝对值的大小确定各差值的秩次，本例中最小的差值为 0，标以 1，次小的差值为0.04，标以 2，余类推。其中，有

10、两个差值的绝对值是相同的，均为 4.6，其秩次分别为 17、18，则其平均秩次为 17.5，标以各自的符号然后求秩和，将正负秩次分别相加，用 T+表示正秩次之和，T-表示负秩次之和由于第 13 个差值为 0，其秩次为 1，它既不算正，也不算负，因此正负秩次各加 0.5,本例中，T+=149，T-=61T（n）=min（T+，T-）=min（149，61）=61H0：两种测定方法所得结果相同 H1：两种测定方法所得结果不同查符号秩和检验表，得 n=20 时的T（20）0.05=52本例的 T（20）=61 T（20）0.05=52表示这两种检验方法差异不显著（P0.05）,当 n 趋向于无穷大时

11、，T 值的抽样分布趋向于正态分布，因此 n 足够大时（n20），可以用 u-test 进行正态检验当样本量很大时（n25），附表10 已没有相应的临界值，因此只能使用 z-test 法完成检验。符号秩和检验法的效率高于符号检验法，但仍低于 t-test 法，其效率大约为 t-test 法的 96%,第三节 两组非配对资料的秩和检验,两组非配对资料的秩和检验法又称为 Mann-Whitney秩和检验该检验方法的基本步骤为：设立假设；确定秩次：将两组数据合并，按数值的大小确定每一个数值的秩次；求各组的秩和，将秩和较小的作为 T 值统计推断下面我们用例题来说明这一检验方法,例：研究某中草药提取物对提

12、高家畜免疫力的影响，将小鼠分为两组，试验组 7只小鼠，灌服该提取物 1.0mL，对照组 6 只小鼠，灌服该提取物 0.0mL，试验结束后测定小鼠体内某生化物质，得如下数据，试作分析对照组：49.8 54.6 43.8 58.4 50.7 57.6 秩次 2 5 1 9 3 8试验组 56.7 53.5 65.1 68.7 60.3 59.1 56.9 秩次 6 4 12 13 11 10 7,按两组数据的大小排列编定秩次，写在相应的数据下面设 H0：两组小鼠免疫力相同 H1：两组小鼠的免疫力不同求秩和：试验组秩和为 63，对照组秩和为 28，取小：T=28查成组资料秩和检验表，得n1=6、n2

13、=7 时、T 值 0.05 和 0.01 的临界值分别为T1=27、T2=24当 TT1 时，表示差异不显著当T1T T2 时，表示差异显著当 TT2 时，表示差异极显著,本例中，即两组差异不显著，该中草药提取物不能有效提高免疫力附：用成组数据的 t-test 进行检验，我们可以发现：,当 n1、n2 均大于 10 时，秩和 T 近似服从状态分布，因此可以用 u-test 进行近似检验，检验公式为：本例如用该公式计算，得 u=2，也不显著这提示我们：成组资料的秩和检验法其效率也是不如 t-test 的,第四节 多个样本资料的秩和检验,多组资料的秩和检验法，又称为 Kruskal-Wallis

14、检验法，又称为 H-检验法。检验的步骤是：设立假设；编秩次：将各组数据合并，按数值大小由小至大排列，编定顺序号，相同的数值计算平均秩次；求秩和：分别求每一组的秩和；计算 H 值；统计推断。,H 的计算公式为：其中：N 为资料总数，ni 为每一组的样本量，T 为每一组的秩和当计算 H 时出现的平均秩次较多时，应对 H 进行校正。校正公式为：C 为校正系数：,应用这一方法的前提条件是：假定资料各组数据均来自相同的连续型总体然后检验其分布是否符合所假定的总体分布各组数据之间的差异是否显著可以根据样本统计量H 值做出判断资料的组数 k2、且每组容量 5 时，H 值的抽样分布近似 df=k-1 的2分布

15、，因此可以利用2临界值来进行判断当 k=3、且每组样本量 5 时，可以用Kruskal-Wallis 的正确概率表进行比较,例：研究中草药对肉质的影响，设计了三个中草药配方用以试验，试验结束后评定猪肉的大理石花纹，得如下等级，试分析三种中草药配方对猪肉肉质的影响。等 配 方 合 秩次范围 平均秩次 各组秩和级 1 2 3 计 1 2 3 1 2 2 1 至 2 1.5 3 2 1 1 3 5 3 至 7 5 5 5 15 3 3 1 4 8 8 至 15 11.5 34.5 11.5 46 4 1 1 16 16 16 合计 4 4 8 16 39.5 19.5 77,一等猪肉共 2 头，其秩

16、次分别为 1、2，平均秩次为1.5二等猪肉共 5 头，其秩次分别为 3、4、5、6、7，平均秩次为（3+7）/2=5三等猪肉共 8 头，其秩次分别为 8、9、15，平均秩次为（8+15）/2=11.5四等猪肉共 1 头，其秩次为 16，平均秩次即为 16将每种配方每个等级的秩次和列于表的右边最后求每种配方的秩次总和,求 H 值：计算 C 值：求校正 HC 值：,设H0：三种配方的大理石花纹一致 H1：三种配方的大理石花纹不一致查2分布表，得：今得：即三种中草药配方在提高猪肉质方面差异不显著（p0.05）显然，这是由于样本过于小的缘故，本例仅是一个例子，在实际工作和试验中，样本应当不止这么大,第

17、五节 中位数检验,中位数检验主要用于非参数资料的显著性检验当 2 个或 2 个以上的资料不服从正态分布时，我们可以使用这一方法进行检验当资料服从正态分布时，用中位数检验方法进行检验其效率总低于参数检验其检验步骤为：设立假设计算中位数采用独立性卡方检验,例：用两种不同的方式饲养鸡，检测鸡粪样中球虫卵的数量，得如下数据，试检验这两种饲养方式鸡感染球虫的程度是否相同组 别 鸡粪中球虫卵的数目笼养组（A）8 7 5 6 10 9 3平养组（B）11 10 15 14 9 12 17 将数据按从大到小的次序重新排列：A A A A A A B A B B B B B B5 6 7 8 9 9 10 10

18、 11 12 14 15 17中位数为 9.5,笼养组中大于中位数的有 1 个粪样，小于中位数的有 6 个粪样平养组中大于中位数的有 6 个粪样，小于中位数的有 1 个粪样设H0：笼养组与平养组鸡的球虫感染率相同 VS HA：笼养组与平养组鸡的球虫感染率不同 列出列联表：笼养组 平养组 合计大于中位数 1 6 7小于中位数 6 1 7合 计 7 7 14,得：否定无效假设，接受备择假设：即笼养和平养对鸡感染球虫病其效果差异显著从防疫的角度，应提倡笼养鸡（怎么求？）这一例的样本显然还太小，在实际调查和试验中，样本应再大一些才能得到一个比较确切的、更有说服力的结果,又例：随机抽样一批苗猪分成四组，

19、用四种不同的药物对进行驱虫，每一组使用一种药物，50天后观察这批猪的增重效果，得如下数据，试分析药物间在驱虫上有无差异 药物 日 增 重（kg/d）A 0.74 0.90 1.02 1.10 1.08 B 0.38 0.46 0.66 0.72 0.84 C 0.30 0.30 0.36 0.40 0.58 D 0.30 0.36 0.44 0.48 0.66,将数据按从大到小的次序重新排列：C C D C D B C D B D0.30 0.30 0.30 0.36 0.36 0.38 0.40 0.44 0.46 0.48 C B D B A B A A A A0.58 0.66 0.66

20、 0.72 0.74 0.84 0.90 1.02 1.08 1.10中位数为 0.53列出列联表：药 物 A B C D 合计大于中位数 5 3 1 1 10小于中位数 0 2 4 4 10合 计 5 5 5 5 20,设H0：四种不同药物的驱虫效果相同 VS HA：四种不同药物的驱虫效果不同 计算 值：否定无效假设，接受备择假设，即不同药物的驱虫效果有着显著差异,第六节 等级相关,有时候，我们会碰到等级或名次的资料，因此可以用等级相关法求其相关系数首先根据，的等级或名次排序，如果有两个 或两个 名次相同，或等级相同，则求其平均名次或平均等级然后求 与 的差 值最后应用 求 与 的等级相关系

21、数 求得后查 显著表检验其是否显著下面看一个实例：,例：某村 12家养鸡户其年产鸡蛋量与所获纯利的名次如下，请计算两者的相关性户 号 1 2 3 4 5 6 7 8 9 10 11 12产蛋量 1 2.5 2.5 4 5 6 7.5 7.5 9 10.5 10.5 12纯 利 1.5 1.5 4 3 5.5 7 5.5 10 8.5 12 11 8.5 d 0.5-1 1.5-1 0.5 1-2 2.5-0.5 1.5 0.5-3.5否定无效假设，即养鸡户的年产蛋量与所获纯利间的确存在着极显著的相关关系,第七节 Ridit 分析,Ridit，由 Relative to an identifie

22、d distribution 中前3 个字母加上 unit 的字尾-it 所构成而 Relative to an identified distribution 的意思是“相对于某一特定分布”有时又将 identified distribution 理解为 reference distribution，即参照分布因此 Ridit 分析又称为 参照（分布）单位分析Ridit 分析适用于等级资料，如医学上的治愈、显效、有效、好转、无效、恶化等再如反应可分为：-、+、+、+等再如麻醉可分为：、等,从 Ridit 的字面含义来理解这一检验的原理，就是：在多组等级资料中，将例数最（较）多的一组的分布作为

23、一个特定的分布来计算各等级资料的参照单位值（R）再参照这些 R 值计算各组的加权平均 R 值最后进行假设检验,Ridit 分析的一般步骤为：1、选定标准组：或是例数最多的一组作为标准组或是合计数作为标准组或是旧药作为标准组或是正常畜禽作为标准组标准组中的数字应分布于各个等级,2、计算标准组的参照单位值（R）：（1）计算标准组各等级的 值（2）求标准组累计例数并下移一行（3）将（1）、（2）求得的值按各等级相加（4）以标准组总例数除之，即可得到标准组各等级的 R 值,3、参照标准组的各 R 值，计算各组的平均 R 值将各组中不同疗效者例数与标准组对应的 R 值相乘将乘积求和，再除以该组总例数，即

24、为平均 R 值其公式为：,4、计算各组 95%的置信区间，并进行显著性检验R 值的标准差为因此 的标准误为：的 95%可信限为：按此公式得各组的 95%置信区间后，作两两比较：凡无重叠者即为除以显著，有重叠者则差异不显著,例：用 A、B 两种不同的药物治疗鸡的传染性支气管炎，临床观察得如下结果，试分析这两种药物的疗效如何药物 治疗例数 治愈 显效 有效 无效 死亡 A 400 84 162 124 18 12 B 470 68 115 197 52 38合计 870 152 277 321 70 50该例的分析步骤如下：,1、将两组的资料合并，作为参照组的标准频数分布，并计算各级的 Ridit

25、 值：治疗 A B 合计 1/2 累计并+/n=R值 效果(f1)(f2)(f)下移一行 治愈 84 68 152 76 0 76 0.087 13.22显效 162 115 277 138.5 152 290.5 0.334 92.52有效 124 197 321 160.5 429 589.5 0.678 217.64无效 18 52 70 35 750 785 0.902 63.14死亡 12 38 50 25 820 845 0.971 48.55合计 400 470 870 435 435.07 n1 n2 n n/2,2、以各等级的 Ridit 值作为标准，分别计算参照组、A 组、

26、B 组的平均 Ridit 值：参照组A组B组 参照组的平均 R 值恒等于 0.5，第 9 列合计必等于第 5 列合计,3、进行差异显著性检验首先计算抽样方差则,进行 t-test（小样本）或 u-test（大样本）本例样本量很大，因此可以进行 u-test：差异极显著疗效愈好的 Ridit 值愈小，疗效愈差的 Ridit 值愈大，现，因此 A 药治疗鸡传支的效果极显著好于 B 药本例可否使用 检验？如可以，如何检验（）,又例：试验 4 种药物配伍治疗猪丹毒，其中 A 为常规疗法，其余 3 种（B、C、D）为新研制的方剂，结果如下，试比较这 4 种药物配伍的疗效 疗 例 数 百分比 效 A B

27、C D A B C D治愈 34 98 20 16 0.11 0.49 0.17 0.16 显效 168 70 36 28 0.56 0.35 0.30 0.28有效 77 24 48 37 0.26 0.12 0.40 0.37死亡 21 8 16 19 0.07 0.04 0.13 0.19合计 300 200 120 100 1.00 1.00 1.00 1.00,首先计算标准组的 R 值，由于 A 为常规组，且其样本量也最大，因此将 A 组定为标准组标准组的 R 值计算如下表（n=300）：疗 例数/2 累计例数并+R值/n 效 下移一行 死亡 21 10.5 0 10.5 0.035

28、有效 77 38.5 21 59.5 0.198显效 168 84 98 182 0.607治愈 34 17 266 283 0.943 300用百分比同样可以计算 R 值，方法是一样的（此处不再计算，同学们可以自己验证）,计算各组 R 值：A组：B组：C组：D组：,求各组 R 值的 95%置信限：,将各组 R 值的 95%置信区间用图表示出来：A B C D,在这里，凡置信区间没有重叠者，为差异显著；置信区间有重叠者，为差异不显著从上图及四种药物配伍的置信区间来看，我们可以得出如下结论：B 与 A、C、D 差异显著A 与 C 差异不显著A 与 D 差异显著C 与 D 差异不显著,在上面的讨论

29、中，我们用的方差是，这是一个近似值，是 R 方差的最大值R 的方差与等级有关：等级愈多，R 的方差愈接近于等 级 数 2 3 4 5 6 7 8 9最大方差,显然我们用这一最大方差来求 R 的置信区间显得有些粗糙本例中的等级为 4，因此我们可以用与之相对应的最大方差 来求置信区间，其标准误即为则,这一结果要比前面的精确一些，尽管差异不是太大请思考一下，该例除了可以使用多组样本的 Ridit 法外，是否可以用2 test 来完成？如果可以的话，怎么求出2 值？如果2 值显著的话，怎么进行2 的分割，以判断哪一种药物配伍是显著的、哪一种药物配伍是不显著的？相比之下，这一类问题是用Ridit法来得简单还是用卡方检验来得简单？(*),end,