《seminar假设检验与方差分析课件.pptx》由会员分享，可在线阅读，更多相关《seminar假设检验与方差分析课件.pptx（32页珍藏版）》请在三一办公上搜索。
1、在开讲之前，我们有必要了解统计学上的一些基础知识。总体，样本，统计量，试验，奇异点误差：试验指标的试验数据与理论期望值之间的差异。随机误差的统计规律：对称性：绝对值相等的正负误差出现的机会相等。有界性：一定的测度条件下，绝对值不会超过一定范围。抵偿性：测量次数增加，通过平均可减小误差。单峰性：绝对值小的误差出现的机会多(概率密度大)。,准备工作,中心趋势统计量中心趋势是指一组试验数据的中心位置中心趋势是把握随机变量取值规律的重要方面，对具有对称分布的随机变量尤为重要。中心趋势统计量是刻画一组试验数据中心位置的量，它携带了有关试验指标期望值的信息，是由试验数据进行总体均值统计推断的基本统计量。常
2、见的中心趋势统计量有：算术平均数、几何平均数、调和平均数、中位数等。散布统计量散布：指一组试验数据聚集状态。散布是把握随机变量取值规律的重要方面，它反映随机变量的随机性强弱。,准备工作,散布统计量：刻画一组试验数据分散还是紧凑的量。它携带了试验数据中，有关试验指标所有可能取值的聚集程度信息，是由试验数据进行变异分析的基本统计量。常见的散布统计量有：样本方差、离均差平方和、标准差、极差、变异系数等。,准备工作,统计模型基本假设检验,任何统计模型都有一定的假设。应用统计模型分析数据首先要对数据是否满足模型的基本假设进行验证。在统计模型的假设中，正态性和方差齐性是最基础的。提出问题：为什么要对试验数
3、据进行正态性检验？正态分布法国数学家拉普拉斯和德国数学家高斯等研究出来的理论分布，又称为高斯分布。实际生活中的许多随机变数都服从或近似服从正态分布，如，在正常情况下，农作物株高、单位面积产量、测量中的测量误差、商场中的日营业额等，它们的共同特点就是数据大部分集中在平均数附近，并且在,统计模型基本假设检验,平均数的两侧成对称分布。后来数学和统计学家们在正态分布基础上，提出了假设检验和方差分析，因此，我们在对试验数据进行假设检验和方差分析之前，需要验证数据的正态性。,正态性检验,一、图方法,2. QQ plot,1. 直方图,正态性检验,代码如下：par(mfrow=c(1,2)x - rnorm
4、(1000)hist(x,freq=F,col=yellow)curve(dnorm(x),add=T,col=red)qqnorm(x,xlim=c(-4,4),ylim=c(-4,4),col=blue)qqline(x,col=red),二、统计检验法KS检验（Kolmogorov-Smirnov testing）用于检验一组数据是否来自于一个指定概率分布的总体，适用于大样本容量的数据。SW检验（Shapiro-Wilk testing）用于检验一组数据是否来自于一个正态分布总体，适用于小样本容量的数据。,正态性检验,#代码如下#par(mfrow=c(1,2)x - rnorm(100
5、,5,2)hist(x,freq=F,col=yellow)qqnorm(x)qqline(x)shapiro.test(x)ks.test(x,”pnorm”,5,2), shapiro.test(x) Shapiro-Wilk normality testdata: x W = 0.9941, p-value = 0.9434 ks.test(x,pnorm,5,2) One-sample Kolmogorov-Smirnov testdata: x D = 0.0541, p-value = 0.932alternative hypothesis: two-sided,正态性检验,原假设
6、(H0)又称为无效假设或零假设；备则假设(H1)。KS检验，H0：样本抽自分布F(x)；H1：样本不抽自分布F(x)。SW检验，H0：样本服从正态分布；H1：样本不服从正态分布。关于P-value：P-value表示对H0假设的支持程度，假如定义显著水平=0.05，那么if(p-value 0.05)接受H0；,方差齐性检验,概念：多个总体的方差相等称为这些总体方差齐性。,常用的方差齐性检验方法两组及两组以上数据的方差齐性检验可以使用以下几个函数# group - as.factor(c(rep(1,length(x),rep(2,length(y) # 水平var.test(c(x,y),g
7、roup)# 用于检验两个总体方差是否相等# var.test(x,y)bartlett.test(c(x,y)group)# 用于多个正态总体方差齐性检验fligner.test(c(x,y)group)leveneTest(c(x,y),group)# 用于多个总体方差齐性检验，不要求数据满足正态性，是一种稳健的检验方法,方差齐性检验,# R下运行以下代码 # leveneTest()位于car包，因此需要先安装car包 # install.packages(“car”) #x - rnorm(100,2,3)y - rnorm(100,3,2)group - as.factor(c(re
8、p(1,length(x),rep(2,length(y)var.test(c(x,y)group)# var.test(x,y)leveneTest(c(x,y)group)# leveneTest(c(x,y),group)bartlett.test(c(x,y)group)# bartlett.test(c(x,y),group)fligner.test(c(x,y)group)# fligner.test(c(x,y),group),方差齐性检验, x y group var.test(c(x,y)group) F test to compare two variancesdata:
9、c(x, y) by group F = 2.689, num df = 99, denom df = 99, p-value = 1.479e-06alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: 1.809283 3.996509 sample estimates:ratio of variances 2.689018 # var.test(x,y),方差齐性检验, leveneTest(c(x,y)group)Levenes Test for
10、Homogeneity of Variance (center = median) Df F value Pr(F) group 1 18.399 2.8e-05 * 198 -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 # leveneTest(c(x,y),group) bartlett.test(c(x,y)group) Bartlett test of homogeneity of variancesdata: c(x, y) by group Bartletts K-squared = 23.1727, df = 1, p-value
11、 = 1.481e-06 # bartlett.test(c(x,y),group),方差齐性检验, fligner.test(c(x,y)group) Fligner-Killeen test of homogeneity of variancesdata: c(x, y) by group Fligner-Killeen:med chi-squared = 15.7243, df = 1, p-value =7.328e-05# fligner.test(c(x,y),group)plot(c(x,y)group,col=c(red,yellow) ,par(bty=l),方差分析,方差分
12、析的基本思想：将所有试验指标值的总变异按照其形成来源分解为各控制因素形成条件变差和无法控制因素或未加控制因素形成的随机误差，然后将各因素形成的条件变差与随机误差进行比较，评价由某种因素所引起的变异是否具有统计学意义。总变异 = 条件变异 + 随机误差SST = SSA + SSe,方差分析的基本假定1.可加性：即处理效应与环境效应是可加的2.正态性：试验误差应该是随机的、彼此独立的，均值为0且服从正态分布3.同质性：所有试验处理必须具有共同的误差方差,方差分析,数据结构,方差分析,数学模型把数据Xij分解，为指标基础值(总体平均数)，i为第i个水平的作用，ij为第i个水平第j次试验误差。固定效
13、应模型 将i看成常数，对其方差分析的目的是要判定因素各水平对试验指标的影响是否显著。,方差分析,随机效应模型 将i看成随机变量，对其方差分析的目的是研究i的变异潜力。,方差分析,例 以A,B,C,D4种药剂处理水稻种子，其中A为对照，每处理各得4个苗高观察值(cm)，试由此试验数据判定药剂处理对水稻苗高有无影响。,方差分析,# 代码段#a F) group 3 504 168.000 20.571 5.063e-05 *Residuals 12 98 8.167 -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 P 0.05, 即拒绝H0，接受H1
14、：不同处理对种子有影响。,方差分析,配伍组设计资料的方差分析资料如下（具有两类分类因子）,方差分析,# 代码段#x-scan()5.27 5.27 4.94 4.61 5.27 5.22 4.88 4.66 5.88 5.83 5.38 5.00 5.44 5.38 5.27 5.00 5.66 5.44 5.38 4.88 6.22 6.22 5.61 5.22 5.83 5.72 5.38 4.88 5.27 5.11 5.00 4.44 #(这些数据以空格分隔，输入完毕后回车)g1 - gl(4,1,32,labels = c(“A”,”B”,”C”,”D”) )g2 - gl(8,4,
15、32,labels = c(1:8) anova(lm(x g1 + g2) # 没有重复，故只分析主效应,#结果如下#Analysis of Variance TableResponse: x Df Sum Sq Mean Sq F value Pr(F) g1 3 2.90437 0.96812 77.310 1.632e-11 *g2 7 2.49800 0.35686 28.497 2.379e-09 *Residuals 21 0.26298 0.01252 -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1,多重比较,方差分析结果不拒绝H
16、0，表示拒绝总体均数相等的证据不足， 分析终止。 拒绝H0，接受H1, 表示总体均数不全相等哪两两均数之间相等？哪两两均数之间不等？ 需要进一步作多重比较。,常用的多重比较方法(以下三个函数都在agricolae包里)LSD法(最小显著差数法)LSD.test()SNK法(q测验法)SNK.test()HSD法(Turkey显著差数法)HSD.test()Bonferroni校正,多重比较,# LSD多重比较代码段#Install.packages(“agricolae”) # 安装包，用LSD.test()library(agricolae)a modelCall: aov(formula
17、= m group)Terms: group ResidualsSum of Squares 504 98Deg. of Freedom 3 12Residual standard error: 2.857738 Estimated effects may be unbalanced,多重比较,# LSD多重比较结果#Study:LSD t Test for m Mean Square Error: 8.166667 group, means and individual ( 95 %) CI m std.err replication LCL UCLA 18 1.779513 4 14.12
18、277 21.87723B 23 1.290994 4 20.18716 25.81284C 14 1.471960 4 10.79287 17.20713D 29 1.080123 4 26.64661 31.35339alpha: 0.05 ; Df Error: 12Critical Value of t: 2.178813 Least Significant Difference 4.402784Means with the same letter are not significantly different.Groups, Treatments and meansa D 29 b
19、B 23 c A 18 c C 14,多重比较,# HSD多重比较代码段#HSD.test(model,group)# The End # modelCall: aov(formula = m group)Terms: group ResidualsSum of Squares 504 98Deg. of Freedom 3 12Residual standard error: 2.857738 Estimated effects may be unbalanced,a - c(18,21,20,13)b - c(20,24,26,22)c - c(10,15,17,14)d - c(28,2
20、7,29,32)m - c(a,b,c,d)group - as.factor(c(rep(A,length(a),rep(B,length(b),rep(C,length(c),rep(D,length(d)model - aov(mgroup),多重比较,# HSD多重比较结果#Study:HSD Test for m Mean Square Error: 8.166667 group, means m std.err replicationA 18 1.779513 4B 23 1.290994 4C 14 1.471960 4D 29 1.080123 4alpha: 0.05 ; D
21、f Error: 12 Critical Value of Studentized Range: 4.19866 Honestly Significant Difference: 5.999336 Means with the same letter are not significantly different.Groups, Treatments and meansa D 29 b B 23 bc A 18 c C 14,多重比较,# SNK多重比较代码段#SNK.test(model,group)# The End # modelCall: aov(formula = m group)T
22、erms: group ResidualsSum of Squares 504 98Deg. of Freedom 3 12Residual standard error: 2.857738 Estimated effects may be unbalanced,a - c(18,21,20,13)b - c(20,24,26,22)c - c(10,15,17,14)d - c(28,27,29,32)m - c(a,b,c,d)group - as.factor(c(rep(A,length(a),rep(B,length(b),rep(C,length(c),rep(D,length(d
23、)model - aov(mgroup),多重比较,# SNK多重比较结果#Study:Student Newman Keuls Testfor m Mean Square Error: 8.166667 group, means m std.err replicationA 18 1.779513 4B 23 1.290994 4C 14 1.471960 4D 29 1.080123 4alpha: 0.05 ; Df Error: 12 Critical Range 2 3 4 4.402784 5.391021 5.999336 Means with the same letter a
24、re not significantly different.Groups, Treatments and meansa D 29 b B 23 c A 18 c C 14,多重比较,讨论： 上面提到的三种多重比较方法中，LSD法要求最低，HSD法要求次之，SNK法要求最高。 故对试验结论事关重大或有严格要求时，用SNK法，一般试验用HSD法，原创研究用LSD法。当比较次数不多时，Bonferroni法效果较好，但比较次数较多时(多于10次)，则由于其检验水准选择得过低，结论过于保守。 除了上面提到的方法外，还有Duncans new multiple range test(duncan.test)、Waller-Duncan k-ratio t test(waller.test)等，它们都位于agricolae包内，且使用方法类似。,写在后面的话,经过几天的努力，终于写完该讲稿。在写稿过程中，发现自己在假设检验和方差分析块有太多的空白，也得到了群内好友的帮助和支持，在此表示感谢。 遗憾的是，还有许多比较检验方法都未列入本讲稿，需要看的同学请访问我的博客查阅(转别人的)。 由于时间仓促，加上本人能力有限，不足之处，欢迎各位批评指正。再次感谢各位的支持！感谢R的世界给我提供这个学习的机会！,假设检验与方差分析,谢谢大家！,
