《第9章分类数据分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《第9章分类数据分析ppt课件.ppt（88页珍藏版）》请在三一办公上搜索。
1、第 9 章分类数据分析,概 述,第七、八章介绍的估计和检验方法仅主要针对数值型变量。而列联分析是针对分类变量进行分析的方法。,第 9 章 分类数据分析,9.1 分类数据与c2统计量 9.2 拟合优度 检验9.3 列联分析：独立性检验9.4 列联表中的相关测量9.5 列联分析中应注意的问题,学习目标,1.解释列联表进行 c2 检验拟合优度检验独立性检验3.测度列联表中的相关性,9.1 分类数据,9.1.1 分类数据补充：列联表的构造 列联表的分布9.1.2 2统计量,分类数据,分类变量的取值表现为类别例如：性别 (男, 女)各类别可用符号或数字代码来测度例如：性别 (男用1表示, 女用0表示)顺
2、序数据也可以看作分类数据原料的质量等级：一等品、二等品、三等品数值型数据也可以转化为分类数据数学期末考试成绩是一个数值型数据，可以根据分数段将成绩为“优秀”、“良好”、“及格”和“不及格”几个类别对分类数据的描述和分析通常使用列联表,列联表的构造,列联表(contingency table),由两个以上的变量交叉分类的频数分布表行变量的类别用 r 表示， ri 表示第 i 个类别列变量的类别用 c 表示， cj 表示第 j 个类别每种组合的观察频数用 fij 表示表中列出了行变量和列变量的所有可能的组合，所以称为列联表一个 R 行 C 列的列联表称为 R C 列联表,列联表的结构(2 2 列联
3、表),列(cj),行 (ri),列联表的结构(r c 列联表的一般表示),列(cj),行(ri),fij 表示第 i 行第 j 列的观察频数,列联表(例题分析),【例】一个集团公司在四个不同的地区设有分公司，现该集团公司欲进行一项改革，此项改革可能涉及到各分公司的利益，故采用抽样调查方式，从四个分公司共抽取420个样本单位(人)，了解职工对此项改革的看法，调查结果如下表,列联表的分布,观察值的分布,边缘频数行边缘分布（频数）行观察值的合计数的分布例如，赞成改革方案的共有279人，反对改革方案的141人列边缘分布（频数）列观察值的合计数的分布例如，四个分公司接受调查的人数分别为100人，120人
4、，90人，110人条件分布与条件频数表中每个具体的观察值都是变量 X 条件下变量 Y 的频数，或在变量 Y 条件下变量 X 的频数，称为条件分布（频数）,观察值的分布(图示),行边缘分布,列边缘分布,条件频数,百分比分布(概念要点),条件频数反映了数据的分布，但不适合对比如二分公司赞成人数比一分公司多，并不表明二分公司比一分公司更赞成该方案，因为两公司调查人数不同。为在相同的基数上进行比较，可以计算相应的百分比，称为百分比分布行百分比：行的每一个观察频数除以相应的行合计数(fij / ri)列百分比：列的每一个观察频数除以相应的列合计数( fij / cj )总百分比：每一个观察值除以观察值的
5、总个数( fij / n ),百分比分布(图示),总百分比,列百分比,行百分比,列联分析是利用列联表来研究： ( ) A. 两个分类变量的关系 B . 两个数值型变量的关系 C. 一个分类变量和一个数值型变量的关系 D. 两个数值型变量的分布 以下列联表中，最右边一列称为：( ) A. 列边缘频数； B. 行边缘频数； C. 条件频数； D. 总频数,练 习 （1）,A,B,(3) 对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，在男女生赞成的比例相同的前提下，男女生赞成该措施的期望频数分别为： ( ) A. 48和39 B . 102和81 C. 15和14 D. 25和
6、19,A, 统计量,概 述,2检验(Chi-square test)是现代统计学的创始人之一，英国人K . Pearson（1857-1936）于1900年提出的一种具有广泛用途的统计方法，因此又称为Pearson 2检验。可用于两个或多个率或构成比间的比较，定性资料的关联度分析，拟合优度检验等等。, 统计量,用于检验列联表中变量间拟合优度和独立性检验统计量为： 或2统计量可以看作是检验真实值与期望值的接近程度。, 统计量,分布与自由度的关系,9.2 拟合优度检验(goodness of fit test), 统计量,拟合优度检验：用于检验一个分类变量中各类别的期望频数和观察频数是否有显著差异
7、。其实际为假设检验在原假设为观察频数和实际频数一致的前提下，有如下检验统计量：,拟合优度检验的期望频数的计算,若可求出第i行第j列元素的期望概率pij，则一个实际频数 fij 的期望频数eij ，是总频数的个数 n 乘以该实际频数 fij 的期望概率pij,期望频数的计算举例,举例：要检验各分公司对某项改革方案的看法是否相同？,期望频数的分布 (例题分析),在全部420个样本中，赞成改革方案的人数为279，占66.4%；反对的人数占33.6%。在各分公司对改革方案看法相同的前提下，各分公司赞成（反对）这项改革不同态度的期望频数为分公司总样本数*66.4%（33.6%）。等价于检验各分公司赞成方
8、案的实际频数与期望频数是否一致。,期望频数的分布 (例题分析),在广告宣传战之前，A公司、B公司和其它公司的市场占有率分别为45%、40%和15%。上表给出了广告后对200个消费者购买意愿的调查的结果，检验广告战前后各公司的市场占有率是否发生了变化 ？ 等价于检验三个公司的期望购买人数和实际购买人数是否一致。,拟合优度检验(例题分析1-1),【例9.1】 1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人，其中男性1738人，女性470人。海难发生后，幸存者为718人，其中男性374人，女性344人，以的显著性水平( 0.05)检验存活状况与性别是否有关。,拟合优
9、度检验(例题分析1-2),分析：在这次海难中，幸存者共718人，即总存活比例为718/2208=0.325。若存活状况与性别无关，则男性存活的期望人数为：0.3251738565人，女性存活的期望人数为： 0.325470153人，若男女性期望的存活人数和实际的存活人数非常接近，则可以认为存活率与性别无关，反之，则认为存状况与性别相关。因此可以利用2统计量来检验。,拟合优度检验(例题分析1-3),H0:生存状况与性别无关（观察频数与期望频数一致）H1:生存状况与性别相关（观察频数与期望频数不一致） = 0.05df = (2-1)= 1临界值(s):,统计量:,在 = 0.05的水平上拒绝H0
10、,有较充分的理由认为生存状况与性别相关,决策:,结论:,拟合优度检验(例题分析2-1),【例】 一项统计结果声称：某市老年人口（年龄在65岁以上）所占的比例为14.7%，该市老年人口研究会为了检验该项统计是否可靠，随机抽选了400名居民，发现其中有57人年龄在65岁以上。调查结果是否支持该市老年人口比例为14.7%的说法？（=0.05）。,拟合优度检验(例题分析2-2),解：要回答观察的老年人数与期望的老年人数是否一致，检验如下假设：,H0：老年人口比例为14.7%（观察频数与期望频数一致） H1：老年人口比例并非14.7%（观察频数与期望频数不一致）,拟合优度检验(例题分析2-3), = 0
11、.05df = (2-1)= 1临界值(s):注意：教材P223中作的双侧检验有误。,统计量:,在 = 0.05的水平上接受H0,有较充分的理由认为老年人比比例为14.7%相关,决策:,结论:,拟合优度检验(例题分析2-1),注意：第8章介绍的总体比例检验只能用于二项分布，而2统计量可用于多项分布的比例检验。,9.3 列联分析：独立性检验,9.3.1 列联表（已讲）9.3.2 独立性检验,两个变量的独立性检验,独立变量检验(goodness of fit test),检验两个分类变量是否独立检验的步骤提出假设H0：变量X和Y独立j；H1： X和Y 不独立 在原假设成立的前提下，可得到以下检验统
12、计量,进行决策 根据显著性水平和自由度(r-1)(c-1)查出临界值2 若22，拒绝H0；若22，接受H0,期望频数的计算,假定行变量和列变量是独立的一个实际频数 fij 的期望频数 eij ，是总频数的个数 n 乘以该实际频数 fij 落入第 i 行 和第j列的概率，即,期望频数的分布(例题分析),由于观察频数的总数为n ，所以f11 的期望频数 e11 应为, 例如，第1行和第1列的实际频数为 f11 ,它落在第1行的概率估计值为该行的频数之和r1除以总频数的个数 n ，即：r1/n；它落在第1列的概率的估计值为该列的频数之和c1除以总频数的个数 n ，即：c1/n 。根据概率的乘法公式，
13、该频数落在第1行和第1列的概率应为,独立性检验(例题分析1-1),【例9.2】一种原料来自三个不同的地区，原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验，结果如下表所示，要求检验各个地区和原料质量之间是否存在依赖关系？ ( 0.05),独立性检验(例题分析1-2),解：(1) 确定假设 H0：地区和原料等级之间是独立的（不存在依赖关系） H1：地区和原料等级之间不独立 （存在依赖关系） (2) 计算期望频数以及 2统计量的值,独立性检验(例题分析1-3),独立性检验(例题分析1-4),（3）作出判断,19.82 0.05(4)=9.488故拒绝H0，接受H1 ，即地区和原料等
14、级之间存在依赖关系，原料的质量受地区的影响,独立性检验(例题分析2-1),【例】某集团公司 欲进行一项改革，从所属的四个分公司中共随机抽取了420名职工，了解它们对改革方案的态度（见下表），以=0.1的显著性水平检验员工态度是否受所在分公司的影响。,独立性检验(例题分析2-1),解：若员工态度不受影响，则所在分公司与对改革方案的态度是相互独立的。可设定原假设和备择假设分别为 (1) 确定假设 H0: 员工所在分公司和对改革方案的态度是相互独立的 H1:员工所在分公司和对改革方案的态度并非相互独立,独立性检验(例题分析2-3),(2) 计算期望频数及2统计量的值,独立性检验(例题分析2-4),(
15、3) 作出判断, 0.05(3)=7.8147.故接受H0。即员工所在分公司与其态度是相互独立的。,2检验的实质,独立性检验等价于检验多个比例是否相等或由期望的比例算出的期望频数与实际频数是否相等。检验的步骤提出假设H0：1 =p1, 2 =p2, j=pj； H1 1 =p1, 2 =p2, j=pj至少有一个不成立原假设意为在一个分类变量C的不同取值下，另一个分类变量R的某一类别的占该R比例是否等于某个期望比例,2检验的实质,在原假设成立的前提下，可得到以下检验统计量若列联表中其中一个分类变量只是考虑的一个类别的观测值，则使用以下统计量（拟合优度检验）进行决策 根据显著性水平和自由度(r-
16、1)查出临界值2 若22，拒绝H0；若22，拒绝H0；若22，接受H0,2检验举例(例题分析1-1),【例9.3】某集团公司 欲进行一项改革，从所属的四个分公司中共随机抽取了420名职工，了解它们对改革方案的态度（见下表），以=0.1的显著性水平检验员工态度是否受所在分公司的影响。,2检验举例(例题分析1-2),解：若员工对改革方案的态度不受所在子公司的影响，四个分公司对赞成改革方案的比例是一致的。 ，设i为第i个分公司赞成改革方案的百分比）。可设定原假设和备择假设分别为： H0: 1= 2= 3= 4 H1: 1,2,3,4 不全相等,2检验举例(例题分析1-3),合计：3.0319,拟合优
17、度检验(例题分析1-3),H0: 1= 2= 3= 4 H1: 1,2,3,4 不全相等 = 0.1df = (4-1)= 3临界值(s):,统计量:,在 = 0.1的水平上不能拒绝H0,可以认为四个分公司对改革方案的赞成比例是一致的,决策:,结论:,2检验(例题分析2-1),【例】 1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人，其中男性1738人，女性470人。海难发生后，幸存者为718人，其中男性374人，女性344人，以的显著性水平( 0.05)检验存活状况与性别是否有关。,2检验(例题分析2-2),分析：设男女存活率分别为1和2 若男女存活率相同，则
18、均为718/2208=0.325 本问题等价于检验如下假定： H0: 1=2 H1: 12,2检验(例题分析2-3),H0: 1=2H1: 12 = 0.05df = (2-1)= 1临界值(s):,统计量:,在 = 0.05的水平上拒绝H0,有较充分的理由认为生存状况与性别相关,决策:,结论:,思 考 1,问题1： 为什么2检验采用右单侧检验而不采用双边检验？答：因为应用2检验时，原假设H0实际上可以概括为: 观测频数期望频数，备择假设H1为：观测频数期望频数，而2统计量的值越小，表明观测频率与期望频率越接近，越因该接受原假设，因此，拒绝域应该在2分布的右侧，故采用右单侧检验。,思 考 2,
19、问题2： 如何解释2统计量的自由度为(R-1)(C-1)？,品质数据的假设检验,(1) 对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例（ 1 和2 ）是否相同，则提出的原假设为： ( ) A. H0: 1=2= 0.678 B . H0: 1=2= 45 C. H0: 1=2= 0.322 D. H0: 1=2= 42检验(1)所使用的2统计量的自由度为( ) 采用（ ）(左侧，右侧，双边)检验,练 习 （2）,C,1,右侧,(3) 对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例是否相同，即
20、检验H0: 1=2= 0.322，若给定=0.05，得出的结论是： ( ) A. 拒绝原假设 B . 不拒绝原假设 C. 可以拒绝也可以不拒绝原假设 D. 既不拒绝也不接收原假设,B,9.4 列联表中的相关测量,9.4.1 相关系数9.4.2 列联相关系数9.4.3 V 相关系数,列联表中的相关测量,品质相关对品质数据(分类和顺序数据)之间相关程度的测度列联表变量的相关属于品质相关列联表相关测量的统计量主要有 相关系数列联相关系数V 相关系数, 相关系数(correlation coefficient),测度22列联表中数据相关程度对于22 列联表， 系数的值在01之间 相关系数计算公式为,
21、相关系数(原理分析),一个简化的 22 列联表, 相关系数 (原理分析),列联表中每个单元格的期望频数分别为,将各期望频数代入 的计算公式得, 相关系数 (原理分析),将入 相关系数的计算公式得,ad 等于 bc ， = 0，表明变量X 与 Y 之间独立若 b=0 ，c=0，或a=0 ，d=0，意味着各观察频数全部落在对角线上，此时| =1,表明变量X 与 Y 之间完全相关， | 越接近1，相关程度越大，,列联表中变量的位置可以互换，的符号没有实际意义，故取绝对值即可, 相关系数取值范围 (原理分析),对22列联表，-1 1对非22列联表，,故对非22列联表，系数将随着R或C的变大而增大，且值
22、没有上限，故不适合用系数测定两个变量的相关程度。,列联相关系数C(coefficient of contingency),列联相关系数C用于测度大于22列联表中数据的相关程度计算公式为,C 的取值范围是 ，其中m=min(R, C)C = 0表明列联表中的两个变量独立C 的数值大小取决于列联表的行数和列数，并随行数和列数的增大而增大,列联相关系数(优缺点),优点：计算简单，对总体分布没有任何要求。缺点：根据不同行和列计算的列联相关系数不便于比较。,V 相关系数(V correlation coefficient),由Gramer提出，计算公式为,V 的取值范围是 0V1 V =0表明列联表中的
23、两个变量独立 V =1表明列联表中的两个变量完全相关不同行和列的列联表计算的列联系数不便于比较当列联表中有一维为2，min(r-1),(c-1)=1,此时V=,列联表中的相关测量(例题分析),【例9.2】一种原料来自三个不同地区，原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验，结果如下表。分别计算系数、C系数和V系数，并分析相关程度（假设已检验得到地区和材料质量相关）,列联表中的相关测量 (例题分析),解：已知n=500，19.82，列联表为33,结论：三个系数均不高，表明产地和原料等级之 间的相关程度不高,、C、V 的比较,同一个列联表，、C、V 的结果会不同在对不同列联表
24、变量之间的相关程度进行比较时，不同列联表中的行与行、列与列的个数要相同，并且采用同一种系数,(1) 对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例是否相同，若根据数据计算得到|=1，则： ( ) A. 男学生全部赞成，女学生全部反对 B . 男女学生全部都赞成 C. 男女学生全部都反对 D. 男学生全部赞成，女学生全部反对；或男学生全部反对，女学生全部赞成,练 习 （3）,D,(2) 以下测度列联表中数据的相关程度的参数，取值范围有可能不在0,1范围内的是：( ) A. 相关系数 B . C相关系数 C. V相关系数 D. A、B、C都有可能
25、,A,9.4 列联分析中应注意的问题,9.4.1 条件百分表的方向9.4.2 2分布的期望值准则,条件百分表的方向（1）,列联表中行列变量的置放位置习惯做法：将自变量X放在列头，因变量Y放在行头，条件百分比按照自变量的方向计算 例如：调查不同职业的人的价值取向，职业看作自变量，价值取向为因变量， 如左表，从左表数据可以看出：从事服务业的人更注重人情关系。,条件百分表的方向（2）,列联表中行列变量的置放位置(2) 如果因变量在样本内的分布不能代表其在总体内的分布，仍以自变量方向计算百分比，就有可能歪曲事实。,条件百分表的方向（3）,例如：欲研究家庭状况（自变量）对青少年犯罪（因变量）的影响。某地
26、区从未犯罪的青少年有10000名，曾犯罪的青少年150名。如果从未犯罪的青年中抽取100名，从有犯罪记录的青年中抽取75名，从左表调查结果是否可以说在完整家庭中，有29%的青少年犯罪？,不能 ，因为在犯罪青年中抽取的样本比例比其在总体中的比例大。,条件百分表的方向（4）,例如：将计算百分比的方向交换，可得左表。则有：在未犯罪的100位青少年中，92%来自完整家庭，8%来自离异家庭。,2分布的期望准则,对应用2分布进行变量的独立性检验，要求列联表中每个单元的期望频数不能过小，需要满足以下几个条件： (1) 如果只有两个单元，每个单元的期望频数必须在5或5以上；（经验） (2) 若有两个以上的单元
27、，如果20%的单元期望频数fe5，则不能应用2检验；,本章小结,解释列联表计算期望频数进行 c2 检验拟合优度检验对列联表进行相关分析用Excel进行c2 检验,练 习,P233：练习题9.1、9.2、9.5,作业(1),1. 从过往对应届毕业生的调查可知：希望进政府部门工作的占50%，进国有企事业单位的占20%，进外企工作的占25%，进民营企业工作的占5%。现从大四的学生中抽出500位同学，得到如下结果：选择进入政府部门的有286人，进入国有企事业单位的有124人，进入外企的有75人，进民营企业工作的15人。问：以0.05的显著水平进行检验：现在的情况与过往的调查是否发生了变化。,作业(2),2.美国General Social Survey机构对幸福状况和婚姻状况的调查结果如下，根据数据检验幸福状况和婚姻状况是否相关？ （=0.05）,结 束,
