《第八章-数据处理课件.ppt》由会员分享，可在线阅读，更多相关《第八章-数据处理课件.ppt（45页珍藏版）》请在三一办公上搜索。
1、8.1 数据处理及前期准备,一、数据处理的概念,三、数据处理的前期准备,二、数据处理的意义,数据处理及前期准备,数据处理就是根据调查研究的目的与任务，对搜集到的各种数据进行审核与汇总，使之条理化、系统化，以符合数据分析的需要。,1.数据处理的概念,2.数据处理的意义,数据处理有利于发现工作中的不足。,有利于提高信息资料的价值。,3.数据处理的前期准备,选择高效率的数据处理人员。建立完善的工作制度。制定科学的工作标准。,8.2 一般数据处理流程,一、数据审核二、后编码三、数据录入四、数据文档的转换五、数据库清理六、数据库储存,一般数据处理流程图,1.数据审核,数据资料的审核是数据资料处理的第一步
2、工作。,审核方式,审核的一般方法,资料收集过程中的审核。资料回收后的审核。,文字资料的审核方法。数字资料的审核方法。,一般数据处理流程图,常见需审核的问题：,问卷的某些部分填写不完整或记录字迹不清楚；调查对象回答差异不大；返回的调查问卷本身丢失几页；问卷的回收超过时限；问卷的填写人员不符合调查要求；问卷存在明显不一致的答案；处理方式：对于样本量较少而调查对象又比较容易确认的不合格问卷，通常采用退回现场重新调查的方式；对于无法退回现场，缺失值较少且缺失值不是关键变量的少数问卷，进行填补确实值的处理；其他情况采用丢弃不合格问卷。,2.后编码,编码指将问卷（或调查表）中的文字信息转化为计算机能识别的
3、数字符号的过程，即给问卷或调查表的每一个题目的每一个备选答案分配一个符码，符码通常是一个数字。,指将问卷或编码表中的每一题目或变量对应的代码读到磁盘等储存介质上，或通过键盘直接敲入计算机中。,3.数据录入,数据编码与录入的处理方式：,（1）单项选择题录入-根据题项附值，题内若有其他选项则转化为开放式问题模式录入。（2）多项选择题录入 A多选项二分法-每个变量只有0或1取值；B多选项分类法-为多个答案分设变量。（3）开放式问题录入 A列出答案；B合并答案；C设置编码；D选定编码。,你为什么喜欢喝A品牌的啤酒？1因为它口味好；2它具有最好的味道；3我喜欢他的口味；4我不喜欢其他啤酒太重的口味；5它
4、最便宜；6它经常打折；7其他牌子酒使我胃不舒服；8喝这种酒头不疼；9我总是选择这个牌子的；10我已经喝了10多年了；11它是大多数朋友喝的品牌；12我的朋友基本都喝它；13我没想过；14不知道；15没有特殊的原因。,你为什么喜欢喝A品牌的啤酒？,1因为它口味好；2它具有最好的味道；3我喜欢他的口味；4我不喜欢其他啤酒太重的口味；5他最便宜；6他经常打折；7其他牌子酒使我胃不舒服；8喝这种酒头不疼；9我总是选择这个牌子的；10我已经喝了10多年了；11他是大多数朋友喝的品牌；12我的朋友基本都喝它；13我没想过；14不知道；15没有特殊的原因。,4.数据文档的转换,数据文档的初始形态,统计分析软
5、件：如SAS、SPSS、MINITAB、SYSTAT、EVIEWS,数据库管理软件：如：Microsoft Excel、Lotus1-2-3和Quatro Pro,5.数据库清理,目的：不让有错误的数据进入统计分析过程。数据库清理是对数据库文件做以下检查：,编码检查一致性检查缺失值检查,一致性检查-为了找出超出正常范围、逻辑上不合理或极端的数值。如一般备选答案15，9为缺失值，若出现8则错。缺失值检查-是存在明显错误、不合理数据、漏填数据项。处理方式：均值代替、估计值代替、问卷删除、结对删除。注：不同处理方式分析结果将有所不同。,6.数据库储存,是否需要给数据库加入新的变量。数据库文档通常储存
6、在磁盘等储存介质上，另外再用一张磁盘或其他储存介质作为备份以保证安全。,第9章 数据分析方法,9.1 统计分析方法描述统计 9.2 统计分析方法推断统计,9.1 统计分析方法描述统计,一、频数分布表和统计图法,三、多变量描述统计,二、单变量描述统计,统计分析方法的选择：,1、调研问题的性质描述性问题-如对某电视广告接触状况的反应；对某产品性能的评价；不同人对某品牌偏好差异等。采用频数分析和描述统计。关系性问题-如相关关系和因果关系。采用相关分析、回归分析、方差分析等。2、数据资料的性质品质变量-如性别、职业等。采用列联分析、非参数检验等。数量变量-如年龄、收入、销售量、知名度等，即等距、等比量
7、表，或次序量表进行数学转换后。可采用各种方法。,一、频数分布和统计图表,1.频数分布,指把总体按某一标志分组，并按一定顺序列出每个组的单位数，所形成的总体单位在各组间的分布；也称为次数分布或分布数列。,2.频数分布表,把总体中各个类别及其相应的频数、频率及累计频率等指标用汇总表格的形式展示出来所形成表格。,3.编制频数分布表的一般步骤,找出数据的变动范围；确定组数和组距；确定组限（上限、下限）和组中值；计算调查数据落入各组的频数和频率。,4.统计图,是一种以点、线条、面积等方法描述和显示数据的形式，具有直观、醒目、易于理解等特点，一般由坐标系、图形和图例三部分组成。,5.常用的统计图有：,条形
8、图、直方图、饼图、折线图、趋势图、态度对比图、轮廓形象图等。,一、频数分布和统计图表,编制频数分布表及绘制统计图时应注意的问题,编制频数分布表和绘制统计图只是对调查数据进行处理的初级阶段；编制频数分布表时，需要注意组数、组距及组限的确定问题；不同的统计图一般都有其特定的适用范围，在实际应用时，应根据数据性质及所反映问题的需要选择适宜的统计图。,1.集中趋势,二、单变量描述统计,指调查数据的频数分布从两边向中间集中的趋势，也称作趋中性。,2.离散趋势,指调查数据远离其分布中心值的程度。,集中趋势指标反映调查数据的共性和集中性，离散趋势指标反映调查数据的个性和分散性。调查数据的离散程度越高，用于描
9、述数据集中趋势指标的代表性越差，使用这些代表性指标进行统计分析的效果越差。,简单算术平均数根据原始数据计算,3.集中趋势的常用测度指标,平均数 又称均值，主要有算术平均数、调和平均数和几何平均数等计算方法，其中以算术平均数最为常用。,加权算术平均数根据分组数据计算,二、单变量描述统计,3.集中趋势的常用测度指标,中位数 指把一组数据按照从小到大的顺序排列后，位置居中的变量值，记为。,计算原始数据的中位数：,计算分组数据的众数：,众数 指数据中出现次数最多的变量值，记为。,为众数所在组的下限，为众数所在组组距，和 分别为众数所在组变量值的次数与下一组和上一组变量值的次数之差。,二、单变量描述统计
10、,标准差 指调查数据中各变量值与其算术平均数离差平方的算术平均数的平方根，记为。,4.离散趋势的常用测度指标,方差 指标准差的平方，记为。,对方差进行开方，即可得到标准差。,二、单变量描述统计,4.离散趋势的常用测度指标,四分位差 把调查数据按照从小到大的顺序排列后，用三个四分位数点（）将其分为四个相等部分，高四分位数点 与低四分位数点 之间的距离即为四分位差。,变异系数 指调查数据的标准差与其算术平均数的比值，也称为离散系数，主要用于比较不同类别数据的离散程度。,二、单变量描述统计,对数据的集中趋势进行描述，应结合统计数据的实际分布状况，选用恰当的指标形式，以克服不同形式的测度指标在使用范围
11、上的局限性。比较不同类别数据的离散程度时，应使用变异系数指标，而不宜使用标准差、方差等反映数据离散程度的绝对量指标。,应用单变量描述统计方法时应注意的问题,1.列联表,三、多变量描述统计,是对两个或两个以上的分类变量进行交叉分类所形成的复合频数分布表。,2.二维列联表 的一般形式,3.相关分析,是研究变量之间相关关系密切程度的统计方法。按表现形式不同，可以分为线性相关和非线性相关；按相关的方向不同，可以分为正相关和负相关。,散点图 以直角坐标系的横轴代表自变量x，以纵轴代表因变量y，将两个变量间相对应的变量值用坐标点的形式描绘在坐标平面上所形成的图形。,相关系数 在直线相关的条件下，衡量两变量
12、之间线性相关程度的统计指标。,三、多变量描述统计,4.回归分析,是研究因变量对自变量依赖关系的一种统计分析方法，目的是通过自变量的给定值来估计或预测因变量的均值。,一元线性回归,多元线性回归,非线性回归,三、多变量描述统计,应用相关与回归分析方法时应注意的问题,相关分析的目的是测定变量之间相关关系的方向和程度，回归分析的目的是利用回归模型进行预测和控制。进行相关分析时，不能仅凭相关系数的大小来解释变量之间的相关程度，否则有可能会得出不切实际的结论。在实际操作中，建立回归模型的过程非常复杂，应用时必须结合具体情况进行探讨和分析。,三、多变量描述统计,例题 下表是一份数据，其中的y是保险公司职员一
13、周平均加班时数，x是一周新签保单数，这里希望能确立一个模型来研究新签保单和员工加班时数之间的关系。,实例数据,表,计算一元回归的中间变量,周序号,新签保单(X),加班时数(Y),X2,Y2,XY,1,825,3.5,680625,12.25,2887.5,2,215,1,46225,1,215,3,1070,4,1144900,16,4280,4,550,2,302500,4,1100,5,480,1,230400,1,480,6,920,3,846400,9,2760,7,1350,4.5,1822500,20.25,6075,8,352,1.5,123904,2.25,528,9,670,
14、3,448900,9,2010,10,1215,5,1476225,25,6075,查表求F的临界值，将F值与其比较，判断模型（回归方程）是否可用。查表知，当 即置信度为0.95或95%时，分子自由度为1，分母自由度为8的F临界值为11.26，F值远远大于F临界值，所以模型的可信度不低于95%，在此标准水平上模型是完全可用的，因为在此标准水平上因变量与自变量之间确实存在线性相关关系。,表一元回归方差分析表,平方和,自由度,平均平方和,F值,回归,16.882,1,16.682,72.396,残差,1.843,8,0.230,总和,18.525,9,9.2统计分析方法推断统计,一、参数估计,三、
15、方差分析,二、假设检验,一、参数估计,参数估计指在满足一定精度和把握程度的条件下，利用样本信息来估计总体特征的统计分析方法。,1.基本原理,2.基本形式,3.常用的置信区间的形式,（1）对于正态总体，当总体方差 已知时，总体均值 的置信度为 的置信区间为：,（2）对于正态总体，当总体方差 未知时，总体均值 的置信度为 的置信区间为：,一、参数估计,应用参数估计方法时应注意的问题,进行参数估计时，应根据所研究对象的变异程度及分析任务的要求，确定一个合理的误差范围；估计误差不能超过一定的限度，但也不是越小越好。进行参数估计时，应根据所研究问题的性质和工作需要，确定一个可以接受的估计置信度；估计的可
16、信度不能太低，也不宜过高。,二、假设估计,1.基本原理,假设检验是利用样本信息判断对总体参数的假设是否成立的统计推断方法，有参数假设检验和非参数假设检验两种形式；其基本理论依据是“小概率事件原理”。,2.总体参数假设检验的基本步骤,根据待检验的问题，提出原假设和备择假设；选取适当的显著性水平；确定检验用的统计量和拒绝域的形式；求出拒绝域；根据样本观测值；判断接受或是拒绝原假设。,应用假设检验方法时应注意的问题,应根据研究目的和数据资料的性质选用恰当的检验方法。资料性质不同，样本大小不同，所适用的检验统计量及假设检验方法也会有所不同。结论不能绝对化。是否拒绝，要根据值 与 水平的关系来判断，而
17、值又往往需要根据所研究问题的特点来灵活确定。,例题：现代人喝茶越来越多，对茶也越来越讲究。此调查目的就是研究在公寓小区里开设一家茶叶店计划的可行性。该小区总共有5000人，抽选是按不放回简单随机抽样的随机数表方法。右表的数据是调查资料的一部分，50个人从一个公寓小区抽选。数据处理人员据此进行常规统计分析，以便得到该小区居民的整体情况。,实例数据,（一）计数计算出符合特定条件的全部个体数目。从上表可以很容易地看出，男性=24女性=26（二）比例,男性比例(n1/n)100%24/50100%48%,（三）分布 为了计算年龄分布，需规定分组标准，据此进行分组，在这之前要首先按年龄进行排序。,（四）平均数与标准差 概括反映分布状况的两个基本指标，平均数说明样本或总体某一变量的一般水平，标准差则刻划样本或总体某一变量相对于平均数的差异大小。,（五）估计总体参数 样本参数计算以计数和加总为基础，总体参数估计以比例和平均数为基础，并且需要考虑与样本均值的抽样分布和样本比例的抽样分布有关系，因此要计算抽样方差 和进行区间估计：,谢谢！,
