《数据的整理与显.ppt》由会员分享，可在线阅读，更多相关《数据的整理与显.ppt（97页珍藏版）》请在三一办公上搜索。
1、第 3 章 数据的整理与显示,第 3 章 数据的整理与显示,3.1 数据的预处理 3.2 统计分组与频数分布3.3 统计图3.4 统计表,学习目标,了解数据预处理的内容和目的掌握统计分组的方法掌握品质数据的整理与图示方法掌握数值型数据的整理与图示方法用Excel作频数分布表和统计图合理使用统计表,3.1 数据的预处理,一.数据审核二.数据筛选 数据排序,数据的预处理,数据的审核检查数据中的错误数据的筛选找出符合条件的数据数据排序升序和降序寻找数据的基本特征,一、数据审核,数据审核原始数据(raw data),审核的内容完整性审核应调查的单位或个体是否有遗漏调查项目或指标是否填写齐全准确性审核内
2、容是否真实反映客观实际情况是否有错误：逻辑检查、计算检查,数据的审核二手数据(second hand data),适用性审核数据的来源、口径以及有关的背景材料数据是否符合自己分析研究的需要时效性审核最新的数据确认是否要做进一步的加工整理,二、数据筛选,数据筛选(data filter),数据筛选的内容包括将某些不符合要求的数据或有明显错误的数据予以剔除将符合某种特定条件的数据筛选出来,用Excel进行数据筛选,8名学生的考试成绩数据,数据筛选(data filter),【例】8名学生4门课程的考试成绩数据。找出统计学成绩等于75分的学生，英语成绩最高的前3名学生，4门课程成绩都大于70分的学生
3、。,三、数据排序,数据排序(data rank),将数据按一定顺序排列，以发现一些明显的特征或趋势。排序有助于对数据检查纠错，以及为重新归类或分组等提供依据在某些场合，排序本身就是分析的目的之一,数据排序(方法),分类数据的排序字母型数据：升序、降序。汉字型数据：按首位拼音字母排列，或按笔画多少排序。数值型数据的排序递增排序：x(1)x(2)x(n),用Excel进行数据排序,8名学生的考试成绩数据,数据排序(方法),3.2 统计分组与频数分布,一.统计分组频数分布,一、统计分组的概念及方法,（一）统计分组的概念 根据统计研究的目的和客观现象的内在特点，按照一定的标志把被研究总体划分为若干个性
4、质不同但又有联系的组，称为统计分组。,（二）统计分组的方法,1、按品质标志分组：按研究对象的某种属性特征分组（1）简单分组：人口按性别分组，企业按行业分组，学生按专业分组等等,（二）统计分组的方法,（2）复合分组：对总体按两个或两个以上的标志进行的重叠式分组。例如，我国把社会经济部门分为第一产业、第二产业、第三产业，第一产业又可分为农、林、牧、渔业。,复合分组表,（二）统计分组的方法,2、按数量标志分组：按表现总体数量特征的标志进行分组。例如，人口按年龄分组、企业按销售额分组等（1）单项式分组：每组变量值是一个值（2）组距式分组：每组变量值是一个区间。,某车间工人产量分组表,单项式分组,某地区
5、120家企业按利润分组表,组距式分组,二、频数分布,频数分布的概念,频数(frequency)：落在某一组中的数据个数频数分布(frequency distribution)：把各个组及其相应的频数全部列出，并用表格形式表现出来，称为频数分布。比率(ratio)：各组次数与总次数之比。百分比(percentage)：将比率乘以100得到的值,（一）品质数据的频数分布,1、分类数据的频数分布表,（1）列出各类别,（3）生成频数分布表,1、分类数据整理频数分布表(例题分析),【例】一家市场调查公司为研究不同品牌饮料的市场占有率，对随机抽取的一家超市进行了调查。调查员在某天对50名顾客购买饮料的品牌
6、进行了记录，如果一个顾客购买某一品牌的饮料，就将这一饮料的品牌名字记录一次。右边就是记录的原始数据,制作频数分布表,Excel,分类数据整理频数分布表,2、顺序数据的整理(可计算的指标),（1）累积频数(cumulative frequencies)：各类别频数的逐级累加（2）累积频率(cumulative percentages)：各类别频率(百分比)的逐级累加向上累积：由第一项向最后一项累加（变量值由小到大累加）向下累积：由最后一项向第一项累加（变量值由大到小累加）,顺序数据的频数分布表(例题分析),【例】在一项城市住房问题的研究中，研究人员在甲乙两个城市各抽样调查300户，其中的一个问题
7、是：“您对您家庭目前的住房状况是否满意？”1.非常不满意2.不满意3.一般；4.满意5.非常满意,顺序数据的频数分布表(例题分析),3、分类汇总,如果我们已经建立了一张某单位部分人事统计表，如下所示。试按职称进行分类汇总。,4、数据透视表(pivot table),可以从复杂的数据中提取有用的信息可以对数据表的重要信息按使用者的习惯或分析要求进行汇总和作图形成一个符合需要的交叉表(列联表)注意：数据源表中的首行必须有列标题,数据透视表(用Excel创建数据透视表),第1步：在Excel工作表中建立数据清单第2步：选中数据清单中的任意单元格，并选择【数据】菜单 中的【数据透视表和数据透视图】第3
8、步：确定数据源区域第4步：在【向导3步骤之3】中选择数据透视表的输出位置。然后选择【布局】第5步：在【向导布局】对话框中，依次将”分类变量“拖至 左边的“行”区域，上边的“列”区域，将需要汇总的“变量”拖至“数据区域”第6步：然后单击【确定】，自动返回【向导3步骤之3】对 话框。然后单击【完成】，即可输出数据透视表,数据透视表,（二）数值型数据的频数分布,分组方法,1、单变量值分组(要点),1.将一个变量值作为一组2.适合于离散变量3.适合于变量值较少的情况,单变量值分组（实例）,117 122 124 129 124 129 117 130 122 125123 131 125 127 12
9、2 133 126 122 119 124121 125 123 126 126 130 127 123 119 122122 124 127 123 125 125 124 123 127 130126 126 128 128 124 125 123 128 124 125,【例】某生产车间50名工人日加工零件数如下（单位：个）。试采用单变量值对数据进行分组。,单变量值分组表,=countif(range,criteria),用Excel制作频数分布表,2、组距分组(要点),将变量值的一个区间作为一组适合于连续变量或变量值较多遵循“不重不漏”的原则可采用等距分组，或不等距分组,组距分组步骤,
10、确定组数：可以按 Sturges 提出的经验公式来确定,确定组距：组距(Class Width)是一个组的上限与下限之差.组距(最大值-最小值)组数,统计出各组的频数并整理成频数分布表,组距分组(几个概念),1.下限(low limit)：一个组的最小值2.上限(upper limit)：一个组的最大值3.组距(class width)：上限与下限之差4.组中值(class midpoint)：下限与上限之间的中点值,频数分布表的编制(例题分析),【例】某电脑公司2011年前四个月各天的销售量数据（单位：台）。试对数据进行分组。,频数分布表的编制步骤,确定组数：,确定组距：组距(237-141
11、)10=9.6 10,统计出各组的频数。每个组的数据满足axb(上限值不在内原则）(Excel的计数规则是axb)用Excel制作频数分布表,等距分组表(上下组限重叠),等距分组表(上下组限间断),等距分组表(使用开口组),等距分组表(使用开口组),不等距分组,2010年中国人口按年龄分组,等距分组与不等距分组（在表现频数分布上的差异）,等距分组各组频数的分布不受组距大小的影响可直接根据绝对频数来观察频数分布的特征和规律不等距分组各组频数的分布受组距大小不同的影响各组绝对频数的多少不能反映频数分布的实际状况用频数密度（频数密度频数/组距）反映频数分布的实际状况,3.3 统计图 一、品质数据统计
12、图 二、数值型数据统计图 三、统计绘图的综合运用洛伦茨曲线,一、品质数据统计图,（一）条形图和柱形图,用宽度相同的条形的高度或长短来表示各类别数据的图形有单式条形图、复式条形图等形式绘制时，各类别可以放在纵轴，称为条形图(bar Chart)，也可以放在横轴，称为柱形图(column chart),条形图,柱形图(例题分析),条形图(例题分析),对比条形图(side-by-side bar chart),分类变量在不同时间或不同空间上有多个取值对比分类变量的取值在不同时间或不同空间上的差异或变化趋势,对比条形图,对比条形图(例题分析),（二）饼图(pie Chart),也称圆形图，是用圆形及圆
13、内扇形的面积来表示数值大小的图形主要用于表示总体或样本的结构,分类数据图示,（三）环形图(annular chart),环形图中间有一个“空洞”，总体中的每一部分数据用环中的一段表示环形图与圆形图类似，但又有区别圆形图只能显示一个总体的构成情况环形图则可以同时绘制多个总体的数据系列环形图可用于结构比较研究,环形图,环形图(例题分析),（一）分组数据直方图,二、数值型数据统计图,直方图(histogram),用矩形的宽度和高度来表示频数分布本质上是用矩形的面积来表示频数分布在直角坐标中，用横轴表示数据分组，纵轴表示频数或频率，各组与相应的频数就形成了一个矩形，即直方图直方图下的总面积等于1,直方
14、图的绘制,某电脑公司销售量分布的直方图,我一眼就看出来了，销售量在170180之间的天数最多!,直方图,直方图与条形图的区别,条形图是用条形的长度表示各类别频数的多少，其宽度(表示类别)则是固定的直方图是用面积表示各组频数的多少，矩形的高度表示各组的频数或百分比，宽度表示各组的组距，其高度与宽度均有意义直方图的矩形是连续排列，条形图则是分开排列条形图主要用于展示品质数据，直方图则主要用于展示数值型数据,数值型数据的图示,STATISTICA,（二）未分组数据茎叶图和箱线图,茎叶图(stem-and-leaf display),用于显示未分组的原始数据的分布由“茎”和“叶”两部分构成，图形是由数
15、字组成的高位数值作树茎，个位数字作树叶茎叶图与直方图的区别直方图可观察数据的分布状况，但没有具体的数值茎叶图既能给出数据的分布状况，又保留了原始数据的信息直方图适用于大批量数据，茎叶图适用于小批量数据,茎叶图(例题分析),箱线图(box plot),用于显示未分组的原始数据的分布绘制方法是：首先找出一组数据的5个特征值，即最大值、最小值、中位数Me 和两个四分位数(下四分位数QL和上四分位数QU）连接两个四分位数画出箱子，再将两个极值点与箱子相连接 该箱线图也称为Median/Quart./Range箱线图,单批数据箱线图(箱线图的构成),中位数,4,6,8,10,12,Median/Quar
16、t./Range箱线图,单批数据箱线图(例题分析),分布的形状与箱线图,不同分布的箱线图,多批数据箱线图(例题分析),【例】从某大学经济管理专业二年级学生中随机抽取11人，对8门主要课程的考试成绩进行调查，所得结果如表。试绘制各科考试成绩的批比较箱线图，并分析各科考试成绩的分布特征,多批数据箱线图(例题分析),8门课程考试成绩的箱线图,11名学生8门课程考试成绩的箱线图,Min-Max,25%-75%,Median value,45,55,65,75,85,95,105,学生1,学生2,学生3,学生4,学生5,学生6,学生7,学生8,学生9,学生10,学生11,多批数据箱线图(例题分析),箱线
17、图K线图(上证指数K线图),数值型数据的图示,（三）时间序列数据折线图,折线图(line plot),绘制折线图时应注意:时间一般绘在横轴，指标数据绘在纵轴图形的长宽比例要适当，大致为10：7一般情况下，纵轴数据下端应从“0”开始，以便于比较。数据与“0”之间的间距过大时，可以采取折断的符号将纵轴折断,折线图(例题分析),【例】我国19902010年城乡居民家庭的人均收入数据如表。试绘制线图,时间序列,折线图(例题分析),数值型数据的图示,（四）多变量数据的图示 散点图、气泡图、雷达图,两个变量间的关系二维散点图(2D Scatterplots),展示两个变量之间的关系用横轴代表变量x，纵轴代
18、表变量y，每组数据(xi，yi)在坐标系中用一个点表示，n组数据在坐标系中形成的n个点称为散点，由坐标及其散点形成的二维数据图,两变量,两个变量间的关系二维散点图(2D Scatterplots),三个变量间的关系气泡图(bubble chart),显示三个变量之间的关系图中数据点的大小依赖于第三个变量,三变量,也称为蜘蛛图(spider chart)显示多个变量的图示方法假定各变量的取值具有相同的正负号可用于研究多个样本之间的相似程度,多变量数据雷达图(radar chart),多变量数据雷达图(例题分析),【例】2010年我国城乡居民家庭平均每人各项生活消费支出构成数据如表。试绘制雷达图,
19、今天的主食是面包,雷达图,多变量数据雷达图(例题分析),数据类型及图示(小结),三、Excel统计绘图的综合运用洛伦茨曲线,【例】我国2008年农村居民按纯收入分组户数占调查户比重资料如下表所示。试绘制洛伦茨曲线。,洛仑兹曲线,洛伦茨曲线,3.4 统计表,一.统计表的构成二.统计表的设计,统计表的结构,行标题,列标题,数字资料,表头,附加,总标题应满足3W（when、where、what)要求计量单位相同时，可放在表的右上角标明，不同时应放在每个指标后或单列出一列标明表中的上下两条横线一般用粗线，其他线用细线通常情况下，统计表的左右两边不封口表中的数据一般是右对齐，有小数点时应以小数点对齐，而且小数点的位数应统一表中不应有空格，无数字的表格用“”表示，应有数字而不祥或不需的用“”表示。必要时可在表的下方加上注释。,统计表的设计,统计表的设计(比较与选用),统计表的设计(比较与选用),统计表的设计(比较与选用),本章小结,数据预处理的内容和目的品质数据的整理与显示方法数值型数据的整理与显示方法合理使用统计表用Excel作频数分布表和图形,
