《分类与回归分析课件.ppt》由会员分享，可在线阅读，更多相关《分类与回归分析课件.ppt（30页珍藏版）》请在三一办公上搜索。
1、分类树与回归树分析,决策树分类,饮酒与产妇年龄发生早产的风险：,低风险,高风险,决策树的基本概念： 分类：决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。一般的数据挖掘工具，允许选择分裂条件和修剪规则，以及控制参数（最小节点的大小，最大树的深度等等）来限制决策树的过拟合（overfiting)。过程：通过递归分割的过程构建决策树。 寻找初始分裂：整个训练集作为产生决策树的集合，训练集每个记录必须是已经分好类的。决定哪个属性（Field）域作为目前最好的分类指标。一般的做法是穷尽所有的属性域，对每个属性域分裂的好坏做出量化，计算出最好的一个分裂。量化的标准是计算
2、每个分裂的多样性（diversity）指标GINI指标。 生成一棵完整的树：重复第一步，直至每个叶节点内的记录都属于同一类。 数据的修剪：不同的算法有不同修剪规则（修剪成大小合适的树）。,CHAID（Chi-squared Automatic Interaction Detector），由Kass于1980年提出，其核心思想是：根据给定的结果变量（即目标变量）和经过筛选的特征指标（即预测变量）对样本进行最优分割，按照卡方检验的显著性进行多元列联表的自动判断分组。其分类过程是：首先选定分类的目标变量，然后用分类指标与结果变量进行交叉分类，产生一系列二维分类表，分别计算二维分类表的2值，比较P值的
3、大小，以P值最小的二维表作为最佳初始分类表，在最佳二维分类的基础上继续使用分类指标对目标变量进行分类，重复上述过程直到P大于设定的有统计意义的值时则分类停止。目标变量可以为nominal、ordinal、continuous三种类型，每个拆分点可以有多个子结点。,一、方法选择,Exhaustive CHAID，由Biggs于1991年提出，通过连续合并相近的对子反复检测来选择最佳拆分点，相对于CHAID法需要花费较长的时间。目标变量可以为nominal、ordinal、continuous三种类型，其每个拆分点可以有多个子结点。,C&RT（Classification and Regressi
4、on Trees），由Breiman等于1984年首次提出，CART在计算过程中充分利用二叉树的结构，即根结点包含所有样本，对预测变量应用多种统计方法反复运算，将根结点分割为两个子结点，这个过程又在子结点上重复进行，成为一个回归过程，直至不可再分成为子结点为止，最后产生同质的与目标变量有关的子集。其目标是以尽量小的树将目标变量分入同质的组中。目标变量也可以为nominal、ordinal、continuous三种类型，其最终生成一个二叉树。,QUEST（Quick, Unbiased, Efficient Statistical Tree），由Loh和Shih于1997年提出，是一种快速且可避
5、免由多分类预测变量引起的偏倚的算法。目标变量仅限于nominal型，且其最后生成的是二叉树。,二、模型定义,在这一步可以选择并定义目标变量和预测变量，如果选择了QUEST法，则目标变量只能为nominal型。要改变变量的类型，可以对变量类型进行重定义（define variables）。（注意：目标变量类型的不同，树枝修剪的规则也不同）,三、模型验证,设定合适的验证模型的方式：Do not validate the tree：不另外建立数据集对模型进行验证，模型的建立 和检验都基于整个数据集。Partition my data into subsamples：整个数据文件成两部分，即训练样 本
6、（training sample）和检验样本（testing sample），如果通过训练样本 生成的模型能够较好地拟合检验样本，则表明生成的决策树对类似于当 前数据集结构的更大的数据集具有较好的通用性。 在生成满意的训练样本的决策树后，对样本进行检验，决策树即变为应用 检验样本后的结果，接着通过考察估计误差、gain系数，可以决定生成的 决策树的通用程度。当样本量较大时可以选择该法。Cross-validation：该法将整个数据集拆分成数个相等大小的部分，分别以 每一部分作为检验样本，其余部分作为训练样本，生成数个决策树，并计 算各个决策树的危险估计（risk estimates）的平均值
7、。该法适用于样本量较 小的情形。,四、修剪树枝,在这一步中可以通过设置树状图的最大层数（Maximum Tree Depth）、根结点（Parent Node）及子结点（Child Node）的最小例数（Minimum Number of Cases）来确定生成树的终止规则（Stoping Rules）；终止规则会随着所选定算法的不同而不同；当目标变量是nominal型时，还可以估计对错误分类造成的费用（costs）；总之，这一部分比较复杂也较难掌握。,五、实例分析,分类决策树（回归树）在病例组合中的应用,根据医疗资源消耗相近的原则，选取每个病例的住院总费用为分组轴心（即目标变量），以年龄、婚
8、否、性别、手术、护理、抢救、伴随病、费用类别、入院情况、转归情况为分类结点（即预测变量），并对目标变量和预测变量进行重新编码 。,由于住院总费用呈正偏态分布，对其作对数变换，变换后的数据经正态性检验符合要求，故将其对数值作为目标变量。算法选用CHAID法，且抽取10的样本做回代检验。下图为生成的树形图。,图1：住院费用的回归树,从图可以看出，树的第一个结点是年龄，说明年龄与肠道传染病的住院总费用相关性最显著。其中，年龄在40岁以上者的总费用最高。在年龄为40岁以上者中，与住院总费用相关性最显著的为病人的费用类别，费用类别为非自费（公费及其它）者的总费用相对较高。因此，从图可以得出结论：年龄在4
9、0岁以上，并且费用类别为非自费的病人住院总费用最高。,从上表可以看出，经过CHAID分析，最后将肠道传染病重新组合为4个组，分别为：年龄为020岁的病人、年龄为2040岁的病人、年龄为四十岁以上且费用类别为自费的病人、年龄为40岁以上且费用类别为非自费的病人,回代检验的树形图,回代检验的结果与训练样本的结果基本一致，说明拟合较好，因此该决策树有较好的通用性。,图2：回代检验的回归树,训练样本和检验样本的误差率估计值,训练样本和检验样本的误差率估计值均较小，说明分类结果较为合理。通过以上分析我们可以得出结论： 肠道传染病的住院总费用经过CHAID分析后，得到两个分类点，分别为年龄和费用类别，从而
10、得到四个病例组合，其中年龄为40岁以上且费用类别为非自费的病人住院总费用最高，并且回代检验和Risk统计量的结果表明分析较为合理。,（1）熟悉欲分析资料的变量特征，合理地选择目标变量及预测变量。如上例中目标变量除住院总费用外，还可选用平均住院天数；（2）必须准确编码预测变量，并对其变量类型进行正确的设定；目标变量是连续变量时，须符合正态性的要求；（3）选用的算法不同会直接影响到模型的建立，因此，一定要根据实际情况，考虑目标变量及预测变量的类型， 对树的算法作出合理的选择。对于可以同时选用几种算法的情形，可以对每种算法的结果进行分析，最后找出最佳的模型。（4）对于大样本的资料，可以选用模型验证的
11、第二种方式进行回代检验，当样本量较小时，则应该选用第三种方式（Cross-validation）进行模型检验。（5）可以使用传统的统计模型与Tree模型的分析结果作一对比分析。,六、注意事项,七、决策树的优缺点,优点：1、不受缺省值的影响，可充分利用缺省值。2、对异常值不敏感。3、树结构、判断规则呈现结果4、目标变量可以是多种类型的变量。5、变量间存在非线性、交互效应等同样适用。缺点： 不稳定（不同的随机种子、不同的结点划分、不同的算法可能获得十分不同的结果）。,八、Logistic模型和多元线性回归模型与决策树比较,（一）Logistic回归与分类树比较,实例分析比较,Logistic回归分
12、析：,Y=,1 二分类变量 X 连续变量0,Logit(p)与饮酒量呈线性关系,Logit(p)与年龄呈线性关系,Logit(p)与饮酒和年龄的关系 饮酒与年龄的关系,Logistic回归分析结果：,如何解释饮酒和年龄的OR？,Logistic回归预测（分类）结果：,SPSS软件决策树分析：,分类树分析结果：,1.饮酒量（x1）与早产的关系最大，且在饮酒量1.3（两/天）的组中， 年龄（x2）是影响其早产的重要因素。2.饮酒量x11.3 （两/天）且年龄x2 26岁的孕妇具有最高的早产风险。,（二）多元线性回归与回归树比较,讨论：1、决策树在数据分析中的主要作用是什么？2、如何选择模型？3、能否用决策树分析来替代Logistic回归分析，为什么？4、多元线性回归与回归树的主要区别？5、产妇饮酒、产妇年龄与早产关系的分析可否用MANOVA？ MANOVA分析与分类树的区别？6、决策树分析存在问题吗？主要问题是什么？,
