多元统计分析聚类分析ppt课件.ppt

《多元统计分析聚类分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《多元统计分析聚类分析ppt课件.ppt（234页珍藏版）》请在三一办公上搜索。

1、聚类分析,系统聚类分析 直观，易懂。快速聚类 快速，动态。有序聚类 保序(时间顺序或大小顺序)。,例 对10位应聘者做智能检验。3项指标X，Y和Z分别表示数学推理能力，空间想象能力和语言理解能力。其得分如下，选择合适的统计方法对应聘者进行分类。,1 什么是聚类分析,我们直观地来看，这个分类是否合理？ 计算4号和6号得分的离差平方和： (21-20)2+(23-23)2+(22-22)2=1 计算1号和2号得分的离差平方和： (28-18)2+(29-23)2+(28-18)2=236 计算1号和3号得分的离差平方和为482，由此可见一般，分类可能是合理的，欧氏距离很大的应聘者没有被聚在一起。

2、由此，我们的问题是如何来选择样品间相似的测度指标，如何将有相似性的类连接起来？,聚类分析根据一批样品的许多观测指标，按照一定的数学公式具体地计算一些样品或一些参数(指标)的相似程度，把相似的样品或指标归为一类，把不相似的归为一类。 例如对上市公司的经营业绩进行分类； 根据经济信息和市场行情，客观地对不同商品、不同用户及时地进行分类。 例如当我们对企业的经济效益进行评价时，建立了一个由多个指标组成的指标体系，由于信息的重叠，一些指标之间存在很强的相关性，所以需要将相似的指标聚为一类，从而达到简化指标体系的目的。,思考：样本点之间按什么刻画相似程度 思考：样本点和小类之间按什么刻画相似程度 思考：

3、小类与小类之间按什么来刻画相似程度,一、变量测量尺度的类型 为了将样本进行分类，就需要研究样品之间的关系；而为了将变量进行分类，就需要研究变量之间的关系。但无论是样品之间的关系，还是变量之间的关系，都是用变量来描述的，变量的类型不同，描述方法也就不同。通常，变量按照测量它们的尺度不同，可以分为三类。 (1)间隔尺度。指标度量时用数量来表示，其数值由测量或计数、统计得到，如长度、重量、收入、支出等。一般来说，计数得到的数量是离散数量，测量得到的数量是连续数量。在间隔尺度中如果存在绝对零点，又称比例尺度。,2 相似系数和距离,(2)顺序尺度。指标度量时没有明确的数量表示，只有次序关系，或虽用数量表

4、示，但相邻两数值之间的差距并不相等，它只表示一个有序状态序列。如评价酒的味道，分成好、中、次三等，三等有次序关系，但没有数量表示。 (3)名义尺度。指标度量时既没有数量表示也没有次序关系，只有一些特性状态，如眼睛的颜色，化学中催化剂的种类等。在名义尺度中只取两种特性状态的变量是很重要的，如电路的开和关，天气的有雨和无雨，人口性别的男和女，医疗诊断中的“十”和“一”，市场交易中的买和卖等都是此类变量。,二、数据的变换处理,所谓数据变换，就是将原始数据矩阵中的每个元素，按照某种特定的运算把它变成为一个新值，而且数值的变化不依赖于原始数据集合中其它数据的新值。,1、中心化变换 中心化变换是一种坐标轴

5、平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。设原始观测数据矩阵为：,中心化变换的结果是使每列数据之和均为0，即每个变量的均值为0，而且每列数据的平方和是该列变量样本方差的(n1)倍，任何不同两列数据之交叉乘积是这两列变量样本协方差的(n1)倍，所以这是一种很方便地计算方差与协方差的变换。,2、极差规格化变换 规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差，就得到规格化数据。即有：,经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小

6、数值为0，其余数据取值均在01之间；并且变换后的数据都不再具有量纲，便于不同的变量之间的比较。,3、标准化变换 标准化变换也是对变量的数值和量纲进行类似于规格化变换的一种数据处理方法。首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。即有：,经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。变换后，数据短阵中任何两列数据乘积之和是两个变量相关系数的（n1）倍，所以这是一种很方便地计算相关矩阵的变换。,4对数变换 对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。即：,三、样品间亲疏程度的测度,

7、研究样品或变量的亲疏程度的数量指标有两种，一种叫相似系数，性质越接近的变量或样品，它们的相似系数越接近于1或一l，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；另一种叫距离，它是将每一个样品看作p维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。,变量之间的聚类即R型聚类分析，常用相似系数来测度变量之间的亲疏程度。而样品之间的聚类即Q型聚类分析，则常用距离来测度样品之间的亲疏程度。 注:变量聚类放到因子分析后面,1、定义距离的准则,定义距离要求满足第i个和第j个样品之间的距离如下四个条件（距离可以自己定义，只要

8、满足距离的条件,2、常用距离的算法,设 和是第i和 j 个样品的观测值，则二者之间的距离为：,明氏距离,特别，欧氏距离,(1) 明氏距离测度,明考夫斯基距离主要有以下两个缺点： 明氏距离的值与各指标的量纲有关，而各指标计量单位的选择有一定的人为性和随意性，各变量计量单位的不同不仅使此距离的实际意义难以说清，而且，任何一个变量计量单位的改变都会使此距离的数值改变从而使该距离的数值依赖于各变量计量单位的选择。 明氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合,(2)杰氏距离这是杰斐瑞和马突斯塔(Jffre

9、ys & Matusita)所定义的一种距离，其计算公式为：,(3)兰氏距离这是兰思和维廉姆斯(Lance & Williams)所给定的一种距离，其计算公式为：,这是一个自身标准化的量，由于它对大的奇异值不敏感，这样使得它特别适合于高度偏倚的数据。虽然这个距离有助于克服明氏距离的第一个缺点，但它也没有考虑指标之间的相关性。,(4)马氏距离 这是印度著名统计学家马哈拉诺比斯(PCMahalanobis)所定义的一种距离，其计算公式为：,分别表示第i个样品和第j样品的p指标观测值所组成的列向量，即样本数据矩阵中第i个和第j个行向量的转置，表示观测变量之间的协方差短阵。在实践应用中，若总体协方差矩

10、阵未知，则可用样本协方差矩阵作为估计代替计算。,马氏距离又称为广义欧氏距离。显然，马氏距离与上述各种距离的主要不同就是马氏距离考虑了观测变量之间的相关性。如果假定各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测指标的标准差的倒数作为权数进行加权的欧氏距离。因此，马氏距离不仅考虑了观测变量之间的相关性，而且也考虑到了各个观测指标取值的差异程度，为了对马氏距离和欧氏距离进行一下比较，以便更清楚地看清二者的区别和联系，现考虑一个例子。,例如，假设有一个二维正态总体，它的分布为：,(5) 斜交空间距离,由于各变量之间往往存在着不同的相关关系，用正交空间的距离来计算样本

11、间的距离易变形，所以可以采用斜交空间距离。,当各变量之间不相关时，斜交空间退化为欧氏距离。,2、相似系数的算法（1）相似系数,设 和是第 和 个样品的观测值，则二者之间的相似测度为:,其中,（2）夹角余弦,夹角余弦时从向量集合的角度所定义的一种测度变量之间亲疏程度的相似系数。设在n维空间的向量,五、距离和相似系数选择的原则 一般说来，同一批数据采用不同的亲疏测度指标，会得到不同的分类结果。产生不同结果的原因，主要是由于不同的亲疏测度指标所衡量的亲疏程度的实际意义不同，也就是说，不同的亲疏测度指标代表了不同意义上的亲疏程度。因此我们在进行聚类分析时，应注意亲疏测度指标的选择。通常，选择亲疏测度指

12、标时，应注意遵循的基本原则主要有：,(1)所选择的亲疏测度指标在实际应用中应有明确的意义。如在经济变量分析中，常用相关系数表示经济变量之间的亲疏程度。,(2)亲疏测度指标的选择要综合考虑已对样本观测数据实施了的变换方法和将要采用的聚类分析方法。如在标准化变换之下，夹角余弦实际上就是相关系数；又如若在进行聚类分析之前已经对变量的相关性作了处理，则通常就可采用欧氏距离，而不必选用斜交空间距离。此外，所选择的亲疏测度指标，还须和所选用的聚类分析方法一致。如聚类方法若选用离差平方和法，则距离只能选用欧氏距离。,(3)适当地考虑计算工作量的大小。 如对大样本的聚类问题，不适宜选择斜交空间距离，因采用该距

13、离处理时，计算工作量太大。 样品间或变量间亲疏测度指标的选择是一个比较复杂且带主规性的问题，我们应根据研究对象的特点作具体分折，以选择出合适的亲疏测度指标。实践中，在开始进行聚类分析时，不妨试探性地多选择几个亲疏测度指标，分别进行聚类，然后对聚类分析的结果进行对比分析，以确定出合适的亲疏测度指标,至此，我们已经可以根据所选择的距离构成样本点间的距离表,样本点之间被连接起来。,四、样本数据与小类、小类与小类之间的度量,1 、最短距离（Nearest Neighbor),最长距离（Furthest Neighbor ）,组间平均连接（Between-group Linkage),组内平均连接法（W

14、ithin-group Linkage),重心法（Centroid clustering):均值点的距离,离差平方和法连接,2，4,1，5,6，5,红绿（2，4，6，5）8.75 离差平方和增加8.752.56.25 黄绿（6，5，1，5）14.75离差平方和增加14.758.56.25黄红（2，4，1，5）10100故按该方法的连接和黄红首先连接。,3 系统聚类方法,1、根据样品的特征，规定样品之间的距离 ，共有 个。将所有列表，记为D（0）表，该表是一张对称表。所有的样本点各自为一类。,2、选择D（0）表中最小的非零数，不妨假设 ，于是将 和 合并为一类，记为 。,（一）方法,开始各样本自

15、成一类。,3、利用递推公式计算新类与其它类之间的距离。分别删除D（0）表的第p，q行和第p，q列，并新增一行和一列添上的结果，产生D（1）表。,4、在D（1）表再选择最小的非零数，其对应的两类有构成新类，再利用递推公式计算新类与其它类之间的距离。分别删除D（1）表的相应的行和列，并新增一行和一列添上的新类和旧类之间的距离。结果，产生D（2）表。类推直至所有的样本点归为一类为止。,（二）常用的种类,1、 最短距离法 设抽取五个样品，每个样品只有一个变量，它们是1，2，3.5，7，9。用最短距离法对5个样品进行分类。首先采用绝对距离计算距离矩阵：,然后 和 被聚为新类 ，得 ：,最短距离法的递推公

16、式,假设第p类和第q类合并成第r类，第r类与其它各旧类的距离按最短距离法为：,各步聚类的结果：(1,2) (3) (4) (5)(1,2,3) (4) (5)(1,2,3) (4,5)(1,2,3,4,5),2、最长距离法 用最长距离法对5个样品进行分类。首先采用绝对距离计算距离矩阵：,然后和被聚为新类，得：,最长距离法的递推公式,假设第p类和第q类合并成第r类，第r类与其它各旧类的距离按最长距离法为：,3、中间距离法,最长距离,最短距离,中间距离,用中间距离法对5个样品进行分类。首先采用绝对距离计算距离平方矩阵：,中间距离法的递推公式,4、类平均法,类平均法定义类间的距离是两类间样品的距离的

17、平均数。对应我们前面讨论的组间,然后和被聚为新类，得 ：,类平均法的递推公式,假设第p类和第q类合并成第r类，第r类与其它各旧类的距离按最短距离法为：,类和q类与L类的距离的加权平均数,5、可变类平均法,8、重心法,用重心法对5个样品进行分类。首先采用绝对距离计算距离平方矩阵：,分别为Gp和Gq的重心，类与类之间的距离定义为两个类重心（类内样品平均值）间的平方距离。,重心法，也称为样品的均值法。设Gp和Gq 为两个类,设某一步Gp和Gq的重心分别为为和，类内的样品数分别为和，如果要把Gp和Gq合并为Gr类，则Gr类的样品数nr=np+nq，Gr类的重心为 和 的加权算术平均数：,重心法递推公式

18、,假设第p类和第q类合并成第r类，第r类与其它各旧类的距离按重心法为：,G4和G6的距离为,6、可变方法,7、离差平方和法,离差平方和法,（三）确定类的个数,在聚类分析过程中类的个数如何来确定才合适呢？这是一个十分困难的问题，人们至今仍未找到令人满意的方法。但是这个问题又是不可回避的。下面我们介绍几种方法。,1、给定阈值通过观测聚类图，给出一个合适的阈值T。要求类与类之间的距离不要超过T值。例如我们给定T=0.35，当聚类时，类间的距离已经超过了0.35，则聚类结束。,总离差平方和的分解（准备知识）,如果样品被分成两类,可以证明：总离差平方和组内离差平方和组间离差平方和令T为总离差平方和令PG

19、为分为G类的组内离差平方和。,2、统计量 其中T是数据的总离差平方和， 是组内离差平方和。 比较大，说明分G个类时类内的离差平方和比较小，也就是说分G类是合适的。但是，分类越多，每个类的类内的离差平方和就越小， 也就越大；所以我们只能取合适的G，使得 足够大，而G本身很小，随着G的增加， 的增幅不大。比如，假定分4类时， =0.8；下一次合并分三类时，下降了许多， =0.32，则分4 类是合适的。,3、伪F统计量的定义为 伪F统计量用于评价聚为G类的效果。如果聚类的效果好，类间的离差平方和相对于类内的离差平方和大，所以应该取伪F统计量较大而类数较小的聚类水平。,4、伪 统计量的定义为 其中 和

20、 分别是的类内离差平方和，是将K和L合并为第M类的离差平方和 = - - 为合并导致的类内离差平方和的增量。用它评价合并第K和L类的效果，伪 统计量大说明不应该合并这两类，应该取合并前的水平。,五、 系统聚类法的基本性质,（一） 单调性,在聚类分析过程中，并类距离分别为l k（k=1，2，3，）若满足 ，则称该聚类方法具有单调性。可以证明除了重心法和中间距离法之外，其他的系统聚类法均满足单调性的条件。,（二）空间的浓缩和扩张,1、 定义矩阵的大小,设同阶矩阵D（A）和D（B），如果D（A）的每一个元素 不小于D（B）的每一个元素，则记为 。,2、空间的浓缩和扩张 设有两种系统聚类法A和B，他们

21、在第i步的距离矩阵分别为Ai和Bi（I=1，2，3），若AiBi ，则称第一种方法A比第二种方法B使空间扩张，或第二种方法比第一种方法浓缩。,3、方法的比较,D（短） D（平），D（重） D（平）； D（长） D（平）； 当 ，D（变平） D（平）； 当 ，D（变平） D（平）。,系统聚类分析方法的统一公式,出发点：上述聚类方法的并类原则和步骤是完全一样的，所不同的是类与类之间的距离公式有不同的定义，从而得到不同的递推公式。1969年维希特提出了统一的公式，这为编制统一的计算机程序提供了极大的方便性。,剩余信息的剔除,进行型聚类分析时，必须选择恰当的反映样本的变量，选择对聚类效果较为显著的变量

22、，剔除对聚类分析效果影响较小的变量。、原则：对所研究问题密切相关的变量具有较强分辨能力的变量、方法人为地挑选变量先用型聚类分析挑选主要变量，然后再进行型聚类分析。先进行主成分分析挑选主要变量，然后再进行型聚类分析。用判别分析检验变量的分辨能力。,六、主要的步骤,1、选择变量 （1）和聚类分析的目的密切相关 （2）反映要分类变量的特征 （3）在不同研究对象上的值有明显的差异 （4）变量之间不能高度相关2、计算相似性 相似性是聚类分析中的基本概念，他反映了研究对象之间的亲疏程度，聚类分析就是根据对象之间的相似性来分类的。有很多刻画相似性的测度,3、聚类 选定了聚类的变量，计算出样品或指标之间的相似

23、程度后，构成了一个相似程度的矩阵。这时主要涉及两个问题： （1）选择聚类的方法 （2）确定形成的类数,4、聚类结果的解释和证实,对聚类结果进行解释是希望对各个类的特征进行准确的描述，给每类起一个合适的名称。这一步可以借助各种描述性统计量进行分析，通常的做法是计算各类在各聚类变量上的均值，对均值进行比较，还可以解释各类产别的原因。,如果是变量聚类分析，聚类分析做完之后，各类中仍有较多的指标。也就是说聚类分析并没有达到降维的目的。这就需要在每类中选出一个代表指标，具体做法是：假设某类中有 个指标，首先分别计算类内指标之间的相关指数 ，然后计算某个指标与类内其他指标之间相关指数的平均数，即 取 最大

24、的 ，做为该类的代表。,例 某公司下属30个企业，公司为了考核下属企业的经济效益，设计了8个指标。为了避免重复，需要对这8个指标进行筛选，建立一个恰当的经济效益指标体系。通过计算30个企业8个指标的相关系数距离，数据是1-r2。得如下表:,试用将它们聚类。,x2,x3,x4,x5,x6,x7,x8,根据美国等20个国家和地区的信息基础设施的发展状况进行分类。Call每千人拥有的电话线数；movel每千人户居民拥有的蜂窝移动电话数；fee高峰时期每三分钟国际电话的成本；comp每千人拥有的计算机数；mips每千人计算机功率（每秒百万指令）；net每千人互联网络户主数。,例,Spss的world9

25、5.sav研究亚洲国家(地区)的经济发展水平和文化教育水平,对其进行分类,2 动态聚类,一、思想 系统聚类法是一种比较成功的聚类方法。然而当样本点数量十分庞大时，则是一件非常繁重的工作，且聚类的计算速度也比较慢。比如在市场抽样调查中，有4万人就其对衣着的偏好作了回答，希望能迅速将他们分为几类。这时，采用系统聚类法就很困难，而动态聚类法就会显得方便，适用。 动态聚类解决的问题是：假如有个样本点，要把它们分为类，使得每一类内的元素都是聚合的，并且类与类之间还能很好地区别开。动态聚类使用于大型数据,选择凝聚点,分 类,修改分类,分类是否合理,分类结束,Yes,No,用一个简单的例子来说明动态聚类法的

26、工作过程。例如我们要把图中的点分成两类。快速聚类的步骤： 1、随机选取两个点 和 作为聚核。 2、对于任何点 ，分别计算 3、若 ，则将 划为第一类，否则划给第二类。于是得图（b）的两个类。,4、分别计算两个类的重心，则得 和 ，以其为新的聚核，对空间中的点进行重新分类，得到新分类。,（a）空间的群点 (b) 任取两个聚核,(c) 第一次分类 (d) 求各类中心,(e) 第二次分类,二、选择凝聚点和确定初始分类,凝聚点就是一批有代表性的点，是欲形成类的中心。凝聚点的 选择直接决定初始分类，对分类结果也有很大的影响，由于凝聚点 的不同选择，其最终分类结果也将出现不同。故选择时要慎重通 常选择凝聚

27、点的方法有： (1) 人为选择，当人们对所欲分类的问题有一定了解时，根据经验，预先确定分类个数和初始分类，并从每一类中选择一个有代表性的样品作为凝聚点。 (2) 将数据人为地分为A类，计算每一类的重心，就将这些重心作为凝聚点。,(3) 用密度法选择凝聚点。以某个正数d为半径，以每个样品为球心，落在这个球内的样品数(不包括作为球心的样品)就叫做这个样品的密度。计算所有样品点的密度后，首先选择密度最大的样品作为第一凝聚点，并且人为地确定一个正数D(一般D d，常取D2d)。然后选出次大密度的样品点，若它与第一个凝 聚点的距离大于D，则将其作为第二个凝聚点；否则舍去这点，再 选密度次于它的样品。这样

28、，按密度大小依次考查，直至全部样品考查完毕为止此方法中，d要给的合适，太大了使凝聚点个数太 少，太小了使凝聚点个数太多。,(5) 随机地选择，如果对样品的性质毫无所知，可采用随机数表来选择，打算分几类就选几个凝聚点。或者就用前A个样品作为凝聚点(假设分A类)。这方法一般不提倡使用。,(4) 人为地选择一正数d，首先以所有样品的均值作为第一凝聚点。然后依次考察每个样品，若某样品与已选定的凝聚点的距离均大于d，该样品作为新的凝聚点，否则考察下一个样品。,三、衡量聚类结果的合理性指标和算法终止的标准,定义 设 表示在第n次聚类后得到的第i类集合， ， 为第n次聚类所得到的聚核。定义 若分类不合理时，

29、 会很大，随着分类的过程，逐渐下降，并趋于稳定。,定义 第i类中所有元素与其重心的距离的平方和:,是事前给定的一个充分小量 。,为所有K个类中所有元素与其重心的距离的平方和。,定义算法终止的标准是,五、动态聚类步骤为：第一，选择若干个观测值点为“凝聚点”；第二，可选择地，通过分配每个“凝聚点”最近的类里来形成临时分类。每一次对一个观测值点进行归类，“凝聚点”更新为这一类目前的均值；,第三，可选择地，通过分配每个“凝聚点”最近的类里来形成临时分类。所有的观测值点分配完后，这些类的“凝聚点”用临时类的均值代替。该步骤可以一直进行直到“凝聚点”的改变很小或为零时止；第四，最终的分类有分配每一个观测到

30、最近的“凝聚点”而形成。,例 我国经济发展的总目标是到2000年人民生活达到小康标准，因此，了解各地区目前对小康生活质量的实现程度。对各地区实现小康生活质量的状况进行综合评价，对各级政府部门具有重要意义。数据是1990年全国30个省在经济（jj）、教育（jy）、健康（jk）和居住环境（jz）四个方面对小康标准已经实现的程度，1表示已经达到或超过小康水平，0表示低于或多或少刚达到温饱水平。希望利用该数据对15个地区进行分类研究。,四、有序样本聚类法,（一）功能范畴与数据类型,有序样本聚类法又称为最优分段法。该方法是由费歇在1958年提出的。它主要适用于样本由一个变量描述的情况。或者将多变量综合成

31、为一个变量来分析。,设 是样本点构成的集合，样本点 在函数 上的取值为 。若 ，则将视为一类。不妨假设 。要将 分为 类；即 ，分类时不能打乱样本点的顺序，即每一类必须呈的 形式，即有序样本聚类。,系统聚类开始n个样品各自自成一类，然后逐步并类，直至所有的样品被聚为一类为止。而有序聚类则相反，开始所有的样品为一类，然后分为二类、三类等，直到分成n类。每次分类都要求产生的离差平方和的增量最小。,例,这里n=4，m=3。若将其分为两类，其结果应该是 对应中的点是 。,有序样本聚类法常常被用于系统的评估问题，被用来对样本点进行分类划级。例如，十二个地区的经济发展指数，排列出来以后，需要划分他们的等级

32、。一种方法是按照行政命令。规定三个经济发达地区，四个中等发达的地区，三个一般地区，两个发展较差地区。,这种行政上的规定往往是不客观、不合理的。合理的分类应该把发展情况最近似的地区划入同一类。这就是有序样本聚类的工作思路。,（二）有序聚类的步骤,1、定义类的直径 设某类G中包含的样品有,该类的均值向量为,设有序样品x(1),x(2),x(n)。他们可以是从小到达排列，也可以是按时间的先后排列。,用D(i,j)表示这一类的直径，常用的直径有，欧氏距离：,当是单变量的时，也可以定义直径为：,2、定义分类的损失函数,用b(n,k)表示将n个有序的样品分为k类的某种分法：,定义这种分类法的损失函数为：各

33、类的直径之和。,由损失函数的构造可以看出，损失函数是各类的直径之和。如果分类不好，则各类的直径之和大，否则比较小。,当n和k固定时， Lb(n,k)越小表示各类的离差平方和越小，分类是合理的。因此要寻找一种分法b(n,k)，使分类损失函数Lb(n,k)达到最小。记该分法为Pn,k。,若分类数k是已知的，求分类法b(n,k)，使它在损失函数意义下达到最小，其求法如下：,首先，找出分点jk，使,于是得第k类,3、最优解的求法,然后，找出jk1，使它满足,于是得第k-1类,再然后，找出jk2，使它满足,于是得第k-2类,类推。一直可以得到所有类G1，G2，Gk，这就是所求得最优解。,4、Lb(n,k

34、)的递推公式,以上的两个公式的含义是，如果要找到n个样品分为k个类的最优分割，应建立在将j-1（j2,3,n)个样品分为k-1类的最优分割的基础上。,分析儿童的生长期。有如下的资料是1-11岁的男孩平均每年的增重：问男孩的发育可分为几个阶段。,最小损失函数Lp(n,k),实例分析及SPSS,例1 35家上市公司2000年报数据，考察的8个指标是： x1：净资产收益率(%) x2：总资产报酬率(%) x3：资产负债率(%) x4：总资产周转率 x5：流动资产周转率 x6：已获利息倍数 x7：销售增长率(%) x8：资本积累率(%) 进行分类,研究3类公司的资金周转与赢利情况?,判 别 分 析,判

35、 别 分 析,距离判别贝叶斯判别逐步判别典型判别,例 中小企业的破产模型为了研究中小企业的破产模型，选定4个经济指标： X1总负债率（现金收益/总负债） X2收益性指标（纯收入/总财产） X3短期支付能力（流动资产/流动负债） X4生产效率性指标（流动资产/纯销售额） 对17个破产企业（1类）和21个正常运行企业（2类）进行了调查，得如下资料：,1 什么是判别分析,判别分析是利用已知类别的样本培训模型，为未知样本判类的一种统计方法。 它产生于本世纪30年代。近年来，在自然科学、社会学及经济管理学科中都有广泛的应用。 判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事

36、物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。,2 距离判别,（一）马氏距离 距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。,设 是从期望= 和方差阵= 的总体G抽得的两个观测值，则称,样本X和Gi类之间的马氏距离定义为X与Gi类重心间的距离：,X与Y之间的Mahalanobis距离,马氏距离和欧式距离之间的差别,马氏距离,欧氏距离,马氏距离有如下的特点：,2、马

37、氏距离是标准化后的变量的欧式距离,1、马氏距离不受计量单位的影响;,3、若变量之间是相互无关的，则协方差矩阵为对角矩阵,（二）两个总体距离判别法,先考虑两个总体的情况，设有两个协差阵相同的p维正态总体，对给定的样本Y，判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。故我们用马氏距离来给定判别规则，有：,1、方差相等,则前面的判别法则表示为,当 和已知时， 是一个已知的p维向量，W（y）是y的线性函数，称为线性判别函数。称为判别系数。用线性判别函数进行判别分析非常直观，使用起来最方便，在实际中的应用也最广泛。,例 在企业的考核种，可以根据企业的生产经营情况把企业分为

38、优秀企业和一般企业。考核企业经营状况的指标有： 资金利润率=利润总额/资金占用总额 劳动生产率=总产值/职工平均人数 产品净值率=净产值/总产值 三个指标的均值向量和协方差矩阵如下。现有二个企业，观测值分别为 （7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？,线性判别函数：,2、当总体的协方差已知，且不相等,随着计算机计算能力的增强和计算机的普及，距离判别法的判别函数也在逐步改进，一种等价的距离判别为： 设有个K总体，分别有均值向量i(i=1,2,k)和协方差阵i= ，各总体出现的先验概率相等。又设Y是一个待判样品。则与i的距离为（即判别函数）,(三)

39、多总体的距离判别法,上式中的第一项Y -1Y与i无关，则舍去，得一个等价的函数,将上式中提-2，得,则距离判别法的判别函数为：,注：这与前面所提出的距离判别是等价的.,判别规则为,（四）对判别效果做出检验 1、错判概率,由上面的分析可以看出，马氏距离判别法是合理的，但是这并不意谓着不会发生误判。 两总体分别服从 其判别函数为,2、 交叉核实交叉核实法的思想是：为了判断第i个观测的判别正确与否，用删除第i个观测的样本数据集计算出判别函数，然后用此判别函数来判别第i个观测。对每一个观测都这样进行。 交叉核实检查比较严格，能说明所选择判别方法的有效性。 交叉核实可以检验所用方法是否稳定。 交叉核实可

40、以解决样本容量不大的情形，改变样本，来检验方法是否稳定的问题。,加权错判率：,设qi是第i类的先验概率， pi是第i类的错判概率，则加权错判率为,简单错判率：,距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数未知和协方差时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。,办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的

41、概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。,3 贝叶斯判别法,一 、最大后验准则,距离判别简单直观，很实用，但是距离判别的方法把总体等同看待，没有考虑到总体会以不同的概率（先验概率）出现，也没有考虑误判之后所造成的损失的差异。一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判别就具有这些优点，其判别效果更加理想，应用也更广泛。,贝叶斯公式是一个我们熟知的公式,设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概率为 。即当样本 发生时，求他属于某类的概率。由贝叶斯

42、公式计算后验概率，有：,判别规则,则 判给 。在正态的假定下， 为正态分布的密度函数。,则 判给 。,上式两边取对数并去掉与i无关的项，则等价的判别函数为：,特别，总体服从正态分布的情形,问题转化为若 ，则判 。,当协方差阵相等,则判别函数退化为,令,问题转化为若 ，则判 。,完全成为距离判别法,令,有,问题转化为若 ，则判 。,当先验概率相等，,二、 最小平均误判代价准则,设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概率为 。,又D1，D2，Dk是R(p)的一个分划，判别法则为：当样品X落入Di时，则判,关键的问题是寻找D1，D2，Dk分划，这个分划应该使平均错判

43、率最小。,【定义】（平均错判损失）,用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件概率。,C(j/i)表示相应错判所造成的损失。,则平均错判损失为：,使ECM最小的分划，是Bayes判别分析的解。,【定理】,若总体G1，G2，Gk的先验概率为,且相应的密度函数为 ，损失为 则划分的Bayes解为,其中,含义是：当抽取了一个未知总体的样品值x，要判别它属于那个总体，只要先计算出k个按先验概率加权的误判平均损失,为了直观说明，作为例子，我们讨论k=2的情形。,然后比较其大小，选取其中最小的，则判定样品属于该总体。,由此可见，要使ECM最小，被积函数必须在D1是负数，则有分划,Bayes

44、判别准则为：,特别,与标准Bayes判别等价,下表是某金融机构客户的个人资料，这些资料对一个金融机构来说，对于客户信用度的了解至关重要，因为利用这些资料，可以挖掘出许多的信息，建立客户的信用度评价体系。所选变量为： x1: 月收入 x2：月生活费支出 x3：虚拟变量，住房的所有权，自己的为“1”，租用的“0” x4： 目前工作的年限 x5： 前一个工作的年限 x6：目前住所的年限 x7：前一个住所的年限X8: 家庭赡养的人口数X9：信用程度，“5”的信用度最高，“1”的信用度最低。,4 变量选择和逐步判别,变量的选择是判别分析中的一个重要的问题，变量选择是否恰当，是判别分析效果有列的关键。如果

45、在某个判别问题中，将起最重要的变量忽略了，相应的判别函数的效果一定不好。而另一方面，如果判别变量个数太多，计算量必然大，会影响估计的精度。特别当引入了一些判别能力不强的变量时，还会严重地影响判别的效果。,中小企业的破产模型 为了研究中小企业的破产模型，首先选定了X1总负债率（现金收益/总负债），X2收益性指标（纯收入/总财产），X3短期支付能力（流动资产/流动负债）和X4生产效率性指标（流动资产/纯销售额）4个经济指标，对17个破产企业为“1”和21个正常运行企业“2”进行了调查，得资料如下。如果这些指标是用来做判别分析和聚类分析的变量，他们之间没有显著性差异是不恰当的，所以检验所选择的指标在

46、不同类型企业之间是否有显著的差异。,x1,x2,x3,x4均为判别变量,x1, x3为判别变量,Dependent Variable: x1 （对X1进行的检验） Sum of Source DF Squares Mean Square F Value Pr F Model 1 0.87466791 0.87466791 16.90 0.0002 Error 36 1.86300840 0.05175023 Corrected Total 37 2.73767632X1在类间有显著性差异。,Dependent Variable: x2 （对X2进行的检验） Sum of Source DF S

47、quares Mean Square F Value Pr F Model 1 0.08312077 0.08312077 1.95 0.1710 Error 36 1.53370028 0.04260279 Corrected Total 37 1.61682105X2在类间没有显著性差异。,多元假设检验 Statistic Value F Value Num DF Den DF Pr F Wilks Lambda 0.54561620 6.87 4 33 0.0004 Pillais Trace 0.45438380 6.87 4 33 0.0004 Hotelling-Lawley Tr

48、ace 0.83279015 6.87 4 33 0.0004 Roys Greatest Root 0.83279015 6.87 4 33 0.0004,Pillais Trace,设有n样品，分别来自 k个类G1，G2，Gk其中ni个来自Gi，,（一）变量组间差异的显著检验,样品分别为：,即，p个指标对G1，G2，Gk无区别能力；,个指标对G1，G2，Gk有区别能力。,当比值 很小，类内的离差平方和在总离差平方和中所占比率小，则类间的离差平方和所占比重大。在原假设为真的条件下， 服从维尔克斯分布 。,个指标对G1，G2，Gk有强的区别能力，拒绝原假设,接受原假设,（二）附加信息的检验,在

49、回归分析中，变量的好坏直接影响回归的效果。在判别分析中也有类似的问题。如果在某个判别分析问题中，将其中最主要的指标忽略了。判别效果一定不会好。但是在许多问题中，事先并不知道那些是主要的指标。因此筛选变量的问题就成了非常重要的了。从而产生了逐步判别法，而逐步判别法的基础是附加信息的检验。,向后剔除 开始时，所有变量都在模型中。每一步，在Wilks的统计量的准则下对模型中判别能力贡献最小的变量剔除。当所有余下的变量都达到留在模型中的标准时，向后剔除过程停止。逐步选择 开始时如同向前选择一样，模型中没有变量，每一步都被检查。如果在Wilks的准则下统计量对模型的判别能力贡献最小的变量达不到留在模型中

50、的标准，它就被剔除。否则，不在模型中对模型的判别能力贡献最大的变量被选入模型。当模型中的所有变量都达到留在模型中的标准而没有其他变量能达到进入模型的标准，逐步选择过程停止。,逐步判别法采用有进有出的算法，即每一步都进行检验。首先，将判别能力最强的变量引进判别函数，而对较早进入判别函数的变量，随着其他变量的进入，其显著性可能发生变化，如果其判别能力不强了，则删除。向前选入 开始时模型中没有变量。每一步，Wilks的统计量最小者，进入模型。当不再有未被选入的变量小于选入的临界值时，向前选入过程停止。,设有n样品，分别来自 k个类G1，G2，Gk其中ni个来自Gi。,样品分别为：,即，p个指标对G1