《数学建模判别分析.ppt》由会员分享，可在线阅读，更多相关《数学建模判别分析.ppt（61页珍藏版）》请在三一办公上搜索。
1、第五章 判别分析,5.1 引言5.2 距离判别5.3 贝叶斯判别5.4 费希尔判别,5.2 距离判别,一、两组距离判别二、多组距离判别,一、两组距离判别,设组 和 的均值分别为 和，协差阵分别为 和，是一个新样品(维)，现欲判断它来自哪一组。1.时的判别2.时的判别,1.时的判别,判别规则：令，其中，则上述判别规则可简化为称 为两组距离判别的判别函数，由于它是 的线性函数，故又可称为线性判别函数，称 为判别系数。,误判概率,误判概率正态组的误判概率 设，则 其中 是两组之间的马氏距离。,从上述误判概率的公式中可以看出，两个正态组越是分开（即越大），两个误判概率就越小，此时的判别效果也就越佳。当
2、两个正态组很接近时，两个误判概率都将很大，这时作判别分析就没有什么实际意义。,界定组之间是否已过于接近,我们可对假设 进行检验，若检验接受原假设，则说明两组均值之间无显著差异，此时作判别分析一般会是徒劳的；若检验拒绝，则两组均值之间虽然存在显著差异，但这种差异对进行有效的判别分析未必足够大（即此时作判别分析未必有实际意义），故此时还应看误判概率是否超过了一个合理的水平。,例,抽取样本估计有关未知参数,误判概率的非参数估计,若两组不能假定为正态组，则 和 可以用样本中样品的误判比例来估计，通常有如下三种非参数估计方法：（1）令 为样本中来自 而误判为 的个数，为样本中来自 而误判为 的个数，则
3、和 可估计为 该方法简单、直观，且易于计算。但遗憾的是，它给出的估计值通常偏低，除非 和 都非常大。,（2）将整个样本一分为二，一部分作为训练样本，用于构造判别函数，另一部分用作验证样本，用于对判别函数进行评估。误判概率用验证样本的被误判比例来估计，如此得到的估计是无偏的。但是，这种方法有两个主要缺陷：（i）需要用大样本；（ii）在构造判别函数时，只用了部分样本数据，损失了过多有价值的信息。与使用所有的样本数据构造判别函数相比，该方法将使真实的误判概率上升。该缺陷随样本容量的增大而逐渐减弱，当样本容量相当大时此缺陷基本可忽略。,称为交叉验证法或刀切法。该方法既避免了样本数据在构造判别函数的同时
4、又被用来对该判别函数进行评价，造成不合理的信息重复使用，又几乎避免了构造判别函数时样本信息的损失。,2.时的判别,可采用(5.2.1)式作为判别规则的形式。另一种方式是，选择判别函数为 它是 的二次函数，相应的判别规则为,二、多组距离判别,5.3 贝叶斯判别,一、最大后验概率准则二、最小平均误判代价准则,一、最大后验概率准则,设有 个组，且组 的概率密度为，样品来自组 的先验概率为，满足。则 属于 的后验概率为最大后验概率准则是采用如下的判别规则：,二、最小平均误判代价准则,（）式的一些特殊情形,(1)当 时，(5.3.13)式简化为 实际应用中，如果先验概率未知，则它们通常被取成相等。,(2)当 时，(5.3.13)式简化为 该式等价于组数 时的(5.3.2)式。实践中，若误判代价比无法确定，则通常取比值为1。(3)当 时，(5.3.13)式可进一步简化为 这时，判别新样品 的归属，只需比较在 处的两个概率密度值 和 的大小。,5.4 费希尔判别,费希尔判别（或称典型判别）的基本思想是投影（或降维）：用p维向量 的少数几个线性组合（称为判别式或典型变量）(一般r明显小于p）来代替原始的p个变量，以达到降维的目的，并根据这r个判别式 对样品的归属作出判别。成功的降维将使判别更为方便和有效，且可对前两个或前三个判别式作图，从直观的几何图形上区别各组。,一个说明性的二维例子,
