《《随机数学模型》课件.ppt》由会员分享，可在线阅读，更多相关《《随机数学模型》课件.ppt（27页珍藏版）》请在三一办公上搜索。
1、一、引例,1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：,翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af,翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af,数学模
2、型,9.7分类问题,问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);(l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？,解法一：,把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；用小圆圈“。”表示得到的结果见图1,图1飞蠓的触角长和翼长,数学模型,思路：作一直线将两类飞蠓分开,例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线：y 1.47x-0.017其中X表示触角长；y表示翼长,分类规则：设一个蚊子的数据为（x
3、,y）如果y1.47x-0.017，则判断蚊子属Apf类；如果y1.47x-0.017；则判断蚊子属Af类,数学模型,分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类,图2 分类直线图,数学模型,缺陷：根据什么原则确定分类直线？,若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为 y=1.39x+0.071,分类结果变为：(1.24,1.80)，(1.40,2.04)属于Apf类；(1.28,1.84)属于Af类,哪一分类直线才是正确的呢？,因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的
4、数据信息来确定判别直线,数学模型,再如，如下的情形已经不能用分类直线的办法：,数学模型,1.距离判别法,1.1欧氏Euclidean distance距离判别法,1.2马氏(P.C.Mahalanobis)距离判别法,1.3海明Hamming距离判别法,两个合法代码对应位上编码不同的位数称为海明距离。,合理的距离,如果用dij表示第i个样品和第j个样品之间的距离，那么对于一切i，j和k，dij应该满足如下三个条件：dij0，当且仅当i=j时，dij=0（非负性）dijdji（对称性）dijdikdkj（三角不等式）显然，欧氏距离满足以上三个条件。,欧氏距离的缺点,欧氏距离虽然简单，但也有明显的
5、缺点。它将样本的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。,马氏距离优缺点,1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵不可逆，比如三个样本点（3，4），（5，6）和（7，8），这种
6、情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下，也采用欧式距离计算。4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样本点出现3）中所描述的情况是很少出现的，所以在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算不稳定，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。优点：不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。缺点：夸大了变化微小的变量的作用。,2.Fisher判别法,Fisher判
7、别的基本思想是将k个总体的所有p维空间的样本点投影到一维空间上，使投影后组与组之间尽可能的分开，然后利用方差分析的方法推出判别函数。为了简单起见，通常利用线性的判别函数u(x)=aTx.寻找一个最恰当的方向a，使在这个方向上，组间方差与组内方差的商最大,求解最优判别方向等价于求解带约束函数优化问题,可以证明：,Fisher判别法,根据各个样本均值在最优方向上的投影值 从小到大将样本集重新编号，假设序号仍然为G1Gk。定出Gj和Gj+1的分界值uj,j=1k-1，比如：确定样本类别：,Bayes判别法,距离判别法虽然简单，便于使用。但是该方法也有它明显的不足之处。第一，判别方法与总体各自出现的概率的大小无关；第二，判别方法与错判之后所造成的损失无关。Bayes判别法就是为了解决这些问题而提出的一种判别方法。,一、Bayes判别的基本思想,Bayes判别的基本方法,如果已知样品X来自总体Gi 的先验概率为qi，则在规则R下，由（4.12）式知，误判的总平均损失为,其它相关知识,主成分分析法PCA支持向量机SVM.,
