《两类别LDA线性判别式分析.ppt》由会员分享，可在线阅读，更多相关《两类别LDA线性判别式分析.ppt（20页珍藏版）》请在三一办公上搜索。
1、Linear Discriminant AnalysisLDA,线性判别式分析法利用线性判别函数设计两类分类器,问题的起源,在概率密度函数P(x|wi)未知的条件下,不再设法求出P(x|wi)并转化为后验概率密度函数P(wi|x),而是采用以下方法:给定某个线性判别函数类g(x)利用样本集X确定判别函数类g(x)中的未知参数(给定一个cost function用最优化方法使代价函数取极值)把未知样本x归类到具有最大的判别函数值的类别中,线性判别函数的给定,一般线性判别函数:,广义线性判别函数:,结论:对任意判别函数作级数展开，然后取其截尾部分的逼近,通过适当的变换，都可以化为广义线性判别函数来
2、处理.解决由样本集设计线性分类器的主要步骤:,准则函数的选取,感知准则函数(应用于线性可分的样本集)原理:设:样本集Y=y1,y2,yN为对应于X=x1,x2,xN的增广样本集.,感知准则函数,解释:设:A为Tyn0的解区,B为Tynb的解区,则:对任意B必有A,即有:A包含B.即新解区B位于原解区A之中.设:A为A解区边界上的点,则A满足:ATyn=0.B为B解区边界上的点,则B满足:BTyn=b.B解区边界离开A解区边界的距离|B-A|为:BTyn-ATyn=b BT-AT=b/yn|B-A|=b/|yn|,最小错分样本数准则引子:感知准则函数及其梯度下降算法只适用于线性可分情况，对于线性
3、不可分情况，算法不收敛但在实际问题中往往无法事先知道样本集是否线性可分.因此，我们希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。这种算法对于线性可分问题，可以得到一个如感知准则函数那样的解向量，使得对两类样本集做到将全部样本正确分类；而对于线性不可分问题，则得到一个使两类样本集错分数目最少的权向量.我们把这样的准则称为最小错分样本数准则。,最小错分样本数准则函数I:对于式(4-47)定义准则函数I:Jq1=|(Y-b)-|Y-b|2找满足:min Jq1的*.(共轭梯度法)最小错分样本数准则函数II:对于式(4-45)定义准则函数II:Jq2=(1+sgn(yi)找满足:max Jq2的*.(搜索法)式中:sgn(yi)=-1 if yi0 sgn(yi)=+1 if yi0,平方误差(MSE)准则函数:,MSE准则函数的性质:,
