《数据挖掘十大算法之Adaboost.ppt》由会员分享,可在线阅读,更多相关《数据挖掘十大算法之Adaboost.ppt(22页珍藏版)》请在三一办公上搜索。
1、数据挖掘十大算法之 AdaBoost,An example,给定如下表所示的训练数据:,AdaBoost算法,Adaptive,Boosting,AdaBoost,主要思想:从弱学习算法出发,反复学习,得到一系列弱 分类器,然后组合这些弱分类器,构成一个强 分类器。,几个概念,强可学习:在PAC学习的框架中,一个概念(类),如果存在一个多项式的学习算法能够学习它,并且正确率很高,那么就称这个概念是强可学习的,弱可学习:在PAC学习的框架中,一个概念(类),如果存在一个多项式的学习算法能够学习它,学习的正确率仅比随机猜测略好,那么就称这个概念是弱可学习的,在PAC学习框架下,一个概念是强可学习的
2、充分必要条件是这个概念是弱可学习的,AdaBoost算法,.,弱分类器,强分类器,AdaBoost算法,AdaBoost算法,弱分类器1,AdaBoost算法,权重增大,弱分类器2,AdaBoost算法,权重增加,AdaBoost算法,弱分类器3,AdaBoost算法,最终的强分类器,AdaBoost算法,An example,给定如下表所示的训练数据:,AdaBoost算法,Adaboost算法最终分类器的错误率是多少?,AdaBoost的目标:最小化损失函数,AdaBoost算法在人脸检测上的应用,参考文献:P.Viola and M.Jones.Robust real-time face
3、 detection.IJCV 57(2),2004.,人脸检测的目标,级联分类器,人脸检测中的弱分类器,AdaBoost算法改进,参考文献:Y.Freund and R.E.Schapire.A decision-theoretic generalization of on-line learning and an application to boosting.Journal of Computer and System Sciences,55(1):119139,1997.Y.Freund and R.E.Schapire.A short introduction to boosting.Journal ofJapanese Society for Articial Intelligence,14(5):771780,1999.,