《图像分类算法应用研究课件.ppt》由会员分享，可在线阅读，更多相关《图像分类算法应用研究课件.ppt（47页珍藏版）》请在三一办公上搜索。
1、图像分类算法与应用研究,报告人： 张德园导 师：王晓龙教授,图像分类算法与应用研究报告人： 张德园,目录,研究背景相关研究工作已有工作基础论文主要研究内容,目录研究背景,课题来源,本课题来源于国家八六三计划目标导向类课题“基于NLP的智能搜索引擎”(项目编号：2006AA01Z197)。,课题来源本课题来源于国家八六三计划目标导向类课题“基于NLP,实际意义,按照语义内容进行图像管理/图像浏览减少人工标注时间(Flickr, Picasa)辅助图像检索(Google, Baidu, Picsearch),实际意义按照语义内容进行图像管理/图像浏览,图像分类的语义层次,James Wang：1.
2、语义类别（例如照片或者剪贴画，室外）2.物体的罗列（人，篮球架，楼）3.抽象的语义（运动，打篮球）4.具体的语义（具体的描述一个图像）,图像分类的语义层次James Wang：,场景分类,场景分类,物体分类,Caltech 101,物体分类Caltech 101,图像分类,海滩,恐龙,非洲,图像分类 海滩 恐龙 非洲,图像分类的挑战,尺度变化,光照变化,图像分类的挑战尺度变化光照变化,图像分类的挑战,类内差异,类间差异,图像分类的挑战类内差异类间差异,研究现状,图像表示底层视觉特征表示语义图像表示词包模型表示机器学习算法多示例学习算法,研究现状图像表示,底层视觉特征表示,底层视觉特征表示,Va
3、ilaya 6类假日图片 层次分类 贝叶斯分类器Chang 全局特征，SVM分类器付岩 3类图片 3种颜色特征对比 SVM分类器Torralba 收集了8000万张32*32的图片，用最近邻方法进行分类,Szummer和Picard 分类“室内”/“室外” 颜色和纹理特征 K-NN 投票Serrano SVM分类 SVM输出结果相加Paek和Chang 图像分割 使用贝叶斯网络,Vailaya 6类假日图片 层次分类 贝叶斯分类器Sz,语义图像表示(全局),Spatial Envelope -Oliva和Torralba提出,NaturalnessOpennessRoughnessExpans
4、ionRuggedness,语义图像表示(全局)Spatial Envelope Nat,语义图像表示(局部),Vogel和Schiele提出,语义图像表示(局部)Vogel和Schiele提出,词包模型,词包模型,DenseHarris-LaplaceHessian-LaplaceHarrisHessianEdge-LaplaceHaar-HessianDoG( Difference of Gaussian),PatchSIFTgradient location and orientation histogram (GLOH)shape contextsteerable filtersmom
5、ent invariantsSURF,感兴趣区域检测器,描述子,DensePatch感兴趣区域检测器描述子,State of Art方法,词汇表的构造(K-Means,GMM,VQ,pLSA)图像相似性的度量(Distance Metric Learning, Kernel Methods(PMK,EMD) )多特征融合(Random Forest/Ferns,SVM)图像空间信息的利用(Spatial Pyramid, ABS-pLSA,TSI-pLSA,LDA(Fei-Fei) )感兴趣区域选取(Anna Bosch),State of Art方法词汇表的构造(K-Means,G,多示例学
6、习,多示例训练集由包(bag)组成，每个包里面包含多个实例(instance)。如果一个包为正例，则包中至少有一个实例为正例；如果一个包为反例，则包中所有的实例均为反例。 方法：MaronDiverse DensityAndrew Mi-SVM以及MI-SVMChen DD-SVM以及MILESQi DD-SVM变种周志华MIML框架(Multi-Instance Multi-Label),多示例学习多示例训练集由包(bag)组成，每个包里面包含多个,已有工作基础,支持向量机(SVM)进行图像分类融合多分类器的图像分类,已有工作基础支持向量机(SVM)进行图像分类,SVM进行图像分类,SVM进
7、行图像分类,常用核函数,高斯核（Gaussian RBF）:,拉普拉斯核（Laplacian RBF）：,多项式核（polynomial）:,无限多项式核（infinite polynomials）：,常用核函数高斯核（Gaussian RBF）: 拉普拉斯核（,Svetlana Lazebnik-Spatial Pyramid Matching Kernel(空间金字塔匹配核),Spatial Pyramid RBF Gaussian Kernel,Spatial Pyramid 2 Kernel,Svetlana Lazebnik-Spatial Pyra,Evaluation,Corel
8、图像库中的10类,Libsvm，5折交叉验证C= 2-3, 2-1, , 215=2-15,2-13,25,EvaluationCorel图像库中的10类Libsvm，,Spatial Pyramid RBF Gaussian Kernel,Spatial Pyramid 2 Kernel,以上两种核的结果都有所提高1+4的形式最好自动学习出权重,Spatial Pyramid RBF Gaussian K,多分类器融合的图像分类,多分类器融合框架,多分类器融合的图像分类多分类器融合框架,模糊积分,函数g : 2T 0,1叫做g模糊测度，如果它满足如下性质：(I) g()=0; (II) g(
9、T)=1;(III) g(A)g(B), if AB 并且 A, BT(IV) 对于所有的A, BT并且 AB = g(AB) = g(A) + g(B) +g(A)g(B) 对于某一个 -1,模糊积分函数g : 2T 0,1叫做g模糊测度，如,模糊积分,训练传统的Reward-Punishment算法设置初始gi对训练样本的分类进行Reward和Punishment对初始gi依赖，陷入局部最优解改进设置多组初始gi本文选取gi=t/N,模糊积分训练,结果,Corel图像库中的10类,Libsvm，线性核C=2-5,2-4,2105折交叉验证,结果特征名特征长度描述CH-RGB644bins
10、R4bi,结果比较,结果比较平均精度我的方法84.66%DD-SVM81.5%H,“海滩”被误分为“山川”,“山川”被误分为“海滩”,经常被误分的图片,“海滩”被误分为“山川”“山川”被误分为“海滩”经常被误分,融合方法与子分类器的精度对照,融合方法与子分类器的精度对照,不同训练样本下的精度对照,改进：自动抛弃性能较差的分类器,不同训练样本下的精度对照改进：,主要研究内容，实施方案与可行性论证,组合多分类器框架的研究最优词汇表构造的研究最优空间信息进行图像分类的研究Internet图像挖掘研究,主要研究内容，实施方案与可行性论证组合多分类器框架的研究,组合多分类器框架的研究,组合分类器框架选择
11、分类器权重计算分类器选择,组合多分类器框架的研究组合分类器框架选择,最优词汇表构造的研究,Filter方法预计方法：生成一个较大的词汇表(5000-10000)根据每个词汇的对类别的判别能力控制聚类,最优词汇表构造的研究Filter方法,最优空间信息进行图像分类的研究,Kernel MethodsGaussian, 2 ,Histogram Intersection根据训练图像学习出金字塔每个层次的最优权重,最优空间信息进行图像分类的研究Kernel Methods,Internet图像挖掘研究,现有图像挖掘方法的不足：训练数据存在噪声不能很好的突破搜索引擎返回结果数量的限制解决方案：查询扩展
12、多个搜索引擎结果集成文本分类技术与图像分类技术结合少量标记样本半监督学习,Internet图像挖掘研究现有图像挖掘方法的不足：,论文进度安排,2006年9月-2007年7月：阅读相关文献，分析图像分类在国内外的研究现状2007年9月-2008年6月：进行组合多分类器方面的研究，发表一篇以上学术论文2008年8月-2008年12月： 进行最优空间信息进行图像分类的研究，发表一篇以上学术论文2009年1月-2009年5月：进行最优词汇表构造的研究，发表一篇以上学术论文2009年6月-2009年12月：进行网络分类挖掘的研究，发表一篇学术论文2010年1月-2010年4月：总结博士阶段所做的工作，撰
13、写博士论文2010年5月-2010年7月：准备答辩,论文进度安排2006年9月-2007年7月：阅读相关文献，分,预期达到目标,建立通用的图像分类系统，达到如下指标：Caltech101 80% Caltech256 45% Corel十类90%建立网络图像挖掘系统，该系统的准确率比现有的搜索引擎高50%以上,预期达到目标建立通用的图像分类系统，达到如下指标：Calte,图像分类算法应用研究课件,图像分类算法应用研究课件,为完成课题已具备和所需的条件,图像库：Caltech 101, Caltech 256, Corel十类图像库, MIT CBCL, PASCAL等图像库LabelME 等大
14、规模图像资源库常用的图像特征提取算法：颜色直方图，颜色一致向量，边缘直方图，SIFT特征等开源机器学习工具包libsvm等,为完成课题已具备和所需的条件图像库：Caltech 101,遇到的困难以及解决办法,图像处理以及计算机视觉知识的缺乏机器学习理论功底不足多搜索引擎的网络爬虫,遇到的困难以及解决办法图像处理以及计算机视觉知识的缺乏,已发表的论文,De-Yuan Zhang, Bing-Quan Liu, Xiao-Long Wang, Li-Juan Wang. Image Classification by Combining Multiple SVMS. International Conference on Machine Learning and Cybernetics(ICMLC),已发表的论文De-Yuan Zhang, Bing-Quan,请各位老师指正,请各位老师指正,谢谢观赏,谢谢观赏,
