《统计机器学习(陈明)1introdu.ppt》由会员分享，可在线阅读，更多相关《统计机器学习(陈明)1introdu.ppt（28页珍藏版）》请在三一办公上搜索。
1、,统计机器学习(Statistical Machine Learning),陈明湖南师范大学 数学与计算机科学学院,2,什么是机器学习,“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。”“机器学习是对能通过经验自动改进的计算机算法的研究。”本书中的观点：“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”,什么是机器学习,总结：人工智能的重要组成部分利用经验数据改善系统自身性能已广泛应用于多个领域;大数据分析网络搜索金融市场预测,为什么需要机器学习？,美国航空航天局JPL实验室的科学家在Science（2001年9月）上撰文
2、指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，该领域在今后的若干年内将取得稳定而快速的发展Machine learning forms the core of may present-day AI applications,为什么需要机器学习？,2004年，机器学习被 MIT Technology Review 列入10 Emerging Technologies that will Change Your World2010年度图灵奖授予机器学习理论创始人、哈佛大学Leslie Valiant教授2011年度图灵奖授予概率图模型奠基者、加州大学洛杉矶分校Judea Pearl
3、教授,图灵奖连续两年颁发给机器学习先驱开创者,深度学习与机器学习,深度学习（deep learning）是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法，本质上是机器学习中特征学习方法的一类。至今已有多种深度学习框架：深度神经网络，卷积神经网络，深度信念网络。已被应用于多个领域：计算机视觉，语音识别，自然语言处理等。,大数据与机器学习,机器学习几乎无处不在，即便我们没有专程调用它，也经常出现在大数据应用中。机器学习对大数据应用的贡献主要体现在：促进数据科学家们的多产性发现一些被忽视的方案上述价值来自于机器学习的核心功能：让分析算法无需人类干预和显式程序即可对最新数据进行学习
4、。这就允许数据科学家们根据典型数据集创建一个模型，然后利用算法自动概括和学习这些范例和新的数据源。,Books and References,主要参考书Ethem Alpaydn著，范明等译，机器学习导论第2版，机械工业出版社，2014.更基础的参考书李航，统计学习方法，清华大学出版社，2012.罗杰斯，吉罗拉米 著，郭茂祖 等译，机器学习基础教程，机械工业出版社，2013其他更有难度的参考书迪达等著，李宏东等译，模式分类，机械工业出版社，2003Trevor Hastie,Robert Tibshirani,Jerome Friedman著，范明，柴玉梅，昝红英译，统计学习基础数据挖掘、推理
5、与预测，电子工业出版社，2004 英文版 The elements of statistical learning第2版，2015年出版西奥多里蒂斯等著，李晶皎等译，模式识别（第四版），电子工业出版社，2010Christopher M.Bishop Pattern Recognition and Machine Learning2006视频教程斯坦福大学 机器学习，网易公开课，主讲人：Andrew Ng中国科学院 统计学习教程 主讲人：卿来云,Resources:Datasets,UCI Repository:http:/www.ics.uci.edu/mlearn/MLRepository
6、.htmlUCI KDD Archive:Statlib:Delve:http:/www.cs.utoronto.ca/delve/,9,Resources:Journals,Journal of Machine Learning ResearchMachine Learning Neural ComputationNeural NetworksIEEE Transactions on Neural NetworksIEEE Transactions on Pattern Analysis and Machine IntelligenceAnnals of StatisticsJournal
7、of the American Statistical Association.,10,Resources:Conferences,International Conference on Machine Learning(ICML)European Conference on Machine Learning(ECML)Neural Information Processing Systems(NIPS)Uncertainty in Artificial Intelligence(UAI)Computational Learning Theory(COLT)International Conf
8、erence on Artificial Neural Networks(ICANN)International Conference on AI&Statistics(AISTATS)International Conference on Pattern Recognition(ICPR).,11,Training set X,12,Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press(V1.0),a Supervised Learner,Model:Loss function:O
9、ptimization procedure:,13,Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press(V1.0),Why Learning is Difficult?,Given a finite amount of training data,you have to derive a relation for an infinite domainIn fact,there is an infinite number of such relations,三类基本的机器学习问题(1
10、),模式分类问题：输出y是类别标号，两类情况下y=1,-1，预测函数称作指示函数(Indicator Function)，损失函数定义见下式，使期望风险最小就是Bayes决策中使错误率最小。,三类基本的机器学习问题(2),回归问题：输出y是连续变量，它是x的函数，损失函数定义见下式:,统计学习的基本方法,有监督/无监督学习有监督(Supervised)：分类、回归无监督(Unsupervised)：概率密度估计、聚类、降维半监督(Semi-supervised)：EM、Co-training其他学习方法增强学习(Reinforcement Learning)多任务学习(Multi-task l
11、earning),有监督学习,标定的训练数据训练过程：根据目标输出与实际输出的误差信号来调节参数典型方法全局：BN,NN,SVM,Decision Tree局部：KNN、CBR(Case-base reasoning),A11,A12,A1mA21,A22,A2mAn1,An2,Anm,n instance,m attributes,Output,-C1-C2-Cn,Training,19,无监督学习,不存在标定的训练数据学习机根据外部数据的统计规律（e.g.Cohension&divergence）来调节系统参数，以使输出能反映数据的某种特性。典型方法K-means、SOM.,示例：聚类,A
12、11,A12,A1mA21,A22,A2mAn1,An2,Anm,n instance,m attributes,Output,-C1-C2-Cn,XX,Task,半监督学习,结合（少量的）标定训练数据和（大量的）未标定数据来进行学习典型方法Co-training、EM、Latent variables.,A11,A12,A1mA21,A22,A2mAn1,An2,Anm,n instance,m attributes,Output,-C1-?-Cn,X,21,其他学习方法,增强学习(Reinforcement Learning)：外部环境对输出只给出评价信息而非正确答案，学习机通过强化受奖励
13、的动作来改善自身的性能。,附录、典型机器学习包介绍,23,典型的机器学习开发包,OpenCV：Machine Learning Library介绍内容来自OpenCV机器学习中文参考手册Weka：Machine learning/data mining software written in Java介绍的PPT节选自E.FrankMachine Learning with WEKASVM开发包LIBSVMSVM-Light,OpenCV structure,CXCOREbasic structures and algoritms,XML support,drawing functions,C
14、VImage processingand vision,HighGUIGUI,Image and Video I/O,MLMachine Learning algorithms,CVCamvideo stream processing,OpenCV-ML:Overview,机器学习库（MLL）是一些用于分类、回归和数据聚类的类和函数通用类和函数CvStatModel Normal Bayes 分类器CvNormalBayesClassifier K近邻算法 CvKNearest 支持向量机CvSVM决策树CvDTreeSplit Boosting CvBoostRandom Trees CvR
15、TreesExpectation-Maximization CvEM神经网络CvANN_MLP 使用前添加ml.lib及相应的头文件目录,2023/9/18,WEKA:the software,By University of Waikato,New ZealandMachine learning/data mining software written in Java(distributed under the GNU Public License)Used for research,education,and applicationsComplements“Data Mining”by Witten&FrankMain features:Comprehensive set of data pre-processing tools,learning algorithms and evaluation methodsGraphical user interfaces(incl.data visualization)Environment for comparing learning algorithms,Download-WEKA,Web pages of WEKA as below:,28,
