《人工智能深度学习基础知识培训课件.pptx》由会员分享，可在线阅读，更多相关《人工智能深度学习基础知识培训课件.pptx（65页珍藏版）》请在三一办公上搜索。
1、走进人工智能,0引言,第一次信息革命,第二次信息革命,第三次信息革命,第四次信息革命,第五次信息革命,第六次信息革命,语言的创造,猿人信息得以交流和传递,文字的出现,信息可以被储存在文字中进行传播，解决了语言的时间和空间的局限性,印刷术的发明,扩大了信息的交流、传递的容量和范围,无线电的发明,电磁波传播信息，速度增长几十亿倍,电视的出现,声音、图片影像、文字,实现同时远距离实时传播,（摘自人民出版社大数据领导干部读本）,计算机与互联网的使用,突破了人类大脑及感觉器官加工利用信息的能力，人类进入信息社会时代,0引言,第七次信息革命？,现在我们正经历着一场信息革命。这不是在技术上、机器设备上、软件
2、上或速度上的一场革命，而是一场“概念”上的革命。以往50年信息技术的重点在“技术”上，目的在于提升信息传播范围、传播能力和传播效率。而新的信息革命的重点将会在“信息”上。彼得德鲁克 21世纪的管理挑战,什么是人工智能,2.1,人工智能典型应用,2.2,人工智能技术体系,2.3,2 人工智能篇,总结与展望,2.4,时代背景：新一代人工智能发展规划的提出,为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，日前国务院印发新一代人工智能发展规划。 -2017.7.8,规划指出：立足国家发展全局，准确把握全球人工智能发展态势，找准突破口和主攻方向，全面增
3、强科技创新基础能力，全面拓展重点领域应用深度广度，全面提升经济社会发展和国防应用智能化水平。,AlphaGo到底有多厉害？,2016年，AlphaGo围棋程序就在19*19棋盘上无条件战胜了人类棋王。研制AlphaGo的团队DeepMind正在投入AlphaSC的研发，未来将于人类顶尖高手在星际争霸游戏中一较高下。,AlphaGo怎么做到的？,AlphaGo使用两种不同的深度神经网络：第一种是策略网络，目标是选择在哪里落子。第二种则是价值网络，价值网络的作用是衡量走这一步对最终输赢的影响。AlphaGo成功的关键在于:海量对弈数据：6000万局对弈数据。算法创新：深度神经网络+“左右手互搏”。
4、计算能力出众：打败李世石的AlphaGo Lee 的芯片为 50 TPU,搜索速度为10k位置/秒。,AlphaGo绝非一帆风顺,3月13日李世石九段“神之一手”,“AlphaGo远非人工智能的终点。” 微软研究院著名机器学习专家John Langford批评了Wired和Slashdot等媒体对于“实现人工智能”夸大其词的相关报道。Langford认为这些进展本是好事，但报道的时候产生了偏差，这容易导致失望和人工智能寒冬。,John Langford国际机器学习大会ICML2016程序主席,“AlphaGo以为自己做的很好，但在87手迷惑了，有麻烦了”,“错误在第79手，但AlphaGo到第
5、87手才发觉”,从AlphaGo到AlphaGo Master,60-0 vs 顶级专业人士（在线游戏）,等级分,专业级,业余级,入门级,2017年7月9日,柯洁携20连胜,等级分冲至3675分，世界排名第一,2.1 什么是人工智能,人工智能的定义,机器人仅仅是人工智能的一个分支,人工智能的评判标准,图灵测试额外加分项：说服测试者，令他认为自己是电脑。,人工智能发展简史,混沌初生 开天辟地,百家争鸣 百花齐放,物竞天择 适者生存,达特茅斯会议的召开标志着人工智能的诞生。（1956年）,图灵测试的提出标志人工智能进入萌芽阶段。,以DENDRAL系统为代表的专家系统大量涌现。（19701980）,
6、浅层机器学习模型兴起，SVM、LR、Boosting算法等纷纷面世。（19902000）,多伦多大学教授Hinton开启深度学习在学术界和工业界的浪潮（2006）,人工智能出现新的研究高潮，机器开始通过视频学习识别人和事物，AlphaGo战胜围棋冠军（2011今）,随着新的算法和模型不断涌现，学科交叉现象日趋明显，人工智能的研究进入了新的阶段。,奠定了人工智能的数学基础，出现了人工智能历史上的第一个应用。-西蒙和纽厄尔提出了“Logic Theorist”自动定理证明系统。,大数据时代的到来给人工智能的发展带来契机，人工智能全面融入人们的社会生活,几个概念间的关系,人工智能机器学习深度学习,有
7、监督无监督概率,Deep learning深度学习概念(1/2),Deep learning深度学习概念（2/2）,Deep learning深度学习,千万规模,越来越复杂的网络,越来越多的训练样本：,越来越短的迭代要求,推理的要求越来越多,Why GPU？,GPU设计哲学：1、SIMD/SIMT，单指令多数据2、众多线程，人多力量大,最好的时代？,美国人工智能战略中国新一代人工智能发展规划企业脑计划：Google/MS/fb/Baidu,政府/企业空前重视,大数据发展带来海量数据,硬件发展带来计算能力革命性提升,GPU/TPU,深度学习理论发展海量数据的标注对数据量较少的场景支持不力,2.2
8、 人工智能典型应用,人工智能应用：语音识别,Skype语音聊天实时翻译,微软Cortana/小冰,人工智能应用：计算机视觉,计算机视觉人脸识别LFW测试准确率近100%图像识别ImageNet测试识别率超过人目标检测以图搜图看图说话各大公司“军备竞赛”MS，Google，fb，baidu1000类目标图像识别20%-10%-6%5%-4%,人工智能主要应用领域,2,4,6,5,3,1,个人助理,自驾领域,电商零售,安防,教育,金融,7,医疗健康,人工智能应用领域,2.3 人工智能技术体系,人工智能技术体系,机器学习 Machine Learning,Machine Leaning = Mach
9、ine + Learning 机器学会“人识别事物的方法”,机器学习 Machine Learning,Machine Leaning = Machine + Learning 机器学会“人识别事物的方法”,MachineLearning,training,FeatureExtraction,Recognition,RedRound,yellowlong,orangeRound,apple,banana,orange,机器学习处理过程,Raw Data,Feature Extraction,X,Processed Data,Data Analysis,Anomaly DetectionDime
10、nsion Reduction,New Data,Training Model,Final Model,result,Regularization,4 5 6 0 1 3 5 76 8 5 70 0 2 0,Feature Extraction特征提取(1/2),图像的特征提取,Feature Extraction特征提取(2/2),APP特征提取,unzip,decompile,Permission android.permissioin.BRICKPackage .wifi,Data collection,matrix,2022/12/4,33,可编辑,Data Analysis数据分析(
11、1/2),高斯分布,剔除异常数据,(inches),(cm),数据降维,Data Analysis数据分析(2/2),Supervised LearningLinear regressionLogistic regressionNave BayesiansNeutral NetworkSVMDecision TreeK-NNUnsupervised LearningK-MeansMixture of GaussiansReinforcement Learning,Train algorithms算法/模型训练,Model Construction,J() Computation,Gradien
12、t Descent,Get optimized ,Final Training Model,Train algorithms算法/模型训练,Train algorithms 模型训练：梯度下降算法（GD）,Problem:The training model is good or bad?Underfitting ? Overfitting?,After get the training model:,is fit or not ?,Model Validation模型验证,Model Validation模型验证,深度学习处理过程,几种深度学习网络,深度神经网络Deep Neural Net
13、work,卷积神经网络convolutional neural network,循环神经网络Recurrent Neural Net,长短时记忆Long Short Term Memoery,深度神经网络DNN（Deep Neural Network）,2006年 Geoffrey Hinton利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层神经网络真正意义上有了“深度” ReLU、maxout等传输函数代替了 sigmoid仍然是全连接,卷积神经网络CNN（convolutional neural network）,数据输入层/ Input layer 卷积计算层/ CONV lay
14、er ReLU激励层 / ReLU layer 池化层 / Pooling layer 全连接层 / FC layer,卷积计算层：参数共享机制：每个神经元连接数据窗的权重是固定的每个神经元只关注一个特性需要估算的权重个数减少一组固定的权重和不同窗口内数据做内积: 卷积,深度/depth 步长/stride 填充值/padding,LeNet，最早用于数字识别的CNNAlexNet，2012 ILSVRC比赛远超第2名的CNN，比LeNet更深，用多层小卷积层叠加替换单大卷积层GoogleNet，2014 ILSVRC比赛冠军VGGNet，2014 ILSVRC比赛中的模型，图像识别略差于Go
15、ogleNet，但是在很多图像转化学习问题(比如object detection)上效果奇好ResNet，2015年 ILSVRC比赛的冠军，微软打造，层次极深(152层),典型CNN网络,CNN：Convolutional Layer卷积层,卷积计算层：参数共享机制：每个神经元连接数据窗的权重是固定的每个神经元只关注一个特性需要估算的权重个数减少一组固定的权重和不同窗口内数据做内积: 卷积,CNN：Pooling Layer池化层,循环神经网络RNN(Recurrent Neural Net）,为什么有了DNN、CNN，还需要RNN？传统神经网络(包括CNN)，输入和输出都是互相独立的图像上
16、的数字、车、人是分隔开的，但有些识别任务后续的输出和之前的内容是相关的，例如：“我的家乡在南京，位于长江中下游”主要应用于NLPRNN引入了“记忆”的概念每个元素都执行相同的任务，但是输出依赖于输入和“记忆”,自然语言理解,Google翻译,Baidu翻译,长短时记忆 LSTM（Long Short Term Memory）,LSTM是RNN一种，大体结构一致，其“记忆细胞”改造过，需要的话某些信息会一直传递下去,RNN解决了之前的信息保存的问题，无法解决长期依赖的问题,翻译语言控制机器人文档摘要语音识别图像识别,Apple SiriAmazon AlexaGoogle Allo,Caffe源
17、于Berkeley的主流CV工具包支持C+,python,matlabModel Zoo中有大量预训练好的模型供使用Mxnet对显存利用率高定义网络层简单TensorFlowGoogle的深度学习框架TensorBoard可视化很方便，实时监控数据和模型并行化好，速度快,工业深度学习框架,工业深度学习框架比较,2.4 人工智能总结与展望,人工智能阶段划分,人工智能的发展机遇（1）-大数据时代为人工智能提供了广阔的数据资源,大数据价值利用的最大瓶颈不是千万亿次的计算能力和千兆级的网络通信能力，而是智能化的信息处理能力。,“目前，全球数据总量每年都以倍增的速度增长，预计到年将达到万亿，中国数据量到
18、年将占全球数据总量的近。” -中国科学院院长白春礼,人工智能是发掘数据金矿的钥匙，数据资源和识别任务的不断快速增长为人工智能提供了燃料和方向,人工智能的发展机遇（2）-深度学习等新技术提供了方法创新,2007年前后逐渐发展起来的深度神经网络，深度置信网络以及对抗神经网络等多种网络模型结构，并在语音识别、图像识别等领域得到广泛应用。通过运用这一类技术，人类首次在图像识别领域战胜人类，首次在围棋正式比赛中战胜人类冠军。,深度学习技术的不断发展为人工智能提供了引擎和动力。,人工智能的发展机遇（3）-学科领域交叉与渗透,人工智能的广泛应用使得若干传统学科的研究方法出现了巨大创新。而相关领域在大数据时代
19、的研究成果也能够对人工智能理论与方法带来影响，进而推动人工智能学科与其他学科的协同创新。,学科领域交叉与渗透为人工智能的未来提供了无限可能,人工智能威胁论,“人工智能可能是人类生存的最大威胁。短期内，最直接的威胁是人工智能将取代人类工作。马斯克称，在未来20年，驾驶人员的工作将被人工智能所颠覆。之后，全球12%至15%的劳动力将因为人工智能而失业。”,有些人是因为对人工智能的原理不理解而导致恐惧，有些人是为了个人名望而宣扬人工智能威胁论，有些人则是为了商业利益而推动人工智能威胁论。”,Yann LeCun Facebook AI负责人,特斯拉CEO 马斯克,指数式增长，波浪式增长，哪种才是AI
20、的未来？,总结与展望,1、逻辑（logical）2、语言文字（linguistic）3、空间（spatial）4、音乐（musical）5、肢体动作（kinesthetic）6、内省（intra-personal）7、人际（inter-personal）8、自然探索（naturalist）9、图形图像（Graphics）,伴随大数据时代的到来，计算能力的大幅提升，人工智能技术在越来越多的领域取得了突破或者长足的进步。,AI离人类智能还有多远？对比哈佛大学心理学家加德纳的多元智能理论，在空间、音乐和肢体运动方面有差距，在内省、人际和自然探索方面尚无可比性。,历史是螺旋进步的，人工智能走到今天并非
21、一帆风顺，经历了三个浪潮。,语音识别,图像识别,自然语言处理,明天,今天,昨天,未来，已来,这些力量并非命运，而是轨迹它们提供的并不是我们将去往何方的预测只是告诉我们，在不远的将来我们会想哪些方向前行必然而然,3 大数据驱动的人工智能时代下的智慧xx建设,BD/AI项目,数据集中智能精准实时高吞吐分布式训练数据安全自主掌控,数据采集（文件/数据库/日志/实时流),档案、语音、视频、位置、,语音分析,人脸识别,车辆识别,数据存储（结构化/非结构化）,目标检测,高性能分布式训练,分布式计算引擎,位置分析,关联分析,精准画像,分析预测,能力开放,应用1,应用2,延伸阅读,Tom White - Hadoop权威指南李航 -统计学习方法 周志华 -机器学习伊恩古德费洛、约书亚本吉奥、亚伦库维尔 -深度学习,维克托迈尔舍恩伯格 -大数据时代吴军 -智能时代 凯文 凯利 -必然,THANK,YOU,FOR YOUR TIME,2022/12/4,65,可编辑,
