《卷积神经网路概要.ppt》由会员分享，可在线阅读，更多相关《卷积神经网路概要.ppt（42页珍藏版）》请在三一办公上搜索。
1、卷积神经网络,目录,1.概述2.核心思想3.文字识别系统LeNet-54.优点,1.概述,卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。,在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像
2、的局部感受区域允许神经元或者处理单元可以访问到最基础的特征，例如定向边缘或者角点。,2.核心思想,卷积神经网络通过以下特性来保证图像对位移、缩放、扭曲的鲁棒性：局部感受野权值共享时间/空间亚采样,局部感受野,BP神经网络全连接,卷积神经网络局部连接,全连接网络。如果我们有1000 x1000像素的图像，有1百万个隐层神经元，每个隐层神经元都连接图像的每一个像素点，就有1000 x1000 x1000000=1012个连接，也就是1012个权值参数。,局部连接网络，每一个节点与上层节点同位置附件10 x10的窗口相连接，则1百万个隐层神经元就只有100w乘以100，即108个参数。其权值连接个数
3、比原来减少了四个数量级。,权值共享,隐含层的每一个神经元都连接10 x10个图像区域，也就是说每一个神经元存在10 x10=100个连接权值参数。如果设定每个神经元这100个参数是相同的，也就是说每个神经元用的是同一个卷积核去卷积图像，参数个数与神经元个数无关。无论隐层的神经元个数有多少，两层间的连接只有100个参数隐层的参数个数和隐层的神经元个数无关，只和滤波器的大小和滤波器种类的多少有关。,Feature Map,假如一种滤波器，也就是一种卷积核就是提出图像的一种特征。提取不同的特征，需要多个滤波器。每种滤波器的参数不一样，表示它提出输入图像的不同特征。这样每种滤波器去卷积图像就得到对图像
4、的不同特征的放映，我们称之为Feature Map。100种卷积核就有100个Feature Map。这100个Feature Map就组成了一层神经元。每层参数个数=100种卷积核x每种卷积核共享100个参数=100 x100=10K，也就是1万个参数。,隐层神经元个数,隐层的神经元个数和原图像，也就是输入的大小（神经元个数）、滤波器的大小和滤波器在图像中的滑动步长都有关。例如，图像是1000 x1000像素，而滤波器大小是10 x10，假设滤波器没有重叠，也就是步长为10，这样隐层的神经元个数就是(1000 x1000)/(10 x10)=100 x100个神经元了。注意：这只是一种滤波器
5、，也就是一个Feature Map的神经元个数如果100个Feature Map就是100倍了。由此可见，图像越大，神经元个数和需要训练的权值参数个数的差距就越大,网络结构,卷积神经网络含多层；每层含多个二维Feature Map；每个Feature Map含多个神经元。,C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提
6、取的计算层（S-层）。,3.文字识别系统LeNet-5,1.输入图像是32x32的大小，局部滑动窗的大小是5x5的，由于不考虑对图像的边界进行拓展，则滑动窗将有28x28个不同的位置，也就是C1层的大小是28x28。C1层是一个卷积层（通过卷积运算，可以使原信号特征增强，并且降低噪音），由6个特征图Feature Map构成。特征图中每个神经元与输入中5*5的邻域相连。,C1有156个可训练参数（每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数），共156*(28*28)=122,304个连接。,C1层：输入图片大小：32*32卷积窗大
7、小：5*5卷积窗种类：6输出特征图数量：6输出特征图大小：28*28(32-5+1)神经元数量：4707(28*28)*6)连接数：12304(5*5+1)*6*(28*28)可训练参数：156(5*5+1)*6,2.S2层是一个下采样层，利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过sigmoid函数计算。,简单的说，由4个点下采样为1个点，也就是4个数的加权平均。因此S2中每个特征图的大小是C1中特征图大小的1/4（行和列各1/2），因此有6个14*14的特征图。S2层有（1+
8、1）*6=12个可训练参数，有（2*2+1）*14*14*6=5880个连接。,S2层：输入图片大小：(28*28)*6卷积窗大小：2*2卷积窗种类：6输出下采样图数量：6输出下采样图大小：(14*14)*6神经元数量：1176(14*14)*6连接数：5880(4+1)*(14*14)*6可训练参数：12(6*2),卷积和子采样过程,卷积过程包括：用一个可训练的滤波器fx去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征map了），然后加一个偏置bx，得到卷积层Cx。,子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个s
9、igmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。,从一个平面到下一个平面的映射可以看作是作卷积运算，S-层可看作是模糊滤波器，起到二次特征提取的作用。隐层与隐层之间空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。,3.C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征map就只有10 x10个神经元，但是它有16种不同的卷积核，所以就存在16个特征map了。注意：C3中的每个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合,C3层：输入图片大小：(14*14)*6卷积窗
10、大小：5*5卷积窗种类：16输出特征图数量：16输出特征图大小：10*10(14-5+1)神经元数量：1600(10*10)*16)连接数：151600（部分连接）可训练参数：1516,简单的说，例如对于C3层第0张特征图，其每一个节点与S2层的第0张特征图，第1张特征图，第2张特征图，总共3个5x5个节点相连接。后面依次类推，C3层每一张特征映射图的权值是相同的。,前6个feature map与S2层相连的3个feature map相连接，后面6个feature map与S2层相连的4个feature map相连接，后面3个feature map与S2层部分不相连的4个feature map
11、相连接，最后一个与S2层的所有feature map相连。卷积核大小依然为5*5，所以总共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516个参数。而图像大小为10*10，所以共有151600个连接。,4.S4层是一个下采样层，由16个5*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。S4层有32个可训练参数（每个特征图1个因子和一个偏置）和16*5*5（2*2+1）=2000个连接。,S4层：输入图片大小：(10*10)*16卷积窗大小：2*2卷积窗种类：16输出下采样图数量：1
12、6输出下采样图大小：(5*5)*16神经元数量：400(5*5)*16连接数：2000(4+1)*(5*5)*16可训练参数：32(16*2),5.C5是卷积层，总共120个feature map，每个feature map与S4层所有的feature map相连接，卷积核大小是5*5，而S4层的feature map的大小也是5*5，这构成了S4和C5之间的全连接，所以C5的feature map就变成了1个点，共计有120（25*16+1）=48120个参数。,C5层：输入图片大小：(5*5)*16卷积窗大小：5*5卷积窗种类：120输出特征图数量：120输出特征图大小：1*1(5-5+1
13、)神经元数量：120(1*120)连接数：48120 16*25+1*1*120(全连接）可训练参数：48120 16*25+1*1*120,6.F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全相连。有84*（120+1）=10164个可训练参数。如同经典神经网络，F6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。,F6层：输入图片大小：(1*1)*120卷积窗大小：1*1卷积窗种类：84输出特征图数量：84输出特征图大小：1神经元数量：84 连接数：10164 120*84（全连接）可训练参数：10164
14、120*84,OUTPUT层：输入图片大小：1*84输出特征图数量：1*10,4.卷积神经网路的优点,（1）识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。,（2）卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分
15、类过程中数据重建的复杂度。,（3）它可以直接处理灰度图片，能够直接用于处理基于图像的分类。流的分类方式几乎都是基于统计特征的，这就意味着在进行分辨前必须提取某些特征。然而，显式的特征提取并不容易，在一些应用问题中也并非总是可靠的。卷积神经网络，它避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器。,卷积网络较一般神经网络在图像处理方面有如下优点：a）输入图像和网络的拓扑结构能很好的吻合；b）特征提取和模式分类同时进行，并同时在训练中产生；c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。,Thank you for listening,
