《RBF神经网络演示ppt课件.ppt》由会员分享，可在线阅读，更多相关《RBF神经网络演示ppt课件.ppt（37页珍藏版）》请在三一办公上搜索。
1、RBF,（径向基）神经网络,Keynote:,尤志强,1,1,、,RBF,函数是为了解决多变量插值问题,2,、,RBF,神经网络是为了解决非线性可分模式分类问,题,2,为什么要引入,RBF,神经网络？,3,优点,它具有唯一最佳逼近的特性，且无,BP,算法中存在的局部极小问题。,RBF,神经网络具有较强的输入和输出映射功能，并且理论证明在前向,网络中,RBF,网络是完成映射功能的最优网络。,网络连接权值与输出呈线性关系。,分类能力好。,学习过程收敛速度快。,4,与,BP,神经网络的比较,Poggio,和,Girosi,已经证明：,RBF,网络是连续函数的最佳逼近，而,BP,网络不是。,BP,网络
2、使用的,Sigmoid,函数具有全局特性，它在输入值的很大范围内,每个节点都对输出值产生影响，并且激励函数在输入值的很大范围,内相互重叠，因而相互影响，因此,BP,网络训练过程很长。,BP,网络容易陷入局部极小的问题不可能从根本上避免,BP,网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。,RBF,不仅有良好的泛化能力，而且对于每个输入值，只有很少几个,节点具有非零激励值，因此只需很少部分节点及权值改变。,学习速度可以比通常的,BP,算法提高上千倍,容易适应新数据,5,RBF,神经网络是怎样的？,6,RBF,神经网络概念,1,、,1985,年，,Powell,提出了多变量插值的径向基
3、函数,(Radical Basis,Function,，,RBF),方法,2,、,1988,年，,Moody,和,Darken,提出了一种神经网络结构，即,RBF,神经,网络,3,、,RBF,网络是一种三层前向网络,4,、基于“,Cover,理论”,5,、用,RBF,作为隐单元的“基”构成隐含层空间，将输入矢量直接,(,即,不需要通过权连接,),映射到隐空间,；,当,RBF,的中心点确定后，映射关系也就确定；,隐含层空间到输出空间的映射是线性的,通过最小二乘估计来解给定的分类问题。,7,Cover,理论,定义：假设空间不是稠密分布的，将复杂的模式分类问题非线性地投射到高维空,间将比投射到低微空
4、间更可能是线性可分的。,x=0,8,Cover,理论在,RBF,网络中应用,考虑一族曲面，每一个曲面都自然地将输入空间分成两个区域。,用代表,N,个模式（向量）,x1,x2,xN,的集合，其中每一个模式都,分属于两个类,1,和,2,中的一类。如果在这一族曲面中存在一个曲面,能够将分别属于,1,和,2,的这些点分成两部分，我们就称这些点事二,分（二元划分）关于这族曲面是可分的。对于每一个模式,x,，定,义一个由一组实值函数,?,i,(x)|i=1,2,.m1,组成的向量，表示如下：,假设模式,x,是,m0,维输入空间的一个向量，则向量,9,Cover,理论在,RBF,网络中应用,一个关于,的二分
5、,1,，,2,是可分的。那么存在一个,m1,维的向量,w,使得可以得到如下公,式（,Cover,，,1965,）：,那么所获得的超平面的逆像就是：,10,总结：模式可分性的,cover,定理,1,、由,2,、高维数的隐藏空间，这里的高维数是相对于输入空间而言的。维数由赋给,m1,的值,（即隐藏单元的个数）决定。,3,、理论证明（,Nilsson,，,1965,）证明：隐藏空间的维数,m1,越高，则二分概率越趋向于,1,注意：虽然说将一个复杂的模式分类问题非线性地投射到高维数空间将会比投射到低维,数空间更可能线性可分。不过有时非线性映射就足够导致线性可分，而不必升高隐藏单,元空间维数,XOR,问
6、题,11,XOR,问题,R,2,(X),X,1,输入,径向基神经元,输出,0,0,0,0,1,0,0,0,1,1,1,1,y,x2,x1,2,1,2,2,1,1,2,2,1,(,),1,0,(,),0,x,x,R,x,e,R,x,e,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,X,2,R,1,(X),y,1,0.1353,0.3679,0.3679,R1(X),1,0,0,0.3679,1,0,0.3679,0,1,0.1353,1,1,R2(X),x2,x1,2,1,2,2,2,1,1,2,1,1,(,1),(,1),1,(,),0.367
7、9,x,x,x,x,R,x,e,e,?,?,?,?,?,?,?,?,?,?,?,?,?,?,x,2,x,1,R(x,2,),R(x,1,),1,1,0,1,1,0,0.3679,0.1353,空间变换前,空间变换后,12,RBF,神经网络的插值问题,RBF,神经网络是基于,RBF,函数，,RBF,函数是解决多变量插值问题,首先了解下什么是插值问题？,13,插值问题,在工程技术上，给出一批离散的点，要求作出一条通过这些点的光滑曲线，以满足设计,和加工的需要。反映在数学上，即已知函数在一些点的值，寻求它的分析表达式。,o,x,Y(x),P(x)=?,n,y,0,y,1,y,2,y,i,y,n,x,
8、0,x,1,x,2,x,i,n,y,14,插值问题,一,是在选定近似函数,H(x),后，,不要求它们通过已知样点,，只要求,在某种意义下它在这些样点的总偏差最小,-,曲线拟合法,。,二,是给出函数,f(x),的一些样点值，选定某些便于计算的函数，要求它们,通过已知样点,，由此确定函数,H(x),为,f(x),的近似值,-,插值法,;,15,RBF,神经网络结构,这个网络,实现从输入空间到隐藏,空间的一个非线性映射，随后从隐,藏空间到输出空间是线性映射。,16,RBF,中的插值问题,在,RBF,中是如何通过插值方法进行网路的训练呢？,首先假设我们有,N,个,m0,维向量，那么我们就确定了输入层节
9、点有,m0,个。相当于一个从,m0,维输入空间到一维输出空间的映射，可以写成,如下形式：,可以将映射,S,看成一个超曲面,这样，该插值问题可以描述如下：,给定一个包含,N,个不同点的集合,和相应的,N,个实数的一个集合,，寻找一个函数,F,：,满足下述插值条件：,F(Xi)=di,i=1,2,.N,17,径向基函数技术就是要选择一个函数,F,具有下列形式：,RBF,中的插值问题,其中,18,那么综合以上的公式，我们可以得到在径向基网络（输入参数有,N,个，隐藏层有,N,个,节点，输出层有一个节点）中我们可以得到以下的线性方程：,RBF,中的插值问题,向量,d,表示期望响应向量，,w,表示线性权
10、值向量，,N,是训练样本的长度,用,?,表示左边,那么该式就可以转换为：,?,w=x,这里的,?,必须为非奇异矩阵，,因此存在。这样就可以解出,权值向量,w,，表示为：,W=x,19,RBF,中的插值问题,这里有个关键问题：怎么能保证插值矩阵,?,是非奇异的？,涉及到,Micchelli,定理（,1986,）：,如果,是中,N,个互不相同的点的集合，则,N X N,阶的插值矩阵,?,是,非奇异的。,在径向基函数网络中有重要地位的函数主要有三个，满足,Micchelli,定理,针对这,3,个径向基函数，,只要保证输入点,Xi,互不相,同即可满足插值矩阵非,奇异的全部要求。与所,给样本的长度,N,
11、和向量,Xi,的维数无关。,20,理论部分结束！,径向基神经网络实际上是,如何工作的？,21,径向基神经网络,首先我们构造径向基网络：,1,、输入层，由,m0,个源节点组成，其中,m0,是输入向量,X,的维数。,2,、隐藏层，理论上一般是选择和训练样本大小,N,相同个数的计算单元组成（但实际上，如果,使隐藏层具有和输入样本个数相同的大小可能导致计算资源的浪费，尤其是处理大规模训练,样本时。由于训练样本中可能存在固有冗余，所以隐藏层的大小是训练样本大小的一部分是,一个比较好的实践，这里我们选择,K,），每个单元的径向基函数选择高斯函数来描述,:,?,?,?,?,?,?,?,?,?,?,?,2,2
12、,|,|,2,1,exp,),(,i,k,i,i,k,X,X,X,X,?,?,这里向量,X,k,表示作用于输入层的信号模式，,Xi,表示第,i,个隐藏层节点的径向基函数中的中心。,很显然它和多层感知器有着不同之处，源节点和隐藏单元的连接是直接连接，没有权值。,3,、输出层，对输出层的大小没有限制，一般情况下，输出层比隐藏层的大小要小得多。我,们这里就选择一个输出节点。,22,径向基神经网络,这样我们就获得了这个,RBF,网络实现的逼近函数具有以下的数学形式：,其中输入向量,x,的维数是,m0,（输入层的大小），每个隐藏单元由径向基函数。,23,针对每一个径向基函数中,的中心如何确定？以及,?,
13、?,?,?,?,?,?,?,?,?,?,2,2,|,|,2,1,exp,),(,i,k,i,i,k,X,X,X,X,?,?,24,K-means,均值聚类,聚类是非监督学习的一种形式，它将一个观测集（即数据点）划分到自然组或者模式聚类。聚,类的途径是测量分配给每个聚类的观测对之间的相似性以最小化一个指定的代价函数。,之所以要选择,K,均值聚类，,K-means,对输入的信号,x,应用了非线性变换，因为其不相似测度,是对于给定的聚类中心而言关于输入信号,x,的非线性函数。而且其完全满足隐藏层维数足够高,的要求,令,表示一个用于划分到,K,个聚类的多维观测集。其中,K,小于观测数,N,。,代价函数
14、，迭代到代价函数最小化或者聚类分配上没有进一步的变化为止。,在,K-means,算法中，欧几里得范数的平方用于定义在观测,x,和中心之间的相似性度量。,25,K-means,均值聚类,1,、从,D,中随机取,k,个元素，作为,k,个簇的各自,的中心。,2,、分别计算剩下的元素到,k,个簇中心的相异,度，将这些元素分别划归到相异度最低的簇。,3,、根据聚类结果，重新计算,k,个簇各自的中,心，计算方法是取簇中所有元素各自维度的算,术平均数。,4,、将,D,中全部元素按照新的中心重新聚类。,5,、重复第,4,步，直到聚类结果不再变化。,6,、将结果输出。,这里的,uj,就是相应的中心，而，这个公,
15、式可以保证各个高斯单元不是太尖峰,也不是太平坦,26,K-means,均值聚类例子,中国男足近几年到底在亚洲处于几流水平？,亚洲（不包括澳大利亚）,15,只球队在,2005,年,-2010,年间大型杯赛的战绩,27,K-means,均值聚类例子,其中包括两次世界杯和一次亚洲杯。我提前对数据做了如下预处理：对于世界杯，进入决赛圈则取其最,终排名，没有进入决赛圈的，打入预选赛十强赛赋予,40,，预选赛小组未出线的赋予,50,。对于亚洲杯，,前四名取其排名，八强赋予,5,，十六强赋予,9,，预选赛没出现的赋予,17,。这样做是为了使得所有数据变,为标量，便于后续聚类。,下面先对数据进行,0,1,规格
16、化，下面是规格化后的数据：,28,接着用,k-means,算法进行聚类。设,k=3,，即将这,15,支球队分成三个集团。,现抽取日本、巴林和泰国的值作为三个簇的种子，即初始化三个簇的中心为,A,：,0.3,0,0.19,，,B,：,0.7,0.76,0.5,和,C,：,1,1,0.5,。下面，计算所有球队分别对三个中心点的相异度，这里以欧,氏距离度量。下面是我用程序求取的结果：,K-means,均值聚类例子,从左到右依次表示各支球队到当前中心点的欧氏,距离，将每支球队分到最近的簇，可对各支球队,做如下聚类：,中国,C,，日本,A,，韩国,A,，伊朗,A,，沙特,A,，伊拉,克,C,，卡塔尔,C
17、,，阿联酋,C,，乌兹别克斯坦,B,，泰国,C,，,越南,C,，阿曼,C,，巴林,B,，朝鲜,B,，印尼,C,。,第一次聚类结果：,A,：日本，韩国，伊朗，沙特；,B,：乌兹别克斯坦，巴林，朝鲜；,C,：中国，伊拉克，卡塔尔，阿联酋，泰国，,越南，阿曼，印尼。,29,下面根据第一次聚类结果，调整各个簇的中心点。,A,簇的新中心点为：,(0.3+0+0.24+0.3)/4=0.21,(0+0.15+0.76+0.76)/4=0.4175,(0.19+0.13+0.25+0.06)/4=0.1575=0.21,0.4175,0.1575,用同样的方法计算得到,B,和,C,簇的新中心点分别为,0.7
18、,0.7333,0.4167,，,1,0.94,0.40625,。,用调整后的中心点再次进行聚类，得到：,K-means,均值聚类例子,第二次迭代后的结果为：,中国,C,，日本,A,，韩国,A,，伊朗,A,，,沙特,A,，伊拉克,C,，卡塔尔,C,，阿联酋,C,，乌兹别克斯坦,B,，泰国,C,，越南,C,，,阿曼,C,，巴林,B,，朝鲜,B,，印尼,C,。,结果无变化，说明结果已收敛，,于是给出最终聚类结果：,亚洲一流：日本，韩国，伊朗，,沙特,亚洲二流：乌兹别克斯坦，巴林，,朝鲜,亚洲三流：中国，伊拉克，卡塔,尔，阿联酋，泰国，越南，阿曼，印,尼,30,中心确定了，我们现在需要进行确定权值向
19、量。这里我们引入了法方程的概念。,法方程：在最小二乘法为求解条件方程组和误差方程组所组成的对称正定方程组。,权值向量的递归最小二乘估计,1,、隐藏单元输出的,K X K,相关函数，由下式定义：,其中：,2,、,RBF,网络输出的期望响应和隐藏单元输出之间的,K X 1,互相关向量，定义为：,31,RLS,算法,-,权值向量的递归最小二乘估计,未知权值向量,在最小二乘下最优化。也就是对权值向量求解上述法方程。,如果直接计算相关矩阵,R(n),的逆矩阵，然后将求得的逆矩阵和互相关向量,r(n),相乘，这就是最小二,乘法所做的。但当隐藏层,K,非常大的时候，计算,R(n),逆矩阵是非常困难的。所以这
20、里引入了,RLS,（递,归最小二乘）,运用最小二乘法的递归执行来应对这一计算困难。,首先我们将互相关向量变换格式：,32,33,RLS,算法,-,权值向量的递归最小二乘估计,现在我们可以将其简化成：,然后将该式代入法方程,得到：,那么进一步转化：,34,RLS,算法,-,权值向量的递归最小二乘估计,现在我们已经得到了这个权值更新公式，那么接下去只要求得,R(n),逆矩阵就可以了。,上文中，我们这个公式涉及到了,R(n):,针对这样的形式，我们通过利用“矩阵逆引理”得到逆矩阵的。首先看形如：,根据矩阵逆引理，可以得到：,关于这个的推导，提供一种思路：,AA,逆,=E,那么,A,的逆必然可以表示成
21、,一个形如：,B+X,的形式，然,后用,:,（,B+X,）,*A,的表达式,=E,这里假设矩阵,B,是非奇异的，那么,B,逆是存在的。矩阵,A,和矩阵,B,具有相同的维数，,矩阵,D,式另一个具有不同维数的非奇异矩阵，矩阵,C,具有合适维数的矩阵,35,RLS,算法,-,权值向量的递归最小二乘估计,针对这个问题，那么我们就可以将：,类比得到,R(n),的逆：,这样就得到了,R(n),逆的递归公式：,那么权值向量的更新也就求出来了。,36,RBF,神经网络的学习过程,我们这里采用的,RBF,算法可以称为：“,K,均值，,RLS,”算法,首先将,K-means,算法用于训练隐藏层，然后利用,RLS,算法训练输出层。,1,、输入层,输入层的大小是由输入向量,x,的维数决定的，记为,m0,2,、隐藏层,隐藏层大小,m1,是由计划的聚类数,K,决定的。,K,可以成为自由度。,聚类中心由,k-means,算法计算得到，作为高斯函数的中心。,3,、输出层,一旦隐藏层训练完成，就可以开始输出层的训练。使用,RLS,算法进行。,训练结束，就可以使用。,优点：计算高效性（得益于,K-means,和,RLS,算法的计算高效性）。,37,谢,谢！,
