《lecture因子分析.ppt》由会员分享，可在线阅读，更多相关《lecture因子分析.ppt（68页珍藏版）》请在三一办公上搜索。
1、第九章 因子分析,北京交通大学李雪梅,因子分析,因子分析模型因子载荷矩阵的估计方法因子旋转因子得分 因子分析的步骤、展望和建议,引言 因子分析(factor analysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。,对商店的测度指标很多，但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的
2、因子，对商店进行综合评价。而这三个公共因子可以表示为：,称 是不可观测的潜在因子。24个变量共享这三个因子，但是每个变量又有自己的个性，不被包含的部分，称为特殊因子。,注：因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义；主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。主成分分析:原始变量的线性组合表示新的综合变量，即主成分；因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。,第一节 因子分析模型,一、数学模型,设 个变量，如果表示为,称为 公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊
3、因子，是不能被前m个公共因子包含的部分。并且满足：,即不相关；,即 互不相关，方差为1。,即互不相关，方差不一定相等，。,用矩阵的表达方式,二、Q型因子分析模型,Q型因子分析模型有：此时，表示n个样品。因子分析的目的就是通过模型，以F替代X，由于mp，mn，从而达到降低维数的作用。,三、因子分析模型的性质,1、原始变量X的协方差矩阵的分解,D的主对角线上的元素值越小，则公共因子共享的成分越多。,2、模型不受计量单位的影响,将原始变量X做变换X*=CX,这里 Cdiag(c1,c2,cn),ci0。,3、因子载荷不是惟一的,设T为一个pp的正交矩阵，令A*=AT，F*=TF，则模型可以表示为,且
4、满足条件因子模型的条件,四、因子载荷矩阵中的几个统计特征,1、因子载荷aij的统计意义,因子载荷 是第i个变量与第j个公共因子的相关系数,模型为,在上式的左右两边乘以,再求数学期望,根据公共因子的模型性质，有,（载荷矩阵中第i行，第j列的元素）反映了第i个变量与第j个公共因子的相关重要性。绝对值越大，相关的密切程度越高。,2、变量共同度的统计意义,定义：变量 的共同度是因子载荷矩阵的第i行的元素的平方和。记为,统计意义：,两边求方差,所有的公共因子和特殊因子对变量 的贡献为1。如果 非常靠近1，非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化性质好。,3、公共因子 方差贡献的统计意
5、义,因子载荷矩阵中各列元素的平方和 称为所有的 对 的方差贡献和。衡量的相对重要性。,第二节 因子载荷矩阵的估计方法,设随机向量 的均值为，协方差为,为的特征根，为对应的标准化特征向量，则,（一）主成分分析法,上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有,上式有一个假定，模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。,注：残差矩阵,其中S为样本的协方差矩阵。,（二）主因子法,主因子方法是对主成分方法的修正，假定我们首先对变量进行标准化变换。则 R=AA+D R*=AA=R-D称R*为约相关矩阵
6、，R*对角线上的元素是,而不是1。,直接求R*的前p个特征根和对应的正交特征向量。得如下的矩阵：,当特殊因子 的方差不同且已知的，问题非常好解决。,在实际的应用中，个性方差矩阵一般都是未知的，可以通过一组样本来估计。估计的方法有如下几种：,首先，求 的初始估计值，构造出,1）取，在这个情况下主因子解与主成分解等价；2）取，为xi与其他所有的原始变量xj的复相关系数的平方，即xi对其余的p-1个xj的回归方程的判定系数，这是因为xi 与公共因子的关系是通过其余的p-1个xj 的线性组合联系起来的；,3）取，这意味着取xi与其余的xj的简单相关系数的绝对值最大者；,4）取，其中要求该值为正数。,5
7、）取，其中 是 的对角元素。,（三）极大似然估计法,如果假定公共因子F和特殊因子服从正态分布，那么可以得到因子载荷和特殊因子方差的极大似然估计。设 为来自正态总体Np(,)的随机样本。,它通过依赖和。上式并不能唯一确定,为此可添加一个唯一性条件：这里式一个对角矩阵，用数值极大化的方法可以得到极大似然估计。极大似然估计 将使 为对角阵，且似然函数达到最大。相应的共同度的似然估计为：第J个因子对总方差的贡献：,例 假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主成分分析法求因子分析模型。,特征根为：,可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.5
8、5。第二公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。,假定某地固定资产投资率，通货膨胀率，失业 率，相关系数矩阵为试用主因子分析法求因子分析模型。假定用代替初始的。,特征根为：,对应的非零特征向量为：,第三节 因子旋转（正交变换）,建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使因子载荷阵的结构简化，使载荷矩阵每列或行的元素平方值向0和1两极分化。有四种主要的正交旋转
9、法、四次方最大法、方差最大法和等量最大法。,（一）为什么要旋转因子,变换后因子的共同度,设正交矩阵，做正交变换,变换后因子的共同度没有发生变化！,（二）旋转方法,变换后因子贡献,设正交矩阵，做正交变换,变换后因子的贡献发生了变化！,1、方差最大法 方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上又较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于1，另一部分趋于0。,2、四次方最大旋转 四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一
10、个因子上又较高的载荷，而在其它的因子上尽可能低的载荷。如果每个变量只在一个因子上又非零的载荷，这是的因子解释是最简单的。四次方最大法通过使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。,3、等量最大法 等量最大法把四次方最大法和方差最大法结合起来求Q和V的加权平均最大。,权数等于m/2，因子数有关。,4、斜交旋转 斜交旋转的目的是使新的载荷系数尽可能的接近于0或尽可能的远离0；只是在旋转时，放弃了因子之间彼此独立的限制，旋转后的新公因子更容易解释。主要有以下的方法：direct oblimin:直接斜交旋转。允许因子之间具有相关性；promax:斜交旋转方法。允许因子之间具有相关性；由于斜
11、交旋转计算量大，通常使用并不多。,第四节 因子得分,（一）因子得分的概念,前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。,因子分析的数学模型为：,原变量被表示为公共因子的线性组合，当载荷矩阵旋转之后，公共因子可以做出解释，通常的情况下，我们还想反过来把公共因子表示为原变量的线性组合。,因子得分函数：,可见，要求得每个因子的得分，必须求得分函数的系数，而由于pm，所以不能得到精确的得分，只能通过估计。,1、回归方法,1)思想,
12、则，我们有如下的方程组：,j=1,2,m,注：共需要解m次才能解出 所有的得分函数的系数。,矩阵表示方法,在因子模型中，假设 服从（m+p)元的正态分布，有,2）估计的有偏性,3）平均预报误差,2、巴特莱特因子得分(加权最小二乘法）,把 看作因变量；把因子载荷矩阵 看成自变量的观测；把某个个案的得分 看成最小二乘法所要求的系数。,1)巴特莱特因子得分计算方法的思想,由于特殊因子的方差相异，所以用加权最小二乘法求得分，每个个案作一次，要求出所有样品的得分，需要作n次。,用矩阵表达：,满足上式的F是相应个案的因子得分。,2）得分估计的无偏性,如果将f和不相关的假定加强为相互独立，则,3）,第五节
13、因子分析的基本步骤,计算所选原始变量的相关系数矩阵 相关系数矩阵描述了原始变量之间的相关关系。可以帮助判断原始变量之间是否存在相关关系，这对因子分析是非常重要的，因为如果所选变量之间无关系，做因子分析是不恰当的。并且相关系数矩阵是估计因子结构的基础。,选择分析的变量 用定性分析和定量分析的方法选择变量，因子分析的前提条件是观测变量间有较强的相关性，因为如果变量之间无相关性或相关性较小的话，他们不会有共享因子,所以原始变量间应该有较强的相关性。,一、因子分析通常包括以下五个步骤,提取公共因子 这一步要确定因子求解的方法和因子的个数。需要根据研究者的设计方案或有关的经验或知识事先确定。因子个数的确
14、定可以根据因子方差的大小。只取方差大于1(或特征值大于1)的那些因子，因为方差小于1的因子其贡献可能很小；按照因子的累计方差贡献率来确定，一般认为要达到60才能符合要求；,因子旋转 通过坐标变换使每个原始变量在尽可能少的因子之间有密切的关系，这样因子解的实际意义更容易解释,并为每个潜在因子赋予有实际意义的名字。计算因子得分 求出各样本的因子得分，有了因子得分值，则可以在许多分析中使用这些因子，例如以因子的得分做聚类分析的变量，做回归分析中的回归因子。,因子分析是十分主观的，在许多出版的资料 中，因子分析模型都用少数可阐述因子提供了合理解释。实际上，绝大多数因子分析并没有产生如此明确的结果。不幸的是，评价因子分析质量的法则尚未很好量化，质量问题只好依赖一个“哇！”准则,如果在仔细检查因子分析的时候，研究人员能够喊出“哇，我明白这些因子”的时候，就可看着是成功运用了因子分析方法。,案例分析,例9-2 奥运会十项全能运动项目得分数据的因子分析,练习题,试述因子分析的基本思想。试述因子分析与主成分分析方法的区别。试述因子载荷的含义及其功能。试述如何计算因子得分。试寻找一个实例进行因子分析。,
