《多元统计分析第二章 多元正态分布.docx》由会员分享，可在线阅读，更多相关《多元统计分析第二章 多元正态分布.docx（19页珍藏版）》请在三一办公上搜索。
1、第2章多元正态分布多元正态分析是一元正态分布向多元的自然推广。多元正态分布是多元分析的基础，多元分 析的许多理论都是建立在多元正态总体基础上的。虽然实际的数据不一定恰好是多元正态 的，但是正态分布常常是真实的总体分布的一种有效的近似。所以研究多元正态分布在理论 上或实际上都有重大意义。限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard（2003），朱道元（1999）等。现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的 近似的抽样分布。2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随
2、机变量的向量为随机向量。类似地，所有元素都是随机变量的矩阵称为随机矩阵。设X = （x., x）是p X1随机向量，其概率分布函数定义为：F（X ,.,x ）= P（X x ,., X x ，X ,.,X 为任意实数1p11p p1p多元分布函数F（X,.,X ）有如下性质：0 F （x ,.,x ） 0,在给定X 的条件下,X的条件概率密(2)q+1pX(2 q+1p(2)(1)度函数为:f q,.,xxq+1) f ,.,xp).pfX G+i.ix)(2.3)独立性设(X1,., Xn)是连续型随机向量，则X1,., Xn相互独立当且仅当f (x ,., x )= f (x)f (x )
3、对任意 x ,., x 成立。1nX 1Xn n1n例2.1设随机向量X = (XX2,X3)的概率密度函数为exp 2x - x x , x , x , x 0I 122 3 I 1230, 其他试证X, X 2,X3相互独立。证明：f (x )=jsjs f (x ,x ,x )dx dxs sX11 s s 12323= fcofcoexp|-2x0 0-x -x dxdx122 3=2e-2勺,x Qi同理f (X ) =e, x 0-X2 22f (x ) = eixi, x 0X3 323由于f (% , X , X ) = f (x )f (x )f (% )123 X| 1 X
4、, 2 X3 3所以X ,x ,x相互独立。 1232.1.3随机向量的变换设随机向量X = (X,X )的概率密度函数为),函数组 1p1PP =(p (xi = 1,2,-, p，其逆变换存在，即 X =W (K,.,K ), j = l,2，p 存iiipj j 1 p(2.4)(2.5)在。则y =（,y y的概率密度为： 1 p g（y ）=y（|/ （,.,）|j|1p11pp 1pd（X ）其中f ）1 p2.1.4数字特征数学期望随机矩阵X = G ）的数学期望定义为J nxmE（X ）. .E（X ）（）以）.是（疽”）FX ）=212/nE(X ). .E(X )nlnm
5、/随机向量X = （X,Xp）,也可看作随机矩阵，它是只有-列的随机矩阵，其数学期望为： E（X）=（E（X E（X ）1p随机矩阵x）的数学期望有如下的性质: nxm(1) E(CX ) = CE(X),其中 C 为常数;（2）设 A,B,C 是常数矩阵，则E（AX8 + C）= AE（X）8 + C ；(3)设X都是同阶的随机矩阵，贝iJE（X HX ）=E（X ）E（X ）01n1n1n例 2.2 设X N(|Li,b2)G = l,2, ,则 E(x)=:=:、E(X )J、 n z协方差矩阵设随机向量X =（x,X ）, Y = （Y,K）,则X与丫的协方差定义为:1P1 q顷(X,
6、Y)=EX-E(x)y E(Y)J =(Cov(x ,y).Cov(x)111 q Cov(x ,y).Cov(x ,y )vp 1p q J(2.6)简称为X与丫的协差阵特别地,(X ) = Cov(X, X )=(Cov(X ,X ).Cov(x ,X )111 pCov(X ,X ).C“(X ,X )p 1p p Jij也称为随机向量X的协方差矩阵（简称为协差阵）或方差，其中b =Cov（x ,X ）Ui j协方差矩阵的性质:（1）随机向量X的协方差矩阵是非负定对称矩阵。（2）设A是常数矩阵，力是常数向量，则Var（AX +b）= AVar（X）Af 0(3)设 A,B 为常数矩阵，则
7、 Cov(AX,BY) = ACov(X, Y)Br 0相关矩阵设X = （X|,.,Xp），和Y = （Y叮分别为维和0维随机向量，则X与5相关矩阵（简称为相关阵）定义为:P(x,Y)=(p(x ,Y).p(x111 q(2.7)其中p =p(xij若P（X,K）=O,表示X与丫不相关。2.1.5特征函数随机向量X的特征函数定义为：(2.8)p （t）= E。沪x ）其中r是与X有相同维数的实向量。随机矩阵X =（x ）的特征函数定义为:pxn（P（）=E(nexp i工乙k a=l P=1t Xap ap(2.9)其中7是与X有相同阶数的实矩阵。N,b2）的密度函数2.2多元正态分布的定义
8、及其性质多元正态分布是一元正态分布向PZ2维的推广。一元正态分布是:exp/,-00 X 00(2.10)_元X2、,-00 X 00exp(2.H)1rf(x) = exp v2k设X,Xp是独立同N（0,l）分布,则X = （XX ）的联合概率密度为:f X2 i i=l其中一oo x 0。当区| = 0时，Y就是退化的多元正态分布，不存在概率密度。当习。0时，E有逆。此时，Y有概率密度函数，其密度函数为：f(y) = G兀)一;|E|-2exp - - (y - r) S-1 (y - R), k 2)(2.12)上式就是常见的多元正态概率密度，记为YNqS, Z)o EY = r，va
9、r(Y) =。例2.3设随机向量YNq(0,Iq)，则Y的特征函数为:中(t) = E (eity )= E j exp iHek j=1)j=1=He - 212 = e- 211j=i=He例2.4设随机向量X服从Np(r ,S)，则X的特征函数*(t) =J1exp it R- tt。k2)证明：由定理2.2.1矢口，存在随机向量YN(0,1 )，使得X = r+ BY，其中BB = 。 中(t) = E (eitx )= E eit，(r+ by) = exp itr E Ci(b t)y )于是=exp SSexp |-2(船)(Bt)1. -t 以2)J=exp it R-例 2.
10、5 设 X N2。, )，其中(R1加2)由于 |=b 2b 2(1 -P 2 )，当 |p|0。则给定X时,X的条件分布是正态的，且 2E（X 2 |X ）2X=22一21气1 12。（证明参见王学民（2004）该定理说明X2的协方差与条件变量X1的值无关。2.3多元正态分布的参数估计参数估计是指已知总体分布类型，通过样本对其中的未知参数或数字特征作相应的估 计。设多元正态总体XNp（r ,Z），X,Xn是从总体中抽取的一个简单随机样本，从 而X,X n相互独立，且均服从正态分布N。，Z）。IXX.X )11121P记X=(X ,.x )-,X =X21X22.X2 P1n:nxpV Xin
11、1X.X) nPn2称之为观测数据阵，这是一个随机矩阵。其联合概率密度是:f(x)=H/(X )=n(两)-2|Z|-；exp-1 (x i11 I 2 i11 (x |J1 (x 2一如一1 (xir)i=1=G兀)p区)ni=12 exp I 2 ii=12.3.1多元正态总体样本的数字特征(2.13)样本均值向量:x = -Xj = k，,Qpx1 其中x 二1 X., j = 1,2,.,P i=1i=1(2)样本离差矩阵:S = X X)X X) =XX nXX = S ) 称为样本离差矩阵II. PxPi =1其中 S. = X X X. X )(i,j = 1,2,.,P)a=1
12、(3)样本协方差矩阵：称R = 二 S作为样本协方差矩阵，简称为样本协差阵。n 1(4)样本相关矩阵:f1 % 其中P. = P jiS, (i, j = 1,2,.,p )P 1 PP =212 P定理2.3.1：设又和S分别是总体XN, )的样本均值向量和样本离差矩阵，则:(1)(2) S = 1 Zg ，其中彳,Zn1独立同Np(0,)分布; i=1(3)又和S相互独立。例2.8为了弄清楚橡胶的性能，今抽了 10个样品，每个测了三项指标：硬度、变形及弹性，其数据如下：No硬度变形弹性No硬度变形弹性1654527.66674631.32704530.77684737.03704831.8
13、8724333.64694632.69664733.15665031.010684834.2试求样本均值向量、样本协方差阵和相关阵。SAS的CORR过程可用于求样本均值向量、样本协方差矩阵R和样本相关矩阵。CORR过程主要有两个语句：PROC CORR语句和VAR语句。PROC CORR语句用以调用CORR过程VAR语句，它以关键词proc corr开头，后跟data= 数据集名，用以说明加工的数据集。加选项COV后可以求样本协差阵。VAR语句以关键词var开头后跟随机向量的分量名。编制SAS程序如下：data w；input x1 x2 x3;cards;65 45 27.670 45 30
14、.770 48 31.869 46 32.666 50 3167 46 31.368 47 3772 43 33.666 47 33.168 48 34.2;proc corr data=w cov;run;屏幕输出3张表：Correlation Analysis3 VAR Variables:X1X2X3CovarianceMatrixDF = 9X1X2X3X14.766666667-1.9444444441.934444444X2-1.9444444443.8333333330.616666667X31.9344444440.6166666676.189888889上表可见(4.7666
15、667 -1.9444444 1.934444、R = -1.9444443.8333333 0.61666671.9344440.61666676.1898889 )Correlation AnalysisSimple StatisticsVariableNMeanStd DevSumMinimumMaximumX11068.10002.1833681.000065.000072.0000X21046.50001.9579465.000043.000050.0000X31032.29002.4879322.900027.600037.0000(68.1、所以X = 46.532.29)Cor
16、relation AnalysisPearson Correlation Coefficients / Prob |R| under Ho: Rho=0 / N = 10X1X2X3X11.00000-0.454880.356130.00.18650.3125X2-0.454881.000000.126600.18650.00.7275X30.356130.126601.000000.31250.72750.0(1-0.45488 0.35613)上表可见P =-0.4548810.12660。0.356130.126601)3.3.2 R, E的估计(1)矩法估计用样本均值向量X和-S分别作
17、为总体均值R和总体协方差E的估计量，称为参数 nC, )的矩法估计。口 =又， =1 s =1 (x - X)G - X )n n i=1（2）极大似然估计设X,X是从多元正态总体X吒（M,Z）中抽取的一个简单随机样本，日,未知。R , 的极大似然估计为:口 = X ， = 1 s = 1 (X - X)Xi - X)(证明参见王学民(2004)i=1定理2.3.2：（极大似然估计量具有不变性）：设G是0的极大似然估计量，考虑函数h（0），一，、一，八、例2.9设多元正态总体XN。,E）则h（9 ）的极大似然估计为h（9）。X,X是一个简单随机样本，n P, 0。1X（1）1（2） / p-q
18、1 c将样本均值向量X和s作相应的分块:nX（1）11Z、211（2） / p-qU s 111 s21s12s /22p-q则有:(1)七）的MLE为X气.的MLE为-s ；(2)X /X的相关系数P的MLE为:1) X 2)bP= 12X 1)X 2) b 1b 22参数估计的方法多种多样评价估计量优劣的准则也是多种多样。从不同的角度，有无偏性、有效性、相合性等。无偏性设e（X ,X，,X）是未知参数0的一个估计量，如果对V0 6。，都有E0 =0，则 12n称0是未知参数的无偏估计。下面考察Np。，Z）中。，Z）的极大似然估计量的无偏性由于E|1 = EX =1 EX 二日，故X是旦的无
19、偏估计。i =1又E i = E f1S ) = 1E (X - X )(X - X JI n ) n i i1- i=1(X -Q(X - J-n(X -Q(X -JLi i f 一=_ Y var X n1. 11i=1=一 n var X故，1S不是的无偏估计。但一 1 s = 1 G - X）X - XJ 是的无偏估计。nn 1n 1，i =1（2）有效性设0（X ,X，,X ）和0（X ,X，,X ）是未知参数0的两个无偏估计，如果 112n 212nvar） var（0 ）对V0 e 0成立，则称估计量0比0有效。1212如果0的某个无偏估计0对。的任一无偏估计。都有、var(0)
20、 2分布、非中心f分布和非中心F分布定义2.4.1：设xn N（H,Z）,E 0,令= X-1X ,则称冷的分布为具有自由度为、 P非中心参数为8的非中心X2分布，记为咒2口、2侦,8）,其中8=口1：-甲。X定义2.4.2：设X H 2V（6 ,1）与丫口2（）相互独立，令T =,则称T的分布为具有自 由度为、非中心参数为&的非中心$分布，记为口1（,8）。定义243：设X /2（m,5）与厂彳2（）相互独立，令F ,则称g的分布为具有Y.;n自由度为秫/、非中心参数为&的非中心F分布，记为尸口（秫,8）。二、Wishart 分布1. Wishart分布的定义Wishart分布是Wishar
21、t于1928年首先推导出来的，它在多元统计分析中占有非常重要的位置。定义 244：设 X,.,X 相互独立，X N（0,）,（1 = 1,2,） 1ni P记X=（X,.,X ）, W = x x = xx,则称随机阵W服从自由度为的Wishart1 nxPi=l分布，记为。,）。 p其概率密度为：r 11）A 2 exp - , A 0f（A,）= 0, m p，且 A 与 A 独立，差之比a = tIA1 + A21 p2 p12的分布为Wilks分布，记为A A(p,m,n)。当 p = 1 时，A &(m2, n 2)。2. Wilks分布的性质性质 1：当 n = 1,m p 时，A
22、(p,m,1)=11，1 + T2 (p, m)n1 A( p, m,1)T 2( p, m) = m -A( p, m,1)m - p +1m - p +11 A d T 2 = F (p, m p +1)。 mpp A性质2：当p = 1时，有m 1 A(1,m, n) d =F(n, m)。n A (1,m, n)习题二I、设三个随机变量X,*Z的联合密度函数为:.（_kxyz, 0x2,0 y,z 1;一0,其他（1）试求常数* ；（2）x,y,z是否相互独立； 试求在给定x = l,y = 0.5的条件下，Z的条件分布。2、设随机向量X=（X,X ,X ）的协方差矩阵为:1234 -
23、2 -4、=-2 93L 3 16/令Y =X -2X +3X ,y =2X +3X +X ,Y =X +X ,试求 丫 二 (丫,丫，丫)的协方11232123323123差矩阵。3、设XN （孔）,其中32 11)= (1-2,1) = 13 - 1 ,Il T J0.51 -0.5、00,fl)B = o试求Y AX + B的分布。3 2 1、4、设X N (p,),其中pi = (1,2,3),=2 2 1 0 (1)试求X +3X 2X 的分31231 1 1J布;试找一个二维向量2 （件），使气与气(X-a相互独立。5、设X,.,X是来自总体N （孔）的随机样本，若P = 已知，试求参数的最大似 Inp0然估计。6、设X 是来自总体N 3,)的随机样本，C 2OJ = 1,2,.,N C =1 ,令Inpiii=lZ=1（1）Z是R的无偏估计;(2)Z N p （r , CC）,其中 C =（2，., Cj；(3)当C = ! 1时，Z的协方差阵在非负定的意义下达到极小。7、设X., X是来自总体N5 （r ,）的一个随机样本，试说明下列统计量的分布:（X 一旦j t （X 一旦）的分布；（2）寸（X r）的分布。
