《粒子物理与核物理实验中的数据分析课件.ppt》由会员分享，可在线阅读，更多相关《粒子物理与核物理实验中的数据分析课件.ppt（28页珍藏版）》请在三一办公上搜索。
1、粒子物理与核物理实验中的数据分析,杨振伟清华大学第九讲：最小二乘法,上一章回顾,四种方法给出最大似然估计的方差数值方法蒙特卡罗方法RCF 边界方法图解法双参数的最大似然法（等高线）推广的最大似然法（样本总量为随机数）最大似然法处理分区数据（区间大小）用最大似然法合并多组测量结果,3/28/2023,2,3/28/2023,3,本讲要点,最小二乘法与最大似然法的关系线性情况下的最小二乘估计非线性情况下的最小二乘估计*约束情况下的最小二乘法*检验最小二乘法的拟合优度应用最小二乘法处理分区数据不等精度关联实验结果的并合问题,3/28/2023,4,最小二乘法与最大似然法,设有高斯随机变量:yi,i=
2、1,N,均值为,对应的对数似然函数(去掉与 无关的项)为,对于独立的高斯变量 yi，联合概率密度函数为,3/28/2023,5,最小二乘估计量的定义,如果 yi 是多维高斯变量，协方差矩阵为V，满足,那么其对数似然函数为,也就是说，我们应求下式的最小值,它的最小值定义了最小二乘法的估计量，即使 yi 不是高斯变量，该定义依然适用。(实际上，yi 通常是高斯的，因为中心极限定理会导出测量误差近似高斯。),3/28/2023,6,两种情况下的最小二乘参数估计,尽管上式对任何含参数函数的具体形式均成立，但是，对参数的估计，可以根据理论预期值中所含参数的具体特征而采用不同的参数估计处理方法，简化问题。
3、,线性情况：,非线性情况：,3/28/2023,7,线性最小二乘法估计,这里 aj(x)是 x 的任意线性独立函数。,用矩阵来表示时，令 Aij=aj(xi)，有,对 i 求偏微分，并令结果等于零，有,解方程得到最小二乘法的估计量,3/28/2023,8,最小二乘估计量的方差,等效地，可以利用下式来计算,如果 yi 是高斯变量时，其与RCF边界一致。,3/28/2023,9,最小二乘估计量的方差(续),3/28/2023,10,多项式的最小二乘法拟合,用一个多项式来拟合右图,第 0 阶(一个参数)第 1 阶(两个参数)第 4 阶(五个参数),对于单参数拟合(例如上图的横线):,例如:,3/28
4、/2023,11,多项式的最小二乘法拟合(续),对于双参数拟合的情形(有非零斜率的直线),倾角给出相关系数。,对于五个参量拟合的情形(有非零斜率的直线),2min值的大小反映了数据与假设之间的符合程度。,可以用来检验拟合优度。,曲线通过所有点；2min=0，参数的数目=数据点的数目。,3/28/2023,12,非线性最小二乘法估计*,如果采用牛顿法求上式的最小值，第 n+1次迭代公式可采用,3/28/2023,13,约束情况下的最小二乘法拟合*,实际问题中会遇到测量量本身要受到某些物理定律的约束。,求解可采用拉格朗日乘子法，对每一个约束引入因子i，,例如，能动量守恒，衰变顶点约束等等。对一个事
5、例有m个观测量，无参数的最小二乘问题变为,3/28/2023,14,约束情况下的最小二乘法(续一),为了找到最小值，可以通过求微商方法,而 n+1 次迭代后,设经过 n 次迭代以后，找到一组解，得到函数 的值。在 上对(n)进行线性展开，并略去高阶项，得到,3/28/2023,15,约束情况下的最小二乘法(续二),两式联立消掉 项，可以得到,因此，可以得到第 n+1 次迭代的 l 个拉格朗日乘子取值,以及第 n+1 次迭代的 m 个测量量的预期值,3/28/2023,16,约束情况下的最小二乘法(续三),当经过 n+1 次迭代以后，满足下式时即可终止,实验中，为了提高测量精度而采用的四动量守恒
6、约束拟合(4-C fit)，顶点或质量约束拟合(1-C fit)，大都采用该方式来进行。,此时的 2 值应满足自由度为（m-l）的 2 分布。,3/28/2023,17,例：粒子动量分辨的改进,例如，实验观测衰变,通常情况下，探测器对光子探测的能量分辨率较差，从而影响到 0 粒子动量重建的精度。,已知：,3/28/2023,18,例：粒子动量分辨的改进（续）,因此，每一个衰变事例的观测量期待值为,对应于每个观测量有误差估计，而且已知相互间不相关。则无参数的最小二乘问题可写为,利用一个约束条件下，改进的光子动量观测值进行 重建研究，从 的不变质量谱可以看出光子的动量得到了明显的改进。,3/28/
7、2023,19,检验最小二乘法的拟合优度,那么2min 服从 N-m自由度的最小二乘概率密度函数分布。,据此来计算P-值,例如在前面双参数拟合中,也就是说，重复实验多次，有 26.3%的值将大于 2min。,进行 1000 次蒙特卡罗实验,而对于水平线拟合，有,P-值太小！,3/28/2023,20,拟合优度与误差的最小值,小的统计误差并不意味着是一个好的拟合(反之亦然),2 曲线在其最小值附近变化给出统计误差；2min 的曲率大小给出拟合的优度。,在水平线拟合中，可以人为改变数据点纵向的位置，但保持误差不变，使得,方差与改变前一样，但 2min 变“好”了。,2(0)曲线只是向下平移，表明与
8、数据符合更好。但曲线形状并没有发生变化，即误差并没有改变。,3/28/2023,21,拟合优度与误差的最小值(续),估计量的方差告诉我们：,P-值告诉我们：,如果实验从复多次，估计量 分布有多宽。,但是，它并不告诉我们假设是否正确。,P-值太低，则假设可能有误，即存在系统误差。,如果假设正确，并且实验重复了多次，实验与假设按照统计的2min 完全符合或符合得更差的比率是多少。,3/28/2023,22,最小二乘法处理分区数据,最小二乘法拟合使下式有最小值,把 yi 看做泊松分布的随机变量，方差为,改进的最小二乘法虽方便了计算，但对于有些区间频数太少时2min不再服从最小二乘的概率密度分布函数(
9、或无定义)。,3/28/2023,23,最小二乘法的归一化问题,例如 n=400次，N=20个区间,解决的方法是从数据中直接得到 n，或者最好是用最大似然法定n。,3/28/2023,24,用最小二乘法并合各实验结果,用最小二乘法得到 的 N 个测量的权重平均值,在各测量量不相关的情况下，并合方法与最大似然法一样。,3/28/2023,25,两个相关实验的平均值,假设有两相关测量量 y1,y2，且,因第二个测量导致方差倒数的增加为,加权平均的结果将不在 y1 和 y2 之间。,如果是由于使用相同数据的话，上述情况不可能发生，但有却可能来自共同的随机效应；此时的平均值很不可信，例如，1，2 不正
10、确。,第二个测量结果对平均值有帮助。,3/28/2023,26,例：用不同尺子测量长度,实验上采用两把由不同材质做成的尺子测量一物体的长度。已知它们在不同温度下有不同的伸缩系数，即,根据误差传递公式，可以计算长度估计量的误差为,假设测量是无偏的，也就是,方差矩阵为,3/28/2023,27,例：用不同尺子测量长度（续）,相关系数为,加权平均值为,如果温度的误差很小可以忽略，则均值的估计值必在两测量值之间。而如果长度测量误差很小可以忽略，而且相关系数接近 1 时，则会出现方差为零的极端情况,这种情况通常是温度测量极不可靠造成的。,3/28/2023,28,小结,与最大似然法的联系线性的最小二乘法估计非线性的最小二乘法估计约束条件下的最小二乘法拟合用最小二乘法检验拟合优度用最小二乘法处理分区数据不等精度关联实验结果的并合问题,对于高斯分布量 yi，两者相同,估计是通过求矩阵的逆来完成，估计量是测量量 yi的线性函数,估计是通过迭代来完成，方差可采用线性情况2=2min+1来估计,用2min做拟合优度统计，满足N-m自由度下的2概率密度函数分布,把 yi当作泊松量，得到误差估计i，或yi(推广最小二乘法),对关联情况的处理，误差的修正,在约束条件下引入拉格朗日乘子改进实验观测量的精度,
