《线性回归的例子证明.ppt》由会员分享，可在线阅读，更多相关《线性回归的例子证明.ppt（27页珍藏版）》请在三一办公上搜索。
1、线性回归,1 西北工业大学,2 西北工业大学,简单实例,一套200平方米的房子价格由数据-曲线要求：拟合曲线的误差最少直线多项式对数指数,3 西北工业大学,梯度下降,梯度下降方法实现回归方向导数梯度,4 西北工业大学,方向导数,方向导数：如果函数zf(x，y)在点P(x，y)是可微分的，那么函数在该点沿任一方向l 的方向导数都且有,5 西北工业大学,梯度,梯度：函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致(等高线，法向量)，而它的模为方向导数的最大值,PS：grad f(x,y)，即函数f(x,y)梯度 f(x,y)=c，即在(x,y)处等高线值为c,6 西北工业大学,
2、梯度下降-实例（1）,考虑一座山在点(x,y)的高度是H(x,y)。在这一点的梯度是在该点坡度（或者说斜度）最陡的方向。梯度的大小告诉我们坡度到底有多陡。,7 西北工业大学,梯度下降-实例（1）,函数，如下,曲面图：,8 西北工业大学,梯度下降-实例（1）,等高线图：,9 西北工业大学,梯度下降回归-缺陷,靠近极小值时速度减慢。可能会之字型地下降。,10 西北工业大学,梯度下降-实例（2）,表达式Where is 最小值?远离(1,1)点 和 在(1,1)点领域内的变化缓急？,?,11 西北工业大学,梯度下降-实例（2）,12 西北工业大学,梯度下降-实例（2）,其最小值在(1,1)处，数值为
3、0。此函数具有狭窄弯曲的山谷，最小值就在这些山谷之中，并且谷底很平。优化过程是之字形的向极小值点靠近，速度非常缓慢。,13 西北工业大学,logistic回归,Logistic回归本质上是线性回归，只是在特征到结果的映射中加入一层函数映射,14 西北工业大学,logistic回归,应用二分类Logistic回归模型多分类Logistic回归模型,15 西北工业大学,logistic回归,患病率 P1=a/m1 P2=b/m2,16 西北工业大学,logistic回归,Odds=(Odds为优势)P越大,则Odds越大；P越小,则Odds越小对于两个Odds的比较，一般用它们的Ratio，并称为
4、Odds Ratio(OR,优势比)，其定义如下：,17 西北工业大学,logistic回归,样本估计统计量为：比较结果：OR=1?OR1?OR1?多重线性回归的表达式为：,公式,18 西北工业大学,logistic回归,由上面公式可推导出,19 西北工业大学,logistic回归系数的意义,以x1的回归系数 为例一个暴露因素：暴露为1，非暴露为0。除x1，固定其它自变量,20 西北工业大学,logistic回归实例（1）,研究急性心肌梗塞(AMI)患病与饮酒的关系。,21 西北工业大学,logistic回归实例（1）,饮酒的患病率和Odds分别为不饮酒的患病率和Odds分别为,22 西北工业
5、大学,logistic回归实例（1）,患病(Y=1)的概率为x=1 表示饮酒，x=0表示不饮酒回归系数 是未知参数，通常用最大似然估计的方法获得。,23 西北工业大学,logistic回归实例（1）,饮酒(x=1)，患病概率和未患病概率分别为不饮酒(x=0)，患病概率和未患病概率分别为,24 西北工业大学,logistic回归实例（1）,最大似然估计选择 使似然函数L达到最大，即最大似然估计。,25 西北工业大学,logistic回归实例（1）,用Logistic模型进行统计分析以上述实例资料用Stata统计软件对回归系数进行最大似然估计，得到回归系数估计为即,26 西北工业大学,Thank you very much!,27 西北工业大学,
