《交通数据处理参数估计与假设检验ppt课件.pptx》由会员分享，可在线阅读，更多相关《交通数据处理参数估计与假设检验ppt课件.pptx（49页珍藏版）》请在三一办公上搜索。
1、参数估计与假设检验,概率统计方法是最早应用于交通研究的数学方法之一。在交通控制，驾驶人行为分析，通行能力研究和交通规划等研究方向都得到了较广泛的应用。概率统计模型分为离散型分布和连续型分布。离散型分布产用于描述一定时间间隔内事件的发生次数。如某段时间内到达停车场的车辆数，某路段一年内发生的交通事故数等。交通工程中常用的离散型分布主要有三种：泊松分布、二项分布和负二项分布。,常用统计分布及其应用,泊松（Poisson）分布,常用统计分布及其应用-离散型分布,泊松（Poisson）分布记，则m为时间T内平均发生的事件数。期望与方差分别为在实际应用中，期望和方差分别可有样本均值和样本方差进行估计,常
2、用统计分布及其应用-离散型分布,泊松分布的理论期望和方差是相等的，这是泊松分布的一个重要特点。当显著不等于1时，意味着应用泊松分布拟合数据不合适。在交通工程中，泊松分布最早用于描述一定时间内到达车辆数的分布规律。当交通量不大且没有交通信号干扰时，基本上可用泊松分布拟合观测数据；当交通拥挤时，车辆间的干扰较大，应考虑其他分布。此外，泊松分布还常用于描述一定时间内交通事故发生次数。,例：假设一个商场停车场停车需求服从泊松分布。停车场每小时平均停车数为10辆，求1小时内到达车辆数小于等于10辆的概率；1小时内车辆数大于10辆的概率；1小时内到达车辆数大于5但不超过10的概率。,二项分布,常用统计分布
3、及其应用-离散型分布,当观测数据服从二项分布时，应有,对于拥挤的交通流，可应用二项分布描述车辆到达规律,负二项分布及其应用,常用统计分布及其应用-离散型分布,当观测数据服从负二项分布时，应有,当随机变量X取值是连续的，则称X的分布为连续型分布。在交通研究中常用的连续型分布主要有正态分布、对数正态分布、负指数分布、M3分布等。正态分布（又称高斯分布）在交通工程中，常用正态分布来描述车来那个运行速度分布；此外，在干扰较小的情况下各种不幸设施上行人步行速度也可用正态分布来描述。,常用统计分布及其应用-连续型分布,对数正态分布,常用统计分布及其应用-连续型分布,对数正态分布在交通研究中是常用分布之一。
4、与交通参与者生理、心理变化有关的变量（如驾驶员的反应时间、脉搏频率等）用对数正态分布来刻画是很好的选择。,负指数分布在交通工程中，负指数分布、移位负指数分布、M3分布和爱尔郎分布常用于描述交通流中车头时距的分布。用T表示车头时距，则T为随机变量。当T的密度为，则车头时距服从负指数分布其分布为其意义是车头时距小于t的概率负指数分布适用于车流密度不大，车辆到达随机性较大情况下的车头时距分布。当车辆到达服从泊松分布时，车头时距服从负指数分布。,常用统计分布及其应用-连续型分布,移位负指数分布负指数分布拟合单车道交通流车头时距分布时，理论上会得到车头时距在00.1秒的概率较大，这与实际情况不符。为了克
5、服负指数分布描述车头时距分布的这种局限性，引入了移位负指数分布，假设最小车头时距不应小于一个给定的值。,常用统计分布及其应用-连续型分布,M3分布当交通较拥挤时，出现了部分车辆成车队状态行驶。负指数分布和移位负指数分布都不能很好的描述这一现象。为此，Cowan提出了M3分布模型。该模型假设车辆处于两种行驶状态：一部分是车队状态形式，另一部分车辆按自由流状态行驶。M3分布函数为：,常用统计分布及其应用-连续型分布,统计分布在道路通行能力分析中的应用间隙接受理论在相交的两支车流中，假定一支车流是主路车流，另一支车流是次要车流，次要车流只能利用主路车流的间隙通过。当主路车流上的某一间隙大于临界间隙t
6、c时，次要道路上的车流才能通过。由前述假设可知，如果主路上的间隙Ttc，则支路上车辆不能穿插；如果主路车流间隙满足,统计分布在交通工程中的应用,tf为次要道路上车辆连续通过时保持的车头时距，称为随车时距,间隙T内可穿插n辆车的概率为：在一个间隙内可穿插的平均车辆数为假设主路的到达率为（辆/s），则一小时内主路为次要道路提供的间隙有q = 3600* 故次要道路一小时可穿插车辆数为,无信号控制交叉口通行能力根据主路车流中车头时距分布特性，可以得到相应的理论通行能力。当车头时距服从负指数分布（车辆到达服从泊松分布）则有,整理可得次要道路通行能力为当车头时距服从M3分布时，次要道路通行能力为,在交通
7、设计中的应用统计分布在交通设计中也有着较为广泛的应用，如在行人交通控制系统设计时需要考虑行人可穿越间隙分布，在信号交叉口左转车道设计中需要预测每周期到达左转车辆数。此外，统计分布还可以用于评价这些交通设计的服务特性，如延误分析、排队长度计算等。,统计分布在交通工程中的应用,例：在高速公路设计中，进口引道加速车道长度的确定是加速车道设计的核心内容。加速车道长度不仅要保证车辆在加速车道上完成需要的加速过程，还要保证一定的时间内车辆能够顺利汇入主线车流。假设高速公路上外侧车道的车头时距H服从参数为的负指数分布，并假设当Ht0是匝道上的车辆可以汇入；而对Ht0的间隙则不可汇入。求匝道上车辆在进入匝道后
8、0,t时间内能顺利汇入主线车流的概率,在交通安全评价中为评价改善措施对道路交通事故减少的效果，往往采用改善前和改善后两个统计周期内发生的事故数进行对比的方法来评价。该方法面临的问题是，所观测到的事故次数减少是由于偶然因素造成，该是改善措施的结果该问题可转化为统计假设检验问题。,设有n辆车，所发生事故数X为随机变量令,对于交通数据分析，分布模型的选择是非常关键的（1）数据类型和分布特点离散型分布和连续型分布分别适用于离散型变量和连续型变量。因此，要先对数据类型加以辨别。对于属性数据和计数数据则选择离散型分布；对连续取值数据则考虑连续型变量。之后，根据数据的分布特点来选择具体的分布。例如，对于离散
9、型变量，当样本方差接近样本均值时，泊松分布时较好的选择；而当样本方差大于样本均值时，负二项分布时较好的选择。,统计分布的选择,（2）数据拟合程度和合理性选择模型是否合适，一个重要的判断标准就是对数据的拟合效果好并且合理。只有对现有数据拟合程度高的模型才可以做为备选模型；此外，只有符合实际的模型才可以被接受。例如，之所以选择对数正态分布来拟合驾驶人的反应时间，而不用正态分布，原因之一就是反应时间只能取正值，而正态分布的取值区间可以为负,（3）专业知识和经验对于同一问题，合适的模型不止一个。这种情况下，可以借助专业知识和经验来选择模型。例如，过去的研究表明，反应时间可以用对数正态分布进行拟合；M3
10、分布可以很好的拟合信号控制路段上的车头时距。（4)）处理上的可行性。在没有特别适合的模型的情况下，可以考虑数学上处理的方便性和方法可用性。负指数分布在描述车头时距分布特性方面是最常用的方法。原因之一就是其在数学形式上比较简单，易于计算处理。,人们每时每刻都在做估计，如出门根据天色云量等预测今天的天气、根据婴儿的哭声判断其冷热和是否想吃奶、根据望闻问切来估计病人的病情、根据外表估计一个人的身高体重、根据营业数据等估计一个公司的业绩等估计就是根据你拥有的信息来对真实世界进行某种判断。统计中的估计也不例外，它完全是依据数据得出结论。,统计推断,举例说，人们想知道到底有多大比例的长春人民同意大力发展地
11、铁。由于不太可能一一询问所有长春市民，所以只好进行抽样调查以得到样本，并用样本中同意发展地铁交通的比例来估计真实比例。从不同的样本得到的结论可能不会完全一样。虽然真实的比例在这种抽样过程中永远也不会知道，但是通过某些数学方法知道估计出来的比例与真实的比例大致相差多少,统计推断,从数据得到关于现实世界的结论的过程就叫做统计推断(statistical inference)。上面调查例子是估计总体参数（某种意见的比例）的一个过程。估计(estimation)是统计推断的重要内容之一。统计推断的另一个主要内容是下一章要引进的假设检验(hypothesis testing)。,统计推断,这里介绍两种估
12、计，一种是点估计(point estimation)，即用估计量的实现值来近似相应的总体参数。另一种是区间估计(interval estimation)；它是包括估计量在内（有时是以估计量为中心）的一个区间；该区间被认为很可能包含总体参数。点估计给出一个数字，用起来很方便；而区间估计给出一个区间，说起来留有余地；不像点估计那么绝对。,参数估计,那么，什么是好估计量的标准呢？一种统计量称为无偏估计量(unbiased estimator)。所谓的无偏性(unbiasedness)就是：虽然每个样本产生的估计量的取值不一定等于参数，但当抽取大量样本时，那些样本产生的估计量的均值会接近真正要估计的参
13、数。,点估计,由于一般仅仅抽取一个样本，并且用该样本的这个估计量的实现来估计对应的参数，人们并不知道这个估计值和要估计的参数差多少。因此，无偏性仅仅是非常多次重复抽样时的一个渐近概念。,点估计,当描述一个人的体重时，你一般可能不会说这个人是76.35公斤你会说这个人是七八十公斤，或者是在70公斤到80公斤之间。这个范围就是区间估计的例子在抽样调查例子中也常用点估计加区间估计的说法。比如，为了估计某电视节目在观众中的支持率（即总体比例p），某调查结果会显示，该节目的“收视率为90%，误差是3%，置信度为95%”云云。这这种说法意味着下面三点,区间估计,1. 样本中的支持率为90%，即用样本比例作
14、为对总体比例的点估计2. 估计范围为90%3%(3%的误差)，即区间(93%，87%)。3. 如用类似的方式，重复抽取大量（样本量相同的）样本时，产生的大量类似区间中有些会覆盖真正的p，而有些不会；但其中大约有95%会覆盖真正的总体比例。,这样得到的区间被称为总体比例p的置信度(confidence level)为95%的置信区间(confidence interval)。这里的置信度又称置信水平或置信系数。显然置信度的概念又是大量重复抽样时的一个渐近概念。,用于参数估计的matlab相关函数,例：从某厂生产的滚珠中随机抽取10个，测得滚珠的直径（单位：mm）如下：15.14；14.81；15
15、.11；15.26；15.08；15.17；15.12；14.95；15.05；14.87若滚珠直径服从正态分布N(，)，其中，未知，求，的最大似然估计和置信水平为90%的置信区间。Matlab数学工具箱中normfit函数可用来根据样本观测值求正态总体均值与标准差的极大似然估计和置信区间,用于参数估计的matlab相关函数,例：交通畅通且车辆稀疏的情况下，某交叉口进口道车辆在连续时间间隔t内到达车辆数分别为（单位：veh/10min） 20；26；22；18；26；15；13；20；19；22由于此种交通状态可认为车辆到达服从泊松分布，故求此组数据服从的泊松分布的参数的最大似然估计和置信水平
16、为90%的置信区间Matlab数学工具箱中poissfit函数可实现此功能 ALPHA = 0.05; Lambdahat, Lambdaci= poissfit (Data, ALPHA);,如果一个人说他从来没有骂过人。他能够证明吗？要证明他没有骂过人，他必须出示他从小到大每一时刻的录音录像，所有书写的东西等等，还要证明这些物证是完全的、真实的、没有间断的。这简直是不可能的。即使他找到一些证人，比如他的同学、家人和同事，那也只能够证明在那些证人在场的某些片刻，他没有被听到骂人。,假设检验,反过来，如果要证明这个人骂过人很容易，只要有一次被抓住就足够了。看来，企图肯定什么事物很难，而否定却要
17、相对容易得多。这就是假设检验背后的哲学。科学总往往是在否定中发展,在假设检验中，一般要设立一个原假设（上面的“从来没骂过人”就是一个例子）；而设立该假设的动机主要是企图利用人们掌握的反映现实世界的数据来找出假设与现实之间的矛盾，从而否定这个假设。,先要提出个原假设，比如某正态总体的均值等于5(m=5)。这种原假设也称为零假设(null hypothesis)，记为H0。与此同时必须提出备选假设(或称为备择假设，alternative hypothesis)，比如总体均值大于5（m5）。备选假设记为H1或Ha。形式上，这个关于总体均值的H0相对于H1的检验记为,备选假设应该按照实际世界所代表的方
18、向来确定，即它通常是被认为可能比零假设更符合数据所代表的现实。比如上面的H1为m5；这意味着，至少样本均值应该大于5；至于是否显著，依检验结果而定。检验结果显著(significant)意味着有理由拒绝零假设。因此，假设检验也被称为显著性检验(significant test)。,有了两个假设，就要根据数据来对它们进行判断。数据的代表是作为其函数的统计量；它在检验中被称为检验统计量（test statistic）。根据零假设（不是备选假设！），可得到该检验统计量的分布；再看这个统计量的数据实现值（realization）属不属于小概率事件。,也就是说把数据代入检验统计量,看其值是否落入零假设下
19、的小概率范畴；如果的确是小概率事件，那么就有可能拒绝零假设，或者说“该检验显著，”否则说“没有足够证据拒绝零假设”，或者“该检验不显著。”,在零假设下，检验统计量取其实现值及（沿着备选假设的方向）更加极端值的概率称为p-值（p-value）。如果得到很小的p-值，就意味着在零假设下小概率事件发生了。如果小概率事件发生，是相信零假设，还是相信数据呢？当然多半是相信数据，拒绝零假设。,但小概率并不能说明不会发生，仅仅发生的概率很小罢了。拒绝正确零假设的错误常被称为第一类错误（type I error）。在备选假设正确时反而说零假设正确的错误，称为第二类错误（type II error）。,到底p-
20、值是多小时才能够拒绝零假设呢？也就是说，需要有什么是小概率的标准。这要看具体应用的需要。但在一般的统计书和软件中，使用最多的标准是在零假设下（或零假设正确时）根据样本所得的数据来拒绝零假设的概率应小于0.05，当然也可能是0.01，0.005，0.001等等。这种事先规定的概率称为显著性水平(significant level)，用字母a来表示。,a并不一定越小越好，因为这很可能导致不容易拒绝零假设，使得犯第二类错误的概率增大。当p-值小于或等于a时，就拒绝零假设。所以，a是所允许的犯第一类错误概率的最大值。当p-值小于或等于a时，就说这个检验是显著的。,归纳起来，假设检验的逻辑步骤为：1. 写出零假设和备选假设；2. 确定检验统计量；3. 确定显著性水平a；4. 根据数据计算检验统计量的实现值；5. 根据这个实现值计算p-值；6. 进行判断：如果p-值小于或等于a，就拒绝零假设，这时犯（第一类）错误的概率最多为a；如果p-值大于a，就不拒绝零假设，因为证据不足。,
