张晓峒1讲-季节ARIMA模型.docx

《张晓峒1讲-季节ARIMA模型.docx》由会员分享，可在线阅读，更多相关《张晓峒1讲-季节ARIMA模型.docx（17页珍藏版）》请在三一办公上搜索。

1、第1讲 季节时间序列（SARIMA）模型1时间序列（ARIMA）模型回顾时间序列分析方法由Box-Jenkins (1976) 年提出。它适用于各种领域的时间序列分析。时间序列模型不同于经济计量模型的两个特点是：（1）这种建模方法不以经济理论为依据，而是依据变量自身的变化规律，利用外推机制描述时间序列的变化。（2）明确考虑时间序列的非平稳性。如果时间序列非平稳，建立模型之前应先通过差分把它变换成平稳的时间序列，再考虑建模问题。时间序列模型的应用：（1）研究时间序列本身的变化规律（何种结构，建立模型，有无确定性趋势，有无单位根，有无季节性成分）。（2）在回归模型的预测中首先预测解释变量的值。（3

2、）非经典经济计量学的基础知识之一。滞后算子与差分算子滞后算子：表示时间滞后的算子，常用L或B表示。例，Lxt = xt- 1，Ln xt = xt- n 。差分：时间序列变量的本期值与其滞后值相减的运算叫差分。表示差分运算的算子称作差分算子，常用D或D表示。差分分为一阶差分和高阶差分，一次差分和高次差分。例，一阶差分D xt = xt - xt -1 = xt - L xt = (1- L) xt。例，高阶差分Dk xt = xt - xt -k = xt Lk xt = (1- Lk ) xt。 例，二次差分D2xt = (1- L ) 2 xt = (1 2L + L 2 ) xt = x

3、t 2 xt-1+ xt2。高阶差分常用于季节性数据的差分，如季度数据的4阶差分、月度数据的12阶差分等。滞后算子与差分算子可以直接参与运算。滞后算子有如下性质。（1）常数与滞后算子相乘等于常数。Lc = c（2）滞后算子适用于分配律。(Li + Lj) xt = Li xt + Lj xt = xt -i+ xt j（3）滞后算子适用于结合律。Li Lj xt = Li+ j xt = xt -ij, (Lj)2xt = Lj Lj xt = L2 j xt = xt2 j（4）滞后算子的零次方等于1。L0 xt = xt（5）滞后算子的负整数次方意味着超前。L-i xt = xt+i中文对

4、时间前后的描述混乱。 以前，从前，前年，滞后 现在 以后，今后，后年，超前 时间 backward, lag, now, lead, forward,几种典型的随机过程1白噪声（white noise）过程对于随机过程 xt , tT , 如果E(xt) = 0, Var (xt) = s 2 , tT; Cov (xt, xt + k) = 0, (t + k ) T , k 0 , 则称xt为白噪声过程。2随机游走（random walk）过程对于下面的表达式 xt = xt -1 + ut 如果ut 为白噪声过程，则称xt 为随机游走（随机游动、随机漫游）过程。3自回归过程，AR(p)如

5、果一个剔出均值和确定性成分的线性过程可表达为 xt = f 1xt-1 + f 2 xt-2 + + f p xt-p + ut , 其中fi, i = 1, p 是自回归参数，ut 是白噪声过程，则称xt为p阶自回归过程，用AR(p)表示。xt是由它的p个滞后变量的加权和以及ut相加而成。4移动平均过程，MA(q)如果一个剔出均值和确定性成分的线性随机过程可用下式表达xt = ut + q 1 ut 1 +q 2 ut -2 + + q q ut q = (1 + q 1L + q 2 L2 + +q q Lq) ut = Q(L) ut其中q 1, q 2, , q q是移动平均参数，ut

6、为白噪声过程，则上式称为q阶移动平均过程，记为MA(q) 。之所以称“移动平均”，是因为xt是由q +1个ut和ut滞后项的加权和构造而成。“移动”指t的变化，“平均”指加权和。5自回归移动平均过程，ARMA(p, q)由自回归和移动平均两部分共同构成的随机过程称为自回归移动平均过程，记为ARMA(p, q), 其中p, q分别表示自回归和移动平均部分的最大阶数。ARMA(p, q) 的一般表达式是 xt = f 1xt-1 + f 2xt-2 +f p xt-p + ut +q 1ut-1 + q 2 ut-2 + .+ q q ut-q 即 (1 - f 1L - f 2 L2 - - f

7、 p Lp ) xt = (1 + q 1 L + q 2 L2+ +q q Lq ) ut或 F (L) xt = Q (L) ut 其中 F (L) 和 Q (L) 分别表示L的p, q阶特征多项式。ARMA(p, q) 过程的平稳性只依赖于其自回归部分，即F (L) = 0的全部根取值在单位圆之外（绝对值大于1）。其可逆性则只依赖于移动平均部分，即Q (L) = 0的根取值应在单位圆之外。6单整（单积）自回归移动平均过程，ARIMA (p, d, q)考虑如下模型 F (L)Dd yt = Q (L) ut 其中F(L) 是一个平稳的自回归算子。即F (L) = 0 的根都大于1。Q (

8、L)表示可逆的移动平均算子。Q (L) = 0 的根都大于1。则称yt 为（p, d, q）阶单整(单积)自回归移动平均过程，记为ARIMA (p, d, q)。其中F (L) Dd称为广义自回归算子。Wold分解定理：任何协方差平稳过程xt，都可以被表示为xt - m - gdt = ut + y1 ut-1+ y2 ut-2 + + = 其中m 表示xt的期望。dt 表示xt的线性确定性成分，如周期性成分、时间t的多项式和指数形式，虚拟变量等，可以直接用xt的滞后值预测。y0 = 1， 。ut为白噪声过程。ut表示用xt的滞后项预测xt时的误差。ut = xt - E(xt | xt-1,

9、 xt-2 , )称为xt的线性非确定性成分。当dt = 0时，称xt为纯线性非确定性过程。 对于一般的（漂移项非零）ARMA(p,q)过程， F (L) xt = a +Q (L) ut （1）xt的期望是E(xt) = E() +E(ut) = = m 这就是漂移项与均值的关系所以（1）式也可以写为， F (L) (xt -m) = Q (L) ut （2）任何漂移项非零（含有确定性成分）的平稳过程都可以通过对该序列先退均值（退确定性成分）再研究。均值的大小并不影响模型的结构。所以以零均值过程研究模型类型具有代表性。2季节时间序列模型在某些时间序列中，存在明显的周期性变化。这种周期是由于季

10、节性变化（包括季度、月度、周度等变化）或其他一些固有因素引起的。这类序列称为季节性序列。比如一个地区的气温值序列（每隔一小时取一个观测值）中除了含有以天为周期的变化，还含有以年为周期的变化。在经济领域中，季节性序列更是随处可见。如季度时间序列、月度时间序列、周度时间序列等。处理季节性时间序列只用以上介绍的方法是不够的。描述这类序列的模型之一是季节时间序列模型(seasonal ARIMA model)，用SARIMA表示。较早文献也称其为乘积季节模型（multiplicative seasonal model）。设季节性序列（月度、季度、周度等序列都包括其中）的变化周期为s，即时间间隔为s的观

11、测值有相似之处。首先用季节差分的方法消除周期性变化。季节差分算子定义为， Ds = 1- Ls 若季节性时间序列用yt表示，则一次季节差分表示为 Ds yt = (1- Ls) yt = yt - yt - s 对于非平稳季节性时间序列，有时需要进行D次季节差分之后才能转换为平稳的序列。在此基础上可以建立关于周期为s的P阶自回归Q阶移动平均季节时间序列模型（注意P、Q等于2时，滞后算子应为(Ls)2 = L2s。 AP (Ls) DsDyt = BQ (Ls) ut (2.60)对于上述模型，相当于假定ut是平稳的、非自相关的。当ut非平稳且存在ARMA成分时，则可以把ut描述为 Fp (L)

12、 Ddut = Qq (L) vt (2.61)其中vt为白噪声过程，p, q分别表示非季节自回归、移动平均算子的最大阶数，d表示ut的一阶（非季节）差分次数。由上式得ut = Fp-1(L) D-d Qq (L) vt (2.62)把 (2.62) 式代入 (2.60) 式，于是得到季节时间序列模型的一般表达式。 Fp(L) AP(Ls) (DdDsDyt) = Qq(L) BQ(Ls) vt (2.63)其中下标P, Q, p, q分别表示季节与非季节自回归、移动平均算子的最大滞后阶数，d, D分别表示非季节和季节性差分次数。上式称作 (p, d, q) (P, D, Q)s 阶季节时间序

13、列模型或乘积季节模型。保证（DdDsDyt）具有平稳性的条件是Fp(L)AP(Ls) = 0的根在单位圆外；保证（DdDsDyt）具有可逆性的条件是Qq (L)BQ (Ls) = 0的根在单位圆外。当P = D = Q = 0时，SARIMA模型退化为ARIMA模型；从这个意义上说，ARIMA模型是SARIMA模型的特例。当P = D = Q = p = q = d = 0时，SARIMA模型退化为白噪声模型。 (1, 1, 1) (1, 1, 1)12 阶月度SARIMA模型表达为 (1- f1 L) (1- a1 L12) D D12 yt = (1+q1 L) (1+b1 L12) vt

14、 D D12 yt具有平稳性的条件是 | f1 | 1，| a1 | 1，D D12 yt具有可逆性的条件是 | q1 | 1，| b1 | 1。设log(Yt) = yt，变量D D12 yt在EViews中用DLOG(Y,1,12)表示（这样表示的好处是EViews可以直接预测到Y），上式的EViews估计命令是 DLOG(Y,1,12) AR(1) SAR(12) MA(1) SMA(12) (0, 1, 1) (0, 1, 1)12 阶月度SARIMA模型表达为 D D12 yt = (1+ q1 L) (1+ b1 L12) vt (2.64)(2.64) 式的EViews估计命令是

15、 DLOG(Y,1,12) MA(1) SMA(12) 由(2.64) 式得 DD12 yt = (1+q1 L) (1+b1 L12 ) vt = vt +q1 L vt +b1 L12vt + q1 b1 L13vt = vt +q1 vt 1 +b1 vt 12 + q1 b1 vt 13 上式对应的EViews估计命令是DLOG(Y,1,12) MA(1) MA(12) MA(13)模型表达式是 DD12 yt = vt +q1 vt 1 +q12 vt 12 + q13 vt 13这是一个非季节模型表达式。以上两个EViews估计命令是等价的，都是估计MA(13)模型。注意：唯一不同

16、点是上式对vt 13的系数q13没有约束，而对季节模型来说，相当于增加了一个约束条件，q13 =q1 b1。进一步化简 D (yt yt - 12) = vt +q1 vt 1 +b1 vt 12 + q1 b1 vt 13 D yt D yt - 12 = vt +q1 vt 1 +b1 vt 12 + q1 b1 vt 13用于预测的模型型式是 yt = yt -1 + yt - 12 yt 13 + vt +q1 vt 1 +b1 vt 12 + q1 b1 vt 13 (2.65) 由季节时间序列模型的一般表达式。 Fp(L) AP(Ls) (DdDsDyt) = Qq(L) BQ(L

17、s) vt (2.63)可写为 Fp(L) AP(Ls) DsD (Ddyt) = Qq(L) BQ(Ls) vt F*(L) Ddyt = Q*(L) vt 其中，F*(L) = Fp(L) AP(Ls) DsD，Q*(L) = Qq(L) BQ(Ls)。从上式可以看出SARIMA模型(2.63)可以展开为ARIMA(p+PS+DS, d, q+QS) 模型。 对乘积季节模型的季节阶数，即周期长度s的识别可以通过对实际问题的分析、时间序列图以及时间序列的相关图和偏相关图分析得到。以相关图和偏相关图为例，如果相关图和偏相关图不是呈线性衰减趋势，而是在变化周期的整倍数时点上出现绝对值相当大的峰值

18、并呈振荡式变化，就可以认为该时间序列可以用SARIMA模型描述。 建立SARIMA模型，（1）首先要确定d, D。通过差分和季节差分把原序列变换为一个平稳的序列。令 xt = DdDsD yt （2）然后用xt 建立 Fp (L) AP (Ls) xt = Qq (L) BQ (Ls) vt模型。注意：（1）用对数的季节时间序列数据建模时通常D不会大于1，P和Q不会大于3。（2）乘积季节模型参数的估计、检验与前面介绍的估计、检验方法相同。利用乘积季节模型预测也与上面介绍的预测方法类似。3季节时间序列建模案例 案例1：（文件名：5b2c3）北京市1978:11989:12社会商品零售额月度数据（

19、yt，单位：亿元人民币）曲线见图2.32，数据见表2.3。yt与时间呈指数关系且存在递增型异方差。对数的社会商品零售额月度数据（Ln yt）曲线见图2.33。Lnyt与时间近似呈线性关系（异方差问题也得到抑制）。 图2.32 yt 图2.33 Lnyt通过Lnyt的相关图和偏相关图（见图2.34）可以看到Lnyt是一个非平稳序列（相关图衰减很慢）且Lnyt与其12倍数的滞后期存在自回归关系。图2.34 Lnyt的相关图（下）和偏相关图（上）对Lnyt进行一阶差分，得DLnyt（图2.35）。图2.36是对Lnyt进行2次一阶差分的结果，序列D2Ln yt是过度差分序列。从 DLnyt的相关图和

20、偏相关图（图2.37）可以看到，通过差分 DLnyt的平稳性得到很大改进，但与其12倍数的滞后期存在显著的自相关关系。 图2.35 DLn yt 图2.36 D2Ln yt图2.37 DLnyt的相关图（下）和偏相关图（上）对Lnyt进行一次季节性差分（或12阶差分），得 D12 Lnyt（图2.38）。从 D12 Lnyt的相关图和偏相关图（图2.39）可以看到 D12 Lnyt仍然是非平稳的。 图2.38 D12 Lnyt，（EViews：DLOG(Y,0,12)） 图2.39 D12 Lnyt的相关图（下）和偏相关图（上） 对Lnyt进行一阶差分和一阶季节性差分，得DD12 Lnyt（见

21、图2.40）。从xt 的相关图和偏相关图（见图2.41）可以看到DD12 Lnyt近似为一个平稳过程。图2.40 D D12 Lnyt = xt，（EViews：DLOG(Y,1,12)）图2.41 DD12 Lnyt的相关图（下）和偏相关图（上） 建模1：用1978:11989:11期间数据，估计yt 的 (1, 1, 1) (1, 1, 0)12阶季节时间序列模型，得结果如下： (1+ 0.5924 L) (1 + 0.4093 L12) DD12Lnyt = (1+0.4734 L) vt (2.66)(4.5) (5.4) (1.9)R2 = 0.33, s.e. = 0.146, Q

22、(36) = 15.5, c20.05(36-2-1) = 44EViews估计命令是DLOG(Y,1,12) AR(1) SAR(12) MA(1)EViews输出结果见图2.42。注意：（1）仔细对照（2.66）式和图2.42输出结果，不要把自回归系数估计值的符号写错。通过自回归特征根倒数-0.59可知，把表达式中的算子写作(1+ 0.5924 L)是正确的。通过移动平均特征根倒数-0.47可知，把表达式中的算子写作(1+0.4734 L) 是正确的。（2）表达式中，季节和非季节因子（特征多项式）之间是相乘关系。 （3）在EViews估计命令中把变量写作DLOG(Y,1,12)的好处是可以

23、直接对yt和DD12 Lnyt预测。（4）以上EViews估计命令为例，如果命令中没有AR(1)项，那么SAR(12) 项的输出结果将变为AR(12)，为什么？模型残差序列的相关与偏相关图如图2.43。图2.42 EViews估计结果 图2.43模型残差序列的相关与偏相关图对于DD12 Lnyt来，模型参数全部有显著性，Q(36) = 15.5 c20.05(36-2-1) = 44。两种检验通过。见输出结果（2.42），对于DD12 Lnyt，模型共有14个特征根。 图2.44 D12DLnyt的实际与静态预测序列 图2.45 yt的实际与静态预测序列 图2.44 D12DLnyt的实际与动

24、态预测序列 图2.45 yt的实际与动态预测序列对1989年第12月份yt进行样本外1期预测，结果如图2.46。 图2.46 EViews预测结果 图2.47 1989年第12月份（样本外1期）预测评价预测误差是 h = 0.076建模2：进一步分析DD12 Lnyt的相关图和偏相关图，也可以建立成一个纯季节移动平均模型。用1978:11989:12期间数据得(0, 1, 1) (0, 1, 1)12 季节乘积模型EViews估计结果如下，图2.41 DD12 Lnyt的相关图（下）和偏相关图（上） D D12 Lnyt = (1- 0.35 L) (1 - 0.61 L12) vt (2.6

25、7)(- 4.4) (- 9.1) R2 = 0.36, DW = 1.86, F = 71.9, s.e. = 0.038, Q(36) = 21.88, c20.05 (36-2) = 44模型参数全部有显著性，Q(36) = 21.88 c20.05 (36-2) = 44。两种检验通过。上式变换为， DLn yt D Lnyt - 12 = vt - 0.35 vt 1 - 0.61 vt 12 + 0.2135 vt 13 Lnyt = Lnyt -1 +Ln yt - 12 Lnyt 13 + vt - 0.35 vt 1 - 0.61 vt 12 + 0.2135 vt 13 (

26、2.68)（2.67）式也是一个可以选用的模型。 表2.3 北京市社会商品零售额（yt）月度数据（单位：亿元人民币，1978:11989:12）年：月yt年：月yt年：月yt年：月yt年：月yt1978:01134.31980:06168.21982:11205.81985:04343.41987:09499.51978:02119.41980:07163.51982:12248.21985:05341.21987:10505.21978:03128.31980:08161.61983:01243.21985:06346.01987:11518.71978:04126.41980:09172.

27、91983:02217.51985:07329.91987:12617.91978:05128.81980:10166.51983:03226.21985:08328.11988:01570.71978:06127.81980:11175.21983:04223.51985:09358.21988:02561.31978:07121.11980:12197.71983:05221.01985:10358.41988:03570.41978:08118.41981:01212.11983:06220.51985:11376.61988:04567.91978:09125.71981:02177.

28、91983:07205.81985:12451.01988:05570.91978:10123.61981:03182.91983:08206.91986:01412.01988:06603.91978:11128.51981:04184.21983:09218.81986:02374.51988:07591.81978:12145.21981:05184.01983:10216.01986:03390.01988:08636.21979:01164.71981:06182.41983:11235.01986:04387.01988:09674.51979:02126.21981:07175.

29、61983:12282.01986:05389.81988:10647.71979:03143.71981:08172.01984:01268.41986:06397.71988:11640.51979:04143.71981:09184.91984:02227.61986:07381.41988:12804.21979:05145.51981:10184.71984:03248.61986:08386.91989:01694.31979:06143.71981:11195.11984:04247.01986:09429.81989:02673.81979:07138.41981:12224.

30、81984:05249.91986:10428.81989:03718.71979:08136.71982:01233.61984:06253.11986:11444.41989:04690.31979:09145.51982:02182.01984:07245.51986:12527.71989:05676.61979:10150.71982:03206.61984:08249.61987:01478.31989:06665.81979:11149.01982:04202.21984:09272.31987:02442.41989:07642.21979:12164.71982:05201.

31、71984:10278.71987:03461.41989:08638.91980:01190.31982:06202.61984:11299.41987:04458.21989:09674.11980:02174.91982:07192.81984:12366.31987:05458.21989:10652.71980:03163.21982:08186.21985:01364.81987:06468.51989:11641.91980:04168.41982:09199.31985:02349.11987:07454.51989:12734.11980:05168.61982:10198.

32、21985:03359.11987:08458.9 案例2 香港季节GDPt数据的拟合（季节时间序列模型，file：HongKong）1980:12002:4年香港季度GDPt序列曲线见图2.27（数据见表2.4，单位：港元）。19801997年GDPt随时间呈指数增长。1997年由于遭受东南亚金融危机的影响，经济发展处于停滞状态，19982002年底GDPt总量几乎没有增长。另一个特征是GDPt随时间呈递增型异方差。所以，用对数的季度GDPt数据（LnGDPt，曲线见图2.48）建立季节时间序列模型。 图2.47 GDPt 图2.48 LnGDPt通过LnGDPt的相关图和偏相关图（图2.4

33、9）可以看到LnGDPt是一个非平稳序列（相关图衰减得很慢）。图2.49 LnGDPt的相关图和偏相关图对LnGDPt进行一阶差分，得 DLnGDPt（见图2.50）。DLnGDPt的平稳性得到很大改进，但其季节因素影响还很大。从 DLnGDPt的相关图和偏相关图（图2.51）也可以明显地看到这个特征。若对LnGDPt直接进行一次季节差分（四阶差分），得D4LnGDPt见图2.52。其波动性也很大。相关图和偏相关图见图2.53。D2LnGDPt显然是过度差分序列（图2.54）。 图2.50 DLnGDPt ,（s.d. = 0.062） 图2.51 DLnGDPt的相关图和偏相关图 图2.52

34、 D4LnGDPt,（s.d. = 0.076） 图2.53 D4LnGDPt的相关图和偏相关图 图2.54 D2LnGDPt ,（s.d. = 0.062） 在DLnGDPt的基础上进行一阶季节差分，或在D4LnGDPt基础上进行一阶非季节差分，得 D4DLnGDPt（图2.55）。其相关图和偏相关图见图2.56。D4DLnGDPt中已经基本消除了季节变化因素。在D4DLnGDPt的基础上建立时间序列模型。 图2.55 D4DLnGDPt,（s.d. = 0.029） 图2.56 D4DLnGDPt的相关和偏相关图通过对D4DLnGDPt的相关和偏相关图分析，应该建立(2, 1,2) (1,

35、 1, 1)4 模型。理由如下。因为相关图和偏相关图都呈欠阻尼衰减特征，说明至少存在非季节2阶自回归和非季节2阶移动平均成分。从图中看出季节特征仍然存在，当然，不容易判断是1阶季节自回归成分和1阶季节移动平均成分都有，还是只有1阶季节自回归成分，或者只有1阶季节移动平均成分。可以都加上，也可以只加一个1阶季节自回归，或者1阶季节移动平均。估计结果显示1阶季节自回归成分和1阶季节移动平均成分都应该加在模型里。EViews估计命令是DLOG(GDP,1,4) C AR(1) AR(2) SAR(4) MA(1) MA(2) SMA(4)用1980:12002:3的数据得估计结果如下（EViews输

36、出结果如图2.57）：D4DLnGDPt = - 0.0023 + ut （1980:12002:3） (-2.4)(1-1.20 L+0.66 L2) (1 - 0.33 L4) ut = (1 - 1.16 L+ 0.97 L2) (1 - 0.95 L4) vt (2.69) (14.4) (-8.8) (2.8) (55.9) (86.1) (-32.8) R2 = 0.57, DW = 2.0, F = 16.1, Q(36) = 19.3, c20.05 (36-3-3) = 43.8图2.57 EViews估计结果 图2.57模型(2.99)误差项的相关和偏相关图注意：（1）不要

37、把自回归系数估计值的符号写错。不要把均值（- 0.0023）项表达错。EViews仍然是对(D4DLnGDPt + 0.0023)建立(2, 1, 2) (1, 1, 1)4 阶季节时间序列模型，而不是对D4DLnGDPt建立季节时间序列模型。（2）季节和非季节因子之间是相乘关系。 （3）在EViews估计命令中把变量写作DLOG(GDP,1,4)，好处是预测时可直接预测GDPt，也可以预测D4DLnGDPt。模型参数全部有显著性，Q(36) = 19.6 c20.05 (36-3-3) = 43.8。两种检验通过。依据输出结果，对于D4DLnGDPt，模型共有12个特征根。4个实根，8个复根

38、。 图2.58 D4DLnGDPt的实际与静态预测序列 图2.59 GDPt的实际与静态预测序列 图2.58 D4DLnGDPt的实际与动态预测序列 图2.59 GDPt的实际与动态预测序列对2002年第4季度GDPt进行样本外1期预测，结果如下：图2.60 样本外1期（2002年第4季度）GDPt预测预测误差是 h = 0.006样本内及样本外1期预测评价：图2.61 样本内与样本外1期（2002年第4季度）GDPt预测评价表2.4 香港季度GDPt数据（1980:12002:4，单位：港元）年：月GDPt /1011年：月GDPt /1011年：月GDPt /1011年：月GDPt /10

39、111980:10.314891985:40.709511991:31.805801997:23.323351980:20.345051986:10.691081991:41.867221997:33.515011980:30.376411986:20.731021992:11.766611997:43.534311980:40.385661986:30.833721992:21.891291998:13.095481981:10.388301986:40.884191992:32.100271998:23.189781981:20.406321987:10.843181992:42.1550

40、11998:33.264211981:30.443071987:20.898611993:12.055681998:43.249051981:40.474731987:31.052621993:22.186041999:12.905251982:10.450421987:41.068861993:32.414881999:23.057981982:20.459731988:11.002611993:42.471491999:33.192251982:30.507031988:21.068981994:12.363701999:43.305861982:40.513681988:31.222241994:22.492992000:13.084571983:10.471991988:41.278651994:32.688342000:23.127801983:20.502141989:11.182061994:42.752712000:33.305001983:30.559781989:21.260581995:12.535322000:43.366021983:40.600881989:31.395511995:22.662212001:13.095511984:10.578521989:41.432661995:32.8