《《马氏链及其应用》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《马氏链及其应用》PPT课件.ppt（52页珍藏版）》请在三一办公上搜索。
1、马尔科夫连原理及其建模实例,马氏链及其应用,1.一个简单的例子,我们知道，人寿保险公司最为关心的是投保人的健康与疾病以及相应的风险。通过下面的例子我们来看保险公司是如何处理这类问题的。,问题的提出,设 表示年龄的时段，假定在一年中，今年健康而明年患病的概率是 而今年患病明年转为健康的概率为 假设一个人在投保时处于健康状态，我们来研究若干年之后他分别处于这两种状态的概率。,建模,用随机变量 表示第 年的状态，,以 表示第 年状态为 的概率。即,以 表示今年状态处于 明年状态处于 的概率，即,由全概率公式得到：,即,由假设，,再由于投保人处于健康状态，即,由此得到,若投保人在开始时处于疾病状态，即
2、则有,从两张表中可以看到，无论投保人在初始时处于什么状态，当时间趋于无穷大时，该时刻的状态趋于稳定，且与初始值无关。即,意义 若将众多投保人处于两种状态的比例，视为投保人处于两种状态的概率，例如健康人占3/4，病人占1/4，即 则同样可计算出,由上面的分析可以看出，对于给定的状态转移概率，时的状态概率，趋向于稳定值，该值与初始值无关，这是马氏链的重要性质。,把人的死亡看作第三种状态，用 来表示，相应的转移概率如下图表示。,仍以 表示状态为 时的概率，表示状态转移概率，即有,平行于式，有,设投保人在期初处于健康状态，则由可计算出若干年后他处于各个状态的概率。,表中最后一列数据是通过预测得到的。从
3、表中的数据又可以看到，无论投保人在期初处于什么状态，当 时，总有,2.马尔可夫链,假设 1.系统是随时间的发展而离散为,2.在任何时刻，系统的状态为有限多个。在时间 时，系统的状态的 的取值为,3.在时刻 时系统处于各状态的概率只与时刻 时系统所处的概率与转移概率有关。,满足以上三个假设的系统的随机发展过程称为马尔可夫过程或马氏链。,设在时刻 时系统处于状态 的概率为,行向量,称为状态概率向量，由概率的意义，向量应该满足,及,设在时刻 处于状态 的系统转移到 时刻处于 的概率为 它应该满足,1.,引如概率转移矩阵,由假设3，再由全概率公式得,用矩阵的方法来表示的话，可以写成,简单地可以写成,由
4、此可得系统在时刻 时的状态向量为,其中 为时刻 时系统的状态概率向量，又称为状态初始向量。,例 在前两例中，初始向量与概率转移矩阵分别为,我们通过下面的例子具体说明：,上式表明在时刻 时投保人处于患病状态的概率为：,从上面的例子中可以看出，对于马氏链模型，最重要的是构造状态 及概率转移矩阵 由此对于给定的初始状态 由可计算出任意时刻 的状态,正则链,定义 一个有 个状态的马氏链，如果存在正整数 使从任意状态 经 次的转移，能以大于零的概率到达状态 则称这样的链为正则链.,定理1 设马氏链的转移矩阵为 则该链为正则链的充分必要条件是存在 使得,定理2 正则链存在唯一的极限状态概率,满足 与初始状
5、态概率 无关，且,及,例1 设,则由此确定的马氏链为正则链。令 满足式，即有,由此得到方程组,联系则得到,故方程组的解为,这和前面的结果是相吻合的。,例2 设,因,故由此确定的马氏链是正则链。令,由方程，确定方程组,从方程中解出 即,吸收链,定义 如果存在某个状态转移概率 则称状态 是吸收的.如果马氏链中含有吸收状态,并且从每一个非吸收状态出发都可以达到某个吸收状态，则称这个马氏链为吸收链。,例如在前面三个状态的转移概率中，转移概率矩阵为,并且从每个状态最终都转移到第三种状态,因而这样的链是吸收链。,注 吸收链的特征是：任一状态一旦进入该状态就将停留在该状态。,含有 个吸收状态和 非吸收状态的
6、吸收链的状态转移概率矩阵的标准形式是,其中 是单位矩阵。,定理3 对于具有标准形式的状态转移概率矩阵，有如下的性质：,矩阵 具有零极限，即,矩阵 可逆且,记 则矩阵的第 行元素之和值是从非吸收状态出发被某个吸收状态吸收之前的平均转移次数。,记 则矩阵 的元素 是从非吸收状态 出发而被状态 吸收的概率。,在前面的例2中,将 改写成,则,则,应用 基因遗传问题,生物的外部特征是由生物体内的基因决定的。基因分优势与劣势基因两种。分别表示为 对于生物的某个外部特征，体内有两个基因与之对应。由于体内的每个基因都可以是两种基因之一，因此体内的基因对类型可能有三种：分别被称为优种、混种和劣种。按基因理论：含
7、优种和混种的基因个体类型，其外部特征呈优势；而含劣势基因类型的个体，其外部特征呈劣势。,生物在繁殖时，后代随机地继承父亲和母亲的两个基因中的各一个而形成自己的基因对。因此后代成为优种、劣种、混种基因类型的概率是不同的。,下面讨论两种基因繁殖后代的情况,一、永远与混种繁殖后代的情况,假设一个个体是优种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种 的概率分别为,假设一个个体是混种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种 的概率分别为,假设一个个体是劣种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种 的概率分别为,由此得到概率转移矩阵,由前面的例2知该链为
8、正则链，极限状态概率向量为,上式表明，经过长时间的繁殖过程，后代的外部特征呈优势的概率是优种和混种概率的和，这个量与初始的个体所含基因的种类无关。,2.近亲繁殖的结果,假设最初的父母可以是优种、混种或劣种，它们有大量的后代，这些后代又随机地雌雄交配后代，今来分析它们后代的演变情况。,由于每次繁殖都是随机地配对父亲和母亲，而父亲和母亲可以是 中的一种，组合后就有 六种状态，分别记为当父母都是优种 时，后代必然是优种 因此有,同理，当父母都是劣种时，后代只能是劣种，由此得,当父母一方为 而另一方为 时，当前状态可能是 因而再次配对产生的可能结果有,因此，有,当父母方为 对时，其后代只可能是 因而再次配对之后之可能产生 所以,当父母方为 对时，其后代可能是,甲 乙,因而相应的概率为,所以概率转移矩阵为,从上面中可以看到状态1和状态2是吸收状态。所以该链为吸收链。,由前面的计算公式得到,的行和,根据矩阵 和 的性质，上式表明从状态3出发经过,代后它们的后代都会变成优种或劣种，从状态3出发其后代全变为优种的概率为,上面表明：近亲繁殖的后代变成劣种的可能性很大。,
