《贝叶斯公式的简介.docx》由会员分享，可在线阅读，更多相关《贝叶斯公式的简介.docx（10页珍藏版）》请在三一办公上搜索。
1、贝叶斯公式在人工智能中的应用2022年8月11日一、公式贝叶斯定理若Ali4,4构成完备事件组,且A)O,(Y=1,2,n),则对任一事件5(P(0O)有P(AM=兽”也.12“YjP(Ai)P(BAi)/=1上式称为贝叶斯公式.概率推理若有命题变量九%，Vn的一个集合u,并给定的子集中的变量的某些值(reor7ase)作为证据。我们希望计算概率MK=Uje),即给定证据时变量匕的值为的条件概率。我们把这个过程叫概率推理。由于L有值万证或FRSe,故我们对两个条件概率感兴趣，它们是P(vi=True=e)p(vi=flase=e当然，我们只要计算它们中的一个就行了，因为有p(vi=True=e
2、)+p(vi=Flase=e)-Lp(Vi= Te, = e)pfyi= Tme = e)=不管为何值，用条件概率的定义，我们有其中，p(vi=true,=e)通过使用从高阶联合概率密度计算低阶联合概率的方法获得:p(yi=True,=e)=ZP(VI.,Vk),p(=e)的计算能用同样的方法进行。二、发展历史贝叶斯ThomasBayes,英国数学家.1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发
3、表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作机会的学说概论发表于1758年。贝叶斯所采用的许多术语被沿用至今。贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值利修正概率做出最优决策。贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1、已知类条件概率密度参数表达式和先验概率；2、利用贝叶斯公式转换成后验概率；3、根据后验概率大小进行决策分类。他对统计推理的主要贡献是使用了“逆概率”这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯
4、定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。贝叶斯公式是他在1763年提出来的：假定是某个过程的若干可能的前提，则P(B)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A,那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi/A)既是对以A为前提下8的出现概率的重新认识，称P(Bi/A)为后验概率。经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。三、应用1基于词的统计机器
5、翻译翻译(解码)Iamastudent噪声信道我是一个学生目标句子e源句子/基于词的统计机器翻译，顾名思义，其主要思想是以词作为翻译的基本单位。训练时，它从语料库中统计目标语言单词翻译为源语言单词的概率。翻译时，首先查找每个源语言单词所对应的目标语言单词，然后插入、删除目标语言单词，并调整它们的顺序，最后组合成目标语言句子。这种方法的典型代表就是上世纪90年代初期IBM公司的布朗等人提出的基于信源信道模型的方法，可以说，它为现代统计机器翻译研究的蓬勃发展奠定了坚实的基础。信源信道模型将统计机器翻译看成一个信息传输的过程：信道的输入是目标语言，在经过信道编码以后，输出源语言好机器翻译的任务就是将
6、源语言/还原(翻译)为目标语言e,这一过程通常称之为解码。需要注意的是，这种模型与人们通常的认识有所区别。就模型而言，信道的输入是目标语言，而输出则是源语言，实际上在翻译(解码)时，还是将源语言作为输入，目标语言作为输出。根据贝叶斯(BayeS)公式，布朗等人提出了统计机器翻译的基本方程式：e=argmaxPr(e)Pr(fe)其中，P*e)是目标语言的语言模型，衡量生成的目标语言的合法程度；P，Je)是翻译模型,衡量目标语言文本翻译为源语言文本的概率。解码的任务就是根据上式找到概率最大的译文。在此基础上，IBM公司的研究人员提出了5个复杂程度层层递进的翻译模型，使用EM算法1从句子对齐的语料
7、库中自动学习单词的翻译概率，然后利用动态规划算法进行解码。IBM引入的统计方法是通用的，功能也比较强大，在法一英翻译上达到了当时基于句法转换的系统的水平。IBM模型的成功，可以说给整个机器翻译界带来了极大的冲击。它不仅使机器翻译研究者重新思考以前的翻译方法，而且也激发了他们对统计方法用于机器翻译的浓厚兴趣。IBM的工作一直延续到1995年，之后由于研究经费的原因而被迫中止。但是由于文献中详细记载了IBM方法，后续的研究者在1999年约翰.霍普金斯大学（JHU）夏季研讨班上重新实现了IBM模型，并公开了源代码GlZA2。之后奥赫（OCh）博士在此基础上发布了增强版GIZA+3o这些工作为后来统计
8、机器翻译的发展奠定了坚实的基础。IBM方法可以说是纯粹的单词到单词自动转录方法，除了计算复杂之外，另外一个很大的缺陷在于它只能学习到两种语言单词之间互为翻译的知识，而对单词的上下文语境却不敏感。这就导致了IBM方法在单词层面（Word-IeVeI）上由于缺乏上下文语境而不能正确选择译文，尤其是不能正确翻译习惯表达、成语等多个单词结合紧密，却不能通过把逐个单词翻译然后拼凑在一起形成译文的源语言串。2基于短语的方法这种方法的基本思想是以短语作为翻译的基本单位。在翻译过程中，不是孤立地翻译每个词，而是将连续的多个词一起翻译。由于扩大了翻译的粒度，基于短语的方法很容易处理局部上下文依赖问题，能够很好地
9、翻译习语和常用词搭配。一般而言，在基于短语的方法中，短语可以是任意连续的字符串，不作语法上的限制。这样可以方便地从词语对齐的双语语料库中自动获取双语短语翻译。给定一个源语言句子，基于短语的模型翻译过程如下：1）对源语言句子进行短语划分；2）根据翻译模型翻译每个短语；I他11将11于114月11他日11访问11美国3）对目标短语进行语序调整。（图3是基于短语的翻译过程示例）他将于4月10日访问美国HewillonApril10VisitAmericaHewillVisitAmericaonApril10源语言:短语划分:翻译:调整顺序:3训练训练的时候，最初输入的是一个双语语料库，即一对一对互为
10、翻译的句子。如样例1所示。经过一个词语对齐过程，得到如样例2所示形式的数据。从词语对齐的结果中可以知道句子中哪些词是互为翻译的。下面，训练过程的第二个步骤就是进行短语抽取了。所谓短语抽取，就是抽取出语料库中所有互为翻译的连续的词串，而不用管这个词串是否具有真正的含义。以上面第二个句子为例，可以抽取到的短语见样例3：样例1中国化工工业保持稳定增长。Chinaschemicalindustrymaintainssteadygrowth.万里会见泰国客人LiWanmeetswithguestsfromThailand样例3万里IlLiWan万里会见HLiWanmeetswith万里会见泰国客人HLi
11、WanmeetwithguestsfromThailand会见Ilmeetswith会见泰国客人HmeetwithguestsfromThailand泰国HThailand泰国客人IlguestsfromThailand客人Hguests实际上，所抽取出来的短语中，除了两种语言的词语外，还有一些概率信息。下面是从真实的大规模语料库中抽取出的一些以“大规模”开头的短语片断：实际上，所抽取出来的短语中，除了两种语言的词语外,还有一些概率信息。下面是从真实的大规模语料库中抽取出的一些以“大规模”开头的短语片断：中文短语英文短语概率大规模Mass0.468586大规模Massive0.227749大规
12、模的large-scale0.446154大规模的Massive0.415385大规模的救济large-scalerelief0.666667大规模的救济Iargescalerelief0.166667大规模的救济行动large-scalereliefoperations0.5大规模的救济行动massivereliefoperation0.5大规模军事large-scalemilitary0.423077大规模军事Iargescalemilitary0.173077大规模军事行动large-scalemilitaryaction0.290323大规模军事行动large-scalemilitar
13、yoperation0.193548大规模杀,whilewidespread1大规模杀伤masskilling1大规模杀伤largescalekillings0.038462大规模杀伤massdestruction0.961538大规模杀伤武器Lethalweaponsofmass0.041667大规模杀伤武器weaponsofmassdestruction0.958333大规模杀伤性massdestruction0.821429大规模杀伤性massdestructive0.178571大规模杀伤性武器massdestructiveweapons0.181818大规模杀伤性武器weaponso
14、fmassdestruction0.8四、结论经过近十几年的发展，统计机器翻译有了长足的进步，但是也还有很多难题需要解决：（1）丰富的语言学知识的引入和使用问题。目前的统计机器翻译系统难以处理复杂多变的语言现象，有的甚至根本不做处理，比如单复数问题、时态问题、句法结构问题等；（2）大规模数据的处理和使用问题。统计方法离不开大规模数据的支持，在2006年的NIST评测中，参评系统使用的语料数量达到几百万句对，GOOgIe更是依靠其庞大的机群，使用了2T的数据来训练7元的语言模型。一般的公司和研究机构都难以处理如此海量的数据，更不要说普通计算机了；（3）建模问题。随着研究的深入，现在统计机器翻译的模型有不断复杂化的趋势，极大地增加了计算复杂度。理论上来说，模型应该尽量简单，这对于处理大规模的语料库也是很重要的；（4）搜索问题。搜索算法是与模型相关的。有些模型，如基于句法的模型，本身比较复杂，其搜索算法的复杂度也很高。同时由于受到计算机处理能力的制约，目前的算法不同程度地进行了参数剪枝，这是以损失机器翻译的质量为代价的。参考文献：1 .人工智能（美）NilsJ.Nilsson著2 .统计机器翻译熊德意何中军刘群著IO9IO10IIhILlUIllMHl山川小Il山山IlIhJhImL2011从2010-08-27与2011-03-31
