《信息检索-02信息检索评价.ppt》由会员分享，可在线阅读，更多相关《信息检索-02信息检索评价.ppt（50页珍藏版）》请在三一办公上搜索。
1、1,信息检索的评价,哈工大计算机学院信息检索研究室2007,2,评价,评价一般是指评估某个系统的性能、某种产品的质量、某项技术的价值，或者是某项政策的效果等等信息检索评价则是指对信息检索系统的性能（主要是其满足用户信息需求的能力）进行评估的活动从信息检索系统诞生以来，对检索系统的评价就一直是推动其研究、开发与应用的一种主要力量,信息检索的评价,针对一个检索系统，可以从功能和性能两个方面对其进行分析评价功能评价可通过测试系统来判定是否支持某项功能，因此相对来说较容易性能评价对于检索系统的性能来说，除了系统的时间和空间因素之外，要求检索结果能够按照相关度进行排序,3,相关度,相关度理论假定：对于一
2、个给定的文档集合和一个用户查询，存在并且只存在一个与该查询相关的文档集合检索系统的目标就在于检出相关文档而排除不相关文档,4,5,相关性,相关性是一种主观评价是不是正确的主题输入：“和服”；输出：“咨询和服务”由于分词错误，导致检索结果偏离主题是否满足用户特定的信息需求(information need)时效性，是不是新的信息输入：“美国总统是谁”；输出：“克林顿”信息已经过时权威性，是否来自可靠的信息源,6,评价IR系统的困难,相关性不是二值评价，而是一个连续的量即使进行二值评价，很多时候也很难从人的立场上看，相关性是：主观的，依赖于特定用户的判断和情景相关的，依赖于用户的需求认知的，依赖于
3、人的认知和行为能力时变的，随着时间而变化,7,检索的评价,检索性能的评价检索结果的准确度检索任务批处理查询交互式查询实验室环境下主要是批处理查询，具有良好的可重复性和可扩展性,在评价和比较检索系统的检索性能需要以下条件：,一个文档集合C。系统将从该集合中按照查询要求检出相关文档一组用户查询要求q1,q2,qn。每个查询要求qi描述了用户的信息需求对应每个用户查询要求的标准相关文档集R1,R2,Rn。该集合可由人工方式构造一组评价指标。这些指标反映系统的检索性能。通过比较系统实际检出的结果文档集和标准的相关文档集，对它们的相似性进行量化，得到这些指标值,8,相关性判断,在早期的检索实验集合中,相
4、关性判断是全方位的,就是说,由专家事先对集合中每一篇文献与每一个主题的相关性做出判断。由于TREC 的文献集合如此庞大,全方位的判断是不可行的。因此TREC相关性判断基于检索问题所来自的测试文档集合，并采用一种“pooling”的技术来完成。,9,“pooling”方法有以下两个假设,假设绝大多数的相关文档都收录在这个文档池中没有进行判断的文档即未被认为是不相关的“pooling”技术的具体操作方法是：针对某一检索问题，所有参与其检索试验的系统分别给出各自检索结果中的前K个文档（例如K=100），将这些结果文档汇集起来，得到一个可能相关的文档池“pool”由检索评价专家进行人工判断，最终评判出
5、每一文档的相关性,10,11,相关文本,检索出的文本,全部文本集合,准确率和召回率,召回率(Recall)=检出的相关文档数/相关文档数准确率(Precision)=检出的相关文档数/检出文档数假设：文本集中所有文献已进行了检查,12,准确率和召回率的关系,1,13,举例,ExampleRq=d3,d5,d9,d25,d39,d44,d56,d71,d89,d123通过某一个检索算法得到的排序结果：1.d123 6.d9 11.d382.d847.d51112.d483.d56 8.d12913.d2504.d69.d18714.d1135.d8 10.d25 15.d3,(precision
6、,recall),(100%,10%),(66%,20%),(50%,30%),(40%,40%),(33%,50%),14,一个查询的11个标准查准率,11个标准查全率水平所对应的查准率:0%,10%,20%,100%,0,20,40,60,80,100,120,20,40,60,80,100,120,interpolation,precision,15,平均准确率,上述准确率召回率的值对应一个查询每个查询对应不同的准确/召回率曲线为了评价某一算法对于所有测试查询的检索性能，对每个召回率水平下的准确率进行平均化处理，公式如下：,Nq:the number of queries usedPi(
7、r):the precision at recall level r for the i-th query,多个查询下进行检索算法的比较,对多个查询，进行平均，有时该曲线也称为：查准率/查全率的值。如下为两个检索算法在多个查询下的查准率/查全率的值。第一个检索算法在低查全率下，其查准率较高。另一个检索算法在高查全率下，其查准率较高,17,适应性,合理估计需要了解集合的所有文献这两个指标相互关联，评价不同方面，结合在一起形成单个测度更合适测的是批处理模式下查询集合性能，对现代信息检索系统，交互式是重要特征，对量化检索过程的性指标可能会更合适,新的评价指标,随着测试集规模的扩大以及人们对评测结果理
8、解的深入，更准确反映系统性能的新评价指标逐渐出现单值概括,19,单值概括（1）,已检出的相关文献的平均准确率逐个考察检出新的相关文献，将准确率平均Example1.d123(1)6.d9(0.5)11.d382.d84 7.d51112.d483.d56(0.66)8.d12913.d2504.d6 9.d18714.d1135.d8 10.d25(0.4)15.d3(0.3),(1+0.66+0.5+0.4+0.3)/5=0.57,20,单值概括（2）,R-Precision计算序列中前R个位置文献的准确率R指与当前查询相关的文献总数,1.d123 6.d9 2.d847.d5113.d56
9、 8.d1294.d69.d1875.d8 10.d25,R=10 and#relevant=4R-precision=4/10=0.4,1.d1232.d843.56,R=3 and#relevant=1R-precision=1/3=0.33,21,单值概括（3）,准确率直方图多个查询的R-Precision测度用来比较两个算法的检索纪录RPA/B=0:对于第i个查询，两个算法有相同的性能RPA/B0:对于第i个查询，算法A有较好的性能RPA/B0:对于第i个查询，算法B有较好的性能,22,单值概括（3-1）,0.0,0.5,1.0,1.5,-0.5,-1.0,-1.5,1,2,3,4,5
10、,6,7,8,9,10,Query Number,2,8,23,单值概括（4）,概括统计表查询数检出的所有文献数量相关文献数应检出的相关文献数,评价指标的不足,前面提到的一些评价指标，如R-准确率，MAP，P10等，都只考虑经过pooling技术之后判断的相关文档的排序对判断不相关文档与未经判断的文档的差别并没有考虑而目前随着互联网的发展，测试集越来越大，由于相关性判断还基本上是人工判断，因此建立完整的相关性判断变得越来越难,24,Bpref指标,只考虑对返回结果列表中的经过判断后的文档进行评价在相关性判断完整的情况下，bpref具有与MAP相一致的评价结果在测试集相关性判断不完全的情况下，b
11、pref依然具有很好的应用这个评价指标主要关心不相关文档在相关文档之前出现的次数。具体公式为：,25,举例,下面举个例子来说明bpref的性能，假设检索结果集S为：S=D1,D2,D3*,D4*,D5,D6,D7,D8,D9,D10 其中D2、D5 和D7是相关文档，D3 和D4为未经判断的文档。对这个例子来说，R=3;bpref=1/3(1-1/3)+(1-1/3)+(1-2/3),26,单一相关文档检索的评价,对于搜索引擎系统来讲，由于没有一个搜索引擎系统能够保证搜集到所有的网页，所以召回率很难计算，因而准确率成为目前的搜索引擎系统主要关心的指标。而当用户在使用Web搜索引擎的时候，用户常
12、常在找到一个好的页面后就不再继续察看排序列表其他结果。只找出一个相关的文档的高准确率就是信息检索系统的一个重要任务,27,RR排序倒数和MRR平均排序倒数,RR（Reciprocal Ranking）是第一个相关文档出现位置的倒数经常用于评价只找到一个相关文档的情况，RR值具体为1/r，其中r为第一个相关文档在结果中排序数如果检索结果中没有相关文档，那么RR值为0。,28,MRR（Mean Reciprocal Ranking）平均排序倒数,MRR是在RR的基础上对多个查询的RR结果取平均值。即对一个检索系统输入多个查询，分别得到每个查询的排序倒数，取平均即为MRR。计算公式如下：例如MRR=
13、0.25就意味着检索系统平均在返回结果的第四个位置找到相关文档。然而RR评价是基于2元相关判断基础上的，因此RR与MRR都不能区分一个高相关性的文档与低相关性文档之间的区别。,30,其它测度方法,调和平均值R(j):the recall for the j-th document in the rankingP(j):the precision for the j-th document in the ranking,31,Example,1.d1236.d9 11.d382.d847.d51112.d483.d56 8.d129 13.d2504.d69.d18714.d1135.d8 10
14、.d25 15.d3,(33.3%,33.3%),(25%,66.6%),(20%,100%),32,其他测度方法(cont.),E指标允许用户根据需要调整精确率和召回率的比例,33,其他测度方法(cont.),面向用户的测度方法覆盖率：实际检出的相关文献中用户一致的相关文献所占比例新颖率：检出的相关文献中用户未知的相关文献所占的比例,34,图示覆盖率和新颖率,相关文献|R|,结果集|A|,用户已知的相关文献|U|,检出的用户以前未知的相关文献|Ru|,检出的用户已知的相关文献|Rk|,35,测试集(Test Collections),组成要素文件集(Document Set;Document
15、 Collection)查询问题(Query;Topic)相关判断(Relevant Judgment)用途设计与发展:系统测试评估:系统效能(Effectiveness)之测量比较:不同系统与不同技术间之比较评比根据不同的目的而有不同的评比项目量化的测量准则，如Precision与Recall,国外的评测,TREC评测 文本检索会议（Text Retrieval Conference，TREC）是信息检索(IR)界为进行检索系统和用户评价而举行的活动,它由美国国家标准技术协会(NIST)和美国高级研究计划局(DARPA)（美国国防部）共同资助，开始于1992年。NTCIR评测NTCIR(NA
16、CSIS Test Collection for IR Systems)始于1998年，是由日本国立信息学研究所（National Institute of Informatics，简称NII）主办的搜索引擎评价型国际会议 CLEF评测CLEF于2000年开始筹办，是欧洲各国共同合作进行的一项长期研究计划，主要想通过评测信息科技技术，促进欧洲语言中的各种单一语言以及多语言信息技术的发展，CLEF的目标只在于跨语言信息检索以及多语言信息检索方面,37,TREC评测(Benchmark),TREC:Text REtrieval Conference(http:/trec.nist.gov/)199
17、2年开始，每年一次由美国国防部Defense Advanced Research Projects Agency(DARPA)和美国国家标准技术研究所National Institute of Standards and Technology(NIST)联合发起参加者免费获得标准训练和开发数据参加者在参加比赛时收到最新的测试数据，并在限定时间内作出答案，返给组织者组织者对各参赛者的结果进行评价包括检索、过滤、问答等多个主题,38,Document Format,Standard Generalized Mark-up Language,SGMLWSJ880406-0090AT&T Unveil
18、s Services to Upgrade Phone Networks Under Global Plan Janet Guyon(WSJ staff)American Telephone&Telegraph Co.introduced the first of a new generation of phone services with broad implications for computer and communications.,39,TREC会议的评价测度,概括表统计准确率-召回率平均值文献级别平均值平均准确率,40,国内863评测介绍,全名：863计划中文信息处理与智能人机
19、接口技术评测组织者：国家高技术研究发展计划（863计划）方式通过网络进行各单位在自己的环境中运行参评系统2005年11月召开研讨会2005年度评测内容机器翻译信息检索语音识别,41,863评测介绍信息检索评测,项目：相关网页检索任务定义：给定主题，返回数据中与该主题相关的网页。数据：CWT100g(中文Web测试集100g)根据天网搜索引擎截止2004年2月1日发现的中国范围内提供Web服务的1,000,614个主机，从中采样17,683个站点，在2004年6月搜集获得5,712,710个网页（有效网页：5,594,521）包括网页内容和Web服务器返回的信息真实容量为90GB。,42,主题,
20、主题（Topic）模拟了用户需求，由若干字段组成，描述了用户所希望检索的信息。主题和查询的区别在于：主题是对信息需求的陈述，查询则是信息检索系统的实际输入。主题由4个字段组成：编号（num）标题（title）描述（desc）叙述（narr）。,43,主题实例,下载香奈儿 描述：mp3格式歌曲“香奈儿”的下载地址 叙述：仅检索具有歌曲“香奈儿”下载地址的网页。有关“香奈儿”的介绍不在检索范围内。提供非mp3格式下载地址的页面不在检索之列。,44,查询的构造,自动方式和人工方式自动方式是指在没有任何人为因素的影响下根据主题构造查询的方式除此之外的方式均为人工方式。只允许以人工方式构造查询，不允许在
21、检索过程中加入任何人为因素。,45,评测指标（1）,MAP单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主题集合的平均准确率（MAP）是每个主题的平均准确率的平均值。MAP是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前（rank越高），MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。,46,MAP举例,假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。某系统对于主题1检索出4个相关网页，其rank分别为1,2,4,7；对于主题2检索出3个相关网页，其rank分别为1,3,5。对于主题1，平均准确率为(1/1+2/2+3/4+4/7)
22、/4=0.83对于主题2，平均准确率为(1/1+2/3+3/5+0+0)/5=0.45MAP=(0.83+0.45)/2=0.64,47,评测指标（2）,R-Precision单个主题的R-Precision是检索出R篇文档时的准确率。其中，R是测试集中与主题相关的文档的数目。主题集合的R-Precision是每个主题的R-Precision的平均值。,48,评测指标（2）,例如：假设有两个主题，第1个主题有50个相关网页，第2个主题有10个相关网页，某个系统对于第1个主题返回的前50个结果中有17个是相关的，对于第2个主题返回的前10个结果中有7个是相关的第1个主题上的R-Precision为17/50=0.34在第2个主题上的R-Precision为7/10=0.7主题集合的R-Precision为(17/50+7/10)/2=0.52,49,评测指标（3）,P10单个主题的P10是系统对于该主题返回的前10个结果的准确率。主题集合的P10是每个主题的P10的平均值。,50,2005年863评测结果,
