《信息检索课件精简版分析处理.ppt》由会员分享，可在线阅读，更多相关《信息检索课件精简版分析处理.ppt（18页珍藏版）》请在三一办公上搜索。
1、检索系统的一般模式,网页,互联网,匹配,检索结果,用户需求,网页采集,分析处理,建立索引,索引库,格式分析与转换编码分析与转换词汇分析与处理结构分析（文本分割）类别分析（文本分类）,分词对中文搜索引擎的影响,Google6/20“瑞星以技术和服务开拓网络安全市场”“陈慧琳心口不一化妆和服装自己包办”百度14/20“商品和服务实行明码标价”“青岛东和服装设备”中搜20/20搜索引擎结果中的错误，是由于分词的不准确造成的。中文分词的准确度，对搜索引擎结果相关性和准确性有相当大的影响。,无关网页从哪里来？,互联网,匹配,瑞星以技术和服务开拓网络安全市场,用户需求,网页采集,分析处理,建立索引,索引库
2、,检索结果,中文分词,分词是将连续的字序列按照一定的规范重新组合成词序列的过程瑞星以技术和服务开拓网络安全市场瑞星/以/技术/和/服务/开拓/网络安全/市场中文分词与其他分词不同英文中单词之间是以空格作为自然分界符中文只是字、句、段有明显的分界符词没有一个形式上分界符从字串到词串，是一个降低不确定性的过程。,正向最大匹配法,信息检索课程是三个学时。,分词词表,正向最大匹配的问题,最大词长词长过短，长词就会被切错词长过长，效率就比较低分词歧义“瑞星以技术和服务开拓网络安全市场”,分词歧义,发现问题双向最大匹配分析问题歧义字段的类型与特点解决问题歧义字段库词性我为人民工作。统计技术和服务,歧义字段
3、的链长,链长：交集型歧义字段中含有交集字段的个数，称为链长。链长为1：从小学链长为2：市民政局链长为3：为人民工作链长为4：结合成分子时链长为6：努力学习语法规则,软件实现3：长链歧义字段获取,输入1998年1月人民日报电子版输出歧义字段按链长降序排列，前100个要求：1人完成,分词歧义,发现问题双向最大匹配分析问题歧义字段的类型与特点解决问题歧义字段库词性我为人民工作。统计技术和服务,歧义字段库市民政局1300为人民工作12020结合成分子时201201技术和服务20120,软件实现4：歧义字段规则库获取,输入1998年1月人民日报电子版输出歧义字段规则库要求：1人完成,最大概率分词,S:有
4、意见分歧W1:有/意见/分歧/P(W1|S)W2:有意/见/分歧/P(W2|S),P(W1)=P(有)*P(意见)*P(分歧)=1.8 10-9P(W2)=P(有意)*P(见)*P(分歧)=110-11P(W1)P(W2),软件实现5：汉语分词系统,输入任意一段文本可能包含中文标点、西文标点、阿拉伯数字、西文字符输出分词结果词之间用“/”分隔要求双向最大匹配发现歧义片断利用歧义片断库解决分词歧义未解决的用最大概率分词可3人完成,准确率、召回率、F值,准确率 Precision结果中的正确样例数与结果中全部样例总数的比值召回率 Recall结果中的正确样例数与实际存在的正确样例数的比值F值准确率
5、和召回率的加权平均一般用F1,准确率、召回率、F值,准确率 Precision结果中的正确样例数与结果中全部样例总数的比值召回率 Recall结果中的正确样例数与实际存在的正确样例数的比值在分词性能的度量时：Precision=切分正确的词数/系统切分出的词数Recall=切分正确的词数/标准答案的词数,准确率、召回率、F值,在分词性能的度量时：Precision=切分正确的词数/系统切分出的词数Recall=切分正确的词数/标准答案的词数举例某分词系统的切分结果瑞/星/以/技术/和服/务/开拓/市场标准答案瑞星/以/技术/和/服务/开拓/市场,准确率、召回率、F值,准确率 Precision结果中的正确样例数与结果中全部样例总数的比值召回率 Recall结果中的正确样例数与实际存在的正确样例数的比值在作为搜索引擎性能的度量时：Precision=搜索到的相关文档数/搜索到的全部文档数Recall=搜索到的相关文档数/网上全部相关文档数,准确率、召回率、F值,在作为搜索引擎性能的度量时：Precision=搜索到的相关文档数/搜索到的全部文档数Recall=搜索到的相关文档数/网上全部相关文档数举例：利用某搜索引擎搜索“和服”搜索引擎返回100个结果，其中有78个与和服相关互联网上共有10000个与和服相关的网页,
