《信息检索课程介绍.ppt》由会员分享，可在线阅读，更多相关《信息检索课程介绍.ppt（47页珍藏版）》请在三一办公上搜索。
1、1,Web信息检索技术,主讲人:杜 蕾 联系方式20010年8月11月,2,写在授课之前,授课学时实验学时,10学时,30 学时,3,Quiz,下面场景中，按回车键，会发生什么？浏览器地址栏里输入之后Google搜索框里输入”黑龙江大学”之后,4,本课程的内容(1),信息及信息资源 信息检索概述信息检索模型信息检索评价检索的改进技术,5,本课程的内容(2),文本分类和聚类信息过滤Web信息检索基于内容的图像及音频检索问答系统及自动文摘,6,信息及信息资源,信息的涵义信息的种类、特征信息资源电子信息资源电子信息资源的特征、类型,7,信息检索概述,概念及意义体系结构研究现状与发展趋势相关领域主要搜
2、索引擎分类与评价信息检索的应用,8,信息检索模型,布尔模型向量空间模型(VSM)概率模型,9,信息检索评价,相关性问题信息检索性能评价信息检索性能评价指标信息检索评价试验平台TREC,10,检索的改进,词(Term)处理Stemming（词干提取）技术，词法分析、形态还原，停用词表的构建，语义词典的构建，分词、词性标注和词义消歧等索引技术倒排文档(Inverted List)，Signature文件，PAT树等提问(Query)处理提问理解，提问的语义扩展（包括基于局部聚类的提问扩展，基于局部上下文分析的提问扩展，基于相似语义词典的提问扩展，基于统计词典的语义扩展）相关反馈（包括Term权重的
3、重新计算，相关反馈策略的评价等）,11,文本分类和聚类,特征词抽取TFIDF信息增益方法文本表示文本相似度计算文本分类算法文本聚类算法,12,文本过滤,过滤系统中的Profile的表示与管理各种匹配算法Brute Force算法Knuth-Morris-Pratt算法Boyer-Moore算法Karp-Rabin过滤系统在信息安全中的应用,13,Web信息检索,Web检索的历史与现状Web Information Discovery 搜索技术（Crawling）排序算法PageRankHitsWeb Noises Detection,14,*基于内容的图像及音频检索*,图像的特征表示图像相似度
4、计算相关反馈基于音频的信息检索计算,15,*问答系统及自动文摘*,问答系统问题的理解与分类转述(Paraphrasing)答案抽取问答式信息检索的应用自动文摘自动摘录基于理解的自动文摘基于信息抽取的自动文摘基于篇章结构的自动文摘,16,课程目的,发现了什么问题？Web信息的数量，内容丰富程度（庞杂）人们访问信息的效率课程目的介绍面对web信息过载问题挑战的各种研究和尝试，具体为大规模Web信息搜集、分析与处理方法与技术认识这个激动人心领域的导论,17,研究对象Web,1980年Tim Berners-Lee负责的Enquire（Enquire Within Upon Everything的简称
5、）项目。1990年11月，第一个Web服务器开始运行，Tim Berners-Lee在自己编写的图形化Web浏览器“WorldWideWeb”上看到了最早的Web页面。1991年，CERN（European Particle Physics Laboratory）正式发布了Web技术标准。目前，与Web相关的各种技术标准都由著名的W3C组织（World Wide Web Consortium）管理和维护。,18,Web的支撑技术,用超文本技术（HTML）实现信息与信息的连接用统一资源定位技术（URI）实现全球信息的精确定位用新的应用层协议（HTTP）实现分布式的信息共享。这三个特点无一不与信息
6、的分发、获取和利用有关。Tim Berners-Lee说：Web是一个抽象的（假想的）信息空间。也就是说，作为Internet上的一种应用架构，Web的首要任务就是向人们提供信息和信息服务。,19,Web技术的发展,客户端技术GIF第一次为HTML页面引入了动感元素 JavaApplets和JavaScript的支持 CSS（Cascading Style Sheets）和DHTML（Dynamic HTML）技术 插件、ActiveX控件技术服务端技术CGI允许服务端的应用程序根据客户端的请求，动态生成HTML页面，动态信息交换Perl，PHP、ASP、JSP 企业级开发平台-J2EE和.N
7、ET,20,Web增长,Load on the first Web server()1000 times what it has been 3 years earlier,21,Web增长,网站数目 1993-1996,from 130 to 600.000 sitesNetcraft said that it has counted 85,541,228 websites at the beginning of 2006/06,The number represents a gain of 3.96 million sites over the previous month 用户数目 The
8、n what happened?,22,浏览器大战,1993，Mark Andreessen编写Mosaic“The great thing about the Internet-the thing that catalyzed it in the first place and renews it every day-is that there are so many people able to use it,able to do a million different things.Its an open platform that anybody can develop and cre
9、ate applications for.A lot of people are able to apply their energy,and see it bear fruit.”,23,浏览器大战,1994，Mark Andreessen发布Netscape，成为当时的事实标准1995,Microsoft开始全面转向Internet，发布Internet Explorer 1.0，三个月后发布2.01997,IE4.0发布，引入DHTML，Winner1998,Netscape开放源码2004，Mozilla.org在Netscape源码基础上开发发布Firefox，比IE有更多新功能和更
10、好安全性，开始了新一轮浏览器大战。,Why?Web Browser成为争夺的焦点？,24,丰富的web应用,（电子港湾）：在线拍卖和购物 1995年用户：1.68亿（维基百科）：免费百科全书 2001年用户：每天91.2万人次访问（纳帕斯特）：音乐共享 1999年用户：50万个付费用户：视频共享2005年用户：每天1亿人次视频浏览（博客网）1999年用户：1850万固定访客,25,丰富的web应用,（友聚网）：校友录 1999年用户：1500万（德拉吉报道）：个人媒体 1994年用户：每天800万到1000万页次浏览（我的空间）：社交网络2003年用户：1亿（亚马逊书店）：网上书店1994年用
11、户：超过250个国家和地区3500多万用户：科技论坛 1997年 用户：每月5500万,26,丰富的web应用,（沙龙网）：在线杂志 1995年 用户：每月2500万至3500万访客（克雷格列表）：分类广告 1995年 用户：每月4万亿页次浏览（谷歌）：搜索引擎 1998年 用户：每天10亿个搜索请求（雅虎）：门户网站 1994年 用户：4亿（易航网）：廉价航空 1995年 用户：去年乘客3000万人次,27,28,Web的未来,W3C：Web的未来是语义化的Web（Semantic Web）2001XML 信息本身的格式和数据内容 SOAP协议，WSDL协议Web Service RDF（R
12、esource Description Framework）元数据的存储结构和相关的技术标准 OWL（OWL Web Ontology Language）,29,30,我们关心的角度,The world wide web(web)is a network of information resources.Web图：节点代表web pages，边是 hyperlinks大规模、动态、分布式的图反映了人们组织信息的方式研究人们访问web的方式信息资源：主要关注文本资源(html web pages)a recent study indicated that 80%ofa companys info
13、rmation is contained in text documents.1如何更有效访问这些信息资源？用户信息：站点访问日志反映了用户访问信息的方式,31,我们关注的中心,Dragon metaphorGatekeepers of our societys treasure trove of informationmagic,powerful,independent,and unpredictable.,Search Engine,32,The SuperStar of Web Application is,Search Engine!Google 2005年8月19日上市，以85美元的
14、价格筹集到了16.7亿美元 百度2005年8月5日晚在美国纳斯达克上市，融资1.09亿美元。发行价27美元，最高达151美元Microsoft，Yahoo，等公司对web search的巨大投入国内门户网站纷纷推出自己研发的search engine，sohu,netease,qq Google says its goal is“to organize the worlds information and make it universally accessible and useful”,33,Who,Who search the Web?Every body,34,Where,Search
15、 Engine ServiceSearch box也成为网站的信息入口:Ebay,amazon,taobao,china-pub,35,What,What are people searching for?15%for“a good collection of links on a subject”25%for“a specific Web site that already had in mind”36%for“intent to perform some Web-mediated activity”,36,How,How does the search engine work?,37,Wh
16、en,1994年7月，Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中，创建了大家现在熟知的Lycos，成为第一个现代意义的搜索引擎。ExciteYahooInfoseekInktomiAltavistaGoT-Overture-yahooAsk JeevesGoogle国内1997北大天网搜索，清华指南针搜索，华南木棉搜索2000年baidu,38,Pre-Google,First Truly Good Search Engine:AltavistaLouis Monier DECs Western Lab1995,10M 网页；1995/12/15发布
17、时已经索引了16M 网页 1997，25M queries/day，$50M revenue核心技术大规模资源搜集crawling：效率、存储、组织从keyword怎样找到相关的网页？(信息检索),39,Google,GoogleLarry Page and Sergey Brin StandfordSpams kill the search engine，so2005年索引80 Billions网页，每日查询1Billion!核心技术基于链接分析的排序技术：pagerank基于搜索的广告：AdWords,AdSense海量数据处理基础设施：tens of thousands of pcs,4
18、0,Future of the Search,Is Google perfect?搜索数据资源种类不断增加Search EverywhereMp3,pictures,bbs,forum,literature,blog本地化、个性化Local&PersonalClickstream!Y!Q面向特定领域的垂直搜索酷讯，爱帮，(信息提取)结果可视化Vivisimo,(结果聚类)Question Answer百度知道,IBM WebFountain,WebDigest?,41,More than search?,Query Like this:“Give me all the documents on
19、 the web that have at least one page of content in Arabic,are located in the Midwest,and are connected to at least two similar documents but are not connected to the official Al Jazeera Web site,and mention anyone ion a specified list of suspected terrorists”,42,Web数据挖掘,海量数据上，我们能做什么？网上出现次数最多的100个人是哪
20、些.哪个网站最先报道了禽流感消息.对于吉林石化的爆炸事件，不同的省份分别有哪些报道.关于超女现象，给出网上报道的一个综述.,43,教材和参考材料,Modern Information Retrieval.Ricardo Baeza-Yates,Berthier Ribiero-Neto and Berthier Ribeiro-Neto.Addison-Wesley.现代信息检索 王知津贾福新郑红军等译机械工业出版社,44,搜索引擎原理、技术与系统 李晓明,闫宏飞,王继民.科学出版社.(电子版)搜索引擎与信息检索教程 袁津生等编著水利水电出版社,45,课程的要求,背景知识要求高等数学，线性代数，概率论和统计熟练的程序设计（C,Java），Web知识（浏览器，HTML，HTTP等），最好有一定的Web编程经验成绩构成实验（实验报告），作业，出勤等20%期末考试，80%,46,小结,Web，改变着人们生活和工作的方式，它也是一个广袤、深邃、生机勃勃的研究对象面对Web信息过载问题的挑战，人们在研究和尝试各种方法和技术，我们一起通过Web信息检索技术这门课程来认识这一活跃的领域,47,思考题,选一个web应用，分析其信息处理的技术。访问ppt中涉及到的有趣的网站,
