《清华方案要点.ppt》由会员分享，可在线阅读，更多相关《清华方案要点.ppt（109页珍藏版）》请在三一办公上搜索。
1、1,清华方案要点,信息共建共享服务网引文链接和服务搜索引擎知识元数据库,2,发言提纲,清华方案的技术特点、优势和难点以知识管理和服务为起点第二次创业信息服务领域的技术进步,3,清华方案的特点,适应信息资源整合的客观需要数据库生产者向信息服务提供者演化服务领域的合理拓展迈向知识管理和开发的新高度为进一步产业化打下更宽阔的基础,4,优势分析,CNKI的信息资源和业绩(经验教训)信息化形势带来的强劲发展动力高校技术力量强势群体Cernet现有网络平台的支持可在信息技术、运作模式、技术标准等最新起点和高度上起步,减少风险,避免教训,缩短发展周期,5,难点和瓶颈,从封闭(期刊数据库)资源到开放(网络搜索
2、引擎)资源的技术难点从信息服务向知识服务的技术难点从独立经营到多赢模式的联合经营的环境因素开发新技术和建设新的信息基础结构与现有人力资源的矛盾,6,以知识管理和服务为起点第二次创业,7,知识型信息服务的必然性,信息爆炸：信息海洋和信息垃圾开发广度：浅海网和深海网开发深度：信息容器和信息内容管理层次：信息管理和知识管理信息提供：药店服务和对症处方以谁为主：系统中心和面向个人,8,信息爆炸,9,1999年世界范围静态信息生产量(单位：TB,千千兆,1012字节),10,英语表示兆以上命名法,MBmebi megabyte(106),million,1MB=1000KB 兆 GBgibi gigab
3、yte(109),billion,1GB=1000MB 1000兆 TBtebi terabyte(1012),trillion,1TB=1000GB 万亿兆兆 PB pebi petabyte(1015),1PB=1000TB 1000万亿兆 EB exbi exabyte(1018),quintillion,1EB=1000PB 万万亿兆(1021),sextillion,(1024),septillion,(1027),septillion,(1030),septillion,(1033),septillion,(1036),septillion,(10303),centillion,1
4、1,目前常用前缀及其意义,12,表示二进制数量的前缀(新建议),13,世界信息总量,全世界每年生产信息1 x 1018 2 x 1018 字节信息,大约为全世界每人250MB字节。印刷体只占0.003%,磁介质93%。Email达11,285TB。Usenet 73TB。2000年WWW公共浏览网页21亿,平均每个网页10K数据,每年新增700万网页。2001年网页将达到40亿。众多数据库以非网页形式存储7,500TB数据,包含5,500亿记录或文件。,14,数字化信息量举例,音乐作品(莫扎特)：约100MB报纸(华尔街杂志)：100MB/年(文本)卡片目录(美国国会图书馆)：17GB广播(W
5、ABC)：270GB/年(未经压缩)网络论坛(Netnews)：300GB/年地区图书馆(加州大学图书馆)：1.4TB(图书扫描版)Internet出版(WWW)：1997年约4TB电视(CNN新闻)：1GB/1小时,6TB/年(经压缩)录像带出租(Blockbuster Video)：9TB科研图书馆(美国会图书馆)：全部图书馆数字化20TB来源：美国伯克利加州大学教授Peter Lyman和Alex Internet公司总裁Brewster Kahle所著文化制品数字化存档行动纲要。,15,9.6 million web servers as of Dec 199972.4 million
6、 web sites as of Jan 2000275 million people online as of Mar 2000800 million publicly indexable pages180 million images30%web pages are copied or mirrored1 billion hyperlinks,网络爆炸,16,网络信息资源的挑战,数量巨大No single search engine indexes more than 16%of web sitesAll search engines combined covering only 42%极
7、端异质Variable information valueVariable lengthOften containing grammatical mistakes and typosContent may be outdated,false,or unreliableMultiple data formatsMultiple languages and alphabets速度问题15,000 20,000 search queries requested per minute,17,Internet 利用量,Internet 用户:30 to 300 million in 2001Intern
8、et 流量:每 70 天翻一番电子商务:2002年1.3 万亿美元1997年PC台数销售量超过 TV,18,信息检索的问题,查找非结构信息有困难多数数据库在结构化字段上工作多数商业信息是非结构化的.报告、电子邮件、来往公函.美国商业每年产生4500亿份文件波音747文件比飞机重量还重索引是主观的索引者之间不一致,经验统计表明索引者之间仅20%相同.作者与索引者之间、检索者与用户之间不一致.信息超载信息太多,需要过滤检索结果垃圾太多,有害信息太多,19,信息检索的问题,语言问题一词多意:Bank:a river boundary or a savings and loans?DNA:microb
9、iology or Digital Equipment Corporations Network Architecture?Free rider:Economic game theory or urban transportation systems?一意多词:Blair example(p.295):trap correction,wire warp,shunt correction system,roman circle method,air truck,.Car,automobile,vehicle,sedan,horseless carriage.,20,Search Engines,
10、21,主题树(目录型网站),覆盖小,质量高 的网站,22,搜索引擎,Internet内容数据库,23,搜索引擎的问题,24,搜索引擎仅覆盖网络流量的一小部分,25,搜索引擎规模,GG=Google,FAST=FAST,AV=AltaVista,INK=Inktomi,WT=WebT,NL=Northern Light,EX=Excite,26,Spiders for Search Engines,Create a queue of pages to be explored,Choose a page,Fetch page content,extract all links,Process pa
11、ge to extract information,Add to queue,Database,Where to explore next?Depth-first:high load on serversBreath-first:favors smaller web serversBest-first:based on popularity heuristicWhat information to keep?Titles+headers vs.whole documentManual description vs.automated abstracts,27,拖曳网,搜索引擎仅在信息海洋表面上
12、拖曳,28,深海网,29,深海网,深海网比浅海网大500 倍95%深海网是公开的和可免费获取的深海网内容质量高1000+倍7,500 TB信息量目前有45,000 浅海网搜索引擎,30,知道我们所不知道的,我们应该知道什么 What we know that we should know我们知道什么 What we know that we do know我们不知道什么 What we know that we do not know别人知道什么 What we know that others know我们不知道有什么我们不知道 What we dont know that we dont
13、know,31,不知道我们所不知道的,We struggle between 1%of what we know and,1%of what we don t know,but rarely comeacross the 98%of what we don t know that we don t know.,32,“草垛找针”,已知草垛查找已知的针未知草垛查找已知的针已知草垛查找已知的针未知草垛查找未知的针一个草垛查找任何的针一个草垛查找最锋利的针一个草垛查找大部分最锋利的针一个草垛查找任何的针确认一个草垛没有针任何草垛查找有没有类似针的东西草垛出现新的针时通知草垛在哪里？有关针和草垛的任何
14、信息都有关,33,信息资源的控制成为全球性难题,信息发布具有自由性和任意性,难于控制和管理分布、分散、无序、无政府、经常变动、无限数量、包罗万象、真伪并存,资源信息和非资源信息难于驾御非规范、非结构检索查全和查准提出新的挑战多媒体、多语种、多类型信息的整合提出新的挑战跨国界数据传递和流动,带来政治、外交、文化新问题集成多种(正式和非正式等)交流方式,34,目前对付挑战的能力有限,以文本信息、显性知识为主 以非结构信息为主 以系统为中心以信息提供为目的以相对简单的信息技术开发以正面效益为衡量标准,35,知识型科技信息服务主要标志,控制信息 管理知识提供知识 以人为本,36,知识型科技信息服务(1
15、)控制信息,信息资源是一把双刃剑。信息资源一般是指有用的具有现实可用性的信息，但信息资源也包含无关、失效、虚假、错误、有害信息等“非资源”信息。它既给社会带来正面效益,也带来信息负效应。垃圾信息。奈斯比特说：“没有经过整理的信息不是我们的朋友,甚至是我们的敌人。当然更不是财富和资源。现有的信息服务把主要目标集中在发挥信息资源正面效益上,这是无可非议的,但对负面影响无能为力或视为旁业是不符合社会信息化要求的。知识型信息服务对信息资源的开发,应该把正面效应发挥到最大,而把负面效应控制到最小。,37,知识型科技信息服务(2)管理知识,知识管理是在信息管理基础上发展的,两者相互衔接。知识有显性知识和隐
16、性知识之分。隐性知识比显性知识更能激活灵感和启发创新,是一种更有价值的知识。新型信息服务,要超越显性知识,要設法獲取隐性知识。显性知识的管理来源于传统的信息管理，所用的手段与方法较信息管理更加先进和完善，是信息管理的深化与发展。显性知识管理将极大地提高企业的信息处理能力和知识处理能力，隐性知识管理则将极大地提高企业创新能力，而整个知识管理将二者相结合，将极大地增加企业的应变能力与预测能力，提高决策与管理的效率，从而增强企业竞争力。,38,知识型科技信息服务(3)提供知识,目前信息资源开发,主要是对数据和信息进行采集、编码、数字化、存贮、分类、组织、控制、加工、处理、传输、检索、计算等，通过图书
17、馆书目、联机检索、搜索引擎、网上浏览等提供信息,让用户用自己的大脑判断信息有用或有害并将信息加工、吸收、提取或评价变成知识,存在于个人脑中。现在,信息服务业可以充分利用新的信息技术,用数据仓库、数据挖掘、数据库知识发现、人工智能技术等获取信息中隐含的知识,用大型数据库、新型检索技术、智能代理、搜索引擎等存储与传播知识,用网络技术、组件技术等保证知识的充分共享。知识型信息服务的任务不仅要把信息需求者带引到信息大门，而且要帮助他们深入信息去获取能够带来时间、财富、效率 效益的知识,帮助他们走进各自的知识王国去寻找和创造新的生产力。,39,知识型科技信息服务(4)以人为本,个性化精密化专业化定制服务
18、便于再加工再开发同系统交互(可视化、语音化等)依个人选择输出结果的形式便于个人交换交流安全性、隐私、保密,40,信息系统与知识系统的异同,相同点两者均建立在信息技术基础之上两者都以网络为依托两者都由收集、处理、存储、传播、共享等过程组成信息收集知识捕获信息处理知识加工(合成、分类、整理等)信息存储知识保存信息传递知识传播信息共享知识共享两者的产品都能创造价值,41,信息系统与知识系统的异同,收集、处理、传播的对象不同：信息系统的对象是客观属性(文字、文件、报表、票据),而知识系统的对象是以人的头脑为载体,具有隐含特的知识、人的思想、技能和经验。知识系统具有创新性,而信息系统没有。对处理对象的加
19、工深度不同：信息系统主要加工为计算、合并、汇总、连接等。而知识系统是解析、分类、合成、整理、建立映射等深层处理。知识系统的加工深度远远大于信息系统。产品形态不同：信息系统主要是报告、文档、报表、总结性数据或提示性数据,而知识系统则是分析能力、MAPS、多媒体、超级链接等。知识系统的产品具有动态性,可根据需要产成不同的表现形态。产品价值取向不同：信息系统着重及时性、新颖性、针对性、准确性等,而知识系统着重创新性、科学性、经验和技巧。度量指标不同：信息系统看硬件软件投入、经济收益等,而知识系统看知识投资、知识密集度、知识挖掘的广度和深度。,42,信息系统与知识系统的内在联系,信息系统和知识系统相辅
20、相成、互相依赖、相伴而行。信息系统正在朝着解决半结构和非结构化问题的方向发展,如KWS、DSS、ESS等都具备了知识工作的支持和管理决策的功能。知识系统是对信息系统功能的进一步延伸和拓展。知识系统离不了数据库的支持,信息系统最新技术如工作流、数据仓库、数据挖掘、群体技术、共享技术等都可用于知识系统。,43,信息服务与知识服务,信息服务信息资源获取和提供提供信息产品基于标准和单一知识固定内容服务劳务服务标准服务固定资源和系统大而全系统和服务标准化事物性服务按信息服务机构流程组织,知识服务解决问题提供知识产品基于复杂综合变化知识动态连续服务增值服务个性化服务动态虚拟资源系统集成、服务集成、团队工作
21、创新性服务按用户行为过程组织,44,Knowing leads to.,Transformational Librarianship,DataInformation KnowledgeBehaviour,NormFormTransformPerform,Success,46,显性知识与隐性知识,显性知识(explicit knowledge)：事实数据、常识数据库、加工精度、语义结构存取隐性知识(tacit knowledge)：人脑存储的知识“零次信息”(论坛、电视会议、活页零散信息)从数据库或文本中发现或挖掘的知识M的My文件等,47,Beckman知识五个层次,48,管理知识,存储知识,
22、提供知识,提炼知识,创建知识,获取知识,Decision Support Systems and Intelligent Systems,Efraim Turban and Jay E.Aronson,6th edition.Copyright 2001,Prentice Hall,Upper Saddle River,NJ,49,50,知识的采集（Knowledge Capture),隐性知识,显性知识,抽象化，归纳,书面报告,电子邮件,会议发言,网页,无形向有形或有形向无形转换,51,知识搜取的方法,文献：文本式：总结，技术报告，备忘录等网络式：利用特别制作的网上工具，知者输入知识的组成部
23、分存入系统，供企业或组织内部的有关人员检索使用和分享。也叫“分散型知识搜取”（Distributed knowledge capture）。实例：http:/www.promising-practices.org/电子录音电子录像,52,信息内容加工和组织,53,内容构架,内容编码符号内容载体逻辑信息单元内容容器逻辑信息单元信息集合知识组织体系,54,信息单元描述和信息集合组织,信息内容管理信息集合管理信息集合组织用户知识组织信息链接信息内容和信息集合重组知识体系组织,55,信息内容管理,结构类型标记语言语义标注应用集成,56,信息集合管理,资源选择产权保护获取控制使用审计长期保存,57,信息
24、集合组织,馆藏虚拟资源门户主题信息网关跨网关门户语义门户,58,知识体系组织,分类体系主题体系语义网络Ontoloty,59,信息链接,文献内部文献间引文链接超文本链接跨库链接Internet Intranet链接跨网链接语义链接跨语言链接,60,知识体系应用,词汇的语义映射和语义限制信息资源结构化信息内容与知识组织体系链接利用多种模式表现和理解信息集合跨语言检索智能检索,61,知识组织与存取(1),从知识技术上讲，知识的组织有以下特点：XML为基础的标记格式数据库与XML标记之间的转换和兼容从知识结构上讲，知识的组织主要使用：分类表（taxonomy)知识分类(ontology)以上两种结构
25、与XML结合而成的knowledge schemas,62,知识组织与存取(2),XML为基础的标记格式：,文章,标题,摘要,章节,文献类型定义（Document Type Definition）:a user-defined set of rules governing an individual markup language created using the principles of XML.A DTD describes the formal rules for the structure of a class of information chunks(documents).,元
26、素（Element）:a component of a document.(a contiguous chunk of useful information in an XML document marked by a start-tag and end-tag).,知识管理技术 信息技术在知识管理中的应用 技术类型 结构类型,63,知识组织与存取(3),数据库与XML标记之间的转换和兼容用文献类型定义来产生数据库结构用数据库结构来产生文献类型定义,Article IDTitleDescription,Article IDSection IDSection titlePIDParagraph,
27、I,M,转换,数据库,文献类型定义,64,知识组织与存取(4),分类表（taxonomies)侧重于领域知识（domain knowledge)领域知识可以表述成知识图(knowledge map)或分类表分类表是具有等级结构的一组类别，并包括一些类别之间的相互关系分类表的作用：提供浏览便利而无需检索可通过将文献置于特定范畴内帮助用户判定文献的相关性主要从该领域的专业人员和有关资料中搜集,65,知识的组织与存取（5）,知识分类(ontology)一定范围内的人们所共同理解并认可的概念定义并说明概念范畴及其互相之间的关系确定在本概念化结构内进行推理(reasoning)的条件限制与规则规定与归纳
28、出来的事实相关的行为，即与公理类似的逻辑表达式(axioms),66,知识主管(CKO),本企业知识资产最大化设计和实施知识管理战略有效交换知识资产促进系统应用,Decision Support Systems and Intelligent Systems,Efraim Turban and Jay E.Aronson,6th edition.Copyright 2001,Prentice Hall,Upper Saddle River,NJ,67,知识管理的人员保障,知识主管 senior executive,builds knowledge culture,creates infrast
29、ructure知识项目经理 temporary roles,lead developments and embed into processes知识管理专家 permanent group,various backgrounds,variety of roles知识第一线工作者 staff at all levels,producing and using knowledge in their work,68,成功的知识管理战略,建立知识管理方法论任命关键人物授权知识工作者管理面向客户的知识管理核心的竞争能力培养协作和创新精神向最佳实践学习扩大知识源使团队的实践(专业知识)相互沟通)知识资产价
30、值可测度化,Decision Support Systems and Intelligent Systems,Efraim Turban and Jay E.Aronson,6th edition.Copyright 2001,Prentice Hall,Upper Saddle River,NJ,69,知识管理失败主要原因,知识定义不明确过多重视知识累积而非知识流动相信知识存在于人脑之外不承认管理知识的重要性不能有效管理隐形知识不能使知识和利用脱钩不重视推理和思想的作用眼睛只看过去和现在而不是未来不能够认识实验的重要性以技术接触取代人的接口过分强调测量知识而非它的结果,Decision Su
31、pport Systems and Intelligent Systems,Efraim Turban and Jay E.Aronson,6th edition.Copyright 2001,Prentice Hall,Upper Saddle River,NJ,70,XEROS知识库,公司的人力资源状况公司内每个职位需要的技能和评价的方法,以便员工进行个人能力评测公司内各部门、各地分公司的内部资料公司历史上发生的重大事件等历史资料公司客户的所有信息,特别是售后服务信息公司主要竞争对手和合作伙伴的详细资料公司内部研究人员的研究文献和研究报告公司员工的建议,让公司 所有人都能看到,71,显性知
32、识的组织与转换,现实：图书馆信息中心有与有形知识打交道的悠久历史和经验,机遇：数字化技术的发展为有形知识的组织与转换提供了广阔的市场Knowledge portalSemantic web Intelligent agentsCommunities of practice,72,开发新的知识产品,现实：图书馆文献中心是目录索引的主要生产者和使用者,机遇：利用数字化技术开发新的知识工具和产品专业领域的知识分类和术语分类表为企事业单位的知识管理项目出谋划策培训知识管理专业人员,73,做知识管理方面的领头人,现实：图书馆长期扮演服务工作者的脚色,机遇：通过各种渠道大力宣传知识管理的重要性与大型企事业
33、单位合作开展一些知识管理的项目，通过这些项目可以达到三个主要目的：开展知识管理的应用研究培养知识管理人才普及知识管理实践,74,信息服务领域的技术进步,75,信息服务领域的技术进步(1),76,信息服务领域的技术进步(2),77,信息服务领域的技术进步(3),78,什么是元数据？,元数据是结构化的信息，用于描述一个文献资源解释一个文献资源找到一个文献源以及使某文献资源能很容易地得到检索。-Source:Gail Hodge.Metadata Made Simpler,79,描述元数据 descriptive metadata,用于描述一个文献资源的内容及其与其它资源的关系，主要作用：发掘辨识S
34、ource:CIC.,80,管理元数据 administrative metadata,包括有关数字实体(digital object)的显示、注解、使用、长期管理等方面的内容-所有权权限的管理-产生/制作时间和方式-文件类型-其它技术方面的信息-使用或获取方面的权限管理,81,结构元数据structure metadata,定义一个复杂的数字实体的物理结构，以利于导航、信息检索和显示。-各个组成部分是怎样放到一起的,82,将这三种元数据组织在一起，其功能为：,资源发掘对电子资源进行组织便利互操作数字鉴别存档和保存-Source:Hodge,结构上被分解的资源,文摘段落标题章节图示表格总结参考
35、文献|。,原始资源,84,面向文献源的元数据在“发掘”方面的局限,1.一个元数据的记录总是一个“信息容器”的附属品-不管这个信息容器的内容在结构上被分解为多小，多深-不管有多少个主题特征被放到一条数据上2.在当前的元数据标准中，有关主题内容的元数据元素总是十分有限,85,XML的优点,XML的采用将使网络传播的信息具有半结构化数据格式。使得一般的SGML能够以一种用HTML不可能实现的方式在WEB上被接收、处理、服务,并且能与SGML,HTML,TEI,EAD,AMMEM,DTD兼容。采用Style Sheet可在浏览器直接浏览XML。XML保持SGML的强大功能和灵活性，同时降低复杂性。极大
36、改善网上文本的质量。节省创建工具的成本,标引、编辑和出版将容易得多。为安全、共享和各种分布应用开辟良好前景。,86,XML时代的到来,微软公司主席比尔盖茨预言：XML将在因特网领域成为一个重要的开发平台。他同时预言在未来的五年内，因特网将会有爆炸性的改变。微软的首席执行官巴尔默仍相信，XML将成为网络界的主导标准协议。OASIS（信息结构发展组织）主要成员SUN，IBM，Oracle发布了XML网站。这个组织相信，XML计划不是一个短期行为，因特网终将依赖于它而进行数据交换。XML和Java的结合，代表了Web在下一个阶段的发展方向。,87,将专业学科语言精确全面地直接应用到自然语言和多媒体资
37、源上，置标语言是唯一的，最重要的方法。-Greg Shreve,结构的分解与描述,语义的分解与描述,基于文献资源的元数据标准,面向专业内容的置标语言,元数据与置标语言结合,基于文献资源的元数据标准,面向专业内容的置标语言,WEB语言一览,91,与置标语言有关的问题,耗费更大，要求更高需要另外的表述格式以使机器理解其结构重复的标准不能直接嵌到那些非文本的文献中,92,元数据与置标语言结合,知识表述功能大大增加从仅仅描述文献资源和指向信息容器的地址上升到详细地描述资源内部的丰富内容。从作为一个供存贮、查找、索取资源的仓库上升到一个能生产和再生产及反复利用新资源的车间。需要对元数据与置标语言的相互关
38、系和结合方法进行大量研究和试验 需要从根本上解决：自动生成元数据记录或抽取元数据信息自动或半自动置标自动或半自动联系和管理相关数据记录,93,可视化,94,Current Issues,newsinformation,Current info.Infrastructure simply cant handle exploding scale of news information and its cross correlation.,Need for an intelligent system that automatically builds the correlations and rel
39、ationships between news articles,Galaxy of News,Rennison 94,95,Internet Search Engine,潜在应用,96,新型界面:网络地图,200万网站多级可视目录以不规则多边形表现等级类目可放大观看细节以符号表现网站两篇文献或两个类目内容上越近,地图上距离也越近以地形表现等级,97,新型界面：双曲线树,便于查找等级分类数据重点+上下文直观、互动Xerox PARC 发明,98,Themescapes,Cartia,PNLMountain height=Cluster size,99,M,http:/,100,信息挖掘,101
40、,数据方块建造(http:/db.cs.sfu.ca/sections/publication/slides/slides.html),sum,0-20K,20-40K,60K-,sum,Comp_Method,.,sum,Database,数量,省份,专业,40-60K,B.C.,Prairies,Ontario,All AmountComp_Method,B.C.,每维包含一个属性的层次值。一个方块存储集合值,如计数、总计、最大值等。一个“总计”单元存储总计值。稀疏方块技术与MOLAP/ROLAP结合。“Chunk”-based、多向集合和单路计算。,102,网络挖掘体系结构模型(http
41、:/db.cs.sfu.ca/sections/publication/slides/slides.html),通过Web log 过滤,产生 关系数据库从数据库产生数据方块(data cube)用OLAP 切隔数据方块用OLAM 挖掘所需知识,1数据清理,2数据方块创建,3OLAP,4数据挖掘,网络信息,数据库e,数据方块,方快切割,知识,103,网络挖掘基本体系结构,网站1,网站2,网站3,广义数据,概念层次关系,高位层次,资源挖掘,知识挖掘(WLM),特征规则判别规则联想规则,104,信息抽取,105,信息抽取与文献分类,?,106,Intranet,信息抽取,提问处理,数据库,Web,
42、IE,ontology,107,传统 IE 体系结构,标识化,词形和句法处理,解析,话语分析,文本分段和过滤,词类 标识词意标识,片段处理片段联结情景模式匹配,共参分辨率推理,模版合并,本地文本分析,108,信息抽取体系结构,rund 60 bis 70 Prozent:percentage-NP,bis:adv,Steigerungsrate:steigerung+s+ratebis:prep|adv,rund 60 bis 70 Prozent:NPder Steigerungsrate:NP,XML-输出接口,语言知识库,rund:lowercase 60:two-digit-integer,EXAMPLE:rund 60 bis 70 Prozent der Steigerungsrate(about 60 to 70 percent increase),文本图,109,结束语：从头越,重视知识管理发展战略研究发展知识内容开发技术信息技术与传统方式相结合把基础研究和基础建设提到应有高度培养创新型跨学科人才,
