数位文字知识探勘以中文索引典之建构及应用为例.ppt

上传人:小飞机 文档编号:6294111 上传时间:2023-10-14 格式:PPT 页数:52 大小:1.15MB
返回 下载 相关 举报
数位文字知识探勘以中文索引典之建构及应用为例.ppt_第1页
第1页 / 共52页
数位文字知识探勘以中文索引典之建构及应用为例.ppt_第2页
第2页 / 共52页
数位文字知识探勘以中文索引典之建构及应用为例.ppt_第3页
第3页 / 共52页
数位文字知识探勘以中文索引典之建构及应用为例.ppt_第4页
第4页 / 共52页
数位文字知识探勘以中文索引典之建构及应用为例.ppt_第5页
第5页 / 共52页
点击查看更多>>
资源描述

《数位文字知识探勘以中文索引典之建构及应用为例.ppt》由会员分享,可在线阅读,更多相关《数位文字知识探勘以中文索引典之建构及应用为例.ppt(52页珍藏版)》请在三一办公上搜索。

1、數位文字知識探勘-以中文索引典之建構及應用為例,文字知識探勘簡介索引典建構:緣由與目的相關之研究關鍵詞自動擷取關聯詞自動擷取應用範例成效評估,曾元顯資訊中心國立台灣師範大學,近年研究主題演進圖,知識探勘,知識探勘(knowledge discovery,KD)擷取隱晦、有用、未被發掘、有潛在價值的規則、資訊或知識的一種過程實務上,運用資訊組織與分析等探勘技術,與使用者互動,反覆探索,發現訊息或規律,人工解讀結果,轉換規律訊息成資訊或知識。資料探勘(data mining,DM)處理結構化(structured)資料,即資料間有共同欄位文字探勘(text mining,TM)處理非結構化資料,資

2、料常為自由文字,知識探勘步驟與技術,步驟:資料蒐集資料清理資料轉換探勘技術運用結果呈現與解讀,技術:關聯分析(association)分類(classification)歸類(clustering)概略化(generation)預測(prediction)序列分析(sequence analysis)特徵詞彙擷取索引與檢索摘要(summarization),資訊組織與主題分析,資訊組織與主題分析的技術內容資訊檢索權威控制詞彙關聯內容摘要主題歸類文件分類圖書館學較重視標準化的作業與架構資訊科技較重視自動化技術的運用,索引典自動建構:前言,檢索失敗的主要因素之一:字彙不匹配問題查詢詞與索引詞不相同

3、的情況例:筆記型電腦與筆記本電腦,行政院長與閣揆改進方法:查詢擴展、權威檔、索引典查詢擴展(query expansion)加入更多與查詢主題相關的詞彙,或更改查詢詞的權重權威檔(authority file)記錄及解決同義異名詞的工具索引或檢索時,將各種同義異名詞對應起來,視為相同的詞彙處理,索引典自動建構:前言,索引典(thesaurus)除同義詞外,還有紀錄廣義詞、狹義詞、反義詞、相關詞等列舉主題詞彙,將詞彙間的語意或主題關係標示出來的知識庫查詢時,可互相推薦,以擴展或縮小查詢範圍,或提示相關概念的不同查詢用語例攜帶型電腦:筆記型電腦、掌上型電腦使檢索從字串比對層次,提升到語意比對層次人

4、工製作索引典,準確度高,但召回率低、成本大、建構速度慢、事先選用的詞彙可能與後續或其他新進的文件無關一般目的索引典運用在特定領域的文件檢索上,無法提升檢索效能針對每一種文獻領域製作索引典,耗時費力,索引典自動建構:前言,共現索引典(co-occurrence thesaurus)利用詞彙的共現性,自動建構詞彙關聯(term association)或稱關聯詞庫成本低、建構速度快、召回率高、與館藏文件用詞一致,但準確率低詞彙關係:主題相關,不一定語意相關例:李登輝與康乃爾、中華電訊與ADSL,關聯檢索研究成果,曾元顯,漸進式關聯詞庫之建構方法,中華民國發明專利,專利號:I 290684.有效期:

5、2007/12/01-2023/05/08透過國科會小產學計畫,技術移轉國內廠商產業應用:誠品書店(http:/)政府研究資訊系統GRB智慧搜尋系統(38萬筆),研究方法,文獻探討、技術瞭解、優缺點分析、適用範圍分析歸納重點提出改進方法實驗測試成效比較不同研究之間的比較同一研究內,對照組之比較提出適用情況與應用方向持續評估與改進,相關研究:Salton 89,Salton 曾提出建構共現索引典的架構:算出各個詞彙間的相似度相似度:詞彙在各文件之間,共同出現的情形(或主題相似度)重要的索引詞彙,任兩詞彙皆拿來比對相似度計算量至少 M2,M:所有重要詞彙的個數依此相似度將詞彙歸類成索引典類別(th

6、esaurus classes)(或主題類別),Tj=(d1j,d2j,dnj),n:所有文件的個數,相關研究:Salton 89,歸類方式,主要有:Complete-link:一開始,每個詞彙(元素),都單獨視為一類兩個類別之間的相似度,若超過某個門檻值,就結合並歸成同一類,如此重複歸類兩個類別之間的相似度,定義為跨類別元素之間相似度最低者易產生多數個索引典類別(thesaurus class),但每類僅有少數個詞彙Single-link:同上述作法,但兩個類別之間的相似度,定義為跨類別元素之間相似度最高者易產生少數個類別,但每類都有大量的詞彙透過共現索引典的查詢擴展,檢索成效的召回率,通常

7、可提升 10%至 20%小結:歸類運算量太大,運用在大量文件上,耗時長久,相關研究:Chen 96,相關研究:Chen(JASIS 95),定義非對稱的詞彙相似度詞彙 Tj 在文件 i 中的權重:詞彙 Tj 及 Tk 在文件 i 中的權重:Cluster_weight(Tj,Tk)Cluster_weight(Tk,Tj)若Tj=Artificial Intelligence,wj=2,相關研究:Chen(JASIS 95),從 4714 文件中(共 8 MB),產生了 1,708,551 個詞對(co-occurrence pairs)由於關聯詞對太多,每個詞,限制其關聯詞數最多100 個,

8、如此刪除了 60%的詞對,剩下 709,659 個詞對(由 7829 個不同的詞組成)產生上述的詞對,在 Sun Sparc 工作站上要花 9.2 CPU 小時、磁碟空間 12.3 MB 成效評估:6個受試者,16 個預選的詞,請每個受試者先就每個詞,聯想出相關的詞彙;再從系統提示的關聯詞,判斷哪些是相關或不相關兩種結果比較,召回率分別為 28.60%與 61.89%;精確率為 77.08%及 24.17%小結:人工聯想精確率高、召回率低;機器產生關聯詞較多、準確度較低,相關研究:Sanderson and Croft(SIGIR99),概念階層的範例:from Sanderson and C

9、rofts paper,相關研究:Sanderson and Croft(SIGIR99),目的:從檢出的文件中自動產生概念階層(concept hierarchies),便利使用者瞭解檢出文件的大致內容第一步:詞彙選擇(決定哪些詞彙要列在概念階層中):來源 1:檢索結果的前幾篇中比對程度較佳的段落裡,找出常常一起出現的詞彙來源 2:每一篇檢出文件的最相關段落裡,取符合下列條件的詞彙:(df_in_retrieved_set/df_in_collection)=0.1 者平均從 TREC 的每個查詢結果的前 500 篇文件中,擷取出 2430 個詞第二步:詞彙關聯分析:任意兩個詞都拿來做 包含

10、 關係(subsumption relationship)比較:P(Tj|Tk)=1 and P(Tk|Tj)=0.8 and P(Tk|Tj)1,if Tj 包含 Tk平均每個查詢擷取出 200 包含對(subsumption pairs)由這些 包含對 產生 概念階層,即包含者為父節點,被包含者為其子節點,相關研究:Sanderson and Croft(SIGIR99),成效評估:測試包含者與被包含者的關聯程度(relatedness)由 8 個受試者判斷,67%包含對被判斷為相關(interesting for further exploring)比較:51%詞彙對(隨意配對,而非用包

11、含關係配對者)被判斷為相關小結:此方法在查詢時才進行,查詢反應時間會受影響提示的詞彙只限於檢索結果的前N篇,不是一個 全域索引典(global thesaurus)隨機配對,關聯度高,顯示詞彙選擇的重要性,關聯詞分析,先前的作法共現性的單位為文件兩個詞彙在文件中距離越大,關係密切的可能性越低 需要分析的詞對個數多,許多詞對的關聯分析徒勞無功計算量:M2n,M:所有詞彙個數,n:所有文件個數例:n=10,000,M=10,000(M=1000),計算量:1012(1010)新的作法共現性的單位縮小到段落或句子需要分析的詞對個數少計算量:K2Sn,K:文件關鍵詞數,S:文件句子數,n:同上例:n=

12、10,000,K=30,S=20,計算量:6x106,關聯詞分析:新的方法:Tseng 2002,主要分二個步驟:擷取個別文件的關鍵詞關鍵詞的關聯分析與累積關鍵詞擷取關鍵詞:文件內有意義且具代表性的詞彙關鍵詞:呈現文件主題意義的最小單位各種文獻自動化處理的必要步驟。關鍵詞的認定是主觀的判斷,不利於電腦的自動處理重複性假設:如果文件探討某個主題,那麼應該會提到某些特定的字串好幾次具有客觀性、可自動處理假設簡單,可適用於不同領域,關聯詞分析:新的方法:Tseng 2002,第一步:詞彙選擇:每篇文件先用 詞庫(長詞優先法)斷詞再由關鍵詞擷取演算法 擷取關鍵詞(至少出現2次者)(包含新詞)以 停用詞

13、 過濾擷取出的關鍵詞,並依詞頻(term frequency)高低排序選 詞頻最高的 N 個詞作關聯分析第二步:詞彙關聯分析:每篇文件選出來的詞,以 下面公式計算兩個詞彙的 權重 wgt:where NSi denotes number of all sentence in document i and NS(Tij)denotes in document i the number of sentences in which term Tj occurs.關聯詞 的權重超過門檻值(1.0)者,才依下面公式累積其權重關聯詞 的最後相似度定義為:原方法:僅單純累加每對關聯詞的權重新方法:加入 ID

14、F(inverse document frequency)及 詞彙長度,關鍵詞自動擷取方法,比較:詞庫比對法:詞庫需持續維護更新統計分析法:容易遺漏統計特徵不足者 文法剖析法:需詞庫、詞性標記等資源與運算適合作為關鍵詞的名詞片語少於 50%Arppe 1995,關鍵詞自動擷取方法 Tseng 97,98,99,2001,找出最大重複出現字串(maximally repeated pattern)的演算法token:一個中文字(character)或英文字(word)n-token:輸入文字中,任意連續的 n tokens(與 n-gram 類似)演算法三步驟:步驟一:轉換輸入文字成 2-tok

15、en 串列步驟二:依合併規則重複合併 n-tokens 成(n+1)-tokens,直到無法合併步驟三:依過濾規則,過濾不合法的詞彙,依過濾規則,過濾不合法的詞彙,詞頻,關鍵詞自動擷取過程範例,輸入文字:“BACDBCDABACD”,假設 門檻值=1步驟一:產生 L=(BA:2 AC:2 CD:3 DB:1 BC:1 CD:3 DA:1 AB:1 BA:2 AC:2 CD:3)步驟二:token 合併:第一次:合併 L 成 L1=(BAC:2 ACD:2 BAC:2 ACD:2)丟掉:(BA:2 AC:2 CD:3 DB:1 BC:1 DA:1 AB:1 BA:2 AC:2 CD:3)留住:(

16、CD:3)第二次:合併 L1 成 L2=(BACD:2 BACD:2)丟掉:(BAC:2 ACD:2 BAC:2 ACD:2)留住:(CD:3)第三次:合併 L2 成 L3=()丟掉:()留住:(CD:3 BACD:2)步驟三:無須過濾,關鍵詞自動擷取範例 Tseng 2000:英文範例,Web Document Clustering:A Feasibility DemonstrationUsers of Web search engines are often forced to sift through the long ordered list of document returned

17、by the engines.The IR community has explored document clustering as an alternative method of organizing retrieval results,but clustering has yet to be deployed on the major search engines.The paper articulates the unique requirements of Web document clustering and reports on the first evaluation of

18、clustering methods in this domain.A key requirement is that the methods create their clusters based on the short snippets returned by Web search engines.Surprisingly,we find that clusters based on snippets are almost as good as clusters created using the full text of Web documents.To satisfy the str

19、ingent requirements of the Web domain,we introduce an incremental,linear time(in the document collection size)algorithm called Suffix Tree Clustering(STC),which creates clusters based on phrases shared between documents.We show that STC is faster than standard clustering methods in this domain,and a

20、rgue that Web document clustering via STC is both feasible and potentially beneficial.?,Terms extracted before filtering1.clusters based on:32.document clustering:33.of Web:34.on the:35.search engines:36.STC is:27.Web document clustering:28.Web search engines:29.clustering methods in this domain:210

21、.requirements of:211.returned by:2,Terms extracted after filtering1.clusters based:32.document clustering:33.Web:34.5.search engines:36.STC:27.Web document clustering:28.Web search engines:29.clustering methods in this domain:210.requirements:211.returned:2,關鍵詞自動擷取範例 Tseng 2000:中文範例,Comparison of Th

22、ree Metadata Related Standards 在本文中,我們介紹了三個跟 metadata 相關的標準,它們分別是 FGDC 的 Digital Geospatial Metadata、Dublin Core、和 URC。雖然它們各有自己的設計目標和特質,但都是假設其操作環境為類似網際網路的環境。FGDC 的 Digital Geospatial Metadata 是設計來專門處理地理性資料,由於它有聯邦行政命令的支持,可說是已成為美國在地理方面的資料著錄國家標準。Dublin Core 則比較像是 USMARC 的網路節縮版,使非專業人士也能在短時間內熟悉和使用此格式來著錄收

23、藏資料,但在現階段祇針對類似傳統印刷品的電子文件。由 IETE 的 URI 工作小組所負責的 URC,其原始的設計目的雖是用來連結 URL 和 URN,但為因應電子圖書館時代的要求,其內含逐漸擴大,雖然尚在發展中,但由於有 IETE 的支持,未來成為網際網路上通用標準的可能性極大。在此文中,我們也從幾個不同角度,分析和比較這三個 metadata 格式的異同和優缺點。,Terms before filtering1.設 計:32.資 料:33.網 路:34.標 準:35.Dublin Core:26.FGDC 的 Digital Geospatial Metadata:27.IETE 的:28

24、.三 個:29.文 中:210.比 較:211.它 們:212.由 於:213.地 理:214.成 為:215.我 們:216.的 支 持:217.的 設 計 目:218.格 式:219.著 錄:220.電 子:221.網 際 網 路:222.環 境:223.雖 然:224.類 似:2,Terms after filtering1.設 計:3(design)2.資 料:3(data)3.網 路:3(network)4.標 準:3(standard)5.Dublin Core:26.FGDC 的 Digital Geospatial Metadata:27.IETE:28.三 個:2(three

25、)9.文 中:2(in the article)10.比 較:2(comparison)11.它 們:2(they)12.由 於:2(owing to)13.地 理:2(geography)14.成 為:2(become)15.我 們:2(we)16.支 持:2(support)17.設 計 目:2(incorrect term)18.格 式:2(format)19.著 錄:2(record)20.電 子:2(electronics)21.網 際 網 路:2(Internet)22.環 境:2(environment)23.雖 然:2(although)24.類 似:2(similar),Ke

26、yword Extraction for Chinese,“松軟型”和“卷腿型”您選擇哪一种?!今秋東京流行靴子新款式!春夏秋冬不論是那個季節只要一換季就會有新的款式出現。今秋靴子新款式將引人注目。秋冬流行款式當然要數各式各樣的靴子!今秋東京街頭商店的展窗紛紛擺出出前所未有的獨俱特色的新款式吸引者赶超時尚的男男女女。今十几年來所流行的靴子為了充分顯示腳線美多設計得樣式簡洁色調平穩。然而自2002年春夏開始各种大胆型的設計款式紛紛亮相穿在腳上的靴子開始受到關注。其中最受青睞款式有“松軟型”和許多文藝界偶像穿用的“卷腿型”靴子。无論哪一种都用花編和絨毛做裝飾充分再現了女孩子愛美之心也同樣會把行人的

27、目光吸引到穿著漂亮皮靴的腳上。今秋東京街頭將會出現一個“靴子”時裝展。,靴子新款式:2 今秋東京:2 東京街頭:2 新款式:3 卷腿型:2 松軟型:2 哪一种:2 款式:7 靴子:7 今秋:4 流行:3 充分:2 出現:2 吸引:2 春夏:2 秋冬:2 紛紛:2 設計:2 開始:2 腳上:2,關鍵詞自動擷取範例 Tseng 2000:直接運用於日文,Key-phrase Extraction:Example,The term“committee”in various erroneous forms(from OCR)was extracted,showing that the algorith

28、m really can extract lexical terms without knowing their semantics(which is both an advantage and a disadvantage),關鍵詞擷取成效評估,評估資料:100篇台灣新聞(抓自2000年6月3日中國時報網站)結果:平均每篇文件有 33 個關鍵詞平均每篇文件有 11(33%)個關鍵詞不在詞庫中(含 123,226 個詞)相異的關鍵詞總共 2197 個其中有 954 個詞(954/2197=43%)不在詞庫中954 個詞中有 79 個是錯誤不合法的詞(人工檢視結果),錯誤率 8.3%整體錯誤率則

29、為 3.6%(=79/2197),單篇文件關鍵詞、關聯詞擷取範例,BMG Entertainment與Sony Music計畫在Internet 上銷售數位音樂。(美國矽谷/陳美滿)根據San Jose Mercury News報導指出,BMG Entertainment計畫在6月上旬或中旬開始在Internet 上銷售數位音樂。消費者將可直接將音樂下載至PC,而無需購買CD或錄音帶。該公司為執行上述計畫已與多家高科技廠商合作,包括IBM、Liquid Audio與Microsoft。BMG隸屬於Bertelsmann公司。另外,Sony Music也將於下週一宣佈該公司計畫於本月底開 始提供

30、數位音樂下載。消費者將可在手提裝置上聆聽下載來的數位音樂。此項數位音樂下載將是市場上首項具有防止盜錄功能的產品。網路音樂市場在過去幾年已顯現市場潛力,主要拜MP3規格之賜。,1:音樂(7)2:數位音樂(5)3:下載(4)4:計畫(4)5:BMG(3)6:Music(2)7:Sony Music(2)8:Entertainment(2)9:BMG Entertainment(2),關聯詞分析:新的方法:Tseng 2002,第一步:詞彙選擇:每篇文件先用 詞庫(長詞優先法)斷詞再由關鍵詞擷取演算法 擷取關鍵詞(至少出現2次者)(包含新詞)以 停用詞 過濾擷取出的關鍵詞,並依詞頻(term fre

31、quency)高低排序選 詞頻最高的 N 個詞作關聯分析第二步:詞彙關聯分析:每篇文件選出來的詞,以 下面公式計算兩個詞彙的 權重 wgt:where NSi denotes number of all sentence in document i and NS(Tij)denotes in document i the number of sentences in which term Tj occurs.關聯詞 的權重超過門檻值(1.0)者,才依下面公式累積其權重關聯詞 的最後相似度定義為:原方法:僅單純累加每對關聯詞的權重新方法:加入 IDF(inverse document frequ

32、ency)及 詞彙長度,關聯詞擷取效率比較,Chen 95 96 的方法:4714 文件,8 MB,費時9.2小時取出 1,708,551 個關聯詞對限制每個詞的關聯詞數最多100 個,共刪除了 60%的詞對2GB文件,費時 24.5 CPU小時,產生4,000,000個關聯詞對Tseng的方法:336,067 新聞文件,323 MB費時約 5.5 小時,擷取出11,490,822 個關鍵詞全部關聯詞數:248,613,平均每個詞有9個關聯詞2004:NTCIR 38萬篇中文新聞文件,51分鐘斷詞、索引詞擷取、關鍵詞擷取、關聯詞分析、反向索引檔建立,關聯詞應用範例(1/3),關聯詞應用範例(2

33、/3),關聯詞應用範例(3/3),關聯詞排序,關聯詞可按三種方式排序強度:即關聯詞共現性的強度詞頻:按關聯詞出現的文件篇數(df)排序,df 越高者,排在越前面時間:按關聯詞出現在最近文件的次序排序目的:讓最近才出現的關聯詞不必累積到足夠大的強度,即可排序在前面如:李登輝的關聯詞中,出現康乃爾,因為李登輝最近又重訪康乃爾對具有時間事件的文件集可能很重要關聯詞提示的順序不同,使用者感覺的關聯度不同,關聯詞排序,查詢詞古蹟的關聯詞,依詞頻,時間,強度排序,關聯詞成效評估,目的瞭解查詢詞與其提示的關聯詞之間的關聯(relatedness)情況以兩種方式評估:直接計數前N(50)個被受試者判定為有關聯

34、的關聯詞數優點:簡單,可回溯比較缺點:不能細微區分排序的差異以精確率與召回率評估哪一種排序方式較好計算平均精確率的程式為 TREC及NTCIR用的 trec_eval 程式評估方式:邀請5位研究所同學,就30個查詢詞(每人6個),從系統提示出來的前50個關聯詞中,判斷是否跟查詢詞相關,trec_eval 的部分輸出,Queryid(Num):4(即 查詢詞:古蹟)Total number of documents(terms)(for 古蹟)Retrieved:50 Relevant:43 Rel_ret:35(即 找到且被判斷為相關者)Interpolated Recall-Precisio

35、n Averages:at 0.00 1.0000 at 0.10 1.0000 at 0.20 1.0000 at 0.30 0.9412 at 0.40 0.9130 at 0.50 0.8800 at 0.60 0.8438 at 0.70 0.7949 at 0.80 0.7447 at 0.90 0.0000 at 1.00 0.0000 Average precision(non-interpolated)for all rel.terms 0.7315(單一查詢的平均精確率),Precision:At 5 terms:1.0000 At 10 terms:1.0000 At 15

36、 terms:0.9333 At 20 terms:0.9000 At 30 terms:0.8333 R-Precision(precision after R(=num_rel for a query)docs retrieved):Exact:0.7442,關聯詞成效評估,從25233篇新聞文件中擷取關聯詞結果:排序 詞頻時間強度關聯比例48%59%69%平均精確率0.3020.4030.528詞頻最差,因為高頻詞,代表的主題較範圍較大,以致於跟任何查詢詞的關係都不大結論:依強度排序的效果最好比較:(Sanderson&Croft SIGIR99)關聯比例:67%,結語,共現索引典(關聯

37、詞庫)的優點快速呈現館藏文獻內容,具備主題摘要效果提供館藏內容的有效瀏覽即時反應館藏文件索引、查詢用詞,降低字彙不匹配問題提供非專業使用者專業的導引共現索引典(關聯詞庫)的缺點館藏文獻沒記載、或統計不足的關聯詞無法擷取如:紅樓夢與石頭記關聯屬性沒有標示,計劃成果,相關論文Yuen-Hsien Tseng,Automatic Thesaurus Generation for Chinese Documents,Journal of the American Society for Information Science and Technology,Vol.53,No.13,Nov.2002,p

38、p.1130-1138.Yuen-Hsien Tseng,Fast Co-occurrence Thesaurus Construction for Chinese News,Proceedings of the 2001 IEEE Systems,Man,and Cybernetics Conference,Tucson,Arizona,USA,October 7-10,2001,pp.853-858.相關專利曾元顯,數位文件關鍵特徵之自動擷取方法,中華民國發明專利第 153789 曾元顯,漸進式關聯詞庫之建構方法,中華民國發明專利,專利號:I 290684.後續論文Yuen-Hsien T

39、seng,Da-Wei Juang and,Shiu-Han Chen Global and Local Term Expansion for Text Retrieval,Proceedings of the Fourth NTCIR Workshop on Evaluation of Information Retrieval,Automatic Text Summarization and Question Answering,June 2-4,2004,Tokyo,Japan.中文互動式檢索輔助功能之效益評估-以關聯提示詞為例,2004年後續應用促進國內檢索技術提昇,中文互動式檢索輔助

40、功能之效益評估 以關聯提示詞為例-葉佳昀,2004年以相同文件、相同查詢詞、不同受試者重複實驗小文件集25233篇中文件集15,4720篇小文件集的相關比例為 69.87%中文件集的相關比例為 78.33%文件越多,效果越好30個查詢詞,NTCIR 中文主題檢索成效,012:導演,黑澤明012:查詢日本導演黑澤明的生平大事,國內系統類似功能,在教育資料方面的應用,檢索試驗平台http:/140.122.85.108:8080/ksp/search.jsp,EdShare知識關聯檢索http:/?definition_page=relativeSearchPage,Term Associatio

41、n,GoalTo mine topic relations from massive textsProblem to be solvedMassive terms in digital collectionsPossible term-pairs are even moreAchievement:380,000 docs.(470 MB texts)in 50 minutes on desktop PC78%related terms are judged relevant,Examples:Term Suggestion,Applications,Reduce vocabulary mism

42、atchwhich causes major search failuresReduce load on searchersInformation is found only when it is seen,sometimesIncrease retrieval effectiveness NTCIR4 and 5Increase understanding of the collectionsA visual way to summarize the search resultsProvide expert-level knowledge for novices ExampleCo-word

43、 analysis for clustering,and more app.Example:Sun and HP,Co-word Analysis based on CRTs,Compaq、伺服器、方案 are common related terms(CRTs)of Sun and HP.Hence Sun and HP are clustered in a closer way(in the context that they are both computer companies).,Examples for Co-word Analysis,2347:0.320898(玩 具:0.81

44、56,大 人:0.7547,幼 稚 園:0.4816,腸 病 毒:0.4038)94:0.565582(小 孩 子:0.6314,玩 具:0.5761,嬰 兒:0.5331,大 人:0.5331)185:孩子(sonny)325:小孩(kid)705:0.419554(玩 具:0.5761,暑 假:0.5761,大 人:0.5331,卡 通:0.5331)363:兒童(child)546:小朋友(little friend),13028:0.193109(安 非 他 命:0.5935,計 程 車:0.5388,轎 車:0.4959,子 彈:0.4708)2733:0.307512(安 非 他

45、命:0.6649,子 彈:0.5276,計 程 車:0.4816,毒 品:0.4711)654:0.425316(子 彈:0.6107,安 非 他 命:0.5755,警 力:0.4778,警 員:0.4299)21:0.662110(刑 事:0.4984,子 彈:0.4984,安 非 他 命:0.4696,警 局:0.4453)686:員警(policeman)822:派出所(police office)74:警方(police)297:少年(juvenile)684:清晨(early morning),Near-synonym term extraction:,Useful association(previously unknown)for novice:,

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号