《网络链接分析理论ppt课件.ppt》由会员分享，可在线阅读，更多相关《网络链接分析理论ppt课件.ppt（79页珍藏版）》请在三一办公上搜索。
1、第6讲,网络链接分析,网络链接分析(Link Analysis)，也称链接分析，或称链接分析法、超链分析。可广义理解为以Web中页面间的超链接为研究对象的分析活动。 从网络信息计量学的角度，可将其定义如下：链接分析是以链接解析软件、统计分析软件等为工具，用统计学、拓扑学、情报学的方法对链接数量、类型、链接集中与离散规律、共链现象等进行分析，以用于Web中的信息挖掘及质量评价的一种方法。,链接分析先于网络信息计量学诞生。1996年，Larson依照引文分析中共被引分析（Co-citation Analysis）做了共链分析（Co-link Analysis）。但在网络信息计量学诞生后，链接分析便
2、被纳入了其研究范围。至今，链接分析已成为网络信息计量学备受关注的研究方向。链接分析理论包括以下几个方面：链接理论、链接分析的研究视角、链接分析与引文分析之间的关系、链接分类与统计理论、链接分析指标。,1.网络链接概述,1.1 链接感性认识1.2 链接与超文本1.3 链接术语,1.1链接感性认识,Wood等人将Web的结构绘制成可视化图：白色的大球表示网站主页，小球代表网站的二级及二级以下页面；绿线代表链接，将不同的网站、网页连结在一起形成网络。,1.2链接与超文本,1965年，Ted Nelson提出术语超文本(Hypertext)。1978年，在Dream Machines中他提到了“链接”
3、，并指出“链接”将带来文件的连通性。1981年，使用术语“超文本”描述了这一想法：创建一个全球化的大文档，文档的各个部分分布在不同的服务器中，通过激活其中的“链接”，就可以跳转到所引用的论文。,1.2链接与超文本,超文本是用超链接的方法，将各种不同空间的文字信息组织在一起的网状文本。超文本更是一种用户界面范式，用以显示文本及与文本之间相关的内容。当前，超文本普遍以电子文档方式存在，其中的文字包含有可以链结到其他位置或者文档的链接，允许从当前阅读位置直接切换到超文本链接所指向的位置。,1.3链接术语,链接，超链接（Link, hyperlink）：两者都指网络链接。在没必要区分入链与出链时，通常
4、会用到这两个词，偶尔也会用到这些词指代入链和出链。入链（Inlink）：指向某页面的链接。一般而言，这个链接应该来自某个特定集合以外的页面。“入链”与“反向链接”同义；“接受入链”与“被链接”同义。出链(Outlink)：从某页面指出的链接。一般而言，这个链接应该指向某个特定集合以外的页面。,1.3链接术语,自链(Selflink)：从某页面指向该页面自身的链接，可能是同一页面的不同部分。一般而言，这个链接应该指向某个特定集合内部的页面。互链(Interlink, reciprocal link)：通常指两个不同网站之间的链接，也指站间链接。这个词通常以-ing的形式出现，例如“网站互链（in
5、terlinking）”表示网站之间的链接。,1.3链接术语,共入链（Co-linked）：如果两个页面都含有来自第三个页面的入链，则这两个页面共入链。共出链（Co-linking）：如果两个页面都含有指向第三个页面的出链，则这两个页面共出链。有时也可描述为耦合或文献计量中的耦合。共链（Co-link）：共入链与共出链统称为共链。,1.3链接术语,链接术语的图解,B有一个来自A的入链，A与B之间，A是链接来源，B是链接目标,B与E共出链,C与D共入链,E与F互链,B有一个指向C的出链，B是链接来源，C是链接目标,B有一个自链,2.网络链接的分析视角,M.Thelwall根据不同学科的侧重点将链
6、接分析研究划分为：情报学视角的链接分析（Information science link analysis approach, ISLAA） 计算机科学视角的链接分析（Computer science link analysis approach, CSLAA） 社会科学视角的链接分析等（Social science link analysis approach, SSLAA） 除此此外，还有统计物理学家、数学家等从其他视角研究链接分析。,2.网络链接的分析视角,不同的研究视角之间虽没有绝对的界线，但研究目标不同，理论基础也不同。CSLAA主要研究网络动力学(Web Dynamics)、链接与
7、内容的关系、链接和信息检索、网络挖掘(Web Mining)、网络建模(Web Modeling)等。SSLAA主要研究网络空间分析（Web Sphere Analysis）、虚拟民族志(Virtual Ethnography)、超链接网络分析(Hyperlink Network Analysis)等ISLAA则以文献计量学中的引文分析为理论基础，核心观点为“链接代表引用”,2.网络链接的分析视角,按照M.Thelwall的定义，链接分析就是采用并改进现有的信息技术与方法，借助文档之间的相互关联，对文档自身的特征进行深入分析。根据链接分析的定义和情报学相关理论，我们将“情报学视角的链接分析”定
8、义为： 以引文分析为基础，采用并改进现有的信息技术与方法，借助文档之间的相互关联，对文档自身的特征进行深入分析。,2.网络链接的分析视角,从概念上看，链接分析以文档为研究对象，这里所说的文档包括四个层面：页面、目录、域名、站点。从本质上看，情报学视角的链接分析是一种新兴的研究方法，在情报学、计算机科学、社会科学等领域有广泛应用。,2.网络链接的分析视角,情报学视角的链接分析不同于网络中流传的“链接分析”。前者内容包括链接数量分析、链接类型分析、链接的集中与离散规律分析、共链分析等，主要用于提高网络信息检索效率、评价网络信息质量、发现网络社区等；网络中流传的“链接分析”主要指“链接流行度分析（L
9、ink Popularity Analysis）”，其内容包括链接数量和质量的评估及分析，主要用于提高网站、网页在Google检索结果中的排名等。下面提到的链接分析均指情报学视角的链接分析。,2.网络链接的分析视角,用共词分析的方法，借助Pajek可视化工具，绘制了链接分析的研究主题图。,图中节点代表主题词，连线粗细代表主题词之间的共词强度，与“Link Analysis”这一节点的连线越粗，代表与该主题关联越紧密。,2.网络链接的分析视角,链接分析领域关注的主题包括：World Wide Web(万维网)Information Retrieval(信息检索)Ranking(评价/排名)Sea
10、rch Engine(搜索引擎)Web Mining(网络挖掘)PageRank算法,3.链接分析与引文分析的关系,链接分析以引文分析理论为基础，但在动态、多变的网络环境中形成了引文分析理论所不具有的特性。二者各自的特征及相互关联便成了链接分析研究中的一个热点。 引文分析主要对科学期刊、论文、著者等各种分析对象的引证与被引证现象进行分析，以揭示其数量特征和内在规律。,3.链接分析与引文分析的关系,引文分析工具包括：美国科学引文索引（SCI）美国基本科学指标（ESI）美国期刊引证报告（JCR）中国科学引文数据库（CSCD）中国科技论文与引文分析数据库中文社会科学引文索引（CSSCI）中国人文社会
11、科学引文数据库中国引文数据库。,3.链接分析与引文分析的关系,常用的引文分析指标包括：引文数量与分布规律测度指标：引文数、平均引用数、自引数与自引率、被引用数与引用数的比值；期刊质量测度指标：被引用数、影响因子、即年指标；论文质量与著者学术水平测度指标：被引用数；文献老化规律测度指标：衰减系数。,3.链接分析与引文分析的关系,引文分析大半个世纪以来的发展轨迹可以用如下的“链”来表示：Grace等人的核心期刊表（1927年）E.Garfield的“Citation Indexes”论文（1955年）Brown对引文分析领域的拓展（1956年）M.M.Kessler的“文献耦合（Bibliogra
12、phic Coupling）”（1963年）E.Garfield的SCI印刷版（1964年）Small提出“同被引技术（Co-citation）”（1973年）SCI网络版（1997年）。,3.链接分析与引文分析的关系,当前的研究主要集中在：方法适用性研究（引文分析的弊端等）；网络引文分析（Web Citation Analysis）；应用研究（引文应用于各类质量评价，专利引文分析，同引、耦合用于聚类分析，大学评价等）。,3.链接分析与引文分析的关系,链接分析的发展只有10余年的时间，用“链”表示为：McKiernan提出sitation（1996年）Larson的共链分析（1996年）Alm
13、ind和Ingwersen的“Webmetrics”（1997年）Peter Ingwersen的“网络影响因子”（1998年）Sergey Brin和Lawrence Page提出“Pagerank算法”、 J.Kleinberg提出“HITS算法”（1998年）。,3.链接分析与引文分析的关系,当前的研究主要集中在：链接分布规律研究（包含链接类型分布、链接数量分布等）；网络影响因子研究；网络链接分析工具研究；沿用引文分析和方法的可靠性研究；链接分析应用研究（包括在网络信息检索中的应用、在网络社区发现在的应用、在Web拓扑结构建模中的应用、在信息挖掘中的应用资源发现、竞争情报获取等）。,3.
14、链接分析与引文分析的关系,事实上，从“citation”到“sitation”，从“期刊影响因子”到“网络影响因子”，从“文献的同引与耦合”到“共入链/共出链”，都表明链接分析带上了引文分析的烙印。 引文分析理论虽被广泛应用，但仍有不足之处，被引次数、期刊影响因子等引文指标都视不同的引文的贡献为等值，然后简单的累加。 不同引文的贡献通常是不等值的。对于贡献不等值的引文，应区分看待，链接分析中的PageRank算法则解决了这一问题。我们认为可根据PageRank的原理设计新的算法用于引文分析，取代被引次数、期刊影响因子等引文分析指标。,4.链接分类与统计理论,4.1链接分类理论 4.2链接统计理
15、论,4.1链接分类理论,A.G.Smith将链接分为两类：实质性链接（substantive links）和非实质性链接(non-substantive links)：实质性链接即符合第一条假设前提的链接，而非实质性链接则不符合。A.G.Smith通过统计分析得出：所有链接中，实质性链接的比例约20%，链接到大学网站的链接中，实质性链接的比例约27%。李江以图书情报学的学术型博客为对象，统计出实质性链接的比例约17%，因研究对象为学术型网页，所以理论上可认为网络中实质性链接的比例的平均值应在17%以下。,4.1链接分类理论,Heting Chu将学术机构网站的入链分为4类(taxonomy)：
16、服务（Service）主页（Home Page）研究（Research）教学（Teaching/Learning） 其中前两类共占73%，后两类占27%，并且仅有教学类的入链才可用作学术机构的评估，这样看来，可用作评价的入链（即实质性链接）不足27%。,4.1链接分类理论,不同的实验证明：可用于链接分析的有效链接仅占20%左右。链接分类研究的意义在于：从链接总体中剔除不符合“推荐、认可”的链接，以提高入链接、网络影响因子、PageRank算法等链接指标用于网页/网络重要性评价的效率。,4.1链接分类理论,目前学者们在理论方法和实证分析过程中得出了很多有意义的结论，但是也存在如下几个问题：不同的
17、学者根据不同的标准建立了不同的分类体系，这是不利于链接分析研究的。当前国内外的链接分类研究主要依赖于小样本的主观分类，而对于海量链接，主观分类不适用，所以，下一步的研究方向应是针对海量链接开发自动链接分类方法（即“链接识别”）。,4.1链接分类理论,国外代表性的链接分类,4.1链接分类理论,国内代表性链接关系分类,4.1链接分类理论,国内代表性链接关系分类（续）,4.2链接统计理论,链接统计研究常常依赖于一个未公开的假设所有的链接是等价的，而实践中却并非如此。链接统计的理论基础允许链接违背假设，这样的链接视为异常。有两种方法处理异常：第一种是手工过滤，这种方法适合小型数据集；第二种是使用ADM
18、（Alternative Document Model，选择性文档模型），这种方法是完全自动化的。在某些情况下，使用ADM可以减少异常对其他数据的影响。,4.2链接统计理论,在统计链接数量之前需对链接进行分类，以便统计有效链接数量；其次还需要处理链接异常，因为异常将导致统计数量不准确。常见的链接统计异常：,4.2链接统计理论,手工过滤是移除异常链接的一种方法。搜索引擎最先采用这种方法，它们保存爬虫不应该访问的站点列表，因为这些网站可能包含链接舞弊（重复链接以便在搜索引擎返回结果列表中获得更高的排名），或包含文本舞弊（也是为了获得“不公平”的优势），或包含不值得访问的内容，如蜘蛛陷阱、违法信息、
19、色情信息或者庞大站点。,4.2链接统计理论,ADM是一种将网页聚合成概念文档的方法（启发法）。ADM根据URL特征，将网页分配给文档，目的是通过将类似的网页分配到同一个文档，减少网络链接行为的异常，以便相似网页中相关的链接仅仅被统计一次。,4.2链接统计理论,有四种主要的ADM，分别在“网页”、“目录”、“域名”和“站点”层面上聚合网页，如下所述： 网页/文件：为了提取链接，每一个单独的文件都视为一个文档。（截去URL中内部目标标志符“#”之前的部分，以避免同一个网页不同部分间的多重引用，然后每一个唯一的链接URL都视为一个单独的文档）,4.2链接统计理论,目录：同一个目录下的所有文件视为一个
20、单独的文档。（将URL地址从最后一条斜线外截去）域名：具有相同域名的所有文件视为一个单独的文档。（URL中只保留域名）大学/站点：属于一所大学网站、或其他被定义站点的所有文件视为一个单独文档。（URL地址中只保留所有网页共有部分）,4.2链接统计理论,以（南京大学信息管理学院）中网页A和B指向（武汉大学信息管理学院）上网页X和Y的链接为例。,4.2链接统计理论,域名ADM连线是粗线，站点ADM连线是细线，所有链接都是双向的。对图中链接的统计 ：,4.2链接统计理论,按照标准网页统计模型，共有四个这样的链接：A到X和Y的链接，B到X和Y的链接，因此，从到，网页ADM链接总数是4，但是域名ADM则
21、只有一个链接，因为这四个链接都是从域名到域名，这四个链接有相同的来源文档和目标文档，是重复链接。,5.链接分析指标,5.1 入链数 5.2 出链数5.3 网络影响因子5.4 网络使用因子5.5 链接倾向,5.1入链数,入链数源于引文分析中的被引次数，链接如同引用，代表一种推荐或认可，被链接的次数越多，则被认可的程度越高。被引次数中通常包括自引，同样，入链数中包括自链和外部链接数。 Google、Altavista等搜索引擎都可用于统计入链数，并且，Altavista可用于统计外部入链数。,商业搜索引擎比较,以Google、AltaVista为例,商业搜索引擎（Commercial Search
22、 Engine）是一种网络搜索引擎，它通过特定的网页抓取工具获得并标引网页，同时通过网页提供检索界面。比较著名的商业搜索引擎有Google、 AltaVista等等。,Google（），创立于1998年 ，其高级检索功能中提供“link”、“site”和“inurl/allinurl”等指令；AltaVista（）于1995年建立，是Internet上首个Web索引，同时也是首个提供跨语言检索和图片、音频、视频检索的搜索引擎。但现已被雅虎收购，登陆Altavista检索界面会自动跳转到Yahoo。,PageRank算法,PageRank算法可以通过链接结构，判别出哪个是最权威的网页排名位于最前
23、面的那个，即拥有最多入链的网页。支持PageRank算法的两个基本概念： 入链是衡量目标网页重要性的很好的指标 源于重要网页的入链比源于次要网页的入链更能说明该网页的重要性。,PageRank算法,PageRank由斯坦福大学的Page与Brin在1998年提出，并把这一算法用于Google的检索结果排序。算法如下： 其中PageRank(A)表示给定页面A的PageRank得分；d为阻尼因子，一般设为0.85；PageRank(Pi)表示一个指向Pi页的网站其本身的PageRank得分；O(Pi)表示该页面所拥有的导出链接数量。,PageRank算法,Google的PageRank是基于这样
24、一个理论：若B网页设置有连接A网页的链接(B为A的导入链接时)，说明B认为A有链接价值，是一个“重要”的网页。当B网页级别(重要性)比较高时，则A网页可从B网页这个导入链接分得一定的级别(重要性)，并平均分配给A网页上的导出链接。实际上网页A链接到网页B时，Google就认为网页A投了网页B一票。网页B所得的票数越多，Google PR也就越高眼里，网页B就越重要。,网络中可见的与不可见的PageRank,事实上，我们并不需要自己动手计算一个网页/网站的PageRank值，只需下载一个Google工具条即可。可从http:/ 上下载并安装Google的工具栏，这样就能显示所浏览网页的PageR
25、ank得分了。PageRank得分从0到10，若不能显示PageRank得分，可检查所安装版本号，需将老版本完全卸载，重启机器后安装最新版本即可。,网络中可见的与不可见的PageRank,安装这个工具条之后，你的浏览器上每打开一个网页，工具条上都会显示这个网页的PageRank值，供你参考这个网页在网络中的影响力。如PageRank值较低，则说明这个网页的内容并未受到其他网站/网页或用户的认可，其影响力较低。一般而言，PageRank值为8/10的网页/网站属于影响力非常大的网站，如图中所示，主流门户网站及搜索引擎主页的PageRank值均8/10及以上。,网络中可见的与不可见的PageRan
26、k,Google工具条显示的Pagerank值（http:/,Google工具条显示的Pagerank值（http:/,Google工具条显示的Pagerank值（http:/,网络中可见的与不可见的PageRank,另一个借助PageRank筛选网络信息的途径是直接用Google搜索某一主题的网络信息，Google会将搜索结果以10条/页的方式反馈给用户。命中的结果记录数可能很多（超过1000个网页），Google运用PageRank以及其他一些指标对这些网页打分，得分最高的通常排在最靠前的位置，便于用户点击浏览。这一过程中，每个网站的PageRank值是不可见，但这些网页的排序以PageR
27、ank为主要依据。Google通过下述几个步骤来实现网页在其搜索结果页(SERPS)中的排名：1) 找到所有与搜索关键词匹配的网页；2) 根据页面因素如标题关键词密度等排列等级；3) 计算导入链接的锚文本中的关键词；4) 通过PageRank得分调整网站排名结果。,网络中可见的与不可见的PageRank,Google中搜索“博客”的结果(检索日期为2013-10-28),网络中可见的与不可见的PageRank,上图显示：不考虑第三条记录（新闻）和第六条记录（博客的百度百科），其他记录的排序依次是：新浪博客、网易博客、和讯博客、搜狐博客、腾讯博客、强国博客、博客频道、财经博客、中国博客网。这个次
28、序也反映了这些博客门户网站在网络中影响力由大到小的排序。如果用户想要在影响力最大的博客网站上建立一个新的博客，则应首选新浪博客。,Open Site Explorer,Google无法获得内/外部链接数据，存在一定的局限性，并且统计网页数的site:指令并不准确，返回的收录页面经常有大幅度波动，只能作为参考。Open Site Explorer是SEOmoz发布的链接分析工具，在分析链接数据时比较直观、有效。Open Site Explorer的数据来源于SEOmoz的另外一款产品Linkscape。Linkscape相当于一款互联网web数据库，通过爬虫收录各种网站、网页数据，与搜索引擎的收
29、录原理基本类似。在Open Site Explorer网站的首页，可以看到Linkscape现在已经收录将近1090亿的网页URL和8830亿的链接，依靠这么庞大的数据信息，Open Site Explorer的分析结果是有一定保证的。,Open Site Explorer,下面，我们以南京大学网站为例，使用Google搜索引擎检索南京大学的链接总数。通过具体实例的演示，使同学们更深入了解它的使用方法。,Google Link: Link: Link:,链接总数命令,24,200项连接到,Link: ,检索时间：2013-10-28,Link: ,6,990,000项链接到,检索时间：2013
30、-10-28,Link: ,50,900项链接到,检索时间：2013-10-28,由此可见，使用Google的“link”指令检索链接总数时，语句“link :” 、“link :”、“link :”返回结果并不相同。因此，可以推断Google的“link”指令区分关键词“”、“”和“”。,5.2出链数,出链数是指一个网页的出链总数量，类似于文献计量中的“引文数”。出链数反映了网页指向能力的大小，是一个纯粹的数量型概念，出链数越大，则该网页的指向能力越强。 它可用于计算网络使用因子（WUF）、自动识别网络信息资源、反应网络信息资源开放程度、测定核心网络信息资源等。,5.3网络影响因子,网络影响
31、因子（Web Impact Factor，WIF）是由Ingwerson在1998年提出的、利用网站获得的链接数计量网站影响力的计量指标。 网络影响因子的理论基础是链接与引文的相似性，它是文献计量学中的期刊影响因子（Journal Impact Factor，JIF）在网络上的应用。 Ingwerson将网络影响因子定义为：指定时间内，指向某一国家或网站的外部入链（external inlinks）和内部入链（internal inlinks）网页数的逻辑和与该国家或网站内部的网页数的比值。,5.3 网络影响因子,最初，Ingwerson提出的网络影响因子算法是：WIF= 自网络影响因子被提出
32、后，因其分母难以准确统计，又因语言、地域差异导致国家或网站网页数的客观差异，有些学者提出了网络影响因子的修正式，如2002年Thelwall将WIF算法修正为：WIF= S指网络空间，U指大学网站。,5.3网络影响因子,2006年，Noruzi和Alireza将WIF算法归纳为：WIF= WIF测度了网站吸引链接的能力，是计量网站影响力的重要指标，可应用于评价网站和网页资源、网站建设和管理、评价电子核心期刊等方面。,5.4网络使用因子,网络使用因子（Web Use Factor，WUF）反映某一国家或网站的网页指向其他网页能力的分布情况，可以用来测度某一国家或网站的链接分布特征。 某一国家或网
33、站的出链数除以网页数、科研人员数或科研生产率便得到了网页平均出链数、科研人员平均出链数或科研生产率的平均出链数，即WUF。 但如果一个国家的科研生产率数据很难获得，并且有理由相信该国的大学在研究能力上相似，或者因为商业搜索引擎和专业网络爬行工具覆盖范围的问题导致难以计算一个网站的网页数，则科研人员数就成为WUF的分母；但若科研人员数无法获得，仍然要用网页数做分母。,5.4网络使用因子,可以用某一国家或网站的出链数作为分子，分别用该国家或网站的网页数、科研人员数和科研生产率作为分母，得出WUF的不同算法，即：WUF=或，WUF=或，WUF= 从概念和算法上看，WUF反映了网站出链的平均量，得出网
34、站链接的分布情况，通常WUF越高，说明网站利用其他网络信息资源的程度越高，相应的，该网站的信息数量和质量也就可能越高。,5.5链接倾向,链接倾向（Link Propensity，LP）由Smith和Thelwall于2002年首次提出。Smith和Thelwall在研究澳大利亚大学网站的网络影响因子时，将其定义为某大学网站的外部入链数与来源网站和目标网站的全职科研人员乘积的比值。 LP有效地排除了来源网站和目标网站规模大小的影响，适于揭示两个网站之间相互链接的意愿，因而从理论上讲更具科学性。 Smith和Thelwall的研究发现，从英国和澳大利亚到新西兰网站的链接倾向是这三个国家中最低的，因
35、此新西兰在这三个国家的网络中处于相对孤立的地位。,5.5链接倾向,可以用某大学网站的外部入链数作为分子，分别用该国家或网站的网页数、全职科研人员数和科研生产率作为分母，得出LP的不同算法，即：LP=或，LP=或，LP=,5.5链接倾向,链接倾向可被看作WIF的一个特例，反映了网站被链接的情况，同时可以反映一个国家在网络利用中的地位，因而可以作为评价网站影响力的重要指标。 LP有效地排除了来源网站和目标网站规模大小的影响，适于揭示两个网站之间相互链接的意愿，因而从理论上将讲更具有科学性。 如2003年Thelwall等人使用“链接倾向”研究西欧与语言相关的网络链接模式，发现英语是西欧网络上居主导
36、地位的语言。并且，与使用不同语言的国家相比，使用相同语言的国家之间更倾向于互链。,例如 网络影响因子的计算实例,假如用户搜集到国内10所高校的网站，如表1-2所示，并打算了解这些网站在网络中的影响力大小，那么用户可以通过借助搜索引擎测算这些网站的网络影响因子达到目的。用户可以在Google的检索框中分别输入表1-1所示的指令（具体操作如图1-1所示），便可得到这10个网站的入链数和站内网页数，进而计算出这些网站的网络影响因子。,网络影响因子的计算实例,表1-2 国内10所大学的网站的网络影响因子,检索时间：2013-10-28,网络影响因子的计算实例,图1-1 检索南京大学网站()的入链数,图1-2 检索南京大学网站()的网页总数,课后练习,选某一类型的网站约50-100个，分别选用搜索引擎逐个计算其网络影响因子，并做排序。,
