《[交通运输]基于描述逻辑的IDS告警关联模型研究最终版.doc》由会员分享，可在线阅读，更多相关《[交通运输]基于描述逻辑的IDS告警关联模型研究最终版.doc（84页珍藏版）》请在三一办公上搜索。
1、上海交通大学硕士学位论文上海交通大学工学硕士学位论文基于描述逻辑的IDS告警关联模型研究学 校：上海交通大学院 系： 信息安全工程学院硕 士 生： 张宏丙专 业：通信与信息系统学 号： 1050369004研究方向： 网络与信息安全导 师： 薛 质 教授上海交通大学信息安全工程学院2007年12月- 74 -上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律
2、结果由本人承担。学位论文作者签名：日期： 年 月 日上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密，在 年解密后适用本授权书。本学位论文属于 不保密R。（请在以上方框内打“”）学位论文作者签名：指导教师签名：日期： 年 月 日日期： 年 月 日上海交通大学硕士学位论文 摘 要基于描述逻辑的IDS告警关联模型研究摘 要近年来，随着计算机
3、网络技术的迅猛发展，网络安全问题也日益突出。入侵检测系统作为信息安全保障体系中不可或缺的重要环节，被更多地用于安全防护。然而，目前的入侵检测系统还存在着诸多不足：首先，每天数以千万计的告警信息使得安全管理员无从招架，而这其中绝大多数都属于低层次的告警；其次，多个入侵检测系统之间缺少协同工作能力，安全管理员只能孤立地分析不同入侵检测系统各自提供的告警，难以对整网的安全状况有深刻的把握；再次，无法有效地检测出复合攻击，难以准确预测攻击者将要采取的攻击行为。为了解决上述问题，人们提出了各种告警关联技术来自动关联有逻辑联系的告警信息，尤其是其中的因果关联方法已成为该领域的研究热点。为了使因果关联方法能
4、更有效地运用于入侵检测系统，本文引入了描述逻辑和能力这两个概念。这里，能力被用来细粒度地刻画攻击者的攻击目的，它是不同攻击之间进行逻辑关联的最基本单元。但为了能全面表达攻击者的不同攻击意图，所需定义的能力数量往往是相当多的，它们之间的关系也错综复杂。而具有强大表达能力和推理能力的描述逻辑这时就有了用武之地，通过描述逻辑可以有效地定义和组织各种能力以体现它们之间的内在联系，并在此基础上进一步建立起不同攻击之间的关联关系和可替代关系。因此，本文的研究工作就是：以描述逻辑为基础，用它来对攻击进行统一定义；以攻击场景为载体，用它来分析匹配相继出现的告警信息；以能力集为纽带，用它来串联起一幅幅攻击场景，
5、从而能清晰地展现不同告警之间所隐含的逻辑关系，进而为实现关联归并提供依据。在此思想基础上，进一步提出了基于描述逻辑的IDS告警关联模型。本模型以攻击知识库为核心，通过简单的查询应答方法来对实际出现的告警信息进行关联归并，并预测后续可能出现的攻击行为。模型的重点在于攻击知识库的建立，本文对此做了详细的介绍和说明。最后，通过模拟实验说明了本模型的有效性，用它不仅能检测出复合攻击，还能预测攻击者将要采取的攻击行为。关键词：入侵检测系统，告警关联，描述逻辑，能力，攻击知识库上海交通大学硕士学位论文 ABSTRACTRESEARCH OF IDS ALERT CORRELATIONMODEL BASED
6、 ON DESCRIPTION LOGICSABSTRACTIn recent years, with the development of computer network technology, the problem of network security is getting worse. As one of the important points of information security safeguard system, more and more intrusion detection systems have been used to protect networks.
7、 However, present IDSs still have many shortcomings. Firstly, security administrators have been overwhelmed by thousands of alerts generated by IDSs everyday. But most of these alerts are low-level ones. Secondly, different IDSs couldnt cooperate with each other well. Security administrators can onl
8、y analyze alerts from different IDSs separately and have difficulty in learning the safe status of the whole network. Thirdly, It is difficult to detect multi-step attacks and forecast the next attack that the attacker will launch. In order to solve the above problems, many technologies on alert cor
9、relation have been put forward to correlate the alerts automatically, which have logical relations between them. And especially the prerequisite-based correlated-analysis method has become one of hot research topics in this field.In order to use the prerequisite-based correlated-analysis method in I
10、DSs efficiently, this paper has introduced two concepts: description logics and ability. Abilities are used to describe the attackers intention in details and they are the basic units to correlate different attacks. But in order to describe the attackers intention completely, a lot of abilities have
11、 to be defined and the relations between them are intricate. So description logics with powerful ability of expression and reasoning will be used to define and organize different abilities. By this way, we can display the intrinsic relations between them, and then we can define the correlation relat
12、ions and substitution relations between different attacks.Therefore, Our method is based on description logics, which is used to define the attacks. And in our method, attack scenarios are used as carriers to match alerts and ability sets are used as bridges to construct attack scenarios. By this wa
13、y, the inherent logic relations between different alerts can be displayed clearly and then according to this we can progress alert correlation. Based on this thought, we propose an IDS alert correlation model based on description logics. The core of our model is the attack knowledge base. By simple
14、inquiry/reply way, we can correlate and merge the alerts and forecast the next attack that will possibly occur. The key point of the model is the establishment of the attack knowledge base, which has been described and explained in details in this paper. And the simulation experiment also indicates
15、that the model can not only detect multi-step attacks but also forecast the next attack.KEY WORDS intrusion detection system, alert correlation, description logics, ability, attack knowledge base上海交通大学硕士学位论文 目 录目 录摘 要IABSTRACTIII第1章 绪论11.1 入侵检测概念的提出11.2 入侵检测概述21.2.1 入侵检测技术21.2.2 入侵检测体系结构41.2.3 现有入侵检
16、测系统的不足51.3 入侵检测系统中告警关联的研究现状61.4 本文研究的主要内容及论文结构7第2章 告警关联技术92.1 告警关联类型及IDS告警间基本关系92.2 数据挖掘方法112.2.1 分类分析（Classification Analysis）112.2.2 关联分析（Association Analysis）122.2.3 聚类分析（Clustering Analysis）132.2.4 序列分析（Frequent Episode Analysis）152.3 概率关联方法162.4 因果关联方法172.5 各种告警关联技术的分析比较192.6 本章小结20第3章 描述逻辑概述21
17、3.1 描述逻辑基本概念213.1.1 基本元素213.1.2 系统结构223.1.3 语法和语义233.1.4 推理功能253.2 一种带缺省推理的描述逻辑263.3 描述逻辑的优点293.4 本体293.5 攻击本体303.6 本章小结31第4章 用描述逻辑定义和关联攻击324.1 术语324.2 用描述逻辑定义攻击334.3 用描述逻辑定义能力384.4 各种能力间的关系414.5 攻击关联归并规则424.6 攻击知识库的建立454.7 本章小结53第5章 基于描述逻辑的IDS告警关联模型545.1 模型总体架构概述545.2 预处理模块555.3 告警融合模块575.4 攻击知识库61
18、5.5 告警关联模块615.6 后续攻击预测模块655.7 模拟实验分析655.8 本章小结68第6章 总结与展望69参考文献70致谢73攻读学位期间发表的学术论文74上海交通大学硕士学位论文 第1章 绪论第1章 绪论1.1 入侵检测概念的提出近些年，随着信息技术飞速发展，网络规模不断扩大，人们已经越来越依赖于Internet及其所承载的各种业务。尽管网络给人们的生活带来了便利，但安全问题也随之而来，并且愈演愈烈。互联网的安全性和可靠性已成为世界各国共同关注的焦点，相应的安全技术和安全措施也随之得到迅猛发展。为了提高连网系统的安全性，许多大公司以及那些提供公共信息服务的网站想方设法运用各种安全
19、技术对自身系统进行加固和防护，如采用安全级别较高的操作系统和数据库，在网络出口处配置防火墙，在信息传输和存储方面采用加密技术，使用集中的身份认证机制等。但由这些技术所构建的传统安全模型是针对当初的单机系统环境而制定的，对网络环境安全并不能很好描述，并且对动态的安全威胁、系统的脆弱性也没有应对措施。随着网络的深入发展，这种静态安全模型已无法完全反应动态变化的互联网安全问题。图1-1 P2DR模型Fig.1-1 P2DR Model为此，美国国际互联网安全系统公司（ISS）提出了P2DR模型，该模型是一个动态的计算机系统安全理论模型。它的指导思想比传统静态安全方案有突破性提高。P2DR模型包含四个
20、主要部分：Policy（安全策略）、Protection（防护）、Detection（检测）和Response（响应）。防护、检测和响应组成了一个所谓“完整的、动态的”安全循环，在安全策略的整体指导下保证系统的安全。从P2DR模型可以看出，系统要做到安全在一定意义上就是要满足下面这个式子，即：Pt Dt + Rt。其中：Pt是系统自身对攻击的最大承受时间；Dt是检测到攻击行为所需的时间；Rt是对攻击响应和阻击的时间。这一方面表明攻击检测是整个安全系统中不可或缺的一个重要组成部分，同时也意味着如果要留出足够的时间来响应和阻击攻击，只有尽可能地压缩攻击检测时间。一般提到攻击防护和检测，绝大多数人首
21、先都会想到防火墙，认为只要在Internet入口处部署防火墙系统就足够安全，但殊不知防火墙自身还有其局限性。打个比方，防火墙就象一道门，它可以阻止一类人群的进入，但无法阻止同一类人群中的破坏分子，也不能阻止内部的破坏分子。有研究表明，大多数计算机安全事故都是由内部人员造成的。另外，由于性能的限制，防火墙通常不能提供有效的攻击检测能力。为此，入侵检测系统（Intrusion Detection System，IDS）应运而生。作为防火墙的合理补充，它可以帮助系统对付网络攻击，扩展了安全管理员的安全管理能力（包括安全审计、监视、进攻识别和响应），提高了信息安全基础结构的完整性。1.2 入侵检测概述
22、入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护1。它通过对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象，从而做出及时的反应，切断网络连接、记录时间和报警，提醒安全管理员采取相应的措施，进一步可以提供法律上的依据，避免系统受到进一步的侵害。因此，IDS已成为任何一个安全系统中不可或缺的最后一道防线，不仅愈来愈多地受到人们的关注，而且已经开始在军事、政务、金融、商业、交通、电力等行业中发挥其关键作用。1.2.1 入侵检测技术目前，主流的入侵
23、检测技术有两大类。（1）误用检测（Misused Detection）。误用检测又称为基于知识的检测或特征检测。它通过分析入侵过程的特征、条件、排列以及事件间的关系来描述入侵行为的迹象，然后按预先定义好的入侵模式对用户活动行为进行模式匹配来检测入侵行为。该过程可以很简单（如通过字符串匹配以寻找一个简单的条目或指令），也可以很复杂（如利用正规的数学表达式来表示安全状态的变化）。如果入侵者攻击方式恰好匹配检测系统中的模式库，就能准确发现违背安全策略的行为。误用检测的主要检测方法包括： 专家系统：该方法是基于知识的检测中运用最多的一种方法，它是根据安全专家对可疑行为的分析经验来形成一套推理规则，然后
24、在此基础上建立相应的专家系统。专家系统对已知的入侵场景和攻击模式通过IF-THEN的形式进行规则化编制，从而构造一个检测用的规则库。专家系统就是利用这些规则与所需的观测值进行比较，判断是否发生入侵，同时控制着规则的更新和删减。专家系统的建立依赖于知识库的完备性。 状态转移分析：该方法将入侵过程看作是一个状态变迁的序列，入侵行为使系统从初始的安全状态转变到不安全状态。状态变迁图被用来表示每一个状态和特征事件。系统通过对特征事件序列进行分析来判断入侵是否发生。当分析审计事件时，若根据对应的条件布尔表达式，系统从安全状态转移到不安全的状态，则该事件标记为入侵事件。 模型推理：该方法是根据入侵者在进行
25、入侵时所执行的某些行为程序的特征来构建一种入侵行为模型，然后根据该行为模型所代表的入侵意图的行为特征来判断用户执行的操作是否属于入侵行为。用此方法，人们能够为某些行为建立特定的模型，从而能够监视具有特定行为特征的某些活动。根据假设的攻击脚本，这种方法就能检测出非法的用户行为。一般为了准确判断，要为不同的攻击者和不同的系统建立特定的攻击脚本。（2）异常检测（Anomaly Detection）。异常检测又称为基于行为的检测，它根据使用者的行为或资源使用状况是否偏离正常的情况来判断入侵是否发生。在异常检测中，观察到的不是已知的入侵行为，而是通信过程中的异常现象。这种不正常行为可以分为外部闯入、内部
26、渗透和不恰当使用资源。异常检测基于己掌握了被保护对象的正常工作模式，并假定正常工作模式相对稳定。一般方法是建立一个对应“正常活动”的系统或用户的正常轮廓。检测入侵活动时，异常检测程序产生当前的活动轮廓并同正常轮廓比较，当活动轮廓与正常轮廓发生显著偏离时即认为是入侵。异常检测的主要检测方法包括： 概率统计：该方法是基于对用户历史正常行为建模，当发现有可疑的用户行为发生时，保持跟踪并监测、记录该用户的行为，系统根据每个用户的行为记录库，当用户改变他们的行为习惯时，这种异常就会检测出来。它的优点在于能应用成熟的概率统计理论，能发现未知的入侵，并能对用户活动进行适应性学习。不足在于统计检测对事件发生的
27、次序不敏感，且确定是否入侵的判断阀值比较困难。 神经网络：该方法的基本思想是用一个信息单元序列来训练神经网络，在神经网络的输入中包括当前的信息单元序列和过去的信息单元序列集合，神经网络由此可给出判断。它的优点在于能更好地处理有噪声的数据和模糊数据，能更好地考虑各种变量间的相关性，并且能自动学习和更新。不足在于网络拓扑结构及各元素的权重难以确定。 计算机免疫：该方法模仿生物免疫系统，实时监控和处理主机的审计数据，提取感兴趣的行为数据，建立行为特征模式，并与用户的行为模式匹配，以此来发现是否发生入侵。它的主要思想是区分“自我”和“非我”。“自我”是正常行为，“非我”是异常行为。1.2.2 入侵检测
28、体系结构在网络环境中存在三种主要的入侵检测体系结构。（1）基于主机（Host-based）的入侵检测系统。基于主机的入侵检测系统将检测模块驻留在受保护系统上，通过提取被保护系统的运行数据并进行入侵分析来实现检测功能。其检测对象主要是主机系统和系统本地用户，而不监测网络上的情况。主要用于检测特权滥用攻击、关键数据访问及修改、安全配置的变化等。基于主机的入侵检测系统并不是孤立的单个系统，它可以在其他主机上用代理进行相互之间的通信或者不采用代理而用某种特殊的API来提供数据源的远程控制。主要优点：检测效率高、分析代价小、分析速度快、不需要额外硬件、能够迅速并准确地定位入侵者，并可以结合操作系统和应用
29、程序的行为特征对入侵进行进一步分析、响应。比如，一旦检测到有入侵活动，我们可以立即使该用户的帐号失效，用户的进程中断。而且，当前许多网络通信采用了加密技术，只有主机系统进行解密后才能分析数据内容，而基于网络的入侵检测系统是不能检测加密通信的。主要缺点：它在一定程度上依赖于系统的可靠性，它要求系统本身应该具备基本的安全功能并具有合理的设置，然后才能提取入侵信息。即使进行了正确的设置，对操作系统熟悉的攻击者仍然有可能在入侵行为完成后及时地将系统日志抹去，从而不被发觉。基于主机的入侵检测系统还会占用主机的系统资源，增加系统负荷，而且针对不同的操作平台必须开发不同的程序，另外所需配置的数量众多。（2）
30、基于网络（Network-based）的入侵检测系统。基于网络的入侵检测系统一般放置在比较重要的网段内，通过线路窃听的手段对截获的网络分组进行分析处理，从中提取有用的特征模式，再通过与已知入侵特征相匹配或与正常网络行为原型相比较来识别入侵事件。其检测对象是网络上的通信数据。它主要是根据网络流量、协议分析、简单网络管理协议信息等数据来检测入侵。基于网络的入侵检测系统位于客户端与服务端的通信链路中央，它可以访问到通信链路的所有层次。主要优点：具有更好的实时性、花费较低、检测全面、对主机资源消耗少、与操作系统无关、能检测到未成功的攻击企图、攻击者消除证据困难，并且由于网络协议是标准的，它可以提供对网
31、络通用的保护而无需顾及异构主机的不同架构。另外，基于网络的入侵检测系统不需要在业务系统的主机中安装额外的软件，因此不会影响业务系统的性能。主要缺点：监视数据量过于庞大，并且它不能结合操作系统特征来对网络行为进行准确的判断，防欺骗的能力也比较差。另外，它只检查它直接连接的网段的通信，不能检测在不同网段的数据包，所以在交换网络环境中难于配置。基于网络的入侵检测系统为了性能目标通常采用特征检测的方法，可检测出普通攻击，但很难实现一些需要大量计算与分析时间的复杂攻击的检测。（3）混合分布式的入侵检测系统。混合分布式的入侵检测系统是上述两种入侵检测系统的无缝结合，综合了基于主机和基于网络两种结构特点的入
32、侵检测系统，既可利用来自主机系统的高层事件，也可利用网络数据；既可从系统日志中发现异常情况，也可发现网络中的攻击信息。联合使用基于主机和基于网络这两种方式，能够达到更好的检测效果，基于网络的部分提供早期预警，基于主机的部分提供攻击成功与否的确认。1.2.3 现有入侵检测系统的不足经过二十多年的研究和发展，入侵检测技术日趋完善和成熟，新一代的IDS较之以往更加实用和智能，但从技术实现和体系架构等方面分析，目前的IDS还存在着许多不足之处，主要表现在以下几个方面。（1）漏报率和误报率的问题。误报（False Positive）是指将正常的网络活动误认为入侵行为，而漏报（False Negative
33、）则是指将入侵行为误认为正常的网络活动，误报率和漏报率是衡量IDS性能的重要指标2。正确地检测入侵，减少误报是入侵检测正确性的问题；最大限度地检测入侵，防止漏报是入侵检测的完备性问题。具有良好的正确性与最大的完备性始终是入侵检测技术的追求目标。而目前二种主流的入侵检测技术都各有其优缺点：虽然误用检测准确率高，但是却不能检测未知攻击，并且规则库需要定期更新，维护工作量大；异常检测能够检测未知攻击，但是漏报率高。（2）入侵检测系统间的协同问题。近年来，随着用户行为模式的不断变迁和网络中新攻击模式的迅猛增长，所需处理的告警信息成倍增长。网内配置的IDS传感器数量增多却都各自为战，缺少协同工作能力，安
34、全管理员只能孤立地分析不同IDS各自提供的告警，难以对整网的安全状况有深刻的把握。（3）检测复合攻击的问题。现实中的网络攻击绝大多数不是孤立的行为，而是以复合攻击的形式出现，攻击往往环环相扣，前面攻击是为后续攻击做铺垫，但现有的大部分IDS都是针对基础攻击的，无法有效识别复合攻击。如何检测复合攻击是入侵检测研究面临的一个重要问题。（4）预测攻击的问题。入侵检测的最终目的是阻止攻击，这就要求系统根据攻击者之前的行为作出一定的预测，而这至今依然是一大难点。（5）检测加密数据的攻击问题。目前大多数IDS都采用基于网络的入侵检测系统。但是基于网络的IDS不能处理加密后的数据，如果数据在传输中被加密，即
35、使只是简单的替换，基于网络的IDS也难以处理。例如采用SSH、HTTPS、带密码的压缩文件等手段，都可以有效地防止网络IDS的检测。此外，对于VPN（虚拟专用网），IDS也显得力不从心。以上这些问题都已成为当前IDS领域备受关注的焦点和热点，因为如何最大化地降低误报率和漏报率、如何使得分布式的IDS之间能够协同工作、如何有效地检测和预测复合攻击，已不仅仅是个技术层面的问题，而是关系到IDS未来发展的关键所在。一般而言，较之误报，漏报会让IDS的使用者更加不能容忍，因为它是致命的，哪怕仅有那么几次，也足以使得它不再被信任。正是基于这样的考虑，目前的IDS会尽可能地从不同关键点收集信息，捕捉可能存
36、在的蛛丝马迹来减少漏报并分析预测可能产生的攻击行为。但这样势必会使安全管理员淹没在浩瀚的告警信息中。试想每天数以千万计的告警信息，对于一个中等规模网络的安全管理员来说，要做出正确的分析、判断谈何容易。难道这么多的告警信息都是有价值的吗？经过长期的研究分析，回答是否定的，人们发现在这些大量的告警中存在很多冗余信息和内在联系。而如何去除这些冗余，合并彼此有关联的告警，已成为业界的研究重点。目前，在这方面已经有了不少研究成果。1.3 入侵检测系统中告警关联的研究现状A.Valdes等提出利用概率统计的方法来计算攻击特征中相关属性之间的相似度，根据相似度来决定是否对两个攻击进行关联，其核心是为每个告警
37、特征定义合适的相似性函数和确定合理的最小相似阀值3。H.Debar和A.Wespi的方法则是通过压缩告警间的重复关系和因果关系来达到归并目的4。该方法综合了关联和聚类两种算法，其中关联算法包含重复和因果两种关系，用于过滤告警；聚类算法用于建立具有共性的攻击场景，并最终用基于规则的方式实现关联。它主要包含两个步骤：首先判断告警是否是重复的；其次判断告警之间是否存在因果关系。这种机制要求告警信息必须以特定的顺序发生，并且在一定的时间间隔内发生。而B.Moring等提出的M2D2方法，是基于多条告警可能是由同一攻击行为引起的或是指向同一漏洞这一事实来进行关联5。F.Cuppens等的方法则是通过寻找
38、某个攻击的前提条件与另一攻击的结果影响之间是否存在逻辑联系来进行告警关联6。P.Ning等提出了和6相似的方法，它是通过构造基于攻击的前提条件与结果影响的关联图来描述攻击场景，以此来合并相应的告警7。随着研究的逐步深入，人们越来越意识到一个好的告警关联技术，不仅应该能最大限度地压缩告警间的冗余信息，而且更应该从看似分散、无关的告警中挖掘出背后的真正原因，从而提供更直观、有效的告警信息。因此，类似于67那种通过分析不同攻击的前提条件和结果影响之间的逻辑关系，来构造攻击场景的方法，已成为IDS告警关联技术的一个新兴分支，并且随着复合攻击日益成为网络攻击的主要形式，可以预见它在入侵检测中的应用将会越
39、来越广泛。1.4 本文研究的主要内容及论文结构有效的告警关联技术对入侵检测系统具有重要意义，而描述逻辑因其清晰的模型-理论机制和强大的表达能力已在众多知识表示的形式化方法中崭露头角。本文研究的主要内容就是：如何以描述逻辑为基础，用它来对攻击进行统一定义；如何以攻击场景为载体，用它来分析匹配相继出现的告警信息；如何以能力集为纽带，用它来串联起一幅幅攻击场景，从而能清晰地展现不同告警之间所隐含的逻辑关系，进而为实现关联归并提供可靠依据。本文章节安排如下。第1章介绍了入侵检测概念的由来，其主流技术、体系结构、目前存在的主要不足，以及入侵检测系统中告警关联的研究现状和发展动向。第2章首先介绍了典型的告
40、警关联类型以及IDS告警间的两大基本关系，然后研究分析了目前主流的各种告警关联技术，并比较了它们的不足和发展方向。第3章介绍了描述逻辑的基本概念和原理，并在此基础上对相关概念进行了扩展，使之能够用来描述攻击本体。第4章具体阐述了如何用描述逻辑来定义攻击，在定义过程中引入了能力的概念，在分析说明了各种能力间关系的基础上给出了攻击关联归并规则，最后详细介绍了攻击知识库的整个建立过程。第5章提出了基于描述逻辑的IDS告警关联模型，分析介绍了各模块的主要功能，并通过模拟实验说明了本模型的有效性。第6章对全文进行了总结，并对将来工作做了展望。上海交通大学硕士学位论文 第2章 告警关联技术第2章 告警关联
41、技术告警关联分析是指对产生的原始告警进行合并和转化，去除告警中的冗余信息并将多条告警合并成一条具有更多信息量的新告警，形成能准确反应攻击行为的告警，进而可以有效地检测和预测复合攻击。现在，人们已经提出了很多告警关联的方法。这些方法的理论基础来自人工智能、图论、神经网络、信息论和自动控制论等计算机科学领域。在具体介绍各种告警关联技术之前，我们首先回顾一下典型的告警关联类型，并分析指出IDS告警间的两种基本关系。2.1 告警关联类型及IDS告警间基本关系在传统的电信告警管理系统中，采用的典型操作有：（1）剪枝：从告警流中删除掉包含冗余信息的告警。（2）过滤：当出现高优先级的告警时过滤低优先级的告警
42、。（3）替代：用一些新的信息或告警替代某一系列告警。一般来说，告警关联系统的输入是一个按时间排序好的告警序列，在给定时间窗口或称为关联窗口范围内，关联模式描述了能在告警序列中识别的一种情形。典型情况下，一个关联模式是当前活动告警的一个描述，比如最近5分钟内的告警出现情况。如果在给定关联窗口内有一些告警与关联模式相匹配，就称这些告警是该关联模式的一次出现。每一个关联模式都对应一个关联操作，当该关联模式在一个关联窗口内出现时，对应的关联操作就会被执行。对于每次关联，都有一个关联周期，由关联操作所生成的新的告警只有在该关联周期内才是有效的。告警关联的类型一般可分为8：（1）告警压缩：将发生的多个告警
43、压缩到一个告警中。A,A,AA（2）告警过滤：如果告警A的P(A)值不属于合法值集合H，则过滤掉告警A。A,P(A)H（3）告警抑制：在前提C告警（例如高优先级告警）发生的前提下，抑制告警A（例如低优先级的告警）。A,C（4）告警记数：对重复到达同样的告警进行统计和设定门限值。例如，用一个告警B代替n次出现告警A。n AB（5）告警泛化：用告警的超类代替该告警。A,ABB（6）告警特化：用告警的特定子集告警代替该告警。A,ABB（7）告警时序关系：（Temporal relation T（“before/after”）A T BC相关的告警依赖于告警发生的时间顺序，告警A，告警B顺序发生时，就
44、会发生告警C。以上这些告警关联分类思想同样影响着IDS告警关联技术的研究。例如，告警关联中心陆续收到来自同一或不同IDS的多条告警，若这些告警仅在出现时间上有所差别，而其他内容都完全一致，那么就可以将它们压缩到一条告警中。这里利用了告警压缩的思想。现在考虑另外一种情形，同样是收到若干条内容相同的“某某用户登陆失败”的告警，但根据以往经验，如果在很短时间内特定用户登陆失败超过一定次数，则很有可能遭受口令猜测攻击，这样当告警关联中心收到的同一用户登陆失败的告警数量达到预先设定的门限值，就可以用“可能遭受口令猜测攻击”这条告警来代替原先n次出现的“某某用户登陆失败”告警。这里利用了告警记数的思想。当
45、然，除了有效利用上面这些告警关联思想外，在IDS领域，告警间的关系又有其自身特点：如果从攻击的角度出发，告警之间的关联性可以理解为它们是否是由同一个攻击行为产生的，这种攻击行为包括单个简单行为和由一系列攻击步骤组成的复合攻击行为。根据告警关联的定义，告警之间的关系可以进一步抽象为以下两种基本关系9。（1）冗余关系：冗余关系往往是由一个简单攻击或一个复合攻击的某个步骤触发多个IDS系统或多次触发一个IDS系统所引起。以常见的端口扫描为例，通常，一次扫描攻击会同时针对目标主机的多个端口，这样同一个行为可能产生多条告警。同样道理，若一次扫描行为是针对不同子网的不同主机，将会触发各个子网的IDS系统产
46、生告警，等等。这里将这样一类告警之间的联系称之为冗余关系。（2）因果关系：攻击者的攻击行为总是沿一定的步骤和路径来进行的，在一次完整的攻击过程中，由单个攻击步骤触发的告警可能存在其前因事件和可能带来的后果事件。例如，攻击者可能会首先进行漏洞扫描，发现有漏洞的主机后，根据获取的漏洞信息，进一步对目标主机进行渗透攻击，在取得主机的控制权后，再去攻击其他主机。概念上，这些事件都属于同一个复合攻击，它们之间存在某种因果关系。告警之间的因果关系显得较隐蔽，揭示告警之间的因果关系有助于发现贯穿于整个安全系统的攻击模式和入侵趋势，预见下一步将面临的威胁，提前阻止攻击的发生，将系统的安全防御从被动式的“滞后型
47、”转为主动式的“抢先型”。多年来的研究表明，上述两种关系是IDS告警间最为重要和核心的关系，对它们的分析挖掘已经成为各种IDS告警关联技术的出发点和立足点。2.2 数据挖掘方法数据挖掘，又被称为从数据库中发现知识，就是按照既定的目标，从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含其中的、人们事先不知道的、潜在有用的信息和知识的过程，它是基于过去事例泛化的一种归纳学习。其中的分类分析、关联分析、聚类分析、序列分析技术已成功应用于入侵检测系统。2.2.1 分类分析（Classification Analysis）分类在数据挖掘中是一项非常重要的任务，目前在商业中应用最多。分类的目的就是要建
