研究型论文模板.docx

《研究型论文模板.docx》由会员分享，可在线阅读，更多相关《研究型论文模板.docx（25页珍藏版）》请在三一办公上搜索。

1、研究型论文模板基于软模糊粗糙集模型的多标签文本分类 姓名： 学号： 内容提要 随着互联网技术的迅猛发展，电子文档很多需要被标记为多个类标签，即划分到多个类别范畴中。当前，对多标签文本分类的研究主要针对特征的选取和分类算法。本文借鉴处理不确定性问题的软模糊粗糙集模型，将其应用于多标签文本的分类问题。通过将多标签文本语料根据文档频率进行特征提取，采用TF-IDF特征表示方法，将特征词集表示成向量空间模型的形式，使数据更加结构化。同时，基于粗糙集理论，采用了软模糊粗糙集模型，并对其加以改进，使其具有处理多标签问题的能力。然后利用这种模型对文本进行类别的划分，得到每个测试文档的类标签集合。最后采用多标

2、签分类特有的评价标准对分类结果进行评估。 关键词 软模糊粗糙集，多标签，文本表示，分类算法 1 引言 随着网络信息传播的高效性以及人们对电子文档使用的频繁性，各类论坛、门户网站、电子商务网站，以及近年发展起来的微博等，都处于蓬勃发展的状态。同时，各类电子文档已成为这些网络信息传播的有效载体。然而，现实世界中，很多电子文档的内容都是包含多个主题类别的，从文本分类的角度来看，就是文本的多标签问题。面对各类微博网站的蓬勃发展，微博短文本内容与日俱增，更加严峻的任务需要我们来解决。由于微博内容的复杂性，主题的多样性，用户兴趣的广泛性，当我们需要对这类网络文本数据的主题进行分析处理，为得到用户的关注类型

3、及偏好提供帮助时，首先需要研究这类多标签文本的分类问题。对于一篇微博、博客或是新闻文档，考虑它的主题类别时，可能会认为它谈论的是政治方面的内容，但它却延伸到军事或是经济方面的内容。在对这类文本进行分类时，就需要为它标定多个类别标签，然后再对它进行分析处理。文本分类技术对于大量文档的归类问题提供了很好的推动作用。因此，研究多标签文本分类问题具有非常重要的现实意义。 当前，对于多标签分类，大多数是理论算法的研究。关于分类方法，主要有两种方式，一是问题的转换，二是算法的适应性。大多数情况下，多标签文本分类算法都是用在英文文本语料上。现今网络上的中文电子文档等数据中也存在着大量需要被当作多标签问题来解

4、决的文本语料。因此，能够从网络上的电子文档中抽取大量的多标签文本语料，用于对中文文本的多标签分类研究，这对自然语言的学习研究是必要的。 粗糙集理论已经在特征选择、属性约简、规则学习等实际应用中取得了很好的实际效果。大量实验表明，基于模糊粗糙集的软模糊粗糙集模型在处理噪声和错误标记的样本方面具有很好的效果。本文通过对软模糊粗糙分类器的改进，使其扩展为可以处理多标签分类问题的模型，并将其应用于中文多标签文本分类中，拓宽了粗糙集理论在自然语言处理领域的应用。 2 相关工作 文本分类是自然语言处理的一个重要分支领域，它通过分析文本内容并运用统计学方法加以处理，使得计算机能够对待分类文档实现自动划分到若

5、干个较合适的类别中的目的，从而达到便于文本组织管理、智能检索以及信息过滤等应用的结果。随着电子文本信息量的急剧增长，文本内容的多样化，只能确定文本单一类别的单标签学习已经难以满足人们对分类的需求。因此，多标签文本分类以其特有的灵活性与实用性吸引了大多数研究学者的注意力。 近年来，多标签分类作为多标记学习中的一个重要问题，越来越受到研究学者的关注。Tsoumakas等人1将现有的多标签分类算法归结为两类：算法适应方法和问题转化方法。典型的算法适应方法有AdaBoost.MH算法2、人工神经元网络3、Boosting 算法4等。典型的问题转化方法有：LP算法5、BR算法16、RAKEL算法6等。

6、一些学者已经对粗糙集理论进行了较为深入的研究，提出了软粗糙集、软模糊粗糙集等概念。为了能够好的解决模糊粗糙集模型对噪声敏感的问题，胡清华等人78在软间隔SVM的启发下，将基于软阈值的抗噪方式引入到模糊粗糙集模型中，给出了软距离的概念，提出了软模糊粗糙集模型，并基于软模糊下近似隶属度设计了一种单标签的分类模型，被称为软模糊粗糙分类器。 由于软模糊粗糙分类器是通过取得待分类样本对某一类别的下近似隶属度，从中选取具有最大隶属度的类标签来标定该样本的类别，对多标签分类来说，将该模型做一定的改造，赋予隶属度合适的阈值，即可把这种针对单标签数据的分类模型改造为可以对多标签数据进行分类的有效分类模型。 当前

7、，粗糙集理论在文本分类方面的应用，大多数是利用粗糙集在属性约简方面的优越性。卢娇丽、郑家恒等曾利用粗糙集理论对属性优越的约简特性将其应用于文本分类方面9，并取得了很好的效果。但由于只是针对单标签文本的分类，限制了粗糙集的应用范围。安爽10在其博士论文中，以稳健的软模糊粗糙集理论为基础，将其应用于太阳耀斑预报模型的研究。鉴于软模糊下近似隶属度的特殊性，同时，考虑到多标签分类的实用性，本文将软模糊粗糙集理论应用于文本分类中，给出了一种基于软模糊粗糙集模型的多标签文本分类算法。 3 文本结构化表示 3.1 文本预处理 在文本信息处理中通常可以采用多种粒度的特征，但在文本分类中，普遍采用基于词的文本特

8、征选择方法，其分类效果通常要好于字和短语。由于中文语言的特殊性，需要对中文文档进行分词处理，本文使用中科院ICTCLAS分词软件对全部文档进行分词。分词结果以文本形式存储。 3.2 特征提取 首先，对分词后的文本建立停用词表，去除停用词，结果仍以文本形式存储。经过去除停用词等步骤的处理后，文本已经得到了初步的降维。然而，为了得到好的分类效果，需要从这些词集中选出具有较好区分性和代表性的词作为分类特征集，从而达到对特征集缩减降维的效果。现在需要对这些文档词集进行特征提取。 特征选择的方法有很多，常用的方法有：文档频率、信息增益、统计量法和互信息法等11。信息增益、互信息等特征选择的方法都是与类别

9、相- 1 - 关的，而本文研究的多标签文本分类中，文本的类别是多个的而不是单一的，由于本文使用的DF特征选择方法简单，不受类别影响，因此它比较适用于多标签文本的研究。 根据文档频率的特征选择方法，归纳所有文档的分词结果，会得到文档集中所有词的文档频率信息，将这些词按照频率大小排序，去掉在文档中出现很少次数的词。选取出现频率较高的部分词作为文本分类过程中的特征项。这样，减小了特征噪声对分类结果的影响。 3.3 权重表示 特征权重通常用来界定特征项在文档表示中的代表性和重要性。文本分类中特征权值计算方法有：布尔权重、绝对词频权重、TF-IDF权重等12。本文采用文本分类中常用的TF-IDF权重表示

10、方法对所有文档的特征词进行表示13。TF-IDF权重不仅考虑特征词在一篇文本中出现的频次，也考虑了它在所有文本中的频率。其计算方法见公式(1)-(2)。 idf(tj)=logN (1) njN (2) nj wij=tfijidf(tj)=tfijlog其中，wij是特征词tj在文档Dj中的权重，tfij为特征词tj在文本Dj中出现的频率，nj表示包含特征项的文档在整个文档集中的频率，N为文档总数。 3.4 文本表示 文本特征表示是文本分类的基础，指将所有文档中的不同文本以及特征项用模型进行表示。文本分类中常用的两种文本表示模型为布尔模型和向量空间模型14。由于VSM对文本的表示形式效果好，

11、且具有广泛的应用，本文采用VSM对文本进行表示。 整个文档集的表示见下图1： 图1 文档集表示形式 其中，矩阵D的每一行表示一篇文档，每一列表示一个特征项，每一个值表示对应特征在相应文档中的权值，权值越大，表示该特征项在这篇文档中的相对重要程度越大。 通过文本的预处理，将非结构化的文本表示为结构化的数据，即可将这些数据用于分类器的训练。 4 软模糊粗糙集模型 4.1 软模糊粗糙集 软模糊粗糙集理论将软间隔SVM中选取软阈值的思想引入模糊粗糙集理论中，提出了一种不同于原有的计算样本最近距离方法的软距离的概念8。 定义1 给定一个样本实例x和一个样本实体集，x和Y之间的软距离被定- 2 - 义为

12、SD(x,Y)=argmaxd(x,yi)-Cmi,yiY,i=1,2,n, (3） i其中d(x,yj)是x与yj之间的距离函数，C是惩罚因子，mi是满足条件d(x,yj)d(x,yi),j=1,2,.,n的样本数量。 图2给出了一个确定软距离的例子。假定样本x属于类1，其他样本属于类2，用Y表示该样本集。如果把y1当作一个噪声样本并忽略它，SD应该是d2。因此要有一个惩罚项来判定需要忽略多少个噪声样本。如果忽略一个样本，d(x，yj)将会减去C。对于所argmax(,dx)y有的候选距离d(x，yj)，取d(x,y)k=iiC-mi作为x和Y之间的软距离。也就是说，距离d(x，yj)是惩罚

13、了所有被忽略样本之后的最大值。关于参数C的选取，参见4.3节。 图2 软距离示意图 在软距离的基础上，软模糊粗糙集的定义如下： 定义2 把U作为一个非空论域，R是U上的一个模糊等价关系，且F是U的模糊幂集。FF的软模糊上下近似被定义为 S RF(x)=1-Rx,argsup1-R(x,y)-Cm yF(y)F(yL) (4) SRF(x)=Rx,argsup1-R(x,y)+Cn yF(y)F(y)U 其中， yL=arginfmax1-R(x,y),F(y) yyU (5) yU=argsupminR(x,y),F(y)yyU C是一个惩罚因子，m是在计算RF(x)时被忽略的样本的数量，n是

14、计算RF(x)时被忽略的样本的数量。 如果集合A是一个清晰集，那么样本x对于A的软模糊下近似的隶属度就表示为 RA(x)=1-R(x,yAL) (6) 其中， SSS- 3 - yAL=argsup1-R(x,y)-Cm=argsupd(x,y)-Cm=argSD(x,U-A) (7) yA(y)=0yA(y)=0y显然，RA(x)等于样本x到U-A的软距离。 4.2 软模糊粗糙分类器 胡清华等人在上述软模糊下近似定义的基础上设计了一个稳健的分类器8，可以用来解决单标签分类问题。 它的原理概括为：计算一个待分类样本对于每个类的软模糊下近似隶属度的值。给定一个具有k个类的训练样本集和一个待分类样

15、本x。首先，假定x属于每个类。计算出样本x对于k类的软模糊下近似隶属度的值,然后将x划分到最大隶属度的类别中。用公式表示为 Sclassi(x)=argmaxRclassj(x) 1jkS其中，Rclassi(x)是x对于类classi的软模糊下近似隶属度。 算法描述如下： 输入：训练样本集，测试样本集； S输出：每个测试样本xi的类别classi。 Step1：计算类别个数； Step2：对于每个测试样本xiX，做如下处理： 对每个类classjY(Y=y1,y2,.,yk)，计算xi与其异类中每个样本的距离，得到候选距离。 对得到的候选距离排序，再根据公式(3)计算类classj对应的软距

16、离。 由公式(6)-(7)可知，(1)中的得到的xi对异类样本的软距离的值与其对应的下近似隶属度的值相等。于是得到样本xi对每个类的软模糊下近似隶属度。 选取隶属度取最大值时对应的类标签classt并将其返回，即可得到样本xi的类别。 Step3：重复step2直到得到每个测试样本的类标签。 4.3参数设置 由4.1节中的图2可以看出，软模糊粗糙集中惩罚因子C的值对其稳健性具有重要意义。对于参数的设置在文献8中给出了一种方法。 假定以一个样本x为例，给出以该样本为球心的软超球的信任度f。当以x为球心计算软超球的信任度时，如果其值大于或等于f，那么当信任度等于f时，软超球与硬超球的半径的差比上软

17、超球中少数几个异类样本的个数，比值即为以样本x为球心得到的C的值。同时，也确保了软模糊下近似的信任度。对于一个含有n个样本的数据集，取以每个样本为球心计算的C的平均值，即可得到这个数据集的参数C的值。 对于本文中的多标签数据集，通过将多标签数据转化为多个二分类数据集来选取每个类的参数。BR方法对于不同的类会有不同的参数值，可由公式得出。由SFRC改造后的算法通过取各参数的加权平均值作为它的惩罚因子C的值，权值为每个类中的标签数占所有标签的比重，可由公式(10)得出。 计算参数C的公式如下： - 4 - Ci=SD(x,Y)-HD(x,Y) (9) mLC=wiCi (10) i=1其中，L为标

18、签总数，wi为类i的权值。 本文实验中选取软模糊下近似的可信度大于或等于95%，即软超球中的样本错误率小于5%。 5 多标签分类模型的构建 5.1 多标签学习 现有的分类学习中，大部分是对单标签数据的研究。然而，在某些实际应用中，一个训练样本往往可以归属于多个类，即一个标签的集合数据。 假定D为一个多标签数据集，其中包含|D|个样本。表示训练样本集，。这样的数据称为多标签(multi-label)表示该样本集中的样本所属类标签的集合，其中，n表示训练样本总数，m表示标签总数。那么，数据集D可以表示为：，其中，xiX， ，xi为一个多标签样本，Yj为该样本对应的类标签的集合。多标签数据集在文献1

19、6中已给出了详细说明。 5.2 基于问题转换的多标签分类模型的构建 问题转换的分类方法的主要思想是，将每一个多标签样本(xi,Yi)处理成|Yi|个单标签数据(xi,yi)，其中，yiYi，然后再利用已有的分类模型对转化后的单标签数据集进行分类，将会得到每个测试样本的一个标签的集合。 本文采用Binary relevance (BR)方法对数据进行转换。它训练了|L|个二分类器，每个分类器只划分L中的一个类别，|L|表示类标签总数。它将原有的多标签数据集转化为|L|个只存在两个类别的单标签数据集Dp。如果转化后的单标签数据样本Dxi的类标签集合Yi中包含yi，则将其记为“1”，否则将其记为“0

20、”。对于一个多标签样本，BR方法输出的集合中的标签是由|L|个基分类器输出中标签为“1”的类标签组成的。 通过对处理后的多标签文本数据进行转换，使用4.2节中给出的单标签分类算法训练学习若干二分类器，就构成了一种基于软模糊粗糙集模型的多标签分类器。 5.3 基于算法适应的多标签分类模型的构建 算法适应的分类方法的主要思想是，通过对已有算法的改进，使之具有直接处理多标签数据的能力，结果以一个类标签集合的形式给出，集合中的标签即为该样本所属的类别。本文通过对现有的处理单标签数据的软模糊粗糙集模型进行改造，将其用于多标签文本的分类- 5 - 处理。 对于现有的软模糊粗糙集模型，其样本的软模糊下近似隶

21、属度是依据待分类样本与异类中样本之间的软距离得出的。与软模糊粗糙分类器的原理相同，需要计算一个待分类样本相对于各个类的软模糊下近似隶属度的值。 假定一个多标签数据集共有|L|个类标签，样本xi是待分类样本，Yi表示该样本所属的类标签集合。得到xi的标签集的过程如下： Step1：输入一个多标签数据集。对其类标签的表示形式进行处理，使得每个类标签中，“1”表示样本属于该类别，“0”表示不属于。 Step2：先假定多标签样本xi属于每个类，根据软模糊下近似隶属度的计算方法，可以得出|L|个样本xi对于每个类的下近似隶属度的值。这些隶属度是对样本xi隶属于每个类的重要性的度量。 Step3：给出一个

22、界限，划分出对样本xi有着较高的贡献度的类别。 Step4：输出这些类别的集合，就是样本xi的类标签集Yi。 Step5：对每个样本重复24步，即可得到所有样本的类标签集合。 公式表示如下： labelseti(x)=argRclassi(x)|Rclassi(x)T(x) (11) classiSS其中，T(x)表示样本x的隶属度的界限值。 对于界限值的选取，给出两种方法。一种是给定一个固定的阈值。用m表示类别相关度，将每个隶属度的值转换后用m表示，0m1。首先，假定最大隶属度的相关度为1，则其他所有类的隶属度与该最大值的比值，即为每个类的相关度。然后设定一个阈值(如90%)，大于这个阈值的

23、，则判定该样本属于相应的类别，将xi对应的标签集中的位置置“1”，否则判定为不属于，将其置“0”。考虑到每个样本的特殊性，总体阈值的选择可能对部分样本不适用。因此，给出了另一种可以考虑到每个样本特殊性的阈值选取方法。即直接取这|L|个下近似隶属度的期望值Mi，以此作为类别判定界限。如果一个样本相对于类yj的下近似隶属度的值大于Mi，则判定该样本属于类yj，否则判定为不属于类yj。 6 数据准备与评价指标 6.1 数据准备 实验数据使用从网络上搜集的微博、博客、新闻等文档构成的1000篇文本语料，其中包含10个类别，分别为：科技、体育、经济、军事、国际、政治、健康、饮食、电子、娱乐。每篇文档至少

24、包含两个类别信息。将所有文档平均分成4份，每次实验都从中选取三份作为训练集，一份作为测试集，做四次交叉验证，结果取四次实验的平均值。表1给出了每个训练集中文档类别的统计信息。 表1 多标签文本训练集的统计信息 训练集 TrainSet1 TrainSet2 TrainSet3 TrainSet4 文档 标签数 数 2 3 4 676 43 31 680 40 30 676 43 31 677 42 31 - 6 - 6.2 多标签分类的评价指标 在多标签分类中，由于每个测试样本对应的类别不再是单一的，因此，其性能评价指标与传统的单标签分类有所不同。 有效的评估方法也是文本分类的一个重要过程。多

25、标签分类器有多种评价指标17，本文采用常用的六种指标对所使用的多标签分类器的性能作出评价21516。 假设S是一个多标签测试数据集，S=(x1,Y1),( x2, Y2),( xs, Ys)，包含了S个多标签样本(xi,Yi)，i=1s， 。把H当作一个多标签分类器，表示由分类器H预测的样本xi的标签集。 基于实例的精度匹配度量表示为： 1ExactMatch(H,S)=SI(Zi=1Si=Yi) (12) 这是一个非常严格的评价方法，因为当测试样本的预测标签集中多一个标签或者少一个标签，都会被判别为错误。 Schapire 和 Singer 2在XX年提出了Hamming Loss的评价指标

26、，该指标重在考虑样本在单个类别中的分类误差，即原应出现在该样本的标签集中的的类不在标签集中，而不该出现的却在标签集中这样的情况，该指标取值越小表示分类器的性能越好。它的定义如下： 1HammingLoss(H,S)=Si=1SYiDZiL (13) 其中，表示两个集合的对称差分，相当于布尔逻辑中的异或(XOR)操作。 Godbole和Sarawagi于XX年提出了多标签精度测量标准，表示形式如下： 1Accuracy(H,S)=SYi=1SYiiZiZi (14) 它是通过对每个样本真实的和预测的标签集的交集与并集大小的比值的宏平均来度量的，结果越大表示分类性能越好。 下面三种指标是从传统的文

27、本分类领域中的评价指标查准率、查全率以及F值度量所派生出的，文献15曾使用过这样的评价指标。 Precision考虑了一个标签集中准确预测的标签在原始预测的标签集中所占的比重，计算公式如下： 1 Precision(H,S)=Si=1SYiZiZi (15) Recall考虑了一个标签集中准确预测的标签在真实标签集中所占的比重，计算公式如下： 1Recall(H,S)=Si=1SYiYiZi (16) F值的度量方式是准确率(Precision)和召回率(Recall)的一种权衡表示，常用于信息检索领域。对于文本分类也是一种很好的评估指标。F值度量的表示形式如下： - 7 - 1F-measu

28、re(H,S)=S7 实验结果及分析 i=1S2YiZiYi+Zi (17) 在第3节对文本预处理后得到的文本结构化表示和第5节构建的分类模型的基础上，本节通过实验，采用BR方法构建的SVM和SFRC两种多标签分类器，以及由算法适应方法构建的ML_SFRC分类器得出实验结果。所有实验结果均取四次交叉实验的平均值，以保证数据集对分类性能的稳定性。在实验结果的基础上，对基于软模糊粗糙集模型改造后的两种分类器进行比较分析。 7.1 特征项数目对分类结果的影响 文本分类中，特征词的选取对分类结果是有影响的。为了得到更好的分类效果，本次实验分别选取文档频率较高的前400、600、800、1000个特征词

29、作为特征项，采用BR_SFRC和ML_SFRC中以期望值作为界限的ML_SFRC_Mean两种分类器得出实验结果。分类性能仅以精度匹配度量和海明损失、F值三个指标作为参考。 表2 选取不同数目的特征词时BR_SFRC分类器的分类结果 特征数 指标 400 0.6060 0.1006 0.7605 600 0.5350 0.1228 0.7058 800 0.4780 0.1387 0.6664 1000 0.4220 0.1563 0.6215 Exact Match Hamming Loss F-measure 表3 选取不同数目的特征词时ML_SFRC_Mean分类器的分类结果 特征数 指

30、标 400 0.6000 0.1003 0.7583 600 0.5240 0.1217 0.7067 800 0.4710 0.1381 0.6678 1000 0.4200 0.1563 0.6223 Exact Match Hamming Loss F-measure 由表2-表3中结果可以看出，特征词数量为400时得到的结果最好。因此，后续的实验中我们采用文档频率统计结果中前400个特征词作为向量空间模型中的特征项。 7.2 分类算法对分类结果的影响 文本分类的实验效果与分类算法的选取有关。SVM是一种常用的分类模型17，文中实验采用SVM以及5.2节中构建的BR_SFRC多标签分类模

31、型和5.3节中构建的ML_SFRC多标签分类模型对多标签文本进行分类。分类性能以6.2节中给出的六种多标签分类的评价指标表示。 表4 基于问题转换的BR方法下的多标签分类器的分类结果 - 8 - 算法 指标 BR SVM 0.6280 0.0537 0.7957 0.9229 0.8154 0.8475 SFRC 0.6060 0.1006 0.7173 0.7756 0.7563 0.7605 ExactMatch Hamming Loss Accuracy Precision Recall F-measure 由表4可以看出，在BR方法下，使用SVM分类器得到的分类结果中各项指标均优于SF

32、RC。 表5 算法适应方法下的ML _SFRC多标签分类器在选取不同阈值时的分类结果 算法 指标 ML _SFRC 90% 0.2990 0.5128 0.4630 0.4811 0.9694 0.5589 92% 0.3510 0.4373 0.5141 0.5489 0.9392 0.6033 94% 0.3870 0.3588 0.5577 0.6234 0.8924 0.6425 96% 0.3870 0.2760 0.5842 0.7047 0.8174 0.6704 98% 0.3090 0.1988 0.5606 0.7702 0.6827 0.6574 Mean 0.6000

33、0.1003 0.7143 0.7806 0.7507 0.7583 Exact Match Hamming Loss Accuracy Precision Recall F-measure 由表5可以看出，基于算法适用得到的ML_SFRC中，界限取期望值时得到的分类结果优于给定一个固定阈值时的结果。 7.3结果分析 从实验数据结果进行分析，分为以下几种情况： 在特征选取方面，并不是特征词越多分类效果越好。判断特征词集合选择的是否合理，主要看所选词是否具有类别标识性。能够将文档归为某一类别，或是由于其中出现了一个具有很强的代表性的词，或是由于一个词在它标识的类别中的频率很高。由表2-表3可以看

34、出，选取文档频率较高的前400个特征词，使得分类结果较好，说明这些词的类别标识性相对较高。 从多标签分类方法上看，BR方法由于没有考虑到每个样本所属标签之间的关系，往往会对其泛化性能有所影响。少部分测试样本最终的分类结果可能出现没有标识的情况，因此无法判定其类别。此外，BR方法需要构建等同于标签数目的分类器个数，这无疑增加了算法的复杂度。然而，算法适应方法能够很好地解决这两个问题。如ML_SFRC考虑到各标签之前的相关性，根据隶属度的大小，每个样本被标注上各自该有的标签。 单纯就BR方法转换的SVM和SFRC分类器来讲，由于BR方法是将多标签问题转化二分类问题来解决的，而SVM在二分类问题上有

35、显著的实验效果，因此，SVM的各项指标优于SFRC是可以理解的。然而，经实验验证，SVM的分类结果中，有0.8%的测试- 9 - 样本被标注为无标签样本，一定程度上影响了其泛华性能。这对多标签分类有很大影响。 对于ML_SFRC，界限的选取很重要。从表5可以看出，选取期望值作为界限值的结果相对较好。当根据类别相关度选取固定值作为界限时，由于各个样本对于类别的隶属程度不同，如果选取的阈值较大，一部分本该属于某些标签的样本被忽略，如果选取的阈值较小，一部分不该属于某些标签的样本将被标识为相关类别，最差结果为样本被标识上全部标签。因此，应该考虑到样本个体的特殊性，选取具有参照意义的期望值作为阈值。

36、综上所述，虽然SFRC的指标劣于SVM，但就复杂度和泛化性能来讲，ML_SFRC还是有一定优势的。通过后续的改善，软模糊粗糙集模型对多标签文本的分类将会有更好的效果。 8 结论与展望 本文通过搜集整理得到多标签文本的数据集，采用DF特征选择方法，选取词频较高的多种数量的特征词构成特征词集，选择TF-IDF权重表示方法，将文本数据表示成向量空间模型的形式。基于软模糊粗糙集模型，构建出基于问题转换方法和算法适应方法的BR_SFRC和ML_SFRC两种分类模型，结合BR方法得到的SVM分类器，对多标签文本数据进行分类，并采用多种指标对分类结果进行评估。实验表明，特征词的选择方面，选取400个特征词作

37、为特征项较好；对于ML_SFRC，选取隶属度的期望值作为界限的结果最好；相对于BR方法，从复杂度和泛化性能等方面考虑，SFRC算法的适应更好。 DF特征选择方法在对特征词进行选择操作时可能会去掉一部分文档频率低却能很好反映类别信息的特征词，而且它只考虑了特征词是否在文档中出现过而忽略了出现次数这一信息。因此，后续工作中，对于文本特征的选择，可以参考信息增益等其他方法，通过适当的改进，使其适用于多标签文本的特征选择，对得到的数据集做出更好的简化。 由于多标签数据的独特性，多标签分类在很多方面还需要作进一步的研究。本文使用的多标签数据集标签维度较低，现实中，对于标签维度较高的的多标签分类学习还是有

38、很大困难的。标签的数量会极大地影响一个多标签分类器模型的复杂性，BR方法的复杂度就与标签的数量有很大关系。在后续工作中，需要不断扩充完善多标签文本语料库，使用已构建的分类器训练学习，改善分类算法，以期望得到更高的分类准确率。 9 致谢 参考文献 1Tsoumakas G. Multi-label classificationJ.International Journal of Data Warehousing &Mining. 2007, 3(3):12-16. 2Schapire R,Singer Y. BoosTexter:A boosting-based system for text

39、categorizationJ. Machine Learning.2000, 39 (2):135-168. 3M-L Zhang,Z-H Zhou. Multi-label neural net-works with applications to functional genomics and text categorizationJ. IEEE Transactions on Knowledge and Data Engineering. 2006,18:13381351. 4Schapire R E,Singer Y. Boostexter: A boosting-based sys

40、tem for text categorization J.Machine - 10 - Learning. 2000, 39(2/3) :135168. 5Dimou A, Tsoumakas G, et al. An Empirical Study of Multi-Label Learning Methods for Video AnnotationC.Proc of the Seventh International Workshop on Content-Based Multimedia Indexing.2009. 6Tsoumakas G,Vlahavas I.Random k-

41、labelsets:An ensemble method for multi-label classificationC. Proc of the 18th European conference on Machine Learning.2007: 406417. 7Q.H. Hu, S. An, D.R. Yu. Soft fuzzy rough sets for robust feature evaluation and selectionJ. Information Sciences.2010, 180:43844400. 8 Qinghua Hu, Shuang An, Xiao Yu

42、, Daren Yu. Robust fuzzy rough classifiersJ. Fuzzy Sets and Systems . 2011, 183: 2643. 9卢娇丽，郑家恒.基于粗糙集的文本分类方法研究J.中文信息学报.2005，19：66-70 . 10安爽.稳健模糊粗糙集模型研究D.黑龙江省哈尔滨工业大学博士学位论文.2011 . 11周茜，赵明生.中文文本分类中的特征选择研究J.中文信息学报.2004，18(1)：26-32. 12Salton G, Buckley C. Term-weighting approaches in automatic text retri

43、evalJ.Information Processing and Management.1988: 513-523. 13F.Sebastiani. Machine learning in automated text categorizationJ. ACM Computing Surveys. 2002:34(1): 1-47. 14salton,G.The smart retrieval system: experiments in automatic document processing. Upper Saddle River: Prentice-Hall. 1971:115-414

44、. 15Godbole S,Sarawagi S. Discriminative methods for multi-labeled classicationJ. Proceedings of the 8th Pacific-Asia Conference on Knowledge Discovery and Data Mining. 2004:22-30. 16Grigorios Tsoumakas, Ioannis Katakis. Multi-Label Classification: An OverviewJ. International Journal of Data Warehousing and Mining. 2007,3:13. 17Jesse Read. Scalable Multi-label ClassificationD. Doctoral Dissertation in Computer Science at The University of Waikato.2010. 18郑伟等.一种基于随机游走模型的多标签分类算法J .计算机学报.2010，8：1418-1426. - 11 -