《基于层次注意力模型的文本分类研究分析计算机科学与技术专业.docx》由会员分享，可在线阅读，更多相关《基于层次注意力模型的文本分类研究分析计算机科学与技术专业.docx（44页珍藏版）》请在三一办公上搜索。
1、前言1第一章绪论21.1 研究背景及意义21.2 文本分类概述41.3 本文的主要工作及创新点61.4 本文的组织结构6第二章文本分类技术82.1 文本分类系统的主要结构82.1.1 预处理82.1.2 文本表示82.1.3 分类器92.2 文本分类的主要技术92.2.1 基于线性方法的文本分类技术92.2.2 基于支持向量机的文本分类技术102.2.3 基于神经网络的文本分类技术112.3 文本分类技术对比分析132.3.1 对比数据集132.3.2 数据对比与分析14第三章基于层次注意力模型的文本分类163.1 概述163.2 文本表示模型183.2.1 基于门式循环单元的序列编码器183
2、.2.2 层次注意力网络193.3 分类器模型223.4 实验223.4.1 数据集223.4.2 TenSOrFk)W框架233.4.3 训练、调参等实验细节说明233.4.4 实验结果及分析243.5 可视化分析253.5.1 Yelpreview与情感分析253.5.2 YahooAnswers与主题标记26第四章基于结构化自注意句嵌入的层次注意力模型的文本分类274.1 概述274.2 文本表示模型284.2.1 结构化自注意句嵌入结构及计算模型284.2.2 结构化自注意句嵌入的惩罚项294.2.3 在层次注意力网络中引入结构化自注意句嵌入304.3 分类器模型314.4 实验324
3、.4.1 数据集324.4.2 训练、调参等实验细节说明324.4.3 实验结果及分析33第五章总结与展望365.1 总结365.2 展望36参考文献38致谢错误!未定义书签。摘要互联网的普及改变了人的生活方式。电子邮件、在线新闻、网上问答、电子商务等越来越多的互联网服务在提供便利丰富生活的同时，也快速产生着数量庞大、内容丰富的文本信息资源，并催生了大数据的概念。文本分类技术通过计算机实现高速的文本自动分类，对检索、组织和管理当今的海量文本数据有着重要的现实意义。基于深度学习的文本分类是近年来文本分类的研究热点。卷积神经网络、循环神经网络及长短时记忆、门式循环单元等新模型提升了文本特征提取的准
4、确程度，推动了文本分类研究的进一步发展。注意力机制对文本中的词或句结合上下文施以不同注意程度，实现了更精细、更准确的文本特征提取。层次注意力网络模型更是建立了文本.句.词多级的层次结构，并引入了词、句级注意力机制。实验表明，基于层次注意力网络的文本分类实现了文本分类准确率水平的新高度。结构化自注意句嵌入作为最近提出的句嵌入模型，旨在通过矩阵结构实现具备自注意能力的句嵌入模型，以此提取句子中侧重于不同层面的多重语义，为本文的创新尝试提供了理论基础。本文的主要工作包含：(I)研究并基于TensorFlow机器学习框架实现了基于层次注意力网络的文本分类技术，进行了实验验证并对层次注意力进行了可视化输
5、出与分析。(2)研究并引入了结构化自注意句嵌入模型以尝试对层次注意力网络模型实现改进创新。本文实现了基于结构化自注意句嵌入的层次注意力网络模型，进行了多组实验，并展开了对比分析。关键词：文本分类；注意力机制；层次注意力网络；结构化自注意句嵌入AbstractOurwayoflifehasbeengreatlytransformedduetotheproliferationoftheInternetservices.TheInternetservices,e.g.e-mail,onlinenews,onlineQ&A,e-commerceandetc.,notonlyprovidelifecon
6、venience,butalsooutputrich-contenttextinformationresourcesinlargequantities,whichbreedstheconceptofBigData.Textclassificationtechnologiesrealizehigh-speedautoclassificationfortextswiththepowerofcomputer,makinggreatrealisticsignificanceinretrieving,organizingandmanagingmassivetextdata.Inrecentyears,t
7、extclassificationbasedondeeplearninghasbeenoneoftheresearchfocusintextclassificationarea.Newmodels,e.g.ConvolutionalNeuralNetwork,RecurrentNeuralNetwork,LongShort-TermMemoryandGatedRecurrentUnit,advancetheaccuracyoftextfeatureextractionandpushthedevelopmentoftextclassificationresearch.Attentionmecha
8、nismrealizesamorepreciseandmoreaccuratewaytoextracttextfeaturethantraditionalnon-attentionmodel.HierarchicalAttentionNetworkbuildsamulti-levelhierarchicalstructureaccordingtodocument-sentence-word.ExperimentsdemonstratethatdocumentclassificationbasedonHANbreakstheaccuracyrecordofformermodels.Structu
9、redSelf-AttentiveSentenceEmbeddingisasentenceembeddingmodelputforwardedrecently.Itsintuitionistoextractmulti-aspectsemanticsofasentencebyconstructingaself-attentivesentenceembeddingmodelwith2-Dmatrixratherthanvector.Thisworkprovidestheoreticalbasisfortheinnovationtrialofthisthesis.Themaincontributio
10、nsofthisthesisareconcludedbelow:(1) ThisthesisstudiesandimplementsthedocumentclassificationbasedonHANwithTensorFlow.ItalsoexperimentsHANmodelonlargedatasetsandimplementsvisualanalysis.(2) ThisthesisstudiesandintroducesStructuredSelf-AttentiveSentenceEmbeddingtoHANmodel.Italsoimplementsandexperiments
11、theupdatedmodelforcomparisonandanalysis.Keywords:TextClassification;AttentionMechanism;HierarchicalAttentionNetwork;StructuredSelf-AttentiveSentenceEmbedding随着互联网的诞生及持续发展带来的信息爆炸，过去人工组织、管理文本的方式无法有效地应对海量的文本信息。如何借助计算机的力量实现高速、准确的文本自动分类是当今时代迫切需求、值得研究的问题。文本分类最早起源于知识工程的研究。自19世纪50年代至今，经过研究人员的不懈努力，今天的文本分类技术己
12、取得了较好的分类效果。文本分类作为自然语言处理领域的基础性课题，其理论和技术已在垃圾邮件检测、情感分析、文本主题分类等领域得到了广泛的应用。早期的文本分类方法受限于人们当时对自然语言处理的认知局限，认为要对文本进行分类处理，需要让计算机学习和掌握人对语言的理解能力，因此主要采用基于规则的分类方法，通过大量编写分类规则实现文本分类。基于规则的文本分类在处理当时规模相对较小、主题相对较单一的文本时取得了成果，但随着文本数量和多样性的快速增长，依靠人工大量编写规则变得耗时耗力、难以为继。因此，文本分类转向基于统计的分类方式。自基于统计的文本分类诞生以来，文本分类技术经历了从使用线性模型或内核方法对文
13、本的稀疏词汇特征进行分类，到近期的基于神经网络方法对文本表示特征向量进行分类的发展历程。随着对神经网络研究的深入，深度学习开始流行并在各个领域取得了有效的应用，基于深度学习的文本分类方法是目前的研究热点。基于层次注意力网络(HierarchicalAttentionNetwork)的文本分类技术是Yang等人于2016年发表的新成果川。该模型在文本特征提取中建立了层次结构并引入了注意力机制，有效提升了文本分类水平。实验表明，基于层次注意力网络的文本分类技术明显领先于过去的文本分类技术，创造了近年文本分类领域研究的新高度。本文以基于层次注意力网络的文本分类方法为主要研究对象，且以该模型为基础开展
14、创新尝试，实现了基于结构化自注意句嵌入(StrUetUredSelf-AttentiveSentenceEmbedding)的层次注意力网络模型并进行了文本分类实验和对比分析。第一章绪论本章首先介绍文本分类技术的研究背景及其意义，随后介绍文本分类的发展历程及技术概况，接下来介绍本篇论文的主要研究内容及创新点，最后介绍本文的组织结构。1.1 研究背景及意义在互联网自1969年诞生以来迄今近50年的发展历程中，电子邮件、即时通信、在线新闻、在线社区、电子商务等应用急剧诞生并快速流行。根据WeAreSOCial和Hootsuite最新发布的2018全球数字报告，截至2018年1月，全球互联网用户已达
15、40.21亿人，渗透约53%全球人口网。与此同时，如图1.1所示，根据最近五年的统计数据，全球互联网用户数、活跃社交用户数、移动用户数、活跃移动社交用户数均逐年持续显著增长网H晌，最近的2017年1月至2018年1月间增长2.48亿人,同比增长约7%网叫越来越多的组织和个人加入到信息的创造和交换中，加速了信息数字化的进程，对信息的检索、组织和管理提出了更大的需求，并催生了近年流行的大数据的概念。60互联网用户（亿人）活跃社交用户（亿人）移动用户（亿人）活跃移动社交用户（亿人）图1.120142018年全球互联网、移动、社交用户规模逐年变化趋势自然语言作为人们交换信息的基本方式，随着互联网的高速
16、普及，数字化的文本信息加数量增长尤为迅猛。这些信息不仅数量巨大，而且为了便于存储和传输，大量采用结构化或半结构化形式，例如：HTML（HyperTextMarkupLanguage）XML（extensibleMarkupLanguage）JSON（JavaScriptObjectNotation）o文本信息的浩瀚数量以及为机器解析与生成而设计的表示形式，均使得如何高效地对文本信息进行处理成为一个意义重大的课题。其中，文本分类问题作为自然语言处理领域的基础性问题，有着广泛的应用和影响。文本分类技术在主题标记、情感分析、垃圾邮件检测等实际问题上都有着直接应用。主题标记基于文本分类找出文本最有可能
17、的一个或若干个主题类别；情感分析基于文本分类找出文本中蕴含的一个或若干个情感类型；垃圾邮件检测基于文本分类对邮件主题、正文、发件人等信息进行分类，判断是否为垃圾邮件。因此，文本分类的水准在根本上决定了这些实际应用的实现水平。表1.I2O142O18年全球互联网、移动、社交用户规模历年数据统计13网统计截止时期（年/月）世界人口（亿人）互联网用户（亿人）活跃社交用户（亿人）移动用户（亿人）活跃移动社交用户（亿人）2014/170.9524.8518.57-2015/172.1030.1020.7836.4916.852016/173.9534.1923.0737.9019.682017/174.
18、7637.7327.8949.1725.492018/175.9340.2131.9651.3529.58近期对文本分类的研究主要围绕基于神经网络的文本分类方法。Bahdanau等人于2014年在研究机器翻译的过程中提出了注意力机制（AttentionMechanism），最初用于词一级，其核心思想是：解码器（decoder）在解码生成出译文时，译文中的每个词应取决于原文中的多个词，但原文中的多个词对译文中每个词的影响有大有小。生成译文词时，解码器更多地注意当前原文句子中相关性高的词，更少地注意当前原文句子中相关性低的词。注意力机制用于文本分类问题时，即意味着一个文本由句、词或其它方式拆分，每
19、个组成部分对文本分类的影响是不同的。注意力机制在文本分类问题中取得了成功的运用。Yang等人于2016年提出了层次注意力网络模型并用于文本分类川。该模型实现了层次结构的注意力机制，即：文本由句子组成，因为不同的句子对文本的影响大小是不同的，因此文本对其包含的句子应施以不同的注意力；句子则由词组成，因为不同的词对句子的影响大小是不同的，因此句子对其包含的词应施以不同的注意力。实验表明，基于层次注意力网络模型的文本分类创造了文本分类的新高度。1.2 文本分类概述文本分类的目标是为文本分配标签。文本分类是指通过文本分类方法，把文本归类到既定的类型中。文本分类作为自然语言处理领域的基础性研究，文本分类
20、研究的发展历史和发展阶段与自然语言处理的发展历程紧密结合。自然语言处理从20世纪50年代开始，而文本分类也从这时开始。在20世纪50年代至20世纪70年代期间，自然语言处理还处于早期的发展阶段，这一阶段的研究思想饱受传统语言学研究的影响，认为要让计算机能处理自然语言，就应该让计算机能够学会人理解和处理语言的方式。而当时的人们认为人理解语言的方式是通过学习语法，继而掌握分析语句和理解语义的能力。因此这一阶段的自然语言处理方法主要围绕编写语言的处理规则展开。具体到实现文本分类，就需要针对特定的分类文本，进行研究分析，编写大量分类规则，通过匹配分类规则来实现判定文本的分类类别。这一阶段的研究人员实现
21、了一系列对自然语言语句的文法分析器，编写了大量的语法规则，取得了一定的成果。但是，随着文本信息的类型和数量的大量增加，依靠规则实现自然语言处理难以应对文本信息复杂化、多样化的趋势。对于内容丰富、结构复杂的句子，文法分析器需要建立庞大、复杂的文法分析树才能实现对句子的分析处理，这对于依赖人工编写规则的处理方式是难以实现的，而真实语句中恰恰包含大量复杂的、甚至并不严格遵循语法的语句。从20世纪70年代开始，人们开始寻找解决自然语言处理的新思路，对自然语言的处理方法开始从基于规则转向基于统计，文本分类研究也进入了基于统计的阶段。在基于统计的文本分类方法中，传统方法基于稀疏词汇特征(SParSeLeX
22、iCalFeatures)实现文本表示，典型的方法有如：词袋模型(BOW,BagofWords)、n-grams模型，再通过线性模型或核模型来计算分类。这类方法基于向量空间模型(VSM,VeCtorSPaCeModel)来建立文本表示，即把变长的文本表示为定长的特征向量。特征向量的特征权重经历了从布尔权重到频数权重，再到TF-IDF权重的发展过程，但词袋模型或n-grams模型只统计了词或连续n词出现的频率，而忽视了词与词或短语与短语之间的联系，这意味着这类模型无法有效地提取出文本中包含的语义信息。近年来，随着基于神经网络的机器学习研究的发展，文本分类研究着眼于深度学习，通过搭建基于卷积神经网
23、络的模型或基于循环神经网络的神经网络模型，进行训练，通常会习得词嵌入(WordEmbedding)句嵌入(SentenCeEmbedding)并实现文本表示，继而通过分类器，例如：多层感知器(MLHMulti-LayerPerceptron)计算分类。2014年，BahdanaU等人提出了注意力机制(AttentiOnMeChaniSm)网。注意力机制尽管最初是在研究机器翻译的过程中提出的，但对文本分类研究同样有很好的启发意义。文本分类中的注意力机制将文本视为由词、句或其它形式组成，对与分类相关性高的组成部分施加更多的注意力，给与分类相关性低的组成部分安排更少的注意力,即根据组成部分的与分类的
24、相关性为各个组成部分分配权重。注意力机制提升了文本分类的水平。2016年，Yang等人在注意力机制的基础之上，发掘了层次的概念，提出了层次注意力网络。层次注意力网络把文本视为文本-句-词的层次结构，在句、词的层级上设置注意力机制，以求对文本特征更准确地进行提取切。当前的文本分类方法多种多样，但关注的核心部分主要为以下两个部分：(1) 文本表示自然语言文本本身是非结构化的，词、短语、句子、段落等可长可短，无法被计算机直接计算。要想实现文本分类,就需要对自然语言文本进行转换，转换为可计算的形式。(2) 分类器分类器用于对文本表示的结果进行分类。文本分类的分类计算与其它领域的分类没有质的区别，通常是
25、输入为文本特征向量，输出为分类结果。迄今为止，文本分类已经在许多领域取得了实际应用，例如：(1)垃圾邮件检测电子邮件作为互联网的一项服务诞生后，极大地方便了全球互联网用户的信息交流，带来了巨大的经济效益，并成为了当今互联网的基础服务之一。但是，电子邮件的低廉的使用成本既使得电子邮件服务快速流行，也使得垃圾邮件问题日益严重。1998年，Sahami等人基于贝叶斯方法，以词、短语、域名为特征，实现了高精确度的垃圾邮件检测。(2)情感分类情感分类研究旨在让计算机能够计算、表示自然语言的情感信息，例如：通常意义上的正面、中性或负面，或是更为细致和丰富的情感类型一一，忧郁（melancholy）可怕（g
26、hastly）、暗淡（IaCklUSter）、浪漫（romantic）。Maas等人在2011年提出了基于词向量学习的情感分析方法1。1.1 主题标记主题标记有助于对海量文本数据进行快速的、依据主题的分类。2012年，Wang和Manning对比分析了过去的主题分类方法，并指出朴素贝叶斯和支持向量机是处理主题分类问题既简洁又高效的方法WL1.3 本文的主要工作及创新点本文的以文本分类为研究方向。在近年来的文本分类研究成果中，层次注意力网络实现了领先的文本分类水平，在Yelp,IMDb,YahooAnswers等数据集上均显著优于过往的文本分类模型。因此，本文以层次注意力网络为主要研究对象，并尝
27、试在层次注意力网络模型的基础之上寻求创新。本文的主要工作内容：（1）研究并实现基于层次注意力网络模型的文本分类,在YeIPreVieW和YahooAnswers大型文本数据集上进行文本分类实验，对结果对比分析。最后实现了对句、词级的层次注意力进行可视化输出并探讨了层次注意力网络模型在Yelpreview和YahooAnswers数据集上分别取得的对情感、主题特征的提取性能。（2）学习并基于结构化自注意句嵌入模型改进基于层次注意力网络的文本分类模型，进行文本分类实验，比较和分析结果。本文的创新点：在层次注意力模型中引入了结构化自注意句嵌入，并结合结构化自注意句嵌入的特性相应地更新了层次注意力网络
28、的结构，实现了文本层面一句一词的新层次结构。1.4 本文的组织结构本文共分五个主要章节：第一章：绪论。本章介绍文本分类的研究背景、研究意义，并简要介绍文本分类至今的发展历程和现今己有的文本分类主要技术，最后介绍本文包含的主要工作、尝试的创新点以及全文的主要结构。第二章：文本分类技术。本章首先介绍文本分类系统的主要结构组成，随后介绍结合文本分类的主要类别划分，分别介绍各类文本分类的典型技术，并侧重介绍与层次注意力网络模型更为相关的技术背景及理论基础。第三章：基于层次注意力模型的文本分类。本章从阐述层次注意力网络模型的背景由来开始，依次介绍该模型的思想、结构和原理，并介绍基于TenSorFk)W的
29、实验实现，在YelPreVieW和YahooAnSWerS数据集上的实验结果，最后通过可视化分析，验证层次注意力网络模型在Yelpreview和YahooAnswers数据集上分别实现的情感分析和主题标记能力。第四章：基于结构化自注意句嵌入的层次注意力模型的文本分类。本章介绍结构化自注意句嵌入模型的思想、结构和原理，并介绍通过引入结构化自注意句嵌入对上述层次注意力网络模型进行改进的创新尝试、实验细节及结果，最后通过实验数据对比分析，将基于结构化自注意句嵌入的层次注意力网络模型与标准的层次注意力网络模型进行比较和分析。第五章：总结与展望。本章对本文的主要研究的层次注意力网络模型以及创新尝试进行整
30、体分析和总结，并进一步展望未来的研究方向。第二章文本分类技术本章根据文本分类的主要技术类别，分别介绍各类别典型技术的设计思想、结构和原理,最后结合所述文本分类技术的近年实验数据,对比分析文本分类的技术概况。2.1 文本分类系统的主要结构一个完整的文本分类系统主要结构一般包含三个环节，依次为：预处理、文本表示、分类器。2.1.1 预处理预处理部分需要完成读取、解析文本内容，建立词汇(vocabulary),对文本的词和标点符号等进行标记化(tokenize)处理，统计词汇、文本数量，拆分数据集等工作。预处理部分通常需要根据处理的文本对象进行相应设计。首先，真实文本一般主要由自然语言组成,考虑到来
31、源、语言不同，可能会采取不同的编码方式，如:GB2312、UTF.8、ASCn等，文本分类系统需要在预处理环节解决编码问题，正确地读取文本内容。另外，获取的数据源通常包含其它信息并通过某种结构进行组织。常见的组织形式如：通过JSON格式序列化后的对象，通过XML进行标记的多层结构。文本分类系统需要在预处理环节实现正确的解析，以取得正确的文本内容。最后，文本因来源场景各不相同，文本内容也有可能存在不符合条件的噪声数据。例如，Web场景下的文本段落间可能会夹杂br/标签，这是HTML中的换行标签。如果是中文文本,还需要进行分词处理。预处理环节中需要根据实际情况有效地进行转换、清洗等处理。2.1.2
32、 文本表示长度不定的文本标记序列无法直接用于分类器进行分类计算，因此，需要通过文本表示转换为定长的、分类器可处理的表示形式。文本表示对预处理部分输出的标记序列进行特征提取。文本表示环节的输入是预处理后的标记序列，输出是定长的文本特征向量。传统的文本分类方法基于稀疏词汇特征实现文本表示，通过向量空间模型将文本表示为一个定长的特征向量，长度为词汇大小，特征向量的特征权重可以是布尔权重、词项频率/频数或TF-IDF值。近期的文本分类方法基于深度学习，通过训练得到词嵌入、句嵌入，并进一步获得文本表示。2.1.3 分类器文本表示完成后，就可以进一步对文本表示计算分类。分类器环节的输入是文本表示环节输出的
33、文本特征向量，输出是文本的分类。文本分类的分类器分类计算方法例如：适用于稀疏词汇特征的线性方法或核方法，或是通过训练多层感知器得到神经网络分类器。考虑到给文本确定分类时，有些情况下，一个文本只属于一个分类，但也存在一个文本可以属于多个分类的情况。因此，文本分类根据实际情况、应用需要的不同，可分为单类别(Single-label)分类和多类别(MUlti-IabeI)分类两种情况。单类别分类情况下，文本与分类是多对一映射关系；多类别分类情况下，文本与分类是多对多映射关系。2.2 文本分类的主要技术2.2.1 基于线性方法的文本分类技术线性方法是基于多项式逻辑回归对构建好的文本特征进行分类，通常把
34、文本表示为特征向量，例如：(1) 词袋和词袋+TF-IDF词袋(BoW,Bag-of-words)模型是基于统计的文本特征提取模型。词袋模型指的是对于一个文本，不考虑其词序、语法等信息，也不考虑词与词之间的关联关系，只将文本视作词的集合，形象地成为词“袋二先扫描数据集，构建总词汇，以总词汇长度作为文本向量维度。对每一个文本，该文本的文本向量默认全零，如果包含相应词，就把该词的位置的零值置为计数或置为TF-IDF数值，最终获取文本向量作为文本的表示形式。(2) n-grams和n-grams+TF-IDFn-grams模型相较于词袋模型的区别在于：n-grams模型认为语言中字词不是孤立的，相邻
35、若干词通常会组成词组，有较强的相互关系，因此在n-grams模型中，相较于词袋模型，n-grams模型考虑到了相邻词之间的关系、词组搭配，从词袋模型构建单词词汇的方式变为构建连续n词的词汇。对每个文本进行向量化表示时，也从逐个扫描统计孤立词变成了连续n词。(3) Bag-of-means均值袋(Bag-Of-means)是基于嵌入向量的特征提取方式，Mikolov于2013年发表的成果中提出了这种通过均值减小噪声信息影响的思想。例如，通过word2vec获取文本中每个词的词嵌入向量，对文本中所有词的词嵌入向量求平均取得文本特征向量。2.2.2 基于支持向量机的文本分类技术支持向量机(SVM,S
36、upportVectorMachine)是通过寻找分类超平面的方式来对文本特征向量进行分类判定。基于支持向量机的方法包括：SVM+UnigramsBigramsTextFeaturesAVerageSG、SSWEo其中，UnigramS使用单词词袋模型来建立文本特征向量，BigramS使用双词词袋模型来建立文本特征向量，而：(1) TextFeaturesTextFeatures由Kiritchenko等人在2014年提出UTextFeatures的思想是文本特征向量中包含更多文本特征信息。在TextFeatures模型建立的文本特征向量中，包含了词级n-grams、字符级n-grams、字母
37、大写信息、停用词信息、否定义信息、情感字典特征，将上述多方面的统计内容合并，最终生成文本特征向量，这样追求大而全的文本特征提取方式使得TextFeatures文本特征向量对文本特征的描述表示更为全面。(2) AverageSGAverageSG模型通过word2vec取得词嵌入向量，并继而对文本所含的所有词的词嵌入向量求平均，最终得到文本特征向量。(3) SSWE情感特性词嵌入(SSWE,SentimentSpecificWordEmbedding)是Tang等人在2014年发表的成果，主要用于情感分析口文该模型的思想是：大多数用于学习词连续表示形式的算法只对词的句法上下文进行建模，而忽视了词
38、的情感信息。为了解决此问题,SSWE将情感信息编码进词的连续表示形式。在实际应用中，可以将传统的词嵌入和SSWE的情感特性词嵌入进行结合,获取一个既包含句法上下文信息，又包含情感信息的词特征向量。2.2.3 基于神经网络的文本分类技术近期的文本分类研究着眼于基于神经网络的方法，例如：(1) CNN-wordCNN-Word是基于卷积神经网络建立的词级特征提取模型。一个句子由若干个词组成，每个词的词嵌入是一个特征向量，则一个句子可有若干个向量表示，即一个句子可由词向量序列组合形成矩阵表示。对于这个句子矩阵，就可以引入卷积神经网络进行计算，通过对卷积神经网络的结果进行池化(Pooling)和组合，
39、可以提取出句级特征向量，继而通过全连接层之类的神经网络方法对句特征向量进行分类。CNN-word模型的特点是在词级进行卷积神经网络计算。(2) CNN-char(3) CNN-Char模型由Zhang等人于2015年提出，其主要思想是：一个文本可以视作是一个字符序列，每个字符可以表示为一个特征向量，那么一个文本可由若干个字符向量表示，即一个文本可以由字符向量序列组合形成矩阵表示。对于这个文本矩阵，就可以引入卷积神经网络进行计算，通过对卷积神经网络的计算结果进行池化、组合，可以提取出文本特征向量，继而进行后续分类计算。CNN-char在字符级进行卷积神经网络计算。(4) 1.STM长短时记忆(L
40、STM,LongShort-TermMemory)模型是用于循环神经网络的一种典型的门控式神经元模型。长短时记忆的主要思想是：文本中的词与词之间不是孤立的、无联系的，词序列中的前词会形成语句的上下文信息并对后词的词义产生影响。例如，在词级使用基于长短时记忆的循环神经网络进行计算，前词的隐含状态输出会顺着词序列传递并影响后词输出。通过循环神经网络计算求得序列中所有词的隐含状态，文本特征向量可以通过对隐含状态序列求平均取得。(5) Conv-GRNN和LSTM-GRNNTang等人于2015年提出Conv-GRNN模型和LSTM-GRNN模型，分别表示卷积-门式循环神经网络(Conv-GRNN,C
41、onvolutional-GatedRecurrentNeuralNetwork)和长短时记忆一门式循环神经网络(LSTM-GRNN,LSTM-GatedRecurrentNeuralNetwork),6|oConv-GRNN模型和LSTM-GRNN模型考虑到了文本的文本-句-词的多级结构，并探索了层次结构的文本特征提取模型。Sentence RepresentationForward Gated Forward GatedNeural Network *7 Neural NetworkCNN/LSTMForward Gated Neural NetworkSentence Compositi
42、onWord RepresentationCNN/LSTMCNN/LSTMM v jwrt, 一awr图2.1Conv-GRNN和LSTM-GRNN模型结构图的如图2.1,Conv-GRNN模型和LSTM-GRNN首先分别通过卷积神经网络或长短时记忆完成词级特征提取得到句嵌入向量，随后都通过双向门式循环神经网络完成句级的上下文语义传递，并计算文本表示向量用于文本分类计算。(6) HAN层次注意力网络(HAN,HierarchicalAttentiOnNetWork)模型是Yang等人在2016年为处理文本分类问题而提出的文本特征提取模型。该模型建立了自下而上以此为词.句.文本的层次结构，其在词
43、级、句级都建立了词/句编码器和词/句注意力机制。词/句编码器通过双向循环神经网络获取词/句隐含状态向量，词/句注意力机制对句子包含的各词的隐含状态向量/文本包含的各句的隐含状态向量基于词/句级上下文向量求得词/句级注意力(Attemion)权重以加权平均求取句嵌入向量/文本表示向量，最终实现了多层级且分注意力权重的文本特征提取模型。2.3 文本分类技术对比分析上文选取了各文本分类技术类别的典型代表进行了介绍。为了直观地对比上述各类文本分类方法和典型技术，本节结合近年来发表的文本分类实验数据，对本章介绍的文本分类主要类别及其典型技术进行对比分析。以下是在较热门的数据集上实现的文本分类实验数据汇总
44、。2.3.1对比数据集表2.1文本分类数据集信息统计数据集分类文本数平均句数最大句数平均词数最大词数词汇量Yelp201353350188.9151151.61184211245Yelp2014511254579.2151156.91199476191Yelp2015515692649.0151151.91199612636IMDbreview1034841514.0148325.62802115831YahooAnswers1014500006.4515108.440021554607Amazonreview536500004.99991.95961919336Yelp2013Yelp201
45、4Yelp2015分别简记为Yelp13、Yelp14、Yelp,15,是美国Yelp公司于2013、2014和2015年各年向学术研究及教育领域提供的数据集。美国YelP公司主要业务是提供以餐饮、旅宿、周边服务为主的互联网消费点评服务。YeIp数据集中提供商家信息、用户信息、签到记录、用户点评、提示及商品或服务的图片数据。具体到以下介绍的文本分类实验中，所使用的是用户点评数据，文本分类模型根据文本点评信息，进行15分的五分类预测。IMDbreview以下简记为IMDb,是美国IMDb公司提供的影片点评数据集。此数据集提供对影片的点评以及相应的评分。基于此数据集的文本分类实验根据点评文本信息，
46、进行110分的十分类预测。YahooAnswers是美国雅虎公司提供的互联网在线问答数据集。此数据集包含问题标题、问题描述、问题回答、问答所属主题类别等信息。在基于此数据集的文本分类实验中，选取了原始数据集中十个主要主题的问答数据，根据问答的问题及描述、最佳答案的文本内容，进行10个主题的十分类预测。Amazonreview数据集是美国亚马逊公司提供的网上购物点评数据集，由斯坦福大学的SNAP项目进行管理和维护。基于此数据集的文本分类实验是根据点评文本,进行15分的五分类预测。2.3.2数据对比与分析表2.2近年来文本分类实验结果统计（数值为准确率，单位为）1,11,511,61来源方法Yel
47、p,Yelp,Velp,IMDbYahooAmazon131415reviewAnswersreviewBoW-58.0-68.954.4Zhang等BoWTF-IDF-59.9-71.055.3人(2015)n-grams-56.3-68.554.3115)n-gramsTF-IDF-54.8-68.552.4Bag-OfLmeanS-52.5-60.544.1Majority35.636.136.917.9-SVM+Unigrams58.960.061.139.9-Tang等人SVM+Bigrams57.661.662.440.9(2015)1161SVM+TextFeatures59.861.862.440.5-SVM
