Sentiment Analysis Based on Deep Learning: A Comparative Study
深度学习的情感分析的比较研究
目前在社交网络中的情绪分析已经成为了解用户意见的有力手段，并有着广泛应用。然而情感分析的效率和准确性受到自然语言处理中遇到的挑战和障碍
本问综述了采用深度学习解决情感分析问题（如情感极性的研究）的最新研究。使用术语频率-逆文档频率（TF-IDF）和单词嵌入的模型已经应用于一系列数据集。最后，对不同模型的输入特征的实验结果进行了比较研究。
1.引言
Web2.0让用户可以在博客、论坛和在线社交网络中分享自己的观点。这些观点可以是抱怨自己购买的产品，讨论当前问题，表达自己的政治观点等。合理的利用这些信息是一些推荐系统运行的关键，合理分析这些意见也是可以很好的帮助政府了解公众想法。
情感分析SA的数据来源是在线社交媒体，其用户产生的信息量不断增加，因此必须在大数据方法下考虑这些类型的的数据源，因为 必须处理额外的问题来实现高效的数据存储、访问和处理，并确保所获结果的准确性
社交媒体是SA的重要数据来源，社交网络在不断扩大，产生更加复杂和相互关联的消息。在这样的背景下，不要只关注数据的结构和相关性，而是关注一种终身学习的方法来处理复杂网络中的数据表示、分析、推理、可视化、搜索和导航以及决策。
情感分析已经扩展到了其他领域并有了很广泛的应用，从金融预测和营销策略到医学分析和其他领域。然而很少有人会关注评估不同的深度学习技术来改变模型的实际性能提升。在特定数据集上检测单个算法性能可以发现，卷积神经网络CNN和递归神经网络RNN的总体准确性是较高的。其中CNN和RNN模型可以克服深度学习模型中短文本的缺点，长短期记忆神经网络在不同的天气和情绪文本水平上使用时表现有效。
情感分析准确性的两个因素：可读性和评论的长度。更高的可读性和更短的文本集产生了更高质量的情感分类。
本文实验建立在以前关于提高SA性能的研究基础上，从三个标准的角度评估模型结果：总体准确性、F分数、处理时间。将具有TF-IDF和单词嵌入的深度学习模型应用于Twitter数据集，并实现了基于深度学习的最新情感分析方法
2.背景
2.1 深度学习
深度学习采用多层方法来处理神经网络的隐藏层，其中特征是自动学习和提取的，实现了更好的准确性和性能
POS词性、NER命名实体识别、TF-IDF术语频率-逆文档频率
2.1.1 深度神经网络DNN
2.1.2 卷积神经网络CNN
卷积神经网络是一种特殊类型的前馈神经网络，最初用于计算机视觉、推荐系统和自然语言处理等领域。是一种深度神经网络架构，通常由卷积层和池化层或子采样层组成，为全连接的分类层提供输入。
-
卷积层：过滤了输入以提取特征，多个滤波器的输出可以组合
-
池化或二次采样层：降低了特征的分辨率，增加CNN对噪声和失真的鲁棒性。
-
全连接层：执行分类任务
该图对于输入数据，首先经过变化成为嵌入矩阵，之后经过两次卷积层和一个最大池化层之后再经过两个卷积层和一个最大池化曾才变成最后的输出结果，前两个卷积层分别有64和32个滤波器，用于训练不同特征，之后的池化层用于降低输出局的复杂性并防止数据的过度拟合。之后的卷积层是16个和8和滤波器，然后是最大池化层和全链接层，全连接层将高度为8的向量减少到输出向量为1个。
2.1.3 循环神经网络RNN
其中神经元之间的连接形成有向循环，在RNN内产生反馈循环。主要功能是根据有向循环捕获的内部存储器来处理顺序信息。与传统的神经网络不同的是它可以记住先前的信息计算，并可以通过将其应用于输入序列的下一个元素来重用它。
该图对输入数据进行预处理，以重塑嵌入矩阵的数据，之后是LSTM，包括200个单元。最后一层是全连接层，包括128个用于文本分类的单元格。最后一层使用sigmoid函数将128维的减少到1维。
2.1.4 其他神经网络
有一种神经网络是深度信念网络（DBN）。它包括图像模型的多层，具有有向边和无向边。每个网络由多层隐藏单元组成，每一层都连接到下一层，但一层内的单元不连接。通过使用贪婪分层学习算法来学习DBN
2.2 情感分析
情感分析是提取关于实体的信息并自动识别该实体的任何主观因素的过程，目标是确定用户生成的文本是否传达了他们的积极、消极或中立的意见。
情感分析可在三个层次上进行：方面或特征层次、句子层、文档层次。目前有三种方法来解决情感分析的问题：基于词典的技术、基于机器学习的技术和混合方法
-
基于词典的技术。分为两种方法：基于词典的方法和基于语料库的方法前一种类型中情感分析通过使用术语词典来执行。基于语料库的方法不依赖预定的字典，而是依赖于对文档集合内容的统计方法：K近邻（K-NN）条件随机场（CRF）和隐马尔可夫模型（HMM）等技术
-
机器学习的技术。分为两种方法：传统模型和深度学习模型。
-
传统模型如天真贝叶斯分类器、最大熵分类器、支持向量机等这些算法的输入包括词汇特征、基于情感词典的特征、此类或形容词和副词，准确性取决于所选的特征
-
深度学习模型比传统模型有着更好的结果。
-
-
混合方法。结合了基于词典和机器学习的方法。情感词汇通常在大多数策略中起着关键作用
情感分析，无论是通过深度学习还是传统的机器学习，都需要在归纳分类之前对文本训练数据进行清理。比如空格、标点符号、非字符、转发、@links和停用词这些可以使用BeautifulSoup等库进行删除这些无用消息。清理后推文可以拆分为单个单词、通过词条转化成基本形式，然后使用单词嵌入或术语频率-逆文档频率（TF-IDF）等方法转换成数字向量。
单词嵌入是一种应用于语言建模和特征学习的技术，其中每个单词都被映射到一个是实值向量中，使得具有相似含义的单词具有相似表示。一个常用的单词嵌入系统是word2vec，它包含诸如skip-gram和连续词袋CBOW的模型。这两个模型都是基于单词彼此相邻出现的概率。
-
skip-gram使得从一个单词开始并预测可能围绕它的单词成为可能。
-
连续词袋模型通过根据特定上下文单词预测可能出现的单词来逆转这种情况
术语频率-逆文档频率（TF-IDF）是一个统计度量，反映了一个词对一个集合或语料库中的文档有多重要，此度量考虑单词在目标文档中的出现频率，以及在语料库中其他文档中的频率。在目标文档中出现频率越高，在其他文档中出现频率越低，其重要性越大
情感分析任务将原始数据的集合转换成连续实数的向量。有不同种类的任务，如客观或主观分类、极性情感检测和基于特征或方面的情感分析。
2.3 情感分析的应用
在商业智能和电子商务领域，公司可以研究客户的反馈，以提供更好的客户支持，制造更好的产品，或改进营销策略，以吸引新客户。情感分析可以用来推断用户对事件或产品的看法，SA的结果有助于更深入地了解客户兴趣和行业趋势
在推荐系统领域，情感分析也应用在其中，其中递归神经网络被应用于分析评论中的情绪，该输出用于改进和验证基于云地推荐系统地餐馆或电影推荐。与行为分析一样，情绪分析也是商品市场的有效工具。
在医学领域，使用医学词典，来支持专家和患者使用各种方法来描述症状和疾病，在心理健康领域，情感分析对患者在社交媒体上的帖子，作为补充或替代他们通常填写的问卷。
3. 相关工作
不同领域应用了基于深度学习的情感分析，包括金融、天气相关推文、旅行顾问、云服务推荐系统和电影评论。在天气相关推文中，文本特征是不同的数据源中自动提取的，使用word2VEC工具将用户信息和天气信息知识转移到word嵌入中。
在基于情感检测的LSTM模型中，结合了情感和语义特征，Preethi等人使用来自马来西亚的食物数据集，将深度学习应用于云中推荐系统的情感分析。
应用于推文的基于极性的情感深度学习，作者阐述了他们是如何使用深度学习模型来提高各自情感分析的准确性。
许多研究使用咸通的过程进行情感分析。首先，从不同的数据源中提取文本特征，然后使用word2VEC工具将其转化为单词嵌入。
4. 比较研究
首先介绍与数据及相关的不同主题，然后提供关于情感分类过程发的细节
我们使用了八个数据集。其中三条包含推文；最大的一个数据集有160万条推文，每条都被标记为积极或消极的情绪，而其他两个数据集分别包含14，640条和17，750条推文，被标记为积极、消极或中性。其余五个数据集包括总共125，000条来自用户对电影、书籍和音乐的评论，这些评论被标记为积极或消极的情绪。
实验中比较了两种准备分类算法输入的方法：单词嵌入和TF-IDF。对于单词嵌入应用了word2VEC，它包含诸如跳过语法和连续词袋（CBOW）的模型。对于TF-IDF使用了scikit-learn库中的矢量类。
本实验研究了三个模型DNN、CNN、RNN在不同数据集上进行训练和评估，这些数据已经用单词嵌入和TF-IDF进行了预处理。进而比较所有这些技术的性能。
4.1 数据集
情感分析的研究要么生成自己的数据，要么使用可用的数据集。生成新的数据使得使用符合分析目标问题的数据成为可能。主要缺点是必须标记数据集、生成大量数据较难、选择数据集时尊重个人隐私也是重要因素。
本实验采取被研究界广泛接受的数据集。且重点关注的问题之一是研究结果的可拓展性。因此数据集是从不同的来源获得的，涵盖了不同主题，以便进行广泛的实验。
4.2 方法论
前面提到的DNN、CNN、RNN三种方法，已经在很多论文和实验中确定了其都有着高度准确的结果，然而本文对这三个方法进行了比较研究。
本实验在八个数据集上对上述三个深度学习模型进行研究，在数据预处理过程采用两种文本处理技术。这些方法性能的评价标准是采用分类问题最合适的指标进行评估：总体准确性、召回率、F分数和曲线下面积（AUC）
4.3 情感分类
文本清理是去除不包含相关信息的单词或其他组建的预处理步骤，因此有可能会降低情感分析的有效性。文本或句子数据包括空白、标点符号和停用词。文本清理用于句子规范化。文本清理步骤：
-
清理@、#、以及超链接
-
词干或词汇化
-
将文本转换为小写
-
清除所有非字母字符、包括数字
-
删除英语停用词和标点符号
-
删除多余空白
-
将HTML解码为一般文本
在进行数据清理后，句子被分成单独的单词，这些单词通过词汇化返回到他们的基本形式。在这一点上，通过使用上述两种文本预处理的方法来将句子转换成连续实数向量，也称特征向量。单词嵌入和TF-IDF转换出来的两种特征向量，都是研究中评估的深度学习算法的输入。
4.4 情感模型
大多数的传统模型并没有考虑词与词之间的相似性，目前NLP中的许多深度学习模型需要单词嵌入结果作为输入特征。下图显示了最接近iphone、奥巴马、大学的单词的语义相似性。最接近奥巴马的是总统、领袖和选举。最接近大学的是学生、教育和硕士。由于神经网络可以使用单词嵌入来解决情感分类，我们使用word 2VEC来训练来自上述数据集的初始单词向量
下图显示了从数据集的一些主题中产生的单词云。这些数据集在转换成向量之前被清理。该图演示了如何轻松识别主题。书籍主题显示在左上角，电影主题显示在右上角，左下角显示音乐主题，最后飞机主题显示在右下角。
5. 实验结果
Sentiment140是要处理的第一个数据集，它的内容被标记为阳性或阴性。由于这个数据集比其他的要多很多数据。所以我们首先分析了由不同百分比（10%-100%）的初始数据形成的不同子集诱导的模型性能。
当是用单词嵌入时与之搭配的最好的模型是RNN，与之相反的是，当使用TF-IDF时RNN是与之搭配最差的模型。
在单词嵌入时，三种模型的效果没有明显差异，在TF-IDF时，三种模型的差距较为明显。由此可以看出单词嵌入是比TF-IDF更加健壮的的技术，且它的使用将允许我们以较低的计算成本处理包含总样本50%或60%的数据子集，并且结果几乎没有差异
下图分别表示使用不同数据集时候，使用不同数据预处理方式时三种模型的表现。
得出结论：一般来说，RNN和单词嵌入的结合表现出最好的行为，尽管会有一些例外（书评和音乐评论），其中DNN+TF-IDF的所有度量值略高于RNN+单词嵌入。
使用TF-IDF产生的模型不太可靠，比使用单词嵌入需要更长的计算。
三个模型的结果分析：
-
CNN模型在处理时间和结果准确性之间做出了最佳权衡。虽然RNN模型在与单词嵌入一起使用时有最高的准确度，但是处理时间是确是CNN的10倍。与TF-IDF技术一起使用时，RNN模型时无效的。并且时间久效果还较差。DNN相对于另外两个有着平均处理时间和平均结果，未来对深度学习模型的研究可以专注改善结果准确性和处理时间之间的权衡
6. 结论
缺乏对CNN、RNN和LSTM，在不同数据集上面详细的对比分析。此外大多数论文结果都只有可靠性的分析而缺少计算时间的考量。
本文实验结果表明，在执行情感分析时，将深度学习技术与单词嵌入相结合，比与TF-IDF相结合更好。实验还表明，CNN优于其他模型，在准确性和CPU运行时间之间取得了良好的平衡。对于大多数数据集，RNN的可靠性略高于CNN的可靠性，但是计算时间要长的多（10倍）。并且算法的有效性很大程度取决于特征的选择。所以要用更多的数据集和特征来测试算法的性能。
改进方面：
-
探索混合方法，多种模型和技术相结合，来提高单个模型或技术实现的情感分类准确性。
-
解决方面情感分析问题，以便通过用户情感于特定功能或主题相关联来更深入地了解用户情感。
标签：嵌入,Based,Sentiment,Study,单词,情感,IDF,数据,模型 From： https://www.cnblogs.com/bolunwei/p/17282764.html