摘要
本文主要研究基于方面的情感分析的两个子任务，即方面项提取和方面情感分类，我们称之为方面项极性共提取。前者的任务是从意见文档中提取产品或服务的方面，后者是识别文档中表达的关于这些提取方面的极性。大多数现有的算法将它们视为两个独立的任务，并逐个求解，或者只执行一个任务，这对于实际应用来说可能很复杂。在本文中，我们将这两个任务视为两个序列标记问题，并提出了一种新的双交叉共享RNN框架（DOER），以同时生成输入句子的所有方面对。具体而言，DOER包括一个双递归神经网络来提取每个任务的相应表示，以及一个交叉共享单元来考虑它们之间的关系。实验结果表明，在三个基准数据集上，该框架的性能优于最先进的基线。
1介绍
方面术语提取（ATE）和方面情感分类（ASC）是基于方面的情感分析的两个基本的细粒度子任务。方面术语提取是提取表达意见的实体的属性（或方面）的任务，而方面情感分类是识别意见文本中这些提取方面表达的极性的任务（Hu和Liu，2004）。考虑图1中的示例，其中包含了人们对分别标有极性的方面术语“操作系统”、“预加载软件”、“键盘”、“包”、“价格”和“服务”的评论。极性包含积极，消极，中性和冲突。
为了便于实际应用，我们的目标是同时求解ATE和ASC。为了便于描述和讨论，这两个子任务称为方面项极性共提取。ATE和ASC都引起了研究人员的极大关注，但由于一些挑战，它们很少同时解决：
(1)ATE是提取或者序列标注任务，ASC是分类任务，因此，它们自然被视为两个独立的任务，并以流水线方式逐个解决。然而，这种两阶段框架很复杂，很难在应用中使用，因为它需要分别训练两个模型。当使用特征项对其对应极性进行分类时，还存在潜在的误差传播。因此，由于这两项任务的性质不同，目前的大多数工作都集中于提取方面术语或者情感分类。弥合这两个任务之间差异的一个可能想法是将ASC更改为序列标记任务。
(2)句子中方面项的数量是任意的。考虑到图1中所示的示例，我们可以观察到一些句子包含两个术语极性对，而一些句子包含一个词汇极性对。此外，每个方面项可以由任意数量的词组成，这使得共提取任务很难解决。
一些现有研究将ATE和ASC视为两个序列标记任务，并将它们一起处理。Mitchell等人（2013年）和Zhang等人（2015年）比较了提取命名实体及其情感的流水线、联合和折叠方法。他们发现，连接和折叠方法优于管道方法。Li和Lu（2017）提出了一个联合的CRF模型。与标准CRF的不同之处在于，它们扩展了每个单词的节点类型，以捕获情感范围。另一项有趣的工作来自Li等人（2019年），其中作者提出了一个统一模型，采用联合方法进行方面项极性共提取。我们可以通过图2直观地解释流水线、联合和折叠方法。流水线方法首先使用方面术语标记标记给定句子，例如“B”和“I”（方面术语的开头和内部），然后将方面术语输入分类器以获得其对应的极性。折叠方法使用折叠标签作为标记集，例如“B-PO”和“I-PO”。每个标记表示纵横比术语边界及其极性。联合方法用两个不同的标记集联合标记每个句子：方面术语标记和极性标记。
我们认为，当与神经网络集成时，joint方法比collapsed方法更可行，因为后者的组合标记可能容易使学习表示混淆。作为图2中的示例，“操作系统”是一个方面术语。它的极性“积极”实际上来自“爱”这个词。
它们应该分开学习，因为这两组单词的含义不同。这意味着使用“B-PO I-PO”同时提取“操作系统”和“爱”的含义在培训中是困难的（稍后会更清楚）。相反，联合方法对ATE和ASC有单独的表示，并有单独的标签。因此，额外的情感词汇可以改善ASC的表示，并且ATE和ASC的交互可以进一步增强彼此的性能。
在本文中，我们提出了一种新的双交叉共享RNN框架（DOER），用于生成给定句子的所有方面项极性对。DOER主要包括一个双递归神经网络（RNN）和一个交叉共享单元（CSU）。CSU旨在利用TE和ASC之间的交互作用。除此之外，还集成了两个辅助任务：方面项长度增强和情感增强，以改进ATE和ASC的表示。还提出了一种称为剩余选通单元（ReGU）的额外RNN单元，以提高方面项极性共提取的性能。REG利用门将输入传输到输出，如跳过连接（He等人，2016），因此，能够进行更深入的训练并获得更有用的特征。总之，DOER通过端到端方法同时生成方面项及其极性，而不是构建两个单独的模型，这节省了时间，并为实际应用提供了统一的解决方案。
贡献如下：
提出了一种新的框架DOER，以端到端的方式解决方面项极性共提取问题。交叉共享单元（CSU）旨在利用两个任务的交互。
设计了两个辅助任务来增强ATE和ASC的标记，并提出了一个ReGU单元调节器来提高特征提取能力。
2方法
拟议的框架如图3a所示。我们将首先提出方面术语极性共提取问题，然后在本节中详细描述该框架。
2.1问题陈述
我们将其分解为两个序列标记任务。形式上，给定一个包含来自特定域的n个单词的句子S，由S={wi|i=1，…，n}表示，对于每个单词wi，ATE的目标是为其分配一个标记ta 同样，ASC的目标是分配一个标签tp其中ta={B，I，O}和tp={PO，NT，NG，CF，O}。T a中的标记B、I和O分别代表一个方面术语的开头、方面术语的内部和其他单词。标签PO、NT、NG和CF分别表示极性类别：正极、中性、负极和冲突。TP中的标记O表示类似于TA中的其他单词。图2显示了图1中第一个句子的标记示例。
2.2模型概述
我们使用（Xu等人，2018）中提出的双嵌入作为初始词嵌入，而不是采用标准技术通过连接词嵌入和字符嵌入来生成每个词的嵌入。双嵌入包含两种类型：通用嵌入和域特定嵌入，其区别在于嵌入是否由特定领域语料库训练。形式上，每个单词wi将用特征向量hwi初始化∈ RdG+dD，其中dG和dD是通用嵌入件G的第一维度尺寸∈ RdG×|V|和域特定嵌入∈ RdD×|V|，|V|是词汇表的大小。因此，hwi由hwi=G（wi）⊕ D（wi）生成，⊕ 表示串联操作。图3a中的hg和hd分别表示G（wi）和D（wi）。
所有词汇表外的单词都被随机初始化，所有句子都被填充（或在测试时定制），并用零初始化为训练句子的最大长度。
DOER的主要架构是一个堆叠的双RNN，一个ReGU用于ATE，一个ReGU用于ASC。RNN的每一层都是双向调节器（BiReGU）。如图4所示，ReGU有两个门来控制输入流和隐藏状态。给定时间t的输入xt和前一存储单元ct−1、通过以下等式计算新存储单元ct：
是遗忘门，ot=
如果
的大小和ct相同，
是
，否则
用
来计算，ft控制从上一时间戳到下一时间戳的信息流。ot控制从上一层到下一层的信息流。BiGeRU具有两个方向的表示，和BiLSTM相同，
我们将双BiReGU的输出分别称为hA和hP，以区分ATE和ASC。
交叉共享单元 在生成BiReGU之后的表示时，ATE和ASC的信息彼此分离。然而，事实是ATE的标签和ASC的标签有很强的关系。例如，如果ATE的标签为O，则ASC的标签也应为O，如果ASC的商标为PO，则ATE的标签应为B或I。此外，ATE的标签和ASC的标记都具有暗示每个方面术语边界的信息。
交叉共享单元（CSU）用于考虑ATE和ASC的相互作用。我们首先计算合成向量α∈ RK通过以下张量运算符：这种张量算符可以看作是多个双线性项，具有建模两个向量之间更复杂组合的能力
在获得合成向量后，注意力得分SMi j计算为：
因此，SMi j是一个标量。所有这些标量SAi j和SPi j分别集中在两个矩阵SA和SP中。SAi j的得分越高，表示方面项i与从第j个单词捕获的极性表示之间的相关性越高。同样，SPi j得分越高，则表示方面项极性i与从第j个单词捕获的方面项项表示之间的相关性越高。我们通过以下方式使用其相关表示来增强原始A TE和ASC功能：
这样的操作可以使TE和ASC从彼此获得增强的信息。
为了生成最终的ATE标签和ASC标签，可以使用密集层加上softmax函数或条件随机场（CRF）。根据（Reimers和Gurevych，2017）中的比较，使用CRF而不是softmax分类器作为最后一层可以提高标记之间高度依赖性任务的性能。因此，我们使用线性链CRF作为推理层。其对数似然计算如下：
联合产出 在推理层生成ATE或者ASC的标签之后，最后获得方面项和情感极性对，为了生成每个方面项的极性，我们使用方面项作为极性标签的边界，然后计算边界内每个极性类别的数量，并采用具有最大数量的标签或第一个标签（如果每个极性分类的所有数量相等）作为最终极性 。
辅助方面项长度增强
尽管CRF能够考虑两个相邻标签的相关性，但也会产生不连续标签，尤其是对于很长的目标方面。为了减轻体项长度的影响，我们设计了一个辅助任务，在训练模型时预测每个句子中方面项的平均长度。ATE中预测的计算过程如下：
是
最大池化的结果，我们通过均方误差（MSE）计算预测损失：
其中，ˆzu是在训练数据集上进行全局归一化后句子中体项的平均长度。ASC与ATE有相似的预测方法。
辅助情感词汇增强
如前所述，方面术语的极性通常是从其相关的意见词中推断出来的。因此，我们还使用情感词汇来指导ASC。具体而言，我们在ASC分支上训练了一个辅助词级分类器，用于基于情感标签ˆY Sp区分积极词和消极词。这意味着我们在训练中使用情感词典将句子中的每个词映射到情感标签。对于第一个RNN层生成的ASC 的每个特征，我们使用线性层和softmax函数获得其情感标签：
损失函数如下：
模型整体损失函数如下：
La和Lp是ATE和ASC两个序列标注预测的损失函数，Lua和Lup是其中一个辅助任务预测句子方面项的平均长度的损失函数，Ls是情感词增强的损失函数，Θ表示包含所有权重矩阵W、U、v和偏差向量b的模型参数。λ是正则化参数。
标签：ATE,极性,标记,标签,方面,ASC,DOER From： https://www.cnblogs.com/zhang12345/p/16587150.html