摘要

基于方面的情感分析（ABSA）由两个概念任务组成，即方面提取和方面情感分类。我们不是单独考虑这些任务，而是构建一个端到端的ABSA解决方案。以前在ABSA任务中的工作没有充分利用句法信息的重要性。因此，方面提取模型通常无法检测多单词方面术语的边界。另一方面，方面情感分类器无法解释方面术语和上下文词之间的句法相关性。本文探讨句子的语法方面，并将自我注意机制用于句法学习。我们结合了词性嵌入、依赖性嵌入和上下文化嵌入（如BERT、RoBERTa）来提高方面提取器的性能。我们还提出了句法相对距离来淡化无关词的负面影响，因为它们与体词的句法联系较弱。这提高了方面情感分类器的准确性。我们的解决方案在两个子任务中均优于SemEval-2014数据集上的最先进模型。

介绍

基于方面的情感分析（ABSA）包括两个子任务，即方面提取（AE）和方面情感分类（ASC）最近的方法（He等人，2019年；Wang等人，2018年；Li等人，199年）试图开发一种综合解决方案，通过将两个子任务制定为具有统一标记方案的单个序列标记，同时解决这两个任务。添加统一令牌会增加原始ABSA任务的开销和复杂性。因此，与单独训练的单任务模型相比，多任务模型的性能通常较差。

NLU的最新进展引入了语境化语言模型，即OpenAI GPT（Radford等人，2018）、BERT（Devlin等人，2018年）和RoBERTa（Liu等人，2019年）。这些模型可以捕获单词使用的特征，并解释单词出现的不同文本上下文。在调查了方面提取中使用的最新BERT\/RoBERTabased体系结构后，很明显，它们无法确定多单词方面的边界。例如，提取器将“食品质量”这个多词表达分解为“质量”和“食品”。 我们假设这一缺陷是由于语境化嵌入无法编码丰富的句法信息所致。

在本文中，我们将句法信息集成到上下文化嵌入中，并提出了一个由方面提取器和方面情感分类器组成的ABSA解决方案，如图1所示。所提出的AE架构，称为上下文化基于语法的方面提取（CSAE），由POS嵌入、，基于依赖的嵌入（Levy和Goldberg，2014）和自我关注以及RoBERTa层。

我们的方面情感分类模型和2019年的LCF模型高度相关，关注局部上下文机制被用来降低远离局部上下文单词的贡献。然而，这种方法只是将两个词之间的词数视为它们的语义相对距离，而忽略了它们之间的句法关系。我们的方法使用依赖分析树中两个单词之间的最短路径作为句法相对距离（SRD）。我们将此模型命名为局部上下文关注语法ASC（LCFS-ASC）。对两个SemEval-2014数据集（Pontiki等人，2014）进行了对比实验，以证明句法特征在改进AE和ASC模型中的重要性。 

本文的主要贡献在于：（1）我们提出了多通道CSAE模型，该模型将语法方面提取为语境化特征，以改进序列标记；（2） 我们贡献了LCFS-ASC，它可以分析单词之间的句法联系，以更好地理解与目标方面术语相关的局部上下文；（3） 我们通过探索LCF层的注意力得分来研究SRD的重要性。 

2 相关工作

本节详细介绍了ABSA解决方案从基于单词嵌入的模型到基于上下文嵌入的模型的演变，并强调了它们的优缺点。 

基于单词嵌入的模型

最近的ABSA工作使用预先训练的单词嵌入作为数据处理层，并添加了后续层以实现更丰富的特征学习。目标相关的长短期记忆（TD-LSTM）模型（Tang等人，2015）将上下文词和目标词嵌入向量空间，并使用LSTM单元在输入序列中编码长距离关系。TD-LSTM捕捉目标词与上下文词的相关性，为ABSA提取相关信息。注意力机制已经被广泛应用于ABSA问题，以克服LSTM在长序列中出现的梯度消失问题。具有Aspect Embedding的基于注意的LSTM（A TAE-LSTM）（Wang et al.，2016）除LSTM层外，还利用了注意机制。因此，网络可以集中在句子的关键情感部分，以响应给定的方面。 

上下文预训练语言模型

词汇表征的质量是通过其编码句法特征和多义行为（即词义）的能力来衡量的。传统的单词嵌入只能产生单个上下文单词表示。最近的作品偏离了全局单词表示，并考虑了上下文相关的单词嵌入，这些单词以不同的方式“描述”单词，以解释固有的词义。BERT（Devlin et al.，2018）是一种屏蔽语言模型（LM），它屏蔽了句子中一定百分比的单词，并建立了预测屏蔽单词的训练目标。RoBERTa（Liu et al.，2019）改进了BERT模型，用更大的数据量对模型进行更长的训练，并消除了下一句预测目标。BERT在ABSA问题中有多种应用。 

AEN-BERT（Song等人，2019）使用BERT嵌入上下文序列和目标序列；并应用注意力提取目标词和上下文词之间的语义交互。 LCF-BERT（Zeng et al.，2019）使用上下文动态掩蔽/上下文动态加权，使用语义相对距离定位情感信号。这个距离是通过上下文词和目标方面词之间的字数来衡量的。局部上下文层允许模型强调语义相关上下文词。然而，尽管批评性情绪词的语义相对距离很大，但有时可以通过语法规则与目标体词相关联。我们假设，使用句法相对距离来识别无关词可以避免错误地消除关键情感词的贡献。 

最近有一些基于BERT的方法工作在AE任务中取得了可喜的结果（例如，见Xu等人（2019年））。然而，他们需要在大型特定领域语料库上重新训练BERT模型，这使得实现独立于领域的方面提取器变得不可行。我们放弃此类培训后方法，寻找通用AE架构。

3模型结构

方面项提取模型CASE

图2展示了方面项提取的整体架构，包括上下文嵌入(Bert)词性嵌入 和依赖项嵌入。

方面项情感分析模型LCF-ASC

为了理解全局语境，将上下文句子S和体项A结合起来构建全局语境G。全局表示G G = [CLS]+S+[SEP ]+A+[SEP]   局部上下文表示 L=[CLS] + S +[SEP ]

定义新的SRD方法

单词之间的SRD是通过解析树中相应节点之间的最短距离来度量的。如果方面词由多个单词组成，则输入单词和多单词方面词之间的SRD计算为每个组成单词和输入单词之间的平均距离。