读论文-基于注意力机制的对抗性协同过滤推荐算法

前言

今天读的论文为一篇名叫《基于注意力机制的对抗性协同过滤推荐算法》，文中主要介绍了一种基于相关注意力的协同过滤推荐算法，该算法结合深度学习中的注意力机制为不同物品分配不同的权值来捕获与目标物品最相关的物品,探索不同物品的权重对模型预测的影响并以此提升推荐的准确度，此外，为了解决推荐算法鲁棒性低的问题,进一步提出了注意力协同对抗性训练的推荐算法,通过对抗性学习的方法并使用快速梯度符号算法(FGSM)构建对抗样本输入模型进行对抗训练,缓解模型受扰动的影响从而提升算法鲁棒性。

摘要

针对协同过滤推荐算法中用户所交互的物品对其决策的不同贡献度问题,提出了一种基于相关注意力的协同过滤推荐算法。 该算法结合深度学习中的注意力机制为不同物品分配不同的权值来捕获与目标物品最相关的物品,探索不同物品的权重对模型预测的影响并以此提升推荐的准确度;在此基础上,为了解决推荐算法鲁棒性低的问题,进一步提出了注意力协同对抗性训练的推荐算法,通过对抗性学习的方法并使用快速梯度符号算法(FGSM)构建对抗样本输入模型进行对抗训练,缓解模型受扰动的影响从而提升算法鲁棒性。 在 Pinterest 和 MovieLens-1M 这 2 个数据集上的实验结果表明,所提算法不仅有效提升了推荐算法的准确度,同时也增强了推荐系统的鲁棒性。

引言

推荐系统已成为信息检索和数据挖掘的重要手段之一。

基于物品的协同过滤( item based collaborativefiltering, ICF)是当前推荐算法中最主要的一种,其原理是通过“用户-物品” 的交互数据来预测用户的偏好并生成 K 个用来推荐给用户的候选物品,然后再通过一个排序系统对生成的候选进行 Top-K 排序。

早期的ICF使用统计度量来量化2个物品间的相似性,例如物品间的余弦相似性,但为了使模型表现良好,此类方法通常需要对相似性度量进行手动调整。近年来,研究人员进一步地通过数据驱动的方法来学习物品间的相似性,代表性的2种方法是稀疏线性模型(sparselinearmethods,SLIM)和物品相似性分解模型(factoreditemsimi-laritymethods,FISM)。SLIM通过对数据的稀疏性和非负性限制,直接学习物品-物品的相似度矩阵,而FISM则将2个物品间的相似度分解为它们的潜在向量的内积。

上述方法只考虑了物品间的简单交互而没有考虑到高阶交互关系,例如某些具有共同属性的多个物品。为了有效捕捉物品间的高阶交互关系,Feng等人提出了一种深度协同过滤推荐算法(deepitem-basedcollaborativefilteringfortop-nrecommendation,DICF),该算法使用不同的神经层来分别捕获物品间的低阶和高阶关系。具体地说,首先在神经网络的底层,通过对每个物品对的嵌入进行Hadamard乘积运算来捕捉物品间的低阶交互关系;然后,使用一个深度交互层,并利用非线性学习的方法来捕捉物品间的高阶交互关系。得益于多层神经网络强大的学习能力,这种端到端的方案可以有效捕捉到物品间高阶关系对用户决策的影响。

尽管上述方法在推荐准确性上取得了良好的性能,但还是忽略了历史上不同交互物品对用户当前选择贡献度的差异。事实上,某个用户对其所交互过的一组历史物品中不同物品的偏好应该是不同的。例如,用户分别购买了衣服、电脑和皮包3种物品,但并不意味着用户对这3种物品具有相同的偏好。当用户需要购买一件上衣时,显然衣服这个历史样本对当前决策的影响更大,因此它的权重因子也就更大。为了处理这类问题,引入深度学习中的注意力机制,其核心思想是从原始信息中捕获与当前任务最相关的部分并进行加权处理。通过注意力机制,为不同的历史物品分配不同的权重,从而提升模型的推荐精度。

研究表明，如果在训练过程中人为地对模型输入施加微小的扰动时,模型性能会急剧下降,这也就意味着推荐模型抗干扰能力差。受到计算机视觉领域对抗性机器学习的启发,本文发现将对抗性学习结合到推荐系统模型中时,可以有效增强模型的鲁棒性。通过对用户和物品嵌入对抗扰动,再将扰动后的样本和原始样本一起输入到模型中进行训练,可以有效提升模型的鲁棒性。

注意力机制

此前的研究表明,如果在训练过程中人为地对模型输入施加微小的扰动时,模型性能会急剧下降,这也就意味着推荐模型抗干扰能力差。受到计算机视觉领域对抗性机器学习的启发,本文发现将对抗性学习结合到推荐系统模型中时,可以有效增强模型的鲁棒性。通过对用户和物品嵌入对抗扰动,再将扰动后的样本和原始样本一起输入到模型中进行训练,可以有效提升模型的鲁棒性。

对抗性训练

对抗训练是提升机器学习模型鲁棒性的重要方式,其原理是在模型训练过程中动态地生成对抗样本,将其添加到模型中进行训练,使得模型能够适应这些样本,进而提升鲁棒性。推荐系统的本质也是一个分类任务,因此对抗性训练的方法同样适用于推荐系统。

模型架构

RACF 模型

为了区分用户不同交互物品的贡献度,本文采用深度学习中的注意力机制,提出了基于注意力网络的协同过滤推荐算法(RACF),整个模型包括输入层、嵌入层、注意力层、逐对交互层、池化层、深度交互层以及预测层。在输入层,分别使用one-hot和multi-hot编码来对目标物品i和用户的历史物品集R_u⁺进行特征嵌入,将目标物品和每一个历史物品j∈R_u⁺,映射成一个维度为16的特征向量p_i、q_j。因此,嵌入层输出的就是代表用户物品的特征向量q_j的集合和代表目标物品的特征向量p_i。
注意：有关one-hot和multi-hot编码，可以参考这篇博客:知乎-one-hot\multi-hot\Embedding详解

算法流程

实验数据集

在MovieLens-1M和Pinterest这2个数据集上评估所提出的模型性能。Movielens-1M是一个电影评价的数据集,被广泛用于协同过滤算法上,本文使用包括100万个评分、每个用户至少有20个评价的版本。Pinterest是一个图片数据集,原始的Pinterest数据集非常稀疏,选择使用一个类似于MovieLens-1M的版本,即每个用户至少有20次交互。数据集信息如表1所示。

结尾

本文提出一种结合注意力机制的协同过滤推荐算法(RACF),通过注意力网络解决了推荐系统中用户不同历史物品的贡献度问题。在此基础上,为了研究推荐系统鲁棒性问题,提出了基于注意力机制的对抗性协同过滤推荐算法(ARACF)以此增强模型的鲁棒性。在2个数据集上进行的实验结果表明,本文所提算法不仅提升了模型的性能,还有效提升了模型的鲁棒性。

好了，今天的论文就先读到这儿了，明天再见。