前言
今天读的文章为一篇名叫《基于自监督学习的序列推荐算法》的期刊论文，文章于2023年8月15日发表在自然科学报上，这篇论文的引用为：
[1]闫猛猛,汪海涛,贺建峰等.基于自监督学习的序列推荐算法[J].重庆邮电大学学报(自然科学版),2023,35(04):722-731.
摘要
原文如下：
针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题，提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题，对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题，将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中，充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。
摘要中介绍了现有的序列推荐算法的缺点：易受数据稀疏影响以及对用户短期动态偏好建模不充分，基于此问题，文章提出了基于自监督学习的序列推荐算法。
- 针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题，对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;
- 利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;
- 针对现有自注意力机制无法建模序列中项目相对位置关系的问题，将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中，充分捕获用户短期序列中项目的相对位置信息。
基于SSL的序列推荐算法
在用户交互序列中，用户集合表示为U，项目集合表示为I，按时间升序对交互序列进行排序，用户u∈U的历史交互序列可以表示为Su=［iu1，iu2，…，iu|Su|］，其中|Su|表示序列的长度，iut∈I表示用户u在时间t与项目it产生了交互。本文算法的目标是i预测在时间t+1最可能与用户u发生交互的项目iu|su|+1。
数据增强策略
文章使用2组不同的数据增强策略，分别作用于用户长期序列和短期序列，以缓解短期序列更容易受到数据增强破坏的问题。
- 长期序列数据增强
在长期序列数据增强阶段，使用3种已有的经典数据增强方法，如下图所示。
- 短期序列数据增强
短期序列本身所含信息相对集中，对原始短期序列进行遮掩等操作可能会导致序列中的用户主要偏好发生改变。因此，长期序列的数据增强方法不适用于短期序列。
对比式自监督学习框架
SSL4Ｒec算法由长短期序列的数据增强、短期偏好自监督学习、长期偏好自监督学习、偏好动态融合4部分组成。
模型如下图所示：
短期标偏好学习
针对自注意力机制无法捕获用户短期交互序列中项目相对位置信息的缺陷，本文将DeBERTa中的解耦注意力机制引入到推荐系统中。短期偏好学习共由3个子层组成，分别是嵌入层、解耦注意力机制和前馈神经网络。
长期偏好学习
随着深度学习注意力机制层数的增加，其能够捕获近距离项目更多的潜在特征。但利用多层注意力机制对序列长期依赖的建模能力最近受到质疑。为缓解该问题，本文的长期偏好学习模块由单层的
多头自注意力机制和加性注意力机制2部分组成。
结尾
今天的论文就先读到这了，明天见！
2024-01-26 13:56:26 星期五