读论文-顺序推荐系统:挑战、进展和前景(Sequential recommender systems: challenges, progress and prospects)

前言

今天读的论文为一篇于2019年发表的论文，是关于顺序推荐系统（Sequential Recommender Systems，SRSs）的研究，作者对SRSs的挑战、进展和前景进行了系统综述。

要引用这篇论文，请使用以下格式：

Wang, Shou, et al. "Sequential recommender systems: challenges, progress and prospects." arv preprint ar**v:2001.04830 (2019).

摘要

The emerging topic of sequential recommender systems (SRSs) has attracted increasing attention in recent years. Different from the conventional recommender systems (RSs) including collaborative filtering and content-based filtering, SRSs try to understand and model the sequential user behaviors, the interactions between users and items, and the evolution of users’ preferences and item popularity over time. SRSs involve the above aspects for more precise characterization of user contexts, intent and goals, and item consumption trend, leading to more accurate, customized and dynamic recommendations. In this paper, we provide a systematic review on SRSs. We first present the characteristics of SRSs, and then summarize and categorize the key challenges in this research area, followed by the corresponding research progress consisting of the most recent and representative developments on this topic. Finally, we discuss the important research directions in this vibrant area.

顺序推荐系统(SRSs)近年来引起了越来越多的关注。与传统的推荐系统(RSs)(包括协同过滤和基于内容的过滤)不同，RSs试图理解和建模连续的用户行为，用户与物品之间的交互，以及用户偏好和物品受欢迎程度随时间的演变。SRSs涉及到以上几个方面，可以更精确地描述用户语境、意图和目标以及物品消费趋势，从而使推荐更加准确、定制化和动态化。本文对srs进行了系统的综述。本文首先介绍了srs的特点，然后对该研究领域的主要挑战进行了总结和分类，然后介绍了该领域最新和最具代表性的研究进展。最后，讨论了该领域的重要研究方向。

引言

序列推荐系统(SRSs)主要通过在序列[27]中对用户-项目交互(例如，在在线购物平台上查看或购买项目)的顺序依赖关系进行建模，来推荐用户可能感兴趣的项目。传统的推荐系统(RSs)，包括基于内容的和协同过滤的RSs，都是以静态的方式对用户-项目交互进行建模，并且只能捕捉用户的总体偏好。SRSs则将用户-物品交互视为一个动态序列，并考虑序列依赖关系来捕获用户当前和最近的偏好，从而获得更准确的推荐[1]。为了加深对SRSs的理解，接下来给出了SRSs的动机和形式化描述。图1:两个SRSs的例子:(1)Jimmy订了机票、酒店并租了车后，他的下一步行动是什么?(2)在Tina买了iPhone, iWatch和AirPods之后，她接下来会买什么?动机:为什么使用顺序推荐系统?用户与物品的交互本质上是顺序依赖的。在现实世界中，用户的购物行为通常是连续发生的，而不是孤立发生的。以图1中所描述的Jimmy的购物事件为例，在Jimmy开始度假之前，他先后预订了机票和酒店，租了一辆车，他的下一步行动可能是通过自驾参观旅游景点。在这种情况下，酒店可能离航班的目的地机场很近，取车地点可能离酒店不远。在这种情况下，Jimmy的每一个下一步行动都依赖于之前的行动，因此所有四个消费行动都是顺序依赖的。同样，我们可以看到Tina案例中的顺序依赖关系。这种顺序依赖关系普遍存在于事务数据中，但传统的基于内容的RSs或协同过滤的RSs[12]不能很好地捕捉这种顺序依赖关系，而这正是SRSs发展的动力。随着时间的推移，用户的偏好和物品的流行度都是动态的，而不是静态的。事实上，用户的偏好和口味可能会随着时间的推移而改变。例如，许多曾经是iPhone粉丝的年轻人现在已经变成了华为或三星手机的粉丝，iPhone的受欢迎程度近年来一直在下降。这种动态对于精确地分析用户或物品以获得更准确的推荐具有重要意义，它们只能被SRSs捕获。

注意：关于基于会话的推荐系统的全面调查可以找到:https://arxiv.org/abs/1902.04864。

User-item interactions usually happen under a certain sequential context. Different contexts usually lead to different users’ interactions with items, which is, however, often ignored by traditional RSs like collaborative filtering. In contrast, an SRS takes the prior sequential interactions as a context to predict which items would be interacted in the near future. As a result, it is much easier to diversify the recommendation results by avoiding repeatedly recommending those items identical or similar to those already chosen. Formalization: What are Sequential Recommender Systems? Generally, an SRS takes a sequence of user-item interactions as the input and tries to predict the subsequent user-item interactions that may happen in the near future through modelling the complex sequential dependencies embedded in the sequence of user-item interactions. More specifically, given a sequence of user-item interactions, a recommendation list consisting of top ranked candidate items are generated by maximizing a utility function value(e.g., the likelihood):

用户与物品的交互通常发生在一定的顺序上下文中。不同的上下文通常导致不同的用户与项目的交互，而传统的RSs(如协同过滤)往往忽略了这一点。相比之下，SRS将之前的顺序交互作为上下文来预测哪些项目将在不久的将来进行交互。因此，通过避免重复推荐与已经选择的项目相同或相似的项目，可以更容易地使推荐结果多样化。形式化:什么是顺序推荐系统?一般来说，SRS以用户-物品交互序列作为输入，通过对嵌入在用户-物品交互序列中的复杂顺序依赖关系进行建模，试图预测在不久的将来可能发生的后续用户-物品交互。更具体地说，给定一个用户-物品交互序列，通过最大化效用函数值(例如，最大化效用函数值)生成一个由排名靠前的候选物品组成的推荐列表。:

引言部分介绍了SRSs的背景和动机，指出传统的推荐系统无法很好地捕捉到用户行为的顺序依赖性和动态性，从而引发了SRSs的研究兴趣。

Data Characteristics and Challenges数据特征与挑战

Due to the diversity and complexity of the customers’ shopping behaviours, item characteristics and the specific shopping contexts in the real world, the generated user-item interaction data often has different characteristics. Different data characteristics essentially bring different challenges for SRSs, which require different solutions, as presented in Table 1. In the following five subsections, we specifically discuss five key challenges respectively in SRSs caused by different data characteristics. In each subsection, we first introduce the particular data characteristics and then illustrate the corresponding challenges.

由于用户购物行为、物品特征的多样性和复杂性以及现实世界中特定的购物情境，生成的用户-物品交互数据往往具有不同的特征。不同的数据特征本质上给SRSs带来了不同的挑战，需要不同的解决方案，如表1所示。在接下来的5个小节中，我们分别具体讨论了不同数据特征导致的SRSs中的5个关键挑战。在每个小节中，我们首先介绍特定的数据特征，然后说明相应的挑战。

Handling Long User-Item Interaction Sequences 处理长用户-项目交互序列

长期用户-物品交互序列由相对较多的用户-物品交互组成。因此，它有更高的可能性在其内部的多个交互之间具有更复杂和全面的依赖关系，这使得顺序推荐变得更具挑战性。具体而言，在长的用户-物品交互序列中，存在两个最关键的挑战：学习高阶顺序依赖关系和学习长期顺序依赖关系，将分别在下面介绍。

学习高阶顺序依赖关系。高阶顺序依赖关系通常存在于用户-物品交互序列中，尤其是在长序列中。与较低阶的简单顺序依赖关系相比，可以通过马尔可夫链模型[3]或分解机[14；10]来轻松建模的情况不同，由于复杂的多级级联依赖关系跨越多个用户-物品交互，高阶顺序依赖关系更加复杂且难以捕捉。到目前为止，已经报告了两种基本方法在一定程度上可以解决顺序推荐系统中的这个挑战：高阶马尔可夫链模型[6]和循环神经网络（RNN）[7]，然而，每种方法都有其局限性，例如，高阶马尔可夫链模型所涉及的历史状态相当有限，因为随着阶数增加，需要估计的模型参数数量呈指数级增长；而RNN中使用的过于强烈的顺序假设限制了其在具有灵活顺序的序列中的应用。各种方法在解决这个挑战方面取得的技术进展将在3.1和3.3节中更详细地介绍。

学习长期顺序依赖关系。长期顺序依赖关系指的是序列中彼此之间距离较远的交互之间的依赖关系。例如，给定一个购物序列S1={一朵玫瑰花，鸡蛋，面包，一瓶牛奶，一个花瓶}，其中包含用户Janet连续购买的一篮子物品。显然，花瓶和玫瑰花高度相关，即使它们彼此之间距离较远。这样的情况在现实世界中并不罕见，因为用户的行为通常具有高度的不确定性，因此他们可以将任何物品放入购物篮中。为了解决这个关键问题，已经在顺序推荐系统中应用了基于长短期记忆（LSTM）[21]和门控循环单元（GRU）[7]的RNN，以捕捉序列中用户-物品交互的长期依赖关系。然而，RNN模型很容易通过过度假设序列中相邻的物品高度相关来产生错误的依赖关系。在上述Janet购物序列的例子中，RNN通常通过假设牛奶和花瓶之间的距离较近来建模S1的依赖关系，但实际上它们并不相关。一些其他的努力通过利用混合模型的优势，将具有不同时间范围的多个子模型相结合，以在一个统一长时间的用户-物品互动序列包括相对较多的用户-物品互动。因此，它更有可能在其中的多个互动之间具有更复杂和全面的依赖关系，这使得顺序推荐变得更具挑战性。具体而言，长时间的用户-物品互动序列面临两个关键挑战：学习高阶顺序依赖关系和学习长期顺序依赖关系。

学习高阶顺序依赖关系。高阶顺序依赖关系通常存在于用户-物品互动序列中，尤其是在长序列中。相比较较低阶的顺序依赖关系（可以通过马尔可夫链模型或因子分解机等简单建模），高阶顺序依赖关系更加复杂和难以捕捉，因为它们涉及多个用户-物品互动之间的复杂级联依赖关系。目前，已经报道了两种基本方法在一定程度上可以解决顺序推荐系统中的这个挑战：高阶马尔可夫链模型和循环神经网络（RNN），如表1所示。然而，每种方法都有其局限性。高阶马尔可夫链模型所涉及的历史状态受限，因为随着阶数的增加，需要估计的模型参数数量呈指数级增长。而RNN的过于强调顺序假设限制了它在具有灵活顺序的序列中的应用。这两种方法在解决这个挑战方面取得了一些技术进展，将在3.1和3.3节中详细介绍。

学习长期顺序依赖关系。长期顺序依赖关系指的是序列中相距较远的互动之间的依赖关系。例如，给定一个购物序列S1 = {一朵玫瑰，鸡蛋，面包，一瓶牛奶，一个花瓶}，其中包含了用户Janet连续购买的一篮子商品。显然，花瓶和玫瑰之间存在高度的依赖关系，尽管它们之间相距较远。在现实世界中，这样的情况并不罕见，因为用户的行为通常具有高度的不确定性，他们可能随意将任何商品放入购物车中。为了解决这个关键问题，已经在顺序推荐系统中应用了基于长短期记忆（LSTM）和门控循环单元（GRU）的循环神经网络，以捕捉序列中用户-物品互动的长期依赖关系。然而，循环神经网络很容易通过过度假设序列中相邻物品之间的高度相关性来产生错误的依赖关系。在上述Janet购物序列的例子中，一个循环神经网络通常会假设牛奶和花瓶之间存在依赖关系，因为它们之间的距离较近，但实际上它们并没有相关性。一些其他的方法尝试通过利用混合模型的优势，将具有不同时间范围的多个子模型结合起来，以在一个统一的模型中捕捉短期和长期的依赖关系。

长的用户-物品交互序列具有较多的用户-物品交互，因此其内部的多个交互之间往往存在更复杂和全面的依赖关系，这使得顺序推荐变得更具挑战性。长序列中的两个关键挑战是学习高阶顺序依赖性和学习长期顺序依赖性。学习高阶顺序依赖性是困难的，因为它们涉及多个用户-物品交互的复杂级联依赖关系。目前主要有两种方法来解决这个挑战：高阶马尔可夫链模型和循环神经网络（RNN）。学习长期顺序依赖性是指序列中相距较远的交互之间的依赖关系。为了解决这个问题，已经应用了基于LSTM和GRU的RNN在SRSs中，以捕捉序列中用户-物品交互的长期依赖性。然而，RNN模型很容易通过过度假设序列中相邻的物品高度相关来产生错误的依赖关系为了解决这个问题，一些研究利用混合模型的优势，结合了具有不同时间范围的多个子模型，以在统一模型中捕捉短期和长期依赖关系。总体而言，目前能够解决这个挑战的方法还很有限，需要进行更多的研究来填补这个差距。

Handling User-Item Interaction Sequences with a Flexible Order 以灵活的顺序处理用户-物品交互序列

在现实世界中，一些用户-物品互动序列是严格有序的，而其他的则可能不是，也就是说，并非所有相邻的互动在序列中都是顺序依赖的。例如，在一个购物序列S2 = {牛奶， 黄油， 面粉}中，先买牛奶还是先买黄油并不重要，但是购买了这两样商品后，接下来购买面粉的可能性会更高；也就是说，牛奶和黄油之间没有严格的顺序，但是面粉在它们之后的顺序依赖性是存在的。因此，对于一个顺序灵活的序列来说，捕捉集体顺序依赖性要比点对点的依赖性更好，因为前者是模糊的，不假设用户-物品互动上有严格的顺序。结果，如何在灵活顺序的假设下捕捉集体顺序依赖性成为处理顺序灵活的序列在推荐系统(SRSs)中的关键挑战。尽管这个问题很常见且重要，但是在推荐系统的研究报告中还没有给予太多的关注。现有的基于马尔可夫链、因子分解机或循环神经网络的推荐系统只能处理点对点的依赖性，而不擅长建模和捕捉集体依赖性。只有很少的工作，如文献[17; 26]尝试通过利用卷积神经网络（CNN）的优势来应对这一挑战，以建模一个“图像”（即互动序列的嵌入矩阵）中不同区域之间的局部和全局依赖性。基于CNN的推荐系统中取得的技术进展将在第3.3节中介绍。

Handling User-Item Interaction Sequences with Noise 用噪声处理用户-物品交互序列

由于用户购物行为的不确定性，大多数用户-物品互动序列并不干净，意味着它们可能包含一些嘈杂且与预测下一个互动无关的互动。在实践中，在一个用户-物品互动序列中，一些历史互动与下一个互动强烈相关，而其他的可能弱相关甚至不相关。例如，在另一个购物序列S3 = {培根，玫瑰，鸡蛋，面包}中，"玫瑰"可能是一个嘈杂的物品，因为它与其他物品截然不同，并且与它们没有相关性。下一个物品可能是一瓶高概率的牛奶，它只顺序依赖于培根、鸡蛋和面包，而与玫瑰无关。因此，推荐系统(SRSs)中的另一个关键挑战是学习在有噪声的用户-物品互动序列上的连续依赖性。相当多的工作已经尝试通过使用注意力模型[19]或记忆网络[1]来解决这个问题，这些模型选择性地保留和利用那些真正与下一个互动预测相关的互动信息。这些解决方案中取得的技术进展将在第3.3节中介绍。

Handling User-Item Interaction Sequences with Heterogeneous Relations 处理具有异构关系的用户-项目交互序列

异质关系指的是不同类型的关系，这些关系传递了不同种类的信息，并且在推荐系统(SRSs)中应该以不同的方式建模。例如，在用户-物品互动序列中，除了普遍存在的基于发生的用户-物品互动的顺序依赖性外，根据它们的特性，互动物品之间也存在基于相似性的关系。此外，尽管两者都是顺序依赖性，长期顺序依赖性与短期顺序依赖性大不相同，它们不能以相同的方式建模。因此，推荐系统中的另一个关键挑战是如何有效地捕捉嵌入在用户-物品互动序列中的这些异质关系，并使它们在处理与异质关系相关的用户-物品互动序列时协同工作以进行顺序推荐。文献中报道的解决这一挑战的工作相当有限。混合模型[12; 15; 20]是迄今为止解决此类挑战的唯一解决方案。混合模型整合了由不同子模型建模的不同类型关系，以协同生成顺序推荐。具体的技术进展将在第3.3节中介绍。

Handling User-Item Interaction Sequences with Hierarchical Structures 处理具有层次结构的用户-物品互动序列

通常，与用户-物品互动序列相关联的层次结构主要有两种：（1）元数据与用户-物品互动之间的层次结构。具体来说，用户的人口统计信息可以在一定程度上决定用户的偏好，并进一步影响他们与物品的互动。同样，物品的特征往往对它们是否会被用户喜欢和互动产生一些影响[9]；（2）子序列与用户-物品互动之间的层次结构。更具体地说，在一些SRSs中，一个用户-物品互动序列包括多个子序列（也称为会话）。在这种情况下，除了当前子序列中的先前互动之外，历史子序列也可能影响当前子序列中要预测的下一个用户-物品互动[25]。因此，SRSs中的另一个关键挑战是如何将这两种层次结构中嵌入的层次依赖性纳入顺序依赖性学习中，以生成更准确的顺序推荐。尽管已经有不少工作试图从某些方面解决这一挑战，但还有一些其他方面的研究较少。一方面，为了考虑物品特征对用户-物品互动的影响，一系列包含[9]的特征丰富的神经模型已经被提出用于SRSs。相比之下，现有SRSs中很少考虑用户人口统计信息的影响，应该有更多的努力投入到这个方向。另一方面，包括层次嵌入模型[18]、层次RNN [13]和层次注意力网络[25]在内的一些层次模型已经被设计出来，以便将历史子序列纳入顺序依赖性学习中，构建更强大的SRSs。特别是，为解决这一挑战所取得的技术进展将在第3.2节和第3.3节中介绍。

研究进展

为了概述SRSs中的技术进展，并提供更多解决上述挑战的技术细节，我们在本节中从技术角度总结并简要讨论了SRSs的研究进展。特别是，我们首先从技术角度对所有SRS方法进行了分类，然后简要突出了每个类别中的最新进展。SRS方法的分类如图2所示。我们观察到，从技术角度来看，各种SRS方法首先被归类为11个原子类别（例如，序列模式挖掘、因式分解机和循环神经网络）。然后，这些原子类别进一步被归类为三个类，包括传统序列模型、潜在表示模型和深度神经网络模型。一般来说，这三个类由简单到复杂，并且是依次报告的。接下来，我们总结了这三个类中每一个的研究进展。

Traditional Sequence Models for SRSs SRSs的传统序列模型

包括序列模式挖掘和马尔可夫链模型在内的传统序列模型，是利用其在序列中对用户-物品互动的顺序依赖性建模的天然优势来解决SRSs问题的直观方案。序列模式挖掘。基于序列模式的推荐系统首先在序列数据上挖掘频繁模式，然后利用挖掘出的模式指导后续的推荐。尽管简单直接，序列模式挖掘通常会生成大量的冗余模式，这增加了不必要的时间和空间成本。另一个明显的缺陷是，由于频率限制，它经常丢失那些不频繁的模式和物品，这将推荐结果限制在那些流行物品上。因此，除了一个代表性的工作[24; 16]之外，这个类别中报告的工作很少。马尔可夫链模型。基于马尔可夫链的推荐系统采用马尔可夫链模型来模拟序列中用户-物品互动的转换，以预测下一次互动。根据所使用的具体技术，基于马尔可夫链的推荐系统被分为基本的马尔可夫链方法和应用了潜在马尔可夫嵌入的方法。前者直接基于明确的观察计算转移概率[3]，而后者先将马尔可夫链嵌入到欧几里得空间中，然后基于它们之间的欧几里得距离计算互动之间的转移概率[2]。基于马尔可夫链的推荐系统的缺陷是显而易见的，即一方面，由于马尔可夫属性假设当前互动仅依赖于一个或几个最近的互动，它们只能捕捉短期依赖性而忽略长期依赖性；另一方面，它们只能捕捉点对点的依赖性，而忽略了用户-物品互动上的集体依赖性。因此，近年来它们在SRSs中的应用越来越少。

srs的潜在表征模型 Latent Representation Models for SRSs

潜在表示模型首先学习每个用户或物品的潜在表示，然后利用学到的表示预测后续的用户-物品互动。因此，在潜在空间中捕捉到更多隐式和复杂的依赖关系，这对推荐非常有益。接下来，我们将介绍属于这一类别的两个代表性模型。因子分解机。基于因子分解机的SRS通常利用矩阵分解或张量分解将观察到的用户-物品互动分解为用户和物品的潜在因子来进行推荐[14; 10]。与协同过滤（CF）不同，待分解的矩阵或张量由互动组成，而不是CF中的评分。这种模型容易受到观测数据稀疏性的影响，因此无法获得理想的推荐效果。嵌入。基于嵌入的SRS通过将序列中所有的用户-物品互动编码到潜在空间，为每个用户和物品学习一个潜在表示，以进行后续的推荐。具体来说，一些工作将学到的潜在表示作为网络的输入，以进一步计算用户和物品之间的互动分数，或连续用户的行为[18; 19]，而其他工作则直接利用它们来计算像欧几里得距离这样的度量作为互动分数[5]。由于其简单性、效率和有效性，这种模型近年来显示出了巨大的潜力。

srs的深度神经网络模型 Deep Neural Network Models for SRSs

深度神经网络[23]具有天然的优势，可以对序列中不同实体（例如，用户、物品、互动）之间的复杂关系进行建模和捕捉，因此在过去几年中几乎主宰了SRSs领域。SRSs的最新进展也属于这一分类。一般来说，这个分类可以细分为两个子类：基于基本深度神经网络的SRSs和结合了一些先进模型的深度神经网络SRSs。基本深度神经网络：常用于SRSs的深度神经网络是循环神经网络（RNN），因为它们在序列建模方面的天然优势，但它们也存在缺陷。图2：从技术角度对SRS方法的分类 顺序推荐系统方法 传统序列模型 潜在表示模型 深度神经网络模型 序列模式挖掘 马尔可夫链模型 因子分解机 嵌入 基本深度神经网络 高级模型 循环神经网络 卷积神经网络 图神经网络 注意力模型 记忆网络 混合模型 最近，卷积神经网络（CNN）和图神经网络（GNN）也被应用于SRSs中，以弥补RNN的不足。接下来，我们将分别介绍这三种深度神经网络之上的SRSs。基于RNN的SRSs：给定一个历史用户-物品互动序列，基于RNN的SRS试图通过建模给定互动上的序列依赖性来预测下一个可能的互动。除了基本的RNN，长短期记忆（LSTM）[21]和门控循环单元（GRU）[7]也被开发出来，以捕捉序列中的长期依赖性。近年来，基于RNN的SRSs蓬勃发展，它们主导了基于深度学习的SRSs甚至整个SRSs的研究。除了基本的RNN结构，一些变体被提出来捕捉序列中更复杂的依赖性，如分层RNN [13]。然而，RNN对于SRSs来说并非没有缺陷，其不足之处有两个方面：（1）由于过于强烈的假设，即序列中的任何相邻互动都必须是依赖的，这很容易产生虚假依赖性，而在现实世界中，序列内部通常存在无关或噪声互动；（2）它可能只捕捉点对点的依赖性，而忽略了集体依赖性（例如，几个互动共同影响下一个互动）。基于CNN的SRSs：与RNN不同，给定一个用户-物品互动序列，CNN首先将所有互动的嵌入放入一个矩阵中，然后将这样的矩阵视为时间和潜在空间中的“图像”。最后，CNN使用卷积滤波器学习图像的局部特征作为序列模式，以便后续推荐。由于CNN对序列中互动的顺序假设不强，并且它们学习的是“图像”区域之间的模式，而不是互动之上的模式，因此，基于CNN的SRSs在某种程度上可以弥补基于RNN的SRSs的上述缺点。然而，由于CNN使用的滤波器尺寸有限，基于CNN的SRSs无法有效捕捉长期依赖性，这限制了它们的应用。典型的工作包括[17; 26]。基于GNN的SRSs：最近，随着GNN的快速发展，人们设计了基于GNN的SRSs，利用GNN来建模和捕捉序列中用户-物品互动的复杂转换。通常首先在序列数据上构建一个有向图，将每个互动作为图中的节点，同时将每个序列映射到一条路径。然后在图上学习用户或物品的嵌入，以在整个图上嵌入更复杂的关系[22]。这种方法充分利用了GNN捕捉结构化关系数据集中的复杂关系的优势。基于GNN的SRSs已经显示出通过揭示推荐项目与相应序列上下文之间的复杂关系来提供可解释推荐的潜力。这类SRSs仍处于早期阶段。高级模型：为了解决基于基本神经网络结构的SRSs的局限性，通常会将一些高级模型与某种基本深度神经网络（例如，RNN、CNN）结合起来，构建更强大的SRSs，以应对特定挑战。接下来，我们将介绍三种常用于SRSs的高级模型。注意力模型：注意力模型通常用于SRSs中，以强调序列中与下一个互动真正相关和重要的互动，同时淡化那些与之无关的互动。它们被广泛集成到浅层网络[19]和RNN [25]中，以处理带有噪声的互动序列。记忆网络：记忆网络被引入到SRSs中，通过结合外部记忆矩阵，直接捕捉任何历史用户-物品互动与下一个互动之间的依赖性。这样的矩阵使得能够更明确和动态地存储和更新序列中的历史互动，以提高模型的表现力并减少那些无关互动的干扰[1]。此外，一些工作结合了键值记忆网络，以存储和更新序列中互动过的物品的相应知识库信息，以学习属性级别的偏好，从而增强推荐[11]。总的来说，记忆网络在SRSs中显示出了它们的潜力，但研究还不够充分。混合模型：基于混合模型的SRS结合了擅长捕捉不同种类依赖性的不同模型，以增强整个模型捕捉各种依赖性的能力，从而提供更好的推荐。一个典型的例子是[15]，它结合了适合短期和长期依赖性的不同编码器，以学习更准确的序列表示进行后续推荐，并已证明相当有效。然而，这类模型仍处于早期阶段。

结尾

今天的论文就先读到这儿了，明天见！