首页 > 其他分享 >读论文-基于图神经网络的会话推荐方法综述

读论文-基于图神经网络的会话推荐方法综述

时间:2024-02-03 17:44:35浏览次数:26  
标签:基于 综述 方法 推荐 论文 会话 神经网络 GNN

前言

今天读的一篇文章是于2023年6月25日在《数据分析与知识发现》发表的一篇期刊论文,文章聚焦图神经网络技术,对会话推荐方法进行述评,为后续研究提供借鉴。以“Sessionbased Recommendation”、“Graph Neural Network”、“会话推荐”、“图神经网络”为检索词,在“Web of Science”、“中国知网”等数据库中筛选出80篇国内外文献。从框架、评价和趋势三个视角,对基于图神经网络的会话推荐方法进行归纳与对比,总结现有评价资源,讨论未来研究趋势。

要引用这篇论文,请参照以下引用格式:

  • GB/T 7714-2015 格式引文:

[1]张雄涛,祝娜,郭玉慧.基于图神经网络的会话推荐方法综述[J/OL].数据分析与知识发现,1-20[2024-02-03].

  • MLA格式引文:

[1]张雄涛,祝娜,and 郭玉慧.基于图神经网络的会话推荐方法综述.数据分析与知识发现 1-20.

  • APA格式引文:

[1]张雄涛,祝娜 郭玉慧.基于图神经网络的会话推荐方法综述.数据分析与知识发现1-20.

摘要

[目的] 聚焦图神经网络技术,对会话推荐方法进行述评,为后续研究提供借鉴。

[文献范围] 以“Session-basedRecommendation”、“GraphNeuralNetwork”、“会话推荐”、“图神经网络”为检索词,在“WebofScience”、“中国知网”等数据库中筛选出80篇国内外文献。

[方法] 从框架、评价和趋势三个视角,对基于图神经网络的会话推荐方法进行归纳与对比,总结现有评价资源,讨论未来研究趋势。

[结果] 研究框架归纳为会话图构建、会话图学习、会话兴趣表示三个方面,评价资源体现为数据集、评价标准和基线模型三个方面,未来研究可从可解释性、鲁棒性、多样性和公平性等方面进一步深入。

[局限] 基于图神经神经网络的会话推荐方法不断涌现,所评述的研究为当前的主流研究,并未将所有研究逐一列出。

[结论] 图神经网络是会话推荐系统的主流实现技术,未来研究可结合会话推荐的特定场景,通过发展图神经网络技术,进一步改进现有研究不足。

引言

信息过载背景下,会话推荐系统(又称:基于会话的推荐系统)通过分析用户当前会话序列(在一段时间内用户与站点发生的连续交互行为)学习用户会话兴趣,实现实时推荐目的。由于会话推荐系统不仅可以捕获用户的短期事务型意图,而且可以依据不完整用户信息实现有效推荐,因此会话推荐系统已成为当前热门研究方向。

基于模式/规则的方法和基于马尔科夫链(Markov Chain,MC)的方法是实现会话推荐系统的早期方法。

其中,基于模式/规则的方法,如:关联规则、Item-KNN(Item-based Collaborative Filtering)模型等,主要依据项目之间的相似度或共现模式实现会话推荐;
基于MC的方法,如:FPMC(Factorizing Personalized MarkovChains)模型、FMDPs(Factored Markov Decision Processes)模型等,主要通过估计连续两个项目之间的转移概率来实现会话推荐。然而,这两类早期方法仅关注特定步长的项目转移,无法捕捉项目之间长期依赖,致使会话兴趣学习不充分。为提升会话推荐性能,基于循环神经网络(Recurrent Neural Network,RNN)的会话推荐方法,如:GRU4REC(Session-Based Recommendations with Recurrent Neural Networks)模型、NARM(Neural Attentive Recommendation Machine)模型等,通过考虑项目之间的长期依赖对会话兴趣表示进行学习。凭借序列建模的显著优势,RNN一度成为实现会话推荐的主流技术。然而,基于RNN的会话推荐方法过于强调项目之间的顺序依赖,故其无法对项目之间结构化复杂关系进行有效建模。为进一步提升会话推荐性能,基于图神经网络(Graph Neural Network,GNN)的会话推荐方法,如:SR-GNN(Session-based Recommendation with Graph Neural Networks)模型、GCE-GNN(Global Context Enhanced Graph Neural Networks)模型等,将会话数据组织为会话图,并借助GNN的信息传播机制对会话图进行学习,进而有效建模项目之间复杂转移关系。由于项目之间的复杂转移关系有利于更充分地理解会话兴趣,故基于GNN的会话推荐方法现已成为会话推荐领域的主流研究。为全面了解和对比不同会话推荐方法的研究现状,本文对2013年1月至2022年12月近十年间的国内外相关研究进行人工检索和统计分析,结果如图1所示。其中,“传统会话推荐方法”具体包括“基于模式/规则的会话推荐方法”和“基于MC的会话推荐方法”。对于国外相关研究,本文主要在Web of Science数据库中,以“Session-based recommendation”分别与“Patternmining”、“Markov chain”、“Recurrent Neural Network”和“Graph Neural Network”组合生成检索式对相关研究进行检索和统计;对于国内相关研究,本文主要在CNKI数据库中,以“会话推荐”分别与“关联规则”、“马尔科夫”、“循环神经网络”和“图神经网络”组合生成检索式对相关研究进行检索和统计。从图1中,可以观察到:

  1. 会话推荐研究在国内外的研究数量呈递增趋势;
  2. 基于GNN的会话推荐方法在近期研究中占比呈现递增趋势。

image

由此可见,会话推荐研究符合国内外的热门研究趋势,且GNN是当前实现会话推荐系统中的热点技术。

近年来,国内外有关会话推荐的研究综述已取得一定成果。例如:文献[11]以分别从含义、应用场景、主要算法、实验设置等几个方面对会话推荐系统进行全面分类与总结。

[11] 赵海燕, 赵佳斌, 陈庆奎, 等. 会话推荐系统[J]. 小型微型计算机系统, 2019, 40(09): 1869-1875. (Zhao Haiyan, Zhao Jiabin, Chen Qinkui, et al. Session-based Recommendation System[J], Journal of Chinese Computer Systems, 2019, 40(09): 1869-1875.)

文献[15]采用实证研究方法对神经网络和非神经网络会话推荐方法进行对比分析,并指出两类会话推荐方法在准确率和召回率指标上不存在绝对的优劣之分。

[15] Ludewig M, Mauro N, Latif S, et al. Performance Comparison of Neural and Non-neural Approaches to Session-based Recommendation[C]// Proceedings of the 13th ACM Conference on Recommender Systems. 2019: 462-466.

然而,这些综述主要将RNN作为实现会话推荐的前沿技术,尚未在当前主流的GNN技术背景下对会话推荐方法的新型研究范式展开系统性评述。

与已有综述不同,本文聚焦GNN技术背景下会话推荐方法呈现出的新特点,对GNN会话推荐方法的研究框架、评价资源以及未来研究趋势进行系统性归纳、总结和讨论,为进一步发展会话推荐提供借鉴与参考。具体而言,本文的研究贡献体现在三个方面:

  1. 依据GNN会话推荐方法的研究特点,从会话图构建、会话图学习和会话兴趣表示三个方面归纳研究框架,并在研究框架下对相关方法的研究思路和优劣势进行总结和对比。
  2. 依据GNN会话推荐方法的实验设置,从数据集、评价指标和基线模型三个方面总结评价资源,并分析现有评价资源存在的不足,为验证和发展GNN会话推荐方法提供实验基础。
  3. 在现有研究不足的基础上,结合推荐系统领域的实时研究热点,指出GNN会话推荐方法在可解释性、鲁棒性、多样性和公平性方面的未来研究趋势与可行性思路。

技术优势

本文的技术基础是GNN,其主要思想是迭代地聚合来自邻居节点的信息,并将聚合的邻居信息与中心节点表示进行整合,实现信息传播[8]。

[8] Wu Z, Pan S, Cheng F, et al. A Comprehensive Survey on Graph Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 32(1): 4-24.

相较于其它深度学习技术,如:卷积神经网络(CNN)、RNN、注意力机制等,GNN在会话推荐中的优势主要体现为:

  1. 图数据处理。具体而言,会话序列可依据项目转移关系对应地组织为图数据,而图数据为建模项目之间的复杂转移关系提供了结构化基础[16]。然而,其它深度学习技术仅在欧式空间探究会话序列直接反映的会话兴趣,无法在非欧式空间下借助图结构挖掘蕴含在项目复杂转移关系中的隐式兴趣[8],致使会话兴趣表示不充分。

[16] Wang X, He X, Wang M, et al. Neural Graph Collaborative Filtering[C]// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2019: 165-174.

  1. 高阶连通性建模。具体而言,用户行为的随机性使会话序列中不可避免地包含噪声[17],仅利用项目的邻接转移可能导致会话兴趣表示存在冗余。项目之间的高阶连通性包含丰富的结构化语义,引入高阶项目转移关系有利于削弱噪声交互对会话兴趣建模的影响[18]。相较于其它深度学习技术,GNN可利用信息传播机制有效地建模图中节点之间的高阶连通性,因此更有利于建模准确的会话兴趣表示。

[17] Feng L, Cai Y, Wei E, et al. Graph Neural Networks with Global Noise Filtering for Session-based Recommendation[J]. Neurocomputing, 2022, 472: 113-123.

[18] Yu J, Yin H, Xia X, et al. Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation[C]// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2022: 1294-1303.

研究框架

依据GNN会话推荐方法在图数据、图学习、图利用三方面的侧重,本文将研究框架归纳为三个方面(如图2),即:

  1. 会话图构建,此类研究重点关注会话数据如何科学地将会话数据组织为会话图。
  2. 会话图学习,此类研究聚焦于GNN中信息传播机制的选择与设计。
  3. 会话兴趣表示,此类研究重点关注项目整合方式的选择与设计。

image

以下主要围绕研究框架中的三个核心问题对相关研究进行文献梳理,并全面对比每个核心问题下相关方法的优势与劣势,旨在全面且系统地了解现有研究范式。

会话图构建

在基于GNN的会话推荐方法研究中,构建合理的会话图模型是成功应用GNN的基础[11]。依据会话数据的丰富性,我们将会话图构建方法分为两类:基于单会话的图构建方法和基于多会话的图构建方法。为直观对比两类方法之间的差异,图3给出两类研究的代表性方法示意图。在图3中,实线箭头表示会话内的项目转移关系,虚线箭头表示构建的项目关系,椭圆表示节点之间存在超边。

[11] 赵海燕, 赵佳斌, 陈庆奎, 等. 会话推荐系统[J]. 小型微型计算机系统, 2019, 40(09): 1869-1875. (Zhao Haiyan, Zhao Jiabin, Chen Qinkui, et al. Session-based Recommendation System[J], Journal of Chinese Computer Systems, 2019, 40(09): 1869-1875.)

image

会话图学习

在基于GNN的会话推荐方法中,会话图学习主要利用GNN的信息传播机制对项目之间的转移关系进行学习。依据信息传播机制的差异,现有的会话图学习方法主要分为四类:基于直推式图卷积网络(GCN)的图学习方法、基于归纳式图卷积网络(GraphSage)的图学习方法、基于图注意网络(GAT)的图学习方法和基于门控图神经网络(GGNN)的图学习方法。图4给出了四种会话图学习方法的示意图,在图4中,i2,i3,i4和i5均为中心节点1i的一阶邻居节点,w1j表示任意邻居节点ij对中心节点i1的重要性。

image

会话兴趣表示

由于GNN中的信息传播不能有效地捕获项目之间的远程依赖关系[46],且会话图会造成序列信息损失[2],因此依据GNN学习到的任意项目表示都无法以充分代表用户的当前会话兴趣。为有效地表示会话兴趣,如何整合会话序列中的多个项目是基于GNN会话推荐方法的重要一步。依据项目整合方式的不同,现有会话兴趣表示方法主要分为三类:基于注意力的会话兴趣表示方法、基于RNN的会话兴趣表示方法和基于位置的会话兴趣表示方法。为直观地对比不同会话学习方法之间的差异,图5给出了不同表示方法的示意图。

image

[46] Wang L, Xu X, Yang K, et al. Self-Supervised Dual-Channel Attentive Network for Session-based Social Recommendation[C]// Proceedings of the 38th International Conference on Data Engineering. 2022: 2034-2045.

[2] Wang S, Cao L, Wang Y, et al. A Survey on Session-based Recommender Systems[J]. ACM Computing Surveys, 2022, 54(7): 1-38.

结尾

今天的论文就先读到这儿了,这篇文章还有一部分没有读完,等忙完这段时间再进行补充。

标签:基于,综述,方法,推荐,论文,会话,神经网络,GNN
From: https://www.cnblogs.com/wephiles/p/18004353

相关文章

  • 读论文-基于会话的推荐方法综述
    前言今天读的论文为一篇于2023年3月15日发表于《中文信息学报》的期刊论文,文章属于综述;文章对基于会话的推荐模型进行了详细的分析、分类和对比,阐明了这些方法各自解决的问题与存在的不足。摘要近年来,基于会话的推荐方法受到学术界的广泛关注。随着深度学习技术的不断发展,不同......
  • Python中用PyTorch机器学习神经网络分类预测银行客户流失模型|附代码数据
    阅读全文:http://tecdat.cn/?p=8522最近我们被客户要求撰写关于神经网络的研究报告,包括一些图形和统计输出。分类问题属于机器学习问题的类别,其中给定一组特征,任务是预测离散值。分类问题的一些常见示例是,预测肿瘤是否为癌症,或者学生是否可能通过考试在本文中,鉴于银行客户的某些......
  • 神经网络优化篇:详解测试时的 Batch Norm(Batch Norm at test time)
    Batch归一化将的数据以mini-batch的形式逐一处理,但在测试时,可能需要对每个样本逐一处理,来看一下怎样调整的网络来做到这一点。回想一下,在训练时,这些就是用来执行Batch归一化的等式。在一个mini-batch中,将mini-batch的\(z^{(i)}\)值求和,计算均值,所以这里只把一个mini-batch中的样......
  • 2023年度全年学术论文参考文献清单汇总
    状态时间详情结果 2023-07-2508:55'新媒体时代博物馆数字化,人文化,品牌化传播策略——以湖北省博物馆为例'全文链接:'https://wenku.baidu.com/view/bc9fdd13fac75fbfc77da26925c52cc58ad690d0?fr=xueshu_top'VP:病毒潜水艇时间:2023-07-2508:57  2023-0......
  • 深度学习-DNN深度神经网络-反向传播-40
    目录人工神经网络有两个或两个以上隐藏层,称为DNN深度神经网络三种常见的激活函数及其导数--复习前面所学线性回归更新权重逻辑回归多分类......
  • 基于C#工厂测试系统设计与实现论文
    工厂产测系统设计与实现 摘要:本论文旨在探讨工厂产测系统的设计与实现。通过详细的需求分析和系统设计,我们提出了一种高效、可靠的解决方案。系统实现部分包括硬件架构、软件开发和数据库设计。我们还进行了全面的测试与验证,以确保系统的稳定性和准确性。最后,对系统的性能进行......
  • 简单神经网络
    """前向传播解释:https://towardsdatascience.com/forward-propagation-in-neural-networks-simplified-math-and-code-version-bbcfef6f9250"""importmathimportrandom#Sigmoid激活函数defsigmoid_function(value:float,deriv:bool=F......
  • 读论文-基于用户长短期偏好的序列推荐模型
    前言今天要读的论文名为《基于用户长短期偏好的序列推荐模型》,是一篇于2022年12月29日发表在《计算机科学》上的一篇期刊论文。文章发现了传统的序列推荐模型忽略了不同用户的个性化行为,导致模型不能充分捕获用户动态偏好而产生的兴趣漂移等问题,提出了一种基于用户长短期偏好......
  • 神经网络优化篇:详解Batch Norm 为什么奏效?(Why does Batch Norm work?)
    BatchNorm为什么奏效?为什么Batch归一化会起作用呢?一个原因是,已经看到如何归一化输入特征值\(x\),使其均值为0,方差1,它又是怎样加速学习的,有一些从0到1而不是从1到1000的特征值,通过归一化所有的输入特征值\(x\),以获得类似范围的值,可以加速学习。所以Batch归一化起的作用的原因,直......
  • 卷积神经网络理解(4)
    1、CNN中常见的名词padding:padding(填充)参数的作用是决定在进行卷积或池化操作时,是否对输入的图像矩阵边缘补0stride:滑动卷积核时的步长stride(例如每次滑动一个或两个)kernal:卷积核,通常为3x3或者5x5filter:卷积核的数量(神经元的数量)。这个地方怎么理解呢,一个3x3的卷积核有9个参......