首页 > 其他分享 >XSimGCL论文阅读笔记

XSimGCL论文阅读笔记

时间:2024-02-20 12:45:38浏览次数:36  
标签:prime mathbf 推荐 论文 笔记 SimGCL XSimGCL 对比

Abstract

我们提出了一种非常简单的图对比学习方法作为推荐,该方法放弃了无效的图增强,而是使用一种简单而有效的基于噪声的嵌入增强来生成CL的视图

Introduction

这里介绍以下SimGCL的缺点:
除了推荐任务的正向/反向传递外,每个小批内的对比任务还需要两个额外的正向和反向传递,也就是计算成本很大,所以之后重点要解决的就是计算成本问题
为了解决这个问题,本研究提出了一种非常简单的图对比学习方法作为推荐。XSimGCL建立在SimGCL的基于噪声的增强方法之上,同时通过一个统一推荐和对比任务的共享单通道来简化计算过程。不同之常在于,SimGCL对比了通过不同的正向传递学习到的两个最终表示,并依赖普通表示进行推荐,而XSimGCL对两个任务使用相同的扰动表示,并用跨层对比替换了SimGCL中的最后一层对比
两种方法的对比图如下:
pFYG3U1.png
我们的工作有以下贡献:

  • 我们阐明了对比学习对图推荐模型的有益影响,特别是通过学习更均匀分布的表示,其中InfoNCE损失比图增强的意义更大
  • 我们提出了一种简单而有效的基于噪声的增强方法,它可以平滑地调整学习表示的均匀性
  • 我们提出了一种新的基于CL的推荐模型,XSimGCL,它在有效性和效率方面都超过了SimGCL。此外我们还进行了理论分析来解释XSimGCL的优越性

Method

虽然在基于CL的推荐系统中将推荐任务和对比任务的管道分开似乎是一种惯例,但我们质疑这种体系结构的必要性
在使用CL时,有一个最佳点,即相关视图之间的互信息既不是过高也不是过低,然而在SimGCL中,同一节点的一对视图之间的互信息可能总是非常高的,为了解决这个问题,我们对比不同的图层嵌入。这些嵌入具有一些共同的信息,但在聚合的邻居和添加的噪声上有所不同,这符合最优点理论。,此外由于添加的噪声大小很小,可以直接使用扰动表示来进行推荐,不过只在训练时使用扰动表示,测试的时候还是使用普通模式
受益于这种设计,我们可以通过合并SimGCL的编码过程来简化其体系结构。这推导出了一个新的体系结构,它在小批量计算中只有一次前向和反向传递。
XSimGCL的损失函数为:
\(\begin{aligned}\mathcal{L}&=-\sum_{(u,i)\in\mathcal{B}}\log\left(\sigma(\mathbf{e}_u^{\prime\top}\mathbf{e}_i^{\prime}-\mathbf{e}_u^{\prime\top}\mathbf{e}_j^{\prime})\right)\\\\&+\lambda\sum_{i\in\mathcal{B}}-\log\frac{\exp(\mathbf{z}_i^{\prime\top}\mathbf{z}_i^{l^*}/\tau)}{\sum_{j\in\mathcal{B}}\exp(\mathbf{z}_i^{\prime\top}\mathbf{z}_j^{l^*}/\tau)}\end{aligned}\)
\(l^{*}\)表示要与最后一层对比的那一层,选择最后一层的原因是最后一层会导致最佳的性能

标签:prime,mathbf,推荐,论文,笔记,SimGCL,XSimGCL,对比
From: https://www.cnblogs.com/anewpro-techshare/p/18022853

相关文章

  • Godot学习中的问题及思考、学习笔记 03
    GameManager类在Godot项目中通常扮演着游戏管理器的角色,负责协调游戏内不同系统、状态和数据的管理。它是一种设计模式,用于集中管理游戏逻辑和状态,使得游戏的结构更加清晰,也便于维护和扩展。GameManager可以处理多种任务,包括但不限于:游戏状态管理:控制游戏的当前状态,比如开始......
  • [刷题笔记] P2881
    例题:P2881注意到\(n\le1000\)。数据较小。且有传递性,即如果\(x,y\)关系确定,\(y,z\)关系确定,那么\(x,z\)关系确定。考虑传递闭包。传递闭包从关系图的角度来说,如果原图上存在一条\(u,v\)路径,那么传递闭包就将\(u,v\)连边。传递闭包可以使用Floyd算法解决。枚举中......
  • MySQL 零碎笔记2
    1.分区表适用场景:业务简单,单表查询,且都跟时间范围查询相关。数据需要定期清理数据,无需保留全部数据。数据更新频率较低,只有写入操作。优点:查询条件包含分区条件时,可以直接扫描必要的分区。也可以直接指定必要的分区来提高查询效率。聚合查询时,可以很容易地在每个分区上并行......
  • 吴恩达深度学习笔记
    深度学习框架有很多种,都是封装好的,基本是不用我们处理,只要完成正向传播,反向传播就能通过框架完成,需要自己去选择学习合适的框架,并且知道如何运用; ————————————————————————————————————————————————————————————......
  • Programming Abstractions in C阅读笔记:p283-p292
    《ProgrammingAbstractionsinC》学习第72天,p283-p292总结,总计10页。一、技术总结1、anylasisofalgorithms算法分析——即判断程序的效率(efficiency)。2、mathematicalinduction(数学归纳法)3、Big-Onotation(大O标记法)4、constanttime(常量时间)5、lineartime(......
  • RabbitMQ 学习笔记 - 2
    WorkQueues工作队列(又称任务队列)的主要思想是避免立即执行资源密集型任务,而不得不等待它完成。相反我们安排任务在之后执行。我们把任务封装为消息并将其发送到队列。在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时,这些工作线程将一起处理这些任务。3.1......
  • 2.19 闲话 & 学习笔记 『 望向这片懵懂的土地/嘈杂念想充斥着思绪 』
    昨天没发闲话,今天事情太乱来不及写学术内容放昨天的学术内容吧今天去面试,感觉说的跟个......
  • Go语言精进之路读书笔记第29条——使用接口作为程序水平组合的连接点
    如果说C++和Java是关于类型层次结构和类型分类的语言,那么Go则是关于组合的语言。——RobPike,Go语言之父“偏好组合,正交解耦”29.1一切皆组合在语言设计层面,Go提供了诸多正交的语法元素供后续组合使用,包括:Go语言无类型体系(typehierarchy),类型定义独立;方法和类型是正交......
  • 数学专题集训笔记
    感谢lsy学长来101给我们上课~Day1逆元对于一个\(a\),当\(ab\equiv1\pmod{m}\)时我们把\(b\)的最小整数解称作\(a\)模\(m\)的逆元,记作\(a^{-1}\)或\(\frac{1}{a}\)。接下来我们来看看逆元的求法。费尔马小定理如果\(a\)是一个整数,\(p\)是一个质数,则有\[a^p\e......
  • 读书笔记3
    第三章软件工程师的成长这章主要讨论软件工程师个人能力衡量及发展,一些思维误区和以后的职业发展在团队工作中,稳定、一致的交付时间时衡量一个员工能力的重要方面初级软件工程师的成长包括以下几种:(1)积累软件开发相关的知识,提升技术技能(如对具体技术的掌握,动手能力)。例如:对JAV......