首页 > 其他分享 >带掩码的自编码器(MAE)最新的相关论文推荐

带掩码的自编码器(MAE)最新的相关论文推荐

时间:2022-10-08 11:15:22浏览次数:81  
标签:异构 编码器 论文 MAE Masked 掩码

 

1、Heterogeneous Graph Masked Autoencoders

Yijun Tian, Kaiwen Dong, Chunhui Zhang, Chuxu Zhang, Nitesh V. Chawla

https://arxiv.org/pdf/2208.09957

生成式自监督学习(SSL),特别是带掩码自编码器已经成为最令人兴奋的学习范式之一,并且在图学习方面显示出巨大的潜力。但是现实世界的图总是异构的,这带来了三个关键的挑战,现有的方法忽略了:

  1. 如何捕获复杂的图结构?
  2. 如何整合各种节点属性?
  3. 如何编码不同的节点位置?

这篇论文研究了异构图上的SSL的问题,并提出了一种新的异构图掩码自编码器模型HGMAE来解决这些问题。HGMAE通过两种创新的掩码技术和三种独特的训练策略捕捉全面的图信息。论文通过大量的实验证明,在跨多个数据集的多个任务上,HGMAE优于对比和最先进的基线。

2、Federated Self-Supervised Contrastive Learning and Masked Autoencoder for Dermatological Disease Diagnosis

Yawen Wu, Dewen Zeng, Zhepeng Wang, Yi Sheng, Lei Yang, Alaina J. James, Yiyu Shi, Jingtong Hu

完整文章:

https://avoid.overfit.cn/post/097b5f48893f462a847fa23dacb91bcc

标签:异构,编码器,论文,MAE,Masked,掩码
From: https://www.cnblogs.com/deephub/p/16768312.html

相关文章

  • 位掩码
    ​ 今天做了一题leetcode:https://leetcode.cn/problems/aseY1I/,自己第一时间只想到暴力法,后来看官方题解,使用位掩码来简化。位掩码似乎是我的知识盲区,差缺补漏一下。位......
  • ip、子网掩码、网关之间的关系
    一、ip1.IP地址概念IP地址是一个32位的二进制数,它由网络ID和主机ID两部份组成,用来在网络中唯一的标识的一台计算机。网络ID用来标识计算机所处的网段;主机ID用来标识计算机......
  • ip、子网掩码、网关之间的关系
    一、ip1.IP地址概念IP地址是一个32位的二进制数,它由网络ID和主机ID两部份组成,用来在网络中唯一的标识的一台计算机。网络ID用来标识计算机所处的网段;主机ID用来标识计......
  • 自编码器
    自编码器构成编码器(Encoder)解码器(Decoder)目的将输入变量\(x\)编码为中间变量\(y\),再将中间变量\(y\)解码为输出变量\(\widetilde{x}\)对比输入\(x\)与输出......
  • NLP之基于BERT的预测掩码标记和句间关系判断
    BERT@目录BERT程序步骤程序步骤设置基本变量值,数据预处理构建输入样本在样本集中随机选取a和b两个句子把ab两个句子合并为1个模型输入句,在句首加入分类符CLS,在a......
  • 论文推荐:使用带掩码的孪生网络进行自监督学习
    最近自我监督学习被重视起来。昨天我通过LinkedIn发现了这项工作,我觉得它很有趣。kaiming大神的MAE为ViT和自监督的预训练创造了一个新的方向,本篇文章将介绍MaskedSiamese......
  • esp32使用simpleFoc来接入编码器计算角度与速度
    SimpleFOC是国外无刷电机爱好者,创立的一个开源无刷电机FOC控制项目。   第1章首页(simplefoc.cn)用这个库接编码器非常简单   这是文档  编码器设置(sim......
  • VAE变分自编码器公式推导
    VAE变分推导依赖数学公式(1)贝叶斯公式:\(p(z|x)=\frac{p(x|z)p(z)}{p(x)}\)(2)边缘概率公式:\(p(x)=\int{p(x,z)}dz\)(3)KL散度公式:\(D_{KL}(p||q)=\int{p(x)log\frac{p(x)......
  • 基于HK32F030M的TIM编码接口模式实现编码器信号捕获分析
    基于HK32F030M的TIM编码接口模式实现编码器信号捕获分析1、HK32F030M的TIM编码器接口模式介绍与配置;我们打开《HK32F030M用户手册》找到12.2.16章节,大家请自行阅读改章......