SimCLR: 一种视觉表征对比学习的简单框架《A Simple Framework for Contrastive Learning of Visual Representations》

现在是2024年5月18日，好久没好好地看论文了，最近在学在写代码+各种乱七八糟的事情，感觉要和学术前沿脱轨了(虽然本身也没在轨道上，太菜了)，今天把师兄推荐的一个框架的论文看看(视觉CV领域的)。

20:31，正经的把这篇论文看完。

论文：A Simple Framework for Contrastive Learning of Visual Representations

或者是：A simple framework for contrastive learning of visual representations

GitHub：https://github.com/google-research/simclr

ICML 2020的论文。

摘要

本文介绍了 SimCLR：一个用于视觉表征对比学习的简单框架。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或内存库。为了了解是什么让对比预测任务能够学习有用的表征，我们系统地研究了我们框架的主要组成部分。我们的研究表明：(1) 数据增强的组成在定义有效的预测任务中起着至关重要的作用；(2) 在表征和对比损失之间引入可学习的非线性变换能大幅提高所学表征的质量；(3) 与监督学习相比，对比学习能从更大的批量规模和更多的训练步骤中获益。综合这些发现，我们在 ImageNet 上的自监督和半监督学习方法大大优于以往的方法。在 SimCLR 学习的自监督表示法上训练的线性分类器达到了 76.5% 的 top-1 准确率，比以前的技术水平相对提高了 7%，与监督 ResNet-50 的性能不相上下。当仅对 1%的标签进行微调时，我们的前五名准确率达到了 85.8%，超过了标签数量少 100 倍的 AlexNet。

1. 引言

(20:56，开溜，先回寝室收拾卫生了，现在学不进去，好累，先占个坑，明天写.)