前言 本文介绍了引入增量学习的必要性,继而引出最新的三种能够有效利用有效标签数据范式的增量学习方法。其次,针对这三大范式进行一个全面的调研,让大家对这个领域的整个发展脉络有一个清晰的认识。文章的最后,集中讨论当前增量学习存在的一些局限性以及结合现有的技术给出一些值得探讨的研究方向。
本文转载自CVHub
作者丨派派星欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
计算机视觉入门1v3辅导班
导读
增量学习(Incremental Learning),亦称为持续学习(Continual Learning)或终身学习(Life-Long Learning),是一种机器学习方法,它允许模型通过对新数据进行持续学习而不是重头训练整个模型。这种方法允许模型不断地学习新的知识,并在不断实际复杂多变的环境变化。 先前绝大多数增量学习方法均高度依赖于标签数据集,这必然会限制增量学习技术在实际生活中的应用。因此,本文将从高效标签的角度出发,以一种崭新的视角,带领大家从零开始踏入增量学习领域。 在本文的开始,我们会向大家介绍的介绍下引入增量学习的必要性,继而引出最新的三种能够有效利用有效标签数据范式的增量学习方法,包括半监督学习、小样本学习以及自监督学习。其次,我们将针对这三大范式进行一个全面的调研,让大家对这个领域的整个发展脉络有一个清晰的认识。文章的最后,我们会集中讨论当前增量学习存在的一些局限性以及结合现有的技术给出一些值得探讨的研究方向,同时,为了帮助大家更加深入的学习增量学习,一些必要的增量学习框架(基于Pytorch构建)以及最前沿的增量学习方法也将给到大家去实践,进一步提升自身的能力,形成完整的闭环,非常感谢大家对 CVHub 的支持与鼓励。动机
聊到增量学习,不得不提的一个反例必然是非增量学习,其假定模型每次都可以同时访问每个类别的所有情况下的图像。显然,这是不切实际的。下面简要概括下它的三大局限性:- 模型仅能识别固定类别的物体;
- 模型无法训练所有背景下的数据(例如不同季节、不同天气、不同光照条件等);
- 模型一旦部署无法在线利用新数据(除非你重新上线一版);
![](https://pic1.zhimg.com/80/v2-a344b5afc3d953d700cee3652ffd529d_1440w.png)
- Semi-Supervision:半监督可以将有限的标记数据与丰富的未标记数据相结合,通过伪标签监督减少对真实标签的依赖程度;
- Few-shot-Supervision:小样本监督学习则可以扩展预训练的分类器来减少标签依赖,仅利用极少的标记实例;
- Self-Supervision:自监督学习是通过指定前置文本任务,以舍弃对标签的依赖;
既然增量学习这么有用,为什么实际应用中却鲜有人用?
![](https://pic1.zhimg.com/80/v2-539d3781c0955d578d861c9e8b4be330_1440w.png)
![](https://pica.zhimg.com/80/v2-49264f4bafbc4033cdc7387d9192e71a_1440w.png)
引入了正则化技术可以有效限制神经网络权重在学习任务中的突然漂移,通俗点理解便是简单地通过 来惩罚变化的范数。而经验回放则是将先前的数据适量的加入当前的增量任务来缓解模型的“健忘”程度。然而,还有一个点可能容易被忽略,那便是可扩展性。毕竟当前的增量学习仍然需要大量的标注数据才能获得可观的性能。除了以上两种方式,还有基于知识蒸馏的方法,基于特征回放的方法以及基于网络结构的方法等,文章篇幅有限,此处不再描述。
![](https://pic1.zhimg.com/80/v2-a844cc4e743e24cbbf2cb7c27e17f72b_1440w.png)
在正式介绍这三种范式之前,让我们先简单的了解增量学习任务的主要评估指标。增量学习工作中一般通过绘制增量准确率曲线(incremental accuracy curve)和遗忘率曲线(incremental forgetting curve)来评估性能的优劣。其中涉及到的两个主要指标便是准确率(accuracy)和遗忘率(forgetfulness)。
- Accuracy: 准确率衡量的是所有学习任务的测试准确性。
![](https://picx.zhimg.com/80/v2-04c0b2c3ddd05385a33636487aa45d22_1440w.png)
简单的解释下,上述公式表示的是在第 个增量阶段,增量准确率指的是当前的模型在所有已见类别上的分类准确率。而不同阶段的增量准确率常常以增量准确率曲线展示。
- Forgetfulness: 遗忘率衡量的是学习增量任务时平均性能下降程度。
![](https://pic1.zhimg.com/80/v2-d40f352eeea1e0d86a2c94e6f6db519d_1440w.png)
半监督增量学习
首先,让我们先学习下半监督式的增量学习,其旨在通过利用未标记的数据来减少对标签的依赖。常规的做法是先利用一小部分带有标签的数据集训练出一个深度学习模型,然后利用该模型对未标记的数据打上标签。通常,我们将这种用非人工标注的标签信息称之为——伪标签(pseudo labels)。 因此,根据未标记数据的类型,我们可以简单的划分为三种类型:- Within-data,即属于同一份数据集内的没有打标签的那部分数据;
- Auxiliary-data,即辅助数据,例如大家从网络上爬下来的数据;
- Test-data,即最简单的测试集数据
Learning from Within Data
CNNL[2]
![](https://picx.zhimg.com/80/v2-ab23f44722106b7a0c46cdd586947ed6_1440w.png)
DistillMatch[3]
![](https://pic1.zhimg.com/80/v2-a0abfad7fe815f4e78bfb827906750c7_1440w.png)
值得注意的是, 知识蒸馏最初是为模型压缩而设计的。随着LwF[4](Learning without forgetting)方法首次将其应用于增量学习, 知识蒸馏损失已成为了众多增量学习方法的基础模块。如下图所示,后续的工作主要可分为基于重要特征蒸馏,基于样本关系蒸馏和基于辅助数据的蒸馏,这些方法有效的改进类别增量学习中的知识蒸馏策略。
![](https://pic1.zhimg.com/80/v2-3f343dff13820fdf6b549b422c603cfd_1440w.png)
ORDisCo[5]
![](https://picx.zhimg.com/80/v2-ff302839b48b7e074fc48a1849949152_1440w.png)
MetaCo[6]
![](https://pic1.zhimg.com/80/v2-88637f8fca765bcf203c0ce0e546a66a_1440w.png)
关于变分自编码器的详细介绍,可关注公众号『CVHub』翻阅历史文章学习。
PGL[7]
![](https://picx.zhimg.com/80/v2-f1e620fba2de5e297cba8e883732e554_1440w.png)
Learning from Auxiliary Data
DMC[8]
![](https://pic1.zhimg.com/80/v2-ef3187ed2adc12e616b360329078d506_1440w.png)
CIL-QUD[9]
![](https://picx.zhimg.com/80/v2-a73576b3361998f817712e93dd160d00_1440w.png)
Learning from Test Data
CoTTA[10]
![](https://pic1.zhimg.com/80/v2-0ed188d251f1e58ba083288be3b043ed_1440w.png)
NOTE
![](https://picx.zhimg.com/80/v2-181ee9044aa56f76284650d650c5d1fd_1440w.jpg)
![](https://picx.zhimg.com/80/v2-fd984b94a8000d8242bb183093a4105a_1440w.png)
小样本增量学习
在增量学习任务的训练期间,小样本监督学习器使用来自新类别的少量示例更新预训练模型。在这方面,小样本监督方法同时解决了两个基本挑战:- Overfitting to Novel Categories
- Forgetfulness of Base Categories
Graph-Based Methods
TOPIC[13]
![](https://picx.zhimg.com/80/v2-69dd82f0aa8bebb02cc037d09e0c1afe_1440w.png)
CEC[14]
![](https://picx.zhimg.com/80/v2-ca6b473dcfcf9206749969618cde60d2_1440w.png)
Clustering-Based Methods
IDL-VQ[15]
增量深度学习向量化利用高斯混合将学习类别的视觉特征量化为参考向量质心。随后,任何传入的新类都由它们与现有参考向量的 soft similarity 进行表示。为了减少灾难性遗忘的现象,作者额外存储了每个类别的一个样本并在增量训练的期间进行回放。SA-KD[16]
![](https://picx.zhimg.com/80/v2-586a6e4edf9207a1cd75d47f76c94230_1440w.png)
SUB-REG[17]
![](https://pic1.zhimg.com/80/v2-61f09b16456f7bd6599a1f0ff3266032_1440w.png)
FACT[18]
![](https://pica.zhimg.com/80/v2-c3df746d3120b0713441d48ee2a42eb2_1440w.png)
Architectural Methods
FSLL[19]
![](https://picx.zhimg.com/80/v2-ffba00413f98dbf1df75c122f12c0ccb_1440w.png)
C-FSCIL[20]
![](https://picx.zhimg.com/80/v2-aa051e4f902f569d1e6c6c2644c27744_1440w.png)
![](https://pic1.zhimg.com/80/v2-2bbbd9bc7e8fd138e8616519e317ebc7_1440w.png)
自监督增量学习
基于自监督模式的增量学习主要有三种主要范式:- Pre-training
- Auxiliary-training
- Main-training
Pre-training
Pre-training 主要就是在增量学习任务开始之前先对主干网络预训练一波,大家可以理解为是一种“预热”操作。这方面的研究主要是建立在自监督预训练可以显著减少后续(迁移)学习任务中对标签监督的需求的想法之上。SSL-OCL[21]
![](https://pic1.zhimg.com/80/v2-b741dcba7bced94b9f2bf477e3528256_1440w.png)
Auxiliary-training
辅助训练指的是在训练期间用自监督的方法提供监督信号,以获得更具辨别力的特征空间。这类方法建立在自监督学习任务可以向学习者提供额外的监督信号以防止过拟合的想法之上。PASS[22]
![](https://picx.zhimg.com/80/v2-3ee0866b7e76685fe5cd66dd5e7d8c99_1440w.png)
Main-training
这是一种完全基于自监督学习目标进行训练的方法,并在训练后通过线性探测对其进行评估。此类方法主要的核心思想是认为自监督可以完全取代人工标签。Buffer-SSL[23]
![](https://pic1.zhimg.com/80/v2-a2220a8212077a83ebd82c7311250844_1440w.png)
LUMP[24]
![](https://pica.zhimg.com/80/v2-cc366c5d8f2d5497e7f23d3e9935133b_1440w.png)
CaSSLe[25]
![](https://picx.zhimg.com/80/v2-1ec62d1922e53233b2e141397309e656_1440w.png)
PFR[26]
![](https://pic1.zhimg.com/80/v2-64ca2bbc1afbd22da3fb80e2e33dcc92_1440w.png)
![](https://picx.zhimg.com/80/v2-09a5742ad99d31ab5fb74d5f43a2ec8f_1440w.png)
局限性
尽管上述三种高效的增量学习范式取得了一定的成就,但本身仍然存在一些局限性,接下来让我们简单的分析一波。半监督
基于半监督范式的增量学习可以通过伪监督的形式利用部分标记数据。然而,伪标签的质量部分仍然取决于标记数据的数量和质量。为此,这些模型仍然需要提供大量标签才能正常工作,因此并没有从根本上解决问题。不能理解的小伙伴可以思考下,伪标签是怎么得到的?还不是得训练出一个基础模型出来,这个模型训练得不好打出来的伪标签只会让模型表现得更糟糕。此外,伪标签自带的噪声问题也会随着时间逐渐累计,尤其是对于长增量学习序列的任务来说更是致命的。一种潜在的补救措施是从伪标签转向伪梯度,但是梯度估计也可能随时间推移而发生改变。既然如此,是否存在一种没有任何形式的伪监督的情况下能够直接通过输入统计更新规范化参数的方法呢?让我们后面揭晓。
小样本
小样本学习主要涉及到在增量训练钱和增量训练期间均会利用到标签信息。其中,预训练部分的标签复杂度特别高,毕竟它前期仍然需要用到大量的元数据样本,这对于医学成像或视觉异常检测等这类数据匮乏的领域来说,严重限制了它们的作用。 此外,小样本学习范式在增量学习过程中通过冻结主干网络的权重以防止过拟合新晋少量样本的现象。虽然效果很好,但这种做法并不自然,因为人类是具备非常强大的泛化性能,可以利用极少的样本进行学习,例如看过一次的东西大部分人就能够记住这是件什么物品。自监督
当自监督用于预训练或辅助训练时,自监督增量学习器的标签复杂性与普通增量学习器相当。使用自监督作为唯一的监督信号是在训练期间完全省略标签的关键。然而,单纯的自监督增量学习需要一个单独的标记线性探测阶段用于准确的评估模型迭代的效果,从而限制了它们的适用性。 此外,增量学习的自监督范式完全依赖于基于对比学习的方法来提取监督信号,例如 MoCo 等方法。然而,随基于掩码重建的 MAE 方法的提出,表明了基于重建的目标显然是优于基于对比学习所得到的的目标,这不失为一个新的探索方向。展望
通过对以上几种增量学习方法的分析,我们可以进一步总结出更具备现实意义的一些可研究方向。Mixed-Supervised Learning
混合监督学习在非增量学习是挺常见的一种形式,例如 ECCV 2020 中就出现过一篇《When does self-supervision improve few-shot learning?》的文章,作者便结合了自监督和小样本学习。![](https://pic1.zhimg.com/80/v2-9bc63e7ea93e9855883c687711044d67_1440w.png)
![](https://picx.zhimg.com/80/v2-2029f9b0de505da1557cb8ced7d09858_1440w.png)
Incremental Dense Learning
上面我们所列举的大多数例子均是围绕图像分类任务展开的。然而,对于语义分割这种密集型的预测任务而言,如何解决标签问题是一个棘手的问题,毕竟为图像中的每一个像素都赋予一个新的语义类别是个非常痛苦的工作,还真是谁行谁上。这里首先进行尝试的工作可能是 ICCV 2019 上的 《Recall: Replay-based continual learning in semantic segmentation》,作者通过为旧类重新创建不再可用的数据并概述背景类的内容修复方案来解决这些问题。![](https://pica.zhimg.com/80/v2-d39891a1f4d64fa1e99fca22fffec499_1440w.png)
![](https://pic1.zhimg.com/80/v2-fae2bed1a7805925ddaad9c31ec1fb5d_1440w.png)
Incremental Active Learning
在主动学习中,学习代理会选择最有影响力的示例,由人类专家进行注释。这显着降低了标记成本,因为只需一小部分示例足以训练一个好的模型。这方面的代表工作有《Towards robust and reproducible active learning using neural networks》,发表在 CVPR 2022 上。 神奇的是,主动学习在增量学习中几乎没有任何应用,你敢相信吗?然而,这种方法可以帮助选择一小撮范例来辅助半监督或小样本监督范式的增量学习,无论是从预训练还是增量训练的角度,值得一试。Incremental Object Discovery
对于人类而言,我们几乎可以在不需要任何监督的前提下,展示出惊人的发现前所未见物体的能力,几乎不费吹灰之力便能够对新对象进行分组。然而,现有的增量学习方法普遍没有发现新对象的能力,几乎所有对象都需要被标记,哪怕是 few-shot. 然而,我们知道,这其实并不现实,毕竟真实世界每天都会出现千奇百怪的新生物体。为此,严格意义上来说,增量学习不仅需要具备从有限的标记样本中进行监督学习,还要有挖掘新对象的能力。因此,未来的一个终极研究目标必定是朝着类人方向迈进的,让我们拭目以待!进阶
PyCIL[27]
![](https://pic1.zhimg.com/80/v2-456f464ab19df0f0ab878e2a650e6553_1440w.png)
Awesome IL Algorithms[28]
<Awesome Incremental Learning / Lifelong learning> 是一个持续更新的关于增量学习的仓库,大家如果需要查阅最新的论文,可以及时订阅。
Survey
- Deep Class-Incremental Learning: A Survey (arXiv 2023)
- A Comprehensive Survey of Continual Learning: Theory, Method and Application (arXiv 2023)
- Continual Learning of Natural Language Processing Tasks: A Survey (arXiv 2022)
- Continual Learning for Real-World Autonomous Systems: Algorithms, Challenges and Frameworks (arXiv 2022)
- Recent Advances of Continual Learning in Computer Vision: An Overview (arXiv 2021)
- Class-incremental learning: survey and performance evaluation (TPAMI 2022)
- A continual learning survey: Defying forgetting in classification tasks (TPAMI 2021)
Papers
- Online Bias Correction for Task-Free Continual Learning (ICLR2023)
- Sparse Distributed Memory is a Continual Learner (ICLR2023)
- Continual Learning of Language Models (ICLR2023)
- Progressive Prompts: Continual Learning for Language Models without Forgetting (ICLR2023)
- Is Forgetting Less a Good Inductive Bias for Forward Transfer? (ICLR2023)
- Online Boundary-Free Continual Learning by Scheduled Data Prior (ICLR2023)
- Incremental Learning of Structured Memory via Closed-Loop Transcription (ICLR2023)
- Better Generative Replay for Continual Federated Learning (ICLR2023)
- 3EF: Class-Incremental Learning via Efficient Energy-Based Expansion and Fusion (ICLR2023)
- Progressive Voronoi Diagram Subdivision Enables Accurate Data-free Class-Incremental Learning (ICLR2023)
- Learning without Prejudices: Continual Unbiased Learning via Benign and Malignant Forgetting (ICLR2023)
- Building a Subspace of Policies for Scalable Continual Learning (ICLR2023)
- A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning (ICLR2023)
- Continual evaluation for lifelong learning: Identifying the stability gap (ICLR2023)
- Continual Unsupervised Disentangling of Self-Organizing Representations (ICLR2023)
- Warping the Space: Weight Space Rotation for Class-Incremental Few-Shot Learning (ICLR2023)
- Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class-Incremental Learning (ICLR2023)
- On the Soft-Subnetwork for Few-Shot Class Incremental LearningOn the Soft-Subnetwork for Few-Shot Class Incremental Learning (ICLR2023)
- Task-Aware Information Routing from Common Representation Space in Lifelong Learning (ICLR2023)
- Error Sensitivity Modulation based Experience Replay: Mitigating Abrupt Representation Drift in Continual Learning (ICLR2023)
- Neural Weight Search for Scalable Task Incremental Learning (WACV2023)
- Attribution-aware Weight Transfer: A Warm-Start Initialization for Class-Incremental Semantic Segmentation (WACV2023)
- FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning (WACV2023)
- Sparse Coding in a Dual Memory System for Lifelong Learning (AAAI2023)
总结
增量学习的目标是在动态和开放的环境中,使模型能够在保留已有知识的基础上,不断学习新的类别知识。可以说,如果没有积累所学知识并基于已有的知识来逐步学习更多知识的能力,该系统并不能称之为一个真正意义上的智能系统。 通过对本文的阅读理解,相信大家已经对增量学习有了一定的认识。总的来说,本文主要向大家介绍了三种对标签高效的增量学习方法,包括半监督、小样本和自监督。其次,我们着重分析了现有方法的局限性以及给出了一些建议性的意见。最后,为了让各位小伙伴能够实现完整的闭环,我们还额外提供了必要的增量学习框架和一些最新的论文资料供大家进一步实践和学习。在可预知的未来,我们也不难猜测,增量学习必将更多的向下游任务涌入,包括但不仅限于增量目标检测、增量语义分割以及增量视频分析等。References
[1] Towards Label-Efficient Incremental Learning: https://arxiv.org/pdf/2302.00353.pdf [2] CNNL: https://dl.acm.org/doi/abs/10.1145/3094243.3094247 [3] DistillMatch: https://t.co/1sdMip6kuw, [4] LWF: https://arxiv.org/abs/1606.09282 [5] ORDisCo: https://openaccess.thecvf.com/content/CVPR2021/papers/Wang_ORDisCo_Effective_and_Efficient_Usage_of_Incremental_Unlabeled_Data_for_CVPR_2021_paper.pdf, [6] MetaCo: https://arxiv.org/abs/2110.01856 [7] PGL: https://arxiv.org/pdf/2201.09196.pdf [8] DMC: https://openaccess.thecvf.com/content_WACV_2020/papers/Zhang_Class-incremental_Learning_via_Deep_Model_Consolidation_WACV_2020_paper.pdf [9] CIL-QUD: https://openreview.net/pdf?id=oLvlPJheCD [10] CoTTA: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_Continual_Test-Time_Domain_Adaptation_CVPR_2022_paper.pdf [11] LAME: https://openaccess.thecvf.com/content/CVPR2022/papers/Boudiaf_Parameter-Free_Online_Test-Time_Adaptation_CVPR_2022_paper.pdf [12] anchor loss: https://openaccess.thecvf.com/content_CVPR_2020/papers/Tao_Few-Shot_Class-Incremental_Learning_CVPR_2020_paper.pdf [13] TOPIC: https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123640256.pdf [14] CEC: https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Few-Shot_Incremental_Learning_With_Continually_Evolved_Classifiers_CVPR_2021_paper.pdf [15] IDL-VQ: https://openreview.net/pdf?id=3SV-ZePhnZM [16] SA-KD: https://openaccess.thecvf.com/content/CVPR2021/papers/Cheraghian_Semantic-Aware_Knowledge_Distillation_for_Few-Shot_Class-Incremental_Learning_CVPR_2021_paper.pdf [17] SUB-REG: https://openreview.net/forum?id=boJy41J-tnQ [18] FACT: https://openaccess.thecvf.com/content/CVPR2022/papers/Ramanujan_Forward_Compatible_Training_for_Large-Scale_Embedding_Retrieval_Systems_CVPR_2022_paper.pdf [19] FSLL: https://ojs.aaai.org/index.php/AAAI/article/view/16334/16141 [20] C-FSCIL: https://openaccess.thecvf.com/content/CVPR2022/papers/Hersche_Constrained_Few-Shot_Class-Incremental_Learning_CVPR_2022_paper.pdf [21] SSL-OCL: https://www.bmvc2021-virtualconference.com/assets/papers/0636.pdf [22] PASS: https://openaccess.thecvf.com/content/CVPR2021/papers/Zhu_Prototype_Augmentation_and_Self-Supervision_for_Incremental_Learning_CVPR_2021_paper.pdf [23] Buffer-SSL: https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136860687.pdf [24] LUMP: https://openreview.net/forum?id=9Hrka5PA7LW [25] CaSSLe: https://arxiv.org/abs/2112.04215 [26] PFR: https://openaccess.thecvf.com/content/CVPR2022W/CLVision/papers/Gomez-Villa_Continually_Learning_Self-Supervised_Representations_With_Projected_Functional_Regularization_CVPRW_2022_paper.pdf [27] PyCIL: https://github.com/G-U-N/PyCIL [28] Awesome IL Algorithms: https://github.com/xialeiliu/Awesome-Incremental-Learning本文仅做学术分享,如有侵权,请联系删文。
欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【技术文档】《从零搭建pytorch模型教程》122页PDF下载
QQ交流群:444129970。群内有大佬负责解答大家的日常学习、科研、代码问题。
模型部署交流群:732145323。用于计算机视觉方面的模型部署、高性能计算、优化加速、技术学习等方面的交流。
其它文章 深度理解变分自编码器(VAE) | 从入门到精通 计算机视觉入门1v3辅导班 计算机视觉交流群 用于超大图像的训练策略:Patch Gradient Descent CV小知识讨论与分析(5)到底什么是Latent Space? 【免费送书活动】关于语义分割的亿点思考 新方案:从错误中学习,点云分割中的自我规范化层次语义表示 经典文章:Transformer是如何进军点云学习领域的? CVPR 2023 Workshop | 首个大规模视频全景分割比赛 如何更好地应对下游小样本图像数据?不平衡数据集的建模的技巧和策 Transformer交流群 经典文章:Transformer是如何进军点云学习领域的? CVPR 2023 Workshop | 首个大规模视频全景分割比赛 如何更好地应对下游小样本图像数据?不平衡数据集的建模的技巧和策 U-Net在2022年相关研究的论文推荐 用少于256KB内存实现边缘训练,开销不到PyTorch千分之一 PyTorch 2.0 重磅发布:一行代码提速 30% Hinton 最新研究:神经网络的未来是前向-前向算法 聊聊计算机视觉入门 FRNet:上下文感知的特征强化模块 DAMO-YOLO | 超越所有YOLO,兼顾模型速度与精度 《医学图像分割》综述,详述六大类100多个算法 如何高效实现矩阵乘?万文长字带你从CUDA初学者的角度入门 近似乘法对卷积神经网络的影响 BT-Unet:医学图像分割的自监督学习框架 语义分割该如何走下去? 轻量级模型设计与部署总结 从CVPR22出发,聊聊CAM是如何激活我们文章的热度! 入门必读系列(十六)经典CNN设计演变的关键总结:从VGGNet到EfficientNet 入门必读系列(十五)神经网络不work的原因总结 入门必读系列(十四)CV论文常见英语单词总结 入门必读系列(十三)高效阅读论文的方法 入门必读系列(十二)池化各要点与各方法总结 TensorRT教程(三)TensorRT的安装教程 TensorRT教程(一)初次介绍TensorRT TensorRT教程(二)TensorRT进阶介绍
标签:入门,标签,模型,学习,文带,监督,Learning,增量,字长 From: https://www.cnblogs.com/wxkang/p/17131383.html