首页 > 其他分享 >N-way K-shot Few shot learning

N-way K-shot Few shot learning

时间:2024-08-01 15:55:18浏览次数:14  
标签:set shot 测试 训练 样本 Few learning 类别

首先需要明确的是少样本领域的数据划分和大规模监督学习方法的数据划分不一样。在大规模监督学习方法中,训练集和测试集是混合后按比例随机切分,训练集和测试集的数据分布一致。以分类问题为例,切分后训练集中的类别和测试集中的类别相同,区别是样本数量不同。但是,在少样本领域,训练集和测试集是不交叉的,也就是说测试集中的类别在训练集中没有出现。

N-way K-shot是指测试集中有N个类别,每个类别有K个样本。对训练集中的类别和样本数量没有限制,但是在训练过程中每次迭代需要遵守N-way K-shot设置。上文提到训练集需划分为support set和query set,但是实际上,我们是在每个batch中,从训练集中采样N个类别,每个类别采样K+Q个样本。然后将这个batch的数据分为support set和query set,其中support set包含N个类别,每个类别K个样本,query set包含N个类别,每个类别Q个样本。

训练集中的类别和样本数量没有限制。这好像和少样本场景不符,但是测试集是N-way K-shot,并且类别和训练集不交叉。少样本模型的目的就是learn to learn,不管在训练集上如何训练,使用多少数据,最终还是要在测试集上测试。在测试集上测试是不会反向传播更新参数的,测试过程和训练过程一样,只是不需要计算损失和更新参数。在训练时保持N-way K-shot设置就是为了模拟测试集环境,而不是说训练集只有N*K个样本。顺便提一下,在测试时,测试集也需要划分support set和query set,其中support set需要符合N-way K-shot定义,这也是N-way K-shot的真正含义!对query set的样本数量没有限制,只需要类别和support set保持一致即可。

下面是一个few-shot learning 的示意图:

总结一下就是,训练和测试时的类别是不一样的,训练的目的是使得模型具有一定的先验知识,这种先验知识可以通过预训练的方式获取。然后在正式训练的时候通过support set 和 query set对比误差的方式 更新模型参数,从而在测试的时候通过对比图片的相似度来达到学会学习的目的,这也是少样本学习的最终目的。

 

标签:set,shot,测试,训练,样本,Few,learning,类别
From: https://blog.csdn.net/A2321161581/article/details/140844888

相关文章

  • 强化学习Reinforcement Learning算法的样本效率提升策略
    强化学习ReinforcementLearning算法的样本效率提升策略1.背景介绍1.1问题的由来在强化学习领域,提升算法的样本效率是关键挑战之一。在许多现实世界的应用场景中,比如机器人自主导航、智能游戏、自动驾驶、医疗健康决策以及大规模服务系统优化,获取高价值的环境反馈往往......
  • 机器学习:详解是否要使用端到端的深度学习?(Whether to use end-to-end learning?)
    详解是否要使用端到端的深度学习?假设正在搭建一个机器学习系统,要决定是否使用端对端方法,来看看端到端深度学习的一些优缺点,这样就可以根据一些准则,判断的应用程序是否有希望使用端到端方法。这里是应用端到端学习的一些好处,首先端到端学习真的只是让数据说话。所以如果有足够多......
  • 论文阅读:Sequence to sequence learning for joint extraction of entities and relat
    用以解决重叠关系问题GGNNs模型GGNNs(门控图神经网络,GatedGraphNeuralNetworks)是一种处理图结构数据的神经网络模型。它是图神经网络(GNN)的一个变体,使用了类似于长短时记忆网络(LSTM)中的门控机制来更有效地处理图中的信息流。GGNNs的核心机制GGNNs的核心思想是通过在图结构中......
  • 07 33984 Management Education and Learning B
    AssignmentRemitProgrammeTitleBusinessManagementsuiteofprogrammesModuleTitleManagementEducationandLearningBModuleCode0733984AssignmentTitleResit–Coursework2:ReflectivepieceLevelLCWeighting2......
  • 【秋招 Learning_note】| 拿捏二叉树考点!(一)
    文章目录引言二叉树的性质性质一结点数与层数的关系性质二结点数与层数的关系性质三叶子节点与度为2的节点关系性质四深度与节点数的关系两种特殊的二叉树满二叉树完全二叉树二叉树的遍历顺序前序遍历中序遍历后序遍历常考内容及详细解法题型一、基本概念与性质题......
  • 论文阅读:TKDP: Threefold Knowledge-Enriched Deep Prompt Tuning for Few-Shot Named
    将深度提示调优框架与三重知识(即TKDP)相结合,包括内部上下文知识和外部标签知识和语义知识。引言现有的少样本NER可分为3种:基于词-语义的方法、基于标签-语义的方法和基于提示的方法。基于词语义的方法完全依赖于输入词及其上下文。基于标签语义的方法需要额外利用标签知识。......
  • 【论文阅读】Graph Contrastive Learning with Augmentations
    论文名称:GraphContrastiveLearningwithAugmentations论文地址:https://arxiv.org/pdf/2010.13902论文来源:NeurIPS2020论文作者:YuningYou,TianlongChen,YongduoSui,TingChen,ZhangyangWang,YangShen代码地址:https://github.com/Shen-Lab/GraphCL1.问题引......
  • 机器学习:详解什么是端到端的深度学习?(What is end-to-end deep learning?)
    什么是端到端的深度学习?深度学习中最令人振奋的最新动态之一就是端到端深度学习的兴起,那么端到端学习到底是什么呢?简而言之,以前有一些数据处理系统或者学习系统,它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段,用单个神经网络代替它。来看一些例子,以语音......
  • Enhancing Diffusion Models with Reinforcement Learning
    EnhancingDiffusionModelswithReinforcementLearningSep27,2023 | UncategorizedTL;DRTodaywe'regoingtotellyouallabout DRLX -ourlibraryforDiffusionReinforcementLearning!Releasedafewweeksago,DRLXisalibraryforscalabledist......
  • The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos 论文详
    TheEmergenceofObjectness:LearningZero-ShotSegmentationfromVideos文章目录TheEmergenceofObjectness:LearningZero-ShotSegmentationfromVideos前言摘要1Introduction具体分析1具体分析2具体分析32相关工作3通过外观-运动分解分割具体分析43.1......