Benchmarking and Analyzing Generative Data for Visual Recognition
大型预训练生成模型的进展,扩展了它们作为有效数据生成器在视觉识别中的潜力。本研究深入探讨了生成图像的影响,主要比较了使用外部数据(即生成 vs. 网络检索 vs. 原始)的范式。
主要贡献是:1)GenBench构建:设计了GenBench,一个包含22个数据集和2548个类别的广泛基准,以评估在各种视觉识别任务中的生成数据。2)CLER分数:为了解决现有度量指标(如FID,CLIP分数)与下游识别性能之间的不足相关性,提出了CLER,一种无需训练的度量,用于指示生成数据在训练前对于识别任务的效率。3)新的基线:将生成数据与从同一外部数据池中检索的数据进行比较,有助于阐明生成数据的独特特点。4)外部知识注入:通过通过文本逆映射对每个类别进行特殊token嵌入微调,除了处理低分辨率参考图像时之外,在17个数据集上性能都有所提高。详尽的基准和分析聚焦于生成数据在视觉识别中的潜力,同时确定未来研究中的关键挑战。
Deep Learning Approaches for Data Augmentation in Medical Imaging: A Review
深度学习已成为医学图像分析的常用工具,但训练数据的有限可用性仍是一个主要挑战,特别是在医学领域,数据获取可能成本高且受隐私法规限制。数据增强技术通过人工增加训练样本的数量来解决这个问题,但这些技术通常产生有限结果。
为解决这个问题,越来越多的研究提出使用深度生成模型生成更真实和多样化的数据,以符合数据的真实分布。这篇综述着重介绍三种用于医学图像增强的深度生成模型:变分自编码器、生成对抗网络和扩散模型。
概述每个模型的当前最新技术,并讨论了它们在医学影像的不同下游任务中的潜力,包括分类、分割和跨模态转换。还评估每个模型的优点和局限性,并提出了未来研究方向。目标是提供一个全面的关于深度生成模型在医学图像增强中的应用,并突显这些模型在改善医学图像分析中深度学习算法性能方面的潜力。