首页 > 其他分享 >用图像增强来充实训练数据集,算不算是一种‘摸鱼’的方法?

用图像增强来充实训练数据集,算不算是一种‘摸鱼’的方法?

时间:2024-11-01 09:31:06浏览次数:5  
标签:训练 模型 算不算 range 摸鱼 图像 数据 图像增强

序言:图像增强其实就是对现有图片做一些变化,让数据集看起来更多样化,减少去额外收集数据的需求。虽然从某种程度上来说,它能提高数据的质量,但严格来说它不是传统意义上的数据清洗。数据清洗的目的就是把数据里的错误、不一致或者缺失的部分给清理掉,让数据变得更干净、更好用。

图像增强

在上一节中,我们构建了一个马或人分类器模型,这个模型是基于一个相对较小的数据集训练的。因此,在分类一些之前未见过的图片时,我们很快就遇到了问题,比如误把一个带马的女人分类错误,因为训练集中并没有包含类似姿势的人物图片(对,人工智能就是这样愚蠢,没有泛化能力??)

应对这些问题的一种方法是使用图像增强。这种技术的核心思想是,当 TensorFlow 加载数据时,可以通过多种变换方式来创建额外的新数据。比如,看看图 3-11。虽然数据集中并没有右侧那位女士的图像,但左侧的图像在某种程度上与之相似。

                                           图 3-11. 数据集的相似性

因此,如果在训练过程中,例如可以放大左侧的图像,如图 3-12 所示,就可以增加模型正确地将右侧图像分类为人物的概率。

                                          图 3-12. 放大训练集数据

同样地,我们可以通过多种其他变换来扩充训练集,包括:

• 旋转

• 水平平移

• 垂直平移

• 错切

• 缩放

• 翻转

由于我们一直在使用 ImageDataGenerator 加载图像,因此已经看到它进行了一次变换——即通过以下方式对图像进行了归一化处理:

train_datagen = ImageDataGenerator(rescale=1/255)

其他变换在 ImageDataGenerator 中也可以轻松实现,所以,我们可以像这样操作:

train_datagen = ImageDataGenerator(

rescale=1./255,

rotation_range=40,

width_shift_range=0.2,

height_shift_range=0.2,

shear_range=0.2,

zoom_range=0.2,

horizontal_flip=True,

fill_mode='nearest'

)

在这里,除了对图像进行归一化处理之外,我们还做了以下操作:

• 随机将每张图片向左或向右旋转最多 40 度

• 垂直或水平平移图片最多 20%

• 将图片错切最多 20%

• 将图片缩放最多 20%

• 随机将图片水平或垂直翻转

• 移动或错切后用最近的像素填充任何缺失的像素

当我们用这些参数重新训练时,会首先注意到训练时间变长了,因为所有这些图像处理需要额外的计算。同时,模型的准确率可能没有之前那么高,因为之前模型是对一个相对统一的数据集过拟合了。

在我的实验中,使用这些增强后,准确率从 99% 降到了 85%(经过 15 轮训练),验证集的准确率稍高,为 89%。(这表明模型稍微欠拟合,可以对参数进行一些微调。)

那之前在图 3-9 中被错误分类的图像呢?这次模型正确分类了。得益于图像增强,现在的训练集覆盖范围足够,使得模型也能理解这个特殊的图像是一个人(见图 3-13)。这只是一个数据点,可能不代表实际数据的全部结果,但这确实是朝正确方向迈出的一个小步。

                          图 3-13. 放大的女士现在被正确分类了

可以看到,即使是一个相对较小的数据集(如“马或人”),我们也可以开始构建一个相当不错的分类器。如果有更大的数据集,可以进一步提升模型效果。

另一个提升模型的技术是利用已在其他地方学到的特征。许多拥有大量资源的研究人员(数百万张图片)和巨型模型(已在成千上万的类别上进行训练)分享了他们的模型,借助一个称为迁移学习的概念,我们可以利用这些模型学到的特征并将其应用于自己的数据。我们接下来将探索这个方法!

标签:训练,模型,算不算,range,摸鱼,图像,数据,图像增强
From: https://www.cnblogs.com/jellyai/p/18519382

相关文章

  • 虚拟小玩具!推荐一个基于网页技术的3D魔方,摸鱼党快玩(带私活源码)
     楔子魔方,这个词汇对于大家来说应该并不陌生。在儿时的记忆中,我们曾经可以一整天都在玩魔方。然而,随着时间的流逝,我们步入了程序员的行业,每天与电脑的鼠标和键盘为伍。在这个过程中,魔方也与时俱进,从实体玩具转变为装载在电脑中的虚拟小玩具。对制作网页魔方原理感兴趣的......
  • 企业如何查看员工工作时是否在摸鱼呢?
    在日常的工作中,如何高效监管员工的工作微信已经成为许多企业头疼的问题。今天就给大家分享一个能让企业实时监管员工工作微信的宝藏工具------个微管理系统,帮助企业快速解决监管的烦恼,提升工作效率。1.好友统计好友统计主要统计的是通讯录好友,新增好友和删除好友三种,通过这个......
  • 理解ADC:“过采样”算不算是神操作?附带介绍Noise Spectral Density
    前言上回说到“理想ADC”中只存在量化噪声,并且介绍了SNR=6.02N+1.76dB的计算公式。那么,是否意味着“底噪”(NoiseFloor)就是这个SNR的负数呢?先来看一张图,原始出自于ADI的文章(见参考资料[1]),我做了些标注:图1ADCSNR与Noisefloor图中假设了一个12-bit的ADC,......
  • 员工离职监控系统是什么?30秒截员工电脑屏幕!离职倾向、摸鱼通通被领导监测【科普详解】
    近年来,随着科技的发展,一种名为“员工离职监控系统”的软件在职场中悄然兴起。这类系统不仅能够实时监测员工的离职倾向,甚至还能通过截图等方式监控员工的电脑屏幕,确保员工在工作时间内保持高效的工作状态。然而,这样的监控方式也引发了关于职场隐私与效率的双重考量。离职......
  • 《花100块做个摸鱼小网站! 》第八篇—增加词云组件和搜索组件
    ⭐️基础链接导航⭐️服务器→☁️阿里云活动地址看样例→......
  • 图像数据增强库综述:10个强大图像增强工具对比与分析
    在深度学习和计算机视觉领域,数据增强已成为提高模型性能和泛化能力的关键技术。本文旨在全面介绍当前广泛使用的图像数据增强库,分析其特点和适用场景,以辅助研究人员和开发者选择最适合其需求的工具。数据增强的重要性数据增强在深度学习模型训练中扮演着至关重要的角色,其......
  • 《花100块做个摸鱼小网站! 》第七篇—谁访问了我们的网站?
    ⭐️基础链接导航⭐️服务器→☁️阿里云活动地址看样例→......
  • 【1024程序猿节】IT人#摸鱼计划#,多重奖励等你来拿!
    10月摸鱼计划如期而至,全新上线3款活动任务,还有多重奖励等你来拿!【活动时间】发文时间:2024年10月8日—2024年10月31日【活动任务】以下任务福利可同享!!同时,我们为大家整理了容易被百度收录的关键词,当你写作的时候,可以直接选择热点且擅长的关键词进行博文创作。 直达热点关键词库>>任......
  • 如何优雅的摸鱼
      参考资料:探索Linux世界的趣味命令:解锁你的终端新玩法_linuxhollywood-CSDN博客一、前言在Linux的广阔世界里,隐藏着许多令人惊叹的工具和命令,一些工具和命令充满了趣味性和创意。今天让我们一起来看一下Linux命令行中有哪些既实用又有趣的命令吧!二、有趣的命令2.1 h......
  • 图像数据增强库综述:10个强大图像增强工具对比与分析
    在深度学习和计算机视觉领域,数据增强已成为提高模型性能和泛化能力的关键技术。本文旨在全面介绍当前广泛使用的图像数据增强库,分析其特点和适用场景,以辅助研究人员和开发者选择最适合其需求的工具。数据增强在深度学习模型训练中扮演着至关重要的角色,其重要性主要体现在以下几......