神经网络训练（二）:基于残差连接的图片分类网络(进阶篇②)

时间：2024-08-03 16:25:13浏览次数：16

日常·唠嗑

昨天写完了神经网络训练（二）:基于残差连接的图片分类网络(进阶篇①)，进行了概述及理论介绍，本篇继续写第三章，在传统ResNet18的基础上进行优化，对代码训练进行实际分析验证。

3 基于ResNet18的优化

原始的ResNet18模型在不使用预训练权重的情况下，很难在10分钟内达到我们的需求。在测试过程中，我们发现仅通过调整模型的超参数是不可能获得更好的结果的，因此我们针对我们的数据集进行优化改进。

3.1 初步构思

考虑到CIFAR10数据集的图片尺寸太小，ResNet18网络的7x7降采样卷积和池化操作容易丢失一部分信息，所以在实验中我们将7x7的降采样层和最大池化层去掉，替换为一个3x3的降采样卷积，同时减小该卷积层的步长和填充大小，这样可以尽可能保留原始图像的信息。对比原ResNet18模型，首层改成3x3的，步长和padding都要一并改成1，删掉最大池化层，最后一个全连接层输出改成10。此外，我们没有使用ResNet中的maxpool操作，而是直接在每个layer block中使用stride=2来进行下采样。
构建模型：

在这里插入图片描述

Fig4.模型构建

在这里插入图片描述

Fig5. 基于ResNet18 基础版的性能

Precision	Loss
69.40%	0.732

在这里插入图片描述

Fig6. 基于ResNet18的性能

Precision	Loss
77.62%	0.342

标签：ResNet18,采样,基于,卷积,模型,残差,进阶篇,神经网络,3.1
From： https://blog.csdn.net/weixin_46423500/article/details/140802832

【MATLAB源码】机器视觉与图像识别技术(7)续---BP神经网络
系列文章目录在最后面，各位同仁感兴趣可以看看！BP神经网络第一节、BP网络定义第二节、BP网络结构及其特点第三节、信息传播方式信息的正向传播：实质是计算网络的输出误差的反向传播：实质是学习过程第四节、BP网络的算法流程图及设计第五节、BP网络的局限与不足第八节、BP网络......
深入探索EPSA：提升卷积神经网络性能的新式注意力模块
原论文地址：https://arxiv.org/abs/2105.14447摘要摘要部分提出了一种新的注意力模块——金字塔分割注意力（PSA）模块，该模块通过替代ResNet瓶颈块中的3x3卷积，显著提升了模型性能。PSA模块能够作为即插即用组件，增强网络的多尺度表征能力，使EPSANet在多个计算机视觉任务上超越了......
基于深度学习的适应硬件的神经网络
基于深度学习的适应硬件的神经网络设计旨在最大限度地利用特定硬件平台的计算和存储能力，提高模型的执行效率和性能。这些硬件包括图形处理单元（GPU）、张量处理单元（TPU）、现场可编程门阵列（FPGA）和专用集成电路（ASIC）。以下是关于适应硬件的神经网络的详细介绍：1.背景和动机硬件异构......
PyTorch 训练自定义功能齐全的神经网络模型的详细教程
在前面的文章中，老牛同学介绍了不少大语言模型的部署、推理和微调，也通过大模型演示了我们的日常的工作需求场景。我们通过大语言模型，实实在在的感受到了它强大的功能，同时也从中受益颇多。今天，老牛同学想和大家一起来训练一个自定义的、但是功能齐全的简单的神经网络模型。这个模型......
【眼疾病识别】图像识别+深度学习技术+人工智能+卷积神经网络算法+计算机课设+Python+
一、项目介绍眼疾识别系统，使用Python作为主要编程语言进行开发，基于深度学习等技术使用TensorFlow搭建ResNet50卷积神经网络算法，通过对眼疾图片4种数据集进行训练（'白内障','糖尿病性视网膜病变','青光眼','正常'），最终得到一个识别精确度较高的模型。然后使用Django框架开发Web网......
K-近邻和神经网络
K-近邻（K-NN,K-NearestNeighbors）原理K-近邻（K-NN）是一种非参数分类和回归算法。K-NN的主要思想是根据距离度量（如欧氏距离）找到训练数据集中与待预测样本最近的K个样本，并根据这K个样本的标签来进行预测。对于分类任务，K-NN通过投票的方式选择出现最多的类别作为预测结果；对......
机器学习--神经网络
什么是神经网络？ “神经网络是由具有适应性的简单单元组成广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”##神经网络是一个很大的学科领域，此处仅讨论神经网络与机器学习的交集，即“神经网络学习"，亦称“连接主义”学习......
【视频讲解】Python用LSTM、Wavenet神经网络、LightGBM预测股价
原文链接：https://tecdat.cn/?p=37184原文出处：拓端数据部落公众号分析师：YuyanYe在金融科技的浪潮中，量化投资方法以其数据驱动和模型导向的特性，日益成为资本市场分析的重要工具。特别是，长短期记忆网络（LSTM）、Wavenet以及LightGBM等先进的机器学习算法，因其在时间序列预测中的卓......
2. mqant——进阶篇
6.RPC高级用法6.1动态监听handler有些场景下,我们无法在编译阶段提前实现或注册好所有的handler,但在执行时可以通过一些动态规则动态分配handler。mqant也支持这样的功能场景6.1.1 handler监听器typeRPCListenerinterface{/**NoFoundFunction当未找到请......
二十五、【机器学习】-【Python手搓3层神经网络】：从零构建深度学习模型的实战指南
目录一、序章：为什么你需要掌握手搓神经网络二、基础篇：神经网络基础知识回顾三、实战配置：搭建3层神经网络的步骤与技巧（一）、__init__ 方法初始化神经网络（二）、train 方法实现了前向传播和反向传播（三）、query 方法（四）、全部代码四、总结一、序章：为什么你需要掌握手......

神经网络训练（二）:基于残差连接的图片分类网络(进阶篇②)

目录

日常·唠嗑

3 基于ResNet18的优化

3.1 初步构思

相关文章

赞助商

阅读排行