首页 > 其他分享 >深度学习:循环神经网络RNN

深度学习:循环神经网络RNN

时间:2024-10-09 21:20:49浏览次数:12  
标签:偏置 RNN yn 神经网络 深度 输入 结构

目录

一、神经网络的历程

1.传统神经网络存在的问题

2.提出一种新的神经网络

二、RNN基本结构

1.RNN基本结构

2.RNN的独特结构

3.RNN的局限性


一、神经网络的历程

1.传统神经网络存在的问题

  • 无法训练出具有顺序的数据。模型搭建时没有考虑数据上下之间的关系。
  • 因为传统神经网络输入数据的时候是同时输入,同一层的数据之间没有顺序关系,所以对于连续性的数据没有很好的预测效果

 

2.提出一种新的神经网络

  • 为了解决传统神经网络的问题,提出了一种新的神经网络——RNN(Recurrent Neural Network)在处理序列输入时具有记忆性,可以保留之前输入的信息并继续作为后续输入的一部分进行计算。

 

二、RNN基本结构

1.RNN基本结构

  • 下方蓝色的是输入,
  • 中间的矩形是隐藏层,
  • 上方紫色的是输出层
  • 看成传统神经网络转了个方向比较好理解

 

2.RNN的独特结构

  • RNN叫循环神经网络
  • 那么它的循环在哪呢,就是它的独特结构
  • 最开始的时候会有一个类似于偏置项的h0
  • h0乘以一个w矩阵然后与输入的数据x乘以一个u矩阵得到的结果再加上偏置项然后传入激活函数得到h1
  • h1乘以一个v矩阵加上偏置项c的结果传入交叉熵激活函数,得到输出的y1
  • 依次循环下去,得到最终的yn
  • 这个yn就是结合了整个数据的特征
  • 注意:
    • 每一次训练中计算用的u,v,w,b都是一样的 ,训练完反向传播会进行更新
    • RNN结构中输入是x1, x2, .....xn,输出为y1, y2, ...yn,也就是说,输入和输出序列必须要是等长的

 

3.RNN的局限性

  • 当出现“我的职业是程序员,…,我最擅长的是电脑”。当需要预测最后的词“电脑”。
  • 当前的信息建议下一个词可能是一种技能,但是如果我们需要弄清楚是什么技能,需要先前提到的离当前位置很远的“职业是程序员”的上下文。
  • 这说明相关信息和当前预测位置之间的间隔就变得相当的大。
  • 在理论上,RNN绝对可以处理这样的长期依赖问题。
  • 人们可以仔细挑选参数来解决这类问题中的最初级形式,但在实践中,RNN则没法太好的学习到这些知识。
  • 这使得模型难以学习长距离依赖关系

  • 原因是:梯度会随着时间的推移不断下降减少,而当梯度值变得非常小时,就不会继续学习。​

标签:偏置,RNN,yn,神经网络,深度,输入,结构
From: https://blog.csdn.net/weixin_65047977/article/details/142795876

相关文章

  • 基于深度学习的多焦点图像融合系统【数据集+深度学习模型+源码+PyQt5界面】
    @目录研究背景代码下载链接一、效果演示1.1界面设计1.2图像融合演示11.3图像融合演示21.4图像融合演示3二、技术原理2.1引言2.2融合策略2.3深度特征的提取2.4融合策略2.4.1利用深度特征计算模糊度2.4.2去噪与平滑2.4.3图像融合三、实验分析3.1实验设置3.1.1硬件环境3......
  • 深度学习No module named ‘torchvision.transforms.functional_tensor‘问题解决
    问题在进行深度学习训练过程中出现ModuleNotFoundError:Nomodulenamed'torchvision.transforms.functional_tensor'报错,多方查阅资料后得到了解决方案。关于我的环境:CUDA==12.1torch==2.4.1GPU==4090D原先进行深度学习用的CUDA11.3,torch1.2.1,但是在训练时出现nvrtc......
  • 霍普菲尔德(Hopfield)神经网络求解旅行商问题TSP,提供完整MATLAB代码,复制粘贴即可运行
    Hopfield神经网络是以美国物理学家约翰·霍普菲尔德(JohnHopfield)的名字命名的。他在1982年提出了这种类型的神经网络模型,因此通常被称为Hopfield网络。旅行商问题(TravelingSalesmanProblem,TSP)是一个经典的组合优化问题,即在给定一组城市及城市之间的距离,找到一条遍历所有......
  • DeepLearning.ai专项课程总结:深度学习入门指南
    DeepLearning.ai-SummaryDeepLearning.ai专项课程:深度学习的最佳入门之选DeepLearning.ai是由斯坦福大学教授AndrewNg在Coursera平台上推出的一个深度学习专项课程。作为人工智能和机器学习领域的顶级专家,AndrewNg精心设计了这一系列课程,旨在帮助学习者系统地掌握深度学习......
  • 深度学习对对联:探索seq2seq-couplet项目的智能对联生成
    引言对联作为中国传统文化的瑰宝,一直以其对仗工整、意境深远而备受推崇。随着人工智能技术的发展,利用深度学习来生成对联成为了一个引人注目的研究方向。本文将深入探讨seq2seq-couplet项目,这是一个利用序列到序列(seq2seq)模型来实现智能对联生成的开源项目。seq2seq-couple......
  • TFLearn: 高级API深度学习库
    TFLearn简介TFLearn是一个建立在TensorFlow之上的深度学习库,旨在为TensorFlow提供一个更高级的API,以便于快速实验和开发。它的设计理念是提供一个模块化、透明的深度学习库,同时保持与TensorFlow的完全兼容性。TFLearn具有以下主要特点:简单易用的高级API,可以快速实现深度神......
  • CNN Explainer: 交互式可视化学习卷积神经网络
    cnn-explainerCNNExplainer简介卷积神经网络(ConvolutionalNeuralNetworks,CNNs)是深度学习领域最重要的模型之一,在计算机视觉等领域取得了巨大成功。然而,由于CNN的复杂结构和抽象概念,对于初学者和非专业人士来说,理解CNN的工作原理往往存在较大困难。为了解决这个问题,......
  • 深度学习——生成对抗网络(GAN)
    ✅作者简介:2022年博客新星第八。热爱国学的Java后端开发者,修心和技术同步精进。......
  • Kubernetes(K8s)技术深度解析与实战案例
    Kubernetes(K8s)技术深度解析与实战案例Kubernetes(简称K8s)已经成为当今云原生应用和微服务架构的首选平台。作为一个开源的容器编排系统,K8s用于自动化应用程序的部署、扩展和管理。本文将深入探讨K8s的架构、关键组件、设计理念以及实战应用,并通过一个具体的微服务应用部署案......
  • 1688商品数据深度剖析:优化供应与销售策略的关键
    一、关键信息提取与分析商品数量:从API接口数据中提取商品总数,以及各类别下的商品数量。分析商品数量的分布情况,识别出热门类别和冷门类别。对比不同时间段的商品数量变化,评估商品上新速度和趋势。销售额:提取销售额数据,包括总销售额、各类别销售额、以及热销商品的销售......