首页 > 其他分享 >深度学习之激活函数

深度学习之激活函数

时间:2024-07-01 20:58:09浏览次数:21  
标签:输出 函数 公式 ReLU 特性 深度 激活

激活函数的公式根据不同的函数类型而有所不同。以下是一些常见的激活函数及其数学公式:

  1. Sigmoid函数
    • 公式:f(x)=
    • 特性:输出范围在0到1之间,常用于二分类问题,将输出转换为概率值但存在梯度消失问题,尤其在输入值较大或较小时。
  2. Tanh函数(双曲正切函数)
    • 公式:f(x)=
    • 特性:输出范围在-1到1之间,具有更广的取值范围,且均值为0,可以中心化输入信号。但也存在梯度消失问题。
  3. ReLU(Rectified Linear Unit)函数
    • 公式:f(x)=max(0,x)
    • 特性:当x<0时,输出为0;当x>0时,输出为x。ReLU函数计算简单,速度快,且解决了梯度消失问题(在x>0的区域)。但存在“死区”问题,即当x<0时,梯度为0。
  4. Leaky ReLU函数
    • 公式:f(x)=max(αx,x)(其中α是一个很小的正数,如0.1)
    • 特性:Leaky ReLU函数试图解决ReLU的“死区”问题,当x<0时,输出为αx而不是0。
  5. Softmax函数
    • 公式:softmax(xi​)=(其中xi​是输入向量中的第i个元素,N是输入向量的维度)
    • 特性:Softmax函数是多分类任务中常用的激活函数,它将每个类别的输出转换为概率分布

以上这些激活函数在神经网络中起着至关重要的作用,它们通过添加非线性因素,使得神经网络能够学习和拟合复杂的真实世界系统。

标签:输出,函数,公式,ReLU,特性,深度,激活
From: https://blog.csdn.net/Oxford1151/article/details/140036617

相关文章

  • Nuxt3 的生命周期和钩子函数(七)
    title:Nuxt3的生命周期和钩子函数(七)date:2024/6/30updated:2024/6/30author:cmdragonexcerpt:摘要:文章阐述了Nuxt3中Nitro生命周期钩子的使用,如nitro:config自定义配置、nitro:init注册构建钩子、nitro:build:before/after调整构建设置及处理公共资产、prerender:rou......
  • 激活函数(1)笔记
    ReLU函数最受欢迎的激活函数是修正线性单元(Rectifiedlinearunit,ReLU),因为它实现简单,同时在各种预测任务中表现良好。ReLU提供了一种非常简单的非线性变换。#导入PyTorch库importtorch#从d2l库中导入与PyTorch相关的模块(这里假设d2l是一个外部库或教程中定义的......
  • java中的函数式接口:(Consumer、BiConsumer、Supplier、Predicate、Function、BiFunctio
    Consumer说明:(1)consumer接口来自java8中引入的Java.util.function包(2)Consumer是一个功能接口,用来作为lambda表达式或方法引用的任务目标(传递一个参数执行指定的方法)。功能:Consumer的功能接口是一个接受单一参数并且不返回任何结果的操作。必要时,"结果"可以存在在集合......
  • 华为OD机试D卷 --最大括号深度--24年OD统一考试(Java & JS & Python & C & C++)
    文章目录题目描述输入描述输出描述用例题目解析算法源码题目描述现有一字符串仅由‘(‘,’)’,‘{‘,’}’,’[‘,’]’六种括号组成。若字符串满足以下条件之一,则为无效字符串:①任一类型的左右括号数量不相等;②存在未按正确顺序(先左后右)闭合的括号。输出......
  • 深度测评:ONLYOFFICE 8.1 的安装与使用——功能全面的 PDF 编辑器、幻灯片版式、优化电
    目录一、引言二、ONLYOFFICE简介三、安装1.Windows/Mac安装2.文档开发者版安装四、使用1.功能全面的PDF编辑器2.无缝切换文档编辑、审阅和查看模式3.改进从右至左语言的支持&新的本地化选项五、总结一、引言ONLYOFFICE8.1是AscensioSystemSIA......
  • C++纯虚函数的理解,纯虚函数和派生类的关系。
    在C++中,纯虚函数(purevirtualfunction)是一种特殊的虚函数,它在基类中没有实现,只定义了一个接口,要求派生类必须提供具体实现。纯虚函数的定义方式在接口设计和多态性中非常有用。纯虚函数的定义和语法在C++中,纯虚函数的定义使用以下语法:classBase{public:virtual......
  • 使用不同函数打印torch.nn模型——print(model),named_children(),named_modules():
    创建模型创建一个具有三级嵌套的模型,结构如图:importtorchimporttorch.nnasnn#定义子子模块classSubSubModule(nn.Module):def__init__(self):super(SubSubModule,self).__init__()self.conv=nn.Conv2d(3,3,kernel_size=3,padding=1)......
  • 内存管理-9-内存常用函数和宏
    基于msm-5.41.页与页帧号转换//include/asm-generic/memory_model.h#definepfn_to_page(pfn)(vmemmap+(pfn))#definepage_to_pfn(page)(unsignedlong)((page)-vmemmap)注:使能了CONFIG_SPARSEMEM_VMEMMAP才使用的是这一组宏。vmemmap是一个structpage*类......
  • 揭秘LLaMA 2:深度学习的未来,从原理到模型训练的全面剖析
    引言LLaMA(LargeLanguageModelforAIAssistance)2是Meta(原Facebook)开发的一个大型语言模型,旨在为各种自然语言处理任务提供强大的支持。它在前代基础上进行了改进,具有更好的性能和更广泛的应用前景。本文将详细介绍LLaMA2的原理、模型结构和训练方法。目录LLaMA......
  • 嵌入式Linux系统编程 — 5.5 sleep、usleep和nanosleep系统休眠函数
    目录1为什么需要休眠2 sleep、usleep和nanosleep函数2.1sleep函数2.2 usleep函数2.3 nanosleep函数3示例程序1为什么需要休眠有时需要将进程暂停或休眠一段时间,进入休眠状态之后,程序将暂停运行,直到休眠结束。以下是一些常见的休眠场景和作用:避免过载:在高......