首页 > 其他分享 >ML-relu变体

ML-relu变体

时间:2023-07-28 19:45:41浏览次数:23  
标签:函数 一抄 ML relu 负数 变体 官网

由于课程上的需要,所以自己需要整理一下这几个Relu函数相关的含义,想来写到word也是写,写到博客也是写,挂博客上能多留点回忆。

LeakyReLu

说到找函数,还是得去官网直接搜,咔一下,立马就搜到了。啊,那我肯定就直接复制着写。先看看官网里面的描述:
image
image
可以看得出来,做的不错,公式也很全面,啊,代码的参数也很完善,所以呢,不需要多想,直接抄到课程报告里,抄啊还不能直接复制,要怎么弄呢,给它充分的解释一下。就说,在负数范围俩面,通过增加一个常数因子,来对负数部分进行一个缩放,在保留负值的前提下,也能够让它有充分的激活函数的效果。啊,这样一说,显得就没那么敷衍了,再把公式一抄,写完一个了。

GELU

image
image
啊,这个的话,看上去就高级不少了,一看就长的不得了,完全不想理解。啊,仔细看看吧,函数看不懂,又是什么Tanh又是什么指数、三次幂,一堆看不懂的参数,头皮发麻。又仔细一看,嘶,看来没那么难,看上去就很恶心人那个,是tanh的,跟普通的无关,普通的是x 乘上 高斯累计分布函数,听上去也没那么复杂,就说结合高斯累计分布函数以及ReLu函数,同样起到保留负值与激活的作用。不错,还挺好说。最后再把公式一抄,又一个部分写完了。

CELU

image
image
负数部分采用了加权指数+偏置的方式,让数值保持在-1,+无穷的区间,在进行激活过程中,数值变化相对来说更平缓,单调性也是固定的。就到这吧,先打CSGO去,晚会抄抄,结束。

标签:函数,一抄,ML,relu,负数,变体,官网
From: https://www.cnblogs.com/D876887913/p/17588752.html

相关文章

  • AJAX - 创建 XMLHttpRequest 对象
      AJAX-创建XMLHttpRequest对象AJAX(异步JavaScript和XML)是一种在Web应用程序中创建快速动态更新的技术。使用AJAX,Web应用程序可以异步地向服务器发送和接收数据,而无需刷新整个页面。AJAX广泛用于Web应用程序中,包括社交媒体,电子商务,在线游戏等等。XMLHttpRequest是A......
  • VISIO 实现UML
     http://www.qdgw.edu.cn/zhuantiweb/jpkc/2009/rjkf/xmwd/Visio_UmlModel.htm 使用Visio进行UML建模内容提纲:1、VISIO中的UML建模环境2、用例图(USECASEDiagram)的使用2.1用例图的组成2.2创建用例图2.2.1建立角色(Actor)2.2.2建立用例2.2.3建立角色和用例的通信2.2.4建......
  • vue导出自定义的html
    vue导出.html文件HTML页面由.css、htmlDom标签组成,将css设置成js通过export导出,htmlDom可以通过$el.innerHTML获得,也可通过document.getElementById('id')获得。然后构造html页面,使用createObjectURL创建一个文件流下载。代码如下:import{resumecss}from'@/styles/download.......
  • mybatis常用xml语法
    @Select("<script>"+"select"+"vga.plate_typeasplateType,"+"count(plate_info)ascounts"+"from"+"vehicle_gangqu_all......
  • 如何用DHTMLX组件为Web应用创建甘特图?(一)
    dhtmlxGantt是用于跨浏览器和跨平台应用程序的功能齐全的Gantt图表。可满足项目管理应用程序的所有需求,是最完善的甘特图图表库。甘特图仍然是项目管理应用程序中最需要的工具之一,DHTMLXGantt组件提供了能提升研发甘特图功能所需的重要工具。在这篇文章中,您将学习如何添加一个基本......
  • SQL2008 不用for xml 实现拼接字符串
    因为forxml有些特殊符号 不能作为分割符号,所以采用这种方式。如果是SQL2012的话 有自带的函数了--测试数据IFOBJECT_ID('tempdb..#tmp_Orgdata')ISNOTNULLDROPTABLE#tmp_OrgdataGO--GID分组IDSTRCOL字符串SELECTGID,StrColINTO#tmp_Orgdat......
  • YAML+PyYAML笔记 2 | YAML缩进、分离、注释简单使用
    (2|YAML缩进、分离、注释简单使用)1简介YAML不是一种标记语言,而是一种数据格式;使用缩进和分离来表示数据结构,不需要使用额外的标记语言。2缩进使用缩进来表示嵌套关系;标识方式为使用空格;缩进必须使用相同数量的空格;比如以下每个列表项都由一个连字符开头,后面跟着一......
  • YAML+PyYAML笔记 3 | YAML集合、结构、标量、标记使用
    (3|YAML集合、结构、标量、标记使用)1集合YAML支持三种集合类型:列表,映射和集。1.1列表列表是一种序列结构,它使用连字符“-”表示;如下三个元素的列表,元素之间用“-”:fruit:-apple-rubber-pear使用Pyyaml解析:#解析withopen("config_jihe.yaml")asf:......
  • HTML
     一般的格式是创立一个web文件夹,里面创建image,css,html分别对应存放的子文件夹                                   ......
  • linux安装Tomcat | 开启Tomcat | 为Tomcat添加html页面
    摘要目的:介绍linux如何安装Tomcat一、步骤创建目录上传安装文件,并解压缩到/opt/tomcat进入解压目录/bin,启动tomcat./startup.sh.开放端口8080测试是否安装成功:在windows、Linux下访问http://linuxip:8080二、演示创建目录mkdir/opt/tomcat上传安装文件,并解压......