首页 > 其他分享 >神经网络基础篇:详解导数(Derivatives)

神经网络基础篇:详解导数(Derivatives)

时间:2023-10-30 11:56:45浏览次数:28  
标签:Derivatives frac 函数 导数 text 斜率 神经网络 详解 0.001

导数

一个函数\(f(a)=3a\),它是一条直线。下面来简单理解下导数。让 看看函数中几个点,假定\(a=2\),那么\(f(a)\)是\(a\)的3倍等于6,也就是说如果\(a=2\),那么函数\(f(a)=6\)。假定稍微改变一点点\(a\)的值,只增加一点,变为2.001,这时\(a\)将向右做微小的移动。0.001的差别实在是太小了,不能在图中显示出来, 把它右移一点,现在\(f(a)\)等于\(a\)的3倍是6.003,画在图里,比例不太符合。请看绿色高亮部分的这个小三角形,如果向右移动0.001,那么\(f(a)\)增加0.003,\(f(a)\)的值增加3倍于右移的\(a\),因此 说函数\(f(a)\)在\(a=2\),.是这个导数的斜率,或者说,当\(a=2\)时,斜率是3。导数这个概念意味着斜率,导数听起来是一个很可怕、很令人惊恐的词,但是斜率以一种很友好的方式来描述导数这个概念。所以提到导数, 把它当作函数的斜率就好了。更正式的斜率定义为在上图这个绿色的小三角形中,高除以宽。即斜率等于0.003除以0.001,等于3。或者说导数等于3,这表示当 将\(a\)右移0.001,\(f(a)\)的值增加3倍水平方向的量。

现在让从不同的角度理解这个函数。
假设\(a=5\) ,此时\(f(a)=3a=15\)。
把\(a\)右移一个很小的幅度,增加到5.001,\(f(a)=15.003\)。
即在\(a=5\) 时,斜率是3,这就是表示,当微小改变变量\(a\)的值,\(\frac{df(a)}{da}=3\) 。一个等价的导数表达式可以这样写\(\frac{d}{da}f(a)\),不管 是否将\(f(a)\)放在上面或者放在右边都没有关系。
在这个博客中, 讲解导数讨论的情况是 将\(a\)偏移0.001,如果 想知道导数的数学定义,导数是 右移很小的\(a\)值(不是0.001,而是一个非常非常小的值)。通常导数的定义是 右移\(a\)(可度量的值)一个无限小的值,\(f(a)\)增加3倍(增加了一个非常非常小的值)。也就是这个三角形右边的高度。

那就是导数的正式定义。但是为了直观的认识, 将探讨右移\(a=0.001\) 这个值,即使0.001并不是无穷小的可测数据。导数的一个特性是:这个函数任何地方的斜率总是等于3,不管\(a=2\)或 \(a=5\),这个函数的斜率总等于3,也就是说不管\(a\)的值如何变化,如果 增加0.001,\(f(a)\)的值就增加3倍。这个函数在所有地方的斜率都相等。一种证明方式是无论 将小三角形画在哪里,它的高除以宽总是3。

希望带给你一种感觉:什么是斜率?什么是导函数?对于一条直线,在例子中函数的斜率,在任何地方都是3。

2.6 更多的导数例子(More Derivative Examples)

在这个博客中 将给出一个更加复杂的例子,在这个例子中,函数在不同点处的斜率是不一样的,先来举个例子:

在这里画一个函数,\(f(a)={{\text{a}}^{\text{2}}}\),如果\(a=\text{2}\) 的话,那么\(f(a)=4\)。让 稍稍往右推进一点点,现在\(a=\text{2}.\text{001}\) ,则\(f(a)\approx 4.004\) (如果 用计算器算的话,这个准确的值应该为4.004。0.001 只是为了简便起见,省略了后面的部分),如果 在这儿画,一个小三角形, 就会发现,如果把\(a\)往右移动0.001,那么\(f(a)\)将增大四倍,即增大0.004。在微积分中 把这个三角形斜边的斜率,称为\(f(a)\)在点\(a=\text{2}\) 处的导数(即为4),或者写成微积分的形式,当\(a=\text{2}\) 的时候, \(\frac{d}{da}f(a)=4\) 由此可知,函数\(f(a)={{a}^{{2}}}\),在\(a\)取不同值的时候,它的斜率是不同的,这和上个博客中的例子是不同的。

这里有种直观的方法可以解释,为什么一个点的斜率,在不同位置会不同如果 在曲线上,的不同位置画一些小小的三角形 就会发现,三角形高和宽的比值,在曲线上不同的地方,它们是不同的。所以当\(a=2\) 时,斜率为4;而当\(a=5\)时,斜率为10 。如果 翻看微积分的课本,课本会告诉 ,函数\(f(a)={{a}^{{2}}}\)的斜率(即导数)为\(2a\)。这意味着任意给定一点\(a\),如果 稍微将\(a\),增大0.001,那么 会看到\(f(a)\)将增大\(2a\),即增大的值为点在\(a\)处斜率或导数,乘以 向右移动的距离。

注意:导数增大的值,不是刚好等于导数公式算出来的值,而只是根据导数算出来的一个估计值。

为了总结这篇博客的知识, 再来看看几个例子:

假设\(f(a)={{a}^{\text{3}}}\) 如果 翻看导数公式表, 会发现这个函数的导数,等于\(3{{a}^{2}}\)。所以这是什么意思呢,同样地举一个例子: 再次令\(a=2\),所以\({{a}^{3}}=8\) ,如果 又将\(a\)增大一点点, 会发现\(f(a)\approx 8.012\), 可以自己检查一遍,如果 取8.012, 会发现\({{2.001}^{3}}\) ,和8.012很接近,事实上当\(a=2\)时,导数值为\(3×{{2}^{2}}\),即\(3×4=12\)。所以导数公式,表明如果 将\(a\)向右移动0.001时,\(f(a)\) 将会向右移动12倍,即0.012。

来看最后一个例子,假设\(f(a)={{\log }_{e}}a\),有些可能会写作\(\ln a\),函数\(\log a\) 的斜率应该为\(\frac{1}{a}\),所以 可以解释如下:如果\(a\)取任何值,比如又取\(a=2\),然后又把\(a\)向右边移动0.001 那么\(f(a)\)将增大\(\frac{\text{1}}{a}\times \text{0}\text{.001}\),如果 借助计算器的话, 会发现当\(a=2\)时\(f(a)\approx \text{0}\text{.69315}\) ;而\(a=2.001\)时,\(f(a)\approx \text{0}\text{.69365}\)。所以\(f(a)\)增大了0.0005,如果 查看导数公式,当\(a=2\)的时候,导数值\(\frac{d}{da}f(a)=\frac{\text{1}}{\text{2}}\)。这表明如果 把 增大0.001,\(f(a)\)将只会增大0.001的二分之一,即0.0005。如果 画个小三角形 就会发现,如果\(x\) 轴增加了0.001,那么\(y\) 轴上的函数\(\log a\),将增大0.001的一半 即0.0005。所以 \(\frac{1}{a}\) ,当\(a=2\)时这里是 ,就是当\(a=2\)时这条线的斜率。这些就是有关,导数的一些知识。

在这个博客中,只需要记住两点:

  • 第一点,导数就是斜率,而函数的斜率,在不同的点是不同的。在第一个例子中\(f(a)=\text{3}a\) ,这是一条直线,在任何点它的斜率都是相同的,均为3。但是对于函数\(f(a)={{\text{a}}^{\text{2}}}\) ,或者\(f(a)=\log a\),它们的斜率是变化的,所以它们的导数或者斜率,在曲线上不同的点处是不同的。

  • 第二点,如果想知道一个函数的导数, 可参考微积分课本或者维基百科,然后 应该就能找到这些函数的导数公式。

标签:Derivatives,frac,函数,导数,text,斜率,神经网络,详解,0.001
From: https://www.cnblogs.com/oten/p/17797445.html

相关文章

  • Chromium CC渲染层工作流详解
    1.Chromium的渲染流水线Blink—> Paint -> Commit ->(Tiling ->) Raster -> Activate -> Draw(Submit) —>VizBlink对接 cc 的绘制接口进行 Paint,Paint生成cc模块的数据源(cc::Layer),CC将数据源进行合成,经过一系列过程最终在 Draw 阶段将合成的结果(viz......
  • SSA-BiLSTM麻雀算法优化双向长短期记忆神经网络的数据分类预测,多输入单输出模型
    ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,代码获取、论文复现及科研仿真合作可私信。......
  • 人工智能之从零理解人工神经网络
    人工智能之从零理解人工神经网络引人工智能并非是一个新型的词汇,从十九世纪五十年代开始,人们就开始探索为机器赋予类似人的智能能力。限于当时的基础数学理论不够完善,人工智能的发展并不顺利。直到九十年代发展出了基于统计学的数学工具,人工智能才得到飞速的发展。人工智能既是为机......
  • 万字长文 | 业内 MySQL 线程池主流方案详解 - MariaDB/Percona/AliSQL/TXSQL/MySQL企
    作者:卢文双资深数据库内核研发本文首发于2023-05-0422:07:40http://dbkernel.com/2023/05/04/mysql-threadpool-main-solutions-details/#本文主要从功能层面对比percona-server、mariadb、阿里云AliSQL、腾讯TXSQL、MySQL企业版线程池方案,都基于MySQL8.0。至于源......
  • 【Elasticsearch】es脚本编程使用详解
    目录一、es脚本语言介绍1.1什么是es脚本1.2es脚本支持的语言1.3es脚本语言特点1.4es脚本使用场景二、环境准备2.1docker搭建es过程2.1.1拉取es镜像2.1.2启动容器2.1.3配置es参数2.1.4重启es容器并访问2.2docker搭建kibana过程2.2.1拉取kibana镜像2.2.2启动kibana容器2.......
  • Modbus协议详解5:Modbus数据模型、寄存器、功能码 (非常重要)
    Modbus是应用层上的协议,还是一种主从的通信协议,通信过程按照一定的协议规则进行,数据的交互也是有固定的格式的。总的来说,Modbus是有着明确且固定的数据模型的,并且通信过程中的数据交互识别是要按照功能码进行的。接下来会介绍Modbus的数据模型、寄存器和功能码。1. Modbus的数据模......
  • ResNet详解:网络结构解读与PyTorch实现教程
    本文深入探讨了深度残差网络(ResNet)的核心概念和架构组成。我们从深度学习和梯度消失问题入手,逐一解析了残差块、初始卷积层、残差块组、全局平均池化和全连接层的作用和优点。文章还包含使用PyTorch构建和训练ResNet模型的实战部分,带有详细的代码和解释。关注TechLead,分享AI与......
  • ResNet详解:网络结构解读与PyTorch实现教程
    本文深入探讨了深度残差网络(ResNet)的核心概念和架构组成。我们从深度学习和梯度消失问题入手,逐一解析了残差块、初始卷积层、残差块组、全局平均池化和全连接层的作用和优点。文章还包含使用PyTorch构建和训练ResNet模型的实战部分,带有详细的代码和解释。关注TechLead,分享AI与......
  • 基于CNN卷积神经网络的目标识别matlab仿真,数据库采用cifar-10
    1.算法运行效果图预览   2.算法运行软件版本MATLAB2022a 3.算法理论概述     CNN是一种专门用于图像处理的神经网络架构,其核心是卷积层、池化层和全连接层。CNN利用卷积操作和池化操作来自动学习图像中的特征,然后通过全连接层将这些特征映射到不同类别的标签......
  • 基于CNN卷积神经网络的口罩检测识别系统matlab仿真
    1.算法运行效果图预览   2.算法运行软件版本matlab2022a 3.算法理论概述       新型冠状病毒可以通过呼吸道飞沫等方式传播,正确佩戴口罩可以有效切断新冠肺炎病毒的传播途径,是预防感染的有效措施。国内公众场合要求佩戴口罩。而商场、餐饮、地铁等人员密集......