首页 > 其他分享 >【吴恩达机器学习笔记】9.1-Logistic 回归的梯度下降

【吴恩达机器学习笔记】9.1-Logistic 回归的梯度下降

时间:2024-11-09 13:41:09浏览次数:1  
标签:吴恩达 mathbf 函数 梯度 回归 逻辑 下降 Logistic 9.1


使用同步更新来执行更新的办法 罗杰斯特回归的梯度下降

这张图片展示了逻辑回归中的梯度下降算法。逻辑回归是一种广泛使用的分类算法,它使用一个逻辑函数来预测事件发生的概率。梯度下降是一种优化算法,用于最小化损失函数,从而找到最佳的模型参数。

图片中的内容可以分为几个部分:

  1. 梯度下降的迭代更新公式

    • 对于权重 ( w_j ) 的更新公式是:
      [
      w_j = w_j - \alpha \left[ \frac{1}{m} \sum_{i=1}^{m} (f_{\mathbf{w},b}(\mathbf{x}^{(i)}) - y{(i)})x_j \right]
      ]
    • 对于偏置 ( b ) 的更新公式是:
      [
      b = b - \alpha \left[ \frac{1}{m} \sum_{i=1}^{m} (f_{\mathbf{w},b}(\mathbf{x}^{(i)}) - y^{(i)}) \right]
      ]
      其中,( \alpha ) 是学习率,( m ) 是样本数量,( f_{\mathbf{w},b}(\mathbf{x}^{(i)}) ) 是逻辑回归模型的预测值,( y^{(i)} ) 是实际值,( x_j^{(i)} ) 是第 ( i ) 个样本的第 ( j ) 个特征。
  2. 逻辑回归与线性回归的对比

    • 线性回归的预测函数是:
      [
      f_{\mathbf{w},b}(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b
      ]
    • 逻辑回归的预测函数是:
      [
      f_{\mathbf{w},b}(\mathbf{x}) = \frac{1}{1 + e^{-(\mathbf{w} \cdot \mathbf{x} + b)}}
      ]
  3. 梯度下降的相同概念

    • 监控梯度下降(学习曲线)
    • 向量化实现
    • 特征缩放

双语对照翻译

  • Gradient descent for logistic regression: 逻辑回归中的梯度下降
  • repeat: 重复
  • looks like linear regression!: 看起来像线性回归!
  • simultaneous updates: 同时更新
  • Same concepts: 相同的概念
  • Monitor gradient descent (learning curve): 监控梯度下降(学习曲线)
  • Vectorized implementation: 向量化实现
  • Feature scaling: 特征缩放
  • Linear regression: 线性回归
  • Logistic regression: 逻辑回归

    梯度下降的实现;



    梯度下降的最后结果是损失/成本函数,也就是最后逻辑回归误差loss最小的函数,可见输入数据集和函数几乎相贴,其相距距离也就是loss损失,梯度下降得到w,b,此时在该算法中得到最佳的逻辑回归函数

标签:吴恩达,mathbf,函数,梯度,回归,逻辑,下降,Logistic,9.1
From: https://www.cnblogs.com/mayuri-wylty/p/18531311

相关文章

  • 吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)4.7-4.
    目录第四门课卷积神经网络(ConvolutionalNeuralNetworks)第四周特殊应用:人脸识别和神经风格转换(Specialapplications:Facerecognition&Neuralstyletransfer)4.7深度卷积网络学习什么?(WhataredeepConvNetslearning?)4.8代价函数(Costfunction)第四门课卷......
  • 【吴恩达机器学习笔记】7.2-->logistic回归-->可选实验室笔记
    这张图展示了逻辑回归模型在处理分类数据时的一个示例,特别是关于肿瘤大小与肿瘤性质(良性或恶性)之间的关系。图中各个部分的解释:坐标轴:横轴(X轴)表示肿瘤的大小。纵轴(Y轴)表示肿瘤是良性(0)还是恶性(1)。数据点:蓝色圆圈代表良性肿瘤。红色叉号代表恶性肿瘤。决策边界:......
  • 乘风破浪,扬帆出海,智慧新物流(Logistics),行业术语
    物流行业常用术语物流行业的常用术语涵盖了运输、仓储、配送、供应链等多个方面。以下是一些主要的物流术语及其含义:1.运输和配送相关FTL(FullTruckLoad):整车运输,货物量足以装满整辆卡车,适用于大型订单。LTL(LessThanTruckLoad):拼车运输,货量不足以装满整车,需要与其......
  • 9.17
    人机交互  手机店进销存进销存系统通常应具备以下几个核心模块:商品管理模块:用于管理商品的信息,包括商品的分类、品牌、型号、规格、条形码、库存数量等。采购管理模块:管理采购订单、供应商信息、采购入库、采购付款等功能,帮助企业有效控制采购流程。销售管理模块:处理......
  • 9.18
    学校操场还没修好 组局去北辰踢球了  被碾压单例模式单例模式(SingletonPattern)是Java中最简单的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类,该类负责创建自己的对象,同时确保只有单个对象被创建。这个......
  • 9.12
    周四今天没课做一下作业一.单选题(共10题,20分)1. (单选题,2分)‍第三次信息化浪潮的标志是:A. 个人电脑的普及B. 虚拟现实技术的普及C. 云计算、大数据、物联网技术的普及D. 互联网的普及我的答案: C:云计算、大数据、物联网技术的普及;正确答案: C:云计算、大......
  • 基于开源IM即时通讯框架MobileIMSDK:RainbowChat-iOS端v9.1版已发布
    关于MobileIMSDKMobileIMSDK是一套专门为移动端开发的开源IM即时通讯框架,超轻量级、高度提炼,一套API优雅支持 UDP 、TCP 、WebSocket 三种协议,支持 iOS、Android、H5、标准Java、小程序、Uniapp,服务端基于Netty编写。工程开源地址是:1)Gitee码云地址:https://gitee.com/ja......
  • WEBRTC教程:局域网怎么调试,http://172.19.18.101:8080 ,无法访问摄像头和麦克风,请检查
    在局域网中使用WebRTC时,无法访问摄像头和麦克风通常是因为浏览器的安全策略限制了getUserMediaAPI的使用。如果你在非localhost或非HTTPS环境下访问网页,浏览器会阻止访问摄像头和麦克风。解决方案在局域网中调试WebRTC时,你有几个选项来解决这个问题:1.使用lo......
  • 极狐GitLab 发布安全版本16.10.10, 16.9.11, 16.8.10, 16.7.10, 16.6.10, 16.5.10, 16
    近期,极狐GitLab针对16.x版本正式推出安全版本16.10.10,16.9.11,16.8.10,16.7.10,16.6.10,16.5.10,16.4.7,16.3.9,16.2.11,16.1.8,16.0.10,用来减缓安全漏洞CVE-2024-45409带来的安全风险。极狐GitLab正式推出针对GitLabCE老旧版本免费用户的GitLab专业升级服......
  • IDL 9.1新特性
    IDL9.1版本具有以下新增功能和更新:新增功能:Windows小部件的深色模式球谐变换GAUSS_QUAD_LEGENDRE功能读取和转换float16/binary16半精度浮点数命令行进度条IDL_HASHVAR功能新的SVG图标RENDER_SVG功能RENDER_ICON功能SVG_ICON_BROWSER例程更新功能:VSCo......