首页 > 其他分享 >LoRA原理

LoRA原理

时间:2024-10-31 18:08:52浏览次数:4  
标签:模型 旁支 FP16 维度 原理 LoRA

  图1描述了LoRA微调的原理,即在原模型的基础上,建立一个旁支模型,旁支模型由A和B两个小矩阵构成,且A@B的维度等于原模型的维度。

图1 LoRA原理

  图1的LoRA原理,也可写成2的等式,权重W的新状态W’,为图10左路WFP16与右路A FP16@B FP16乘积之和,其中W、A、B的上标FP16,意指其矩阵元素的dtype类型是Float16半精度。

 

关注更多安卓开发、AI技术、股票分析技术及个股诊断等理财、生活分享等资讯信息,请关注本人公众号(木圭龙的知识小屋)

 

标签:模型,旁支,FP16,维度,原理,LoRA
From: https://www.cnblogs.com/tgltt/p/18518587

相关文章

  • 【算法笔记】位运算算法原理深度剖析
    【算法笔记】位运算算法原理深度剖析......
  • bellman_ford算法原理
    是什么松弛在《算法四》中,对松弛的解释是:relaxtheedge,看起来比较抽象,不过如果我们从生活中的实例去理解,就简单多了:试想一根绳索,当你握着绳索的两头使劲用力拉伸时,绳子紧绷,长度会变长;而当你减小用力时,绳子松弛,长度会变短。当你没有用任何力时,此时绳子的长度最短。这里当用力减......
  • Kyber原理解析
    Kyber是一种IND-CCA2安全的密钥封装机制。Kyber的安全性基于在模格(MLWE问题)中解决LWE问题的难度。Kyber的构造采⽤两阶段⽅法:⾸先介绍⼀种⽤来加密固定32字节⻓度的消息原⽂的IND-CPA安全性的公钥加密⽅案,我们称之为CPAPKE,CPAPKE由密钥生成(CPAPKE.KeyGen)、加密(CPAPKE.Encry......
  • 3.4 可靠数据传输原理
    以下全文为《计算机网络自顶向下方法》(第8版)3.4小节的总结。rdt:reliabledatatransferudt:unreliabledatatransfer下方有限状态机图片中横线上方表示事件event,下方表示操作action。3.4.1构造可靠数据传输协议  1.经完全可靠信道的可靠数据传输:rdt1.0  2......
  • 中国积极开展空间探索活动 China has actively carried out space exploration missio
    近年来,中国积极开展空间探索活动,“嫦娥”揽月、“天问”探火、“羲和”逐日、空间站巡天,不断深化人类对宇宙的认知,致力增进人类共同福祉。Chinahasactivelycarriedoutspaceexplorationmissionsinrecentyears,includingthelaunchesofChang'elunarprobes,theMar......
  • 深入解析 Memcached原理、架构与最佳实践
    1.引言什么是Memcached?Memcached是一个高性能的分布式内存对象缓存系统,旨在通过减少数据库负载来加速动态Web应用程序。它以键值对的形式将数据存储在内存中,允许应用程序快速读取数据,从而提高响应速度和系统的可扩展性。由于其简单的设计和高效的性能,Memcached被广......
  • 线程池原理
    线程池是一种多线程处理方式,处理过程中将任务添加到队列,然后在创建线程后自动启动这些任务。线程池线程都是后台线程。每个线程都使用默认的堆栈大小,以默认的优先级运行,并处于多线程单元中。如果某个线程在托管代码中空闲(如正在等待某个事件),则线程池将插入另一个辅助线程来使所有......
  • React 中useState 原理
    useState是React中的一个Hook,用于在函数组件中添加状态管理。理解useState的原理有助于更好地掌握React的状态管理机制。1.基本概念状态(State):状态是组件内部的数据,可以影响组件的渲染。每当状态更新时,组件会重新渲染以反映新的状态。useState的作用:通过useS......
  • 小白手把手教学用spring框架实现mybatis和mysql以及工作原理
    Maven_Mybatis_Mysql什么是MybatisMyBatis是一款优秀的持久层框架,它支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。MyBatis可以通过简单的XML或注解来配置和映射原始类型、接口和JavaPOJO(PlainOldJavaObj......
  • FMC子卡设计原理图:FMC229-8路DAC&2路ADC 的FMC子卡
    FMC229-8路DAC&2路ADC的FMC子卡 一、板卡概述   FMC229-8路DAC&2路ADC的FMC子卡是公司自主研发的8路250MspsDA16bit,2路AD 250Msps 14bitAD板卡。板卡采用标准FMC子卡架构,可方便的与其他FMC板卡实现高速互联,可广泛用于高频模拟信号采集等场......