首页 > 其他分享 >使用QLoRA对Llama 2进行微调的详细笔记

使用QLoRA对Llama 2进行微调的详细笔记

时间:2023-09-21 11:37:12浏览次数:47  
标签:Llama QLoRA 微调 笔记 详细 使用

使用QLoRA对Llama 2进行微调是我们常用的一个方法,但是在微调时会遇到各种各样的问题,所以在本文中,将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的,大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。

 

https://avoid.overfit.cn/post/903a50f5e8ec469f890a1e8854d64716

标签:Llama,QLoRA,微调,笔记,详细,使用
From: https://www.cnblogs.com/deephub/p/17719487.html

相关文章

  • 非全日志考研笔记
    前言因为自己最近突然有想考研的念头了,于是开始调研考研相关事宜。想了很久考全日制还是非全日制,最终还是打算选择非全日制。考虑的点主要是:1. 自己本科毕业,目前在互联网大厂做iOS开发工程师,已经是一份比较好的工作了2.自己考研的初衷,也不是为了在互联网找到一份更好的工......
  • RK3568开发笔记(十一):开发版buildroot固件移植一个ffmpeg播放rtsp的播放器Demo
    前言  目标开发任务还有个功能,就是播放rtsp摄像头,当然为了更好的坐这个个,我们必须支持rtsp播放失败之后重新尝试,比如5s重新尝试打开一次,从而保障联网后重新打开,然后达成这个功能。 Demo   补充  得益于方案上的buildroot已经移植了ffmpeg4.1.3。  ......
  • C语言基础语法学习笔记(一)
    前言C语言是大学时期入门编程的第一门编程语言,遗憾的是当时没好好学,这么多年过去了也没有真正的学习和使用过这门优秀的编程语言,现如今正好有时间就打算从头开始好好学一下。学习的参考资料主要是《C语言程序设计》这本书以及benny老师的C语言精讲视频课。快速入门快速入门部分......
  • Nginx第二天学习笔记
    在继续深入Nginx的学习之后,我对这个强大的Web服务器有了更深入的理解。以下是我对第二天学习的总结。一、Nginx的负载均衡Nginx的负载均衡功能是其核心特性之一,它可以轻松处理高并发的请求,使得Web应用能够应付大规模的访问。Nginx通过upstream模块来实现负载均衡,可以配置多个后端服......
  • (笔记)机器人坐标系用法和算法原理
     机器人坐标系 一、基坐标系机器人都有一个不会变的坐标系,叫基坐标系或世界坐标系(每家叫法不同,原理一样)。基坐标系是怎么来的呢? 拿6轴机器人举例: 第一轴的旋转轴 一般都会定义机器人第一轴的旋转轴为基坐标系Z轴,旋转中心即是坐标系原点,X和Y的方向是的电机零点......
  • openGauss学习笔记-75 openGauss 数据库管理-创建和管理序列
    openGauss学习笔记-75openGauss数据库管理-创建和管理序列75.1背景信息序列Sequence是用来产生唯一整数的数据库对象。序列的值是按照一定规则自增的整数。因为自增所以不重复,因此说Sequence具有唯一标识性。这也是Sequence常被用作主键的原因。通过序列使某字段成为唯一标识......
  • 算法学习笔记(29):分块
    分块这是一种基于根号的算法,核心为大块标记,散块暴力,做到复杂度的平衡。可能第一个想到于此相关的就是莫队吧,这是利用分块优化暴力的方法。目录分块RmqProblem/mex[国家集训队]排队-洛谷[TJOI2009]开关-洛谷[Violet]蒲公英-洛谷小小总结RmqProblem/mex这本不......
  • 极光笔记 | 大语言模型插件
    在人工智能领域,大语言模型(LLMs)是根据预训练数据集进行”学习“,获取可以拟合结果的参数,虽然随着参数的增加,模型的功能也会随之增强。但无论专业领域的小模型,还是当下最火、效果最好的大模型,都有一个共同的劣势:无法准确/正确地回答出训练数据集以外(区别于验证集和测试集的新增数据,如......
  • <学习笔记>线段树分治
    一种离线处理方法可以处理“具体哪个修改对询问有影响”、可以贡献不独立、可以支持插入删除。例题对这道题来说,对修改开线段树,线段树上每个节点开一个\(vector\)来维护出现在这段区间的线段,加入一个线段的区间,直接在区间查询时对所包含的节点压入这条线段就可以。然后从根......
  • 数论——线性同余方程、乘法逆元 学习笔记
    数论——线性同余方程、乘法逆元众所周知:说明除非特殊说明,以下提到的exgcd函数均定义为://ax+by=gcd(a,b)llexgcd(lla,llb,ll&x,ll&y,lld=0){if(b==0)x=1,y=0,d=a;elsed=exgcd(b,a%b,y,x),y-=a/b*x;return......