首页 > 其他分享 >快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调

快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调

时间：2024-05-27 14:35:04浏览次数：28  
标签：7B LLAMA AI 模型 微调 lit 指令 llama lora

目录
  • 1. 选用工程：lit-llama
  • 2. 下载工程
  • 3. 安装环境
  • 4. 下载LLAMA-7B模型
  • 5. 做模型转换
  • 6. 初步测试
  • 7. 为什么要进行指令微调？
  • 8. 开始进行指令微调
  • * 8.1. 数据准备
    • 8.2 开始模型训练
    • 8.3 模型测试

前言：

  • 系统：ubuntu 18.04
  • 显卡：A100-80G（蹭的，嘿嘿~）
    （本次主要记录如何快速进行大模型的指令微调）

1. 选用工程：lit-llama

  • 地址：https://github.com/Lightning-AI/lit-llama
    在这里插入图片描述

2. 下载工程

git clone https://github.com/Lightning-AI/lit-llama.git

3. 安装环境

  1. 切换到工程目录
cd ./lit-llama
  1. 使用pip安装依赖库
pip install -r requirements.txt

（当然，这里可能会遇到网络问题，安装不了lightning）
可使用以下方式安装：

  • 下载lightning工程
    在这里插入图片描述

  • 解压进入工程目录，使用以下命令安装

    python setup.py install

  • 查看lightning是否安装成功：

    pip list|grep lightning

（这里注意lightning的版本是2.1.0）
在这里插入图片描述

4. 下载LLAMA-7B模型

这里我们要基于LLAMA-7B做指令微调，所以要先下载模型权重，并作一系列转换。

  • 切换到 lit-llama 所在位置，使用以下命令下载权重：

    python scripts/download.py --repo_id openlm-research/open_llama_7b --local_dir checkpoints/open-llama/7B

（文件有点大，需要等待一些时间）

  • 下载完毕之后，会得到如下的文件：
    在这里插入图片描述

5. 做模型转换

  • 还是切换到 lit-llama 所在位置，使用以下指令进行转换

    python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/open-llama/7B --model_size 7B

  • 转换完毕之后，在 lit-llama/checkpoints/lit-llama/7B 位置，会得到大小为26G左右的 lit-llama.pth 文件，在上一级目录（lit-llama/checkpoints/lit-llama）还有一个tokenizer.model文件
    在这里插入图片描述

6. 初步测试

  • 在命令行，使用如下命令运行：

     python generate.py --prompt "Today is a"

在这里插入图片描述

  • 使用中文测试，发现效果不好（开始胡说八道了~）
    在这里插入图片描述

7. 为什么要进行指令微调？

  • 因为原始的预训练LLAMA模型是一个大语言模型（废话~），会根据前面的单词预测下一个词语，如果你问它问题，它不会正确回答你，你问它一个问题，它可能会续写一些跟你一样的句子，例如，
  • Prompt为 “What is the capital of China?”，它的回复如下所示：
    在这里插入图片描述

8. 开始进行指令微调

8.1. 数据准备

  • 这里使用alpaca的52k指令数据进行微调，使用如下指令：

    python scripts/prepare_alpaca.py

  • 如果下载不下来的话，我们直接打开scripts/prepare_alpaca.py文件，如下所示：
    在这里插入图片描述

  • 直接打开链接 https://raw.githubusercontent.com/tloen/alpaca-lora/main/alpaca_data_cleaned_archive.json，然后全选页面复制，再保存到新建的文件里。
    在这里插入图片描述

  • 得到alpaca_data_cleaned_archive.json（看名字的clean应该是清洗过的），每条指令包含"instruction"、“input”、"output"三个关键字，本次先不具体展开讲解，如下所示：
    在这里插入图片描述

  • 运行指令后，还会作数据划分，train-49759, val-2000如下所示：
    在这里插入图片描述

  • 最后，会在lit-llama/data/alpaca路径下得到以下文件：
    在这里插入图片描述

8.2 开始模型训练

  • 使用以下指令：

    python finetune/lora.py

  • 训练过程如下所示:
    在这里插入图片描述

  • 整个训练过程大约要1.5个小时（16:51 ~ 18:22）

  • 训练完毕之后，会在out/lora/alpaca得到一系列lora的权重文件，如下图所示：
    在这里插入图片描述

8.3 模型测试

  • 使用如下指令进行提问，其中prompt为"what is the capital of China?"，

    python generate/lora.py --prompt "what is the capital of China?"

  • 得到的结果如下所示
    在这里插入图片描述

  • 可以看到，经过指令微调之后，模型已经可以正常回答我们的问题了。

（ps：其他细节可以参考工程的README，写的很清楚~）

结束。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享！

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享！

标签：7B,LLAMA,AI,模型,微调,lit,指令,llama,lora
From： https://blog.csdn.net/2401_85280106/article/details/139237241

相关文章

  • Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（五）基于已
    LlaMA3系列博客基于LlaMA3+LangGraph在windows本地部署大模型（一）基于LlaMA3+LangGraph在windows本地部署大模型（二）基于LlaMA3+LangGraph在windows本地部署大模型（三）基于LlaMA3+LangGraph在windows本地部署大模型（四）基于LlaMA3+LangGraph在w......
  • 使用RAG-GPT和Ollama搭建智能客服
    引言前面介绍了使用RAG-GPT和OpenAI快速搭建LangChain官网智能客服。有些场景，用户可能无法通过往外网访问OpenAI等云端LLM服务，或者由于数据隐私等安全问题，需要本地部署大模型。本文将介绍通过RAG-GPT和Ollama搭建智能客服。RAG技术原理介绍在介绍RAG-GPT项目之前，我们首先要......
  • LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、A
    LLM大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ）模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的......
  • Ollama+Open WebUI本地搭建大模型并发布公网分享好友体验AI交互
    文章目录前言1.运行Ollama2.安装OpenWebUI2.1在Windows系统安装Docker2.2使用Docker部署OpenWebUI3.安装内网穿透工具4.创建固定公网地址前言本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装OpenWebUI结合cpolar内网穿透软件，实......
  • Ollama for windows
    Ollama介绍Ollama是一个开源项目，旨在提供一个轻量级、可扩展的框架，用于在本地机器上构建和运行大型语言模型。以下是关于Ollama的一些核心特性和功能：本地运行:Ollama允许用户在本地计算机上运行大型语言模型，而无需依赖远程服务器。跨平台支持:Ollama支持macOS、Win......
  • 代码革命的先锋：aiXcoder-7B模型介绍
       国内开源代码大模型4月9日aiXcoder宣布正式开源其7B模型Base版，仅仅过去一个礼拜，aiXcoder-7B在软件源代码托管服务平台GitHub上的Star数已超过2k。同时跻身HuggingFace趋势榜单TOP30，令全球开发者瞩目。    背后团队aiXcoder团队来自北京大学软件工程研究......
  • Run Llama 3 Locally with Ollama and Open WebUI
    Ollama3installhttps://dev.to/timesurgelabs/how-to-run-llama-3-locally-with-ollama-and-open-webui-297dhttps://medium.com/@blackhorseya/running-llama-3-model-with-nvidia-gpu-using-ollama-docker-on-rhel-9-0504aeb1c924DockerGPUAcceleratehttps://docs.do......
  • LlamaIndex RAG 和ReAct结合使用
    LlamaIndexRAG和ReAct结合使用示例代码：importosos.environ['OpenAI_API_KEY']='sk-pxxxxhU7F5Zrc'os.environ['SERPAPI_API_KEY']='950fbdxxxx9b0fexxxx'#加载电商财报数据fromllama_index.coreimportSimpleDirectoryReaderA_doc......
  • 整合LlamaIndex与LangChain构建高级的查询处理系统
    构建大型语言模型应用程序可能会颇具挑战，尤其是当我们在不同的框架（如Langchain和LlamaIndex）之间进行选择时。LlamaIndex在智能搜索和数据检索方面的性能令人瞩目，而LangChain则作为一个更加通用的应用程序框架，提供了更好的与各种平台的兼容性。本篇文章将介绍如何将LlamaIndex和La......
  • 大模型LCM-LoRA
    地址https://github.com/luosiallen/latent-consistency-modelLCM「全称LatentConsistencyModels（潜在一致性模型）」，是清华大学交叉信息科学研究院研发的一款生成模型。它的特点是可以通过少量步数(4-8steps)推理合成出高分辨率图像，使图像生成速度提升2-5倍，需要的算力也更......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99