首页 > 其他分享 >PEFT qwen2 lora微调模型训练案例

PEFT qwen2 lora微调模型训练案例

时间:2024-08-28 09:21:59浏览次数:13  
标签:peft qwen2 80% E5% E8% https E4% PEFT lora

参考:
https://github.com/huggingface/peft
##文档
https://huggingface.co/docs/peft/index

https://www.wehelpwin.com/article/4299

https://www.ethanzhang.xyz/2024/07/09/%E3%80%90%E4%B8%AA%E4%BA%BA%E5%8D%9A%E5%AE%A2%E3%80%91%E4%BD%BF%E7%94%A8huggingface%E5%9C%A8%E5%8D%83%E9%97%AE2%E5%9F%BA%E7%A1%80%E4%B8%8A%E8%BF%9B%E8%A1%8CLora%E6%8C%87%E4%BB%A4%E5%BE%AE%E8%B0%83/

支持模型各种类型的微调,

安装

pip install peft

数据集下载参考:
https://blog.csdn.net/weixin_42357472/article/details/141134380

代码:

from transformers 

标签:peft,qwen2,80%,E5%,E8%,https,E4%,PEFT,lora
From: https://blog.csdn.net/weixin_42357472/article/details/141610945

相关文章

  • MIXLORA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of
    本文是LLM系列文章,针对《MIXLORA:EnhancingLargeLanguageModelsFine-TuningwithLoRA-basedMixtureofExperts》的翻译。MIXLORA:通过基于LoRA的专家混合来增强大型语言模型的微调摘要1引言2相关工作3MIXLORA4实验5结论摘要微调大型语言模型(LLM)......
  • 微调Qwen2:7B模型,加入未知信息语料
    对于QWen2这样的模型,在微调的时候,语料的投喂格式满足ChatML这样的格式!!!OpenAI-ChatML下面是ChatML格式的介绍:https://github.com/openai/openai-python/blob/release-v0.28.1/chatml.md传统上,GPT模型使用非结构化文本。ChatGPT模型需要一种结构化格式,称为ChatMarkupL......
  • Qwen2-72B的vLLM部署
    今天尝试本地部署了Qwen2-72B-Instruct-GPTQ-Int4模型,这里记录一下操作的过程。参考:https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.htmlhttps://docs.vllm.ai/en/stable/serving/openai_compatible_server.htmlhttps://techdiylife.github.io/blog/blog.html?......
  • ChatGPT等大模型高效调参大法——PEFT库的算法简介
    随着ChatGPT等大模型(LargeLanguageModel)的爆火,而且目前业界已经发现只有当模型的参数量达到100亿规模以上时,才能出现一些在小模型无法得到的涌现能力,比如in_contextlearing和chainofthougt。深度学习似乎朝着模型越来越大的方向一去不复。而对于这些通用的大模型如......
  • 开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100(八)
    一、前言  本篇文章将使用LLaMA-Factory去高效微调(命令和界面方式)QWen2系列模型,通过阅读本文,您将能够更好地掌握这些关键技术,理解其中的关键技术要点,并应用于自己的项目中。二、术语介绍2.1.LoRA微调  LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。......
  • centos7安装FreeRadius3及WEB管理界面DaloRadius
    一、基础环境安装1.安装基础环境yum-yinstallgccgcc-c++autoconflibjpeglibjpeg-devellibpnglibpng-develfreetypefreetype-devellibxml2libxml2-develzlibzlib-develglibcglibc-develglib2glib2-develbzip2bzip2-develncursesncurses-develcurlcurl-......
  • Qwen2-Math,新一代数学模型
    原文链接:https://qwenlm.github.io/zh/blog/qwen2-math/友情链接Github:https://github.com/QwenLM/Qwen2-MathHuggingFace:https://huggingface.co/QwenModelScope:https://modelscope.cn/organization/qwenDiscord:https://discord.gg/yPEP2vHTu4......
  • AI绘画Stable Diffusion 必学技能——从零开始训练你的专属 Lora 模型!模型训练保姆级
    大家好,我是灵魂画师向阳接触AI绘画的小伙伴,一定听过Lora。Lora模型全称是:Low-RankAdaptationofLargeLanguageModels,可以理解为Stable-Diffusion中的一个插件,在生成图片时,Lora模型会与大模型结合使用,从而实现对输出图片结果的调整。我们举个更容易懂的例子:大模型就像......
  • AIGC新手炼丹师快速生成属于自己的lora--示范样例:北条时行(出自:擅长逃跑的殿下)
    目录一.准备工作:安装stable-diffusion和sd-trainer二.准备数据集2.1确定你想要的数据集2.2准备数据集2.2.1对于人物类的数据集2.2.2数据集的处理2.2.3数据集所在文件夹参考位置(出于方便考虑,仅供参考):2.2.4由数据集生成标签                  2.2.5......
  • Pixelorama v1.0.1 官方版下载及安装教程 (像素画绘制工具)
    前言Pixelorama是一款免费的像素画创作工具,它功能丰富,操作直观,适合创作像素艺术。无论是制作游戏素材还是个人艺术项目,Pixelorama都能帮助你轻松绘制出多彩的像素图,而且支持多图层和多种格式的导入导出,非常适合像素艺术爱好者和游戏开发者使用。一、下载地址下载链接:分享......