一、前言  本篇文章将在v100单卡服务器上，使用unsloth去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。  使用unsloth能够使模型的微调速度提高2-5倍。在处理大规模数据或对时间要求较高的场景下

本文参考：https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp改编自：https://blog.csdn.net/qq_38628046/article/details/138906504文章目录一、项目说明安装相关依赖下载模型和数据二、训练1、加载model、tokenizer2、设置LoRA训练参数3

1、为什么要进行大模型微调微调的定义大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。微调的核心原因定制化功能：微调的核心原因是赋予大模型更加定制化的功能。通用大

1.背景上一篇介绍了基于训练加速框架Unsloth，微调训练Llama3的显卡资源占用及训练时间对比。近期Unsloth新增了Qwen1.5的模型适配，因此本qiang~马不停蹄地又进行了一次实验对比。对Unsloth的简介，感兴趣的客观可以查阅上一篇《LLM微调加速神器：Unsloth+LLama3》。2.实战本着

1.背景五一结束后，本qiang~又投入了LLM的技术海洋中，本期将给大家带来LLM微调神器：Unsloth。正如Unsloth官方的对外宣贯：Easilyfinetune&trainLLMs;Getfasterwithunsloth。微调训练LLM，可以显著提升速度，其次显存占用也会显著减少。但有一点需要说明：unsloth目前开源部分只支