• 2024-06-17unsloth微调llama3实战全过程
    1、为什么要进行大模型微调微调的定义大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能,使模型能够更好地适应和完成特定领域的任务。微调的核心原因定制化功能:微调的核心原因是赋予大模型更加定制化的功能。通用大
  • 2024-05-16LLM实战:LLM微调加速神器-Unsloth + Qwen1.5
    1.背景上一篇介绍了基于训练加速框架Unsloth,微调训练Llama3的显卡资源占用及训练时间对比。近期Unsloth新增了Qwen1.5的模型适配,因此本qiang~马不停蹄地又进行了一次实验对比。对Unsloth的简介,感兴趣的客观可以查阅上一篇《LLM微调加速神器:Unsloth+LLama3》。2.实战本着
  • 2024-05-14LLM实战:LLM微调加速神器-Unsloth + LLama3
    1.背景五一结束后,本qiang~又投入了LLM的技术海洋中,本期将给大家带来LLM微调神器:Unsloth。正如Unsloth官方的对外宣贯:Easilyfinetune&trainLLMs;Getfasterwithunsloth。微调训练LLM,可以显著提升速度,其次显存占用也会显著减少。但有一点需要说明:unsloth目前开源部分只支