InternLM2实战营第二期第四节课《XTuner微调LLM:1.8B、多模态、Agent》官网地址：书生·浦语官网课程录播视频链接地址：XTuner微调LLM:1.8B、多模态、Agent_bilibiliXtuner地址：Xtunertips：建议这节课大家仔细听，可以让你快速了解大模型预训练的一些概念和模型内部实际

读前感：第四节课也进行了简单的微调，但最终微调出来个傻子，这次再试试，看看如何进行改善。实际的应用场景中使用微调的应该不会特别多，毕竟开源大模型并不是小公司可以玩得起的。对于小公司，真正的微调有哪些场景呢？欢迎大家讨论。读后感：本节课是整个训练营的最后一份笔记。希望

怎么说呢，祝大家炼丹愉快吧~

1、XTuner安装#如果你是在InternStudio平台，则从本地clone一个已有pytorch2.0.1的环境：/root/share/install_conda_env_internlm_base.shxtuner0.1.9#如果你是在其他平台：condacreate--namextuner0.1.9python=3.10-y#激活环境condaactivatextuner0.1.9#进入家目

微调原理想象一下，你有一个超大的玩具，现在你想改造这个超大的玩具。但是，对整个玩具进行全面的改动会非常昂贵。※因此，你找到了一种叫 LoRA 的方法：只对玩具中的某些零件进行改动，而不是对整个玩具进行全面改动。※而 QLoRA 是LoRA的一种改进：如果你手里只有一把生锈的螺丝刀，也

Smiling&Weeping----有趣是片难寻的土，灵魂是朵难养的花一些关于的模型训练的小tips：1.ctrl+c中断  2.tmuxnew-s名称  3.ctrl+b+D退出（没断）        基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B

微调框架XTuner以及整个微调的工作流程。以InternLM为底座模型来进行微调。 Finetune简介XTuner介绍8GB显卡玩转LLM动手实战成功连接上了开发机。