一、背景

目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。

指令微调是预训练语言模型微调的主流范式

其目的是尽量让下游任务的形式尽量接近预训练任务，从而减少下游任务和预训练任务之间的Gap, 实现预训练语言模型适应下游任务，而非下游任务去适应模型。

指令微调的效果要优于基于Zero/Few-shot的提示词工程的上下文学习。

但随着预训练语言模型进入LLM时代，其参数量愈发庞大。全量微调模型所有参数所需的显存早已水涨船高。

例如：

• 全参微调Qwen1.5-7B-Chat预估要2张80GB的A800，160GB显存（需要确认一下
  标签：PrefixTuning,mathbf,Tuning,Adpter,模型,微调,参数,Prompt,LoRA
  From： https://www.cnblogs.com/justLittleStar/p/18176230