Self-Instruct:将语言模型与自我生成的指令对齐

论文：SELF-INSTRUCT:Aligning Language Models with Self-Generated Instructions

Arxiv：https://arxiv.org/abs/2212.10560

论文背景

        大型“指令调整”语言模型（即微调以响应指令）已经证明了将零样本泛化到新任务的显着能力。然而，它们在很大程度上依赖于人类编写的指令数据，这些数据通常在数量、多样性和创造力方面受到限制，从而阻碍了调整模型的通用性。我们引入了 SELF-INSTRUCT，这是一个通过引导他们自己的生成来提高预训练语言模型的指令跟随能力的框架。

        对大规模指令数据进行注释对人类来说可能是一项挑战，因为它需要有提出新颖任务的创造力，和为每个任务编写解决方案的专业知识。在这里，我们详细介绍self-instruct的过程，它指的是使用普通的预训练语言模型本身生成任务的管道，过滤生成的数据，然后使用生成的数据进行指令调优，以便使LM更好地遵循指令。

方法论

定义指令数据

        我们想要生成的指令数据包含一组指令，每个指令用自然语言定义一个任务，且该任务至少包含一个输入输出实例。给定任务指令和相应的输入，模型