本文是LLM系列文章，针对《Dual Instruction Tuning with Large Language Models for Mathematical Reasoning》的翻译。
数学推理的大语言模型双指令调优
摘要
最近的进展突出了利用思想链（CoT）数据进行数学推理任务的大型语言模型（LLM）的指令调整的成功。尽管LLM经过了微调，但挑战依然存在，例如CoT生成中不正确、缺失和冗余的步骤，导致答案预测不准确。为了缓解这个问题，我们提出了一种双指令调整策略，从正向和反向对数学推理进行精心建模。这包括引入中间推理状态预测任务（正向推理）和指令重构任务（反向推理），以增强LLM对指令的理解和执行。这些任务的训练实例是基于现有的数学指令调整数据集构建的。随后，LLM使用现有的数学指令和新创建的数据进行多任务微调。综合实验验证了双指令调整策略在各种数学推理任务中的有效性和领域泛化能力。
1 引言
2 方法
3 实验
4 结论
这项工作提出了一种双指令调整策略，以缓解LLM生成的思想链的质量问题。具体来说，该策略引入了两个辅助任务，包括中间推理状态预测和指令重构任务，这两个任务从正向和反向精心建模数学推理。随后，构建并利用这两个任务的额外训练数据以多任务学习的方式训练LLM。实验证明，该方法有助于提高模型的数学推理能力和领域泛化能力。