本文是LLM系列文章,针对《A Novel Paradigm Boosting Translation Capabilities of Large Language Models》的翻译。
提升大型语言模型翻译能力的新范式
摘要
本文研究了在机器翻译任务中提高大型语言模型翻译能力的策略。本文提出了一种新的范式,包括三个阶段:使用广泛的单语言数据进行二次预训练,使用线性文本格式文档进行连续预训练,以及利用源语言一致性指令进行监督微调。先前对LLM的研究集中在监督微调(SFT)的各种策略上,但其有效性有限。虽然传统的机器翻译方法依赖于大量的平行双语数据,但我们的范式强调了使用较小的高质量双语数据集的重要性。我们认为,重点应该放在增强LLM在预训练期间的跨语言对齐能力上ÿ
标签:翻译,Novel,范式,训练,Language,Models,机器翻译,LLM,语言 From: https://blog.csdn.net/c_cpp_csharp/article/details/139340888