本文是LLM系列文章,针对《Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean》的翻译。
优化多语言大型语言模型的语言增强——以朝鲜语为例
摘要
大型语言模型(LLM)使用预训练来预测后续单词;然而,它们的扩展需要大量的计算资源。许多大型科技公司和研究机构已经开发了多语言LLM(MLLM)来满足当前的需求,而忽略了资源较少的语言(LRL)。本研究基于公开的MLLM提出了三种提高LRL性能的策略。首先,扩展了LRL的MLLM词汇以增强表达能力。其次,使用双语数据进行预训练,以调整资源丰富和资源较少的语言。第三,构建了一个高质量的小规模指令数据集,并进行了指令调整以增强LRL。实验采用了Llama2模型,并
标签:Case,Optimizing,语言,Language,LRL,MLLM,指令,LLM From: https://blog.csdn.net/c_cpp_csharp/article/details/139403052