首页 > 其他分享 >Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean

Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean

时间:2024-06-04 14:30:32浏览次数:27  
标签:Case Optimizing 语言 Language LRL MLLM 指令 LLM

本文是LLM系列文章,针对《Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean》的翻译。

优化多语言大型语言模型的语言增强——以朝鲜语为例

摘要

大型语言模型(LLM)使用预训练来预测后续单词;然而,它们的扩展需要大量的计算资源。许多大型科技公司和研究机构已经开发了多语言LLM(MLLM)来满足当前的需求,而忽略了资源较少的语言(LRL)。本研究基于公开的MLLM提出了三种提高LRL性能的策略。首先,扩展了LRL的MLLM词汇以增强表达能力。其次,使用双语数据进行预训练,以调整资源丰富和资源较少的语言。第三,构建了一个高质量的小规模指令数据集,并进行了指令调整以增强LRL。实验采用了Llama2模型,并

标签:Case,Optimizing,语言,Language,LRL,MLLM,指令,LLM
From: https://blog.csdn.net/c_cpp_csharp/article/details/139403052

相关文章

  • Efficient Pruning of Large Language Model with Adaptive Estimation Fusion
    本文是LLM系列文章,针对《EfficientPruningofLargeLanguageModelwithAdaptiveEstimationFusion》的翻译。基于自适应估计融合的大型语言模型的高效修剪摘要1引言2相关工作3方法4实验5结论摘要大型语言模型(LLM)已经成为许多生成下游任务的关键,这......
  • 使用ansible自动化安装MySQL8的mysql-router+mysql-shell+mysql架构InnoDB ReplicaSet
    【说明】当前数据库MySQLCommunityServer8.4.0LTS版本已经发行,使用InnoDBReplicaSet架构自动化搭建 【自动化安装】使用ansible安装mysql-router+mysql-shell+mysqltreemysql8/mysql8/├──mysql_ms.yaml└──roles└──mysql_ms├──tasks......
  • Large Language Models are Zero-Shot Rankers for Recommender Systems论文阅读笔记
    LargeLanguageModelsareZero-ShotRankersforRecommenderSystems论文阅读笔记Abstract​ 本工作旨在调查作为推荐系统的排名模型的LLM的能力。我们首先将推荐问题形式化为一个条件排序任务,将顺序交互历史作为条件,并将其他候选生成模型检索到的项目作为候选项。为了解决LL......
  • A Novel Paradigm Boosting Translation Capabilities of Large Language Models
    本文是LLM系列文章,针对《ANovelParadigmBoostingTranslationCapabilitiesofLargeLanguageModels》的翻译。提升大型语言模型翻译能力的新范式摘要1引言2相关工作3新的训练策略4实验5结果和分析6消融研究:如果我们直接使用大量的翻译数据进行SFT会......
  • Large Language Models as Data Augmenters for Cold-Start Item Recommendation论文
    LargeLanguageModelsasDataAugmentersforCold-StartItemRecommendation论文阅读笔记Abstract​ LLM的推理和泛化能力可以帮助我们更好地理解用户的偏好和项目特征。我们建议利用LLM作为数据增强器,来弥补在训练过程中对冷启动项目的知识差距。我们使用LLM根据用户历史行......
  • 【SQL进阶】CASE语句的使用
    语法格式case[列名]when[可能值1]then[目标值1]when[可能值2]then[目标值2]...else[缺省值]end注意的点else最好写上end必须写when后面的和then后面的值类型必须相同练习有一张日本的都道府郡表,包含编号,都道府郡名称,以及对应的人口数。输出每个岛的总人数......
  • Re-Search for The Truth Multi-round Retrieval-augmented Large Language Models ar
    本文是LLM系列文章,针对《Re-SearchforTheTruth:Multi-roundRetrieval-augmentedLargeLanguageModelsareStrongFakeNewsDetectors》的翻译。重新寻找真相:多轮检索增强的大型语言模型是强大的假新闻检测器摘要1引言2相关工作3方法4实验5结论局限......
  • Unmasking the Shadows of AI: Investigating Deceptive Capabilities in Large Langu
    本文是LLM系列文章,针对《UnmaskingtheShadowsofAI:InvestigatingDeceptiveCapabilitiesinLargeLanguageModels》的翻译。揭开人工智能的阴影:大型语言模型中的欺骗能力研究摘要2023年人工智能安全峰会:它实际实现了什么?AI欺骗的意义LLM和LLM中的偏见关于......
  • Learning Transferable Visual Models From Natural Language Supervision
    郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布!Proceedingsofthe38thInternationalConferenceonMachineLearning,PMLR139,2021.  Abstract 1.IntroductionandMotivatingWork 2.Approach 2.1.CreatingaSufficientlyLargeDataset ......
  • DDL(Data Definition Language)数据定义语句
    DDL语句的主要作用是定义或修改数据表的结构或数据类型。数据表的创建:CREATETABLE{表名}({字段名}{数据类型}{限制条件1}{限制条件2}...,{字段名}{数据类型}{限制条件1}{限制条件2}...);注:*每个字段之间需要写逗号*限制条件可以不加示例:#创......