网站首页
编程语言
数据库
系统相关
其他分享
编程问答
噪器
2024-07-18
模型预训练任务
文章目录语言建模去噪自编码混合去噪器 在进行模型的大规模预训练时,往往需要设计合适的自监督预训练任务,使得模型能够从海量无标注数据中学习到广泛的语义知识与世界知识。目前,常用的预训练任务主要分为三类,包括语言建模(LanguageModeling,LM)、去噪