• 2024-12-05高效训练领域大语言模型的“前预训练”框架
    通用大语言模型(LargeLanguageModels,LLMs)通常需要通过进一步的预训练,以深入掌握特定领域的专业知识。为提升领域大语言模型的预训练效率,并在一定程度上降低对训练数据和资源的依赖,本文提出了一种名为PreparedLLM的“前预训练”框架。该框架旨在优化预训练过程,助力领域模型