ChatGLM背景主流的预训练框架主要有三种：1、AutoRegressive自回归模型（AR模型）：代表GPT。本质上是一个Left-to-Right的语言模型。通常用于生成式任务，在长文本生成方面取得了巨大的成功。当扩展到十亿级别参数时，变现出了少样本学习能力。缺点是单向注意力机制，在NLU任务中，无法