引言        在自然语言处理（NLP）领域，T5（Text-to-TextTransferTransformer）代表了一种革命性的方法。它不仅继承了Transformer架构的强大能力，而且通过将所有任务转化为文本到文本的形式，简化了任务之间的迁移学习过程。这种统一的方法使得T5能够在翻译、问答、摘要生成

GLM模型的产生背景        GLM的产生是在自回归模型（GPT）、自编码模型（Bert）、编解码模型（T5）的背景下构造的，因为GPT是left-to-right的从左往右学习的模型，通过上一个单词预测下一个单词，是单向注意力机制，对于长文本的生成能力很强，但是对于NLU这种语义理解的任务，不能

[Autho] 余胜辉1.Bert模型简介        BERT是谷歌于2018年提出的预训练语言模型，它使用了Transformer编码器部分。2.Bert模型输入处理     以bert-base为例，模型包含12个层，12个注意力头，隐藏层尺寸为768，模型大小约为110MB，输入长度为256。这使得BERT模型

Transformer是一种基于自注意力机制的深度神经网络模型，常用于处理序列到序列的任务，例如机器翻译、文本摘要、问答系统等。它由Encoder和Decoder两个主要部分组成，每个部分包含多个相同的Block。Transformer结构图Transformer结构importtorchimporttorch.nn