深度学习-17-深入理解BERT基于Hugging Face的模型训练步骤

文章目录

• 1 大模型的架构
• • 1.1 Transformer架构
  • 1.2 BERT(双向Transformer架构)
  • 1.3 GPT(Generative Pretrained Transformer)
  • 1.4 T5(Text-To-Text Transfer Transformer)
  • 1.5 DistilBERT
  • 1.6 不同架构的优缺点对比
• 2 Hugging Face模型训练步骤
• • 2.1 平台功能
  • • 2.1.1 模型库
    • 2.1.2 数据集
    • 2.1.3 类库
  • 2.2 训练步骤
  • • 2.2.1 准备数据集
    • 2.2.2 选择模型架构
    • 2.2.3 设置环境
    • 2.2.4 定义模型
    • 2.2.5 编写训练脚本
    • 2.2.6 训练模型
    • 2.2.7 评估模型
    • 2.2.8 保存和共享模型
• 3 使用预训练的模型
• • 3.1 下载distilbert-base-uncased
  • 3.2 获得给定文本的特征
• 4 微调一个预训练的DistilBERT模型
• • 4.1 加载库和设置通用参数
  • 4.2 制作数据集
  • 4.3 训练模型
  • 4.4 评估模型
  • 4.5 保存模型
  • 4.6 使用模型
• 5 参考附录

1 大模型的架构

首先，人工智能(AI)有多种实现方式，而机器学习是其中的一种；而基于机器学习又延伸出了深度学习，深度学习的思想就是分层，通过多个层的叠加实现对数据的分级表达。

而神经网络又是深度学习的一种表现形式，是由模仿人脑神经元的机制而得名，又由于多层的神经网络具有庞大的参数，因此叫做大模型(庞大参数量的机器学习(神经网络)模型)。

所以，大模型的核心是层次堆叠；
因此，为了实现这种效果就有了多种神经网络的大模型架构。

大模型的常用架构主要包括Transformer，BERT，GPT，T5等；
每种架构都有其独特的设计理念和应用场景。

1.1 Transformer架构

Transformer是目前大模型的主流架构，由Vaswani等人于2017年提出。
它使用了注意力机制替代了传统的RNN和LSTM，能够更好的捕捉长距离依赖关系。

一、关键组件：
(1)自注意力机制：计算序列中各元素之间的相关性，生成每个元素的加权表示。
(2)多头注意力机制：将注意力机制并行化处理，提高模型的表示能力。
(3)位置编码：由于模型本身不具备顺