BERT模型
基本介绍
昨天体验实践的模型是自然语言处理领域的模型，今天也是一样的。昨天的MusicGen是LLM模型，使用的是基于transformer的编码-解码器架构，而今天的BERT是基于transformer的双向编码器架构。由于主要目的是体验实践使用MindSpore运行BERT模型，所以只对BERT模型进行简单介绍，详细的可以自行搜索资料了解学习，然后就是使用MindSpore所提供的API去运行一下BERT模型
模型简介
BERT全称是来自变换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers），它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构，因此一定要熟练掌握Transformer的Encoder的结构。
BERT模型的主要创新点都在pre-train方法上，即用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。在用Masked Language Model方法训练BERT的时候，随机把语料库中15%的单词做Mask操作。对于这15%的单词做Mask操作分为三种情况：80%的单词直接用[Mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。因为涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之类的任务，增加了Next Sentence Prediction预训练任务，目的是让模型理解两个句子之间的联系。与Masked Language Model任务相比，Next Sentence Prediction更简单些，训练的输入是句子A和B，B有一半的几率是A的下一句，输入这两个句子，BERT模型预测B是不是A的下一句。
BERT预训练之后，会保存它的Embedding table和12层Transformer权重（BERT-BASE）或24层Transformer权重（BERT-LARGE）。使用预训练好的BERT模型可以对下游任务进行Fine-tuning，比如：文本分类、相似度判断、阅读理解等。
对话情绪识别（Emotion Detection，简称EmoTect），专注于识别智能对话场景中用户的情绪，针对智能对话场景中的用户文本，自动判断该文本的情绪类别并给出相应的置信度，情绪类型分为积极、消极、中性。 对话情绪识别适用于聊天、客服等多个场景，能够帮助企业更好地把握对话质量、改善产品的用户交互体验，也能分析客服服务质量、降低人工质检成本
BERT实践运行
与昨日下载模型及预训练参数后调用相关API直接体验MusicGen不同，今日实践从数据集准备，模型构建，模型训练与验证，模型推理四个方面实践BERT模型，进一步学习深度学习的工作流程。具体如下：（由于涉及到的API比较多，这里不会一一介绍，只会展示使用方法）
数据集准备
本次使用的数据集是来自百度桨团队的已标注的、经过分词预处理的机器人聊天数据集。数据示例如下：
label--text_a
0--谁骂人了？我从来不骂人，我骂的都不是人，你是人吗 ？
1--我有事等会儿就回来和你聊
2--我见到你很高兴谢谢你帮我
数据由两列组成，以制表符（'\t'）分隔，第一列是情绪分类的类别（0表示消极；1表示中性；2表示积极），第二列是以空格分词的中文文本，文件为 utf8 编码。
数据集准备主要包括数据集读取，数据格式转换，数据 Tokenize 处理和 pad 操作。其中数据集下载、读取和格式转换比较简单，不作展示，而Tokenize处理可直接调用MindSpore提供的API，如下所示：
from mindnlp.transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')之后可用如下代码进行pad操作
tokenizer.pad_token_id模型构建
MindSpore提供构建好的BERT模型，只需使用相关API，然后配置好模型相关参数即可构建出BERT模型，代码示例如下：
from mindnlp.transformers import BertForSequenceClassification, BertModel
from mindnlp._legacy.amp import auto_mixed_precision
# set bert config and define parameters for training
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)
model = auto_mixed_precision(model, 'O1')模型训练与验证
模型训练需要配置好优化器才能进行训练，当然BERT模型很大，如果从头训练会很慢，所以我们采取预训练参数进行初始化，然后再训练，更准确说是微调（训练非常慢）。而验证需要指定评价指标，这些MindSpore都有提供，代码示例如下：
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)
metric = Accuracy()
# define callbacks to save checkpoints
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)
trainer = Trainer(network=model, train_dataset=dataset_train,
eval_dataset=dataset_val, metrics=metric,
epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
#训练
trainer.run(tgt_columns="labels")
#验证
evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")模型推理
得到训练好的模型后可选择保存或者推理，这里直接进行推理。由于数据集中有相关的测试数据，所以直接使用数据集中的数据进行推理，推理代码如下：
dataset_infer = SentimentDataset("data/infer.tsv")
def predict(text, label=None):
label_map = {0: "消极", 1: "中性", 2: "积极"}
text_tokenized = Tensor([tokenizer(text).input_ids])
logits = model(text_tokenized)
predict_label = logits[0].asnumpy().argmax()
info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"
if label is not None:
info += f" , label: '{label_map[label]}'"
print(info)
for label, text in dataset_infer:
predict(text, label)运行结果如下：
可以看出，大部分情绪是对的，有些预测能力不行，可能是数据集不够大，也可能是汉字博大精深，难以理解
当然，也可以直接调用上面的predict函数，传入自己想说的话就行，比如传入"好累啊，学习好累啊！！！"
Jupyter运行情况
同样基于官方提供的在线运行平台进行实践，运行结果如下：
