BERT模型
基本介绍
昨天体验实践的模型是自然语言处理领域的模型,今天也是一样的。昨天的MusicGen是LLM模型,使用的是基于transformer的编码-解码器架构,而今天的BERT是基于transformer的双向编码器架构。由于主要目的是体验实践使用MindSpore运行BERT模型,所以只对BERT模型进行简单介绍,详细的可以自行搜索资料了解学习,然后就是使用MindSpore所提供的API去运行一下BERT模型
模型简介
BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers),它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构,因此一定要熟练掌握Transformer的Encoder的结构。
BERT模型的主要创新点都在pre-train方法上,即用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。在用Masked Language Model方法训练BERT的时候,随机把语料库中15%的单词做Mask操作。对于这15%的单词做Mask操作分为三种情况:80%的单词直接用[Mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。因为涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之类的任务,增加了Next Sentence Prediction预训练任务,目的是让模型理解两个句子之间的联系。与Masked Language Model任务相比,Next Sentence Prediction更简单些,训练的输入是句子A和B,B有一半的几率是A的下一句,输入这两个句子,BERT模型预测B是不是A的下一句。
BERT预训练之后,会保存它的Embedding table和12层Transformer权重(BERT-BASE)或24层Transformer权重(BERT-LARGE)。使用预训练好的BERT模型可以对下游任务进行Fine-tuning,比如:文本分类、相似度判断、阅读理解等。
对话情绪识别(Emotion Detection,简称EmoTect),专注于识别智能对话场景中用户的情绪,针对智能对话场景中的用户文本,自动判断该文本的情绪类别并给出相应的置信度,情绪类型分为积极、消极、中性。 对话情绪识别适用于聊天、客服等多个场景,能够帮助企业更好地把握对话质量、改善产品的用户交互体验,也能分析客服服务质量、降低人工质检成本
BERT实践运行
与昨日下载模型及预训练参数后调用相关API直接体验MusicGen不同,今日实践从数据集准备,模型构建,模型训练与验证,模型推理四个方面实践BERT模型,进一步学习深度学习的工作流程。具体如下:(由于涉及到的API比较多,这里不会一一介绍,只会展示使用方法)
数据集准备
本次使用的数据集是来自百度桨团队的已标注的、经过分词预处理的机器人聊天数据集。数据示例如下:
label--text_a
0--谁骂人了?我从来不骂人,我骂的都不是人,你是人吗 ?
1--我有事等会儿就回来和你聊
2--我见到你很高兴谢谢你帮我
数据由两列组成,以制表符('\t')分隔,第一列是情绪分类的类别(0表示消极;1表示中性;2表示积极),第二列是以空格分词的中文文本,文件为 utf8 编码。
数据集准备主要包括数据集读取,数据格式转换,数据 Tokenize 处理和 pad 操作。其中数据集下载、读取和格式转换比较简单,不作展示,而Tokenize处理可直接调用MindSpore提供的API,如下所示:
from mindnlp.transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
之后可用如下代码进行pad操作
tokenizer.pad_token_id
模型构建
MindSpore提供构建好的BERT模型,只需使用相关API,然后配置好模型相关参数即可构建出BERT模型,代码示例如下:
from mindnlp.transformers import BertForSequenceClassification, BertModel
from mindnlp._legacy.amp import auto_mixed_precision
# set bert config and define parameters for training
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)
model = auto_mixed_precision(model, 'O1')
模型训练与验证
模型训练需要配置好优化器才能进行训练,当然BERT模型很大,如果从头训练会很慢,所以我们采取预训练参数进行初始化,然后再训练,更准确说是微调(训练非常慢)。而验证需要指定评价指标,这些MindSpore都有提供,代码示例如下:
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)
metric = Accuracy()
# define callbacks to save checkpoints
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)
trainer = Trainer(network=model, train_dataset=dataset_train,
eval_dataset=dataset_val, metrics=metric,
epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
#训练
trainer.run(tgt_columns="labels")
#验证
evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")
模型推理
得到训练好的模型后可选择保存或者推理,这里直接进行推理。由于数据集中有相关的测试数据,所以直接使用数据集中的数据进行推理,推理代码如下:
dataset_infer = SentimentDataset("data/infer.tsv")
def predict(text, label=None):
label_map = {0: "消极", 1: "中性", 2: "积极"}
text_tokenized = Tensor([tokenizer(text).input_ids])
logits = model(text_tokenized)
predict_label = logits[0].asnumpy().argmax()
info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"
if label is not None:
info += f" , label: '{label_map[label]}'"
print(info)
for label, text in dataset_infer:
predict(text, label)
运行结果如下:
可以看出,大部分情绪是对的,有些预测能力不行,可能是数据集不够大,也可能是汉字博大精深,难以理解
当然,也可以直接调用上面的predict函数,传入自己想说的话就行,比如传入"好累啊,学习好累啊!!!"
Jupyter运行情况
同样基于官方提供的在线运行平台进行实践,运行结果如下: