首页 > 其他分享 >Bert神

Bert神

时间:2023-08-16 16:33:13浏览次数:25  
标签:Bert BERT 模型 BertModel 任务 用于

在Hugging Face提供的transformers库中,BERT模型相关的类有很多,以下是一些常用的BERT模型类:

  1. BertModel: BERT模型的基本类,用于获取BERT模型的隐藏状态。
  2. BertForPreTraining: 用于预训练任务,包括Masked Language Modeling(MLM)和Next Sentence Prediction(NSP)。它除了具备BertModel的功能,还在其基础上增加了预训练任务的头部。
  3. BertForMaskedLM: 用于Masked Language Modeling(MLM)任务,该任务是通过掩盖输入序列中的某些标记,然后预测这些标记的正确值。
  4. BertForNextSentencePrediction: 用于Next Sentence Prediction(NSP)任务,该任务是判断输入的两个句子是否为连续的。
  5. BertForSequenceClassification: 用于序列分类任务,如情感分类、文本分类等。可以将BERT模型的输出进行分类。
  6. BertForTokenClassification: 用于序列标注任务,如命名实体识别(NER)、词性标注等。可以将BERT模型的输出进行标注。
  7. BertForQuestionAnswering: 用于问答任务,可以从文本中找到答案的起始和结束位置。
    其实2-7都是BertModel + 一些线性层等

最常见的做法

利用BertModel获得隐藏状态,然后 线性层 + 激活层,获得分类结果

Bert-FP

标签:Bert,BERT,模型,BertModel,任务,用于
From: https://www.cnblogs.com/lyq622/p/17635434.html

相关文章