NLL
  • 2024-08-29负对数似然(NLL)和困惑度(PPL)
    让我们通过一个简单的例子来演示这段代码的计算过程,包括负对数似然(NLL)和困惑度(PPL)的计算。为了简化,我们将假设一个非常小的模型输出和数据。假设:我们有两个样本(即batchsize为2)。每个样本有3个可能的类别,S_logits是模型输出的logits。smask是一个掩码,假设全部为True