大语言模型---LoRA中损失值的计算

文章目录

• • 概要
  • 损失计算流程
  • 小结

概要

Llama-7B模型的LoRA微调训练中，通过使用Cross-Entropy Loss来度量模型输出的预测分布和真实标签分布之间的距离，来衡量模型的准确性。 本文主要介绍LoRA中损失值的计算流程。
Cross-Entropy Loss作用：是深度学习和机器学习中常用的损失函数之一，主要用于分类任务。

损失计算流程

以下是 LLaMA-7B 模型中损失计算的三个步骤：

1. 计算logits矩阵（生成分数）：
   模型最后一层MLP的输出与模型词表权重进行点乘计算生成一个行数（nvocab）为32,000 ，列数（seq）为4096的 logits 矩阵，每个元素对应词汇表中的一个词，表示生成该词的“分数”。

2. Softmax 转换（分数变概率）：
   将 logits 矩阵经过 Softmax 转换为概率分布矩阵 Y ^ ∈

   标签：标签,模型,矩阵,损失,---,计算,logits,LoRA
   From： https://blog.csdn.net/weixin_43883448/article/details/143972722