基于预训练模型的相似度度量方式
BERTScore
BERTScore 是一种基于 BERT（双向编码器表示器转换器）语言模型的相似度度量。它将问题和回答编码为 BERT 向量，然后计算两个向量的余弦相似度。与传统的基于重叠词语的相似度度量不同，BERTScore 能够捕获语义相似性，即使两个句子不包含相同的词语。
安装 BERTScore
pip install bertscore
导入 BERTScore
from bertscore import BERTScorer
初始化 BERTScorer
scorer = BERTScorer(lang="en", rescale_with_baseline=True)
其中：
lang指定要使用的语言模型的语言。rescale_with_baseline指定是否使用基线重新缩放分数。这通常是有益的，因为它可以提高分数的可解释性和一致性。
计算 BERTScore
sentences1 = ["This is a sample sentence."] sentences2 = ["This is another sample sentence."] scores = scorer.score(sentences1, sentences2)
其中：
sentences1和sentences2是要比较的句子列表。scores是一个包含 BERTScore 分数的列表。
解释 BERTScore 分数
BERTScore 分数在 0 到 1 之间，其中 1 表示两个句子完全相似。分数越高，句子之间的语义相似性就越大。
示例输出
scores = [0.8512, 0.7234, 0.9123]
这表明句子 1 和句子 2 之间有很高的语义相似性，而句子 3 和句子 2 之间也有相当高的语义相似性。
补充：衡量问答好坏的评估方法
ROUGE、BLEU、METEOR
ROUGE、BLEU 和 METEOR 都是基于重叠词语的相似度度量，用于评估生成式文本（如机器翻译输出或摘要）的质量。
ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
ROUGE 是一种基于召回率的度量，它计算参考摘要和生成摘要中重叠的 n-gram（连续词语序列）的比例。它有多个变体，包括：
- ROUGE-N：计算 n-gram 重叠
- ROUGE-L：计算最长公共子序列的长度
- ROUGE-W：计算加权平均的 n-gram 重叠
BLEU (Bilingual Evaluation Understudy)
BLEU 是一种基于精度和召回率的度量，它计算参考摘要和生成摘要中重叠的 n-gram 的加权平均值。与 ROUGE 类似，它也有多个变体，包括：
- BLEU-N：计算 n-gram 重叠
- BLEU-4：计算 1-gram、2-gram、3-gram 和 4-gram 重叠的加权平均值
METEOR (Metric for Evaluation of Translation with Explicit Ordering)
METEOR 是一种基于加权平均的度量，它考虑了重叠词语、同义词匹配和词语顺序。它通过将生成摘要与参考摘要进行对齐，然后计算对齐部分的加权平均值来工作。
这些度量的优缺点
- **优点：**简单易懂，计算效率高。
- **缺点：**只考虑重叠词语，无法捕获语义相似性。此外，它们可能受到生成摘要长度的影响，较长的摘要往往得分更高。
总体而言，ROUGE、BLEU 和 METEOR 是评估生成式文本质量的常用度量，但它们应该与其他度量（例如基于预训练模型的相似度度量或基于人类判断的评价体系）结合使用，以获得更全面和准确的评估。
基于预训练模型的相似度度量方式
BERTScore
BERTScore 是一种基于 BERT（双向编码器表示器转换器）语言模型的相似度度量。它将问题和回答编码为 BERT 向量，然后计算两个向量的余弦相似度。与传统的基于重叠词语的相似度度量不同，BERTScore 能够捕获语义相似性，即使两个句子不包含相同的词语。
MoverScore
MoverScore 是一种基于移动嵌入的相似度度量。它将问题和回答编码为移动嵌入，即每个词语的嵌入向量随着上下文的移动而变化。然后，它计算两个移动嵌入之间的平均移动距离，作为相似度分数。MoverScore 能够捕获词语顺序和语法相似性，这在生成式问答和摘要生成等任务中非常重要。
基于人类判断的评价体系
HUMANEval
HUMANEval 是一种基于人类判断的评价体系，用于评估生成式文本的质量。它使用一组人类评估者来对生成的文本进行评分，根据以下标准：
- **连贯性：**文本是否连贯且有意义。
- **信息性：**文本是否包含相关信息。
- **流畅性：**文本是否易于阅读和理解。
- **简洁性：**文本是否简洁明了。
- **整体质量：**评估者对文本的总体印象。
HUMANEval 提供了对生成式文本质量的全面而细致的评估，但它可能很昂贵且耗时。
这些评估方法的优缺点
基于预训练模型的相似度度量
- **优点：**能够捕获语义相似性，不受词语重叠的影响。
- **缺点：**可能需要大量的数据进行训练，并且可能对预训练模型的偏差敏感。
基于人类判断的评价体系
- **优点：**提供对文本质量的全面而细致的评估。
- **缺点：**昂贵且耗时，并且可能受到评估者主观性的影响。
在实践中，通常使用基于预训练模型的相似度度量和基于人类判断的评价体系相结合的方式来评估生成式问答或摘要生成任务。
标签：基于,BERTScore,词语,gram,相似,好坏,度量 From： https://www.cnblogs.com/bonelee/p/18139127