首页 > 其他分享 >10. Top-K vs Top-P：生成式模型中的采样策略与 Temperature 的影响

10. Top-K vs Top-P：生成式模型中的采样策略与 Temperature 的影响

时间：2024-09-18 20:21:49浏览次数：3  
标签：采样 10 词汇 概率 Top 生成式 probs top

在之前的文章中我们探讨了 Beam Search 和 Greedy Search。

现在来聊聊 model.generate() 中常见的三个参数: top-k, top-p 和 temperature。

代码文件下载

文章目录


在生成文本时，模型为每个可能的下一个词汇分配一个概率分布，选择下一个词汇的策略直接决定了输出的质量和多样性。以下是几种常见的选择方法:

  • Greedy Search（贪心搜索）: 每次选择概率最高的词汇。
  • Beam Search（束搜索）: 保留多个候选序列，平衡生成质量和多样性。
  • Top-K 采样: 限制候选词汇数量。
  • Top-P 采样（Nucleus Sampling）: 根据累积概率选择候选词汇，动态调整词汇集。

为了直观叙述，假设我们当前的概率分布为:

词汇概率
A A A 0.4 0.4 0.4
B B B 0.3 0.3 0.3
C C C 0.2 0.2 0.2
D D D 0.05 0.05 0.05
<eos> \texttt{<eos>} <eos> 0.05 0.05 0.05

Top-K 采样详解

工作原理

Top-K 采样是一种通过限制候选词汇数量来增加生成文本多样性的方法。在每一步生成过程中，模型只考虑概率最高（Top）的 K 个词汇，然后从这 K 个词汇中根据概率进行采样。K=1 就是贪心搜索。

步骤:

  1. 获取概率分布: 模型为每个可能的下一个词汇生成一个概率分布。
  2. 筛选 Top-K: 选择概率最高的 K 个词汇，忽略其余词汇。
  3. 重新归一化: 将筛选后的 K 个词汇的概率重新归一化，使其总和为 1。
  4. 采样: 根据重新归一化后的概率分布，从 Top-K 词汇中随机采样一个词汇作为下一个生成的词。

数学表述

设 V V V 为词汇表, P ( y ∣ Y ) P(y|Y) P(y∣Y) 为在给定上下文 Y Y Y 下生成词汇 y y y 的概率。

  1. 筛选出概率最高的 K 个词汇，记为 V k V_k Vk​。

  2. 重新计算这些词汇的概率（归一化）:

P ′ ( y ∣ Y ) = P ( y ∣ Y ) ∑ y ′ ∈ V k P ( y ′ ∣ Y ) P'(y|Y) = \frac{P(y|Y)}{\sum_{y' \in V_k} P(y'|Y)} P′(y∣Y)=∑y′∈Vk​​P(y′∣Y)P(y∣Y)​

  1. 从 V k V_k Vk​ 中根据 P ′ ( y ∣ Y ) P'(y|Y) P′(y∣Y) 进行采样。

代码示例

我们假设 K=3。

import numpy as np

# 概率分布
probs = np.array([0.4, 0.3, 0.2, 0.05, 0.05])
words = ['A', 'B', 'C', 'D', '<eos>']

# 设置 Top-K
K = 3

# 获取概率最高的 K 个词汇索引
top_indices = np.argsort(probs)[-K:]

# 保留这些 K 个词汇及其概率
top_k_probs = np.zeros_like(probs)
top_k_probs[top_indices] = probs[top_indices]

# 归一化保留的 K 个词汇的概率
top_k_probs = top_k_probs / np.sum(top_k_probs)

# 打印 Top-K 采样的结果
print("Top-K 采样选择的词汇和对应的概率：")
for i in top_indices:
    print(f"{words[i]}: {top_k_probs[i]:.2f}")

输出:

Top-K 采样选择的词汇和对应的概率: 
C: 0.22
B: 0.33
A: 0.44

Top-P 采样详解

工作原理

Top-P 采样（又称 Nucleus Sampling）是一种动态选择候选词汇的方法。与 Top-K 采样不同，Top-P 采样不是固定选择 K 个词汇，而是选择一组累计概率达到 P 的词汇集合（即从高到低加起来的概率）。这意味着 Top-P 采样可以根据当前的概率分布动态调整候选词汇的数量，从而更好地平衡生成的多样性和质量。

步骤:

  1. 获取概率分布: 模型为每个可能的下一个词汇生成一个概率分布。
  2. 排序概率: 将词汇按照概率从高到低排序。
  3. 累积概率: 计算累积概率，直到达到预设的阈值 P。
  4. 筛选 Top-P: 选择累积概率达到 P 的最小词汇集合。
  5. 重新归一化: 将筛选后的词汇概率重新归一化。
  6. 采样: 根据重新归一化后的概率分布，从 Top-P 词汇中随机采样一个词汇作为下一个生成的词。

数学表述

设 V V V 为词汇表, P ( y ∣ Y ) P(y|Y) P(y∣Y) 为在给定上下文 Y Y Y 下生成词汇 y y y 的概率。

  1. 将词汇按照概率降序排列，得到排序后的词汇列表 V s o r t e d V_{sorted} Vsorted​。

  2. 选择最小的词汇集合 V p ⊆ V s o r t e d V_p \subseteq V_{sorted} Vp​⊆Vsorted​，使得:

∑ y ∈ V p P ( y ∣ Y ) ≥ P \sum_{y \in V_p} P(y|Y) \geq P y∈Vp​∑​P(y∣Y)≥P

  1. 重新计算这些词汇的概率:

P ′ ( y ∣ Y ) = P ( y ∣ Y ) ∑ y ′ ∈ V p P ( y ′ ∣ Y ) P'(y|Y) = \frac{P(y|Y)}{\sum_{y' \in V_p} P(y'|Y)} P′(y∣Y)=∑y′∈Vp​​P(y′∣Y)P(y∣Y)​

  1. 从 V p V_p Vp​ 中根据 P ′ ( y ∣ Y ) P'(y|Y) P′(y∣Y) 进行采样。

代码示例

我们假设 P=0.6。

import numpy as np

# 概率分布
probs = np.array([0.4, 0.3, 0.2, 0.05, 0.05])
words = ['A', 'B', 'C', 'D', '<eos>']

# 设置 Top-P
P = 0.6

# 对概率进行排序
sorted_indices = np.argsort(probs)[::-1]  # 从大到小排序
sorted_probs = probs[sorted_indices]

# 累积概率
cumulative_probs = np.cumsum(sorted_probs)

# 找到累积概率大于等于 P 的索引
cutoff_index = np.where(cumulative_probs >= P)[0][0]

# 保留累积概率达到 P 的词汇及其概率
top_p_probs = np.zeros_like(probs)
top_p_probs[sorted_indices[:cutoff_index + 1]] = sorted_probs[:cutoff_index + 1]

# 归一化保留的词汇的概率
top_p_probs = top_p_probs / np.sum(top_p_probs)

# 打印 Top-P 采样的结果
print("\nTop-P 采样选择的词汇和对应的概率：")
for i in np.where(top_p_probs > 0)[0]:
    print(f"{words[i]}: {top_p_probs[i]:.2f}")

Top-P 采样选择的词汇和对应的概率: 
A: 0.57
B: 0.43

Temperature 的作用

Temperature（温度） 是控制生成文本随机性的参数。

工作原理

在进行采样前，模型实际上会对概率分布应用温度调整:

P ′ ( y ∣ Y ) = P ( y ∣ Y ) 1 / temperature ∑ y ′ P ( y ′ ∣ Y ) 1 / temperature P'(y|Y) = \frac{P(y|Y)^{1/\text{temperature}}}{\sum_{y'} P(y'|Y)^{1/\text{temperature}}} P′(y∣Y)=∑y′​P(y′∣Y)1/temperatureP(y∣Y)1/temperature​

Temperature 通过改变概率分布的“锐度”来控制生成的随机性。具体来说:

  • 当 Temperature → 0 时, P ′ ( y ∣ Y ) P'(y|Y) P′(y∣Y) 趋近于一个 one-hot 分布，即总是选择概率最高的词汇。
  • 当 Temperature = 1 时, P ′ ( y ∣ Y ) P'(y|Y) P′(y∣Y) 保持原始概率分布。
  • 当 Temperature > 1 时, P ′ ( y ∣ Y ) P'(y|Y) P′(y∣Y) 分布更加均匀，相对增加原本低概率词汇的选择概率。

代码示例

这里将展示 Temperature 对概率的影响。

import numpy as np
import matplotlib.pyplot as plt

# 概率分布
probs = np.array([0.4, 0.3, 0.2, 0.05, 0.05])
words = ['A', 'B', 'C', 'D', '<eos>']

# 设置 Top-K
K = 5

# 设置不同的 Temperature 值
temperatures = [0.5, 1.0, 1.5]

# 创建一个图表
plt.figure(figsize=(10, 6))

# 遍历不同的温度
for temp in temperatures:
    # 使用 Temperature 调整概率
    adjusted_probs = probs ** (1.0 / temp)
    adjusted_probs = adjusted_probs / np.sum(adjusted_probs)  # 归一化
    
    # 打印当前 Temperature 的概率分布
    print(f"\n--- Temperature = {temp} ---")
    for i, prob in enumerate(adjusted_probs):
        print(f"{words[i]}: {prob:.2f}")
    
    # 绘制概率分布图
    plt.plot(words, adjusted_probs, label=f"Temperature = {temp}")

# 绘制原始概率分布的对比
plt.plot(words, probs, label="Original", linestyle="--", color="black")

# 添加图表信息
plt.xlabel("Word")
plt.ylabel("Probability")
plt.title("Effect of Temperature on Top-K Probability Distribution")
plt.legend()

# 显示图表
plt.show()

输出:

--- Temperature = 0.5 ---
A: 0.54
B: 0.31
C: 0.14
D: 0.01
<eos>: 0.01

--- Temperature = 1.0 ---
A: 0.40
B: 0.30
C: 0.20
D: 0.05
<eos>: 0.05

--- Temperature = 1.5 ---
A: 0.34
B: 0.28
C: 0.21
D: 0.08
<eos>: 0.08

温度影响

观察图片可以直观看到:

  • 当 temperature < 1 时，概率分布变得更加尖锐，高概率词更可能被选择，适用于需要高确定性的任务，如生成技术文档或代码。
  • 当 temperature > 1 时，概率分布变得更加平坦，使得低概率词也有更多机会被选中，适用于需要创造性和多样性的任务，如写作或对话生成。

在大模型中的应用

Top-K 和 Top-P 采样是否可以一起使用？

可以，通过同时设置 top_k 和 top_p 参数，模型会首先应用 Top-K 筛选，限制候选词汇数量，然后在这有限的词汇中应用 Top-P 采样，动态调整词汇集合。

使用 Hugging Face Transformers 库的简单示例:

import warnings
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 忽略 FutureWarning 警告
warnings.filterwarnings("ignore", category=FutureWarning)

# 指定模型
model_name = "distilgpt2"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 将模型移动到设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# 输入文本
input_text = "Hello GPT"

# 编码输入文本
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
attention_mask = torch.ones_like(inputs).to(device)

# 设置 Top-K 和 Top-P 采样
top_k = 10
top_p = 0.5
temperature = 0.8

# 生成文本，结合 Top-K 和 Top-P 采样
with torch.no_grad():
    outputs = model.generate(
        inputs,
        attention_mask=attention_mask,
        max_length=50,
        do_sample=True,
        top_k=top_k,                # 设置 Top-K
        top_p=top_p,                # 设置 Top-P
        temperature=temperature,    # 控制生成的随机性
        no_repeat_ngram_size=2,     # 防止重复 n-gram
        pad_token_id=tokenizer.eos_token_id
    )

# 解码生成的文本
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("结合 Top-K 和 Top-P 采样生成的文本: ")
print(generated_text)

输出示例:

结合 Top-K 和 Top-P 采样生成的文本: 
Hello GPT.

The first time I heard of the G-E-X-1, I was wondering what the future holds for the company. I had no idea what it was. It was a very big company, and it had

参数解释:

  • top_k=10: 首先限制候选词汇为概率最高的 10 个。
  • top_p=0.5: 在这 10 个词汇中，从高到低，选择累积概率达到 0.5 的词汇归一化后进行采样。
  • temperature=0.8: 控制生成的随机性，较低的温度使模型更倾向于高概率词汇。

如果我只想使用 Top-K 或者 Top-P 应该怎么办？

对于只使用 Top-K:

将 top_p 设置为 1（表示不使用 Top-P 采样）。

outputs = model.generate(
  inputs,
  max_length=50,
  do_sample=True,
  top_k=top_k,                # 设置 Top-K
  top_p=1.0,                  # 不使用 Top-P
  temperature=temperature,    # 控制生成的随机性
  no_repeat_ngram_size=2,     # 防止重复 n-gram
  eos_token_id=tokenizer.eos_token_id
)

对于只使用 Top-P:

将 top_k 设置为 0（表示不使用 Top-K 采样）。

outputs = model.generate(
  inputs,
  max_length=50,
  do_sample=True,
  top_k=0,                    # 不使用 Top-K
  top_p=top_p,                # 设置 Top-P
  temperature=temperature,    # 控制生成的随机性
  no_repeat_ngram_size=2,     # 防止重复 n-gram
  eos_token_id=tokenizer.eos_token_id
)

参考链接

标签：采样,10,词汇,概率,Top,生成式,probs,top
From： https://blog.csdn.net/weixin_42426841/article/details/142342688

相关文章

  • c基础day10
    目录[1]递归函数[2]结构体结构体变量赋值访问重命名结构体数组定义初始化结构体数组的输入输出结构体指针结构体大小共用体枚举存储类型[1]递归函数递推：从原问题出发，按递归公式从未知到已知，最终到达递归终止条件回归：按递归的终止条件求出结果，你想逐步带入......
  • VastbaseG100集群部署实操
    背景近日的工作涉及到数据库的集群部署，为了熟悉过程，参考VastgbaseG100官方文档进行部署。参考文档https://docs.vastdata.com.cn/zh/docs/VastbaseG100Ver2.2.15/do...实操这里采用HAS+DCS+Vastbase的解决方案，详情可参考海量智库第8期｜VastbaseG100核心技术介绍之高可用软件......
  • FIT1047 Introduction to computer systems
    FIT1047 Introductiontocomputersystems, networksand security–S22024Assignment3– NetworksPurposeStudentswill recorddatafromareal-worldwireless networkanddemonstrate that theycananalyse it, identify its propertiesand p......
  • 互连产品，10151114-001RLF PCIe MXM 3.0 连接器，10157096-01221LF 针座连接器（参数）
    10151114-001RLF——PCIeMXM3.0连接器，存储和服务器连接器，直角，表面贴装，P=0.5mm，堆叠高度=5.0mm，30μin镀金概述：MXM连接器是一种高密度PCIe®解决方案，支持新一代服务器系统架构。这是一个非专有的行业标准插座产品系列。可用于升级设备中的图形处理器，而无需更改整个系统或依赖专......
  • 《怪物猎人物语：复刻版》游戏启动时闪退弹窗“找不到vcomp100.dll”该怎么办？怪物猎人物
    当启动《怪物猎人物语：复刻版》时，游戏闪退并弹窗显示“找不到vcomp100.dll”，这可让人着急。或许需要对系统进行修复、更新相关程序，或者重新获取该文件。您遇到过这种情况吗？知道该如何应对吗？本篇将为大家带来《怪物猎人物语：复刻版》游戏启动时闪退弹窗“找不到vcomp100.dll”该怎......
  • PowerShell 命令来备份 Windows 10 的服务列表：CMD 批处理命令来备份 Windows 10 的服
    PowerShell命令来备份Windows10的服务列表：powershellCopyCodeGet-Service|Export-Csv-Path"C:\ServiceListBackup.csv"-NoTypeInformation这条命令会将所有服务信息导出到C:\ServiceListBackup.csv文件中。确保您有写入该路径的权限。CMD批处理命令来备份Windo......
  • TPS61099YFFR开关稳压器原装现货PDF数据手册 引脚图功能框图参数
    TPS61099的说明TPS61099x器件是一款具有1µA超低静态电流的同步升压转换器。该器件专为由碱性电池、镍氢充电电池、锂锰电池或锂离子充电电池供电的产品而设计，能够在轻载条件下高效运行，这对延长电池使用寿命至关重要。TPS61099x升压转换器采用迟滞控制拓扑，能够以最小静......
  • 【北京迅为】iTOP-LS2K0500开发板快速使用编译环境ubuntu20.04第一章加载迅为提供 Ubu
    iTOP-LS2K0500开发板从CPU自主指令系统到开发板每一个元器件，做到100%全国产化。        【公众号】迅为电子，了解更多资讯-----------------------  第一章 加载迅为提供 Ubuntu20.041.1安装虚拟机VMware软件这里我们使用的是VMware15.5版本，当然其他版本也是可以，比如......
  • 【北京迅为】iTOP-LS2K0500开发板快速使用编译环境ubuntu20.04第一章加载迅为提供 Ubu
      iTOP-LS2K0500开发板从CPU自主指令系统到开发板每一个元器件，做到100%全国产化。        【公众号】迅为电子，了解更多资讯-----------------------  第一章加载迅为提供Ubuntu20.041.1安装虚拟机VMware软件这里我们使用的是VMware15.5版本，当然......
  • 支持 10 万同时在线量的服务器需要多大的宽带？
    支持10万同时在线用户的服务器所需的带宽取决于多种因素，包括用户的平均数据使用量、活动类型（如视频流、文件下载或网页浏览）、内容的大小和复杂性等。以下是一些估计和考虑因素：平均带宽需求估计：网页浏览：通常需要的带宽较少，假设平均每个用户需要100kbps，则10万用户大约需要10,000*1......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99