文本生成策略
文本生成对于许多 NLP 任务至关重要,例如开放式文本生成、摘要、翻译和 更多。它还在各种混合模态应用程序中发挥作用,这些应用程序将文本作为输出,例如语音到文本 以及 vision-to-text。一些可以生成文本的模型包括 GPT2、XLNet、OpenAI GPT、CTRL、TransformerXL、XLM、Bart、T5、GIT、Whisper。
查看一些使用 generate() 方法生成 不同任务的文本输出:
请注意,generate 方法的输入取决于模型的模态。它们由模型的预处理器返回 类,例如 AutoTokenizer 或 AutoProcessor。如果模型的预处理器创建多种类型的 input,则传递所有 generate() 的输入。您可以在相应模型的文档中了解有关单个模型的预处理器的更多信息。
选择输出标记以生成文本的过程称为 解码,您可以自定义解码策略 方法将使用的修改解码策略不会更改任何可训练参数的值。 但是,它可能会对生成的输出的质量产生显著影响。它可以帮助减少文本中的重复 并使其更加连贯。generate()
本指南介绍:
- 默认生成配置
- 常见的解码策略及其主要参数
- 在 Hub 上 标签:inputs,transformers,tokenizer,解码,model,十九,generate,pretrained From: https://www.cnblogs.com/zhangxianrong/p/18384993