摘要
基于提示的学习方法在半监督学习（SSL）设置中已被文献证明在多个自然语言理解（NLU）数据集和任务上有效。然而，手动设计多个提示和表述词需要领域知识和人力投入，这使得在不同数据集上扩展变得困难且昂贵。在本文中，我们提出了两种方法来自动设计多个提示，并在不牺牲性能的情况下在SSL设置中整合自动表述词。第一种方法使用各种演示示例与可学习的连续提示令牌来创建多样化的提示模型。第二种方法使用不同数量的软提示令牌来鼓励语言模型学习不同的提示。对于表述词，我们使用原型表述词来替代手动设计的表述词。总结来说，我们在不同的少样本学习设置中获得了最佳的平均准确率73.2%（相较于之前手动设计提示和表述词的最先进SSL方法，相对提高了2.52%）。
1 引言
在掩码语言建模任务中使用大量文本语料库对大型语言模型进行预训练，然后在对下游任务进行微调的预训练语言模型（PLM）上，已在许多自然语言处理任务中显示出优越的性能。然而，预训练任务（掩码语言建模目标）与下游微调任务（无掩码令牌的任务）之间的差异可能导致预期之外的行为。最近，越来越多的研究兴趣集中在提示调优领域，其中任何NLU任务都被转换成完形填空任务，以模仿大型掩码语言模型的预训练目标（Kumar等人，2016；McCann等人，2018；Radford等人，2018）。
基于提示的学习将输入x通过提示函数转换为x0。它利用PLM获得的丰富知识来预测掩码位置上的令牌分布。然后，表述词将预测的令牌映射到类别。这种方法的主要优点是它在少样本学习环境中表现良好（Schick和Schutze，2021）。然而，这种方法的主要缺点是由提示和表述词函数带来的限制，这需要人类知识来仔细设计它们。这种手工制作的工作既昂贵又无法随着任务和数据集种类的增加而扩展。例如，在Alexa中，有数千个领域，根据数据集内容为每个领域的意图分类手动设计提示和表述词需要专业知识，这是耗时且不切实际的。减少提示生成过程中的人力投入是至关重要的。
基于提示的学习需要找到与任务要求和数据集内容相匹配的提示中的正确令牌。然而，由于这些提示令牌的目标仅是为了让语言模型完成手头的任务，它们不必要是人类可以理解的单词序列。
连续提示学习减轻了确定提示令牌需要人类干预的需求。相反，它自动化了提示设计过程。在文献中，主要有两种方法：i）自动搜索离散的提示文本令牌（Shin等人，2020a）；ii）自动学习数值提示嵌入（Lester等人，2021；Li和Liang，2021；Liu等人，2021c,b；Hambardzumyan等人，2021）。这两种方法的主要区别在于，第一种方法从语言模型词汇中搜索实际的离散令牌，而第二种方法直接学习提示令牌的嵌入，这些嵌入可能不是人类可以理解的。类似地，自动选择标签词（Shin等人，2020a；Schick等人，2020a；Gao等人，2021）、软表述词（Hambardzumyan等人，2021；Liu等人，2021b）和原型表述词（Cui等人，2022）是提出的方法，旨在消除手动定义表述词映射函数的繁琐过程。
这些连续提示和自动表述词方法大多关注监督学习（SL）设置，但忽略了它们在半监督学习（SSL）设置下的泛化。先前最先进（SoTA）的SSL方法，使用各种手动提示和表述词，已显示出优于单一手动提示的SL语言模型（Schick和Schutze，2021）。在这个SSL流程中，我们通常使用不同的手动提示训练几个标签模型，以从有限的训练数据中捕获多样化信息，并利用它们来注释大量未标记的数据。为SSL设置设计多个手动提示和表述词模型，并在多个数据集和任务中应用它们，将加剧可扩展性和成本问题。在本文中，我们解决了手动提示和表述词设计带来的问题，并提出了自动化的方法，以完全自动化SSL设置中多样化提示和表述词的设计。我们的主要贡献如下：
- 我们提出了在SSL设置中使用多个演示示例和连续提示令牌生成各种提示的方法。
- 在我们的知识范围内，我们是第一个完全消除SSL设置中设计多个提示和表述词的人工参与，并获得与手动提示和表述词的SoTA方法相似甚至更好性能的方法。
- 我们实证显示，在SSL流程中使用自动表述词和手动提示可以达到与手动表述词相似的性能。
2 方法
我们整体基于提示的SSL工作流程遵循模式利用训练（PET）半监督学习设置（Schick and Schutze¨，2021）。PET首先将输入序列x转换为包含单个MASK令牌的完形填空题。接下来，它使用PLM填充MASK令牌的值，并应用语言修饰器将输出令牌映射到类标签y 2 y。他们设计了一个半监督框架，在大量未标记的数据上生成软标签，这些标签后来用于训练最终的监督分类器F.他们报告了在多个NLU任务中，比其他监督提示调优方法和其他半监督方法更强的性能。在本文之前，PET方法是最先进的（SoTA）框架，它将提示调优方法集成到SSL管道中。
PET方法用不同的提示对多个plm进行微调。它通过使用领域和任务知识手动设计多个提示来引入提示的多样性。类似地，它使用人类专业知识根据任务知识为每个数据集设计语言器映射。在这里，我们使用连续和自动提示和语言表达器，从而消除了人工参与设计手动提示和语言表达器的需要。
2.1 整体管线
图1显示了我们建议的方法的整个管道。与原始的带有手动提示和语言器的PET管道不同，我们使用提示生成功能来生成多个自动提示。每个带有自动提示的PLM都充当标注器模型。我们用标记的数据集T在几次设置中训练这些提示+自动语言器模型。对于输入序列xt 2t和给定的标签yt，我们首先使用提示函数P将xt转换为带有MASK令牌的序列P（xt）。然后，语言分析器将被屏蔽位置的预测单词概率映射到标签概率。对于每个PLM m，将预测概率pm（yt jxt）定义为
式中m（yjx）为掩码位置PLM m的原始分数。得到概率后，最小化pm（yjx）与y之间的交叉熵损失Lc。我们将训练好的标记器模型应用于未标记数据集D中的每个句子xd2 D，并获得每个训练模型的概率pm（ydjxd）。然后,我们
从每个训练模型m中取这些概率的平均值作为真值概率，
其中Z为具有不同自动提示的已训练plm的总数。最后，我们用标准序列分类头对最终的预训练语言模型F进行微调。我们使用Kullback-Leibler （KL）散度作为损失函数。给定最终分类器F的pt（ydjxd）和预测概率^p(ydjxd)，则该输入的散度损失Ldiv为：
然后将最终分类器F应用于测试集以获得结果。
Schick和Schutze¨（2021）通过训练几个具有不同手动提示的模型并将其应用于大量未标记数据集的软标记，在他们的SSL管道中引入了多样性。
手动提示之间的多样性带来了一致的改进。我们观察到，语言模型学习到的各种知识主要是通过提示器而不是手动的语言表达器引入的，因为在大多数数据集中，他们只准备了一个手动的语言表达器，但却准备了多个提示来进行实验。因此，我们建议用多个自动提示替换手动提示，并对所有标注器模型使用相同的自动语言修饰器。
2.2 持续提示设计
一些研究人员提出了自动化提示设计过程的方法(Liu et al ., 2021c；李和梁，2021；Lester et al, 2021)。在这些方法中，大多数都是在输入句子中插入连续可训练的提示标记，并在训练过程中学习标记嵌入。然而，现有的基于连续提示的学习方法并没有考虑它们在PET管道中的应用，这需要训练几个标注器模型（Schick和Schutze¨，2021），以便从数据集中学习不同的知识。因此，大多数方法没有定义组合多个连续提示的策略。我们提出了两种可扩展的解决方案，以在连续提示标记器模型的设计中引入不同的变量（各种演示示例或不同数量的连续提示标记）。我们期望通过这些不同的连续提示，训练好的语言模型可以从训练数据集中充分学习到不同方面的知识。
2.2.1 可伸缩的提示符生成
受P-tuning （Liu et al ., 2021c）方法的启发，我们在输入句子x中插入多个连续提示令牌pn，将其转换为[x][p0；p1;：：：；pn][面具]:。与最初的p调优方法不同，我们发明了两种可扩展的设计，使其适用于基于提示符的SSL管道。
添加演示示例：在这种方法中，我们添加不同的演示示例来构造不同的提示符。这类似于提示增强方法，其中选择添加额外的回答提示来演示语言模型应该为MASK令牌生成什么样的答案（Liu et al, 2021a）。
这些附加的回答提示被称为演示示例[demo]。为了减少演示示例与输入句子之间的差异，我们还在演示句子与其真实标签之间添加了固定数量的连续提示令牌p。因此，给定标记输入xd及其对应的来自标记训练数据集的真值标签yd，我们构造演示示例为[demo] = [xd][p0；p1;：：：；Pn][yd]，其中p0；p1;：：：；Pn是连续的提示符号。
在组成演示示例[demo]之后，给定一个来自标记数据集xt = (si；s2;：：：；sk) 2t和标签yt，其中si；s2;：：：；sk是PLM m的输入令牌，提示模板函数P1（xt）正式定义为
我们通过在输入句子中添加恰好有n个连续软令牌的不同演示示例来创建多个提示。演示示例从标记的数据集中随机抽样。对于较长的输入句子，我们首先截断[demo]的长度以符合PLM要求。我们的直觉是，不同的演示示例将引入SSL实验所需的多样性。
改变软令牌数量：在这种方法中，我们在不同的标注器模型之间改变连续提示令牌的数量。换句话说，这个输入句子xt的提示函数P2（xt）被定义为
并且每个标注器模型使用不同的n1到nk连续提示令牌p的数量(s)。在这里，我们不添加演示示例。我们的直觉是，给定不同数量的连续提示符号，优化学习的连续提示也可能是不同的。例如，对于AG的新闻主题数据集（Zhang et al ., 2015a），具有两个连续提示符号的优化提示可以为：[[x][News:][MASK]]，而具有三个连续提示符号的优化提示可以为：[[x][类别是][MASK]]。我们预计，改变连续提示令牌的数量将产生与手动构造不同提示类似的影响
2.2.2 重参数化块
Li and Liang（2021）和Liu et al . （2021c）的经验表明，在连续提示中直接更新参数会导致不稳定的优化。因此，我们首先通过重新参数化块提供提示嵌入，而不是直接将它们提供给PLM。我们的再参数化块使用双向LSTM （Hochreiter和Schmidhuber， 1997）网络和两层ReLU激活的多层感知器（MLP） (Liu et al ., 2021c；Li and Liang, 2021)。我们将随机初始化的令牌表示为p0 i，将送入PLM的实际输入嵌入表示为pi。pi为双向LSTM网络的输出，MLP为；
其中pi也是公式3和公式4中使用的软标记。我们在训练过程中学习优化后的连续提示令牌p^0:n。对于下游交叉熵损失Lc，我们可以差分优化连续提示：
2.3 自动语言分析器
有几种自动语言化方法可以消除构建映射功能所需的人工干预和专业知识。我们对三种类型的自动语言表达器进行了实验：i)软语言表达器（Hambardzumyan等人，2021），ii)原型语言表达器（Cui等人，2022），iii)基于搜索的语言表达器（Schick等人，2020b）。
Cui等人（2022）通过实验证明了原型语化器在监督学习环境中的优越性。但是，他们没有对SSL设置进行这样的实验。我们对不同自动言语器的SSL PET方法（详见3.5节）进行的实验表明，在多个数据集上，原型言语器的性能优于软言语器和基于搜索的言语器。因此，我们选择使用原型语言分析器作为手动语言分析器的替代品。
通过优化嵌入来自PLM m的MASK令牌和基真标签y，原型语言表达器使用对比学习来学习每个类的原型向量（Oord等人，2018）。原型语言化器首先初始化每个类标签的原型嵌入，然后使用MASK令牌的嵌入作为实例嵌入。它使用实例-实例损失Lins来最大化类内相似性和最小化类间相似性。类似地，它使用实例-原型损失Lproto来最大化原型和属于同一类的实例之间的相似性，最小化属于其他类的实例之间的相似性。通过实例嵌入与每个优化原型嵌入之间的余弦相似度计算每个类的MASK令牌的概率分布。对于推理，它将原型向量的类分配给概率得分最高的实例，该概率得分是通过将实例向量与原型向量的相似度得分进行归一化计算得到的。
2.4 训练与推理策略
所有待优化的模型参数都是随机初始化的。如2.2.2和2.3节所述，我们使用loss Lc更新连续提示符和plm中的参数，并使用loss Lins和Lproto优化语言器中的参数。我们的训练策略不是把所有的损失加在一起，而是先冻结原型语言器中的参数，然后再训练重参数化块和PLM中的参数以及交叉熵损失Lc。
然后我们将学习到的参数冻结并在实例-实例损失Lins和实例-原型损失Lproto的原型语言器中训练参数。在训练所有标记器模型并获得未标记数据集上的类概率后，我们使用Ldiv对最终的语言模型分类器进行微调。在推理过程中，我们不依赖任何基于提示的标注器模型，直接使用最终微调的语言模型F在测试数据集上进行预测。
3 实验
为了验证我们框架的有效性，我们在常用的NLU基准上使用几个强大的基线框架进行了多个半监督学习实验。
3.1 数据集收集
我们对五个不同的数据集进行了实验1:AG 's News （Zhang et al ., 2015a）、Yahoo Answers （Zhang et al ., 2015b）、MNLI （MultiNLI, Multi-Genre Natural Language Inference， Williams等人（2018））、RTE （recognition Textual Entailment， Dagan等人（2006））和CB （CommitmentBank， de Marneffe等人（2019））。AG的News和Yahoo的答案是主题分类（TC）数据集，而MNLI、RTE和CB是自然语言推理（NLI）数据集。在表1中，我们提供了不同类的数量、用于SSL的未标记数据集大小以及所有五个数据集的测试大小。有关提示和语言表达器设计的详细信息可在附录A中找到
我们对所有数据集在少数几个样本设置中执行多个实验。对于少量实验，我们使用1；5;10;除了CB和RTE之外的所有数据集，每个类20个示例，其中我们实验了32个示例，以与早期的研究工作保持一致（Schick和Schutze¨，2021）。我们报告了用三种不同的随机种子进行三次实验评估的平均准确性。
3.2 建议的模型
演示+软令牌PET：第一种方法是用原型语言器和带有演示示例和连续提示令牌的手动提示取代手动语言器。
PET：第二种方法是通过改变连续提示令牌的数量来引入多样性，我们在多个标注器模型中使用原型语言器。
3.3 比较模型
除了我们提出的模型外，我们还设计了几个强基线实验，并进行了消融研究，以显示我们提出的模型在多个NLU任务中的优越性。
3.3.1 基线模型
微调：这是一种监督方法，我们在不同的少数镜头设置中直接对RoBERTa-large PLM进行微调。在此方法中，我们不利用未标记的数据。
PET：这是一种类似于Schick和Schutze¨（2021）的半监督学习方法，但我们用原型语言器取代了手动语言器，并保留了手动提示。这种设置的实验将显示在PET框架中应用自动语言表达器的好处。
手动PET：这是Schick和Schutze¨（2021）提出的半监督学习方法。我们的主要目标是表明，使用我们提出的方法，我们可以获得与手动方法相似或更好的结果。
还有其他依赖于数据增强而不及时调优的SSL方法，如UDA （Xie等人，2020）和MixText （Chen等人，2020）。由于它们的性能在多个数据集上始终比Manual PET模型差（Schick and Schutze¨，2021），因此我们在本工作中不选择这些模型进行比较。
3.3.2 消融研究的模型干预
固定软令牌PET：这种半监督学习方法类似于我们提出的第二种方法，我们改变连续令牌的数量来创建多个提示。但是，这里我们保持连续令牌的数量不变，并且不添加演示示例。这个实验将帮助我们理解在提示设计中，不同的连续符号所带来的多样性的重要性。
Demo+Soft in SL：这是一种有监督的方法，我们使用提示模板，通过从训练数据中随机选择一个演示示例和固定数量的连续提示令牌来转换输入，我们使用原型语言器进行分类。我们在PLM中使用RoBERTa-large。通过这个实验，我们试图理解具有多个提示的半监督学习方法比监督训练的力量。
3.4 实现细节
我们使用RoBERTa-Large模型（Liu et al, 2019）作为我们所有实验的PLM。我们使用AdamW作为优化器，其学习率为1e−5，权重衰减为0:01，使用线性调度器，批大小为2，训练了5个epoch。
重参数化块包含2层双向LSTM和2层具有ReLU激活函数的线性层。线性层和LSTM层的隐藏维数为768，Roberta-Large的隐藏维数为768。我们在重参数化块和PLM中一起训练参数。对于原型语言表达器，我们基于Pytorch2、Huggingface transformer3和openpromp4框架实现（Ding et al, 2021）。对于我们的Demo+软令牌PET，每个标注器模型将通过不同的演示学习5个软令牌。对于我们的Vary Soft Tokens PET，我们为每个数据集准备了5个提示，每个提示中的软令牌数量从1到5不等。
3.5 多个自动语言表达器的结果
为了了解哪种自动表述词是手动表述词更好的替代品，我们首先对三种自动表述词进行了实验：软表述词（Hambardzumyan等人，2021；Liu等人，2021c,b）、搜索表述词（Gao等人，2021；Shin等人，2020a；Schick等人，2020a）和原型表述词（Cui等人，2022）。对于所有这些实验，我们应用的实验设置类似于PET论文，但只将手动表述词替换为自动表述词（Schick和Schutze，2021）。表2显示了在这些表述词的不同数据集上三次运行三个不同种子的平均准确率。从表2中可以看出，原型表述词在五个数据集中的三个（Yahoo、RTE和MNLI）表现优于其他表述词。搜索表述词和软表述词模型只在各自的一个数据集上表现得比原型表述词模型更好。由于原型表述词在大多数数据集中的表现优于其他表述词，我们决定将其作为我们的自动表述词使用。
3.6 与手动PET的比较
然后，我们以原型语言器作为自动语言器，对我们提出的自动提示设计方法进行实验。表3显示了在few-shot设置中不同数据集和任务上的结果。表3显示，通过仅用原型语言器（列Protoverb）替换手动语言器，并保持实验的其他方面与PET方法相同，我们可以获得略低于手动PET（71:4平均精度）的性能（70:1）（Schick and Schutze¨，2021）。这表明，为了消除人类在设计语言表达器时的参与，我们可以简单地用原型语言表达器取代手动语言表达器，而只需要牺牲一点性能。
对于我们的下一组实验，我们用我们提出的方法替换手动提示，自动创建多个提示。第一种方法（Demo+Soft Tokens PET），从训练数据中随机抽取演示示例，并使用固定数量的可训练连续提示令牌作为输入，其性能优于Manual PET方法。下一种方法（可变软PET），我们改变连续可训练令牌的数量，也取得了比手动PET方法更好的性能。对于主题分类任务，在多个few-shot设置下，Demo+Soft和Vary Soft PET方法的平均准确率分别为77:0和77:3，Manual PET方法的平均准确率为77:1。同样，对于不同少射设置下的NLI数据集，我们的Vary Soft PET方法的平均准确率为69:6，Demo+Soft Tokens PET方法的平均准确率为70:7。结果均优于手工PET法（67:7）。此外，在所有这些数据集中，Demo+Soft Tokens PET和Vary Soft PET的平均性能分别为73:2和72:6。结果优于手工PET（71:4）法。这个实验表明，在为SSL管道设计提示符和语言表达器时，完全消除人工参与和专业知识是可能的，而且性能更好。
我们还观察到，对于MNLI数据集的单次实验，Demo + Soft PET方法的准确率为36:1，远远低于其他提示基线模型。这可能是由于随机抽样[演示]示例，正如先前的研究表明，在少样本镜头设置中选择示例可以导致高方差性能（Lu et al, 2021）。在未来的工作中，我们可以利用句子嵌入在选择演示示例时做出智能决策。
3.7 消融研究
3.7.1 半监督学习的影响
我们将我们提出的方法与监督学习方法进行了比较：微调和基于提示的调整方法（Demo+Soft in SL）。所有半监督学习方法的性能都明显优于监督学习方法。传统的微调方法在不同的数据集和任务上表现最差（平均精度为45:1）。Demo+Soft in SL方法类似于我们提出的Demo+Soft Tokens PET方法，但不使用未标记的数据。Demo+Soft在SL中的表现优于微调方法，在不同的少数镜头设置下，在多个数据集和任务上达到68:7的平均精度。这两种监督学习方法的性能都不如任何SSL提示模型，这表明SSL管道在NLU任务中的必要性。
3.7.2 提示信息多样性的影响
为了理解在SSL中通过多个提示引入多样性效应，我们设计了一个额外的实验，其中我们使用SSL设置，但只使用一个提示标签模型（不添加演示示例，而是使用可训练的软令牌）来标注未标记的数据。我们将这种方法命名为固定软令牌PET。表3显示，在大多数比较（13/14）中，我们提出的可变软PET或演示+软PET方法实现了更好的性能。与固定软PET相比，我们提出的演示+软PET将平均准确率从72.3提高到73.2（p < 0.05，通过配对t检验）（Hsu和Lachenbruch，2014）。此外，演示+软PET和可变软PET方法在自然语言推理（NLI）和主题分类任务中获得的平均性能优于固定软令牌PET。这些结果展示了由多个提示标签模型引入的多样性的重要性。
4 相关工作
4.1 语言模型提示
Cui等人（2021）使用预定义模板（候选span是一个实体类型实体）对预训练的生成语言模型BART进行了微调，用于NER分类。Wang等人（2021）提出了enailment as Few-shot Learner （EFT）方法，该方法将分类任务转换为自然语言文本蕴育任务，然后对LM进行微调。这种转换还可以很容易地利用无监督的对比数据增强方法向有限的注释数据中添加成对示例。这种设置进一步显示，在15种不同的NLP任务中，平均提高了2.7%。除了使用有监督学习的提示外，PET是SoTA方法，它将手动提示与半监督学习结合起来，以在多个NLU任务中获得强大的性能。（Schick and Schutze¨，2021）。
4.2 自动提示和动词化器
Shin等人（2020a）使用梯度引导搜索，根据任务准确性找到提示的离散标记，初始化标记，然后对LM进行微调。对于自动标签标记选择，他们首先从MASK标记的上下文嵌入中训练逻辑回归分类器，然后从传销的输出词嵌入中预测分数。他们为每个标签选择得分最高的k个单词。在情感分类和文本蕴涵任务中，它们比手动提示方法表现出更好的性能。
类似地，Li和Liang（2021）以及Lester等人（2021）没有使用梯度引导搜索提示符号，而是附加前缀向量，并通过保持LM模型参数冻结来学习前缀向量的嵌入。Liu等人（2021c）提出了P-tuning，使用基于人类设计的模式，将预训练语言模型的输入嵌入替换为其可微输出嵌入。Liu et al . （2021b）对NLU的前缀调谐模型进行了优化和调整。Vu等（2021）提出从一个或多个源任务中学习软提示嵌入，然后将其转移到初始化目标任务的提示。此外，他们还提出了一种有效的检索方法来寻找任务嵌入，并预测给定的新目标任务的最可传递的源任务。
一些自动语言表达器，如基于搜索的语言表达器、软语言表达器和原型语言表达器，已经被提出用于自动设计语言表达器映射功能。基于搜索的语言表达器旨在寻找合适的标记来取代人类的选择(Schick et al, 2020a；Shin等，2020b；Gao et al ., 2020)。软语者和原型语者都在训练过程中学习可训练的类或原型嵌入(Cui et al ., 2022；Zhang等，2021；Hambardzumyan et al, 2021)。
Mahabadi等（2022）提出了一种无需提示的方法（PERFECT）来训练语言模型，该方法不依赖于手动命令和语言化器。PERFECT报告的性能与PET相似（Schick and Schutze¨，2021）。然而，他们使用了一个监督学习设置，并将他们的结果与带有一个提示的单个标签器模型进行了比较，而不是最终分类器的结果。在这里，我们使用与Schick和Schutze¨（2021）相似的SSL设置，并报告最终分类器的结果。
5 结论
在本文中，我们能够在半监督学习环境中成功地使用自动提示和语言表达器。我们表明，我们提出的使用原型语言器的自动提示生成方法可以消除基于提示的SSL设置中的人工工程，并达到与SoTA Manual PET方法相似或更好的性能。我们的方法还有一个额外的优势，就是可以扩展到多个任务和数据集。我们还通过经验验证了半监督学习方法的力量，它利用了大量未标记的数据，而不是监督方法。
在接下来的步骤中，我们计划调查是否能够通过冻结plm的参数并仅调优语言器和提示参数来实现类似的性能。这种设置使共享和重用plm变得容易，从而节省了大量的空间。此外，我们计划探索将Demo+Soft PET和Vary Soft PET两种方法结合起来的方法，以充分利用这两种方法的优势。
6 局限性
尽管我们对多个NLU任务和数据集进行了实验，但这些数据集仅在英语语言中。基于提示的学习依赖于大型语言模型，这些模型是通过在庞大的语料库上进行预训练而获得知识的。对于低资源语言，可能很难在庞大的语料库上训练plm，这可能会使其难以重现与英语语料库相似的性能。PLM的微调和推理需要多个大型gpu，这可能不是每个人都可以访问的。