论文标题
Metaprompting：学习学习更好的提示
MetaPrompting: Learning to Learn Better Prompts
论文作者
论文摘要
提示方法被视为几乎没有自然语言处理的关键进展之一。关于提示从基于离散令牌的``硬提示''转移到连续``软提示''的最新研究，这些提示将可学习的向量作为伪提示，并实现更好的性能。尽管显示出有希望的前景，但观察到这些软宣传的方法在很大程度上依赖良好的初始化来生效。不幸的是，获得软提示的完美初始化需要了解内在语言模型的工作和精心设计的设计，这绝非易事，必须从头开始重新启动每个新任务。为了解决这个问题，我们提出了一种称为元元素的广义软提示方法，该方法采用了良好认可的模型 - 敏锐的远程元元学习算法，以自动找到更好的及时初始化，从而快速适应新的促进任务，以促进新的任务。扩展的实验表明，对元数据进行了较小的固定问题，并在四个不同的方面改进了较大的数据，并在四个不同的方向上（四个不同）（四个不同的数据）（四个不同）（四个不同）（四个不同）（四个不同）（四个不同），在四个不同的方面（四个不同），在四个不同设置），实现新的最新性能。
Prompting method is regarded as one of the crucial progress for few-shot nature language processing. Recent research on prompting moves from discrete tokens based ``hard prompts'' to continuous ``soft prompts'', which employ learnable vectors as pseudo prompt tokens and achieve better performance. Though showing promising prospects, these soft-prompting methods are observed to rely heavily on good initialization to take effect. Unfortunately, obtaining a perfect initialization for soft prompts requires understanding of inner language models working and elaborate design, which is no easy task and has to restart from scratch for each new task. To remedy this, we propose a generalized soft prompting method called MetaPrompting, which adopts the well-recognized model-agnostic meta-learning algorithm to automatically find better prompt initialization that facilitates fast adaptation to new prompting tasks.Extensive experiments show MetaPrompting tackles soft prompt initialization problem and brings significant improvement on four different datasets (over 6 points improvement in accuracy for 1-shot setting), achieving new state-of-the-art performance.
