本地零阶提示优化

本文探讨了如何优化大型语言模型（LLM）中的提示（prompt），以更有效地利用这些黑盒模型的能力。传统的优化方法倾向于寻找全局最优解，但在某些情况下这种做法可能表现不佳。通过对提示优化进行深入的研究，作者发现了两个重要洞见：

• 首先，相比于全局最优解的稀有性，局部最优解通常更加丰富且性能良好，这为高效的提示优化提供了更多可能性；
• 其次，输入域的选择（包括提示的生成和表示方式）会影响高性能局部最优解的识别。

受此启发，作者提出了一种名为局部零阶提示优化（Localized Zeroth-Order Prompt Optimization，ZOPO）的新算法，该算法将基于神经切线核推导的高斯过程与标准零阶优化相结合，以高效地搜索具有良好性能的局部最优解。实验结果表明，ZOPO在优化性能和查询效率方面均优于现有基线方法。

1 局部零阶提示优化--ZOPO

ZOPO是一种旨在提高提示优化过程中查询效率和优化性能的方法。目的是提高基于提示的方法利用大型语言模型（LLMs）的能力，特别是在那些寻找全局最优解表现不佳的任务上。与全局最优解相比，局部最优解更常见且性能良好，这使得它们成为更值得追求的目标。输入域的选择，包括提示的生成和表示方式，会影响高性能局部最优解的识别。

（1）输入域变换：

• 使用大型语言模型生成提示候选。利用NLP嵌入模型将这些生成的提示转换成其对应的隐藏表示形式，从而充分利用LLMs的生成能力和NLP嵌入模型的表示能力。

（2）零阶优化框架：

• 采用增强的零阶优化（ZOO）方法，通过一个推导出的高斯过程来进行高效的梯度估计。在这个框架中，进一步整合了神经切线核（NTK）来处理复杂和高维的提示优化任务。

（3）不确定性指导的局部探索：

• 设计了一种基于不确定性的局部探索方法，以改善在推导出的NTK-GP框架中的梯度估计，从而增强算法的实际性能。

2 结语

本文提出了一种名为局部化零阶提示优化（ZOPO）的新算法，该算法通过高效搜索具有良好性能的局部最优解来优化提示，从而在大型语言模型的任务中提高了优化性能和查询效率。

论文题目： Localized Zeroth-Order Prompt Optimization

论文链接： https://arxiv.org/abs/2403.02993

PS: 欢迎大家扫码关注公众号^_，我们一起在AI的世界中探索前行，期待共同进步！

精彩回顾

1. 大语言模型的情景记忆

2. 具身人工智能的最新进展--综述

3. 复杂 RAG 系统的检索规划