Large Language Models As Evolution Strategies

本文是LLM系列文章，针对《Large Language Models As Evolution Strategies》的翻译。

作为进化策略的大型语言模型

• 摘要
• 1 引言
• 2 相关工作
• 3 背景
• 4 将LLMS转化为ES算法
• 5 LLMS作为零样本进化策略
• 6 EVOLLM消融研究
• 7 EVOLLM与教师微调
• 8 讨论

摘要

大型Transformer模型能够实现大量所谓的上下文学习算法。其中包括梯度下降、分类、序列完成、转换和改进。在这项工作中，我们研究了从未明确遇到黑箱优化任务的大型语言模型（LLM）原则上是否能够实现进化优化算法。虽然之前的工作只关注基于语言的任务规范，但我们继续关注LLM在black-box优化中的零样本应用。我们引入了一种新的提示策略，包括对离散群体成员进行最小到最大排序，并查询LLM，以提出对平均统计量的改进，即执行一种黑匣子重组操作。从经验上讲，我们发现我们的设置允许用户获得基于LLM的进化