重新审视OPRO：小规模LLM作为优化器的局限性
Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers
AI总结：
本文重新评估OPRO在小规模LLM（如LLaMa-2和Mistral 7B）上的优化效果，发现其因推理能力有限而表现不佳，建议考虑模型能力与成本，并推荐直接指令作为基线。
摘要：
近年来，许多研究工作旨在通过策略性提示来提升大型语言模型（LLM）的效能。特别是，基于提示的优化（OPRO）方法通过利用LLM作为优化器，在优化任务中寻找能最大化任务准确率的指令，从而提供了最先进的性能。在本文中，我们重新审视了OPRO在相对小规模LLM（如LLaMa-2系列和Mistral 7B）上的自动化提示应用。我们的研究发现，OPRO在小规模LLM上表现出有限的有效性，其有限的推理能力制约了优化能力。我们建议未来的自动提示工程应同时考虑模型能力和计算成本。此外，对于小规模LLM，我们推荐使用明确概述目标和方法的直接指令作为稳健的提示基线，以确保在持续研究中实现高效且有效的提示工程。
英文摘要：
Numerous recent works aim to enhance the efficacy of Large Language Models (LLMs) through strategic prompting. In particular, the Optimization by PROmpting (OPRO) approach provides state-of-the-art performance by leveraging LLMs as optimizers where the optimization task is to find instructions that maximize the task accuracy. In this paper, we revisit OPRO for automated prompting with relatively small-scale LLMs, such as LLaMa-2 family and Mistral 7B. Our investigation reveals that OPRO shows limited effectiveness in small-scale LLMs, with limited inference capabilities constraining optimization ability. We suggest future automatic prompting engineering to consider both model capabilities and computational costs. Additionally, for small-scale LLMs, we recommend direct instructions that clearly outline objectives and methodologies as robust prompt baselines, ensuring efficient and effective prompt engineering in ongoing research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
