面向大语言模型生成推理的高成本效益超参数优化
Cost-Effective Hyperparameter Optimization for Large Language Model Generation Inference
AI总结：
本文提出EcoOptiGen框架，通过经济型超参数优化和基于成本的剪枝，在有限推理预算下最大化LLM生成效用，并在GPT-3.5/GPT-4上验证有效。
摘要：
大语言模型（LLMs）因其生成能力引发了广泛关注，推动了各种商业应用的发展。使用这些模型的高昂成本促使应用构建者在有限的推理预算下最大化生成价值。本文对推理超参数（如响应数量、温度参数和最大令牌数）的优化进行了研究，这些超参数显著影响文本生成的效用与成本。我们设计了一个名为 EcoOptiGen 的框架，该框架利用经济型超参数优化和基于成本的剪枝策略。在多种任务上使用 GPT-3.5/GPT-4 模型进行的实验验证了其有效性。EcoOptiGen 已在 FLAML 库的 `autogen` 包中实现：\url{https://aka.ms/autogen}。
英文摘要：
Large Language Models (LLMs) have sparked significant interest in their generative capabilities, leading to the development of various commercial applications. The high cost of using the models drives application builders to maximize the value of generation under a limited inference budget. This paper presents a study of optimizing inference hyperparameters such as the number of responses, temperature and max tokens, which significantly affects the utility/cost of text generation. We design a framework named EcoOptiGen which leverages economical hyperparameter optimization and cost-based pruning. Experiments with the GPT-3.5/GPT-4 models on a variety of tasks verify its effectiveness. EcoOptiGen is implemented in the `autogen' package of the FLAML library: \url{https://aka.ms/autogen}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
