RecycleGPT：一种具有可回收模块的自回归语言模型
RecycleGPT: An Autoregressive Language Model with Recyclable Module
AI总结：
本文提出RecycleGPT，一种通过回收预生成模型状态来加速解码的自回归语言模型，利用相邻令牌相关性，实现高达1.4倍推理加速并保持高性能。
摘要：
现有的大语言模型必须运行K次才能生成包含K个令牌的序列。在本文中，我们提出了RecycleGPT，一种通过回收预先生成的模型状态而无需在多个步骤中运行整个模型来实现快速解码速度的生成语言模型。我们的方法依赖于这样一个观察：序列中相邻的令牌通常具有很强的相关性，并且序列中的下一个令牌可以基于前面的令牌进行合理猜测或推断。实验和分析证明了我们的方法在降低推理延迟方面的有效性，实现了高达1.4倍的加速，同时保持了高性能。
英文摘要：
Existing large language models have to run K times to generate a sequence of K tokens. In this paper, we present RecycleGPT, a generative language model with fast decoding speed by recycling pre-generated model states without running the whole model in multiple steps. Our approach relies on the observation that adjacent tokens in a sequence usually have strong correlations and the next token in a sequence can be reasonably guessed or inferred based on the preceding ones. Experiments and analysis demonstrate the effectiveness of our approach in lowering inference latency, achieving up to 1.4x speedup while preserving high performance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
