基于推测解码策略的能量节省基准测试
Benchmarking the Energy Savings with Speculative Decoding Strategies
AI总结：
本文通过调查推测解码策略的能量需求，分析了模型大小、策略和数据集特征对能量优化的影响，以评估不同策略的能量节省效果。
摘要：
推测解码作为一种有效的方法，已被用于减少大语言模型（LLM）推理的延迟和推理成本。然而，对于这些模型的能量需求却缺乏足够的关注。为填补这一空白，本文全面调查了推测解码策略的能量需求，并详细分析了模型大小和家族、推测解码策略以及数据集特征等不同因素如何影响能量优化。
英文摘要：
Speculative decoding has emerged as an effective method to reduce latency and inference cost of LLM inferences. However, there has been inadequate attention towards the energy requirements of these models. To address this gap, this paper presents a comprehensive survey of energy requirements of speculative decoding strategies, with detailed analysis on how various factors -- model size and family, speculative decoding strategies, and dataset characteristics -- influence the energy optimizations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
