Hugging Face

Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning

通过在线强化学习将大语言模型接地于交互环境

Thomas Carta, Clément Romac, Thomas Wolf, Sylvain Lamprier, Olivier Sigaud, Pierre-Yves Oudeyer

机构 * Inria (Flowers)（Inria（Flowers）） ； University of Bordeaux（波尔多大学） ； Hugging Face ； Univ Angers, LERIA, SFR MATHSTIC（昂热大学，LERIA，SFR MATHSTIC） ； Sorbonne Université（索邦大学） 纠错

AI总结 本文提出GLAM方法，通过在线强化学习将大语言模型接地于交互环境，以提升样本效率和泛化能力，并探讨在线学习的影响。

Comments The associated code can be found at https://github.com/flowersteam/Grounding_LLMs_with_online_RL. This is an extended version of the paper published at ICML 2023: https://proceedings.mlr.press/v202/carta23a

Journal ref PMLR 202 (2023):3676-3713

Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use

理解效率：在LLM能耗中的量化、批量和服务策略

Julien Delavande, Regis Pierrard, Sasha Luccioni

机构 * Hugging Face 纠错

AI总结 本文研究了LLM推理能耗中的量化、批量和服务策略，发现低精度和批量处理可显著降低能耗，同时强调服务堆栈的协调对可持续部署的重要性。

Small Talk, Big Impact: The Energy Cost of Thanking AI

小声说话，大影响：致谢AI的能量成本

Julien Delavande, Regis Pierrard, Sasha Luccioni

机构 * Hugging Face 纠错

AI总结 本文研究了与大型语言模型交互时，礼貌用语如“谢谢”所消耗的能量成本，并探讨了如何通过优化模型和输入输出长度来提高可持续性。