组合性指令跟随与语言模型和强化学习
Compositional Instruction Following with Language Models and Reinforcement Learning
AI总结：
本文提出CERLLA方法，结合组合性策略表示和强化学习训练的语义解析器，在162个任务上实现组合性泛化，以92%成功率超越非组合性基线80%。
摘要：
将强化学习与语言基础相结合是具有挑战性的，因为智能体需要在探索环境的同时学习多个语言条件下的任务。为了解决这个问题，我们引入了一种新方法：组合性使能的强化学习语言智能体（CERLLA）。我们的方法通过利用组合性策略表示和一种使用强化学习和上下文学习训练的语义解析器，降低了用语言指定的任务的样本复杂度。我们在一个需要函数逼近的环境中评估了我们的方法，并展示了对新任务的组合性泛化能力。在162个旨在测试组合性泛化的任务上，我们的方法在样本复杂度方面显著优于之前最好的非组合性基线。我们的模型比非组合性基线获得更高的成功率，并且用更少的步骤学习。它达到了与预言策略上限性能相等的92%的成功率。在相同数量的环境步骤下，基线仅达到80%的成功率。
英文摘要：
Combining reinforcement learning with language grounding is challenging as the agent needs to explore the environment while simultaneously learning multiple language-conditioned tasks. To address this, we introduce a novel method: the compositionally-enabled reinforcement learning language agent (CERLLA). Our method reduces the sample complexity of tasks specified with language by leveraging compositional policy representations and a semantic parser trained using reinforcement learning and in-context learning. We evaluate our approach in an environment requiring function approximation and demonstrate compositional generalization to novel tasks. Our method significantly outperforms the previous best non-compositional baseline in terms of sample complexity on 162 tasks designed to test compositional generalization. Our model attains a higher success rate and learns in fewer steps than the non-compositional baseline. It reaches a success rate equal to an oracle policy's upper-bound performance of 92%. With the same number of environment steps, the baseline only reaches a success rate of 80%.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
