arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2404.16779cs.LGcs.AIcs.RO
收藏

DrS:学习多阶段任务的可重用稠密奖励

DrS: Learning Reusable Dense Rewards for Multi-Stage Tasks

UC San Diego(加州大学圣迭戈分校)

Tongzhou Mu, Minghua Liu, Hao Su

AI总结:

提出 DrS 方法,利用任务阶段结构从稀疏奖励和演示中学习可重用的稠密奖励,在 1000 多个机器人操作任务变体上提升了 RL 算法的性能和样本效率,减少人工奖励工程成本。

摘要:

许多强化学习(RL)技术的成功严重依赖人工设计的稠密奖励,这通常需要大量领域专业知识和反复试错。在我们的工作中,我们提出了 DrS(基于阶段的稠密奖励学习),这是一种以数据驱动方式为多阶段任务学习可重用稠密奖励的新方法。通过利用任务的阶段结构,DrS 从稀疏奖励和演示(如果提供)中学习高质量的稠密奖励。学习到的奖励可以在未见任务中重用,从而减少人工进行奖励工程的精力。在包含 1000 多个任务变体的三个物理机器人操作任务族上的大量实验表明,我们学习到的奖励可以在未见任务中重用,从而提高 RL 算法的性能和样本效率。学习到的奖励在某些任务上甚至达到了与人工设计奖励相当的性能。有关更多详细信息,请参阅我们的项目页面 (https://sites.google.com/view/iclr24drs)。

英文摘要:

The success of many RL techniques heavily relies on human-engineered dense rewards, which typically demand substantial domain expertise and extensive trial and error. In our work, we propose DrS (Dense reward learning from Stages), a novel approach for learning reusable dense rewards for multi-stage tasks in a data-driven manner. By leveraging the stage structures of the task, DrS learns a high-quality dense reward from sparse rewards and demonstrations if given. The learned rewards can be \textit{reused} in unseen tasks, thus reducing the human effort for reward engineering. Extensive experiments on three physical robot manipulation task families with 1000+ task variants demonstrate that our learned rewards can be reused in unseen tasks, resulting in improved performance and sample efficiency of RL algorithms. The learned rewards even achieve comparable performance to human-engineered rewards on some tasks. See our project page (https://sites.google.com/view/iclr24drs) for more details.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑