从视觉观察中学习是强化学习（RL）中的一个基本而又具有挑战性的问题。尽管结合卷积神经网络的算法进步已被证明是成功的秘诀，但目前的方法仍然缺乏两个方面：（a）学习的数据效率和（b）对新环境的泛化。为此，我们提出了增强数据（RAD）的强化学习，这是一个简单的即插即用模块，可以增强大多数RL算法。我们进行了第一次广泛的研究一般数据增强RL基于像素和基于状态的输入，并介绍了两个新的数据增强-随机平移和随机幅度缩放。我们表明，随机平移、裁剪、颜色抖动、补丁剪切、随机卷积和幅度缩放等增强可以使简单的RL算法在常见的基准测试中优于复杂的最先进的方法。RAD在基于像素控制的DeepMind Control Suite基准测试以及基于状态控制的OpenAI Gym基准测试的数据效率和最终性能方面树立了新的先进水平。我们进一步证明了RAD在几个OpenAI ProcGen基准测试中显着提高了现有方法的测试时间泛化能力。我们的RAD模块和培训代码可以在https://www.github.com/MishaLaskin/rad上找到。
英文摘要：
Learning from visual observations is a fundamental yet challenging problem in Reinforcement Learning (RL). Although algorithmic advances combined with convolutional neural networks have proved to be a recipe for success, current methods are still lacking on two fronts: (a) data-efficiency of learning and (b) generalization to new environments. To this end, we present Reinforcement Learning with Augmented Data (RAD), a simple plug-and-play module that can enhance most RL algorithms. We perform the first extensive study of general data augmentations for RL on both pixel-based and state-based inputs, and introduce two new data augmentations - random translate and random amplitude scale. We show that augmentations such as random translate, crop, color jitter, patch cutout, random convolutions, and amplitude scale can enable simple RL algorithms to outperform complex state-of-the-art methods across common benchmarks. RAD sets a new state-of-the-art in terms of data-efficiency and final performance on the DeepMind Control Suite benchmark for pixel-based control as well as OpenAI Gym benchmark for state-based control. We further demonstrate that RAD significantly improves test-time generalization over existing methods on several OpenAI ProcGen benchmarks. Our RAD module and training code are available at https://www.github.com/MishaLaskin/rad.
我们提出了DrQ-v2，一个无模型强化学习（RL）算法的视觉连续控制。DrQ-v2建立在DrQ的基础上，DrQ是一种非策略的行动者-批评者方法，使用数据增强直接从像素中学习。我们介绍了几项改进，这些改进在DeepMind Control Suite上产生了最先进的结果。值得注意的是，DrQ-v2能够直接从像素观察中解决复杂的人形运动任务，这是以前无模型RL无法实现的。DrQ-v2概念简单，易于实现，与以前的工作相比，它提供了更好的计算占用空间，大多数任务只需8小时即可在单个GPU上进行训练。最后，我们公开发布DrQ-v2的实现，为RL从业者提供强大且计算效率高的基线。
Decision Making for Autonomous Driving via Augmented Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Zenseact（森赛克特）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Google Research（谷歌研究院）
Diffusion-Augmented Markov Decision Processes for Maximum Entropy Reinforcement Learning
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University Munich（慕尼黑机器人与机器智能研究所（MIRMI），技术大学慕尼黑）；Practical Project Student Exchange Program, Technical University Munich（技术大学慕尼黑实践项目学生交换计划）；MIT World Peace University（MIT和平大学）
Clemson University（克莱姆森大学）；Université de Montréal（蒙特利尔大学）；Accenture (United States)（埃森哲（美国））；Arizona State University（亚利桑那州立大学）；Northeastern University（东北大学）
Graph augmented Deep Reinforcement Learning in the GameRLand3D environment
Ubisoft La Forge（育碧La Forge）
我们解决具有挑战性的3D视频游戏中的规划和导航问题，这些游戏的地图具有可由代理使用特殊动作到达的断开区域。在这种情况下，经典的象征性规划不适用或难以适应。我们介绍了一种混合技术相结合的低层次的政策训练与强化学习和基于图的高层次的经典规划。除了提供人类可解释的路径外，该方法还提高了端到端方法在看不见的地图中的泛化性能，在尚未看到的1 km x 1 km大规模地图中，与经常性端到端代理相比，它在点对点导航任务上的成功率绝对提高了20%。在一项深入的实验研究中，我们量化了端到端深度RL方法在广阔环境中的局限性，我们还介绍了“GameRLand3D”，这是一个新的基准，即将发布的环境可以为导航任务生成复杂的程序3D地图。
Augmented Replay Memory in Reinforcement Learning With Continuous Control
Artificial Intelligence Center（人工智能中心）；Faculty of Electrical Engineering（电气工程学院）；Czech Technical University in Prague（捷克理工大学）；Dipartimento di Elettronica, Informazione e Bioingegneria（电子、信息与生物工程系）；Politecnico di Milano（米兰理工大学）
Wuhan University of Science and Technology（武汉科技大学）；College of Science（理学院）；Intelligent Automobile Engineering Research Institute（智能汽车工程研究院）；School of Automobile and Traffic Engineering（汽车与交通工程学院）
Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents
Beijing University of Posts and Telecommunications（北京邮电大学）；China Mobile Group Design Institute Co., Ltd（中国移动集团设计院有限公司）；Singapore Management University（新加坡管理大学）
SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning
University of Chicago（芝加哥大学）；University of California San Diego（加州大学圣地亚哥分校）；NEC Labs America（NEC美国实验室）；University of California Berkeley（加州大学伯克利分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）
Concept Learning through Deep Reinforcement Learning with Memory-Augmented Neural Networks
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
Emergence of a Flow-Assisted Casting Strategy for Olfactory Navigation via Memory-Augmented Reinforcement Learning
State Key Laboratory of Ocean Engineering, School of Ocean and Civil Engineering, Shanghai Jiao Tong University, Shanghai 200240, People’s Republic of China（海洋工程国家重点实验室，海洋与土木工程学院，上海交通大学，上海200240，中华人民共和国）；State Key Laboratory of Fluid Power and Mechatronic Systems, Department of Engineering Mechanics, Zhejiang University, Hangzhou 310027, People’s Republic of China（流体动力与机械系统国家重点实验室，工程力学系，浙江大学，杭州310027，中华人民共和国）
Motion Planner Augmented Reinforcement Learning for Robot Manipulation in Obstructed Environments
Cognitive Learning for Vision and Robotics Lab（认知视觉与机器人学实验室）；Robotic Embedded Systems Laboratory（机器人嵌入式系统实验室）；University of Southern California（南加利福尼亚大学）
