When to use parametric models in reinforcement learning?
DeepMind（深度思维）
我们研究了参数模型在强化学习中何时以及如何最有用的问题。特别是，我们看看参数模型和经验重放之间的共性和差异。基于重放的学习算法与基于模型的方法具有重要的特征，包括计划能力：在没有额外数据的情况下使用更多的计算来改进预测和行为。我们讨论了什么时候期望从这两种方法中获益，并在此背景下解释以前的工作。我们假设，在适当的条件下，重放为基础的算法应该是有竞争力的或更好的基于模型的算法，如果该模型只用于生成虚构的转换从观察到的状态的更新规则，否则模型自由。我们在Atari 2600视频游戏上验证了这一假设。基于回放的算法达到了最先进的数据效率，改善了参数模型的先前结果。
2019-06-12 cs.AI cs.LG stat.ML
Stabilizing Off-Policy Deep Reinforcement Learning from Pixels
King’s College London（伦敦国王学院）；University of Oxford（牛津大学）
来自像素观察的非策略强化学习（RL）是出了名的不稳定。因此，许多成功的算法必须结合不同的特定领域的做法和辅助损失，学习有意义的行为在复杂的环境中。在这项工作中，我们提供了新的分析，证明这些不稳定性是由使用卷积编码器和低幅度奖励执行时间差学习引起的。我们发现，这种新的视觉致命的三重奏会导致不稳定的训练和过早收敛到退化的解决方案，我们命名为灾难性的自适应现象。基于我们的分析，我们提出了A-LIX，一种为编码器的梯度提供自适应正则化的方法，该方法使用双目标明确防止灾难性自过拟合的发生。通过应用A-LIX，我们在DeepMind Control和Atari 100 k基准测试中的表现明显优于现有技术，而没有任何数据增强或辅助损失。
2022-07-03 cs.AI cs.CV cs.LG
Fully Convolutional Network with Multi-Step Reinforcement Learning for Image Processing
The University of Tokyo（东京大学）
本文解决了一个新的问题设置：强化学习与逐像素奖励（pixelRL）的图像处理。在引入深度Q网络之后，深度RL取得了巨大的成功。然而，深度强化学习在图像处理中的应用仍然有限。因此，我们将深度RL扩展到pixelRL，用于各种图像处理应用。在pixelRL中，每个像素都有一个agent，agent通过采取行动来改变像素值。我们还提出了一种有效的pixelRL学习方法，通过不仅考虑自己像素的未来状态，还考虑相邻像素的未来状态，显着提高了性能。所提出的方法可以应用于一些图像处理任务，需要逐像素的操作，深度RL从未被应用。我们将所提出的方法应用于三个图像处理任务：图像去噪，图像复原，和局部颜色增强。我们的实验结果表明，所提出的方法达到了相当或更好的性能，与国家的最先进的方法相比，基于监督学习。
2018-11-13 cs.AI cs.CV
Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning
NYU（纽约大学）；FAIR（Facebook人工智能研究院）
我们提出了DrQ-v2，一个无模型强化学习（RL）算法的视觉连续控制。DrQ-v2建立在DrQ的基础上，DrQ是一种非策略的行动者-批评者方法，使用数据增强直接从像素中学习。我们介绍了几项改进，这些改进在DeepMind Control Suite上产生了最先进的结果。值得注意的是，DrQ-v2能够直接从像素观察中解决复杂的人形运动任务，这是以前无模型RL无法实现的。DrQ-v2概念简单，易于实现，与以前的工作相比，它提供了更好的计算占用空间，大多数任务只需8小时即可在单个GPU上进行训练。最后，我们公开发布DrQ-v2的实现，为RL从业者提供强大且计算效率高的基线。
2021-07-20 cs.AI cs.LG
PixelRL: Fully Convolutional Network with Reinforcement Learning for Image Processing
Tokyo University of Science（东京理科大学）；The University of Tokyo（东京大学）
本文解决了一个新的问题设置：强化学习与逐像素奖励（pixelRL）的图像处理。在引入深度Q网络之后，深度RL取得了巨大的成功。然而，深度强化学习（RL）在图像处理中的应用仍然有限。因此，我们将深度RL扩展到pixelRL，用于各种图像处理应用。在pixelRL中，每个像素都有一个agent，agent通过采取行动来改变像素值。我们还提出了一种有效的pixelRL学习方法，通过不仅考虑自己像素的未来状态，还考虑相邻像素的未来状态，显着提高了性能。所提出的方法可以应用于一些图像处理任务，需要逐像素的操作，深度RL从未被应用。此外，可以可视化在每次迭代时对每个像素采用什么样的操作，这将有助于我们理解为什么以及如何选择这样的操作。我们还相信，我们的技术可以增强深层神经网络的可解释性和可解释性。此外，由于在每个像素处执行的操作是可视化的，因此我们可以在必要时更改或修改操作。我们将所提出的方法应用于各种图像处理任务：图像去噪，图像复原，局部颜色增强和显着性驱动的图像编辑。我们的实验结果表明，所提出的方法达到了相当或更好的性能，与国家的最先进的方法相比，基于监督学习。源代码可在https://github.com/rfuruta/pixelRL上获得。
2019-12-16 cs.CV cs.LG eess.IV
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.（索洛菲德有限公司）
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求，本文提出PXPO算法，将像素级反馈纳入扩散模型强化学习，以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
Image Augmentation Is All You Need: Regularizing Deep Reinforcement Learning from Pixels
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种简单的数据增强技术，可以应用于标准的无模型强化学习算法，使强大的学习直接从像素，而不需要辅助损失或预训练。该方法利用计算机视觉任务中常用的输入扰动来正则化价值函数。现有的无模型方法，如Soft Actor-Critic（SAC），无法从图像像素有效地训练深度网络。然而，我们的增强方法的加入大大提高了SAC的性能，使其在DeepMind控制套件上达到最先进的性能，超过了基于模型的方法（Dreamer，PlaNet和SLAC）和最近提出的对比学习（CURL）。我们的方法可以与任何无模型强化学习算法相结合，只需要很小的修改。可以在https://sites.google.com/view/data-regularized-q找到实现。
2021-03-07 cs.CV cs.LG eess.IV
Reinforcement Learning with Partial Parametric Model Knowledge
University of British Columbia（英属哥伦比亚大学）；Honeywell Process Solutions（霍尼韦尔过程解决方案公司）
本文提出部分知识最小二乘策略迭代（PLSPI）方法，结合无模型RL与基于模型的控制，利用部分模型信息并保留数据驱动适应能力，在连续控制中实现最优性能，数值实验验证了其有效性。
2023-04-26 cs.AI cs.LG cs.SY
Sample Factory: Egocentric 3D Control from Pixels at 100000 FPS with Asynchronous Reinforcement Learning
University of Southern California（南加州大学）；Intel Labs（英特尔实验室）
随着强化学习实验规模的扩大，研究人员在为视频游戏训练复杂的智能体和为机器人技术进行仿真到现实迁移方面都取得了前所未有的成果。通常，这样的实验依赖于大型分布式系统，需要昂贵的硬件设置，限制了对这一令人兴奋的研究领域的更广泛的访问。在这项工作中，我们的目标是通过优化强化学习算法的效率和资源利用率，而不是依赖于分布式计算来解决这个问题。我们提出了“样品工厂”，一个高通量的培训系统优化的单机设置。我们的架构结合了一个高效的，异步的，基于GPU的采样器与政策外校正技术，使我们能够实现吞吐量高于$10^5$环境帧/秒的非平凡的控制问题，在3D不牺牲样本效率。我们扩展了Sample Factory以支持自我游戏和基于人口的训练，并将这些技术应用于为多人第一人称射击游戏训练高能力的代理训练。源代码可在https://github.com/alex-petrenko/sample-factory上获得
2020-06-23 cs.AI cs.LG stat.ML
Tensor and Matrix Low-Rank Value-Function Approximation in Reinforcement Learning
King Juan Carlos University（胡安·卡洛斯国王大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出用随机低秩算法在线无模型地估计值函数矩阵，并引入张量表示与PARAFAC分解设计张量低秩算法，以缓解维度灾难，在标准RL环境中验证了性能。
2024-05-27 cs.AI cs.LG
DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs
Oregon State University（俄勒冈州立大学）
本文提出DAC-MDP，一种基于深度表示的非参数MDP方法，通过引入成本处理有限数据，实现可扩展且支持零样本调整的离线强化学习。
2025-02-04 cs.AI cs.LG stat.ML
Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；ServiceNow Research（ServiceNow研究院）；Ghent University - imec, Belgium（比利时根特大学-校际微电子中心）
本文针对无监督强化学习基准URLB提出基于模型的预训练方法，结合任务感知微调和混合规划器Dyna-MPC，在视觉控制任务中取得93.59%的总体归一化性能，大幅超越先前基线。
2023-05-25 cs.AI cs.LG
State-Wise Safe Reinforcement Learning With Pixel Observations
Northwestern University（西北大学）；The University Of Liverpool（利物浦大学）；The University Of Southampton（南安普顿大学）
针对高维像素观测下无先验知识的状态级安全约束强化学习问题，提出含潜在类屏障函数学习的联合框架，在safety-gym基准上实现更少违规、更快安全收敛且收益具竞争力。
2023-12-11 cs.AI cs.LG cs.SY
The Distracting Control Suite -- A Challenging Benchmark for Reinforcement Learning from Pixels
Robotics at Google（谷歌机器人部门）
机器人必须面对具有挑战性的感知环境，包括视点、照明和背景的变化。当前的模拟强化学习（RL）基准测试（如DM Control）提供了没有这种复杂性的视觉输入，这限制了将性能良好的方法转移到现实世界中。在本文中，我们扩展DM控制与三种视觉干扰（变化的背景，颜色和相机姿态），以产生一个新的具有挑战性的基准，基于视觉的控制，我们分析了国家的最先进的RL算法在这些设置。我们的实验表明，目前基于视觉控制的RL方法在分心情况下表现不佳，并且其性能随着分心复杂性的增加而下降，这表明需要新的方法来应对现实世界的视觉复杂性。我们还发现，多种分散注意力类型的组合比仅仅组合它们的单独效果更困难。
2021-01-07 cs.AI cs.CV cs.LG
Unlocking Pixels for Reinforcement Learning via Implicit Attention
Google（谷歌）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
最近有显着的兴趣在基于视觉的环境中训练强化学习（RL）代理。这带来了许多挑战，例如高维性和通过虚假相关进行观测过拟合的可能性。解决这两个问题的一个有前途的方法是注意力瓶颈，它提供了一个简单有效的框架，即使在分心的情况下，学习高性能的政策。然而，由于注意力架构的可扩展性较差，这些方法无法应用于低分辨率视觉输入之外，使用大补丁（因此小注意力矩阵）。在本文中，我们利用新的高效的注意力算法，最近被证明是非常有效的Transformers，并证明这些技术可以成功地采用RL设置。这使得我们的基于注意力的控制器能够扩展到更大的视觉输入，并促进使用更小的补丁，甚至是单个像素，从而提高泛化能力。我们展示了一系列的任务，从分心控制套件，以视觉为基础的四足机器人运动。我们提供了严格的理论分析所提出的算法。
2021-10-02 cs.AI cs.CV cs.LG
Evaluating Vision Transformer Methods for Deep Reinforcement Learning from Pixels
University of British Columbia（不列颠哥伦比亚大学）
视觉Transformer（ViT）最近展示了Transformer架构在计算机视觉中的巨大潜力。与标准卷积神经网络（CNN）架构相比，基于图像的深度强化学习在多大程度上也可以从ViT架构中受益？为了回答这个问题，我们评估了基于图像的强化学习（RL）控制任务的ViT训练方法，并将这些结果与领先的卷积网络架构方法RAD进行了比较。为了训练ViT编码器，我们考虑了几个最近提出的被视为辅助任务的自监督损失，以及没有额外损失项的基线。我们发现，使用RAD训练的CNN架构通常仍然提供优异的性能。对于ViT方法，我们考虑的所有三种类型的辅助任务都比普通的ViT训练有好处。此外，基于ViT重建的任务被发现显着优于ViT对比学习。
2022-05-15 cs.CV cs.LG cs.RO
Parametric Return Density Estimation for Reinforcement Learning
IBM Research - Tokyo（IBM 东京研究院）；Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）；Kyoto University（京都大学）
大多数传统的强化学习（RL）算法旨在根据预期收益优化决策规则。然而，特别是为了风险管理的目的，其他风险敏感的标准，如风险价值或预期的短缺，有时在实际应用中更可取。在这里，我们描述了一个参数的方法来估计密度的回报，这使我们能够处理各种标准在一个统一的方式。首先，我们扩展了贝尔曼方程的条件预期回报，以涵盖条件概率密度的回报。然后，我们推导出一个扩展的TD-学习算法估计返回密度在一个未知的环境。作为测试实例，给出了高斯分布、拉普拉斯分布和偏拉普拉斯分布的参数密度估计算法。我们表明，这些算法导致风险敏感，以及强大的RL范例，通过数值实验。
2012-03-15 cs.LG stat.ML
Parametric PDE Control with Deep Reinforcement Learning and Differentiable L0-Sparse Polynomial Policies
University of Twente（特文特大学）；Imperial College London（帝国理工学院）
针对参数化偏微分方程控制中深度强化学习策略参数过多、鲁棒性差、缺乏可解释性的问题，提出结合字典学习与可微L₀正则化的稀疏策略，在两类PDE任务上性能更优、可解释且能泛化到未知参数。
2024-10-09 cs.LG
RLAD: Reinforcement Learning from Pixels for Autonomous Driving in Urban Environments
University of Aveiro（阿威罗大学）；Intelligent System Associate Laboratory (LASI)（智能系统联合实验室（LASI））；Institute of Electronics and Informatics Engineering of Aveiro (IEETA)（阿威罗电子与信息工程研究所（IEETA））
针对城市自动驾驶中感知与策略解耦的强化学习方法存在环境表征与任务不匹配的问题，提出融合多项优化技术的像素级强化学习方法RLAD，在NoCrash基准上性能超越现有SOTA方法。
2023-05-29 cs.AI cs.CV cs.LG
Risk-sensitive Inverse Reinforcement Learning via Semi- and Non-Parametric Methods
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
关于逆强化学习（IRL）的文献通常假设人类采取行动以最小化成本函数的期望值，即，人类是风险中性的。然而，在实践中，人类往往远非风险中立。为了填补这一空白，本文的目的是设计一个框架，风险敏感的IRL，以明确占人类的风险敏感性。为此，我们提出了一个灵活的类模型的基础上连贯的风险措施，这使我们能够捕捉整个频谱的风险偏好，从风险中性的最坏情况。我们提出了有效的非参数算法的基础上，线性规划和半参数算法的基础上，最大似然推断一个人的基本风险度量和成本函数为丰富的静态和动态决策设置。由此产生的方法是证明了一个模拟驾驶游戏与十个人类参与者。我们的方法能够以数据高效的方式推断和模拟各种不同的驾驶风格，从高度风险厌恶到风险中性。此外，风险敏感（RS）的IRL方法与风险中性模型的比较表明，RS-IRL框架更准确地捕捉观察到的参与者行为的定性和定量，特别是在灾难性的结果，如碰撞可能发生的情况下。
2018-03-22 cs.AI cs.LG cs.RO
Pixel to policy: DQN Encoders for within & cross-game reinforcement learning
Halıcıoğlu Data Science Institute（哈利哲奥卢数据科学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
本研究比较了从零开始训练与迁移学习在强化学习中的性能，利用DQN迁移预训练编码器开发通用游戏智能体，在多环境中以极低训练量超越人类水平并取得显著奖励。
2023-08-01 cs.AI cs.LG cs.RO
Two-Memory Reinforcement Learning
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
本文提出双记忆强化学习智能体2M，通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力，提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
From Pixels to Temporal Correlations: Learning Informative Representations for Reinforcement Learning Pre-training
School of Computer Science & Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, Beijing Jiaotong University（北京交通大学交通数据挖掘与具身智能北京市重点实验室）；Beijing Jiaotong University（北京交通大学）
提出多尺度时间对比学习（MTCL）方法，通过建模时间相关性平衡像素空间中各元素的注意力，学习信息更丰富的表示，提升下游强化学习任务的样本效率和性能。
2026-07-02 cs.LG
MedReasoner: Reinforcement Learning Drives Reasoning Grounding from Clinical Thought to Pixel-Level Precision
MedReasoner 通过强化学习实现从临床推理到像素级精度的医学影像 grounding，提出统一医学推理 grounding 任务和 U-MRG-14K 数据集，展示其在医学影像分析中的优越性能。
2026-02-18 cs.AI cs.CV
Rethinking Human Intent-to-CAD: Parametric CAD Model Generation via Cooperative Multi-Task Alignment and Spatial-Aware Reinforcement Learning
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院）
本研究针对人类意图转化为参数化CAD模型的挑战，构建了首个对齐多模态数据的HiCAD数据集，提出含协同多任务对齐与空间感知强化学习的两阶段框架，实验显示其性能优于现有基线。
2026-10-14 cs.AI cs.CV
Pixel-Attentive Policy Gradient for Multi-Fingered Grasping in Cluttered Scenes
Columbia University（哥伦比亚大学）
基于策略的强化学习（RL）方法的最新进展使虚拟环境中的学习代理能够掌握具有高维和连续观察和动作空间的复杂任务。然而，利用这一系列的算法在多指机器人抓取仍然是一个挑战，由于大的模拟到真实的保真度差距和高样本复杂度的政策RL算法。这项工作的目的是弥合这些差距，首先学习多指机器人抓取策略的模拟，在像素空间的输入：一个单一的深度图像。该方法根据深度图从像素空间映射到笛卡尔空间，逼真地再现了真实世界，并引入了一种新的注意力机制，大大提高了在复杂环境下的抓取成功率。最后，该方法的直接生成性质允许学习具有灵活的末端执行器位置、取向和旋转以及手的所有自由度的多指抓握。
2019-09-21 cs.AI cs.LG cs.RO
Virtual Augmented Reality for Atari Reinforcement Learning
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文研究SAM图像分割模型能否提升Atari游戏RL智能体性能，发现其可作为虚拟增强现实，在特定条件下改善表现，为相关研究提供方向。
2023-10-12 cs.AI cs.LG
Depth-CUPRL: Depth-Imaged Contrastive Unsupervised Prioritized Representations in Reinforcement Learning for Mapless Navigation of Unmanned Aerial Vehicles
Universidade Federal do Rio Grande - FURG（里奥格兰德联邦大学（FURG））；Universidade Federal de Santa Maria - UFSM（圣玛丽亚联邦大学（UFSM））；Technological University of Uruguay（乌拉圭技术大学）
强化学习（RL）通过原始像素成像和连续控制任务在视频游戏中表现出令人印象深刻的性能。然而，RL在高维观测（如原始像素图像）方面表现不佳。人们普遍认为，基于物理状态的RL策略（如激光传感器测量）比像素学习更有效。本文提出了一种从深度图估计中提取信息的新方法，用于训练强化学习智能体实现无人机的无地图导航。我们提出了深度图像对比无监督优先表示强化学习（深度CUPRL），估计与优先重放记忆的图像的深度。我们使用RL和对比学习的组合来解决基于图像的RL问题。从与无人机（UAV）的结果的分析，可以得出结论，我们的深度CUPRL方法是有效的决策，并优于国家的最先进的基于像素的方法在无地图导航能力。
2022-07-01 cs.AI cs.RO
On the benefits of pixel-based hierarchical policies for task generalization
Apple（苹果公司）
本文通过基于像素的多任务机器人控制实验证明，使用任务条件训练的分层策略能提升训练任务性能、增强泛化能力并降低新任务微调复杂性，建议在构建可泛化的强化学习架构时予以考虑。
2024-07-27 cs.AI cs.LG cs.RO
Deep Reinforcement Learning via Object-Centric Attention
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Sorbonne Université（索邦大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, Darmstadt, Germany（达姆施塔特认知科学中心）
本文提出OCCAM方法，利用对象中心归纳偏置通过掩码选择性保留任务相关实体，在Atari基准上显著提升了深度强化学习智能体对新颖扰动的鲁棒性并降低样本复杂度，增强了泛化能力。
2025-04-03 cs.AI cs.LG
Data-Efficient Learning of Feedback Policies from Image Pixels using Deep Dynamical Models
Imperial College London（帝国理工学院）；Linköping University（林雪平大学）；Uppsala University（乌普萨拉大学）
在连续状态-动作空间中使用非常高维的观测数据高效的强化学习（RL）仍然是开发完全自治系统的关键挑战。我们考虑这个挑战的一个特别重要的例子，像素到扭矩问题，其中RL代理仅从像素信息学习闭环控制策略（“扭矩”）。我们引入了一种数据高效的、基于基于模型的强化学习算法，该算法直接从像素信息中学习这样的闭环策略。关键成分是一个深度动态模型，用于学习图像的低维特征嵌入，并在该低维特征空间中建立预测模型。联合学习对于长期预测是至关重要的，长期预测是我们用于闭环控制的自适应非线性模型预测控制策略的核心。与用于连续状态和动作的最先进的强化学习方法相比，我们的方法学习速度快，可扩展到高维状态空间，是轻量级的，是实现从像素到扭矩的完全自主端到端学习的重要一步。
2015-10-09 cs.AI cs.CV cs.LG
DreamingV2: Reinforcement Learning with Discrete World Models without Reconstruction
Panasonic Corporation（松下公司）；Ritsumeikan University（立命馆大学）
本文提出了一种新的强化学习方法与世界模型，DreamingV2，DreamerV2和Dreaming的合作扩展。DreamerV2是一种基于模型的像素强化学习，它使用离散的世界模型来表示具有分类变量的潜在状态。做梦也是像素的强化学习的一种形式，它试图通过涉及无重构的对比学习目标来避免一般世界模型训练中的自动编码过程。所提出的DreamingV2是一种新颖的方法，采用DreamingV2的离散表示和Dreaming的无重构目标。与DreamerV2和其他最近的基于模型的方法相比，DreamingV2在五个模拟的具有挑战性的3D机器人手臂任务上取得了最好的成绩。我们相信DreamingV2将是机器人学习的一个可靠的解决方案，因为它的离散表示适合描述不连续的环境，并且无重构的方式很好地管理复杂的视觉观察。
2022-03-01 cs.AI cs.LG cs.SY
From Pixels to Digital Agents: An Empirical Study on the Taxonomy and Technological Trends of Reinforcement Learning Environments
Sun Yat-sen University（中山大学）；Yancheng Institute of Technology（盐城工学院）；Central University Moscow（莫斯科中央大学）；ITMO University（ITMO大学）
本文通过大规模数据分析，研究强化学习环境从物理模拟到通用代理的演变，揭示领域分为语义优先和领域特定泛化两大生态，并提出设计下一代具身语义模拟器的路线图。
2026-04-13 cs.AI
Reinforcement Learning Improves Traversal of Parametric Knowledge in LLMs
Carnegie Mellon University（卡内基梅隆大学）；MIT（麻省理工学院）；Stanford University（斯坦福大学）
本文发现强化学习提升LLM知识回忆能力，原因在于改进了模型对参数化知识层次结构的遍历技能，而非获取新知识。
2026-09-09 cs.AI cs.CL
HypeMARL: Multi-Agent Reinforcement Learning For High-Dimensional, Parametric, and Distributed Systems
MOX – Department of Mathematics, Politecnico di Milano（数学系，米兰理工学院）；Department of Mechanical Engineering, Politecnico di Milano（机械工程系，米兰理工学院）；Department of Aeronautics, Imperial College London（航空系，伦敦帝国学院）
HypeMARL提出一种基于超网络与正弦位置编码的去中心化多智能体强化学习算法，用于高维参数化分布式PDE系统控制，并通过基于模型的扩展将环境交互成本降低约10倍。
2025-09-20 cs.LG
Sensor to Pixels: Decentralized Swarm Gathering via Image-Based Reinforcement Learning
Technion Israel Institute of Technology（技术学院以色列理工学院）
本研究提出了一种基于图像强化学习的去中心化蜂群聚集方法，通过结构化视觉输入提升多智能体系统的收敛效率。
2026-01-06 cs.LG cs.MA cs.SY
CoBERL: Contrastive BERT for Reinforcement Learning
DeepMind（深度思维）
许多强化学习（RL）代理需要大量的经验来解决任务。我们提出了对比BERT的RL（CoBERL），一个代理，结合了一个新的对比损失和混合LSTM变压器架构，以解决提高数据效率的挑战。CoBERL能够从各种领域的像素中进行高效、鲁棒的学习。我们使用双向掩码预测结合最近的对比方法的推广来学习RL中Transformers的更好表示，而不需要手工设计的数据增强。我们发现，CoBERL在整个Atari套件、一系列控制任务和具有挑战性的3D环境中不断提高性能。
2022-02-22 cs.AI cs.LG
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的，包括从原始图像像素学习控制策略。然而，估计状态和状态-动作价值函数的算法通常假设完全观测的状态，并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中，我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数，并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法：在Doom和Minecraft中学习第一人称3D导航，以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
ViZDoom Competitions: Playing Doom from Pixels
Poznan University of Technology（波兹南理工大学）；NNAISENSE SA（NNAISENSE公司）
本文介绍了2016年和2017年举行的前两届Visual Doom AI竞赛。挑战是在第一人称射击（FPS）游戏《毁灭战士》（Doom）中创建在多人死亡竞赛中竞争的机器人。机器人只能根据视觉信息做出决定，原始屏幕缓冲区。为了玩得好，机器人需要了解他们的周围环境，导航，探索，并同时处理对手。这些方面，再加上比赛的竞争性多智能体方面，使比赛成为评估最先进的强化学习算法的独特平台。本文讨论了规则，解决方案，结果和统计数据，让我们深入了解代理的行为。更详细地描述了性能最佳的药剂。比赛结果得出的结论是，尽管强化学习可以产生有能力的Doom机器人，但它们仍然无法在这场比赛中成功地与人类竞争。本文还回顾了ViZDoom环境，这是一个灵活，易于使用，高效的3D平台，用于基于视觉的强化学习研究，基于公认的第一人称视角游戏Doom。
2018-09-10 cs.AI cs.CV cs.LG
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Entity-Centric Reinforcement Learning for Object Manipulation from Pixels
Technion - Israel Institute of Technology（以色列理工学院）
本文提出以实体为中心的视觉强化学习方法，通过结构化表示多物体及其交互关系，使智能体仅用3个物体训练即可泛化到超过10个物体的目标条件操作任务。
2024-04-01 cs.CV cs.LG cs.RO
Sparsifying Parametric Models with L0 Regularization
University of Twente（特文特大学）；Imperial College London（伦敦帝国学院）
该研究介绍如何结合 L0 正则化与字典学习，为深度强化学习获得用于控制参数化偏微分方程的稀疏多项式策略，并提供代码与教程。
2024-09-05 cs.LG
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning
Google Brain（谷歌大脑）
基于模型的强化学习（MBRL）方法在各种任务中表现出强大的样本效率和性能，包括面对高维视觉观察时。这些方法学习预测环境动态和来自交互的预期奖励，并使用该预测模型来计划和执行任务。然而，MBRL方法在其基本设计选择上各不相同，并且在文献中关于这些设计决策如何影响性能没有强烈的共识。在本文中，我们研究了一些设计决策的预测模型在视觉MBRL算法，特别是专注于使用预测模型规划的方法。我们发现，一系列的设计决策，往往被认为是至关重要的，如使用潜在的空间，对任务性能的影响很小。这一发现的一个很大的例外是，预测未来的观测结果（即，图像）导致显著的任务性能改进相比，只有预测奖励。我们还根据经验发现，图像预测准确性，有点令人惊讶的是，与下游任务性能的相关性更强，而不是奖励预测准确性。我们展示了这种现象是如何与探索相关的，以及在相同的训练数据上训练时，标准基准测试（需要探索）上的一些得分较低的模型将如何与性能最好的模型表现相同。同时，在没有探索的情况下，更好地拟合数据的模型通常在下游任务上也表现得更好，但令人惊讶的是，这些模型在从头开始学习和探索时表现得最好。这些发现表明，性能和探索的地方重要的和潜在的矛盾的要求模型。
2020-12-08 cs.LG
Reinforcement Learning with Latent Flow
University of California Berkeley（加州大学伯克利分校）；Deepmind（深度思维）；University of Washington（华盛顿大学）
时间信息是强化学习学习有效策略的基础。然而，当前最先进的RL算法要么假设这样的信息作为状态空间的一部分给出，要么在从像素学习时，使用帧堆叠的简单启发式来隐式地捕获图像观察中存在的时间信息。这种启发式与视频分类架构中的当前范例形成对比，视频分类架构通过诸如光流和双流架构的方法利用时间信息的显式编码来实现最先进的性能。受领先的视频分类架构的启发，我们引入了强化学习（Flare）的潜在流，这是一种用于RL的网络架构，通过潜在向量差异显式编码时间信息。我们表明，Flare（i）在没有显式访问状态速度的情况下，仅使用位置状态信息，在基于状态的RL中恢复最佳性能，（ii）在DeepMind控制基准套件中基于像素的具有挑战性的连续控制任务上实现了最先进的性能，即四足步行，跳跃，手指转动，钟摆摆动和步行者跑步，并且是最采样有效的无模型基于像素的RL算法，在500k和1M步基准上分别比现有的无模型最先进的RL算法好1.9倍和1.5倍，以及（iv），当在rainbow DQN上增强时，在100 M时间步长基准下，在8个具有挑战性的Atari游戏中的5个上，性能超过了这一最先进的水平基线。
2021-01-06 cs.LG
Staged Hybridisation for Visual Quantum Reinforcement Learning via Knowledge Distillation
University of Deusto（德乌斯大学）；FSAS International Quantum Center（FSAS国际量子中心）；Fujitsu（富士通）
提出分阶段知识蒸馏策略，先训练经典视觉教师网络，冻结编码器后蒸馏策略到紧凑下游头（经典或VQC），解决视觉QRL中高维观测与VQC联合训练困难的问题。
2026-06-29 cs.LG quant-ph
Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning
IRT Saint-Exupéry（圣埃克苏佩里工业技术研究院）；ISAE-SUPAERO（法国高等航空航天学院）；IMT, INSA Toulouse（图卢兹国立应用科学学院数学与信息学研究所）；ANITI（图卢兹人工智能与自然智能研究所）；IMT, Université Paul Sabatier（保罗·萨巴蒂埃大学数学与信息学研究所）；Université de Toulouse（图卢兹大学）
深度强化学习策略尽管在模拟视觉控制任务中具有出色的效率，但在输入训练图像中对干扰进行概括的能力令人失望。图像统计数据或分散注意力的背景元素的变化是防止这种控制策略的通用性和现实世界适用性的陷阱。我们阐述的直觉，一个好的视觉政策应该能够识别哪些像素是重要的，它的决定，并保持这种识别跨图像的重要信息源。这意味着具有小泛化差距的策略的训练应该集中在这些重要的像素上，而忽略其他像素。这导致了显着性引导Q网络（SGQN）的引入，这是一种用于视觉强化学习的通用方法，与任何价值函数学习方法兼容。SGQN极大地提高了Soft Actor-Critic代理的泛化能力，并在Deepmind Control Generalization基准测试中优于现有的最先进方法，在训练效率、泛化差距和策略可解释性方面提供了新的参考。
2023-02-08 cs.AI cs.CV cs.LG
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而，一旦解决，这些环境变得不那么有价值，需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena，这是一个用于强化学习研究和实验的新平台，它具有一系列高质量的环境，暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务，由原始像素和额外的数值组成，所有这些都支持单人和双人模式，允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理，以获得类似人类的行为，证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性，提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University（清华大学）；Hongkong University（香港大学）；Standford University（斯坦福大学）
视觉强化学习（RL）的关键挑战之一是学习可以推广到不可见环境的策略。最近，旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而，由于RL训练的敏感性，天真地应用数据增强（其以任务不可知的方式变换每个像素）可能遭受不稳定性并损害样本效率，从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题，我们提出了任务感知的Lipschitz数据增强（TLDA）的视觉RL，明确识别任务相关的像素与大Lipschitz常数，只增加任务无关的像素。为了验证TLDA的有效性，我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验，结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
HypeRL: Hypernetwork-Based Reinforcement Learning for Control of Parametrized Dynamical Systems
MOX - Department of Mathematics Politecnico di Milano（米兰理工数学系MOX部门）；Department of Mechanical Engineering University of Washington（华盛顿大学机械工程系）；Centre for Mathematical Sciences Lund University（卢德大学数学科学中心）
HypeRL通过超网络强化学习方法，解决参数化动力系统控制问题，实现高效泛化和优化。
2026-02-10 cs.LG
CURL: Contrastive Unsupervised Representations for Reinforcement Learning
University of California, Berkeley, BAIR（加州大学伯克利分校伯克利人工智能研究所）
我们提出了CURL：用于强化学习的对比无监督表示。CURL使用对比学习从原始像素中提取高级特征，并在提取的特征之上执行离线控制。在DeepMind Control Suite和Atari Games的复杂任务中，CURL的性能优于先前基于像素的方法，无论是基于模型的还是无模型的，在100K环境和交互步骤基准测试中分别显示出1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一个基于图像的算法，几乎可以与使用基于状态的特征的方法的样本效率相匹配。我们的代码是开源的，可以在https://github.com/MishaLaskin/curl上找到。
2020-09-21 cs.CV cs.LG stat.ML
Mask-based Latent Reconstruction for Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
对于从像素进行深度强化学习（RL），学习有效的状态表示对于实现高性能至关重要。然而，在实践中，有限的经验和高维输入阻碍了有效的表示学习。为了解决这个问题，在其他研究领域的成功基于掩码的建模的动机，我们引入基于掩码的重建，以促进状态表示学习在RL。具体来说，我们提出了一个简单而有效的自我监督的方法，基于掩码的潜在重建（MLR），预测完整的状态表示在潜在的空间与空间和时间掩蔽像素的意见。MLR在学习状态表示时能够更好地使用上下文信息，使它们更具信息性，这有利于RL代理的训练。大量的实验表明，我们的MLR显着提高了RL的样本效率，并优于国家的最先进的样本效率RL方法在多个连续和离散控制基准。我们的代码可在https://github.com/microsoft/Mask-based-Latent-Reconstruction上获得。
2022-10-09 cs.LG
