Affordance-Guided Reinforcement Learning via Visual Prompting
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出 KAGI，利用 VLM 通过关键点生成的可供性推理构造稠密奖励，引导自主强化学习，在真实操作任务中提升样本效率并减少演示依赖。
2025-07-25 cs.AI cs.LG cs.RO
What can you do with a rock? Affordance extraction via word embeddings
Brigham Young University（杨百翰大学）
自主智能体必须经常检测示能性：由某种情况促成的一系列行为。示能检测在具有大动作空间的域中特别有用，允许代理通过避免无用的行为来修剪其搜索空间。本文提出了一种通过在维基百科语料库上训练的词嵌入来提取示能表示的方法。由此产生的词向量被视为一个共同的知识库，可以使用线性代数查询。我们将这种方法应用于纯文本环境中的强化学习代理，并表明基于负担能力的动作选择在大多数情况下都能提高性能。我们的方法增加了每个学习步骤的计算复杂性，但显着减少了所需的步骤总数。此外，智能体的动作选择开始类似于人类的选择。
2017-03-09 cs.AI cs.CL
The Paradox of Choice: Using Attention in Hierarchical Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；Polytechnic University of Bucharest（布加勒斯特理工大学）；Google Deepmind（谷歌DeepMind）
决策人工智能智能体通常面临两个重要的挑战：规划视野的深度，以及由于有许多选择而产生的分支因子。分层强化学习方法旨在通过提供跳过多个时间步长的快捷方式来解决第一个问题。为了应对广度，最好在每一步将代理人的注意力限制在合理数量的可能选择上。启示的概念（Gibson，1977）表明，只有某些行为在某些状态下是可行的。在这项工作中，我们通过一个注意力机制，限制了时间扩展选项的可用选择模型“启示”。我们提出了一个在线的，无模型的算法来学习启示，可用于进一步学习子目标选项。我们研究了硬与软注意力在训练数据收集、长期任务中的抽象值学习以及处理越来越多的选择中的作用。我们确定并实证说明了选择悖论出现的设置，即当有更少但更有意义的选择提高了强化学习代理的学习速度和性能。
2022-01-24 cs.AI cs.LG
GrASP: Gradient-Based Affordance Selection for Planning
University of Michigan（密歇根大学）；DeepMind（深度思维）
用学习模型进行规划可以说是智能的一个关键组成部分。在大规模强化学习（RL）问题中实现这样的组件存在若干挑战。一个这样的挑战是在使用树搜索规划时有效地处理连续动作空间（例如，即使仅在树的根结点考虑每个动作也是不可行的）。在本文中，我们提出了一种方法，用于选择启示有用的规划-学习的行动/选项，从一个连续的空间的行动/选项，以考虑在树扩展过程中，在规划的小数目。我们考虑的启示是目标和状态条件映射到动作/选项，以及无条件的启示，简单地选择在所有状态下可用的动作/选项。我们的选择方法是基于梯度的：我们通过规划过程计算梯度，以更新表示示能表示的函数的参数。我们的实证研究表明，学习选择连续行动和选项启示是可行的，同时学习选择启示和规划与学习价值等价模型可以优于无模型强化学习。
2022-02-08 cs.AI cs.LG
Cracking the Code of Action: a Generative Approach to Affordances for Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Google DeepMind（谷歌DeepMind）
提出CoGA方法，利用预训练视觉语言模型生成代码以约束行动空间，在MiniWob++基准上显著提升强化学习样本效率，并实现任务内泛化。
2025-04-24 cs.AI
Affordance as general value function: A computational model
强化学习（RL）文献中的一般价值函数（GVF）是对环境中特定策略的代理结果的长期预测总结。作为具有特定效价的感知行动可能性的启示可以被投射到预测的政策相对善良性中，并被建模为GVF。对这种联系的系统解释表明，GVF，特别是它们的深度学习实施例（1）将示能表示预测实现为直接感知的形式，（2）阐明示能表示中的动作和感知之间的基本联系，以及（3）提供使用RL方法来学习示能表示的可扩展方式。通过对GVF应用程序和机器人技术中代表性启示研究的现有文献的广泛回顾，我们证明了GVF为在现实世界中的应用程序中学习启示提供了正确的框架。此外，我们强调了一些新的研究途径开辟的角度“启示GVF”，包括使用GVF编排复杂的行为。
2021-05-08 cs.AI
Discoverable Agent Knowledge -- A Formal Framework for Agentic KG Affordances (Extended Version)
School of Computer Science and Informatics, University of Liverpool, UK（利物浦大学计算机科学与信息学学院）；Open University（开放大学）
本文提出一个四维形式化框架（语义表达性、智能体可发现性、任务相对基础性和认知信任范围），并从中推导出智能体能力概况（AAP），作为VoID和DCAT之上的语义层，支持智能体在规划时进行原则性的知识图谱选择、组合和故障诊断。
2026-09-09 cs.AI
Hierarchical Affordance Discovery using Intrinsic Motivation
IMT Atlantique（大西洋高等矿业电信学校）；ENIB（布雷斯特国立工程师学院）
为了能够在现实环境中终身学习，机器人必须应对多种挑战。能够将他们在环境中观察到的物理特性与他们可能具有的可能相互作用联系起来就是其中之一。这种技能被称为示能性学习，与具体化密切相关，并通过每个人的发展而掌握：每个人通过与周围环境的互动来学习不同的示能性。当前的示能表示学习方法通常使用固定的动作来学习这些示能表示，或者专注于涉及要操作的机器人手臂的静态设置。在这篇文章中，我们提出了一个算法，使用内在动机来指导学习的启示移动机器人。该算法能够自主发现，学习和适应相互关联的启示，而无需预先编程的动作。一旦被学习，这些示能表示可以被算法用来计划动作序列，以便执行各种困难的任务。然后，我们提出了一个实验，并分析我们的系统，然后将其与强化学习和启示学习的其他方法进行比较。
2020-09-23 cs.AI
Deep Reinforcement Learning for Robotic Pushing and Picking in Cluttered Environment
Tsinghua University（清华大学）；Shenzhen Academy of Robotics（深圳机器人研究院）
本文提出了一种新的机器人抓取系统，用于在复杂场景中自动拾取物体。设计了一种由吸盘和夹持器组成的复合机械手，用于稳定抓取物体。吸盘用于首先将物体从杂物中提起，并且抓持器用于相应地抓持物体。我们利用示能图为吸盘提供像素级提升点候选。为了获得良好的示能图，系统引入了主动探索机制。设计了一个有效的度量来计算当前示能图的奖励，并采用深度Q网络（DQN）来引导机器人手主动探索环境，直到生成的示能图适合抓取。实验结果表明，所提出的机器人抓取系统是能够大大提高机器人抓取的成功率在混乱的场景。
2023-02-21 cs.CV cs.LG cs.RO
MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning
Dongguan Key Laboratory of Intelligent Equipment and Smart Industry, School of Advanced Engineering, Great Bay University（东莞智能装备与智能制造重点实验室，先进工程学院，大湾大学）；Chair of Applied Statistics, Technische Universität Dresden（应用统计学教授职位，德累斯顿技术大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据解析与人工智能中心（ScaDS.AI））；College of Automation, Guangdong University of Technology（自动化学院，广东技术大学）
本文提出MTA-RL框架，通过多模态Transformer-based 3D affordances和强化学习实现可靠的城市自动驾驶，提升样本效率和稳定性，优于现有基线方法。
2026-05-11 cs.AI cs.CV cs.RO
Affordance Learning from Play for Sample-Efficient Policy Learning
University of Freiburg（弗莱堡大学）
在以人为中心的环境中运行的机器人应该有能力理解物体的功能：每个物体可以做什么，这种交互可能发生在哪里，以及如何使用物体来实现目标。为此，我们提出了一种新的方法，从人类遥控游戏数据中提取一个自我监督的视觉启示模型，并利用它来实现有效的策略学习和运动规划。我们将基于模型的规划与无模型的深度强化学习（RL）相结合，以学习有利于人们喜欢的相同对象区域的策略，同时需要最少的机器人与环境的交互。我们评估我们的算法，视觉负担指导的政策优化（VAPO），与不同的模拟操作任务和现实世界的机器人整理实验，以证明我们的负担指导政策的有效性。我们发现，我们的政策训练比基线快4倍，更好地推广到新的对象，因为我们的视觉启示模型可以预测他们的启示区域。
2022-03-01 cs.AI cs.CV cs.LG
Affordances from Human Videos as a Versatile Representation for Robotics
CMU（卡内基梅隆大学）；Meta AI
本文提出VRB方法，通过从互联网人类视频中学习视觉可供性模型，估计场景中人类可能的交互位置和方式，并将其无缝集成到离线模仿学习、探索、目标条件学习和强化学习动作参数化四种范式中，在多个真实环境和任务上验证了机器人执行复杂任务的有效性。
2023-04-17 cs.AI cs.CV cs.LG
Planning with affordances: Integrating learned affordance models and symbolic planning
Oregon State University（俄勒冈州立大学）
本文提出将学习到的物体可供性模型与符号规划相结合，使智能体在AI2-Thor等环境中无需重新定义动作集合即可规划并执行多步骤操作任务。
2025-02-04 cs.AI cs.RO
HALMA: Humanlike Abstraction Learning Meets Affordance in Rapid Problem Solving
UCLA（加利福尼亚大学洛杉矶分校）；UCLA Center for Vision, Cognition, Learning and Autonomy（加州大学洛杉矶分校视觉、认知、学习与自主中心）
人类学习组成和因果抽象，\ie，知识，响应自然主义任务的结构。当一个问题解决任务涉及一些对象时，幼儿会首先与这些对象互动，以判断它们是什么以及可以用它们做什么。利用这些概念，他们可以理解这个任务的内部结构，而不必看到所有的问题实例。值得注意的是，他们进一步建立认知上可执行的策略，以解决\emph{rapidly}新问题。为了使学习代理具有类似的能力，我们认为应该有三个层次的泛化代理如何表示其知识：感知，概念和算法。在本文中，我们设计了第一个系统的基准，提供涵盖所有三个级别的联合评估。该基准测试围绕一个新的任务域HALMA，用于视觉概念开发和快速解决问题。独特的是，HALMA有一个最小但完整的概念空间，在此基础上，我们引入了一种新的范式，严格诊断和解剖学习代理的能力，在理解和概括复杂和结构的概念。我们对具有各种归纳偏差的强化学习代理进行了广泛的实验，并仔细报告了他们的熟练程度和弱点。
2021-02-22 cs.LG
Generalization with Lossy Affordances: Leveraging Broad Offline Data for Learning Visuomotor Tasks
University of California, Berkeley（加州大学伯克利分校）
本文提出利用广泛离线数据学习有损表示，并通过可供性模型规划子目标以分解新任务，结合在线微调实现视觉运动任务的跨任务泛化。
2023-04-18 cs.AI cs.LG cs.RO
Contextual Affordances for Safe Exploration in Robotic Scenarios
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Faculty of Engineering, Monash University（莫纳什大学工程学院）
本文提出一种简单状态表示，将情境可供性扩展至更大状态空间，以支持家庭机器人场景中的安全探索与强化学习，并在仿真中验证其对成功率和收敛率的提升。
2024-05-10 cs.AI cs.RO
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；City University of Hong Kong（香港城市大学）；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
强化学习（RL）的一个实际挑战是如何在面对新环境时快速适应。在本文中，我们提出了一个原则性的框架，自适应RL，称为\textit{AdaRL}，可靠和有效地适应跨域的变化与目标域的几个样本，即使在部分可观察的环境。具体来说，我们利用一个简约的图形表示，其特征在于在RL系统中的变量的结构关系。这种图形表示提供了一种紧凑的方式来编码跨域的变化是什么和在哪里，并进一步告知我们为了策略适应的目的而必须考虑的最小变化集。我们表明，通过明确利用这种紧凑的表示来编码变化，我们可以有效地适应目标域的政策，其中只需要几个样本，并避免进一步的政策优化。我们通过一系列实验说明了AdaRL的功效，这些实验改变了Cartpole和Atari游戏的观察，过渡和奖励功能。
2022-03-14 cs.AI cs.LG stat.ML
Understanding What Affects the Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；IEG, Tencent（腾讯IEG）；School of Computer Science, Peking University（北京大学计算机学院）
本文从理论与实证两方面揭示了视觉强化学习中测试环境存在干扰物时影响泛化差距的关键因素，证明最小化训练与测试环境间的表征距离是缩小泛化差距的最核心手段，并在 DMC-GB 基准上验证了该结论。
2024-10-16 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Explicit Context Representation
Cardiff University（卡迪夫大学）；Singapore Management University（新加坡管理大学）
本文提出IECR框架，通过上下文关键帧显式表示状态并利用可供性损失函数，开发四种基于上下文的深度强化学习算法，在五个离散环境中约4万步内收敛，显著优于现有方法。
2023-10-15 cs.LG
Relate to Predict: Towards Task-Independent Knowledge Representations for Reinforcement Learning
Ilmenau University of Technology（伊尔梅瑙工业大学）；Honda Research Institute EU（本田欧洲研究院）
强化学习（RL）可以使智能体学习复杂的任务。然而，很难解释知识并在任务之间重用它。归纳偏差可以通过显式地提供通用但有用的分解来解决这些问题，否则隐式学习很困难或昂贵。例如，以对象为中心的方法将高维观测分解为各个对象。在此基础上，我们利用一个归纳偏见明确的以对象为中心的知识分离，提供进一步的语义表示和动态知识的分解。为此，我们引入了一个语义模块，预测对象的语义状态的基础上，其上下文。然后，所得到的类似可供件的对象状态可以用于丰富感知对象表示。最小的设置和环境，使益智类任务，我们证明了这种方法的可行性和好处。具体来说，我们比较了三种不同的方法集成到基于模型的RL架构的语义表示。我们的实验表明，知识分离的显式程度与更快的学习，更好的准确性，更好的泛化能力和更好的可解释性相关。
2022-12-10 cs.AI cs.CV cs.LG
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Google research（谷歌研究）；Deepmind（深度思维）；The Technion - Israel Institute of Technology（以色列理工学院）
当每个状态下有许多可用动作时，学习如何行动对于强化学习（RL）代理来说是一项具有挑战性的任务，特别是当许多动作是冗余或不相关的时候。在这种情况下，有时更容易了解哪些行动不采取。在这项工作中，我们提出了一种消除干扰的深度Q网络（AE-DQN）架构，该架构将深度RL算法与消除次优动作的动作消除网络（AEN）相结合。AEN被训练来预测无效的动作，由环境提供的外部消除信号监督。仿真结果表明，在基于文本的游戏超过一千个离散的动作香草DQN相当大的加速和增加的鲁棒性。
2019-02-24 cs.LG stat.ML
Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions
针对在线强化学习样本效率低的问题，本文提出利用少量专家演示和可任意重置的模拟器，通过选择合适的辅助起始状态分布（以情节长度信息实现）加速学习，在稀疏奖励硬探索环境中实现了最先进的样本效率。
2025-07-07 cs.AI cs.LG cs.RO
What Objects Enable, Not What They Are: Functional Latent Spaces for Affordance Reasoning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Neurosymbolic Intelligence（神经符号智能）；University of Colorado Boulder（科罗拉多大学博尔德分校）
提出A4D框架，通过构建基于功能可供性的共享潜在空间，将视觉观察映射到该空间并测量与可供性的距离，实现基于物体功能而非外观的规划推理，显著提升泛化能力和推理效率。
2026-06-04 cs.AI cs.CV cs.LG
What Matters In On-Policy Reinforcement Learning? A Large-Scale Empirical Study
Google Research（谷歌研究院）
近年来，基于策略的强化学习（RL）已成功应用于许多不同的连续控制任务。虽然RL算法通常在概念上很简单，但其最先进的实现需要大量的低级和高级设计决策，这些决策会强烈影响最终代理的性能。这些选择通常不会在文献中广泛讨论，导致算法的公开描述与其实现之间存在差异。这使得很难归因于RL的进展，并减缓了整体进展[Engstrom'20]。作为填补这一空白的一步，我们在一个统一的政策RL框架中实施了超过50个这样的“选择”，使我们能够在大规模的实证研究中调查它们的影响。我们在五个不同复杂度的连续控制环境中训练了超过250'000名代理，并为RL代理的政策培训提供见解和实用建议。
2020-06-10 cs.LG stat.ML
What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes
University of Surrey（萨里大学）；Amazon Web Services（亚马逊云科技）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一种新的形式的解释强化学习，基于预期结果的概念。这些解释描述了一个智能体试图通过其行为实现的结果。我们提供了一个简单的证明，这种性质的事后解释的一般方法是不可能在传统的强化学习。相反，解释所需的信息必须与培训代理人一起收集。我们得到的方法，旨在提取本地的解释的基础上的几个变种的Q函数近似的意图和证明的解释和Q值之间的一致性。我们在多个强化学习问题上展示了我们的方法，并提供代码来帮助研究人员反思他们的强化学习环境和算法。
2020-11-10 cs.AI cs.CY cs.LG
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
本文提出SCRL框架，通过选择性正伪标签和熵门控负伪标签减少标签噪声影响，提升测试时强化学习的鲁棒性和泛化能力。
2026-04-19 cs.AI cs.LG
Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond
University of Cambridge（剑桥大学）
本文从强化学习视角阐明RLHF的原理，指出其本质为在线逆强化学习，并探讨了RLHF优于SFT的原因、奖励模型作为反馈代理的泛化性及PPO的稳定性优势。
2023-10-09 cs.AI cs.LG
PCGRL+: Scaling, Control and Generalization in Reinforcement Learning Level Generators
New York University（纽约大学）
本文将PCGRL环境迁移至Jax实现GPU并行仿真以解决训练规模瓶颈，通过引入随机关卡尺寸和冻结关键图块提升设计师控制力，并验证了部分观察在分布外地图上具有更强的泛化能力。
2024-08-22 cs.AI cs.LG
What is Going on Inside Recurrent Meta Reinforcement Learning Agents?
Mila - McGill University（Mila - 麦吉尔大学）；DeepMind
循环Meta强化学习（meta-RL）代理是为了“学习学习算法“的目的而采用循环神经网络（RNN）的代理。在预先指定的任务分布上进行训练后，代理的RNN的学习权重可以通过其活动动态实现有效的学习算法，这允许代理快速解决从相同分布中采样的新任务。然而，由于这些代理人的黑箱性质，他们的工作方式尚未完全理解。在这项研究中，我们揭示了这些代理的内部工作机制，通过重新制定的元RL问题使用部分可观察马尔可夫决策过程（POMDP）框架。我们假设，学习的活动动力学是作为这样的代理的信念状态。几个说明性的实验表明，这一假设是正确的，经常性的元RL代理可以被视为代理，学习在部分可观察的环境中，由多个相关的任务，以最佳方式行事。这种观点有助于理解他们的失败案例和一些有趣的基于模型的结果在文献中报道。
2021-04-29 cs.AI cs.LG
Reinforcement Learning, Bit by Bit
DeepMind（深度思维公司）
本文探讨强化学习在真实环境中数据效率低下的问题，通过概念与遗憾分析提供信息获取与保留的原则性指导，并设计简单智能体验证其数据效率。
2023-05-04 cs.AI cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
本文提出干预边界发现方法，通过随机化动作生成干预对比，利用FDR校正的两样本检验确定观测维度，有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
Whatever Does Not Kill Deep Reinforcement Learning, Makes It Stronger
Kansas State University（堪萨斯州立大学）
最近的发展已经确定了深度强化学习（RL）通过对抗性扰动对策略操纵攻击的脆弱性。在本文中，我们研究了深度RL对训练时和测试时攻击的鲁棒性和弹性。通过实验结果，我们证明了在非连续训练时间攻击下，深度Q网络（DQN）代理可以通过反应性地调整策略来恢复和适应对抗条件。我们的研究结果还表明，在对抗性扰动下学习的策略对测试时攻击更鲁棒。此外，我们比较了$ε$贪婪和参数空间噪声探测方法在对抗性扰动的鲁棒性和弹性方面的性能。
2017-12-23 cs.AI
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃森商学院，宾夕法尼亚大学）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
本文揭示二元奖励下大语言模型强化学习算法的共同目标，即对正确概率的单调变换做随机梯度上升，并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择，发现某些默认设置可能有害，而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
Keep Doing What Worked: Behavioral Modelling Priors for Offline Reinforcement Learning
DeepMind（深度思维）
非策略强化学习算法有望适用于只有固定的环境交互数据集（批量）可用且无法获得新经验的环境。这一特性使得这些算法对机器人控制等现实问题具有吸引力。然而，在实践中，标准的非策略算法在用于连续控制的批量设置中失败。在本文中，我们提出了一个简单的解决这个问题。它允许使用由任意行为策略生成的数据，并使用学习的先验知识-加权行为模型（ABM）-将RL策略偏向于以前执行过的并且可能在新任务上成功的操作。我们的方法可以被看作是最近关于批量RL的工作的扩展，它可以从冲突的数据源中进行稳定的学习。我们在各种RL任务中发现了竞争基线的改进-包括标准连续控制基准和模拟和真实世界机器人的多任务学习。
2020-06-17 cs.LG cs.RO stat.ML
What can online reinforcement learning with function approximation benefit from general coverage conditions?
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文系统研究在线强化学习中一般覆盖条件的作用，提出多种新覆盖概念并证明其能带来改进的遗憾界，甚至在线性MDP下实现对数阶遗憾，为覆盖条件在高效在线RL中的应用提供了理论依据。
2023-05-31 cs.LG stat.ML
Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Syracuse University（雪城大学）
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题，提出CauCRL算法，通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning
Google Research（谷歌研究院）；Berkeley AI Research（伯克利人工智能研究院）；UC Berkeley（加州大学伯克利分校）
强化学习可以训练有效执行复杂任务的策略。然而，对于长时间任务，这些方法的性能随着时间的推移而下降，通常需要推理和链接较低级别的技能。分层强化学习旨在通过提供一个作为动作抽象的低级技能库来实现这一点。层次结构还可以通过抽象空间状态来进一步改进这一点。我们认为，一个合适的状态抽象应该取决于可用的较低级别的政策的能力。我们提出了值函数空间：一个简单的方法，通过使用对应于每个较低级别的技能的价值函数产生这样的表示。这些价值函数捕捉场景的启示，从而形成一个表示，压缩抽象任务相关的信息和鲁棒地忽略干扰。迷宫解决和机器人操作任务的实证评估表明，我们的方法提高了长期的性能，并使更好的zero-shot泛化比替代模型的无模型和基于模型的方法。
2022-03-29 cs.AI cs.LG cs.RO
Open-World Reinforcement Learning over Long Short-Term Imagination
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能大模型关键实验室、人工智能研究院、上海交通大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究院、技术东院）；School of Computer Science and Technology, East China Normal University（计算机科学与技术学院、华东师范大学）
本文提出LS-Imagine方法，通过扩展想象 horizon 提高开放世界强化学习中长期收益的探索效率。
2026-03-07 cs.LG
Relative Variational Intrinsic Control
DeepMind（深度思维公司）
在没有外部奖励的情况下，智能体仍然可以通过识别和掌握环境中的一系列不同技能来学习有用的行为。现有的技能学习方法使用互信息目标来激励每种技能是多样的并且与其余技能区分开。然而，如果不注意限制技能多样化的方式，可能会出现琐碎的技能组合。为了确保有用的技能多样性，我们提出了一种新的技能学习目标，相对变分内在控制（RVIC），它激励学习技能，是在他们如何改变代理的关系，其环境中区分。由此产生的一组技能平铺了智能体可用的示能表示空间。我们定性地分析了多种环境下的技能行为，并展示了RVIC技能在分层强化学习中使用时比现有方法发现的技能更有用。
2020-12-14 cs.AI cs.LG
What Matters in Reinforcement Learning for Tractography
Université de Sherbrooke（舍布鲁克大学）；École de technologie supérieure（高等技术学院）
本文系统探究了深度强化学习纤维束追踪框架中各组件（如RL算法、播种策略、输入信号和奖励函数）的影响，基于约7,400个模型的训练实验，总结了一系列实践建议，并开源了代码库、模型与数据集。
2023-05-17 cs.CV cs.LG
Scrutinize What We Ignore: Reining In Task Representation Shift Of Context-Based Offline Meta Reinforcement Learning
Tongji University（同济大学）；Tsinghua University（清华大学）；Zhejiang Lab（之江实验室）；The Chinese University of HongKong（香港中文大学）
本文指出了离线元强化学习中交替优化框架忽略任务表示变化的问题，将其定义为任务表示偏移，并从理论上证明通过适当的上下文编码器更新可保证单调性能提升。
2025-02-03 cs.AI cs.LG
GDI: Rethinking What Makes Reinforcement Learning Different From Supervised Learning
Tsinghua University（清华大学）；ByteDance（字节跳动）
深度Q网络（DQN）通过将深度学习（DL）与强化学习（RL）相结合，首次开启了深度强化学习（DRL）的大门，它注意到在训练过程中获取的数据的分布会发生变化。DQN发现这个属性可能会导致训练的不稳定性，因此它提出了有效的方法来处理这个属性的缺点。而不是专注于不利的方面，我们发现关键的RL，以减轻估计的数据分布和地面真实数据分布之间的差距，而监督学习（SL）未能做到这一点。从这个新的角度来看，我们扩展了RL的基本范式称为广义策略迭代（GPI）到一个更广义的版本，这是所谓的广义数据分布迭代（GDI）。我们看到大量的RL算法和技术可以统一到GDI范式中，这可以被认为是GDI的特殊情况之一。我们从理论上证明了为什么GDI比GPI更好，以及它是如何工作的。在Arcade学习环境（ALE）上的实验结果表明，本文提出的基于GDI的学习算法具有良好的SOTA性能，平均人类标准化得分（HNS）达到了9620.98%。1146.39%的中位数HNS和22个人类世界纪录的突破（HWRB）使用只有200米的训练帧。我们的工作旨在引导强化学习研究步入征服人类世界纪录的征程，寻求真正的性能和效率的超人代理。
2022-01-09 cs.AI cs.LG cs.NE
Learning at the Ends: From Hand to Tool Affordances in Humanoid Robots
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；Champalimaud Centre for the Unknown（尚帕利莫未知中心）；Queen Mary University of London（伦敦玛丽女王大学）
设计在不可预测的人类环境中成功操作的机器人的公开挑战之一是如何使它们能够预测它们可以对物体执行什么动作，以及它们的效果是什么，即，感知物体启示的能力。由于对所有可能的世界交互进行建模是不可行的，因此需要从经验中学习，这带来了收集大量经验的挑战（即，训练数据）。通常，操纵机器人通过使用自己的手（或类似的末端执行器）对外部物体进行操作，但在某些情况下，使用工具可能是可取的，尽管如此，可以合理地假设，虽然机器人可以使用自己的手收集许多感觉运动经验，但这不可能发生在所有可能的人造工具上。因此，在本文中，我们调查的发展过渡，从手到工具的启示：什么感觉运动技能，一个机器人已经获得了赤手空拳可以用于工具使用？通过采用视觉和运动想象机制，以代表不同的手姿势companimously，我们提出了一个概率模型来学习手的启示，我们展示了这个模型可以推广到估计以前看不见的工具的启示，最终支持规划，决策和工具选择任务中的人形机器人。我们目前的实验结果与iCub人形机器人，我们公开发布收集的sensorimotor数据的形式的手姿势启示数据集。
2018-04-09 cs.AI cs.CV cs.LG
Deciding What to Model: Value-Equivalent Sampling for Reinforcement Learning
Stanford University（斯坦福大学）
典型的基于模型的自主学习代理迭代地改进其关于环境的真实底层模型的估计或先验信念。然而，最近在基于模型的强化学习与函数逼近方面的经验成功，避开了真正的模型，而倾向于替代模型，尽管忽略了环境的各个方面，但仍然有助于有效地规划行为。这种算法技术最近被形式化为价值等价原则，这可能是不可避免的，因为现实世界的强化学习需要考虑一个简单的、计算有限的代理与极其复杂的环境进行交互，其潜在的动态可能超过代理的表示能力。在这项工作中，我们考虑的情况下，代理的限制可能完全排除识别一个完全值等价的模型，立即产生一个权衡之间的识别模型是足够简单的学习，而只会引起有界次优。为了解决这个问题，我们引入了一种算法，使用率失真理论，迭代计算近似值等效，有损压缩的环境代理可能可行的目标，而不是真正的模型。我们证明了一个信息理论，贝叶斯后悔我们的算法，适用于任何有限的地平线，情节顺序决策问题。至关重要的是，我们的遗憾界限可以表示为两种可能的形式之一，提供了一个性能保证，找到最简单的模型，实现所需的次优差距，或者，最好的模型给定的代理能力的限制。
2022-10-30 cs.IT cs.LG math.IT
Improving interactive reinforcement learning: What makes a good teacher?
University of Hamburg（汉堡大学）；Universidad Central de Chile（智利中央大学）；Osaka University（大阪大学）；National Institute of Information and Communications Technology（信息通信研究机构）
交互式强化学习已成为加速经典强化学习问题收敛的重要学徒方法。在这方面，交互式强化学习的变体是策略成形，其使用类似于父母的训练器来建议要执行的下一个动作，并且通过这样做来通过建议减少搜索空间。在某些情况下，训练者可能是另一个人工智能体，而人工智能体又使用强化学习方法进行训练，然后成为其他学习者智能体的顾问。在这项工作中，我们分析了人工代理的内部表示和特性，以确定哪一个代理可能优于其他代理，成为一个更好的教练代理。与专家代理相比，使用polymath代理，顾问导致奖励信号的更大奖励和更快收敛，并且在学习者代理的状态访问频率方面也导致更稳定的行为。此外，我们分析系统的相互作用参数，以确定他们是如何影响学徒过程中，反馈的一致性是更相关的处理不同的学习者服从参数时。
2019-04-15 cs.AI cs.RO
Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose?
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们致力于基于微观数据模型的强化学习（MBRL），通过使用固定（随机射击）控制代理严格比较流行的生成模型。我们发现，在需要多模态后验预测的环境中，混合密度网络的性能远远优于所有其他模型。当不需要多模态时，我们令人惊讶的发现是，我们不需要概率后验预测：确定性模型是平等的，事实上，它们始终（尽管不显着）优于概率模型。我们还发现，训练时的异方差性，也许作为一个正则化，提高了预测在更长的视野。在方法方面，我们设计的指标和实验协议，可用于评估各种模型，预测其渐近性能时，使用它们的控制问题。使用这个框架，我们使用通常考虑的超参数区间之外的积极训练时间表，将Acrobot上MBRL的最先进样本复杂度提高了2到4倍
2021-07-24 cs.LG
Pay Attention to What and Where? Interpretable Feature Extractor in Vision-based Deep Reinforcement Learning
School of Computer Science The University of Manchester Manchester, UK
针对可解释深度强化学习中注意力掩码与视觉对象位移的问题，提出集成人类可理解编码和智能体友好编码模块的IFE架构，生成准确注意力掩码，集成到相关框架后在57个ATARI游戏上验证了空间保留等性能，还展示了通用性。
2025-04-14 cs.AI
Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't
本研究通过强化学习提升小型LLM的推理能力，展示了在有限资源下实现显著性能提升的可行性。
2026-01-20 cs.CL cs.LG
What Makes Value Learning Efficient in Residual Reinforcement Learning?
Nanyang Technical University（南洋理工大学）；Mila - Quebec AI Institute（魁北克AI研究所）；National University of Singapore（新加坡国立大学）
DAWN通过数据锚定预热和归一化解决残差强化学习中价值学习的冷启动和尺度不匹配问题，提升效率。
2026-02-11 cs.LG
