PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
离线强化学习的目标是从固定的数据集中学习策略,而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说,这种设置将成为一个越来越重要的范例,其中数据汇集速度缓慢,并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间(PLAS)中学习策略,以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能,优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory(Dwango人工智能实验室);NTT Secure Platform Laboratories(NTT安全平台实验室)
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作,一系列的原始动作,已被研究,以减少关于时间轴的动作空间的维数。然而,以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习(FaMARL),它自主学习一系列动作的分解因子表示,以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Reinforcement Learning
UC Berkeley(伯克利大学)
针对强化学习数据效率问题,提出CQN-AS算法,通过在评论家网络中显式学习动作序列的Q值,在稀疏奖励任务中性能优于基线算法,提升数据利用效率。
2025-11-16 cs.AI cs.LG cs.RO
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近,最初提出的行动独立的基线(萨顿等。2000)。
2017-06-20 cs.AI cs.LG
Annotating Motion Primitives for Simplifying Action Search in Reinforcement Learning
Naval Surface Warfare Center(海军水面战中心);Naval Sea Systems Command(海军系统司令部);University of Florida(佛罗里达大学)
大规模环境中的强化学习具有挑战性,因为在特定情况下可以采取许多可能的行动。我们以前已经开发了一种约束的手段,从而加快,通过使用运动原语的搜索过程;运动原语是一系列预先指定的动作采取跨状态系列。作为这项工作的副产品,我们发现,如果运动原语的运动和动作被标记,那么搜索可以进一步加快。由于运动原语最初可能缺乏这样的细节,我们提出了一个理论上的视点不敏感和速度不敏感的方式自动注释的基本运动和动作。我们这样做是通过一个微分几何,时空运动学描述符,它分析了如何在两个运动序列中的实体的姿势随着时间的推移而变化。我们使用这个描述符结合加权最近邻分类器使用一组有限的训练样本来标记原语。在我们的实验中,我们实现了高的运动和动作注释率的人类动作衍生的基元少到一个训练样本。我们还证明,使用准确标记的轨迹的强化学习比标准的强化学习技术更快地产生高性能的策略。这部分是因为运动基元对先前的领域知识进行编码,并在训练期间抢占重新发现该知识的需要。这也是因为智能体可以利用标签来系统地忽略不促进任务目标的动作类,从而减少动作空间。
2021-11-26 cs.AI cs.LG cs.RO
Continual Reinforcement Learning with Diversity Exploration and Adversarial Self-Correction
Monash University(莫纳什大学);South China University of Technology(华南理工大学)
深度强化学习在物理控制、自动驾驶等连续控制领域取得了重大进展。然而,由于灾难性遗忘,对于强化模型来说,顺序地为每个任务学习策略是具有挑战性的。具体来说,模型在接受新任务训练时会忘记过去学到的知识。我们从两个角度考虑这一挑战:i)由于任务信息和奖励不高度相关,因此获取特定任务的技能是困难的; ii)在连续控制域中,从以前的经验中学习知识是困难的。在本文中,我们介绍了一个端到端的框架,即连续多样性对抗网络(CDAN)。我们首先开发了一种无监督的多样性探索方法,使用无监督的目标来学习特定于任务的技能。然后,我们提出了一种对抗性的自我纠正机制,通过利用过去的经验来学习知识。这两个学习过程大概是相互的。为了评估所提出的方法,我们提出了一个新的连续强化学习环境命名为连续蚂蚁迷宫(CAM)和一个新的度量标准,称为归一化最短距离(NSD)。实验结果证实了多样性探索和自校正的有效性。值得注意的是,我们的最终结果在NSD方面比基线高出18.35%,在平均奖励方面高出0.61。
2019-06-21 cs.AI cs.LG cs.RO
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);Nvidia Research(英伟达研究院)
最大熵(MaxEnt)强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而,动作熵不一定与状态熵一致,例如,当多个动作产生相同的过渡时。相反,我们建议最大化过渡熵,即,下一个状态的熵我们表明,过渡熵可以描述为两个术语,即,依赖于模型的过渡熵和动作冗余。特别是,我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法,以尽量减少行动冗余,并证明其有效性的合成环境与多个冗余的行动,以及当代基准在雅达利和Mujoco。我们的研究结果表明,动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
Reinforcement Learning with Parameterized Actions
University of Witwatersrand(威特沃特斯兰德大学);Duke University(杜克大学)
我们介绍了一个无模型的学习算法在马尔可夫决策过程的参数化行动-离散行动与连续参数。在每个步骤中,代理必须选择要使用的操作以及要与该操作一起使用的参数。我们介绍了Q-PAMDP算法在这些领域的学习,表明它收敛到一个局部最优,并比较它的目标得分和平台域的直接政策搜索。
2015-11-26 cs.AI cs.LG
Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California(南加州大学计算机科学系)
智力的一个基本特征是在面对新的环境时实现目标的能力,例如从新的行动选择中做出决定。然而,标准的强化学习假设一组固定的动作,并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性,我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架,代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策,以不同的行动集,然后训练泛化目标。我们对顺序任务进行基准泛化,例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington(德克萨斯大学阿灵顿分校)
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习(RL)的一大挑战。主要是,不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互,这有效地(重新)将概念漂移引入到底层的策略学习过程中。我们假设,通过用额外的“自由度“来表征和表示动作,可以实现控制策略的更高适应性,从而以更大的灵活性来适应动作的“行为”结果的变化,包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架,首先建立参数动作模型的概念,以更好地应对不确定性和流体动作行为,然后引入强化场的概念,作为一个物理启发的结构,通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验,随着时间的推移,以自组织的方式演变。使用强化场作为基底,我们将通过将过去的记忆视为隐式图结构,进一步概括策略搜索以纳入高级决策概念,其中记忆实例或粒子,与定义和量化的关联性/相似性程度相互关联,使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Dual Action Policy for Robust Sim-to-Real Reinforcement Learning
Nanyang Technological University(南洋理工大学);Continental Automotive(大陆汽车)
本文提出 Dual Action Policy (DAP) 方法,通过单一策略预测两组动作分别用于最大化仿真奖励和域适应,并结合基于不确定性的探索,有效解决了强化学习 sim-to-real 转换中的动力学不匹配问题,提升了智能体鲁棒性。
2024-10-16 cs.AI cs.LG cs.RO
CorrectionPlanner: Self-Correction Planner with Reinforcement Learning in Autonomous Driving
Department of Computer Science, Johns Hopkins University, Baltimore, USA.(约翰霍普金斯大学计算机科学系)
本文提出CorrectionPlanner,通过自纠正机制在规划过程中生成安全动作,减少碰撞率,提升规划性能。
2026-03-16 cs.AI cs.RO
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);Georgia institute of technology(佐治亚理工学院)
针对离线 PBRL 中奖励作弊与强化学习复杂的问题,本文提出 PRC,通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
Jointly-Learned State-Action Embedding for Efficient Reinforcement Learning
Imperial College London(伦敦帝国理工学院);Dataminr
虽然强化学习近年来取得了相当大的成功,但最先进的模型通常仍然受到状态和动作空间大小的限制。无模型强化学习方法使用某种形式的状态表示,最新的工作探索了动作的嵌入技术,目的是实现更好的泛化和适用性。然而,这些方法只考虑状态或动作,在生成嵌入式表示时忽略了它们之间的交互。在这项工作中,我们建立了理论基础的有效性训练强化学习代理使用嵌入的状态和动作。然后,我们提出了一种新的方法,用于联合学习嵌入的状态和动作,结合了无模型和基于模型的强化学习,它可以应用于离散和连续域的方面。具体来说,我们使用的环境模型,以获得嵌入的状态和动作,并提出了一个通用的架构,利用这些来学习的政策。通过这种方式,通过我们的方法获得的嵌入式表示通过捕获嵌入空间中的相似性,可以更好地概括状态和动作。对我们的方法在几个游戏,机器人控制和推荐系统上的评估表明,它在具有大状态/动作空间的离散/连续域中显着优于最先进的模型,从而证实了它的有效性。
2021-08-20 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室 IDSIA/USI/SUPSI);NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而,这些方法通常需要在数据汇集期间记录动作信息,这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中,我们研究了使用无动作离线数据集来改进在线强化学习的潜力,将这个问题命名为无动作离线预训练的强化学习(AFP-RL)。我们介绍了无动作指南(AF-Guide),一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer(AFDT)组成,实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态,以及一个引导的软演员-评论家(引导SAC),它在AFDT的指导下在线学习。实验结果表明,AF-Guide能够有效地提高样本效率和在线训练的性能,这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Offline Reinforcement Learning with OOD State Correction and OOD Action Suppression
Tsinghua University(清华大学)
针对离线强化学习中未被充分研究的分布外状态导致性能下降的问题,提出统一分布外状态校正与动作抑制的SCAS方法,无需额外调优即有优异性能且抗扰动鲁棒性更强。
2024-11-01 cs.AI cs.LG
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher(独立研究者)
研究了自我对战强化学习中的对抗性动作遮蔽,发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性,揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Optimizing Quantum Error Correction Codes with Reinforcement Learning
University of Innsbruck(因斯布鲁克大学);Microsoft Research(微软研究院);Leiden University(莱顿大学);University of Konstanz(康斯坦茨大学);Austrian Academy of Sciences(奥地利科学院)
量子纠错被广泛认为是容错量子计算的关键。然而,为未知的错误通道或特定的实验室设置确定最合适的编码是非常具有挑战性的。在这里,我们提出了一个强化学习框架优化和容错适应量子纠错码。我们考虑一个强化学习代理,其任务是修改一系列表面码量子存储器,直到达到所需的逻辑错误率。使用具有任意连接性的大约70个数据量子位的有效模拟,我们证明了这样的强化学习代理可以确定各种感兴趣的错误模型的数据量子位数量的接近最优的解决方案。此外,我们表明,在一个设置上训练的代理能够成功地将他们的经验转移到不同的设置。这种迁移学习的能力展示了强化学习的内在优势,以及我们的方法从离线模拟到在线实验室设置的优化适用性。
2020-04-09 cs.AI cs.LG quant-ph
Model-based Reinforcement Learning for Parameterized Action Spaces
Brown University(布朗大学)
提出基于模型的DLPA算法,通过参数化动作条件动态模型和改进的模型预测路径积分控制,在PAMDP基准上实现更优的样本效率与渐近性能。
2024-05-24 cs.AI cs.LG
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文介绍了一种新的强化学习架构,该架构具有深度神经网络,旨在处理以自然语言为特征的状态和动作空间,如基于文本的游戏中所发现的。该架构被称为深度强化相关网络(DRRN),它用独立的嵌入向量表示动作和状态空间,并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN,显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明,该模型是在提取意义,而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
Action Pick-up in Dynamic Action Space Reinforcement Learning
Hohai University(河海大学);The Hong Kong Polytechnic University(香港理工大学);Wuhan University(武汉大学)
针对动态动作空间强化学习中新动作选择效率低的问题,提出动作拾取(AP)算法,利用先验最优策略设计全局与局部方法,自主选择有价值动作,显著提升了学习效率。
2023-04-03 cs.AI cs.LG
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
深度强化学习(DRL)方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中,那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左(这是前两个动作的组合)的动作。在这些领域中的控制策略的表示传统上被建模,而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式,因子化动作空间表示(FAR),其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量,类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作,而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进:FARA 3C在14个任务中的9个任务中优于A3 C(异步优势演员评论),FARAQL在13个任务中的9个任务中优于AQL(异步n步Q学习)。
2017-05-20 cs.AI cs.LG
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University(重庆大学)
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题,并取得了巨大的成功。然而,大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习(drl)应用于混合行动空间的多智能体问题的研究还很少。因此,我们提出了一种新的算法:深度多智能体混合软Actor-Critic(MAHSAC)来填补这一空白。该算法遵循集中式训练分散式执行(CTDE)的思想,扩展了软Actor-Critic算法(SAC),使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的,它具有连续的观察和离散的动作空间,以及一些基本的模拟物理。实验结果表明,MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时,它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
Reinforcement Learning with Information-Theoretic Actuation
Australian National University(澳大利亚国立大学);Deepmind
强化学习通过观察、奖励和行动来形式化具体代理与环境的交互。但这些行动从何而来?动作通常被认为是代表外部的东西,如肢体的运动,棋子,或更一般地说,执行器的输出。在这项工作中,我们探索和形式化的对比视图,即行动最好认为是一个序列的内部选择相对于一个行动模型的输出。这种观点特别适合利用大序列模型的最新进展作为多任务强化学习问题的先验知识。我们在这项工作中的主要贡献是展示如何增加标准的MDP形式主义与内部行动的顺序概念,使用信息理论的技术,这导致自洽的定义内部和外部的行动价值函数。
2021-09-30 cs.AI cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间,它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间,以及一个评论家网络,以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间,所提出的架构,我们称之为混合演员评论家,可以扩展到更一般的动作空间,具有层次结构。我们提出了一个基于近端策略优化(PPO)的混合Actor-Critic架构的实例,我们称之为混合近端策略优化(H-PPO)。我们的实验在具有参数化动作空间的任务集合上测试H-PPO,其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction
UC Santa Barbara(加州大学圣巴巴拉分校);Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊公司);Cruise(克鲁斯公司);Horizon Robotics(地平线机器人)
提高强化学习算法的样本效率需要进行有效的探索。遵循$\textit{optimism in the face of uncertainty}$(OFU)的原则,我们训练一个单独的探索政策,以最大化的近似上界的评论家在一个off-policy行动者-评论家的框架。然而,这在重放缓冲区和目标策略之间引入了关于它们的静态状态-动作分布的额外差异。为了减轻偏离策略的问题,我们采用了最近引入的DICE框架来学习偏离策略RL训练的分布校正率。特别是,我们纠正了政策和批评的培训分布。从经验上讲,我们评估我们提出的方法在几个具有挑战性的连续控制任务,并表现出优越的性能相比,国家的最先进的方法。我们还进行了广泛的消融研究,以证明所提出的方法的有效性和合理性。
2022-11-22 cs.LG cs.RO
DCT: Dual Channel Training of Action Embeddings for Reinforcement Learning with Large Discrete Action Spaces
本文提出DCT框架,通过编码器-解码器架构与双通道损失学习动作嵌入,平衡动作重建与状态预测,结合标准强化学习算法,在大离散动作空间中显著提升策略学习效果与收敛速度。
2023-06-28 cs.AI cs.LG
Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning
Georgia Institute of Technology(佐治亚理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
深度强化学习(deep RL)的关键挑战之一是确保训练和测试阶段的安全性。在这项工作中,我们提出了一种新的无监督的行动规划技术,以提高安全性的政策上的强化学习算法,如信任区域策略优化(TRPO)或近端策略优化(PPO)。我们设计了我们的安全意识强化学习,通过存储所有的历史“恢复”行动,拯救代理从危险的情况下到一个单独的“安全”缓冲区,并找到最好的恢复行动时,代理遇到类似的状态。由于此功能需要算法查询相似的状态,我们实现了建议的安全机制,使用无监督学习算法,k-均值聚类。我们评估所提出的算法上的六个机器人控制任务,包括导航和操作。我们的研究结果表明,所提出的安全RL算法可以实现更高的回报相比,多个基线在离散和连续控制问题。补充视频可以在https://youtu.be/AFTeWSohILo上找到。
2021-09-29 cs.AI cs.RO
Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们引入了一个在线流行度预测和跟踪任务,作为组合自然语言动作空间的强化学习的基准任务。推荐指定数量的被预测为流行的讨论线程,从要跟踪的最近评论的固定窗口中选择。研究了新的深度强化学习架构,用于对与由相互依赖的子动作组成的动作相关联的价值函数进行有效建模。所提出的模型通过双向LSTM表示子动作之间的依赖关系,在不同的实验配置和领域中提供了最佳性能,并且在不同数量的推荐请求中也具有很好的泛化能力。
2016-09-17 cs.AI cs.CL cs.LG
Context-Sensitive Abstractions for Reinforcement Learning with Parameterized Actions
AAIR-lab(AAIR实验室)
本文提出了一种能够在线自主学习状态和动作抽象的方法,以提升长周期稀疏奖励环境下参数化动作的样本效率。
2026-04-24 cs.AI cs.LG
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering(科学与工程研究生院);Chiba University(千叶大学);Graduate School of Informatics(信息科学研究生院);Zuse Institute Berlin(柏林泽尼奇研究所)
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性,发现其比在线方法更脆弱,表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
Safe Exploration of State and Action Spaces in Reinforcement Learning
Universidad Carlos III de Madrid(卡洛斯三世大学)
本文研究了强化学习中的安全探索问题。虽然强化学习非常适合具有复杂过渡动态和高维状态-动作空间的领域,但安全和有效探索的需求带来了额外的挑战。传统的探索技术对于解决危险的任务不是特别有用,其中试错过程可能导致选择动作,这些动作在某些状态下的执行可能导致对学习系统(或任何其他系统)的损害。因此,当一个智能体开始与一个危险的高维状态-动作空间进行交互时,一个重要的问题就出现了;即如何避免(或至少最小化)由于探索状态-动作空间而造成的损害。我们介绍了PI-SRL算法,它安全地改善了连续状态和动作控制任务的次优行为,并有效地从环境中获得的经验中学习。我们评估所提出的方法在四个复杂的任务:自动停车场,杆平衡,直升机悬停,和企业管理。
2014-02-04 cs.AI cs.LG
LASER: Learning a Latent Action Space for Efficient Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Stanford University(斯坦福大学);Nvidia(英伟达)
学习操作任务的过程在很大程度上取决于用于探索的动作空间:在不正确的动作空间中,使用强化学习解决任务可能会非常低效。此外,类似的任务或相同任务族的实例对最有效的动作空间施加了潜在的流形约束:任务族可以用机器人整个动作空间的流形中的动作来最好地解决。结合这些见解,我们提出了激光,一种方法来学习潜在的动作空间,有效的强化学习。LASER将学习问题分解为两个子问题,即动作空间学习和新动作空间中的策略学习。它利用来自类似操作任务实例的数据,无论是来自离线专家还是在策略学习期间在线,并从这些轨迹中学习从原始到潜在动作空间的映射。LASER被训练为变分编码器-解码器模型,以将原始动作映射到未纠缠的潜在动作空间中,同时保持动作重构和潜在空间动态一致性。我们评估激光在两个接触丰富的机器人任务的模拟,并分析策略学习在生成的潜在动作空间的好处。与原始动作空间相比,我们显示出改进的样本效率,因为动作空间与任务空间更好地对齐,正如我们观察到的学习动作空间流形的可视化。更多详情:https://www.pair.toronto.edu/laser
2021-03-30 cs.AI cs.RO
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University(比尔肯特大学)
在基于值的深度强化学习方法中,价值函数的近似会导致高估偏差并导致次优策略。我们发现,在旨在克服高估偏差的深度演员-评论家方法中,如果代理接收到的强化信号具有较高的方差,则会出现显著的低估偏差。为了最大限度地减少低估,我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念,通过最大值和最小值运算符的嵌套组合来计算critic目标,以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改,在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Breaking the Grid: Distance-Guided Reinforcement Learning in Large Discrete Action Spaces
Technical University of Munich(慕尼黑技术大学);University of Twente(埃因霍温大学)
本文提出距离引导强化学习(DGRL),通过采样动态邻域和基于距离的更新,在高达10^20个动作的问题中实现高效的强化学习,证明了其在结构任务中的局部价值提升,并在混合连续-离散动作空间中实现泛化。
2026-11-10 cs.AI cs.LG
Hierarchical Approaches for Reinforcement Learning in Parameterized Action Space
George Mason University(乔治梅森大学)
我们在参数化的动作空间中探索深度强化学习。具体来说,我们研究如何在这些任务中实现样本高效的端到端培训。我们提出了一个新的紧凑型架构的任务,其中参数政策的离散行动政策的输出为条件。我们还提出了两个新的方法的基础上,国家的最先进的算法信任域策略优化(TRPO)和随机值梯度(SVG)的训练这样的架构。我们证明,这些方法优于国家的最先进的方法,参数化的行动DDPG,测试域。
2018-10-23 cs.AI cs.LG stat.ML
Online Action-Stacking Improves Reinforcement Learning Performance for Air Traffic Control
Project Bluebird, NATS(Project Bluebird,NATS);Department of Computer Science, University of Exeter(计算机科学系,埃克塞特大学);Project Bluebird, The Alan Turing Institute(Project Bluebird,艾伦·图灵研究所);The Alan Turing Institute and the University of Exeter(艾伦·图灵研究所和埃克塞特大学)
在线动作堆叠通过简化动作空间提升空交通管制的强化学习性能,有效减少指令数量并实现与复杂动作空间相当的控制效果。
2026-01-07 cs.AI cs.LG cs.MA
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University(武汉大学)
本文提出VARL框架,利用视觉-语言模型为在线强化学习智能体提供行动建议,在保证最优性和收敛性的同时提升样本效率,尤其在稀疏奖励任务中表现显著,且计算开销低。
2025-09-25 cs.AI cs.LG
Neuro-symbolic Action Masking for Deep Reinforcement Learning
Utrecht University(乌得勒支大学)
NSAM通过自动学习符号模型与深度策略优化结合,提升深度强化学习的样本效率并减少约束违规。
2026-02-11 cs.AI cs.LG
Deep Reinforcement Learning With Macro-Actions
University of Massachusetts(马萨诸塞大学)
深度强化学习已被证明是一个强大的框架,用于从复杂的高维感官输入到复杂任务(如Atari域)中的动作学习策略。在本文中,我们探索了时间抽象形式的输出表示建模,以提高深度强化学习方法的收敛性和可靠性。我们专注于宏观行动,并评估这些不同的雅达利2600游戏,在那里我们表明,他们在学习速度产生显着的改善。此外,我们还证明了它们甚至可以获得比DQN更好的分数。我们对收敛性和最终结果进行了分析和解释,揭示了深度RL方法在稀疏奖励信号方面存在的问题。
2016-06-15 cs.AI cs.LG cs.NE
An Advantage-based Optimization Method for Reinforcement Learning in Large Action Space
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education(教育部航空航天信息安全与可信计算重点实验室);School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院)
针对大动作空间强化学习中的偏差问题,提出基于优势的优化方法ABQ,通过基线机制调整各维度动作值,在多个环境中超越BDQ并与连续动作算法竞争。
2024-12-17 cs.AI cs.LG
Counterfactual Explanations for Continuous Action Reinforcement Learning
University of Virginia(弗吉尼亚大学)
针对连续动作强化学习可解释性不足的问题,提出一种基于最小偏差替代动作序列的反事实解释生成方法,经两个RL领域验证有效,助力提升RL的可解释性与可信度。
2025-05-19 cs.AI cs.LG
Transfer Reinforcement Learning for Differing Action Spaces via Q-Network Representations
University of Texas at Dallas(德克萨斯大学达拉斯分校)
强化学习中的迁移学习方法旨在通过利用从在类似源域上接受过训练的其他代理学到的知识来帮助代理学习其目标域。例如,最近的研究重点在这个空间内已被放置在具有不同的过渡动力学和奖励功能的任务之间的知识转移;然而,很少关注具有不同动作空间的任务之间的知识转移。在本文中,我们的任务,迁移学习不同的动作空间之间的域。我们提出了一种基于源嵌入相似性的奖励塑造方法,该方法适用于具有离散和连续动作空间的域。我们的方法的有效性进行评估转让限制的动作空间中的Acrobot-v1和Pendulum-v0域。与两个基线的比较表明,我们的方法在这些连续的动作空间中没有优于这些基线,但在这些离散的动作空间中确实有所改善。最后,我们的分析与未来的方向,这项工作。
2022-04-21 cs.AI cs.LG
Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints
OMRON SINIC X Corporation(欧姆龙 SINIC X 公司);Kyoto University(京都大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出了一个动作约束强化学习算法的基准,在多种机器人控制环境中评估了现有算法及其变体,揭示了该领域的深入见解并公开了相关代码。
2023-05-29 cs.LG cs.RO
StARformer: Transformer with State-Action-Reward Representations for Visual Reinforcement Learning
Stony Brook University(石溪大学)
强化学习(RL)可以被认为是一个序列建模任务:给定一系列过去的状态-动作-奖励经验,智能体预测一系列接下来的动作。在这项工作中,我们提出了视觉RL的状态-动作-奖励Transformer(StARformer),它显式地模拟短期状态-动作-奖励表示(StAR表示),本质上是引入了类似马尔可夫的归纳偏差,以改善长期建模。我们的方法首先提取星表示的自我参加图像状态补丁,动作和奖励令牌在一个很短的时间窗口。然后将这些与纯图像状态表示相结合-提取为卷积特征,以在整个序列上执行自我注意。我们的实验表明,在离线RL和模仿学习设置中,StARformer在基于图像的Atari和DeepMind Control Suite基准测试中的表现优于最先进的基于Transformer的方法。StARformer也更符合较长的输入序列。我们的代码可在https://github.com/elicassion/StARformer上获得。
2023-01-04 cs.AI cs.LG
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis(加州大学戴维斯分校);Northwestern University(西北大学)
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题,证明最优策略存在性并给出Bellman最优方程,提出ARRLC算法实现极小极大最优遗憾与样本复杂度,实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST(韩国科学技术院);DeepMind(深度思维)
我们考虑离线约束强化学习(RL)问题,其中智能体的目标是计算一个政策,最大化预期收益,同时满足给定的成本约束,学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的,在这些场景中,与环境的直接交互是昂贵的或有风险的,并且由此产生的策略应该符合安全约束。然而,计算保证满足离线RL设置中的成本约束的策略具有挑战性,因为偏离策略的评估本质上存在估计误差。在本文中,我们提出了一个离线约束RL算法,优化的政策在空间的平稳分布。我们的算法,COptiDICE,直接估计的平稳分布校正的最优策略的回报,同时限制成本上界,与实际的约束满足产生一个成本保守的政策的目标。实验结果表明,COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Data-Driven Evaluation of Training Action Space for Reinforcement Learning
Nutanix, Inc(路坦力公司)
强化学习(RL)的训练动作空间选择由于复杂的状态-动作关系而容易发生冲突。为了应对这一挑战,本文提出了一种Shapley启发的方法来训练动作空间分类和排名。为了减少指数时间Shapley计算,该方法包括蒙特卡罗模拟,以避免不必要的探索。使用云基础设施资源调优案例研究的方法的有效性。该方法将搜索空间减少了80%,并将训练动作集分为不可缺少的和不可缺少的两类。此外,它还对不同的训练动作进行排名,以促进高性能但具有成本效益的RL模型设计。所提出的数据驱动方法可扩展到不同的领域,用例和强化学习算法。
2022-04-08 cs.LG
Reconstructing Actions To Explain Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
特征属性一直是解释深度神经网络(DNN)监督学习中输入特征重要性的基本构建块,但在应用于深度强化学习(RL)时面临新的挑战。我们提出了一种新的方法来解释深度RL动作,方法是定义一类\emph{action reconstruction}函数,模仿深度RL中网络的行为。这种方法使我们能够回答比直接应用DNN归因方法更复杂的可解释性问题,我们在构建我们的动作重建时采用了\emph{behavior-level attributions}。它还允许我们定义\emph{agreement},一个定量评估我们的方法的可解释性的度量。我们对各种Atari游戏的实验表明,基于扰动的归因方法比其他归因方法更适合于重建解释深度RL代理的动作,并且比现有的利用注意力的可解释性工作表现出更大的\emph{agreement}。我们进一步表明,行动重建使我们能够演示如何深入的代理学习玩吃豆人游戏。
2021-02-13 cs.AI cs.LG
Reusability and Transferability of Macro Actions for Reinforcement Learning
National Tsing Hua University(国立清华大学);Harvard University(哈佛大学)
传统的强化学习(RL)通常在每个时间步确定适当的原始动作。然而,通过使用适当的宏动作,定义为一系列的原始动作,代理能够绕过中间状态到更远的状态,并促进其学习过程。我们想要研究的问题是,宏观行动可能具有哪些相关的有益属性。在本文中,我们揭示了可重用性和可移植性的宏动作的属性。第一个属性,可重用性,意味着与一种RL方法一起生成的宏动作可以被另一种RL方法重用用于训练,而第二个属性,可转移性,意味着宏动作可以用于在具有不同奖励设置的类似环境中训练代理。在我们的实验中,我们首先生成宏动作以及RL方法。然后,我们提供了一组分析,以揭示所生成的宏动作的可重用性和可转移性的属性。
2022-04-28 cs.AI cs.LG cs.NE
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology(佐治亚理工学院)
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此,其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML,其中人类教师通过演示,批评或行动建议在训练中发挥直接作用,可能会减轻代理对别名的敏感性。然而,交互式机器学习只有在人类交互的数量有限时才是实用的,需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验,这两种算法使人类教师能够在视觉锯齿条件下给出行动建议,反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷,我们改变了各种人类行动建议技术的准确性和频率。训练效率,对不频繁和不准确的顾问输入的鲁棒性,以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Comparing Observation and Action Representations for Deep Reinforcement Learning in $μ$RTS
Drexel University(德雷塞尔大学)
本文提出了一个初步的研究,比较不同的观察和动作空间表示的深度强化学习(DRL)在实时策略(RTS)游戏的背景下。具体来说,我们比较了两种表示:(1)全局表示,其中观察表示整个游戏状态,RL代理需要选择向哪个单元发出动作,以及执行哪些动作;(2)局部表示,其中观察从单个单元的角度表示,RL代理独立地为每个单元选择动作。我们评估这些表示在$μ$ RTS显示,当地的代表性似乎优于全球代表时,训练代理收获资源的任务。
2020-04-22 cs.AI cs.LG stat.ML
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab(腾讯人工智能实验室);Princeton University(普林斯顿大学);Northwestern University(西北大学)
大多数现有的深度强化学习(DRL)框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发,我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间,以前的工作要么近似的混合空间离散化,或放松到一个连续的集合。在本文中,我们提出了一个参数化的深度Q网络(P-DQN)框架的混合行动空间没有近似或松弛。该算法结合了DQN(处理离散动作空间)和DDPG(处理连续动作空间)的思想,将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Explainable Action Advising for Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
针对强化学习中传统状态-动作对形式的动作建议难泛化的问题,提出带动作选择解释的可解释动作建议框架,可提升样本效率与性能,在单/多智能体场景均优于现有方法。
2023-06-16 cs.AI cs.LG cs.MA