Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions
Florida State University（佛罗里达州立大学）；University of Connecticut（康涅狄格大学）；Zhejiang University（浙江大学）
研究具有隐藏动作的离线强化学习问题，利用下一状态变量为未观测动作的代理，提出LURE估计器，该估计器多重稳健且渐近正态，通过模拟和败血症管理应用证明了其有效性。
2026-07-29 cs.LG stat.ML
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Where to Intervene: Action Selection in Deep Reinforcement Learning
University of California, Irvine（加州大学欧文分校）
本文提出一种通用、无模型且计算友好的数据驱动动作选择方法，利用 knockoff 采样控制错误发现率，并在线集成到深度强化学习中，在变量选择性能和总体奖励上优于现有技术。
2025-07-05 cs.LG stat.ML
Delegative Reinforcement Learning: learning to avoid traps with a little help
大多数已知的强化学习的后悔界限要么是情节性的，要么是假设一个没有陷阱的环境。我们在不做任何假设的情况下，通过允许算法偶尔将一个动作委托给外部顾问来获得一个后悔界限。因此，我们得出了一个基于主动一次性模型的强化学习的设置，我们称之为DRL（委托强化学习）。为了证明遗憾界限，我们构造的算法是后验采样强化学习的一个变体，由一个决定哪些动作应该被委托的子例程补充。该算法不是任意时刻，因为参数必须根据目标时间折扣进行调整。目前，我们的分析仅限于有限数量的假设，状态和行动的马尔可夫决策过程。
2019-07-19 cs.LG stat.ML
A framework for reinforcement learning with autocorrelated actions
Warsaw University of Technology（华沙理工大学）
本文的研究对象是强化学习。这里考虑的策略是基于在后续时刻自相关的状态和随机元素产生动作。因此，代理从随时间分布的实验中学习，并可能为政策改进提供更好的线索。此外，这种策略的物理实现，例如在机器人技术中，问题较少，因为它避免了使机器人抖动。这与大多数RL算法相反，RL算法将白噪声添加到控制中，导致机器人的不必要的抖动。这里介绍了一种算法，近似优化上述政策。它的效率进行了验证四个模拟学习控制问题（蚂蚁，HalfCheetah，料斗，和步行者2D）对其他三种方法（PPO，SAC，ACER）。该算法优于别人在这些问题中的三个。
2020-09-10 cs.LG stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
An Investigation of Offline Reinforcement Learning in Factorisable Action Spaces
Warwick Medical School, University of Warwick（华威大学华威医学院）；University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）；Warwick Manufacturing Group, University of Warwick（华威大学华威制造集团）
本研究针对可分解动作空间中的离线强化学习进行基础探究，基于DecQN价值分解方法提出分解策略，并构建包含不同质量与复杂度的新基准数据集，对多种离线技术进行广泛评估，公开数据集与代码以促进可复现研究。
2024-11-17 cs.LG stat.ML
Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作，一系列的原始动作，已被研究，以减少关于时间轴的动作空间的维数。然而，以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习（FaMARL），它自主学习一系列动作的分解因子表示，以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
Hierarchical Approaches for Reinforcement Learning in Parameterized Action Space
George Mason University（乔治梅森大学）
我们在参数化的动作空间中探索深度强化学习。具体来说，我们研究如何在这些任务中实现样本高效的端到端培训。我们提出了一个新的紧凑型架构的任务，其中参数政策的离散行动政策的输出为条件。我们还提出了两个新的方法的基础上，国家的最先进的算法信任域策略优化（TRPO）和随机值梯度（SVG）的训练这样的架构。我们证明，这些方法优于国家的最先进的方法，参数化的行动DDPG，测试域。
2018-10-23 cs.AI cs.LG stat.ML
Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
用于强化学习（RL）的循环神经网络（RNN）已经显示出明显的优势，例如，解决依赖记忆的任务和元学习。然而，在改进RNN架构和理解性能增益的底层神经机制方面几乎没有付出任何努力。在本文中，我们提出了一种新的，多时间尺度，随机RNN的RL。实验结果表明，该网络可以自主学习抽象的子目标，并可以自我发展的行动层次结构，在一个具有挑战性的连续控制任务使用内部动力学。此外，我们还表明，与从头开始相比，网络的自我开发组合性在适应新任务（重新组合之前学习的子目标）时可以更快地重新学习。我们还发现，当神经活动受到随机而不是确定性的动态时，可以实现更好的性能。
2019-11-26 cs.LG stat.ML
Action-Driven Processes for Continuous-Time Control
本文提出行动驱动过程，统一随机过程与强化学习视角，应用于脉冲神经网络，并证明最小化KL散度等价于最大熵强化学习。
2026-10-07 cs.LG stat.ML
Data-Driven Evaluation of Training Action Space for Reinforcement Learning
Nutanix, Inc（路坦力公司）
强化学习（RL）的训练动作空间选择由于复杂的状态-动作关系而容易发生冲突。为了应对这一挑战，本文提出了一种Shapley启发的方法来训练动作空间分类和排名。为了减少指数时间Shapley计算，该方法包括蒙特卡罗模拟，以避免不必要的探索。使用云基础设施资源调优案例研究的方法的有效性。该方法将搜索空间减少了80%，并将训练动作集分为不可缺少的和不可缺少的两类。此外，它还对不同的训练动作进行排名，以促进高性能但具有成本效益的RL模型设计。所提出的数据驱动方法可扩展到不同的领域，用例和强化学习算法。
2022-04-08 cs.LG
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology（佐治亚理工学院）
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此，其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML，其中人类教师通过演示，批评或行动建议在训练中发挥直接作用，可能会减轻代理对别名的敏感性。然而，交互式机器学习只有在人类交互的数量有限时才是实用的，需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验，这两种算法使人类教师能够在视觉锯齿条件下给出行动建议，反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷，我们改变了各种人类行动建议技术的准确性和频率。训练效率，对不频繁和不准确的顾问输入的鲁棒性，以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Comparing Observation and Action Representations for Deep Reinforcement Learning in $μ$RTS
Drexel University（德雷塞尔大学）
本文提出了一个初步的研究，比较不同的观察和动作空间表示的深度强化学习（DRL）在实时策略（RTS）游戏的背景下。具体来说，我们比较了两种表示：（1）全局表示，其中观察表示整个游戏状态，RL代理需要选择向哪个单元发出动作，以及执行哪些动作;（2）局部表示，其中观察从单个单元的角度表示，RL代理独立地为每个单元选择动作。我们评估这些表示在$μ$ RTS显示，当地的代表性似乎优于全球代表时，训练代理收获资源的任务。
2020-04-22 cs.AI cs.LG stat.ML
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab（腾讯人工智能实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
大多数现有的深度强化学习（DRL）框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发，我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间，以前的工作要么近似的混合空间离散化，或放松到一个连续的集合。在本文中，我们提出了一个参数化的深度Q网络（P-DQN）框架的混合行动空间没有近似或松弛。该算法结合了DQN（处理离散动作空间）和DDPG（处理连续动作空间）的思想，将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Reinforcement Learning with Function-Valued Action Spaces for Partial Differential Equation Control
University of Alberta（阿尔伯塔大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Vector Institute（向量研究所）
最近的研究表明，强化学习（RL）是一种很有前途的方法来控制动力系统描述的偏微分方程（PDE）。本文展示了如何使用强化学习来解决更一般的PDE控制问题，这些问题具有连续的高维动作空间，动作维度之间具有空间关系。特别是，我们提出了动作描述符的概念，它编码的空间扩展的动作维度之间的冗余，使代理控制高维动作偏微分方程。我们提供的理论证据表明，这种方法可以更有效的样本相比，传统的方法，单独对待每个动作维度，并没有明确利用的动作空间的空间规律性。然后在深度确定性策略梯度算法中使用动作描述符方法。两个PDE控制问题的实验，高达256维的连续行动，所提出的方法比传统的优势。
2018-06-13 cs.AI cs.LG stat.ML
BraVE: Offline Reinforcement Learning for Discrete Combinatorial Action Spaces
University of Virginia（弗吉尼亚大学）；MBZUAI（马克斯·普朗克智能系统研究所）
BraVE通过树状结构动作遍历，在离线强化学习中有效处理离散组合动作空间，实现性能提升20倍。
2026-01-07 cs.LG
Reinforcement Learning with Structured Hierarchical Grammar Representations of Actions
Imperial College London（帝国理工学院）；Einstein Center for Neurosciences Berlin（柏林爱因斯坦神经科学中心）；Technical University Berlin（柏林工业大学）；MRC London Institute of Medical Sciences（英国医学研究委员会伦敦医学科学研究所）
从很小的时候起，人类就学会了使用语法原则来分层地将单词组合成句子。动作语法是一个平行的概念，即有一组潜在的规则（一种“语法”）来控制我们如何分层地组合动作以形成新的、更复杂的动作。我们引入了动作语法强化学习（AG-RL）框架，该框架利用动作语法的概念来不断提高强化学习代理的样本效率。AG-RL通过使用语法推理算法来推断训练中途代理的“动作语法”。代理的动作空间，然后增加了由语法识别的宏动作。我们将此框架应用于双深度Q学习（AG-DDQN）和Soft Actor-Critic（AG-SAC）的离散动作版本，并发现它分别在8个测试的Atari游戏中的8个（中位数+31%，最大+668%）和20个测试的Atari游戏中的19个（中位数+96%，最大+3，756%）中提高了性能，而无需实质性的超参数调整。我们还表明，AG-SAC在20个测试的Atari游戏中的17个中的样本效率方面击败了无模型的最先进水平（中位数+62%，最大值+13，140%），同样没有实质性的超参数调整。
2019-10-23 cs.AI cs.LG stat.ML
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
Reinforcement Learning with Combinatorial Actions: An Application to Vehicle Routing
MIT Operations Research Center（麻省理工学院运筹学中心）；Google Research（谷歌研究院）
基于值函数的方法长期以来在强化学习中发挥着重要作用。然而，当动作空间对于枚举来说太大时，找到给定任意复杂度的价值函数的最佳下一动作是不平凡的。我们开发了一个具有组合动作空间的基于值函数的深度强化学习框架，其中动作选择问题被显式地表示为混合整数优化问题。作为一个激励的例子，我们提出了一个应用程序的能力限制的车辆路径问题（CVRP），一个组合优化问题，其中一组位置必须由一个单一的车辆有限的能力。在每一个实例中，我们的行动建模为一个单一的路由建设，并考虑一个确定性的政策，通过一个简单的政策迭代算法进行改进。我们的方法与其他强化学习方法相比具有竞争力，并且在中等大小的标准库实例上与最先进的OR方法的平均差距为1.7%。
2020-10-22 cs.AI cs.LG math.OC
Discrete linear-complexity reinforcement learning in continuous action spaces for Q-learning algorithms
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
在这篇文章中，我们勾画了一个算法，扩展的Q-学习算法的连续动作空间域。我们的方法是基于动作空间的离散化。尽管常用的离散化方法，我们的方法不会增加离散化问题的维数指数。我们将证明，我们提出的方法是线性的离散化时的复杂性。在这项工作中提出的Q-学习算法的变体，标记为有限步Q-学习（FSQ），可以部署到浅层和深层神经网络架构。
2018-07-23 cs.AI cs.LG stat.ML
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
交互式小说游戏是基于文本的模拟，其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C，一个代理，建立一个动态的知识图谱，同时探索和生成使用基于模板的动作空间的行动。我们认为，知识图谱的双重用途，以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明，KG-A2 C优于当前的IF代理，尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California（南加州大学计算机科学系）
智力的一个基本特征是在面对新的环境时实现目标的能力，例如从新的行动选择中做出决定。然而，标准的强化学习假设一组固定的动作，并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性，我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架，代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策，以不同的行动集，然后训练泛化目标。我们对顺序任务进行基准泛化，例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
Efficient Planning in Combinatorial Action Spaces with Applications to Cooperative Multi-Agent Reinforcement Learning
University of Alberta（阿尔伯塔大学）；ETH Zurich（苏黎世联邦理工学院）；University College London（伦敦大学学院）；DeepMind（深度思维）
强化学习的一个实际挑战是组合动作空间，这使得规划在计算上要求很高。例如，在协作多智能体强化学习中，潜在的大量智能体联合优化全局奖励函数，这导致动作空间中智能体数量的组合爆破。作为最低要求，我们假设可以访问argmax oracle，该oracle允许有效地计算模型类中任何Q函数的贪婪策略。最近的工作规划与本地访问模拟器和线性函数逼近的基础上，我们提出了有效的算法，这种设置，导致多项式计算和查询的复杂性，在所有相关的问题参数。对于特征分解是可加性的特殊情况，我们进一步改进了边界，并使用一种有效的算法将结果扩展到核化设置。
2023-02-08 cs.AI cs.LG stat.ML
State Action Separable Reinforcement Learning
Imperial College London（帝国理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Yale University（耶鲁大学）
近年来，基于强化学习（RL）的方法在解决一系列决策和控制问题方面取得了巨大的成功。对于传统的RL公式，马尔可夫决策过程（MDP）和状态-动作-价值函数是问题建模和策略评估的基础。然而，仍然存在一些具有挑战性的问题。在大多数被引用的问题中，状态/动作空间的一致性是导致在精确地近似状态-动作-价值函数时效率低下的重要因素。我们观察到，虽然行动直接定义代理的行为，对于许多问题的下一个状态后，状态转换的问题比采取的行动，在确定这样的状态转换的回报。在这方面，我们提出了一种新的学习范式，状态动作分离的强化学习（sasRL），其中的动作空间是从价值函数学习过程中解耦，以提高效率。然后，一个轻量级的过渡模型学习，以帮助代理确定的动作，触发相关的状态转换。此外，我们的收敛性分析表明，在一定的条件下，sasRL的收敛时间是$O(T^{1/k})$，其中$T$是收敛时间更新的价值函数在基于MDP的配方和$k$是一个加权因子。多个游戏场景的实验表明，sasRL的性能比最先进的基于MDP的RL算法高出高达$75\%$。
2020-06-05 cs.AI cs.LG stat.ML
Hybrid Reinforcement Learning with Expert State Sequences
IBM Research AI（IBM研究院人工智能部门）
现有的模仿学习方法通常需要完整的演示数据，包括动作序列和状态，是可用的。在本文中，我们考虑一个更现实和困难的情况下，强化学习代理只能访问的状态序列的专家，而专家的行动是不可观察的。我们提出了一种新的基于张量的模型来推断未观察到的专家状态序列的行动。然后通过结合强化学习和模仿学习的混合目标优化代理的策略。我们评估了我们的混合方法的说明域和雅达利游戏。实证结果表明，（1）智能体能够利用状态专家序列比纯强化学习基线学习得更快，（2）与标准深度神经网络相比，我们的基于张量的动作推理模型在推理专家动作方面具有优势，（3）混合策略优化目标对专家状态序列中的噪声具有鲁棒性。
2019-03-11 cs.AI cs.LG stat.ML
Action Guidance with MCTS for Deep Reinforcement Learning
Borealis AI
深度强化学习近年来取得了巨大的成功，但其面临的主要挑战是样本效率低下。在本文中，我们专注于如何使用行动指导的手段，非专家演示，以提高样本效率在一个域稀疏，延迟，并可能欺骗性的奖励：最近提出的多智能体基准的Pommerman。我们提出了一个新的框架，即使是一个非专家模拟演示，例如，诸如具有少量展开的蒙特卡罗树搜索的规划算法可以集成在异步分布式深度强化学习方法内。与vanilla deep RL算法相比，我们提出的方法在两人迷你版的Pommerman游戏中学习速度更快，收敛到更好的策略。
2019-07-25 cs.LG cs.MA stat.ML
Deep PQR: Solving Inverse Reinforcement Learning using Anchor Actions
Princeton University（普林斯顿大学）；Amazon（亚马逊）
我们提出了一个基于深度能量策略的逆强化学习的奖励函数估计框架。我们将我们的方法命名为PQR，因为它通过深度学习依次估计策略、$Q$函数和奖励函数。PQR并不认为奖励只取决于状态，相反，它允许依赖于行动的选择。此外，PQR允许随机状态转换。为了实现这一点，我们假设存在一个锚定动作，其奖励是已知的，通常是什么也不做的动作，不产生奖励。我们提出的PQR方法的估计和算法。当环境转移是已知的，我们证明了PQR奖励估计唯一恢复真实的奖励。对于未知的转移，我们限制了PQR的估计误差。最后，PQR的性能证明了合成和真实世界的数据集。
2020-08-15 cs.LG math.OC stat.ML
BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning
New York University Shanghai（上海纽约大学）；New York University（纽约大学）
最近，批量深度强化学习（DRL）的研究激增，其目的是从给定的数据集中学习高性能的策略，而无需与环境进行额外的交互。我们提出了一种新的算法，最佳行动模仿学习（BAIL），力求简单性和性能。BAIL学习V函数，使用V函数选择它认为高性能的动作，然后使用这些动作使用模仿学习来训练策略网络。对于MuJoCo基准测试，我们提供了BAIL的全面实验研究，将其性能与其他四种批量Q学习和模仿学习方案进行了比较。我们的实验表明，BAIL的性能远远高于其他计划，也是计算速度远远快于批量Q学习计划。
2020-11-02 cs.AI cs.LG stat.ML
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
最大熵（MaxEnt）强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而，动作熵不一定与状态熵一致，例如，当多个动作产生相同的过渡时。相反，我们建议最大化过渡熵，即，下一个状态的熵我们表明，过渡熵可以描述为两个术语，即，依赖于模型的过渡熵和动作冗余。特别是，我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法，以尽量减少行动冗余，并证明其有效性的合成环境与多个冗余的行动，以及当代基准在雅达利和Mujoco。我们的研究结果表明，动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
Reinforcement Learning with Parameterized Actions
University of Witwatersrand（威特沃特斯兰德大学）；Duke University（杜克大学）
我们介绍了一个无模型的学习算法在马尔可夫决策过程的参数化行动-离散行动与连续参数。在每个步骤中，代理必须选择要使用的操作以及要与该操作一起使用的参数。我们介绍了Q-PAMDP算法在这些领域的学习，表明它收敛到一个局部最优，并比较它的目标得分和平台域的直接政策搜索。
2015-11-26 cs.AI cs.LG
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington（德克萨斯大学阿灵顿分校）
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习（RL）的一大挑战。主要是，不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互，这有效地（重新）将概念漂移引入到底层的策略学习过程中。我们假设，通过用额外的“自由度“来表征和表示动作，可以实现控制策略的更高适应性，从而以更大的灵活性来适应动作的“行为”结果的变化，包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后引入强化场的概念，作为一个物理启发的结构，通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验，随着时间的推移，以自组织的方式演变。使用强化场作为基底，我们将通过将过去的记忆视为隐式图结构，进一步概括策略搜索以纳入高级决策概念，其中记忆实例或粒子，与定义和量化的关联性/相似性程度相互关联，使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文介绍了一种新的强化学习架构，该架构具有深度神经网络，旨在处理以自然语言为特征的状态和动作空间，如基于文本的游戏中所发现的。该架构被称为深度强化相关网络（DRRN），它用独立的嵌入向量表示动作和状态空间，并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN，显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明，该模型是在提取意义，而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
Linear Reinforcement Learning with Ball Structure Action Space
Massachusetts Institute of Technology（麻省理工学院）；Amazon（亚马逊）
研究了具有线性函数逼近的强化学习（RL）问题，即假设在已知的$d$维特征映射中，最优动作价值函数是线性的。然而，不幸的是，仅仅基于这个假设，即使在生成模型下，最坏情况下的样本复杂度也被证明是指数级的。我们不再对MDP或价值函数做进一步的假设，而是假设我们的动作空间总是存在可玩的动作来探索特征空间的任何方向。我们将这个假设形式化为一个“球结构”的动作空间，并表明能够自由地探索特征空间可以实现高效的RL。特别是，我们提出了一个样本有效的RL算法（BallRL），学习$ε$ -最优策略，只使用$\tilde{O}\left(\frac{H^5d^3}{ε^3}\right)$数量的轨迹。
2022-11-14 cs.LG
Learning Routines for Effective Off-Policy Reinforcement Learning
King’s College London（伦敦国王学院）
强化学习的性能取决于设计一个适当的动作空间，其中每个动作的效果是可测量的，但粒度足以允许灵活的行为。到目前为止，这个过程涉及到用户在可用操作及其执行频率方面的重要选择。我们提出了一个新的强化学习框架，有效地解除了这些限制。在我们的框架内，代理学习有效的行为在一个常规空间：一个新的，更高层次的动作空间，其中每个例程代表一组“等效”序列的粒度动作与任意长度。我们的常规空间是端到端学习的，以促进实现底层的非策略强化学习目标。我们将我们的框架应用于两个最先进的非策略算法，并表明所产生的代理获得相关的性能改进，同时需要更少的交互与环境每集，提高计算效率。
2021-06-05 cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
Deep Reinforcement Learning in Large Discrete Action Spaces
Google DeepMind（谷歌DeepMind）
能够在具有大量离散行为的环境中进行推理，对于将强化学习应用于更大类的问题至关重要。推荐系统、工业工厂和语言模型只是涉及大量离散动作的许多现实世界任务中的一部分，对于这些任务，当前的方法很难甚至常常不可能应用。在操作集合上进行概括的能力以及相对于集合大小的次线性复杂度对于处理这样的任务都是必要的。目前的方法是不能够提供这两个，这促使在本文中的工作。我们提出的方法利用先验信息的行动，将它们嵌入到一个连续的空间，它可以概括。此外，近似最近邻方法允许相对于动作数量的时间查找复杂度，这对于时间上易处理的训练是必要的。这种组合方法允许将强化学习方法应用于以前用当前方法难以解决的大规模学习问题。我们展示了我们的算法的能力，在一系列的任务有多达一百万的行动。
2016-04-04 cs.AI cs.LG cs.NE
Jointly-Learned State-Action Embedding for Efficient Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Dataminr
虽然强化学习近年来取得了相当大的成功，但最先进的模型通常仍然受到状态和动作空间大小的限制。无模型强化学习方法使用某种形式的状态表示，最新的工作探索了动作的嵌入技术，目的是实现更好的泛化和适用性。然而，这些方法只考虑状态或动作，在生成嵌入式表示时忽略了它们之间的交互。在这项工作中，我们建立了理论基础的有效性训练强化学习代理使用嵌入的状态和动作。然后，我们提出了一种新的方法，用于联合学习嵌入的状态和动作，结合了无模型和基于模型的强化学习，它可以应用于离散和连续域的方面。具体来说，我们使用的环境模型，以获得嵌入的状态和动作，并提出了一个通用的架构，利用这些来学习的政策。通过这种方式，通过我们的方法获得的嵌入式表示通过捕获嵌入空间中的相似性，可以更好地概括状态和动作。对我们的方法在几个游戏，机器人控制和推荐系统上的评估表明，它在具有大状态/动作空间的离散/连续域中显着优于最先进的模型，从而证实了它的有效性。
2021-08-20 cs.AI cs.LG
SEAR: Sample Efficient Action Chunking Reinforcement Learning
Autonomous Learning Robots, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自主学习机器人实验室）
SEAR 是一种样本高效的在线强化学习算法，通过利用动作分块的时间结构和滚动时间 horizon，有效结合小和大分块大小的优势，在 Metaworld 上优于现有方法。
2026-11-05 cs.LG
Reinforcement learning with experience replay and adaptation of action dispersion
Warsaw University of Technology（华沙工业大学）
有效的强化学习需要通过动作分布的分散来定义探索和利用的适当平衡。然而，这种平衡取决于任务、学习过程的当前阶段和当前环境状态。指定动作分布分散度的现有方法需要依赖于问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分散度：该分布应具有足够的分散度，以评估未来的政策。为此，应该调整分散以确保重放缓冲器中的动作的足够高的概率（密度）和生成它们的分布的模式，但该分散不应该更高。通过这种方式，可以根据缓冲区中的操作有效地评估策略，但是当此策略收敛时，操作中的探索随机性会降低。上述原则在具有挑战性的基准测试Ant、HalfCheetah、Hopper和Walker2D上得到了验证，结果良好。我们的方法使动作标准差收敛到类似于试错优化的值。
2022-07-30 cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Hierarchical Modular Reinforcement Learning Method and Knowledge Acquisition of State-Action Rule for Multi-target Problem
Prefectural University of Hiroshima（广岛县立大学）；Iyo Bank, Ltd.（伊予银行有限公司）
分层模块化强化学习（Hierarchical Modular Reinforcement Learning，HMRL）由两层学习组成，其中利润分享在高层规划猎物位置，Q学习方法在低层训练状态动作到目标。本文将HMRL扩展到多目标问题，考虑目标间的距离。该函数称为“AT场”，可以根据两个代理之间的距离和另一个代理的优势/劣势来估计代理的利益。此外，与状态-动作规则相关的知识由C4.5提取。在这种情况下的行动是通过使用所获得的知识来决定的。为了验证所提出的方法的有效性，一些实验结果的报告。
2018-04-08 cs.AI cs.LG cs.MA
Designing an efficient and equitable humanitarian supply chain dynamically via reinforcement learning
本研究采用PPO强化学习动态设计人道主义供应链，与启发式算法对比，发现PPO模型始终优先考虑平均满意率，实现高效与公平。
2025-05-23 cs.AI cs.LG
Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics
DeepMind（深度思维）
许多现实世界的控制问题既涉及离散决策变量（如控制模式的选择、档位切换或数字输出），也涉及连续决策变量（如速度设定值、控制增益或模拟输出）。然而，当定义相应的最优控制或强化学习问题时，通常用完全连续或完全离散的动作空间来近似。这些简化旨在将问题定制为可能仅支持一种类型的动作空间的特定算法或求解器。或者，专家逻辑学被用来从连续空间中删除离散的动作。相比之下，我们建议通过混合强化学习解决混合问题，同时优化离散和连续动作。在我们的实验中，我们首先证明了所提出的方法有效地解决了这种原生混合强化学习问题。然后，我们显示，无论是在模拟和机器人硬件上，删除可能不完美的专家设计的prostitics的好处。最后，混合强化学习鼓励我们重新思考问题的定义。我们建议重新制定控制问题，例如，通过添加Meta动作，以提高勘探或减少机械磨损。
2020-01-02 cs.LG cs.RO stat.ML
Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们引入了一个在线流行度预测和跟踪任务，作为组合自然语言动作空间的强化学习的基准任务。推荐指定数量的被预测为流行的讨论线程，从要跟踪的最近评论的固定窗口中选择。研究了新的深度强化学习架构，用于对与由相互依赖的子动作组成的动作相关联的价值函数进行有效建模。所提出的模型通过双向LSTM表示子动作之间的依赖关系，在不同的实验配置和领域中提供了最佳性能，并且在不同数量的推荐请求中也具有很好的泛化能力。
2016-09-17 cs.AI cs.CL cs.LG
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Reducing Action Space for Deep Reinforcement Learning via Causal Effect Estimation
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）
针对深度强化学习中大型冗余动作空间导致的低效探索问题，提出基于因果效应估计的方法，通过预训练逆向动力学模型并估计每个动作的因果效应来抑制冗余动作，理论分析与实验验证了其有效性。
2025-01-24 cs.LG
Model-based Reinforcement Learning for Parameterized Action Spaces
Brown University（布朗大学）
提出基于模型的DLPA算法，通过参数化动作条件动态模型和改进的模型预测路径积分控制，在PAMDP基准上实现更优的样本效率与渐近性能。
2024-05-24 cs.AI cs.LG
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理，而无需任何交互。为了解决OOD（分布外）行动的高估问题，保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外，这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计（DCE），它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时，引入了V-函数，避免了分布内作用的误差。此外，我们的算法使用了一个可控的惩罚项，改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明，两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Reinforcement Learning in Factored Action Spaces using Tensor Decompositions
University of Oxford（牛津大学）；UCL（伦敦大学学院）；NVIDIA（英伟达）
我们提出了以前发表的工作TESSERACT [Mahajan等人，2021]，它提出了一种新的解决方案，强化学习（RL）在大，因子动作空间使用张量分解。本摘要的目标是双重的：（1）在张量研究社区中获得更大的兴趣，以创建近似RL的方法和分析，（2）阐明可以使用张量分解的因子作用空间的广义设置。我们使用合作多智能体强化学习场景作为示例性设置，其中动作空间自然地分解为多个智能体，并且学习变得难以处理，而无需对候选解决方案的潜在假设空间进行近似。
2021-10-27 cs.LG cs.MA
Language-Conditioned Reinforcement Learning to Solve Misunderstandings with Action Corrections
Institute for Data Science Foundations（数据科学基础研究所）；Hamburg University of Technology（汉堡工业大学）
人与人之间的对话不仅仅是交谈和倾听。这是一个渐进的过程，参与者不断建立共识，以排除误解。目前智能机器人的语言理解方法没有考虑到这一点。有许多处理不理解的方法，但它们忽视了解决误解的渐进过程。在这篇文章中，我们提出了第一个形式化和实验验证的增量动作修复的机器人遵循强化学习的基础上。为了评估我们的方法，我们提出了一个基准环境的集合，用于在语言条件强化学习中进行动作校正，利用合成教师来生成语言目标及其相应的校正。我们表明，一个强化学习代理可以成功地学习理解误解的指令增量更正。
2022-11-18 cs.LG cs.RO
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
