Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作，一系列的原始动作，已被研究，以减少关于时间轴的动作空间的维数。然而，以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习（FaMARL），它自主学习一系列动作的分解因子表示，以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
BraVE: Offline Reinforcement Learning for Discrete Combinatorial Action Spaces
University of Virginia（弗吉尼亚大学）；MBZUAI（马克斯·普朗克智能系统研究所）
BraVE通过树状结构动作遍历，在离线强化学习中有效处理离散组合动作空间，实现性能提升20倍。
2026-01-07 cs.LG
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文介绍了一种新的强化学习架构，该架构具有深度神经网络，旨在处理以自然语言为特征的状态和动作空间，如基于文本的游戏中所发现的。该架构被称为深度强化相关网络（DRRN），它用独立的嵌入向量表示动作和状态空间，并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN，显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明，该模型是在提取意义，而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
最大熵（MaxEnt）强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而，动作熵不一定与状态熵一致，例如，当多个动作产生相同的过渡时。相反，我们建议最大化过渡熵，即，下一个状态的熵我们表明，过渡熵可以描述为两个术语，即，依赖于模型的过渡熵和动作冗余。特别是，我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法，以尽量减少行动冗余，并证明其有效性的合成环境与多个冗余的行动，以及当代基准在雅达利和Mujoco。我们的研究结果表明，动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
Reinforcement Learning with Parameterized Actions
University of Witwatersrand（威特沃特斯兰德大学）；Duke University（杜克大学）
我们介绍了一个无模型的学习算法在马尔可夫决策过程的参数化行动-离散行动与连续参数。在每个步骤中，代理必须选择要使用的操作以及要与该操作一起使用的参数。我们介绍了Q-PAMDP算法在这些领域的学习，表明它收敛到一个局部最优，并比较它的目标得分和平台域的直接政策搜索。
2015-11-26 cs.AI cs.LG
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington（德克萨斯大学阿灵顿分校）
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习（RL）的一大挑战。主要是，不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互，这有效地（重新）将概念漂移引入到底层的策略学习过程中。我们假设，通过用额外的“自由度“来表征和表示动作，可以实现控制策略的更高适应性，从而以更大的灵活性来适应动作的“行为”结果的变化，包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后引入强化场的概念，作为一个物理启发的结构，通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验，随着时间的推移，以自组织的方式演变。使用强化场作为基底，我们将通过将过去的记忆视为隐式图结构，进一步概括策略搜索以纳入高级决策概念，其中记忆实例或粒子，与定义和量化的关联性/相似性程度相互关联，使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Hybrid Actor-Critic Reinforcement Learning in Parameterized Action Space
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种混合架构的演员-评论家算法的强化学习在参数化的动作空间，它由多个并行的子演员网络分解结构化的动作空间成简单的动作空间，以及一个评论家网络，以指导所有子演员网络的训练。虽然本文主要集中在参数化的动作空间，所提出的架构，我们称之为混合演员评论家，可以扩展到更一般的动作空间，具有层次结构。我们提出了一个基于近端策略优化（PPO）的混合Actor-Critic架构的实例，我们称之为混合近端策略优化（H-PPO）。我们的实验在具有参数化动作空间的任务集合上测试H-PPO，其中H-PPO表现出优于先前的参数化动作强化学习方法的性能。
2019-05-30 cs.AI cs.LG stat.ML
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
Jointly-Learned State-Action Embedding for Efficient Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Dataminr
虽然强化学习近年来取得了相当大的成功，但最先进的模型通常仍然受到状态和动作空间大小的限制。无模型强化学习方法使用某种形式的状态表示，最新的工作探索了动作的嵌入技术，目的是实现更好的泛化和适用性。然而，这些方法只考虑状态或动作，在生成嵌入式表示时忽略了它们之间的交互。在这项工作中，我们建立了理论基础的有效性训练强化学习代理使用嵌入的状态和动作。然后，我们提出了一种新的方法，用于联合学习嵌入的状态和动作，结合了无模型和基于模型的强化学习，它可以应用于离散和连续域的方面。具体来说，我们使用的环境模型，以获得嵌入的状态和动作，并提出了一个通用的架构，利用这些来学习的政策。通过这种方式，通过我们的方法获得的嵌入式表示通过捕获嵌入空间中的相似性，可以更好地概括状态和动作。对我们的方法在几个游戏，机器人控制和推荐系统上的评估表明，它在具有大状态/动作空间的离散/连续域中显着优于最先进的模型，从而证实了它的有效性。
2021-08-20 cs.AI cs.LG
Learning Action Representations for Reinforcement Learning
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
大多数无模型强化学习方法利用状态表示（嵌入）进行泛化，但要么忽略动作空间中的结构，要么假设结构是先验提供的。我们展示了一个政策可以分解成一个组件，在一个低维空间的动作表示和一个组件，这些表示转化为实际行动的行为。这些表示通过允许代理推断与已经采取的行动类似的行动的结果来改善大型有限行动集的泛化。我们提供了一个算法来学习和使用动作表示，并提供其收敛的条件。所提出的方法的有效性证明了对大规模的现实世界的问题。
2019-05-14 cs.LG stat.ML
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Google research（谷歌研究）；Deepmind（深度思维）；The Technion - Israel Institute of Technology（以色列理工学院）
当每个状态下有许多可用动作时，学习如何行动对于强化学习（RL）代理来说是一项具有挑战性的任务，特别是当许多动作是冗余或不相关的时候。在这种情况下，有时更容易了解哪些行动不采取。在这项工作中，我们提出了一种消除干扰的深度Q网络（AE-DQN）架构，该架构将深度RL算法与消除次优动作的动作消除网络（AEN）相结合。AEN被训练来预测无效的动作，由环境提供的外部消除信号监督。仿真结果表明，在基于文本的游戏超过一千个离散的动作香草DQN相当大的加速和增加的鲁棒性。
2019-02-24 cs.LG stat.ML
Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们引入了一个在线流行度预测和跟踪任务，作为组合自然语言动作空间的强化学习的基准任务。推荐指定数量的被预测为流行的讨论线程，从要跟踪的最近评论的固定窗口中选择。研究了新的深度强化学习架构，用于对与由相互依赖的子动作组成的动作相关联的价值函数进行有效建模。所提出的模型通过双向LSTM表示子动作之间的依赖关系，在不同的实验配置和领域中提供了最佳性能，并且在不同数量的推荐请求中也具有很好的泛化能力。
2016-09-17 cs.AI cs.CL cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Multi-Pass Q-Networks for Deep Reinforcement Learning with Parameterised Action Spaces
University of the Witwatersrand（金山大学）；Brown University（布朗大学）
强化学习中的参数化动作由具有连续动作参数的离散动作组成。这为解决需要将高级操作与灵活控制相结合的复杂领域提供了一个框架。最近的P-DQN算法扩展了深度Q网络，以在这样的动作空间上学习。然而，它将所有动作参数视为Q网络的单个联合输入，从而使其理论基础无效。我们分析了这种方法的问题，并提出了一种新的方法，多通道深度Q网络，或MP-DQN，来解决这些问题。我们的经验表明，MP-DQN显着优于P-DQN和其他以前的算法在数据效率和收敛的政策性能的平台，机器人足球目标，半场进攻域。
2019-05-10 cs.LG stat.ML
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Hierarchical Approaches for Reinforcement Learning in Parameterized Action Space
George Mason University（乔治梅森大学）
我们在参数化的动作空间中探索深度强化学习。具体来说，我们研究如何在这些任务中实现样本高效的端到端培训。我们提出了一个新的紧凑型架构的任务，其中参数政策的离散行动政策的输出为条件。我们还提出了两个新的方法的基础上，国家的最先进的算法信任域策略优化（TRPO）和随机值梯度（SVG）的训练这样的架构。我们证明，这些方法优于国家的最先进的方法，参数化的行动DDPG，测试域。
2018-10-23 cs.AI cs.LG stat.ML
Model-based Reinforcement Learning for Parameterized Action Spaces
Brown University（布朗大学）
提出基于模型的DLPA算法，通过参数化动作条件动态模型和改进的模型预测路径积分控制，在PAMDP基准上实现更优的样本效率与渐近性能。
2024-05-24 cs.AI cs.LG
Reinforcement Learning in Factored Action Spaces using Tensor Decompositions
University of Oxford（牛津大学）；UCL（伦敦大学学院）；NVIDIA（英伟达）
我们提出了以前发表的工作TESSERACT [Mahajan等人，2021]，它提出了一种新的解决方案，强化学习（RL）在大，因子动作空间使用张量分解。本摘要的目标是双重的：（1）在张量研究社区中获得更大的兴趣，以创建近似RL的方法和分析，（2）阐明可以使用张量分解的因子作用空间的广义设置。我们使用合作多智能体强化学习场景作为示例性设置，其中动作空间自然地分解为多个智能体，并且学习变得难以处理，而无需对候选解决方案的潜在假设空间进行近似。
2021-10-27 cs.LG cs.MA
Macro-Action-Based Deep Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences（科里计算机科学学院）；Northeastern University（东北大学）
在现实世界的多机器人系统中，执行高质量的协作行为要求机器人在不同的持续时间异步推理高层动作选择。MacDec-POMDPs（MacDec-Decentralized Partially Observable Markov Decision Processes）为完全协作的多智能体任务中的不确定性异步决策提供了一个通用框架。然而，多智能体深度强化学习方法仅针对（同步）连续动作问题开发。本文提出了两种基于深度Q网络（DQN）的方法，用于学习分散式和集中式宏动作价值函数，并为每种情况引入了新的宏动作轨迹重放缓冲区。基准问题和更大的域上的评估表明，与连续动作和我们的方法的可扩展性的宏动作的学习的优势。
2021-10-16 cs.AI cs.LG cs.RO
Language-Conditioned Reinforcement Learning to Solve Misunderstandings with Action Corrections
Institute for Data Science Foundations（数据科学基础研究所）；Hamburg University of Technology（汉堡工业大学）
人与人之间的对话不仅仅是交谈和倾听。这是一个渐进的过程，参与者不断建立共识，以排除误解。目前智能机器人的语言理解方法没有考虑到这一点。有许多处理不理解的方法，但它们忽视了解决误解的渐进过程。在这篇文章中，我们提出了第一个形式化和实验验证的增量动作修复的机器人遵循强化学习的基础上。为了评估我们的方法，我们提出了一个基准环境的集合，用于在语言条件强化学习中进行动作校正，利用合成教师来生成语言目标及其相应的校正。我们表明，一个强化学习代理可以成功地学习理解误解的指令增量更正。
2022-11-18 cs.LG cs.RO
Linear Reinforcement Learning with Ball Structure Action Space
Massachusetts Institute of Technology（麻省理工学院）；Amazon（亚马逊）
研究了具有线性函数逼近的强化学习（RL）问题，即假设在已知的$d$维特征映射中，最优动作价值函数是线性的。然而，不幸的是，仅仅基于这个假设，即使在生成模型下，最坏情况下的样本复杂度也被证明是指数级的。我们不再对MDP或价值函数做进一步的假设，而是假设我们的动作空间总是存在可玩的动作来探索特征空间的任何方向。我们将这个假设形式化为一个“球结构”的动作空间，并表明能够自由地探索特征空间可以实现高效的RL。特别是，我们提出了一个样本有效的RL算法（BallRL），学习$ε$ -最优策略，只使用$\tilde{O}\left(\frac{H^5d^3}{ε^3}\right)$数量的轨迹。
2022-11-14 cs.LG
Learning Routines for Effective Off-Policy Reinforcement Learning
King’s College London（伦敦国王学院）
强化学习的性能取决于设计一个适当的动作空间，其中每个动作的效果是可测量的，但粒度足以允许灵活的行为。到目前为止，这个过程涉及到用户在可用操作及其执行频率方面的重要选择。我们提出了一个新的强化学习框架，有效地解除了这些限制。在我们的框架内，代理学习有效的行为在一个常规空间：一个新的，更高层次的动作空间，其中每个例程代表一组“等效”序列的粒度动作与任意长度。我们的常规空间是端到端学习的，以促进实现底层的非策略强化学习目标。我们将我们的框架应用于两个最先进的非策略算法，并表明所产生的代理获得相关的性能改进，同时需要更少的交互与环境每集，提高计算效率。
2021-06-05 cs.LG
Deep Reinforcement Learning With Macro-Actions
University of Massachusetts（马萨诸塞大学）
深度强化学习已被证明是一个强大的框架，用于从复杂的高维感官输入到复杂任务（如Atari域）中的动作学习策略。在本文中，我们探索了时间抽象形式的输出表示建模，以提高深度强化学习方法的收敛性和可靠性。我们专注于宏观行动，并评估这些不同的雅达利2600游戏，在那里我们表明，他们在学习速度产生显着的改善。此外，我们还证明了它们甚至可以获得比DQN更好的分数。我们对收敛性和最终结果进行了分析和解释，揭示了深度RL方法在稀疏奖励信号方面存在的问题。
2016-06-15 cs.AI cs.LG cs.NE
Action Pick-up in Dynamic Action Space Reinforcement Learning
Hohai University（河海大学）；The Hong Kong Polytechnic University（香港理工大学）；Wuhan University（武汉大学）
针对动态动作空间强化学习中新动作选择效率低的问题，提出动作拾取（AP）算法，利用先验最优策略设计全局与局部方法，自主选择有价值动作，显著提升了学习效率。
2023-04-03 cs.AI cs.LG
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
深度强化学习（DRL）方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中，那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左（这是前两个动作的组合）的动作。在这些领域中的控制策略的表示传统上被建模，而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式，因子化动作空间表示（FAR），其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量，类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作，而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进：FARA 3C在14个任务中的9个任务中优于A3 C（异步优势演员评论），FARAQL在13个任务中的9个任务中优于AQL（异步n步Q学习）。
2017-05-20 cs.AI cs.LG
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而，这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声，而A3 C在高斯策略下不满足连续性条件。为了解决这些问题，我们提出了一种新的连续强化学习方法的基础上随机微分方程，我们称之为增量强化学习（IRL）。该方法既保证了动作在任意时间间隔内的连续性，又控制了训练过程中动作的方差。此外，我们的方法不假设马尔可夫控制在代理的动作控制，并允许代理预测场景变化的动作选择。有了我们的方法，智能体不再被动地适应环境。相反，他们积极地与环境互动，以获得最大的回报。
2019-08-08 cs.LG stat.ML
SEAR: Sample Efficient Action Chunking Reinforcement Learning
Autonomous Learning Robots, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院自主学习机器人实验室）
SEAR 是一种样本高效的在线强化学习算法，通过利用动作分块的时间结构和滚动时间 horizon，有效结合小和大分块大小的优势，在 Metaworld 上优于现有方法。
2026-11-05 cs.LG
Reinforcement learning with experience replay and adaptation of action dispersion
Warsaw University of Technology（华沙工业大学）
有效的强化学习需要通过动作分布的分散来定义探索和利用的适当平衡。然而，这种平衡取决于任务、学习过程的当前阶段和当前环境状态。指定动作分布分散度的现有方法需要依赖于问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分散度：该分布应具有足够的分散度，以评估未来的政策。为此，应该调整分散以确保重放缓冲器中的动作的足够高的概率（密度）和生成它们的分布的模式，但该分散不应该更高。通过这种方式，可以根据缓冲区中的操作有效地评估策略，但是当此策略收敛时，操作中的探索随机性会降低。上述原则在具有挑战性的基准测试Ant、HalfCheetah、Hopper和Walker2D上得到了验证，结果良好。我们的方法使动作标准差收敛到类似于试错优化的值。
2022-07-30 cs.LG
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University（重庆大学）
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题，并取得了巨大的成功。然而，大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习（drl）应用于混合行动空间的多智能体问题的研究还很少。因此，我们提出了一种新的算法：深度多智能体混合软Actor-Critic（MAHSAC）来填补这一空白。该算法遵循集中式训练分散式执行（CTDE）的思想，扩展了软Actor-Critic算法（SAC），使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的，它具有连续的观察和离散的动作空间，以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时，它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
Deep Reinforcement Learning in Parameterized Action Space
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文首次将深度强化学习成功扩展到参数化动作空间MDP，通过在模拟RoboCup足球中学习离散动作类型与连续参数的联合策略，使智能体进球可靠性超过2012年RoboCup冠军。
2024-05-03 cs.AI cs.LG cs.MA
Reinforcement Learning with Information-Theoretic Actuation
Australian National University（澳大利亚国立大学）；Deepmind
强化学习通过观察、奖励和行动来形式化具体代理与环境的交互。但这些行动从何而来？动作通常被认为是代表外部的东西，如肢体的运动，棋子，或更一般地说，执行器的输出。在这项工作中，我们探索和形式化的对比视图，即行动最好认为是一个序列的内部选择相对于一个行动模型的输出。这种观点特别适合利用大序列模型的最新进展作为多任务强化学习问题的先验知识。我们在这项工作中的主要贡献是展示如何增加标准的MDP形式主义与内部行动的顺序概念，使用信息理论的技术，这导致自洽的定义内部和外部的行动价值函数。
2021-09-30 cs.AI cs.LG
Reinforcement Learning with Combinatorial Actions: An Application to Vehicle Routing
MIT Operations Research Center（麻省理工学院运筹学中心）；Google Research（谷歌研究院）
基于值函数的方法长期以来在强化学习中发挥着重要作用。然而，当动作空间对于枚举来说太大时，找到给定任意复杂度的价值函数的最佳下一动作是不平凡的。我们开发了一个具有组合动作空间的基于值函数的深度强化学习框架，其中动作选择问题被显式地表示为混合整数优化问题。作为一个激励的例子，我们提出了一个应用程序的能力限制的车辆路径问题（CVRP），一个组合优化问题，其中一组位置必须由一个单一的车辆有限的能力。在每一个实例中，我们的行动建模为一个单一的路由建设，并考虑一个确定性的政策，通过一个简单的政策迭代算法进行改进。我们的方法与其他强化学习方法相比具有竞争力，并且在中等大小的标准库实例上与最先进的OR方法的平均差距为1.7%。
2020-10-22 cs.AI cs.LG math.OC
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis（加州大学戴维斯分校）；Northwestern University（西北大学）
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题，证明最优策略存在性并给出Bellman最优方程，提出ARRLC算法实现极小极大最优遗憾与样本复杂度，实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control
University of Science and Technology of China（中国科学技术大学）；Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学网络空间先进技术研究院）
传统上，强化学习方法基于当前状态预测下一个动作。然而，在许多情况下，直接将动作应用于控制系统或机器人是危险的，并且可能导致意外的行为，因为动作是相当低级别的。在本文中，我们提出了一个新的分层强化学习框架没有明确的行动。我们的Meta策略试图操纵下一个最优状态，实际行动是由逆动力学模型产生的。为了稳定训练过程，我们将对抗学习和信息瓶颈集成到我们的框架中。在我们的框架下，广泛可用的状态只有示范可以有效地利用模仿学习。此外，先验知识和约束可以应用于Meta策略。我们在模拟任务中测试了我们的算法，并将其与模仿学习相结合。实验结果表明了算法的可靠性和鲁棒性。
2020-11-02 cs.AI cs.LG cs.RO
DCT: Dual Channel Training of Action Embeddings for Reinforcement Learning with Large Discrete Action Spaces
本文提出DCT框架，通过编码器-解码器架构与双通道损失学习动作嵌入，平衡动作重建与状态预测，结合标准强化学习算法，在大离散动作空间中显著提升策略学习效果与收敛速度。
2023-06-28 cs.AI cs.LG
Reusability and Transferability of Macro Actions for Reinforcement Learning
National Tsing Hua University（国立清华大学）；Harvard University（哈佛大学）
传统的强化学习（RL）通常在每个时间步确定适当的原始动作。然而，通过使用适当的宏动作，定义为一系列的原始动作，代理能够绕过中间状态到更远的状态，并促进其学习过程。我们想要研究的问题是，宏观行动可能具有哪些相关的有益属性。在本文中，我们揭示了可重用性和可移植性的宏动作的属性。第一个属性，可重用性，意味着与一种RL方法一起生成的宏动作可以被另一种RL方法重用用于训练，而第二个属性，可转移性，意味着宏动作可以用于在具有不同奖励设置的类似环境中训练代理。在我们的实验中，我们首先生成宏动作以及RL方法。然后，我们提供了一组分析，以揭示所生成的宏动作的可重用性和可转移性的属性。
2022-04-28 cs.AI cs.LG cs.NE
Reducing Action Space for Deep Reinforcement Learning via Causal Effect Estimation
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）
针对深度强化学习中大型冗余动作空间导致的低效探索问题，提出基于因果效应估计的方法，通过预训练逆向动力学模型并估计每个动作的因果效应来抑制冗余动作，理论分析与实验验证了其有效性。
2025-01-24 cs.LG
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology（佐治亚理工学院）
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此，其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML，其中人类教师通过演示，批评或行动建议在训练中发挥直接作用，可能会减轻代理对别名的敏感性。然而，交互式机器学习只有在人类交互的数量有限时才是实用的，需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验，这两种算法使人类教师能够在视觉锯齿条件下给出行动建议，反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷，我们改变了各种人类行动建议技术的准确性和频率。训练效率，对不频繁和不准确的顾问输入的鲁棒性，以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Progressive extension of reinforcement learning action dimension for asymmetric assembly tasks
Tsinghua University（清华大学）
强化学习（RL）一直是构造复杂任务（如非对称装配任务）的控制策略的优选实施例。然而，强化学习的收敛速度严重制约了其实际应用。在本文中，收敛速度的第一个加速RL和顺应性控制相结合。然后提出了一种全新的渐进扩展行为维（PEAD）机制来优化强化学习算法的收敛性。在DDPG和PPO中验证了PEAD方法。实验结果表明，PEAD方法可以提高强化学习算法的数据效率和时间效率，并增加稳定的奖励，这为强化学习的应用提供了更大的潜力。
2021-04-06 cs.LG cs.SY eess.SY
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理，而无需任何交互。为了解决OOD（分布外）行动的高估问题，保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外，这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计（DCE），它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时，引入了V-函数，避免了分布内作用的误差。此外，我们的算法使用了一个可控的惩罚项，改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明，两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
交互式小说游戏是基于文本的模拟，其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C，一个代理，建立一个动态的知识图谱，同时探索和生成使用基于模板的动作空间的行动。我们认为，知识图谱的双重用途，以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明，KG-A2 C优于当前的IF代理，尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
Comparing Observation and Action Representations for Deep Reinforcement Learning in $μ$RTS
Drexel University（德雷塞尔大学）
本文提出了一个初步的研究，比较不同的观察和动作空间表示的深度强化学习（DRL）在实时策略（RTS）游戏的背景下。具体来说，我们比较了两种表示：（1）全局表示，其中观察表示整个游戏状态，RL代理需要选择向哪个单元发出动作，以及执行哪些动作;（2）局部表示，其中观察从单个单元的角度表示，RL代理独立地为每个单元选择动作。我们评估这些表示在$μ$ RTS显示，当地的代表性似乎优于全球代表时，训练代理收获资源的任务。
2020-04-22 cs.AI cs.LG stat.ML
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California（南加州大学计算机科学系）
智力的一个基本特征是在面对新的环境时实现目标的能力，例如从新的行动选择中做出决定。然而，标准的强化学习假设一组固定的动作，并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性，我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架，代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策，以不同的行动集，然后训练泛化目标。我们对顺序任务进行基准泛化，例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
Action-Graph Policies: Learning Action Co-dependencies in Multi-Agent Reinforcement Learning
University of Southern California, Los Angeles, CA, USA（美国南加州大学）；DEVCOM Army Research Laboratory, Adelphi, MD, USA（美国陆军研究实验室）；DEVCOM ARL Army Research Office, Los Angeles, CA, USA（美国陆军研究办公室）
本文提出动作图策略，通过建模智能体动作间的依赖关系，提升多智能体强化学习中协调动作的性能和效率。
2026-02-22 cs.LG
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab（腾讯人工智能实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
大多数现有的深度强化学习（DRL）框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发，我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间，以前的工作要么近似的混合空间离散化，或放松到一个连续的集合。在本文中，我们提出了一个参数化的深度Q网络（P-DQN）框架的混合行动空间没有近似或松弛。该算法结合了DQN（处理离散动作空间）和DDPG（处理连续动作空间）的思想，将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Context-Sensitive Abstractions for Reinforcement Learning with Parameterized Actions
AAIR-lab（AAIR实验室）
本文提出了一种能够在线自主学习状态和动作抽象的方法，以提升长周期稀疏奖励环境下参数化动作的样本效率。
2026-04-24 cs.AI cs.LG
Constrained Exploration in Reinforcement Learning with Optimality Preservation
National University of Singapore（新加坡国立大学）
针对受限探索导致强化学习智能体只能找到次优策略的问题，提出保持最优性的约束探索方法，通过引入监督器扩展反馈控制结构，并证明在已知确定性环境下保持最优性的充要条件。
2023-04-05 cs.LG cs.SY eess.SY
Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出动作影响规律性（AIR）假设，将状态分为内生与外生部分，并基于拟合Q迭代设计算法，在模拟和真实环境中验证其优于现有离线强化学习方法。
2023-05-03 cs.LG
ActionSpotter: Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos
ONERA（法国航空航天实验室）；Sorbonne Université（索邦大学）；Université Paris Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
摘要视频内容是许多应用中的重要任务。该任务可以定义为计算视频中存在的动作的有序列表。可以使用动作检测算法来提取这样的列表。然而，没有必要确定动作的时间边界来知道它们的存在。此外，定位精确的边界通常需要密集的视频分析才能有效。在这项工作中，我们建议通过稀疏浏览视频并选择每个动作实例的一帧来直接计算此有序列表，该任务在文献中称为动作定位。为了做到这一点，我们提出了一种定位算法，它利用深度强化学习来有效地定位动作，同时调整其视频浏览速度，而无需额外的监督。在数据集THUMOS 14和ActivityNet上进行的实验表明，我们的框架优于最先进的检测方法。特别是，THUMOS 14上的点样平均精度从59.7%显著提高到65.6%，同时跳过23%的视频。
2020-11-10 cs.AI cs.CV cs.LG
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering（科学与工程研究生院）；Chiba University（千叶大学）；Graduate School of Informatics（信息科学研究生院）；Zuse Institute Berlin（柏林泽尼奇研究所）
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性，发现其比在线方法更脆弱，表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
Reinforcement Learning with Function-Valued Action Spaces for Partial Differential Equation Control
University of Alberta（阿尔伯塔大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Vector Institute（向量研究所）
最近的研究表明，强化学习（RL）是一种很有前途的方法来控制动力系统描述的偏微分方程（PDE）。本文展示了如何使用强化学习来解决更一般的PDE控制问题，这些问题具有连续的高维动作空间，动作维度之间具有空间关系。特别是，我们提出了动作描述符的概念，它编码的空间扩展的动作维度之间的冗余，使代理控制高维动作偏微分方程。我们提供的理论证据表明，这种方法可以更有效的样本相比，传统的方法，单独对待每个动作维度，并没有明确利用的动作空间的空间规律性。然后在深度确定性策略梯度算法中使用动作描述符方法。两个PDE控制问题的实验，高达256维的连续行动，所提出的方法比传统的优势。
2018-06-13 cs.AI cs.LG stat.ML
Taming OOD Actions for Offline Reinforcement Learning: An Advantage-Based Approach
Department of Electrical and Computer Engineering（电气与计算机工程系）；National University of Singapore（新加坡国立大学）
针对离线强化学习中分布外动作评估不准、高估且现有方法泛化受限的问题，提出基于优势的扩散演员-评论家算法ADAC，用下一状态价值间接评估动作并调节Q函数更新，在D4RL基准上达SOTA性能。
2025-10-06 cs.LG
