Discrete and Continuous Action Representation for Practical RL in Video Games
Ubisoft La Forge（育碧La Forge）
虽然目前强化学习（RL）的大多数研究都集中在提高算法在受控环境中的性能，但很少研究在视频游戏行业中遇到的约束下使用RL。在这样的约束下操作，我们提出了混合SAC，软演员批评算法的扩展，能够处理离散，连续和参数化的行动，在原则上的方式。我们表明，混合SAC可以成功地解决了高速驾驶任务在我们的游戏之一，是有竞争力的最先进的参数化行动基准任务。我们还探讨了使用规范化流的影响，以最小的计算成本来丰富的政策的表现力，并确定一个潜在的不期望的SAC与规范化流时，可以通过优化不同的目标来解决的影响。
2019-12-23 cs.AI cs.LG stat.ML
Continuous-action Reinforcement Learning for Playing Racing Games: Comparing SPG to PPO
University of Groningen（格罗宁根大学）
本文介绍了一种用于OpenAI Gym的新型赛车环境。这种环境以连续的动作和状态空间运行，并要求代理在导航随机生成的赛道时学习控制汽车的加速和转向。在此环境下测试了两种不同版本的行动者-评论者学习算法：采样策略梯度（SPG）和近端策略优化（PPO）。SPG的扩展，旨在提高学习性能的加权动作样本在政策更新步骤。使用经验重放（ER）的效果也进行了研究。为此，引入了对PPO的修改，允许通过在日志空间中优化演员来使用旧动作样本进行训练。最后，测试了一种用于执行ER的新技术，该技术旨在通过将训练分为两个部分来提高学习速度而不牺牲性能，即首先使用来自重放缓冲区的状态转换来训练网络，然后仅使用最近的经验。结果表明，在连续的动作空间中，经验重放不利于PPO。当动作被加权时，SPG的训练似乎更稳定。当使用ER时，所有版本的SPG都优于PPO。ER技巧在提高SPG计算强度较低版本的训练速度方面是有效的。
2020-01-15 cs.AI cs.LG stat.ML
Randomized Policy Learning for Continuous State and Action MDPs
University of Southern California（南加州大学）
深度强化学习方法已经在从视频游戏到运动的各种具有挑战性的高维领域取得了最先进的成果。成功的关键是使用深度神经网络来近似策略和价值函数。然而，为了获得好的结果，需要对权重进行实质性的调整。相反，我们使用随机函数逼近。这样的网络不仅比训练全连接网络更便宜，而且还提高了数值性能。我们提出了\texttt{RANDPOL}，一个广义的策略迭代算法的连续状态和动作空间的MDP。策略函数和价值函数都用随机网络表示。我们也给有限的时间保证算法的性能。然后，我们展示了在具有挑战性的环境中的数值性能，并将其与基于深度神经网络的算法进行了比较。
2020-11-16 cs.AI cs.LG stat.ML
Q-Learning in enormous action spaces via amortized approximate maximization
DeepMind（深度思维）
将Q学习应用于高维或连续动作空间可能很困难，因为需要在可能的动作集合上进行最大化。从摊销推理技术的动机，我们取代了昂贵的最大化所有的行动与最大化的一个小子集的可能的行动从学习建议分布采样。由此产生的方法，我们称之为分期Q学习（AQL），能够处理离散，连续或混合动作空间，同时保持Q学习的优点。我们对多达21维动作的连续控制任务的实验表明，AQL优于D3 PG（Barth-Maron et al，2018）和QT-Opt（Kalashnikov et al，2018）。在结构化离散动作空间上的实验表明，AQL可以在具有数千个离散动作的空间中有效地学习好的策略。
2020-01-22 cs.AI cs.LG stat.ML
Counterfactual Explanations for Continuous Action Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对连续动作强化学习可解释性不足的问题，提出一种基于最小偏差替代动作序列的反事实解释生成方法，经两个RL领域验证有效，助力提升RL的可解释性与可信度。
2025-05-19 cs.AI cs.LG
Low-Rank MDPs with Continuous Action Spaces
Morgan Stanley（摩根士丹利）；Cornell Tech（康奈尔科技学院）
本文将低秩MDP的PAC强化学习方法从有限动作空间扩展到连续动作空间，以FLAMBE算法为例，在Hölder平滑条件下无需修改算法即可获得多项式PAC界。
2024-04-01 cs.AI cs.LG stat.ML
Learning Agents With Prioritization and Parameter Noise in Continuous State and Action Space
International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）
针对连续状态和动作空间问题，提出结合优先级与参数噪声的DQN和DDPG方法，构建了更鲁棒的深度RL模型并显著超越早期结果。
2024-10-15 cs.AI cs.LG
Learnings Options End-to-End for Continuous Action Tasks
Reasoning and Learning Lab（推理与学习实验室）；McGill University（麦吉尔大学）
我们提出了新的结果学习时间延长行动的连续任务，使用选项框架（Suttonet等人。[1999 b]，Precup [2000]）。为了实现这一目标，我们与选择批评架构（Baconet等人。[2017]）使用审议成本并通过近端策略优化对其进行训练（Schulmanet al. [2017]）而不是普通的策略梯度。Mujoco域的结果是有希望的，但导致有趣的问题，当给定的选项应该被使用，一个问题直接连接到使用的启动集。
2017-11-30 cs.AI cs.LG
Action Candidate Driven Clipped Double Q-learning for Discrete and Continuous Action Tasks
Nanjing University of Science and Technology（南京理工大学）
双Q学习是马尔可夫决策过程（MDP）问题中一种流行的强化学习算法。Clipped Double Q-learning是Double Q-learning的一个有效变体，它使用Clipped Double Estimator来近似最大期望动作值。在某些随机环境中，由于截断双Q估计器的低估偏差，截断双Q学习的性能可能会下降。为了减小低估偏差，本文提出了一种基于动作候选的双Q学习裁剪双估计器。具体来说，我们首先从一组估计量中选择一组具有高动作值的精英动作候选者。然后，在这些候选者中，我们从另一组估计量中选择最高值的动作。最后，我们使用第二组估计器中的最大值来裁剪第一组估计器中所选动作的动作值，并且裁剪的值用于近似最大期望动作值。从理论上讲，我们的裁剪双Q学习中的低估偏差随着候选动作数量的减少而单调衰减。此外，候选行动的数量控制高估和低估偏差之间的权衡。此外，我们还通过近似精英连续动作候选人，将我们的裁剪双Q学习扩展到连续动作任务。我们的经验验证，我们的算法可以更准确地估计一些玩具环境中的最大预期动作值，并在几个基准问题产生良好的性能。
2022-03-22 cs.AI cs.LG
Continuous Control with Action Quantization from Demonstrations
Google Research（谷歌研究院）；Univ. de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
在本文中，我们提出了一种新的强化学习（RL）框架的问题与连续的行动空间：行动量化演示（AASHMDEM）。所提出的方法包括在学习一个离散化的连续动作空间从人类示威。这种离散化为每个输入状态返回一组合理的动作（根据演示），从而捕获演示者的先验知识及其多模态行为。通过离散化动作空间，任何离散动作深度RL技术都可以很容易地应用于连续控制问题。实验表明，该方法优于最先进的方法，如SAC在RL设置，和GAIL在模仿学习设置。我们提供了一个网站与互动视频：https://google-research.github.io/aquadem/和使代码可用：https://github.com/google-research/google-research/tree/master/aquadem.
2022-06-03 cs.AI cs.LG cs.RO
Contextual Bandits with Continuous Actions: Smoothing, Zooming, and Adapting
Microsoft Research（微软研究院）；University of Arizona（亚利桑那大学）
我们使用抽象策略类和连续动作空间来研究上下文强盗学习。我们得到两个性质不同的遗憾界：一个竞争的平滑版本的政策类下没有连续性假设，而其他需要标准的Lipschitz假设。这两个边界都表现出依赖于数据的“缩放”行为，并且在没有调优的情况下，对良性问题产生了更好的保证。我们还研究了适应未知的平滑参数，建立一个价格的自适应性和推导出最佳的自适应算法，不需要额外的信息。
2020-06-20 cs.LG stat.ML
Deep Multi-Agent Reinforcement Learning with Discrete-Continuous Hybrid Action Spaces
Tianjin University（天津大学）；Fuxi AI Lab in Netease（网易伏羲人工智能实验室）
深度强化学习（Deep Reinforcement Learning，DRL）已被应用于解决具有离散动作空间或连续动作空间的各种协作多智能体问题。然而，据我们所知，没有以前的工作已经成功地应用DRL多智能体问题的离散连续混合（或参数化）的行动空间，这是非常常见的实践。我们的工作填补了这一空白，提出了两个新的算法：深度多智能体参数化Q网络（深度MAPQN）和深度多智能体层次混合Q网络（深度MAHHQN）。我们遵循集中式训练但分散式执行的范式：不同代理之间的不同级别的通信用于促进训练过程，而每个代理在执行过程中根据本地观察独立执行其策略。我们对几个具有挑战性的任务（模拟RoboCup足球和游戏Ghost Story）的实证结果表明，Deep MAPQN和Deep MAHHQN都是有效的，并且显著优于现有的独立深度参数化Q学习方法。
2019-03-12 cs.AI cs.LG cs.MA
Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
Graduate School of Business Columbia University（哥伦比亚大学商学院）
本文提出混合策略优化方法HPO，通过混合梯度估计器解决高维空间中离散-连续动作的策略优化问题，实验显示其在库存控制和切换线性二次调节问题中优于PPO。
2026-05-14 cs.AI cs.LG math.OC
Action-Driven Processes for Continuous-Time Control
本文提出行动驱动过程，统一随机过程与强化学习视角，应用于脉冲神经网络，并证明最小化KL散度等价于最大熵强化学习。
2026-10-07 cs.LG stat.ML
Action Robust Reinforcement Learning and Applications in Continuous Control
Technion Institute of Technology（以色列理工学院）
如果一个策略在考虑一个坏的，甚至是敌对的模型的同时最大化了回报，那么这个策略就被认为是稳健的。在这项工作中，我们正式提出了两个新的标准的鲁棒性动作的不确定性。具体来说，我们考虑两种情况下，代理试图执行一个动作$a$，和（i）概率$α$，一个替代的敌对行动$\bar a$采取，或（ii）对手添加一个扰动的情况下，连续的动作空间的选定的动作。我们表明，我们的标准是相关的机器人领域的不确定性的常见形式，如突然的力量的发生，并建议在表格的情况下的算法。在建议的算法的基础上，我们将我们的方法推广到深度强化学习（DRL），并在各个MuJoCo领域提供了广泛的实验。我们的实验表明，我们的方法不仅产生强大的政策，但它也提高了性能，在没有扰动。这种推广表明，行动鲁棒性可以被认为是RL问题中的隐式正则化。
2019-05-07 cs.LG stat.ML
A0C: Alpha Zero in Continuous Action Space
Dep. of Computer Science, Delft University of Technology, The Netherlands（代尔夫特理工大学计算机科学系，荷兰）；Dep. of Computer Science, Leiden University, The Netherlands（莱顿大学计算机科学系，荷兰）
本文提出将Alpha Zero扩展到连续动作空间的理论方法，并在倒摆任务中验证了其可行性，为连续动作空间中的迭代搜索与学习应用奠定了基础。
2018-05-24 cs.AI cs.LG cs.RO
Contextual Bandits with Smooth Regret: Efficient Learning in Continuous Action Spaces
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
设计有效的通用上下文强盗算法，与大-甚至连续-动作空间将有助于应用到重要的场景，如信息检索，推荐系统和连续控制。虽然获得标准的遗憾保证可能是无望的，但已经提出了替代遗憾概念来解决大动作设置。我们提出了一个顺利的遗憾的概念，上下文土匪，占主导地位的先前提出的替代品。我们设计了一个统计和计算效率高的算法-建议顺利遗憾-工程与一般函数近似下的标准监督神谕。我们还提出了一个自适应算法，自动适应任何平滑度。我们的算法可以用来恢复以前的最小最大/帕累托最优保证下的标准遗憾，例如，在多个最佳武器的强盗问题和Lipschitz/H{<$}lder强盗问题中。我们进行大规模的实证评估，证明我们提出的算法的有效性。
2022-07-12 cs.LG stat.ML
Higher-Order Action Regularization in Deep Reinforcement Learning: From Continuous Control to Building Energy Management
Centre for Computational Science and Mathematical Modelling（计算科学与数学建模中心）；Coventry University（科文特大学）
本研究提出高阶动作正则化方法，通过优化连续控制和建筑能耗管理，实现更平滑的动作策略，减少设备切换并提升实际应用效果。
2026-01-05 cs.AI cs.LG
Select before Act: Spatially Decoupled Action Repetition for Continuous Control
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）
提出SDAR框架，通过为每个动作维度单独执行闭环执行或重复选择来实现空间解耦动作重复，在连续控制任务中有效平衡了动作持久性与多样性，提升了样本效率和策略性能。
2025-03-06 cs.AI cs.LG cs.RO
Action Mapping for Reinforcement Learning in Continuous Environments with Constraints
TUM School of Engineering and Design（慕尼黑工业大学工程与设计学院）；Technical University of Munich（慕尼黑工业大学）；University of California, Berkeley（加州大学伯克利分校）
针对连续约束环境下 DRL 样本效率低、收敛慢的问题，提出利用可行性模型的动作映射训练策略，将可行动作学习与策略优化解耦，显著提升训练性能。
2024-12-05 cs.AI cs.LG cs.SY
Wasserstein Actor-Critic: Directed Exploration via Optimism for Continuous-Actions Control
University of Bologna（博洛尼亚大学）；Politecnico di Milano（米兰理工大学）
在强化学习（RL）中，不确定性量化作为一种有效的有向探索方法被广泛应用。然而，用于连续动作的最先进的方法仍然受到高样本复杂性要求的困扰。事实上，他们要么完全缺乏在整个更新过程中传播认知不确定性的策略，要么在学习完整的回报分布时将其与任意不确定性混合在一起（例如，分布式RL）。在本文中，我们提出了Wasserstein演员批评（WAC），演员批评架构的灵感来自最近的Wasserstein Q学习（WQL）\citep{wql}，采用近似Q后验表示认知的不确定性和Wasserstein重心的不确定性传播的状态-动作空间。WAC通过优化Q值估计的上限来指导策略学习过程，从而以原则性的方式强制执行探索。此外，我们研究了一些特殊的问题时，使用函数逼近，加上不确定性估计，并提出了正则化损失的不确定性估计。最后，我们评估我们的算法在标准的MujoCo任务，以及一套连续的动作域，探索是至关重要的，与国家的最先进的基线相比。
2023-03-04 cs.AI cs.LG
Distributions as Actions: A Unified Framework for Diverse Action Spaces
Department of Computing Science University of Alberta（计算科学系阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；CIFAR AI Chair, Amii（CIFAR人工智能主席，Amii）
本文提出了一种新型强化学习框架，将参数化动作分布视为动作，重新定义了智能体与环境的边界。通过这种重新参数化，新的动作空间连续，无论原始动作类型如何。基于此，开发了通用确定性策略梯度估计器DA-PG，并提出DA-AC算法，在多种控制场景中表现优异。
2026-05-14 cs.AI cs.LG
Invariance to Quantile Selection in Distributional Continuous Control
Ruhr West University of Applied Sciences（鲁尔西应用科学大学）
近年来，分布式强化学习产生了许多最先进的成果。随着时间的推移，越来越多的样本有效的离散动作域的分布算法已经开发出来，这些算法主要在它们参数化值分布近似值的方式以及它们如何量化这些分布之间的差异方面有所不同。在这项工作中，我们转移三个最著名的和成功的这些算法（QR-DQN，IQN和CQNF）的连续动作域扩展两个强大的演员评论家算法（TD 3和SAC）与分布的批评。我们调查是否相对性能的离散动作空间的方法转化为连续的情况下。为此，我们在一组连续控制任务的pybullet实现上进行了经验比较。我们的研究结果表明定性不变性的数量和位置的分布原子的确定性，连续的行动设置。
2022-12-29 cs.AI cs.LG
Voronoi Progressive Widening: Efficient Online Solvers for Continuous State, Action, and Observation POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文介绍了Voronoi渐进加宽（VPW），Voronoi乐观优化（VOO）和行动渐进加宽部分可观测马尔可夫决策过程（POMDPs）的推广。树搜索算法可以使用VPW有效地处理连续或混合动作空间，有效地平衡局部和全局动作搜索。本文提出了两种基于VPW的算法，并从理论和仿真的角度进行了分析。Voronoi乐观加权稀疏采样（VOWSS）是一种理论工具，证明了基于VPW的在线求解器，它是第一个具有连续状态，动作和观测POMDPs全局收敛保证的算法。VOMCPOW是一种多功能和高效的算法，在几个仿真实验中始终优于最先进的POMDP算法。
2021-04-01 cs.AI cs.LG cs.RO
On the Geometry of Reinforcement Learning in Continuous State and Action Spaces
该研究从几何视角研究连续状态动作空间的强化学习，证明可达状态低维流形维数上界，提出结合低维表示与DDPG的策略学习算法，在MuJoCo任务上取得等效或更优效果。
2024-08-10 cs.AI cs.LG
Proximal Policy Optimization with Continuous Bounded Action Space via the Beta Distribution
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
近年来，用于连续控制任务的强化学习方法已经发展，产生了一系列策略梯度方法，这些方法主要依赖于高斯分布来对随机策略进行建模。然而，高斯分布具有无限支持，而现实世界的应用程序通常具有有界的动作空间。这种不协调会导致估计偏差，如果将Beta分布用于策略，则可以消除这种偏差，因为它提供了有限的支持。在这项工作中，我们研究了当该Beta策略在OpenAI gym的两个连续控制任务上接受近端策略优化（PPO）算法训练时的性能如何。对于这两个任务，Beta策略在智能体的最终期望奖励方面优于高斯策略，也显示出更稳定和更快的训练过程收敛。对于具有高维图像输入的CarRacing环境，代理的成功率比高斯策略提高了63%。
2021-11-03 cs.AI cs.LG
Discretizing Continuous Action Space with Unimodal Probability Distributions for On-Policy Reinforcement Learning
Nanjing University（南京大学）；Research Center for Novel Technology of Intelligent Equipment, Nanjing University（南京大学智能装备新技术研究中心）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出利用 Poisson 单峰概率分布约束离散策略，以保留连续动作空间的顺序与连续性，从而降低策略梯度方差并提升同策略强化学习在复杂控制任务中的收敛速度与性能。
2024-08-01 cs.AI cs.LG
Scores as Actions: a framework of fine-tuning diffusion models by continuous-time reinforcement learning
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of CS, Stony Brook University（石溪大学计算机科学系）
该研究将扩散模型微调任务建模为连续时间随机控制问题，提出把分数匹配函数作为动作的统一RL微调框架，并构建了对应的连续时间RL理论，相关文本到图像生成实验将在配套论文呈现。
2024-09-12 cs.AI cs.LG
A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space
XJTLU（西交利物浦大学）
研究连续动作空间合作任务中反事实信用分配难题，提出SAFE框架，利用自进化默认动作构建反事实基线，解决偏差和收敛问题，实验证明其性能优于现有模型。
2026-07-28 cs.LG cs.MA
Tight Performance Guarantees of Imitator Policies with Continuous Actions
Politecnico di Milano（米兰理工大学）
行为克隆（BC）旨在学习模仿专家演示的行为的策略。目前对BC的理论理解仅限于有限作用的情况。在本文中，我们研究BC的目标是在连续行动的情况下，模仿者政策的性能提供理论保证。我们首先推导出一个新的约束的性能差距的基础上Wasserstein距离，适用于连续行动的专家，假设下举行的价值函数是Lipschitz连续的。由于后一个条件在实践中很难实现，即使对于Lipschitz马尔可夫决策过程和政策，我们提出了一个宽松的设置，证明了价值函数总是持有人连续的。这一结果是独立的利益，并允许获得BC的模仿者政策的性能的一般约束。最后，我们分析了噪声注入，一种常见的做法，其中专家的行动是在应用程序的噪声内核后的环境中执行。我们表明，这种做法可以得到更强的性能保证，在价格的偏见，由于噪声的增加。
2022-12-07 cs.LG
Deep reinforcement learning for weakly coupled MDP's with continuous actions
UPV/EHU, Univ. of the Basque Country（巴斯克大学）；UPPA, Université de Pau et des Pays de l’Adour（波城与阿杜尔地区大学）；IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3（图卢兹第三大学）；IKERBASQUE - Basque Foundation for Science（巴斯克科学基金会）；INRIA Sophia Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）
本文针对连续动作弱耦合 MDP 的资源约束问题，提出基于拉格朗日松弛和神经网络 Q 值计算的 LPCA 算法，并通过差分进化与贪婪变体验证其资源分配和奖励优化优势。
2024-06-12 cs.AI cs.LG cs.MA
Action Candidate Based Clipped Double Q-learning for Discrete and Continuous Action Tasks
Nanjing University of Science and Technology（南京理工大学）
双Q学习是马尔可夫决策过程（MDP）问题中一种流行的强化学习算法。Clipped Double Q-learning是Double Q-learning的一个有效变体，它使用Clipped Double Estimator来近似最大期望动作值。由于截断双Q估计器的低估偏差，在某些随机环境中，截断双Q学习的性能可能会下降。为了减少低估偏差，本文提出了一种基于动作候选的双Q学习裁剪双估计器。具体来说，我们首先从一组估计器中选择一组具有高动作值的精英动作候选者。然后，在这些候选者中，我们从另一组估计量中选择最高值的动作。最后，我们使用第二组估计器中的最大值来裁剪第一组估计器中所选动作的动作值，并且裁剪的值用于近似最大期望动作值。从理论上讲，我们的裁剪双Q学习中的低估偏差随着候选动作数量的减少而单调衰减。此外，候选行动的数量控制高估和低估偏差之间的权衡。此外，我们还通过近似精英连续动作候选人，将我们的裁剪双Q学习扩展到连续动作任务。我们的经验验证，我们的算法可以更准确地估计一些玩具环境中的最大预期动作值，并在几个基准问题产生良好的性能。
2021-05-03 cs.LG
Aligning an optical interferometer with beam divergence control and continuous action space
Russian Quantum Center（俄罗斯量子中心）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；University of Oxford（牛津大学）
强化学习正在寻找一条通往现实世界问题应用的道路，从模拟环境转移到物理设置。在这项工作中，我们实现了基于视觉的光学马赫-曾德尔干涉仪与共焦望远镜在一个手臂，控制相应的光束的直径和发散度的对齐。我们使用连续的动作空间;指数缩放使我们能够处理超过两个数量级的动作。我们的代理仅在具有域随机化的模拟环境中进行训练。在实验评估中，代理显着优于现有的解决方案和人类专家。
2021-11-16 cs.AI cs.LG cs.RO
TAAC: Temporally Abstract Actor-Critic for Continuous Control
Horizon Robotics（地平线机器人）
我们提出了时间抽象的演员-评论家（TAAC），一个简单但有效的离线策略强化学习算法，将闭环时间抽象到演员-评论家框架。TAAC添加了第二阶段的二元策略，用于在先前的操作和参与者输出的新操作之间进行选择。至关重要的是，它的“act-or-repeat”决定取决于实际采样的动作，而不是演员的预期行为。这种后作用切换方案让整体策略做出更明智的决策。TAAC有两个重要的特性：a）持久的探索，以及b）一个新的比较通过Q操作符，用于多步TD备份，专门针对动作重复场景。我们证明了TAAC的优势，在几个强大的基线在14个连续的控制任务。我们令人惊讶的发现表明，在实现最佳性能的同时，TAAC能够“挖掘”大量的重复动作，即使是在表面上的问题结构似乎排斥动作重复的连续任务上，也能使用经过训练的策略。这表明，除了鼓励持续探索，行动重复可以在良好的政策行为中找到自己的位置。代码可在https://github.com/hnyu/taac上获得。
2021-10-11 cs.AI cs.LG cs.RO
Context-Sensitive Abstractions for Reinforcement Learning with Parameterized Actions
AAIR-lab（AAIR实验室）
本文提出了一种能够在线自主学习状态和动作抽象的方法，以提升长周期稀疏奖励环境下参数化动作的样本效率。
2026-04-24 cs.AI cs.LG
ORCAID: Oblique Rule-Based Continuous-Action Interpretation for Deep RL Policies
TU Wien（维也纳技术大学）
针对强化学习中连续动作空间下可解释性难题，提出ORCAID方法，通过高效斜决策树训练算法，经三阶段分割搜索提取基于规则的可解释策略，在多环境评估中表现良好，能保持性能并提升原深度强化学习策略。
2026-07-09 cs.AI cs.LG cs.SE
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
CAMAR: Continuous Actions Multi-Agent Routing
针对现有MARL基准缺乏连续空间下复杂协作规划场景的问题，提出CAMAR连续动作多智能体路径寻路基准，配套评估协议与工具，实验验证其可作为真实有挑战的MARL测试平台。
2025-11-17 cs.AI cs.LG cs.MA
Finding mixed-strategy equilibria of continuous-action games without gradients using randomized policy networks
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
本文提出一种无需梯度的零阶优化方法，结合随机策略网络建模混合策略，以求解连续动作博弈的近似纳什均衡，并在多种博弈中验证了其高效性。
2022-11-29 cs.AI cs.GT cs.LG
Policy Search in Continuous Action Domains: an Overview
INRIA Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南中心）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；German Aerospace Center (DLR)（德国航空航天中心）
持续行动策略搜索是目前深入研究的焦点，这是由深度强化学习算法最近的成功和基于进化算法的竞争对手的出现所驱动的。在本文中，我们提出了一个广泛的调查政策搜索方法，提供了一个统一的观点非常不同的方法，也包括贝叶斯优化和定向探索方法。本概述的主要信息是在家庭的方法之间的关系，但我们也概述了一些因素的样本效率属性的各种方法。
2019-06-13 cs.LG
REFINEPPO: Learning Continuous Control Policies by Iterative Action Refinement
Northeastern University（东北大学）
本文提出REFINEPPO，通过迭代动作细化机制让策略逐步改进动作，结合PPO算法，在14个基准任务上达到或超越标准PPO，并加快收敛。
2026-09-21 cs.LG
Excluding the Irrelevant: Focusing Reinforcement Learning through Continuous Action Masking
Technical University of Munich（慕尼黑工业大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出三种连续动作掩码方法，将RL动作空间精确映射到状态相关的相关动作集合，聚焦学习于相关动作，提升训练效率与安全性，并在四个控制任务上验证了其优于无掩码基线。
2024-11-05 cs.LG cs.SY eess.SY
Quasi-optimal Reinforcement Learning with Continuous Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California Irvine（加州大学欧文分校）
针对连续动作医疗决策中无限支撑策略可能给出危险高剂量的问题，提出一种拟最优RL算法，缩小动作搜索范围，并证明其一致性、样本复杂度、适应性与收敛性。
2023-10-02 cs.LG stat.ME stat.ML
Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space
Stanford University（斯坦福大学）
本文概述了一个框架的自治控制的CRM（客户关系管理）系统。首先，它探讨了如何修改版本的被广泛接受的最近频率货币价值系统的指标可以用来定义客户端或捐助者的状态空间。其次，它描述了一个程序，以确定最佳的直接营销行动在离散和连续的行动空间为给定的个人，根据他在状态空间中的位置。该过程涉及使用无模型Q学习来训练深度神经网络，该深度神经网络将客户在状态空间中的位置与可能的营销行为相关联的奖励相关联。客户端状态空间上的估计价值函数可以被解释为客户生命周期价值，并且因此允许给定客户端的CLV的快速插件估计。实验结果的基础上，KDD杯1998年的邮件数据集的捐赠募捐。
2015-04-08 cs.LG
Value Iteration in Continuous Actions, States and Time
NVIDIA（英伟达）；Technical University of Darmstadt（达姆施塔特工业大学）；Technion, Israel Institute of Technology（以色列理工学院）；University of Washington（华盛顿大学）；University of Toronto & Vector Institute（多伦多大学和向量研究所）
经典的值迭代方法不适用于具有连续状态和动作的环境。对于这样的环境，状态和动作通常是离散化的，这导致计算复杂性呈指数级增加。在本文中，我们提出了连续拟合值迭代（CFVI）。该算法使动态规划的连续状态和行动与一个已知的动态模型。利用连续时间公式，可以推导出非线性控制仿射动力学的最优策略。这种封闭形式的解决方案能够有效地将价值迭代扩展到连续环境。我们在非线性控制实验中表明，动态规划解决方案在模拟中获得了与深度强化学习方法相同的定量性能，但在转移到物理系统时表现出色。通过cFVI获得的政策是更强大的动态变化，尽管只使用一个确定性的模型，并没有明确纳入鲁棒性的优化。物理系统的视频可在\url{https://sites.google.com/view/value-iteration}上获得。
2021-05-10 cs.LG cs.RO cs.SY
Learn Continuously, Act Discretely: Hybrid Action-Space Reinforcement Learning For Optimal Execution
Huawei EI Innovation Lab（华为EI创新实验室）；E Fund Innovation Lab（易方达创新实验室）
在算法交易中，最优执行是一个节约成本的序贯决策问题。研究发现，强化学习（RL）可以帮助确定订单拆分大小。然而，一个问题仍然没有解决：如何在适当的限价下限价订单？关键的挑战在于行动空间的“连续-离散二元性”。一方面，使用价格变化百分比的连续行动空间更适合推广。另一方面，由于最小价格变动单位的存在，交易者最终需要离散地选择限价，这需要针对具有不同特征的每只股票进行专业化（例如，流动性和价格范围）。因此，我们需要连续控制的泛化和离散控制的专业化。为此，我们提出了一种混合RL方法，结合两者的优点。我们首先使用一个连续的控制代理范围的动作子集，然后部署一个细粒度的代理选择一个特定的限制价格。大量的实验表明，我们的方法具有更高的样本效率和更好的训练稳定性比现有的强化学习算法和显着优于以前的学习为基础的方法的订单执行。
2022-07-22 cs.LG q-fin.TR
Limited depth bandit-based strategy for Monte Carlo planning in continuous action spaces
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID（葡萄牙系统与计算机工程研究所）
本文讨论了用搜索树求解最优控制问题。我们首先考虑多臂强盗问题与连续的行动空间，并提出LD-HOO，有限深度的分层乐观优化（HOO）算法的变种。我们提供了一个遗憾的分析LD-HOO，并表明，渐近，我们的算法表现出相同的累积遗憾，同时更快，更高效的内存。然后，我们提出了一个基于LD-HOO的最优控制问题的Monte Carlo树搜索算法，并举例说明所得到的方法在几个最优控制问题中的应用。
2021-06-29 cs.LG math.OC
Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics
DeepMind（深度思维）
许多现实世界的控制问题既涉及离散决策变量（如控制模式的选择、档位切换或数字输出），也涉及连续决策变量（如速度设定值、控制增益或模拟输出）。然而，当定义相应的最优控制或强化学习问题时，通常用完全连续或完全离散的动作空间来近似。这些简化旨在将问题定制为可能仅支持一种类型的动作空间的特定算法或求解器。或者，专家逻辑学被用来从连续空间中删除离散的动作。相比之下，我们建议通过混合强化学习解决混合问题，同时优化离散和连续动作。在我们的实验中，我们首先证明了所提出的方法有效地解决了这种原生混合强化学习问题。然后，我们显示，无论是在模拟和机器人硬件上，删除可能不完美的专家设计的prostitics的好处。最后，混合强化学习鼓励我们重新思考问题的定义。我们建议重新制定控制问题，例如，通过添加Meta动作，以提高勘探或减少机械磨损。
2020-01-02 cs.LG cs.RO stat.ML
Taming "data-hungry" reinforcement learning? Stability in continuous state-action spaces
Massachusetts Institute of Technology（麻省理工学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出了一个在连续状态-动作空间中分析强化学习的新框架，通过强调影响 Bellman 算子和占用测度的两个关键稳定性属性，证明了离线和在线环境下的快速收敛率，并揭示了悲观与乐观及迁移学习的新视角。
2024-01-10 cs.IT cs.LG cs.SY
Deep Reinforcement Learning in Parameterized Action Space
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文首次将深度强化学习成功扩展到参数化动作空间MDP，通过在模拟RoboCup足球中学习离散动作类型与连续参数的联合策略，使智能体进球可靠性超过2012年RoboCup冠军。
2024-05-03 cs.AI cs.LG cs.MA
SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control
Delft University of Technology（代尔夫特理工大学）
SAVGO通过在动作空间中显式融入值的相似性，统一了表示学习、值估计和策略优化，提升了连续控制任务的性能。
2026-05-01 cs.LG
Mixed Q-Functionals: Advancing Value-Based Methods in Cooperative MARL with Continuous Action Domains
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Richard Miner School of Computer and Information Sciences（理查德·迈纳斯计算机与信息科学学院）
本文提出了一种新颖的多智能体基于价值的算法 Mixed Q-Functionals (MQF)，通过将状态转换为基函数并混合动作值促进协作，在连续动作域中实现了快速动作评估和提升的样本效率，优于四种 DDPG 变体。
2024-02-12 cs.LG cs.MA cs.RO
Efficient Soft Actor-Critic with LLM-Based Action-Level Guidance for Continuous Control
School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院，北京，中国）；Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China（中国科学院自动化研究所，北京100190，中国）
本文提出GuidedSAC算法，利用大语言模型提供动作级指导，提升连续控制中的探索效率，并通过理论分析和实验验证其收敛性和样本效率。
2026-03-18 cs.LG
Quantum reinforcement learning in continuous action space
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（电子科技大学基础与前沿研究院）
针对连续动作空间中离散化导致的维数灾难，本文提出量子 DDPG 算法，统一解决经典与量子序贯决策问题，并实现一次优化即可生成任意目标量子态控制序列。
2025-03-07 cs.LG quant-ph
