Near-Optimal Adversarial Reinforcement Learning with Switching Costs
The Ohio State University（俄亥俄州立大学）
切换成本，捕捉改变策略的成本，被认为是强化学习（RL）中的一个关键指标，除了损失（或奖励）的标准度量。然而，现有的研究切换成本（系数$β$，这是严格的积极和独立的$T$）主要集中在静态RL，其中的损失分布被假定为固定的学习过程中，因此，实际的情况下，损失分布可能是非平稳的，甚至是敌对的不考虑。虽然对抗性强化学习更好地模拟了这类实际场景，但仍然存在一个悬而未决的问题：如何为具有切换成本的对抗性强化学习开发一个可证明有效的算法？本文为解决这一问题做了初步的努力。首先，我们提供了一个遗憾下界，表明任何算法的遗憾必须大于$\tildeΩ( ( H S A )^{1/3} T^{2/3} )$，其中$T$，$S$，$A$和$H$分别是每个情节中的情节，状态，动作和层的数量。我们的下限表明，由于对抗性RL中切换成本的根本挑战，在具有切换成本的静态RL（以及没有切换成本的对抗性RL）中，最佳实现的遗憾（其对$T$的依赖性是$\tilde{O}(\sqrt{T})$）不再是可实现的。此外，我们提出了两个新的开关减少算法的遗憾，匹配我们的下限时，过渡函数是已知的，并匹配我们的下限内的一个小因素的$\tilde{O}( H^{1/3} )$时，过渡函数是未知的。我们的遗憾分析证明了它们的接近最优性能。
2023-02-08 cs.LG stat.ML
To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning
London School of Economics（伦敦政治经济学院）
本文针对离线强化学习中的策略切换问题，提出基于最优传输的平衡切换框架及Net Actor-Critic算法，并在机器人控制和交通灯基准上验证了其有效性。
2025-02-26 cs.IT cs.LG math.IT
Switching the Loss Reduces the Cost in Batch (Offline) Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Cornell University（康奈尔大学）；Netflix, Inc.（网飞公司）
本文提出用对数损失训练拟合Q迭代（FQI-log），证明其样本复杂度与最优策略的累积成本成比例，并在最优行动零成本的问题中实现小成本界，实验表明其样本效率优于平方损失FQI。
2024-08-01 cs.LG
Switching Isotropic and Directional Exploration with Parameter Space Noise in Deep Reinforcement Learning
The University of Tokyo（东京大学）
提出了一种基于参数空间噪声的深度强化学习探索方法。最近的研究已经实验表明，参数空间噪声比常用的动作空间噪声导致更好的探索。以往的方法设计了一种更新噪声分布的对角协方差阵的方法，并且没有考虑噪声向量的方向及其相关性。此外，需要快速更新噪声分布，以促进政策学习。我们提出了一种方法，变形的噪声分布，根据累积的回报和噪声，导致的回报。此外，该方法在参数空间中切换各向同性探索和定向探索，获得的回报。我们在OpenAI Gym连续环境和具有稀疏奖励的修改环境中验证了我们的探索策略。所提出的方法实现的结果是有竞争力的基线任务与以前的方法。此外，我们的方法表现出更好的性能在稀疏奖励环境中的探索与切换策略。
2018-09-27 cs.LG stat.ML
Constraint-Adaptive Policy Switching for Offline Safe Reinforcement Learning
Washington State University（华盛顿州立大学）；University of Minnesota（明尼苏达大学）；Oregon State University（俄勒冈州立大学）
提出约束自适应策略切换（CAPS）框架，通过在训练时学习多个不同奖励与成本权衡的策略，并在测试时根据当前成本约束动态切换策略，解决了离线安全强化学习中无需重训即可适应变化安全约束的挑战。
2025-05-27 cs.AI cs.LG
Deep Reinforcement Learning Behavioral Mode Switching Using Optimal Control Based on a Latent Space Objective
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出一种基于最优控制直接优化深度强化学习策略潜空间的方法，通过\ac*{pacmap}降维识别行为模式并实现模式切换，从而有效改变策略行为。
2024-06-03 cs.LG cs.SY eess.SY
Reinforcement Learning in Switching Non-Stationary Markov Decision Processes: Algorithms and Convergence Analysis
Department of Computer and System Science（计算机与系统科学系）
研究切换非平稳马尔可夫决策过程，推导固定策略下SNS值函数闭式表达式，证明TD学习、策略迭代及表格Q学习的收敛性，在无线通信网络验证框架，为快速时变系统决策提供有效方法。
2026-07-17 cs.AI cs.LG
Evaluation-Time Policy Switching for Offline Reinforcement Learning
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）
本文提出离线RL评估时策略切换方法，利用认知与偶然不确定性在离策略RL和BC智能体间动态选择，提升多基准表现并可安全扩展至离线到在线微调。
2025-03-15 cs.AI cs.LG stat.ML
A Reinforcement Learning Inspired Latent Yield Based Adaptive Algorithm Switching Mechanism
Indian Institute of Technology Patna（印度理工学院帕纳布分校）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
针对在线或动态环境中算法选择困难的问题，提出一种受强化学习启发的潜在收益方法，通过封装奖励和惩罚触发探索与利用，实现自适应算法切换，并在排序算法和机器人避障任务中验证了有效性。
2026-05-23 cs.LG cs.MA cs.RO
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University（中田纳西州立大学）
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-17 cs.AI cs.LG
Entropy-Regularized Reinforcement Learning for Linear-Quadratic Stackelberg Differential Games in Regime-Switching Diffusion Models
School of Mathematics and Statistics, Anhui Normal University（安徽师范大学数学与统计学学院）；School of Statistics, Key Laboratory of Advanced Theory and Application in Statistics and Data Science-MOE, Faculty of Economics and Management, East China Normal University（东华大学统计学院）；School of Mathematics, Southeast University（东南大学数学学院）
提出熵正则化强化学习方法求解连续时间体制切换扩散模型下的线性二次Stackelberg微分博弈，通过探索性耦合HJBI方程和神经网络逼近，有效避免次优均衡并处理高维PDE。
2026-06-27 cs.LG
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
School of Mathematics and Statistics（数学与统计学学院）；Department of Actuarial Studies and Business Analytics（精算学与商业分析系）；School of Statistics, KLATASDS-MOE, China Inclusive Ageing Finance Research Center（统计学学院，KLATASDS-MOE，中国包容性老龄化金融研究中心）；East China Normal University（华东师范大学）
针对随机微分博弈中参数误设和环境突变问题，提出分布控制方法，将最优策略建模为条件概率分布，并推导熵正则化零和随机微分博弈的耦合HJBI方程，通过Actor-Critic算法求解均衡策略。
2026-06-27 cs.LG
Optimizing the switching operation in monoclonal antibody production: Economic MPC and reinforcement learning
University of Alberta（阿尔伯塔大学）
针对单克隆抗体连续生产中捕获柱切换的离散优化难题，本文提出sigmoid函数近似、ReLU近似两种经济MPC高效实现方法及深度强化学习方法，并与传统1%穿透规则切换策略进行比较，以提升计算可行性和生产性能。
2023-08-07 cs.LG cs.SY eess.SY
Increasing Energy Efficiency of Massive-MIMO Network via Base Stations Switching using Reinforcement Learning and Radio Environment Maps
Poznań University of Technology（波兹南理工大学）；Institute of Radiocommunications（无线电通信研究所）
在考虑大规模多输入多输出（M-MIMO）网络时，能量效率（EE）是非常重要的，其中基站（BS）配备有由多达数百个元件组成的天线阵列。M-MIMO传输虽然频谱效率很高，但会导致高能耗随着天线数量的增加而增加。本文研究了通过打开/关闭未充分利用的BS来改善EE。建议使用位置感知方法，其中关于最佳活动BS集合的数据存储在无线电环境地图（REM）中。为了有效地获取、处理和利用REM数据，使用强化学习（RL）算法。评估了最先进的勘探/开发方法，包括e-greedy，上置信限（UCB）和梯度Bandit。在此基础上，提出了解析动作滤波和基于REM的探索算法（REM-EA）来提高RL的收敛速度。算法评估使用先进的系统级模拟器的M-MIMO异构网络（HetNet）利用精确的三维射线跟踪无线电信道模型。建议的RL为基础的BS切换算法被证明是提供70%的收益，在EE超过一个国家的最先进的算法，使用分析启发式。此外，所提出的动作滤波和REM-EA可以减少RL收敛时间相对于性能最好的国家的最先进的探索方法，分别由60%和83%。
2021-03-08 cs.IT cs.LG cs.NI
Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界，通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本，并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
Inverse Reinforcement Learning with Switching Rewards and History Dependency for Characterizing Animal Behaviors
Georgia Institute of Technology, Atlanta, GA, USA（佐治亚理工学院）；Emory University, Atlanta, GA, USA（埃默里大学）
提出SWIRL框架，通过结合时变和历史依赖的奖励函数，将长行为序列建模为短期决策过程间的转换，有效捕捉动物基于历史的复杂长期决策行为。
2025-07-15 cs.AI cs.LG
Actor-Critic Deep Reinforcement Learning for Dynamic Multichannel Access
Syracuse University（雪城大学）
我们认为动态多信道接入问题，这可以制定为一个部分可观测马尔可夫决策过程（POMDP）。我们首先提出了一个无模型的演员-评论家深度强化学习为基础的框架，探索感测政策。为了评估所提出的感知策略和框架对不确定性的容忍度的性能，我们测试了不同信道切换模式的情况下的框架，并考虑不同的切换概率。然后，我们考虑了一个时变的环境，以确定所提出的框架的自适应能力。此外，我们在平均奖励和时间效率方面与[1]中提出的基于Deep-Q网络（DQN）的框架进行了比较。
2018-10-08 cs.IT cs.LG math.IT
Regret-Optimal Q-Learning with Low Cost for Single-Agent and Federated Reinforcement Learning
本文提出两种新型算法，实现单智能体和联邦强化学习中最优遗憾、低烧入成本及对数级策略切换或通信成本。
2026-03-10 cs.LG stat.ML
One-shot, Offline and Production-Scalable PID Optimisation with Deep Reinforcement Learning
University College London（伦敦大学学院）；Huber+Suhner Polatis
比例-积分-微分（PID）控制是自动化工业过程中比$97\%$更重要的基础。有效地控制这些过程相对于一些指定的一组性能目标，需要找到一组最佳的PID参数，以缓和PID回路。调整这些参数是一个漫长而详尽的过程。提出了一种基于深度强化学习的方法（正在申请专利），该方法学习通用系统属性（例如谐振频率）、多目标性能目标和最佳PID参数值之间的关系。性能证明在一个真正的光开关产品的最重要的制造商，这种设备的全球范围内。开关由压电致动器处理，其中开关时间和光损耗分别来自致动器控制过程的速度和稳定性。该方法实现了落在最具挑战性的目标切换速度内的致动器的数量的$5\times$改进、相同光损耗下的平均切换速度的$\geq 20\%$改进以及温度在5摄氏度和73摄氏度之间变化时的性能不一致性的$\geq 75\%$降低。此外，一旦被训练（其采用$\mathcal{O}(hours)$），该模型就在单次推理过程中生成致动器唯一的PID参数，该单次推理过程采用$\mathcal{O}(ms)$与常规调谐方法所需的高达$\mathcal{O}(week)$相比，因此实现这些性能改进，同时实现高达$10^6\times$加速。在训练之后，该方法可以完全离线应用，在生产中有效地产生零优化开销。
2022-10-25 cs.AI cs.LG cs.SY
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech（佐治亚理工学院）
模仿学习（IL）由一组工具组成，这些工具利用专家演示来快速学习策略。然而，如果专家是次优的，IL可以产生性能较差的政策相比，强化学习（RL）。在本文中，我们的目标是提供一个算法，结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点，表明这些算法可以被视为单一方法的变体。然后，我们提出了LOKI，策略学习的策略，首先执行一个小的，但随机数的IL迭代之前切换到策略梯度RL方法。我们表明，如果切换时间是适当的随机化，LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后，我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
Learning When to Switch: Adaptive Policy Selection via Reinforcement Learning
该研究通过强化学习实现自主代理在不同导航策略间的自适应切换，提升复杂任务性能。
2025-12-06 cs.LG
Policy Optimization for Continuous Reinforcement Learning
Columbia University（哥伦比亚大学）
本文研究连续时间与空间中的强化学习，提出折扣目标的占用时间概念，推导性能差异与局部近似公式，并将其扩展至PG和TRPO/PPO方法，通过数值实验验证了有效性与优势。
2023-10-18 cs.LG math.OC
Online Regret Bounds for Undiscounted Continuous Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在连续状态空间中，我们得到了非折扣强化学习的次线性后悔界。该算法结合了状态聚合与使用置信上界实现乐观面对不确定性。除了存在满足泊松方程的最优策略外，唯一的假设是报酬和转移概率的Holder连续性。
2013-02-11 cs.LG
On the stability of Lipschitz continuous control problems and its application to reinforcement learning
POSTECH（浦项科技大学）；SeoulTech（首尔科技大学）
本文研究了无模型强化学习中 HJB 方程在 Lipschitz 连续最优控制问题下的稳定性，在粘性解框架内填补了与经典控制问题的差距，提出了广义框架及基于 HJB 的新算法，并通过基准实验验证了其性能。
2024-04-20 cs.LG math.AP math.OC
Multi-criteria Hardware Trojan Detection: A Reinforcement Learning Approach
New Mexico State University（新墨西哥州立大学）；Miami University（迈阿密大学）；North Carolina A&T State University（北卡罗来纳农工州立大学）
针对现有硬件木马检测多依赖单一准则的局限，提出一种带可调奖励函数的多准则强化学习检测工具，可适配多场景，还给出公平比较方法，在ISCAS-85基准上检测成功率达84.2%。
2023-04-26 cs.AR cs.CR cs.LG
Efficient Exploration in Continuous-time Model-based Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
本文针对连续时间系统提出基于ODE和高斯过程的模型强化学习算法，通过乐观探索与自适应测量选择策略实现次线性遗憾，并在多个应用中验证其优于离散时间方法和标准基线。
2023-10-30 cs.LG cs.RO math.OC
A Tour of Reinforcement Learning: The View from Continuous Control
University of California, Berkeley（加州大学伯克利分校）
本文从优化和控制的角度对强化学习进行了研究，重点是连续控制应用。它调查了强化学习的一般公式，术语和典型的实验实现，并回顾了竞争的解决方案范例。为了比较各种技术的相对优点，本调查提出了一个案例研究的线性二次型调节器（LQR）与未知的动态，也许是最简单的和最好的研究问题，在最优控制。该手稿描述了如何合并技术从学习理论和控制可以提供非渐近表征的LQR性能，并表明，这些特征往往与实验行为相匹配。反过来，当重新审视更复杂的应用程序时，LQR中观察到的许多现象仍然存在。特别是，理论和实验证明了模型的作用和重要性以及强化学习算法的通用性成本。本调查最后讨论了设计学习系统时面临的一些挑战，这些系统可以安全可靠地与复杂和不确定的环境进行交互，以及如何将强化学习和控制工具结合起来来应对这些挑战。
2018-11-10 cs.LG math.OC stat.ML
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而，这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声，而A3 C在高斯策略下不满足连续性条件。为了解决这些问题，我们提出了一种新的连续强化学习方法的基础上随机微分方程，我们称之为增量强化学习（IRL）。该方法既保证了动作在任意时间间隔内的连续性，又控制了训练过程中动作的方差。此外，我们的方法不假设马尔可夫控制在代理的动作控制，并允许代理预测场景变化的动作选择。有了我们的方法，智能体不再被动地适应环境。相反，他们积极地与环境互动，以获得最大的回报。
2019-08-08 cs.LG stat.ML
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法，通过理论推导和算法设计，实现稳定学习和快速收敛，优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
When should agents explore?
DeepMind（深度思维）
探索仍然是强化学习（RL）的核心挑战。实际上，所有现有的方法都具有单一行为策略的特征，这种策略只能逐渐（充其量）改变。相比之下，动物和人类的探索行为表现出丰富的多样性，即包括模式之间的转换形式。本文提出了一个初步的研究模式切换，非单片探索的RL。我们研究了不同的模式之间切换，在什么时间尺度上切换是有意义的，以及什么信号可以触发良好的切换。我们还提出了实用的算法组件，使切换机制的自适应性和鲁棒性，这使得灵活性，而无需伴随超参数调整负担。最后，我们报告了一个有前途的和详细的分析雅达利，使用双模式探索和切换在子情节的时间尺度。
2022-03-04 cs.AI cs.LG
A Deep Actor-Critic Reinforcement Learning Framework for Dynamic Multichannel Access
Syracuse University（雪城大学）
为了有效利用有限的频谱资源，我们在这项工作中提出了一个基于深度演员批评者强化学习的动态多通道访问框架。我们考虑一个单用户的情况下，多个用户试图同时访问通道的情况。我们采用该框架作为一个单一的代理在单用户的情况下，并将其扩展到一个分散的多代理框架中的多用户的情况下。在这两种情况下，我们都开发了演员-评论家深度强化学习的算法，并通过实验和数值结果评估了所提出的学习策略。在单用户模型中，为了评估所提出的信道访问策略的性能和框架对不确定性的容忍度，我们探索了不同的信道切换模式和不同的切换概率。在多用户的情况下，我们分析了每个用户接入信道的概率与有利的信道条件和碰撞的概率。我们还解决了一个随时间变化的环境，以确定所提出的框架的适应能力。此外，我们提供了所提出的演员-评论家深度强化学习框架，基于Deep-Q网络（DQN）的方法，随机访问和信道动态已知时的最佳策略之间的比较（在平均奖励和时间效率方面）。
2019-08-20 cs.IT cs.LG math.IT
Continuous-Time Model-Based Reinforcement Learning
Aalto University（阿尔托大学）
基于模型的强化学习（MBRL）方法依赖于离散时间状态转换模型，而物理系统和绝大多数控制任务在连续时间中操作。为了避免时间离散近似的底层过程中，我们提出了一个连续时间MBRL框架的基础上一个新的演员-评论家的方法。我们的方法还推断出未知的状态演化微分贝叶斯神经常微分方程（ODE）占认知的不确定性。我们实现和测试我们的方法上一个新的ODE-RL套件，明确解决连续时间控制系统。我们的实验表明，该模型对不规则和噪声数据是鲁棒的，是采样效率，并可以解决控制问题，离散时间MBRL方法带来的挑战。
2021-06-11 cs.LG stat.ML
Continuous-Time Mean-Variance Portfolio Selection: A Reinforcement Learning Framework
Columbia University（哥伦比亚大学）
本文利用强化学习方法研究了连续时间均值-方差投资组合问题。该问题是为了实现勘探和开采之间的最佳权衡，并制定为熵正则化，放松随机控制问题。我们证明了这个问题的最优反馈策略必须是高斯的，具有时间衰减方差。然后，我们建立熵正则MV和经典MV之间的连接，包括可解性等价性和收敛性的探索加权参数衰减到零。最后，我们证明了一个策略改进定理，在此基础上，我们设计了一个可实现的RL算法。我们发现，我们的算法优于基于自适应控制的方法和基于深度神经网络的算法在我们的模拟大幅度。
2019-05-05 cs.CE cs.LG math.OC
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz（开姆尼茨工业大学）
深度强化学习使算法能够学习复杂的行为，处理连续的动作空间，并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域，并且有许多并发的发明，我们决定专注于一个相对简单的机器人任务，以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合，它是否能够比基线更有效地学习。我们还比较了不同的想法，以预处理信息之前，它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性，通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Simion Zoo: A Workbench for Distributed Experimentation with Reinforcement Learning for Continuous Control Tasks
我们介绍Simion Zoo，一个强化学习（RL）工作台，它提供了一套完整的工具来设计，运行和分析RL控制应用程序的统计和可视化结果。Simion Zoo与类似软件包的主要区别在于其易于使用的GUI，对分布式执行的支持，包括通过图形处理单元（GPU）进行部署，以及同时探索RL元空间的可能性，这是成功RL实验的关键。
2019-04-16 cs.AI cs.LG
Reproducibility of Benchmarked Deep Reinforcement Learning Tasks for Continuous Control
Maluuba, A Microsoft Company（Maluuba，微软旗下公司）；McGill University（麦吉尔大学）
强化学习中的策略梯度方法在连续控制任务中的最新性能方面变得越来越普遍。新的方法通常以一些关键算法为基准，例如深度确定性策略梯度和信任区域策略优化。因此，必须提出和使用一致的基线实验。然而，这可能是困难的，因为算法中的一般变化，超参数调整和环境随机性。我们调查和讨论：连续控制的策略梯度中的超参数的重要性、算法中的一般方差以及报告结果的再现性。我们提供了报告新结果的指南，作为与基线方法的比较，以便未来的研究人员在研究新方法时可以做出明智的决定。
2017-08-10 cs.LG
A Switching System Theory of Q-Learning with Linear Function Approximation
Department of Electrical Engineering（电气工程系）
本文基于联合谱半径理论，提出了一种Q学习线性函数逼近的切换系统解释，推导了精确的线性切换模型，并将收敛性与相应切换系统的稳定性联系起来，同时扩展到具有独立同分布观测和马尔可夫观测的随机线性Q学习，提供了基于JSR的正则化Q学习视角。
2026-07-07 cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
A Tractable Algorithm For Finite-Horizon Continuous Reinforcement Learning
Indian Institute of Technology (BHU)（印度理工学院（贝拿勒斯印度教大学））；Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
我们考虑有限时域连续强化学习问题。我们的贡献是三方面的。首先，我们给出了一个基于乐观值迭代的算法。其次，我们给出了任意离散化状态空间的算法的$Ω(T^{2/3})$的后悔下界，改进了Ortner和Ryabko \cite{contrl}的$Ω(T^{1/2})$对同一问题的后悔界.接下来，假设奖励和转移是Hölder连续的，我们证明了离散化误差的上界是$const.Ln^{-α}T$。最后，我们给出了一些简单的实验来验证我们的命题。
2019-06-26 cs.AI cs.LG
Inverse Reinforcement Learning in a Continuous State Space with Formal Guarantees
Purdue University（普渡大学）
逆强化学习（IRL）是寻找描述观察到的/已知的专家行为的奖励函数的问题。IRL设置对于自动化控制非常有用，在奖励函数难以手动指定或作为提取代理偏好的方法的情况下。在这项工作中，我们提供了一个新的IRL算法的连续状态空间设置未知的过渡动态建模系统使用的基础上的正交函数。此外，我们提供了一个正确的证明和形式化的保证，我们的算法的样本和时间复杂度。最后，我们提出了合成实验，以证实我们的理论保证。
2021-10-21 cs.LG stat.ML
Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies
Victoria University of Wellington（惠灵顿维多利亚大学）
本文提出了GProp，一个深度强化学习算法的连续政策与兼容函数近似。该算法是基于两个创新。首先，我们提出了一种基于时间差的学习值函数梯度的方法。其次，我们提出了偏离者-行动者-批评者（DAC）模型，它包括三个神经网络，估计的价值函数，其梯度，并确定行动者的政策分别。我们在两个具有挑战性的任务上评估GProp：一个由非参数回归数据集构建的上下文强盗问题，该问题旨在探索强化学习算法准确估计梯度的能力;以及章鱼臂，一个具有挑战性的强化学习基准。GProp在强盗任务上与完全监督方法竞争，并在章鱼臂上实现了迄今为止的最佳性能。
2015-09-10 cs.AI cs.LG cs.NE
Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics
DeepMind（深度思维）
许多现实世界的控制问题既涉及离散决策变量（如控制模式的选择、档位切换或数字输出），也涉及连续决策变量（如速度设定值、控制增益或模拟输出）。然而，当定义相应的最优控制或强化学习问题时，通常用完全连续或完全离散的动作空间来近似。这些简化旨在将问题定制为可能仅支持一种类型的动作空间的特定算法或求解器。或者，专家逻辑学被用来从连续空间中删除离散的动作。相比之下，我们建议通过混合强化学习解决混合问题，同时优化离散和连续动作。在我们的实验中，我们首先证明了所提出的方法有效地解决了这种原生混合强化学习问题。然后，我们显示，无论是在模拟和机器人硬件上，删除可能不完美的专家设计的prostitics的好处。最后，混合强化学习鼓励我们重新思考问题的定义。我们建议重新制定控制问题，例如，通过添加Meta动作，以提高勘探或减少机械磨损。
2020-01-02 cs.LG cs.RO stat.ML
Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning
Dynamical Systems Research Laboratory（动态系统研究实验室）；Department of Mechanical Engineering & Materials Science（机械工程与材料科学系）；Duke University（杜克大学）
最近的研究工作表明，有意使用非线性增强能量收集系统的能力。在非线性收获器中出现的主要挑战之一是，非线性通常会导致具有可能共存的期望和不期望响应的多个吸引子。本文提出了一种基于永磁转磁传动的非线性能量采集器，该能量采集器具有不同水平的电功率输出，并具有共存的吸引子。此外，提出了一种利用深度强化学习的控制方法，实现了在具有约束驱动的共存吸引子之间的吸引子切换。
2020-10-03 cs.LG cs.SY eess.SY
CERiL: Continuous Event-based Reinforcement Learning
University of Surrey（萨里大学）
本文探讨了事件摄像机的潜力，使连续时间强化学习。我们正式这个问题，其中一个连续的流的非同步观测是用来产生相应的输出动作的环境流。这种同步的缺乏使得反应性大大增强。我们提出了一种方法来训练事件流来自标准的强化学习环境，从而解决了建议的连续时间强化学习问题。CERiL算法使用专门的网络层，直接对事件流进行操作，而不是将事件聚合到量化的图像帧中。我们展示了事件流在不太频繁的RGB图像上的优势。所提出的系统优于RL中通常使用的网络，甚至在传统上无法解决的任务上也取得了成功。我们还证明了我们的CERiL方法的价值超过标准SNN基线使用事件流。
2023-02-15 cs.AI cs.CV cs.LG
Neural Architecture Evolution in Deep Reinforcement Learning for Continuous Control
University of Freiburg（弗莱堡大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；Bosch Center for Artificial Intelligence（博世人工智能中心）
目前的深度强化学习算法仍然严重依赖手工制作的神经网络架构。我们提出了一种新的方法来自动找到连续控制任务的强拓扑结构，同时只增加了一个小的开销在环境中的相互作用。为了实现这一点，我们结合神经进化技术与离线训练，并提出了一种新的架构变异算子。五个连续控制基准的实验表明，所提出的演员-评论家神经进化算法往往优于强演员-评论家基线，并能够自动找到拓扑结构的采样效率的方式，否则将不得不找到昂贵的架构搜索。
2020-02-27 cs.LG cs.NE stat.ML
Switching Linear Dynamics for Variational Bayes Filtering
Volkswagen Group（大众汽车集团）；Technische Universität Darmstadt（达姆施塔特工业大学）
复杂非线性系统的系统辨识是模型预测控制和基于模型的强化学习的核心问题。尽管它们很复杂，但如果分解成适当的连续性，这样的系统通常可以很好地近似为一组线性动力系统。这种机制不仅帮助我们找到动力学的良好近似，而且还使我们更深入地了解底层系统。利用贝叶斯推断，变分自动编码器和混凝土松弛，我们展示了如何学习一个更丰富，更有意义的状态空间，例如编码关节约束和碰撞与墙壁在迷宫中，从部分和高维观测。这种表示转化为在各种模拟任务上展示的学习动态的准确性的增益。
2019-05-29 cs.LG stat.ML
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI（艾伦人工智能研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在实践中，模仿学习优于纯强化学习，只要有可能设计一个教学代理提供专家监督。然而，我们发现，当教学代理人作出决定，访问特权信息是不可用的学生，这些信息被边缘化在模仿学习，导致“模仿差距”，并可能，效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的，但对于需要在探索和记忆之间频繁切换的任务来说，渐进式学习是失败的。为了更好地解决这些任务，并减轻模仿差距，我们提出了“适应性不服从”（ADVISOR）。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权，从而实现在模仿和探索之间的动态切换。在网格世界，多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中，我们证明了ADVISOR的动态切换优于纯模仿，纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning
McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）
在机器学习中过度拟合的风险和危险是众所周知的。然而，大多数对此的治疗，包括诊断工具和补救措施，都是针对监督学习的情况而开发的。在这项工作中，我们的目标是提供新的视角来描述和预防深度强化学习（RL）方法中的过拟合，特别关注连续域。我们研究了几个方面，如如何定义和诊断过拟合在MDPs，以及如何通过注入足够的培训多样性来降低风险。这项工作补充了最近关于深度RL方法的脆性的发现，并为RL研究人员和从业者提供了实际的观察。
2018-06-25 cs.AI cs.LG stat.ML
Delay-Aware Model-Based Reinforcement Learning for Continuous Control
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在许多现实系统中，动作延迟降低了强化学习的性能。本文给出了时延感知马尔可夫决策过程的形式化定义，并证明了它可以通过马尔可夫奖励过程转化为具有增广状态的标准MDP。我们开发了一个延迟感知的基于模型的强化学习框架，该框架可以将多步延迟合并到学习的系统模型中，而无需学习。在Gym和MuJoCo平台上的实验表明，与非策略无模型强化学习方法相比，该算法具有更高的训练效率和在不同时延系统间的可移植性.代码可在https://github.com/baimingc/dambrl上获得。
2020-05-11 cs.AI cs.LG stat.ML
Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning
NYU（纽约大学）；FAIR（Facebook人工智能研究院）
我们提出了DrQ-v2，一个无模型强化学习（RL）算法的视觉连续控制。DrQ-v2建立在DrQ的基础上，DrQ是一种非策略的行动者-批评者方法，使用数据增强直接从像素中学习。我们介绍了几项改进，这些改进在DeepMind Control Suite上产生了最先进的结果。值得注意的是，DrQ-v2能够直接从像素观察中解决复杂的人形运动任务，这是以前无模型RL无法实现的。DrQ-v2概念简单，易于实现，与以前的工作相比，它提供了更好的计算占用空间，大多数任务只需8小时即可在单个GPU上进行训练。最后，我们公开发布DrQ-v2的实现，为RL从业者提供强大且计算效率高的基线。
2021-07-20 cs.AI cs.LG
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab（腾讯人工智能实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
大多数现有的深度强化学习（DRL）框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发，我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间，以前的工作要么近似的混合空间离散化，或放松到一个连续的集合。在本文中，我们提出了一个参数化的深度Q网络（P-DQN）框架的混合行动空间没有近似或松弛。该算法结合了DQN（处理离散动作空间）和DDPG（处理连续动作空间）的思想，将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
A Provably Efficient Algorithm for Linear Markov Decision Process with Low Switching Cost
Tsinghua University（清华大学）；University of Washington（华盛顿大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
许多现实世界的应用，诸如医疗领域、推荐系统等中的应用，可以被公式化为大状态空间强化学习问题，其中仅具有策略改变数量的小预算，即，切换成本低。本文重点介绍了最近在[Yang et al 2019，Jin et al 2020]中研究的线性马尔可夫决策过程（MDP），其中线性函数近似用于大状态空间上的推广。我们提出了第一个算法的线性MDP与低开关成本。我们的算法实现了一个$\widetilde{O}\left(\sqrt{d^3H^4K}\right)$遗憾界与一个接近最优的$O\left(d H\log K\right)$全球切换成本，其中$d$是功能维度，$H$是规划视野和$K$是代理播放的剧集数。我们的遗憾界限与[Jin et al 2020]的最佳现有多项式算法相匹配，并且我们的切换成本呈指数级小于他们的。当专门用于表格MDP时，我们的转换成本界限改善了[Bai et al 2019，Zhang et al 20020]中的转换成本界限。我们补充我们的积极结果与$Ω\left(dH/\log d\right)$全球切换成本的任何无悔算法的下限。
2021-01-02 cs.AI cs.LG stat.ML
