A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation
Department of Computer Science University of California, Los Angeles（计算机科学系加州大学洛杉矶分校）
针对通用函数近似强化学习的探索-利用困境，提出MQL-UCB算法，通过低切换策略、单调价值结构与方差加权回归，实现近最优悔值与切换成本，为高效非线性Q学习设计提供支撑。
2025-10-03 cs.LG math.OC stat.ML
Reinforcement Learning in Switching Non-Stationary Markov Decision Processes: Algorithms and Convergence Analysis
Department of Computer and System Science（计算机与系统科学系）
研究切换非平稳马尔可夫决策过程，推导固定策略下SNS值函数闭式表达式，证明TD学习、策略迭代及表格Q学习的收敛性，在无线通信网络验证框架，为快速时变系统决策提供有效方法。
2026-07-17 cs.AI cs.LG
To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning
London School of Economics（伦敦政治经济学院）
本文针对离线强化学习中的策略切换问题，提出基于最优传输的平衡切换框架及Net Actor-Critic算法，并在机器人控制和交通灯基准上验证了其有效性。
2025-02-26 cs.IT cs.LG math.IT
Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning
KTH（瑞典皇家理工学院）；KTH, Digital Futures（瑞典皇家理工学院，数字未来）
本文提出切换后继措施，用于在无需额外监督的情况下实现分层零样本强化学习，通过FB表示直接提取高层子目标选择策略和低层控制策略，提升任务泛化能力。
2026-05-13 cs.LG
Ensemble Consensus-based Representation Deep Reinforcement Learning for Hybrid FSO/RF Communication Systems
Atlantic Technological University（大西洋理工大学）；Al Yamamah University（亚马玛大学）；Lahore Leads University（拉合尔利兹大学）；National University of Technology（国立理工大学）
FSO/RF混合系统需要一种有效的FSO和RF链路切换机制，以实现两者的优势互补，从而提高系统容量。网络条件的动态变化，如雾、灰尘和沙尘暴，使链路切换问题和控制复杂性变得更加复杂。为了解决这个问题，我们开始研究深度强化学习（DRL）的混合FSO/RF系统的链路切换。具体来说，在这项工作中，我们专注于演员/评论称为演员/评论FSO/RF和深度Q网络（DQN）称为DQN-FSO/RF的FSO/RF链路切换下的大气干扰。要制定的问题，我们定义的状态，行动，和奖励功能的混合FSO/RF系统。DQN-FSO/RF频繁更新与混合FSO/RF系统中的环境交互的部署策略，导致高切换成本。为了克服这个问题，我们将这个问题提升到基于集成共识的表示学习来进行深度强化，称为DQNEnsemble-FSO/RF。所提出的新颖的DQNEnsemble-FSO/RF DRL方法使用基于异步线程集合的共识学习特征表示来更新部署的策略。实验结果证实，建议的DQNEnsemble-FSO/RF的共识学习功能切换实现更好的性能比演员/关键FSO/RF，DQN-FSO/RF，和MyOpic FSO/RF链路切换，同时保持切换成本显着较低。
2022-11-07 cs.LG
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University（中田纳西州立大学）
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-17 cs.AI cs.LG
Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching
University of Minnesota（明尼苏达大学）；Northeastern University（东北大学）
针对需确保时序逻辑约束概率满足的约束强化学习问题，提出基于早期试验估计约束满足概率、自适应调整纯学习与约束满足策略切换概率的框架，理论验证了算法正确性并通过仿真展示性能。
2024-11-27 cs.AI cs.RO cs.SY
Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界，通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本，并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
Switching the Loss Reduces the Cost in Batch (Offline) Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Cornell University（康奈尔大学）；Netflix, Inc.（网飞公司）
本文提出用对数损失训练拟合Q迭代（FQI-log），证明其样本复杂度与最优策略的累积成本成比例，并在最优行动零成本的问题中实现小成本界，实验表明其样本效率优于平方损失FQI。
2024-08-01 cs.LG
Inverse Reinforcement Learning with Switching Rewards and History Dependency for Characterizing Animal Behaviors
Georgia Institute of Technology, Atlanta, GA, USA（佐治亚理工学院）；Emory University, Atlanta, GA, USA（埃默里大学）
提出SWIRL框架，通过结合时变和历史依赖的奖励函数，将长行为序列建模为短期决策过程间的转换，有效捕捉动物基于历史的复杂长期决策行为。
2025-07-15 cs.AI cs.LG
Regret-Optimal Q-Learning with Low Cost for Single-Agent and Federated Reinforcement Learning
本文提出两种新型算法，实现单智能体和联邦强化学习中最优遗憾、低烧入成本及对数级策略切换或通信成本。
2026-03-10 cs.LG stat.ML
Deep Reinforcement Learning Behavioral Mode Switching Using Optimal Control Based on a Latent Space Objective
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出一种基于最优控制直接优化深度强化学习策略潜空间的方法，通过\ac*{pacmap}降维识别行为模式并实现模式切换，从而有效改变策略行为。
2024-06-03 cs.LG cs.SY eess.SY
Continuous-time reinforcement learning for optimal switching over multiple regimes
Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）；School of Mathematics and Statistics, University of Sydney（数学与统计学学院，悉尼大学）
本文提出了一种基于连续时间强化学习的多 regime 最优化切换方法，通过熵正则化和马尔可夫链生成矩阵实现策略优化，并利用神经网络验证了算法有效性。
2026-07-31 cs.LG math.OC q-fin.CP
A Reinforcement Learning Inspired Latent Yield Based Adaptive Algorithm Switching Mechanism
Indian Institute of Technology Patna（印度理工学院帕纳布分校）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
针对在线或动态环境中算法选择困难的问题，提出一种受强化学习启发的潜在收益方法，通过封装奖励和惩罚触发探索与利用，实现自适应算法切换，并在排序算法和机器人避障任务中验证了有效性。
2026-05-23 cs.LG cs.MA cs.RO
One-shot, Offline and Production-Scalable PID Optimisation with Deep Reinforcement Learning
University College London（伦敦大学学院）；Huber+Suhner Polatis
比例-积分-微分（PID）控制是自动化工业过程中比$97\%$更重要的基础。有效地控制这些过程相对于一些指定的一组性能目标，需要找到一组最佳的PID参数，以缓和PID回路。调整这些参数是一个漫长而详尽的过程。提出了一种基于深度强化学习的方法（正在申请专利），该方法学习通用系统属性（例如谐振频率）、多目标性能目标和最佳PID参数值之间的关系。性能证明在一个真正的光开关产品的最重要的制造商，这种设备的全球范围内。开关由压电致动器处理，其中开关时间和光损耗分别来自致动器控制过程的速度和稳定性。该方法实现了落在最具挑战性的目标切换速度内的致动器的数量的$5\times$改进、相同光损耗下的平均切换速度的$\geq 20\%$改进以及温度在5摄氏度和73摄氏度之间变化时的性能不一致性的$\geq 75\%$降低。此外，一旦被训练（其采用$\mathcal{O}(hours)$），该模型就在单次推理过程中生成致动器唯一的PID参数，该单次推理过程采用$\mathcal{O}(ms)$与常规调谐方法所需的高达$\mathcal{O}(week)$相比，因此实现这些性能改进，同时实现高达$10^6\times$加速。在训练之后，该方法可以完全离线应用，在生产中有效地产生零优化开销。
2022-10-25 cs.AI cs.LG cs.SY
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech（佐治亚理工学院）
模仿学习（IL）由一组工具组成，这些工具利用专家演示来快速学习策略。然而，如果专家是次优的，IL可以产生性能较差的政策相比，强化学习（RL）。在本文中，我们的目标是提供一个算法，结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点，表明这些算法可以被视为单一方法的变体。然后，我们提出了LOKI，策略学习的策略，首先执行一个小的，但随机数的IL迭代之前切换到策略梯度RL方法。我们表明，如果切换时间是适当的随机化，LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后，我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Entropy-Regularized Reinforcement Learning for Linear-Quadratic Stackelberg Differential Games in Regime-Switching Diffusion Models
School of Mathematics and Statistics, Anhui Normal University（安徽师范大学数学与统计学学院）；School of Statistics, Key Laboratory of Advanced Theory and Application in Statistics and Data Science-MOE, Faculty of Economics and Management, East China Normal University（东华大学统计学院）；School of Mathematics, Southeast University（东南大学数学学院）
提出熵正则化强化学习方法求解连续时间体制切换扩散模型下的线性二次Stackelberg微分博弈，通过探索性耦合HJBI方程和神经网络逼近，有效避免次优均衡并处理高维PDE。
2026-06-27 cs.LG
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
School of Mathematics and Statistics（数学与统计学学院）；Department of Actuarial Studies and Business Analytics（精算学与商业分析系）；School of Statistics, KLATASDS-MOE, China Inclusive Ageing Finance Research Center（统计学学院，KLATASDS-MOE，中国包容性老龄化金融研究中心）；East China Normal University（华东师范大学）
针对随机微分博弈中参数误设和环境突变问题，提出分布控制方法，将最优策略建模为条件概率分布，并推导熵正则化零和随机微分博弈的耦合HJBI方程，通过Actor-Critic算法求解均衡策略。
2026-06-27 cs.LG
Optimizing the switching operation in monoclonal antibody production: Economic MPC and reinforcement learning
University of Alberta（阿尔伯塔大学）
针对单克隆抗体连续生产中捕获柱切换的离散优化难题，本文提出sigmoid函数近似、ReLU近似两种经济MPC高效实现方法及深度强化学习方法，并与传统1%穿透规则切换策略进行比较，以提升计算可行性和生产性能。
2023-08-07 cs.LG cs.SY eess.SY
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-22 cs.AI
Increasing Energy Efficiency of Massive-MIMO Network via Base Stations Switching using Reinforcement Learning and Radio Environment Maps
Poznań University of Technology（波兹南理工大学）；Institute of Radiocommunications（无线电通信研究所）
在考虑大规模多输入多输出（M-MIMO）网络时，能量效率（EE）是非常重要的，其中基站（BS）配备有由多达数百个元件组成的天线阵列。M-MIMO传输虽然频谱效率很高，但会导致高能耗随着天线数量的增加而增加。本文研究了通过打开/关闭未充分利用的BS来改善EE。建议使用位置感知方法，其中关于最佳活动BS集合的数据存储在无线电环境地图（REM）中。为了有效地获取、处理和利用REM数据，使用强化学习（RL）算法。评估了最先进的勘探/开发方法，包括e-greedy，上置信限（UCB）和梯度Bandit。在此基础上，提出了解析动作滤波和基于REM的探索算法（REM-EA）来提高RL的收敛速度。算法评估使用先进的系统级模拟器的M-MIMO异构网络（HetNet）利用精确的三维射线跟踪无线电信道模型。建议的RL为基础的BS切换算法被证明是提供70%的收益，在EE超过一个国家的最先进的算法，使用分析启发式。此外，所提出的动作滤波和REM-EA可以减少RL收敛时间相对于性能最好的国家的最先进的探索方法，分别由60%和83%。
2021-03-08 cs.IT cs.LG cs.NI
An Autonomous Negotiating Agent Framework with Reinforcement Learning Based Strategies and Adaptive Strategy Switching Mechanism
NEC Corporation（日本电气股份有限公司）
尽管文献中有大量的谈判策略，但自动谈判的复杂性使得单个策略在不同的谈判场景中无法占主导地位。为了克服这一点，一种方法是使用混合专家模型，但同时，这种方法的一个问题是专家的选择，因为这种方法受到所选择的专家的能力的限制。大多数谈判策略的另一个问题是它们不能适应对手在单个谈判会话中的行为的动态变化，从而导致性能不佳。这项工作侧重于两个，解决专家选择和适应对手的行为与我们的自主谈判代理框架的问题。该框架允许对手的行为的实时分类，并提供了一种机制，选择，切换或组合策略在一个单一的谈判会话。此外，我们的框架有一个审查员组件，使自我增强的能力，决定包括新的战略或更换旧的更好的战略定期。我们通过使用基于深度学习的对手分类器实现基于最大熵强化学习的策略来演示我们的框架的实例。最后，我们评估我们的代理对国家的最先进的谈判者在不同的谈判场景下的性能。
2021-02-09 cs.AI cs.MA
A Provably Efficient Algorithm for Linear Markov Decision Process with Low Switching Cost
Tsinghua University（清华大学）；University of Washington（华盛顿大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
许多现实世界的应用，诸如医疗领域、推荐系统等中的应用，可以被公式化为大状态空间强化学习问题，其中仅具有策略改变数量的小预算，即，切换成本低。本文重点介绍了最近在[Yang et al 2019，Jin et al 2020]中研究的线性马尔可夫决策过程（MDP），其中线性函数近似用于大状态空间上的推广。我们提出了第一个算法的线性MDP与低开关成本。我们的算法实现了一个$\widetilde{O}\left(\sqrt{d^3H^4K}\right)$遗憾界与一个接近最优的$O\left(d H\log K\right)$全球切换成本，其中$d$是功能维度，$H$是规划视野和$K$是代理播放的剧集数。我们的遗憾界限与[Jin et al 2020]的最佳现有多项式算法相匹配，并且我们的切换成本呈指数级小于他们的。当专门用于表格MDP时，我们的转换成本界限改善了[Bai et al 2019，Zhang et al 20020]中的转换成本界限。我们补充我们的积极结果与$Ω\left(dH/\log d\right)$全球切换成本的任何无悔算法的下限。
2021-01-02 cs.AI cs.LG stat.ML
Actor-Critic Deep Reinforcement Learning for Dynamic Multichannel Access
Syracuse University（雪城大学）
我们认为动态多信道接入问题，这可以制定为一个部分可观测马尔可夫决策过程（POMDP）。我们首先提出了一个无模型的演员-评论家深度强化学习为基础的框架，探索感测政策。为了评估所提出的感知策略和框架对不确定性的容忍度的性能，我们测试了不同信道切换模式的情况下的框架，并考虑不同的切换概率。然后，我们考虑了一个时变的环境，以确定所提出的框架的自适应能力。此外，我们在平均奖励和时间效率方面与[1]中提出的基于Deep-Q网络（DQN）的框架进行了比较。
2018-10-08 cs.IT cs.LG math.IT
When should agents explore?
DeepMind（深度思维）
探索仍然是强化学习（RL）的核心挑战。实际上，所有现有的方法都具有单一行为策略的特征，这种策略只能逐渐（充其量）改变。相比之下，动物和人类的探索行为表现出丰富的多样性，即包括模式之间的转换形式。本文提出了一个初步的研究模式切换，非单片探索的RL。我们研究了不同的模式之间切换，在什么时间尺度上切换是有意义的，以及什么信号可以触发良好的切换。我们还提出了实用的算法组件，使切换机制的自适应性和鲁棒性，这使得灵活性，而无需伴随超参数调整负担。最后，我们报告了一个有前途的和详细的分析雅达利，使用双模式探索和切换在子情节的时间尺度。
2022-03-04 cs.AI cs.LG
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI（艾伦人工智能研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在实践中，模仿学习优于纯强化学习，只要有可能设计一个教学代理提供专家监督。然而，我们发现，当教学代理人作出决定，访问特权信息是不可用的学生，这些信息被边缘化在模仿学习，导致“模仿差距”，并可能，效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的，但对于需要在探索和记忆之间频繁切换的任务来说，渐进式学习是失败的。为了更好地解决这些任务，并减轻模仿差距，我们提出了“适应性不服从”（ADVISOR）。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权，从而实现在模仿和探索之间的动态切换。在网格世界，多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中，我们证明了ADVISOR的动态切换优于纯模仿，纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
Policy-Based Deep Reinforcement Learning Hyperheuristics for Job-Shop Scheduling Problems
South Westphalia University of Applied Sciences（西南菲利斯大学应用科学学院）
本文提出基于策略的深度强化学习超启发式方法，通过动作预过滤和承诺机制优化作业车间调度，实验表明其优于传统方法和神经网络调度方法。
2026-01-16 cs.AI
Learning When to Switch: Adaptive Policy Selection via Reinforcement Learning
该研究通过强化学习实现自主代理在不同导航策略间的自适应切换，提升复杂任务性能。
2025-12-06 cs.LG
Switching Linear Dynamics for Variational Bayes Filtering
Volkswagen Group（大众汽车集团）；Technische Universität Darmstadt（达姆施塔特工业大学）
复杂非线性系统的系统辨识是模型预测控制和基于模型的强化学习的核心问题。尽管它们很复杂，但如果分解成适当的连续性，这样的系统通常可以很好地近似为一组线性动力系统。这种机制不仅帮助我们找到动力学的良好近似，而且还使我们更深入地了解底层系统。利用贝叶斯推断，变分自动编码器和混凝土松弛，我们展示了如何学习一个更丰富，更有意义的状态空间，例如编码关节约束和碰撞与墙壁在迷宫中，从部分和高维观测。这种表示转化为在各种模拟任务上展示的学习动态的准确性的增益。
2019-05-29 cs.LG stat.ML
A Deep Actor-Critic Reinforcement Learning Framework for Dynamic Multichannel Access
Syracuse University（雪城大学）
为了有效利用有限的频谱资源，我们在这项工作中提出了一个基于深度演员批评者强化学习的动态多通道访问框架。我们考虑一个单用户的情况下，多个用户试图同时访问通道的情况。我们采用该框架作为一个单一的代理在单用户的情况下，并将其扩展到一个分散的多代理框架中的多用户的情况下。在这两种情况下，我们都开发了演员-评论家深度强化学习的算法，并通过实验和数值结果评估了所提出的学习策略。在单用户模型中，为了评估所提出的信道访问策略的性能和框架对不确定性的容忍度，我们探索了不同的信道切换模式和不同的切换概率。在多用户的情况下，我们分析了每个用户接入信道的概率与有利的信道条件和碰撞的概率。我们还解决了一个随时间变化的环境，以确定所提出的框架的适应能力。此外，我们提供了所提出的演员-评论家深度强化学习框架，基于Deep-Q网络（DQN）的方法，随机访问和信道动态已知时的最佳策略之间的比较（在平均奖励和时间效率方面）。
2019-08-20 cs.IT cs.LG math.IT
Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit（阿姆斯特丹自由大学）
针对可再生能源接入下电网拓扑控制的大动作空间难题，提出利用电网分层结构的分层MARL框架，并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
Posterior Sampling for Large Scale Reinforcement Learning
Adobe Research（奥多比研究院）；Netflix（网飞）
我们提出了一个实用的非情节PSRL算法，不像最近的国家的最先进的PSRL算法使用一个确定性的，独立于模型的情节切换时间表。我们的算法称为确定性调度PSRL（DS-PSRL）是有效的时间，样本，和空间复杂度。我们证明了一个贝叶斯遗憾界下温和的假设。我们的结果更普遍地适用于多参数和连续状态作用问题。我们比较我们的算法与国家的最先进的PSRL算法的标准离散和连续问题的文献。最后，我们展示了我们的算法的假设如何满足一个明智的参数化的一大类问题，在顺序的建议。
2018-10-22 cs.AI cs.LG
Near-Optimal Deployment Efficiency in Reward-Free Reinforcement Learning with Linear Function Approximation
UC Santa Barbara（加州大学圣巴巴拉分校）
我们研究了在\emph{reward-free}探索环境下使用线性函数逼近的部署有效强化学习（RL）问题。这是一个动机很好的问题，因为在现实生活中的RL应用程序中部署新策略是昂贵的。在线性MDP设置与功能维度$d$和规划视野$H$，我们提出了一种新的算法，收集最多$\widetilde{O}(\frac{d^2H^5}{ε^2})$轨迹内$H$部署，以确定$ε$ -最优策略的任何（可能依赖于数据）的选择奖励函数。据我们所知，我们的方法是第一个实现最佳的部署复杂性和最佳的$d$依赖样本复杂性在同一时间，即使奖励是已知的提前。我们的新技术包括探索保持政策离散化和广义G-最优实验设计，这可能是独立的利益。最后，我们分析了低适应RL中遗憾最小化的相关问题，并给出了切换成本和批处理复杂度的信息论下界。
2023-02-22 cs.AI cs.LG stat.ML
Reinforcement Learning Enabled Adaptive Multi-Task Control for Bipedal Soccer Robots
School of Future Technology（未来技术学院）
本文提出模块化强化学习框架，解决双足足球机器人在动态环境中的运动稳定性、多任务深度耦合及状态切换问题，通过分层结构实现稳定操作。
2026-04-21 cs.AI cs.RO
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley（加州大学伯克利分校）
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据，提出具有可证明保证的算法，并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Multi-criteria Hardware Trojan Detection: A Reinforcement Learning Approach
New Mexico State University（新墨西哥州立大学）；Miami University（迈阿密大学）；North Carolina A&T State University（北卡罗来纳农工州立大学）
针对现有硬件木马检测多依赖单一准则的局限，提出一种带可调奖励函数的多准则强化学习检测工具，可适配多场景，还给出公平比较方法，在ISCAS-85基准上检测成功率达84.2%。
2023-04-26 cs.AR cs.CR cs.LG
Almost Optimal Model-Free Reinforcement Learning via Reference-Advantage Decomposition
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了有限时域情景马尔可夫决策过程（MDP）中的强化学习问题，该过程具有$S$状态、$A$动作和情景长度$H$ .我们提出了一个无模型的算法UCB-Advantage，并证明了它实现了$\tilde{O}(\sqrt{H^2SAT})$遗憾，其中$T = KH$和$K$是播放的剧集数。我们的遗憾界改进了[Jin等人，2018]，并匹配最知名的基于模型的算法以及信息理论下限对数因子。我们还表明，UCB-Advantage实现了低局部切换成本，并适用于并发强化学习，改进了[Bai et al.，2019年]。
2020-06-06 cs.DS cs.LG stat.ML
Intelligent Switching for Reset-Free RL
Mila（米拉计算研究所）；Université de Montréal（蒙特利尔大学）；Dalhousie University（达尔豪斯大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
本文提出RISC算法，通过基于智能体置信度的智能切换机制协调前向与后向智能体，解决无重置强化学习中转换时机问题，并在多个挑战性环境中取得最优性能。
2024-05-02 cs.AI cs.LG
Reinforcement Learning for Thermostatically Controlled Loads Control using Modelica and Python
Ukrainian Catholic University（乌克兰天主教大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
该项目的目的是调查和评估应用强化学习（RL）的电力系统控制的机会。作为概念验证（proof of concept，ESTA），使用基于Modelica的流水线开发了用于功耗调节的恒温控制负载（thermostatically controlled loads，TCLs）的电压控制。Q-学习RL算法已被验证为确定性和随机初始化的TCL。后一种建模更接近于真实的电网行为，考虑到负载切换的随机性，这对控制开发提出了挑战。此外，本文还讨论了Q-学习参数，包括状态-动作空间的离散化，对控制器性能的影响。
2020-05-09 cs.LG cs.SY eess.SY
Hysteresis-Based RL: Robustifying Reinforcement Learning-based Control Policies via Hybrid Control
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Eindhoven University of Technology（埃因霍温理工大学）
强化学习（RL）是一种很有前途的复杂系统控制方法。正如我们在两个控制问题中所示，使用近端策略优化（PPO）和深度Q网络（DQN）算法所导出的策略可能缺乏鲁棒性保证。出于这些问题，我们提出了一种新的混合算法，我们称之为基于滞后的RL（HyRL），增强了现有的RL算法滞后切换和两个阶段的学习。我们说明了它的属性在PPO和DQN失败的两个例子。
2022-04-01 cs.AI cs.LG cs.SY
Higher-Order Action Regularization in Deep Reinforcement Learning: From Continuous Control to Building Energy Management
Centre for Computational Science and Mathematical Modelling（计算科学与数学建模中心）；Coventry University（科文特大学）
本研究提出高阶动作正则化方法，通过优化连续控制和建筑能耗管理，实现更平滑的动作策略，减少设备切换并提升实际应用效果。
2026-01-05 cs.AI cs.LG
Reliability Quantification of Deep Reinforcement Learning-based Control
Osaka Metropolitan University（大阪公立大学）
提出利用参考与评估双网络输出差异量化深度强化学习控制可靠性，并应用于模型切换以提升性能。
2023-10-14 cs.AI cs.LG cs.SY
A Switching System Theory of Q-Learning with Linear Function Approximation
Department of Electrical Engineering（电气工程系）
本文基于联合谱半径理论，提出了一种Q学习线性函数逼近的切换系统解释，推导了精确的线性切换模型，并将收敛性与相应切换系统的稳定性联系起来，同时扩展到具有独立同分布观测和马尔可夫观测的随机线性Q学习，提供了基于JSR的正则化Q学习视角。
2026-07-07 cs.LG
Proximal Reliability Optimization for Reinforcement Learning
Michigan Technological University（密歇根理工大学）
针对强化学习因现实差距难以用于自主控制器设计的问题，提出基于可靠性的近端优化框架，通过量化设计空间不确定性提升控制器鲁棒性，并利用基于模型的方法保持数据效率，在经典任务中验证了神经控制器的稳定性。
2019-06-03 cs.LG cs.SY eess.SY
Finite-Time Error Analysis of Soft Q-Learning: Switching System Approach
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文利用切换系统模型对基于log-sum-exp算子和Boltzmann算子的两类软Q学习算法进行统一的有限时间控制理论分析，推导出新的有限时间误差界，为强化学习有限时间分析提供新框架。
2024-09-05 cs.LG
Program-Based Strategy Induction for Reinforcement Learning
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）；Department of Psychology（心理学系）；Department of Computer Science（计算机科学系）
本文提出用贝叶斯程序归纳发现可解释的强化学习策略，在赌博机任务中揭示出经典增量学习难以捕捉的非对称学习、自适应随机探索和离散状态切换等策略。
2024-02-26 cs.AI cs.LG
Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning
Dynamical Systems Research Laboratory（动态系统研究实验室）；Department of Mechanical Engineering & Materials Science（机械工程与材料科学系）；Duke University（杜克大学）
最近的研究工作表明，有意使用非线性增强能量收集系统的能力。在非线性收获器中出现的主要挑战之一是，非线性通常会导致具有可能共存的期望和不期望响应的多个吸引子。本文提出了一种基于永磁转磁传动的非线性能量采集器，该能量采集器具有不同水平的电功率输出，并具有共存的吸引子。此外，提出了一种利用深度强化学习的控制方法，实现了在具有约束驱动的共存吸引子之间的吸引子切换。
2020-10-03 cs.LG cs.SY eess.SY
Switching Theory for Q-Learning
Department of Electrical Engineering（电气工程系）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种基于直接随机切换系统的Q学习分析方法，通过联合谱半径定义漂移率，推导出有限时间最终迭代界。
2026-08-11 cs.AI cs.LG cs.SY
SteinGate: Tail-Sensitive Safe Reinforcement Learning via Stein Discrepancy
研究安全强化学习中罕见灾难性尾部事件难检测的问题，提出SteinGate方法，利用核斯坦因差异进行稳健一致性检查并考虑边界原子，动态调整学习机制，实验证明该方法能降低约束违反频率和严重性且保持竞争力。
2026-07-16 cs.AI cs.LG
Reinforcement learning for traffic signal control in hybrid action space
基于自适应学习的交通信号控制方法主要有阶段优化和持续时间优化两种，这取决于行为空间。在本文中，我们提出了一种新的控制架构，TBO，这是基于混合邻近策略优化。据我们所知，TBO是第一个基于RL的算法，实现同步优化的分期和持续时间。与离散和连续动作空间相比，混合动作空间是一个合并的搜索空间，TBO在其中更好地实现了频繁切换和不饱和释放之间的权衡。实验结果表明，与现有的基线相比，TBO平均减少了13.78%的队列长度和14.08%的延迟。此外，我们还计算了通行权的基尼系数，表明TBO在提高效率的同时并没有损害公平。
2022-11-25 cs.AI cs.LG cs.SY
Finite-Time Analysis of Minimax Q-Learning for Two-Player Zero-Sum Markov Games: Switching System Approach
KAIST（韩国科学技术院）
针对双人零和马尔可夫博弈的Q学习有限时间分析问题，采用切换系统方法对minimax Q学习及对应值迭代建立有限时间分析，提供收敛分析新视角，推动控制理论与强化学习领域交叉协作。
2023-06-12 cs.GT cs.LG cs.SY
Online Learning-based Adaptive Beam Switching for 6G Networks: Enhancing Efficiency and Resilience
本文提出基于在线深度强化学习的自适应波束切换方法，通过增强状态表示和稳定性导向奖励函数，提升6G网络的链路稳定性和数据速率。
2025-12-03 cs.AI cs.LG cs.NI
Reducing the Deployment-Time Inference Control Costs of Deep Reinforcement Learning Agents via an Asymmetric Architecture
National Tsing Hua University（台湾清华大学）
深度强化学习（DRL）已被证明在一些具有挑战性的决策和控制任务中提供了有希望的结果。然而，深度神经网络（DNN）所需的推理成本可能会阻止DRL应用于无法承受高能耗计算的移动机器人。为了使DRL方法在这样的能源有限的平台是负担得起的，我们提出了一个不对称的架构，通过计算昂贵的政策和经济之间的切换，降低了整体推理成本。机器人控制任务的一些代表性的基准套件的实验结果表明，我们的方法是能够降低推理成本，同时保持代理的整体性能。
2021-05-30 cs.AI cs.RO
Probabilistic Recurrent Intention Switching Model
Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）
提出PRISM模型，利用轻量级递归网络建模非平稳意图切换，实现精确EM分解和闭式求解，在网格世界、小鼠迷宫和机器人操作任务中取得最优似然并恢复可解释意图。
2026-05-26 cs.LG q-bio.NC
