Double Meta-Learning for Data Efficient Policy Optimization in Non-Stationary Environments
University of Southern California（南加州大学）
我们感兴趣的学习模型的非平稳环境，这可以被框定为一个多任务学习问题。无模型强化学习算法在多任务学习中可以以大量采样为代价实现良好的渐近性能，这是由于它们的方法需要从头开始学习。虽然基于模型的方法是数据效率最高的学习算法之一，但它们仍然难以处理复杂的任务和模型不确定性。Meta-强化学习通过快速利用新任务的元先验策略来解决多任务学习的效率和泛化挑战。在本文中，我们提出了一种Meta强化学习方法来学习非平稳环境的动态模型，用于元策略优化。由于基于模型的学习方法的样本效率，我们能够同时训练非平稳环境的元模型和元策略，直到动态模型收敛。然后，环境的元学习动态模型将生成用于元策略优化的模拟数据。我们的实验表明，我们提出的方法可以元学习的政策在一个非平稳的环境中的数据效率的基于模型的学习方法，同时实现高渐近性能的无模型Meta强化学习。
2020-11-21 cs.AI cs.LG
Reinforcement Learning in Switching Non-Stationary Markov Decision Processes: Algorithms and Convergence Analysis
Department of Computer and System Science（计算机与系统科学系）
研究切换非平稳马尔可夫决策过程，推导固定策略下SNS值函数闭式表达式，证明TD学习、策略迭代及表格Q学习的收敛性，在无线通信网络验证框架，为快速时变系统决策提供有效方法。
2026-07-17 cs.AI cs.LG
Reinforcement Learning in Non-Stationary Environments
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Dharwad（印度理工学院达尔瓦德分校）
强化学习（RL）方法在静态环境中学习最优决策。然而，对环境的平稳假设是非常有限制的。在许多现实世界的问题，如交通信号控制，机器人应用，人们经常遇到的情况下，非平稳的环境，在这些情况下，RL方法产生次优的决策。因此，在本文中，我们考虑的问题，开发RL方法，在非平稳环境中获得最佳决策。这个问题的目标是最大化的长期折扣奖励时，环境的基础模型随时间变化而实现。为了实现这一目标，我们首先采用变点算法来检测环境统计数据的变化，然后开发一种RL算法，使长期奖励最大化。我们说明，我们的变点方法检测到的环境模型的变化有效，从而有利于RL算法在最大化的长期回报。我们进一步验证了所提出的解决方案的有效性，非平稳随机马尔可夫决策过程，传感器能量管理问题和交通信号控制问题。
2020-05-19 cs.AI cs.LG stat.ML
Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
School of Future Technology, Southeast University, Nanjing, China（东南大学未来技术学院，南京，中国）；School of Automation, Southeast University, Nanjing, China（东南大学自动化学院，南京，中国）
本文提出AES方法，通过动态调整熵系数以应对环境漂移，减少性能下降并加快恢复速度。
2026-07-15 cs.AI cs.LG
A Behavior-Aware Approach for Deep Reinforcement Learning in Non-stationary Environments without Known Change Points
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
针对非平稳环境下深度强化学习性能下降的问题，提出行为感知检测与适应（BADA）框架，利用Wasserstein距离检测环境变化并通过行为正则化适应新环境，实验证明其优于现有算法。
2024-05-23 cs.AI cs.LG
Factored Adaptation for Non-Stationary Reinforcement Learning
City University of Hong Kong（香港城市大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
处理环境中的非平稳性（例如，在过渡动态中）和目标（例如，是一个具有挑战性的问题，在强化学习（RL）的实际应用中至关重要。虽然目前大多数方法将变化建模为单个共享嵌入向量，但我们利用最近因果关系文献的见解，根据个体潜在变化因素和不同环境中的因果关系图来建模非平稳性。特别是，我们提出了非平稳RL的因子自适应（FANS-RL），这是一种因子自适应方法，它可以联合学习因子MDP的因果结构和个体时变变化因子的因子表示。我们证明，在标准的假设下，我们可以完全恢复的因果图表示的因素化的过渡和奖励功能，以及个别的变化因素和状态组件之间的部分结构。通过我们的总体框架，我们可以考虑具有不同功能类型和变化频率的一般非平稳场景，包括跨事件和事件内的变化。实验结果表明，FANS-RL在返回、潜在状态表示的紧凑性以及对不同程度的非平稳性的鲁棒性方面优于现有方法。
2022-10-18 cs.AI cs.LG
The complexity of non-stationary reinforcement learning
Columbia University（哥伦比亚大学）
针对非平稳强化学习中的持续学习难题，本文基于SETH证明更新单个状态-动作对的概率或奖励在最坏情况下需近线性于状态数的时间，而新增状态-动作对则明显更容易。
2023-07-13 cs.AI cs.DS cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Inverse Reinforcement Learning from Non-Stationary Learning Agents
Duke University（杜克大学）；US Air Force（美国空军）；AFRL Division（空军研究实验室分部）
本文针对学习智能体在非平稳学习过程中的奖励函数估计问题，提出基于 bundle behavior cloning 的逆向强化学习方法，利用少量轨迹克隆策略并训练神经网络估计奖励，理论分析和实验验证了其优于标准行为克隆。
2024-10-18 cs.AI cs.LG
Online Reinforcement Learning in Non-Stationary Context-Driven Environments
MIT（麻省理工学院）；CS Brown University（布朗大学计算机科学系）；Microsoft Research（微软研究院）
针对非平稳环境中在线强化学习的灾难性遗忘问题，提出局部约束策略优化（LCPO）方法，通过锚定旧经验策略输出并在当前上下文分布外采样进行局部约束，显著提升了性能并与离线先知智能体表现相当。
2025-03-31 cs.AI cs.LG
Non-stationary Reinforcement Learning without Prior Knowledge: An Optimal Black-box Approach
University of Southern California（南加州大学）
我们提出了一个黑盒减少，把一个特定的强化学习算法与最佳遗憾（近）静态环境中的另一个算法与最佳动态遗憾在非静态环境中，重要的是没有任何先验知识的非平稳程度。通过将不同的算法插入到我们的黑盒子中，我们提供了一个例子列表，表明我们的方法不仅可以恢复通过非常专业的算法实现的（上下文）多武装匪徒的最新结果，而且还可以以各种方式显着提高（广义）线性匪徒，情节MDP和无限地平线MDP的最新技术水平。具体地说，在大多数情况下，我们的算法实现了最佳的动态遗憾$\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, Δ^{1/3}T^{2/3}\})$，其中$T$是轮数和$L$和$Δ$分别是世界的变化的数量和量，而以前的作品只获得次优的边界和/或需要的知识$L$和$Δ$。
2021-09-05 cs.AI cs.LG stat.ML
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN AIP（日本科学技术厅AIP）
本研究证明Transformer在非平稳强化学习中可实现近乎最优的动态遗憾界，并实验验证其能匹配或超越现有专家算法。
2025-10-23 cs.LG stat.ML
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI（谷歌云AI）；University of Technology Sydney（悉尼科技大学）
我们提出了一种新的自适应迁移学习框架，学习迁移学习（L2TL），通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化，并自适应地调整组成损失权重。权重的自适应是基于强化学习（RL）选择策略，以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下，L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
On the consistency of hyper-parameter selection in value-based deep reinforcement learning
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文针对基于价值的深度强化学习中超参数选择常被算法进步掩盖的问题，通过广泛实证研究并引入新分数量化超参数一致性，明确了关键调优超参数及不同训练机制下的一致调优方向。
2024-11-29 cs.AI cs.LG
Dynamic feature selection in medical predictive monitoring by reinforcement learning
Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）；Center for Big Data and Clinical Research（大数据与临床研究中心）
针对多变量时间序列医疗预测监测中静态特征选择方法无法有效利用时序信息的问题，提出基于强化学习的动态特征选择方法，在最大成本限制下优化策略生成合成数据更新模型，实验证明其在严格成本限制下优于基线方法。
2024-05-30 cs.AI cs.LG
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center（CETIC研究中心）
本文研究了强化学习在局部搜索中用于邻域选择的效果，发现ε-贪心表现优异，而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection
Federal University of Rio Grande do Sul（里约热内卢联邦大学南里奥格兰德分校）；University of Massachusetts（马萨诸塞大学）
非平稳环境对强化学习算法具有挑战性。如果状态转换和/或奖励函数基于潜在因素而改变，则代理的有效任务是优化行为，该行为在马尔可夫决策过程（MDP）的可能无限随机序列上最大化性能，每个MDP都来自某种未知分布。我们将每个这样的MDP称为上下文。大多数相关的作品都做出了强有力的假设，例如关于上下文分布的知识，预训练阶段的存在，或者关于上下文之间的数量，序列或边界的先验知识。我们介绍了一种算法，有效地学习非平稳环境中的政策。它分析可能无限的数据流，并实时计算高置信度的变点检测统计数据，这些统计数据反映是否需要创建和部署新的、专门的策略来解决新的上下文，或者是否可以重用之前优化的策略。我们表明，（i）该算法最大限度地减少了延迟，直到检测到不可预见的变化，从而允许快速响应;（ii）它限制了误报率，这对于减少遗憾是很重要的。我们的方法构建了一个混合模型组成的（可能是无限的）合奏的概率动力学预测模型的不同模式的分布在潜在的MDP。我们在高维连续强化学习问题上评估了我们的算法，并表明它优于最先进的（无模型和基于模型的）RL算法，以及专门设计用于处理非平稳性的最先进的元学习方法。
2021-05-20 cs.AI cs.LG
Reinforcement Learning Approach for Parallelization in Filters Aggregation Based Feature Selection Algorithms
ITMO University（ITMO大学）
机器学习和数据采掘中的经典问题之一是特征选择。一个特征选择算法被期望是快速的，同时它应该表现出高性能。MeLiF算法有效地解决了这个问题，使用排名过滤器的合奏。本文介绍了两种不同的方法来提高MeLiF算法的并行化性能。实验结果表明，该方法显著提高了算法性能，提高了特征选择质量。
2016-11-07 cs.AI cs.LG stat.ML
GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning
Morrow Company（莫尔公司）
GB-DQN通过梯度提升方法解决非平稳强化学习中的模型漂移问题，通过增量残差学习提高恢复速度和稳定性。
2025-12-18 cs.LG
Continual Reinforcement Learning in 3D Non-stationary Environments
University of Bologna（博洛尼亚大学）；University of Michigan（密歇根大学）；Purdue University（普渡大学）
高维时变环境对现有的强化学习技术提出了严峻的挑战。如今，人工智能体通常在模拟中的非常静态和受控的条件下进行离线训练，使得训练观察可以被认为是采样的i.i.d.。从整个观察空间。然而，在现实世界中，环境往往是非静止的，并且经常发生不可预测的变化。在本文中，我们提出并公开发布了CRLMaze，这是一个新的基准，用于在基于ViZDoom的复杂3D非静止任务中通过强化不断学习，并受到多种环境变化的影响。然后，我们引入了一种端到端的无模型连续强化学习策略，该策略在四个不同的基线上显示出有竞争力的结果，并且不需要访问任何额外的监督信号，以前遇到的环境条件或观察结果。
2020-04-21 cs.CV cs.LG stat.ML
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning
Harvard University（哈佛大学）；University of Toronto（多伦多大学）；Microsoft（微软）
联邦学习（FL）是一种训练技术，其使得客户端设备能够通过聚合本地计算的模型而不暴露其原始数据来共同学习共享模型。虽然大多数现有的工作集中在提高FL模型的准确性，在本文中，我们专注于提高训练效率，这往往是在现实世界中采用FL的一个障碍。具体而言，我们设计了一个有效的FL框架，共同优化模型的准确性，处理延迟和通信效率，所有这些都是主要的设计考虑因素，真正实现FL。最近成功的多智能体强化学习（MARL）在解决复杂的控制问题的启发，我们提出了\textit{FedMarl}，基于MARL的FL框架，执行高效的运行时客户端选择。实验结果表明，FedMarl可以显著提高模型的准确性，同时降低处理延迟和通信开销。
2022-01-09 cs.AI cs.LG
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset
UCL Gatsby（伦敦大学学院盖茨比（研究机构））；Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）
针对非平稳数据分布，提出基于自适应漂移的奥恩斯坦-乌伦贝克过程实现软参数重置，自动适应非平稳性，并在监督与强化学习中验证有效性。
2024-11-06 cs.AI cs.LG
Reinforcement Learning for Non-Stationary Markov Decision Processes: The Blessing of (More) Optimism
National University of Singapore（新加坡国立大学）
我们考虑了漂移非平稳性下马尔可夫决策过程（MDP）中的非折扣强化学习（RL），即，只要由适当的度量量化的它们各自的总变化不超过某些变化预算，就允许回报和状态转换分布随时间演变。首先提出了基于置信度加宽的强化学习滑动窗口置信度上界（SWUCRL 2-CW）算法，并在已知变量预算的情况下建立了其动态后悔界.此外，我们提出了Bandit-over-强化学习（BORL）算法来自适应地调整SWUCRL 2-CW算法，以实现相同的动态遗憾界，但以无参数的方式，即，而不知道变化预算。值得注意的是，通过传统的乐观探索技术学习非平稳MDP提出了一个独特的挑战，在现有的（非平稳）的强盗学习设置。我们克服了一种新的信心扩大技术，结合额外的乐观的挑战。
2020-06-24 cs.LG stat.ML
Economic span selection of bridge based on deep reinforcement learning
Jiangsu College of Finance & Accounting（江苏财会职业学院）；Lianyungang Open University（连云港开放大学）；Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd（万世先行数智交通科技有限公司）
针对桥梁跨径选择影响工程成本的问题，结合经济跨径理论，构建含对应观测、动作空间和奖励函数的仿真环境，采用基于卷积网络、ε贪心策略与经验回放的深度Q网络智能体学习最优策略，实现桥梁经济跨径选择，为桥梁设计提供决策工具。
2024-07-09 cs.AI cs.LG
Solving Continuous Mean Field Games: Deep Reinforcement Learning for Non-Stationary Dynamics
University of Cambridge（剑桥大学）；KTH Royal Institute of Technology（皇家理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）；NYU Center for Data Science（纽约大学数据科学中心）；NYU Shanghai（纽约大学上海分校）
本文提出一种基于虚拟博弈和条件归一化流的深度强化学习算法，用于求解非平稳连续平均场博弈，在三个递增复杂度示例上验证了其有效性。
2025-10-25 cs.AI cs.LG cs.MA
Horizon-Free Reinforcement Learning in Polynomial Time: the Power of Stationary Policies
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
本文给出了表马尔可夫决策过程（MDP）的第一个具有后悔界\emph{independent on the planning horizon}的多项式时间算法。具体来说，我们考虑表格MDP与$S$状态，$A$行动，规划地平线$H$，总奖励由$1$界定，和代理播放$K$情节。我们设计了一个算法，实现了$O\left(\mathrm{poly}(S,A,\log K)\sqrt{K}\right)$遗憾，与现有的界限，要么有一个额外的$\mathrm{polylog}(H)$依赖性~ \citep{zhang2020reinforcement}或有一个指数依赖于$S$ ~ \citep{li2021settling}。我们的结果依赖于一系列新的结构引理建立的近似功率，稳定性和浓度属性的平稳政策，这可以在其他问题中的应用马尔可夫链。
2022-06-16 cs.LG
Is Prior-Free Black-Box Non-Stationary Reinforcement Learning Feasible?
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无先验非平稳性的NS-RL问题，研究发现MASTER在实际时间范围下检测机制失效、遗憾界未达预期，而采用最快变化检测的方法在分段平稳多臂老虎机测试中更优。
2024-10-21 cs.AI cs.LG stat.ML
Robusta: Robust AutoML for Feature Selection via Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
已经提出了几种AutoML方法来自动化机器学习（ML）过程，例如搜索ML模型架构和超参数。然而，这些AutoML流水线只关注提高良性样本的学习精度，而忽略了ML模型在对抗攻击下的鲁棒性。随着ML系统越来越多地用于各种关键任务应用程序，提高ML系统的鲁棒性变得至关重要。在本文中，我们提出了第一个强大的AutoML框架Robusta-基于强化学习（RL）-执行特征选择，旨在选择导致准确和强大的ML系统的特征。我们表明，0-1鲁棒损失的变化可以直接优化通过基于RL的组合搜索的特征选择的情况下。此外，我们采用的特征评分指标，这是互信息分数，基于树的分类器的特征重要性分数，F分数，和综合梯度（IG）分数，以及它们的组合的基础上，加速搜索过程。我们进行了广泛的实验，并表明，该框架是能够提高模型的鲁棒性高达22%，同时保持竞争力的准确性良性样本相比，其他特征选择方法。
2021-01-15 cs.AI cs.LG
Optimizing Fantasy Sports Team Selection with Deep Reinforcement Learning
Dream11
本文针对梦幻板球组队优化问题，将队伍创建建模为序贯决策过程，利用历史球员数据训练强化学习算法预测表现并优化阵容，实验证明RL方法优于传统选秀策略。
2024-12-26 cs.AI cs.LG
Oracle Inequalities for Model Selection in Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
在离线强化学习（RL）中，学习器利用先前记录的数据来学习好的策略，而无需与环境交互。在实践中应用这些方法的一个主要挑战是缺乏理论原则和实际工具来进行模式选择和评价。为了解决这个问题，我们研究了离线RL的模型选择问题与价值函数近似。学习者被赋予一个嵌套的模型类序列，以最小化平方贝尔曼误差，必须在这些模型类中进行选择，以实现类的近似和估计误差之间的平衡。我们提出了第一个离线RL模型选择算法，实现了极大极小速率最优的预言机不等式对数因子。该算法ModBE将候选模型类的集合和通用基础离线RL算法作为输入。通过使用一种新的单侧泛化测试连续消除模型类，ModBE返回一个具有遗憾缩放的策略，该策略具有最小完整模型类的复杂性。除了理论上的保证，它在概念上是简单的，计算效率高，相当于解决了一系列平方损失回归问题，然后比较类之间的相对平方损失。我们的结论与几个数值模拟表明，它是能够可靠地选择一个好的模型类。
2022-11-03 cs.AI cs.LG
Pausing Policy Learning in Non-stationary Reinforcement Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
本文提出预测性在线强化学习框架，证明策略性暂停决策更新优于持续更新，通过计算最优更新-保持比率并实验验证，可提升性能并收紧动态遗憾上界。
2024-05-25 cs.LG
Selection as Power: Constrained Reinforcement for Bounded Decision Authority
AI Lab, Grupo Santander Madrid, Spain（Grupo Santander 马德里实验室）
本文提出了一种动态激励性选择治理框架，通过受约束的强化学习方法，在保持有限决策权的同时实现适应性改进。
2026-03-02 cs.AI cs.CE cs.LG
A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces
Inria Lille（里尔法国国家信息与自动化研究所）；Université de Lille（里尔大学）；OvGU（马格德堡大学）；Facebook AI Research（脸书人工智能研究院）；CNRS（法国国家科学研究中心）；DeepMind Paris（深度思维巴黎）
在这项工作中，我们提出了KeRNS：一个算法的情景强化学习在非平稳马尔可夫决策过程（MDP）的状态动作集被赋予一个度量。使用一个非参数模型的MDP建立与时间相关的内核，我们证明了一个遗憾的范围，规模与覆盖维度的状态-动作空间和总变化的MDP随时间的推移，量化其非平稳性的水平。我们的方法概括了以前的方法的基础上，滑动窗口和指数贴现用于处理不断变化的环境。我们进一步提出了一个实际的KeRNS实现，我们分析了它的遗憾和实验验证。
2022-03-23 cs.LG stat.ML
Index Selection for NoSQL Database with Deep Reinforcement Learning
提出了一种新的NoSQL数据库索引选择方法。针对不同的工作负载，选择不同的索引及其参数来优化数据库性能。该方法建立了一个深度强化学习模型，以选择一个最佳的指标，为给定的固定工作负载和适应不断变化的工作负载。实验结果表明，深度强化学习索引选择方法（DRLISA）相对于传统的单索引结构，在性能上有不同程度的提高。
2020-06-16 cs.AI cs.DB
Non-Stationary Policy Learning for Multi-Timescale Multi-Agent Reinforcement Learning
National Renewable Energy Laboratory（国家可再生能源实验室）；Maplewell Energy（Maplewell能源公司）
针对多时间尺度多智能体强化学习中非平稳策略学习难的问题，提出基于周期性时间编码和相位函数神经网络的策略梯度框架，经两类环境验证有效。
2023-07-17 cs.AI cs.LG cs.MA
Forecasting in Offline Reinforcement Learning for Non-stationary Environments
Bogazici University（博科西大学）；University of Tübingen（图宾根大学）；Ozyegin University（奥祖根大学）；Osaka University（大阪大学）
非平稳环境下的离线强化学习预测框架FORL，通过结合条件扩散和零样本时间序列模型，提升智能体在非平稳环境中的鲁棒性与性能。
2025-12-27 cs.AI cs.LG cs.RO
Space-sampled Value Decay: Forgetting Mechanisms for Non-stationary Reinforcement Learning
CITEC, Faculty of Technology, Bielefeld University（比勒费尔德大学技术学院CITEC）
受啮齿动物遗忘行为启发，提出空间采样值衰减作为显式遗忘机制，用于深度强化学习应对环境漂移，在DQN和SAC上验证效果与局限。
2026-09-30 cs.LG
Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
如何在离线强化学习（RL）中选择由不同训练算法产生的策略和价值函数-这对于超参数调整至关重要-是一个重要的开放问题。现有的基于离政策评估（OPE）的方法通常需要额外的函数近似，因此需要超参数，从而造成鸡和蛋的情况。在本文中，我们设计了超参数无算法的基础上BVFT [XJ 21]，价值函数选择的最新理论进展的政策选择，并证明其有效性在离散行动基准，如雅达利。为了解决性能下降，由于穷人的批评，在连续的行动领域，我们进一步结合BVFT与OPE得到最好的两全其美，并获得一个超参数调整方法的Q函数为基础的OPE与理论保证作为副产品。
2021-11-02 cs.AI cs.LG stat.ML
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Model Free Reinforcement Learning Algorithm for Stationary Mean field Equilibrium for Multiple Types of Agents
Imperial College of London（伦敦帝国学院）；Purdue University（普渡大学）
我们考虑一个多代理马尔可夫战略互动在无限的地平线上，代理可以是多种类型。当每种类型的代理人的数量变得无限大时，我们将战略互动建模为渐近极限的平均场博弈。每个代理都有一个私有状态;状态的演变取决于不同类型的代理的状态分布和代理的动作。每个代理都希望在无限范围内最大化奖励的折扣和，这取决于代理的状态以及领导者和追随者的状态分布。我们试图描述和计算一个固定的多类型的平均场均衡（MMFE）在上述游戏。我们的特点下，一个固定的MMFE存在的条件。最后，我们提出了基于强化学习（RL）的算法，使用策略梯度的方法来找到固定的MMFE时，代理不知道的动态。我们，数值上，评估这种互动如何可以模拟防御者和对手之间的网络攻击，并显示如何基于RL的算法可以收敛到一个平衡。
2020-12-31 cs.AI cs.GT cs.LG
Learning to Construct Knowledge through Sparse Reference Selection with Reinforcement Learning
Department of Electrical and Computer Engineering, University of Minnesota, Twin City, MN（电气与计算机工程系，明尼苏达大学，双城，MN）
针对科学文献中稀疏参考选择难题，提出深度强化学习框架模拟人类知识构建，在药物-基因关系发现中仅用标题和摘要即实现有效知识构建。
2025-09-07 cs.AI cs.IR cs.LG
Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
University of California, Berkeley（加州大学伯克利分校）
我们考虑基于原始-对偶的强化学习（RL）在具有非平稳目标和约束的情景约束马尔可夫决策过程（CMDPs）中的应用，它在确保RL在时变环境中的安全性方面起着核心作用。在这个问题中，奖励/效用函数和状态转换函数都允许随时间任意变化，只要它们的累积变化不超过某些已知的变化预算。在时变环境中设计安全RL算法特别具有挑战性，因为需要集成约束违反减少，安全探索和适应非平稳性。为此，我们确定了两个可供选择的条件下，我们可以保证在长期的安全随时间变化的约束。我们还提出了\underline{P}周期性\underline{R}启动\underline{O}乐观\underline{P}原始- \underline{D} ual \underline{P} roximal \underline{P}优化\underline{O}策略（PROPD-PPO）算法，该算法可以协调这两种情况。此外，在线性核CMDP函数逼近和表格CMDP函数逼近两种情况下，分别建立了该算法的动态后悔界和约束违反界.本文提供了第一个可证明有效的算法与安全的探索非平稳CMDPs。
2022-11-19 cs.LG
Efficient Restarts in Non-Stationary Model-Free Reinforcement Learning
Soka University of America（美国早稻田大学）；University of Maryland, College Park（马里兰大学学院市分校）
本文针对非平稳无模型强化学习，提出部分、自适应和选择性三种高效重启范式，解决完全遗忘和定时重启问题，使动态遗憾最多降低91%。
2025-10-13 cs.LG
Reinforcement Learning-Based Market Making as a Stochastic Control on Non-Stationary Limit Order Book Dynamics
Institute of Mathematics and Computer Sciences University of São Paulo（数学与计算机科学学院 São Paulo 大学）
本文提出基于PPO算法的强化学习做市代理，通过模拟器环境评估其在非平稳市场中的表现，验证其有效性及模拟器的实用性。
2026-02-14 cs.AI q-fin.TR
Non-stationary Risk-sensitive Reinforcement Learning: Near-optimal Dynamic Regret, Adaptive Detection, and Separation Design
University of California, Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
研究了基于熵风险测度的风险敏感强化学习在情景非平稳马尔可夫决策过程中的应用。奖励函数和状态转换核都是未知的，并且允许随着时间的推移而任意变化，其累积变化有预算。当此变化预算是已知的先验，我们提出了两个基于重启的算法，即重启RSMB和重启RSQ，并建立其动态遗憾。基于这些结果，我们进一步提出了一个元算法，不需要任何先验知识的变化预算，并能自适应地检测指数价值函数的非平稳性。针对非平稳风险敏感强化学习，建立了动态后悔下界，证明了算法的近优性。我们的研究结果还表明，风险控制和处理的非平稳性可以分开设计的算法，如果变化预算是已知的先验，而非平稳检测机制的自适应算法依赖于风险参数。这项工作提供了第一个非渐近理论分析的非平稳风险敏感RL在文献中。
2022-11-19 cs.LG math.OC
Safe Continual Reinforcement Learning in Non-stationary Environments
Institute for Software Integrated Systems（软件集成系统研究所）
本文研究了非平稳环境中安全持续强化学习的核心挑战，分析了现有方法在安全与防止灾难性遗忘之间的矛盾，并提出基于正则化的策略以改善性能。
2026-04-21 cs.LG
Online Reinforcement Learning for Periodic MDP
IIT Delhi（印度理工学院德里分校）
我们研究学习周期马尔可夫决策过程（MDP），一种特殊类型的非平稳MDP的状态转移概率和奖励函数周期性变化，平均奖励最大化设置下。通过在状态空间中增加周期指标，将问题转化为一个平稳的MDP问题，并提出了一个周期置信上限强化学习-2（PUCRL 2）算法.我们发现，PUCRL 2的遗憾与周期呈线性变化，并作为次线性的地平线长度。数值结果证明了PUCRL 2的有效性。
2022-07-25 cs.LG
Wavelet Predictive Representations for Non-Stationary Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Microsoft Research AI Frontiers（微软研究院人工智能前沿）；University of the Sunshine Coast（阳光海岸大学）
针对非平稳强化学习中现有方法对高度动态场景适应性有限的问题，提出基于小波域预测表示的WISDOM方法，结合小波多尺度特征捕捉与小波TD更新算子，在样本效率和渐近性能上均优于现有基线。
2025-10-06 cs.LG
DARLING: Detection Augmented Reinforcement Learning with Non-Stationary Guarantees
ECE and CSL, The Grainger College of Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系和计算机科学实验室，伊利诺伊大学厄巴纳-香槟分校）
本文研究了在无先验知识的非平稳有限时间episodic马尔可夫决策过程中的模型无关强化学习，提出DARLING方法，通过模块化包装实现对表格和线性MDP的适应，并在非平稳基准测试中超越现有方法。
2026-05-11 cs.LG stat.ML
Safe-FinRL: A Low Bias and Variance Deep Reinforcement Learning Implementation for High-Freq Stock Trading
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
近年来，许多量化金融的从业者试图使用深度强化学习（DRL）来构建更好的量化交易（QT）策略。然而，许多现有的研究未能解决一些严重的挑战，如非平稳的金融环境和偏差和方差权衡时，应用DRL在现实金融市场。在这项工作中，我们提出了Safe-FinRL，一种新的基于DRL的高频股票交易策略，通过近平稳的金融环境和低偏差和方差估计来增强。我们的主要贡献是两方面的：首先，我们分离的长期金融时间序列到近平稳的短期环境，其次，我们实现了跟踪SAC在近平稳的金融环境中，将一般的回溯算子到软演员批评。在加密货币市场上进行的大量实验表明，Safe-FinRL提供了稳定的价值估计和稳定的政策改进，并在接近稳定的金融环境中显着减少了偏差和方差。
2022-06-13 cs.LG q-fin.PM
Reinforcement Learning-based Adaptive Path Selection for Programmable Networks
Institute of Informatics, University of Amsterdam（阿姆斯特丹大学信息学院）；Ericsson Research（爱立信研究）
本研究提出分布式网络内强化学习框架，结合随机学习自动机与带内网络遥测数据实现可编程网络自适应路径选择，经测试验证其可快速收敛并适应网络变化。
2025-08-31 cs.LG
