Avoiding Confusion between Predictors and Inhibitors in Value Function Approximation
Dalhousie University（达尔豪斯大学）
在强化学习中，目标是寻求奖励，避免惩罚。一个简单的标量捕捉一个状态或采取一个行动的价值，其中预期的未来奖励增加，惩罚减少这个数量。自然地，代理应该学会预测这个量以采取有益的行动，并且为此目的存在许多价值函数近似器。然而，在目前的工作中，我们展示了价值函数近似器如何导致一个效价结果的预测器之间的混淆（例如，奖励信号）和相反价的抑制剂（例如，取消惩罚预期的信号）。我们表明，这是一个问题的线性和非线性价值函数逼近，特别是当数据量（或经验）是有限的。我们提出并评估了一个简单的解决方案：分别预测奖励和惩罚值，并对其进行校正和添加，以获得决策所需的值。我们评估几个函数逼近在这个略有不同的价值函数近似架构，并表明这种方法是能够规避的混乱，从而实现较低的价值预测误差。
2015-02-18 cs.AI
An Aircraft Upset Recovery System with Reinforcement Learning
本文提出利用强化学习提升先进喷气教练机飞行员激活恢复系统（PARS）的效率，采用先进的SAC模型和超参数优化方法，结合领域专家反馈，验证AI模型优于传统控制方法。
2026-04-27 cs.LG
ShrinkML: End-to-End ASR Model Compression Using Reinforcement Learning
Samsung AI Center（三星人工智能中心）；University of Oxford（牛津大学）
端到端自动语音识别（ASR）模型越来越大和复杂，以实现尽可能好的准确性。在本文中，我们构建了一个AutoML系统，该系统使用强化学习（RL）来优化每层压缩比，当应用于由多个LSTM层组成的最先进的基于注意力的端到端ASR模型时。我们使用奇异值分解（SVD）的低秩矩阵分解作为压缩方法。对于我们的基于RL的AutoML系统，我们专注于实际的考虑，如奖励/惩罚函数的选择，形成一个有效的搜索空间，并创建一个有代表性的，但小的数据集搜索步骤之间的快速评估。最后，我们提出了我们的AutoML系统压缩模型的LibriSpeech的准确性结果，并将其与手动压缩模型进行了比较。我们的研究结果表明，在没有重新训练我们的RL为基础的搜索是一个有效的和实用的方法来压缩生产级ASR系统。当重新训练是可能的，我们表明，我们的AutoML系统可以选择更好的高度压缩的种子模型相比，手动手工制作的排名选择，从而允许更多的压缩比以前可能的。
2019-09-24 cs.AI cs.LG eess.AS
Do Artificial Reinforcement-Learning Agents Matter Morally?
人工强化学习（RL）是人工智能中广泛使用的技术，其提供用于训练代理执行各种各样的行为的通用方法。在计算机科学中使用的强化学习与动物和人类大脑中的奖励和惩罚学习有着惊人的相似之处。我认为，当今的人工RL代理具有非常小但非零的道德重要性。这对于那些认为感知力是基于心智的能力和复杂性的观点来说尤其合理，但即使是关于意识的二元观点也应该为具有道德相关经验的强化学习程序分配非零概率。虽然强化学习计划在今天并不是最重要的道德优先事项，但随着强化学习越来越多地应用于工业、机器人、视频游戏和其他领域，它们在未来几十年可能会变得更加重要。我鼓励科学家、哲学家和公民开始讨论我们的道德义务，以减少我们对无能为力、毫无责任感的RL代理人造成的伤害。
2014-10-30 cs.AI
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
DeepMind（深度思维）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（RL）算法可以使用高容量深度网络直接从图像观察中学习。然而，这些高维观测空间在实践中提出了许多挑战，因为该策略现在必须解决两个问题：表示学习和任务学习。在这项工作中，我们分别解决这两个问题，通过显式学习可以加速图像的强化学习的潜在表示。我们提出了随机潜在行动者-评论家（SLAC）算法：一个样本高效和高性能的RL算法，用于直接从高维图像输入学习复杂连续控制任务的策略。SLAC提供了一种新的原则性方法，通过学习紧凑的潜在表示，然后在模型的学习潜在空间中执行RL，将随机序列模型和RL统一为一种方法。我们的实验评估表明，我们的方法优于无模型和基于模型的替代品的最终性能和样本效率，在一系列困难的基于图像的控制任务。我们的代码和我们的结果的视频可在我们的网站。
2020-10-26 cs.AI cs.LG stat.ML
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego（加州大学圣地亚哥分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
不同形式的奖励和惩罚无处不在，并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果，人们将逐渐了解特定政策或战略的价值和有用性。然而，在特定的环境中，不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性，显着的成本涉及系统地进行顺序试验，因此，在大多数学习事件，人们希望保持成本范围内采用学习停止规则。在本文中，我们研究了部署不同的停止策略在给定的学习环境中，从高度严格的关键任务操作高度宽容的非关键任务操作，并重点放在前者与航空安全的特殊应用。在政策评估中，确定了两个连续的学习阶段，我们使用概率模型来描述结果的变化，并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验，验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion
Google Brain（谷歌大脑）
在强化学习中集成无模型和基于模型的方法有可能以低样本复杂度实现无模型算法的高性能。然而，这是困难的，因为不完美的动态模型会降低学习算法的性能，并且在足够复杂的环境中，动态模型几乎总是不完美的。因此，一个关键的挑战是将基于模型的方法与无模型学习相结合，使模型中的错误不会降低性能。我们提出了随机集成值扩展（STEVE），一种新的基于模型的技术，解决了这个问题。通过在每个示例的不同水平长度的模型展开之间动态插值，STEVE确保仅在这样做不会引入显著错误时才使用模型。我们的方法优于无模型基线具有挑战性的连续控制基准的数量级增加的样本效率，并与以前的基于模型的方法相比，性能不会降低在复杂的环境中。
2019-06-07 cs.AI cs.LG stat.ML
Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
目的：放射学中的人工智能主要受到以下因素的阻碍：1）需要大型注释数据集。2)非通用性限制了新扫描仪/机构的部署。（3）可解释性和可解释性不足。我们相信，强化学习可以解决所有这三个缺点，具有强大而直观的算法，可在小数据集上训练。据我们所知，强化学习尚未直接应用于放射图像的计算机视觉任务。在这项原理证明工作中，我们训练了一个深度强化学习网络来预测脑肿瘤的位置。材料和方法：使用BraTS脑肿瘤成像数据库，我们在70个对比后T1加权2D图像切片上训练深度Q网络。我们这样做是与图像探索相一致的，奖励和惩罚旨在定位病变。为了与监督式深度学习进行比较，我们在相同的70张图像上训练了一个关键点检测卷积神经网络。我们将这两种方法应用于一个单独的30个图像测试集。结果：强化学习的预测在训练过程中不断提高，而监督式深度学习的预测则迅速出现分歧。强化学习预测测试集病变位置的准确率为85%，而监督深度网络的准确率约为7%。结论：强化学习预测病变的准确性很高，这对于如此小的训练集来说是前所未有的。我们相信，强化学习可以推动放射学AI超越监督式深度学习的固有局限性，进行更多临床医生驱动的研究，最终走向真正的临床应用。
2020-08-06 cs.AI
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而，这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声，而A3 C在高斯策略下不满足连续性条件。为了解决这些问题，我们提出了一种新的连续强化学习方法的基础上随机微分方程，我们称之为增量强化学习（IRL）。该方法既保证了动作在任意时间间隔内的连续性，又控制了训练过程中动作的方差。此外，我们的方法不假设马尔可夫控制在代理的动作控制，并允许代理预测场景变化的动作选择。有了我们的方法，智能体不再被动地适应环境。相反，他们积极地与环境互动，以获得最大的回报。
2019-08-08 cs.LG stat.ML
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Impact of Price Inflation on Algorithmic Collusion Through Reinforcement Learning Agents
Center for Artificial Intelligence (CENIA)（人工智能中心（CENIA））；University of Chile（智利大学）；Advanced Mining Technology Center (AMTC)（先进采矿技术中心（AMTC））
本文研究通胀冲击对强化学习定价智能体合谋行为的影响，发现通胀会促进隐性协调、降低市场竞争性，但智能体缺乏稳健惩罚机制，凸显监管必要性。
2025-04-05 cs.GT cs.LG
Neurosymbolic Reinforcement Learning and Planning: A Survey
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
本文综述神经符号强化学习领域，按神经、符号和强化学习三部分分类为学习用于推理、推理用于学习及学习-推理三类，并分析各工作的RL组件及应用中的机遇与挑战。
2023-09-02 cs.AI cs.LG
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia（弗吉尼亚大学）；Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声，显著提升其在离策略强化学习中的适用性，核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
A General Family of Robust Stochastic Operators for Reinforcement Learning
IBM Research（IBM研究院）
我们考虑一个新的家庭的运营商强化学习的目标是减轻负面影响，并成为更强大的近似或估计误差。建立了各种理论结果，其中包括显示在样本路径的基础上，我们的家庭运营商保持最优性，并增加行动差距。我们的实证结果说明了我们的家庭运营商的强大优势，显着优于经典的贝尔曼运营商和最近提出的运营商。
2019-05-28 cs.LG stat.ML
Reachability analysis in stochastic directed graphs by reinforcement learning
Istituto di Analisi dei Sistemi ed Informatica “A. Ruberti”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“A.鲁贝尔蒂”系统分析与信息研究所）；University of Catania（卡塔尼亚大学）；Politecnico di Torino（都灵理工大学）
利用强化学习方法刻画了随机有向图的可达概率。特别是，我们表明，在一个随机有向图的转移概率的动态可以通过差分包含，这反过来又可以被解释为一个马尔可夫决策过程建模。使用后一种框架，我们提供了一种方法来设计奖励函数，以提供一组节点的随机有向图的可达概率的上界和下界。通过将该技术应用于流行病在移动代理邻近模式生成的时变接触网络上的传播，证明了该技术的有效性。
2022-02-25 cs.AI cs.LG
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Total stochastic gradient algorithms and applications in reinforcement learning
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
反向传播和导数的链式法则已经很突出;然而，全导数法则并没有得到同样的关注。在这项工作中，我们将展示如何总导数规则导致一个直观的视觉框架，用于创建图形模型上的梯度估计。特别是，以前的“策略梯度定理”很容易推导。我们基于密度估计以及似然比梯度推导出新的梯度估计量，该梯度“跳”到中间结点，而不是直接跳到目标函数。我们评估我们的方法基于模型的策略梯度算法，取得了良好的性能，并提出了证据对大众PILCO算法的成功。
2019-02-05 cs.AI cs.LG cs.NE
On the model-based stochastic value gradient for continuous reinforcement learning
Facebook AI Research（脸书人工智能研究院）；NYU（纽约大学）
十多年来，基于模型的强化学习一直被视为一种利用基于控制的领域知识来提高强化学习代理的样本效率的方法。虽然基于模型的代理在概念上很有吸引力，但它们的策略在最终奖励方面往往落后于无模型代理，特别是在非平凡的环境中。作为回应，研究人员提出了基于模型的代理越来越复杂的组件，从概率动力学模型的集合，以减少模型错误的算法。在这种趋势的逆转，我们表明，简单的基于模型的代理可以从现有的想法，不仅匹配，但优于最先进的无模型代理的样本效率和最终奖励。我们发现，一个无模型的软值估计的政策评估和基于模型的随机值梯度的政策改进是一个有效的组合，实现国家的最先进的结果，在高维人形控制任务，大多数基于模型的代理是无法解决的。我们的研究结果表明，基于模型的政策评估值得密切关注。
2021-05-27 cs.AI cs.LG cs.RO
Stochastically Dominant Distributional Reinforcement Learning
Stevens Institute of Technology（斯蒂文斯理工学院）
我们描述了一种新的方法来管理任意的不确定性的强化学习（RL）的范例。而不是根据一个单一的统计量选择行动，我们提出了一种基于二阶随机优势（SSD）关系的分布方法。这比较了行动引起的随机回报的固有分散性，对环境的不确定性进行了更全面和更可靠的评估。SSD的必要条件要求估计器预测准确的二阶矩。为了适应这一点，我们将分布RL问题映射到Wasserstein梯度流，将分布Bellman残差视为势能泛函。我们提出了一个基于粒子的算法，我们证明了最优性和收敛性。我们的实验特征的算法性能和演示如何更好地平衡使用\textsc{ssd}政策比其他风险措施的不确定性和性能。
2020-10-07 cs.LG stat.ML
ISEP: Implicit Support Expansion for Offline Reinforcement Learning via Stochastic Policy Optimization
The Chinese University of Hong Kong, Shenzhen Longgang（香港中文大学（深圳）松山湖校区）
本文提出ISEP方法，通过随机策略优化实现离线强化学习中的隐式支持扩展，以解决传统方法在安全约束下难以发现最优行为的问题，核心贡献是通过价值函数插值和随机动作选择策略提高策略改进的导航能力。
2026-05-18 cs.AI cs.LG
Reinforcement Learning with Stochastic Reward Machines
University of Zagreb（Zagreb大学）；Max Planck Institute for Software Systems（软件系统马克斯·普朗克研究所）
针对现有奖励机算法假设无噪声奖励的局限，本文提出随机奖励机及其基于约束求解的学习算法，可结合现有强化学习算法，保证收敛到最优策略，并在案例研究中优于现有方法。
2025-10-16 cs.AI cs.LG
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology（佐治亚理工学院）
受强化学习和联邦学习的广泛应用的启发，我们研究了代理网络上的局部随机逼近，其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时，在每个代理的数据是从马尔可夫过程中产生的，因此它们是依赖的。特别是，我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明，这些比率是在一个独立的数据下的对数因子。然后，我们说明了这些结果的应用程序不同的有趣的问题，多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
A Demonstration of Issues with Value-Based Multiobjective Reinforcement Learning Under Stochastic State Transitions
Federation University Australia（澳大利亚联邦大学）；Deakin University（迪肯大学）
我们报告了一个以前未识别的问题，无模型，基于值的方法，多目标强化学习的环境中的随机状态转换。一个例子多目标马尔可夫决策过程（MOMDP）是用来证明，在这种条件下，这些方法可能无法发现的政策，最大化的标量预期收益，实际上可能会收敛到帕累托主导的解决方案。我们讨论了几种替代方法，这可能是更适合于最大化SER MOMDPs随机过渡。
2020-04-14 cs.LG cs.MA stat.ML
DSDF: An approach to handle stochastic agents in collaborative multi-agent reinforcement learning
Ericsson Research（爱立信研究院）
多智能体强化学习近年来受到了广泛的关注，并在许多不同的领域得到了应用。现有的方法，涉及集中训练和分散执行，试图训练的代理学习模式的协调行动，以达到最佳的联合政策。然而，如果一些代理是随机的，以不同程度的随机性，上述方法往往无法收敛，并提供代理之间的协调差。在本文中，我们将展示这种随机性的代理，这可能是由于故障或老化的机器人，可以增加协调的不确定性，并有助于不满意的全球协调。在这种情况下，确定性代理必须了解随机代理的行为和限制，同时达到最佳联合策略。我们的解决方案，DSDF调整的折扣因子的代理根据不确定性和使用的值来更新个人代理的效用网络。DSDF还有助于赋予一定程度的协调可靠性，从而授予随机代理任务，这些任务是即时的，并且具有较短的轨迹，而确定性代理则承担涉及较长规划的任务。这样的方法使得能够实现代理的联合协调，其中一些代理可以部分地执行，从而可以在许多情况下减少或延迟代理/机器人更换的投资。不同场景下的基准环境的结果表明，与现有的方法相比，所提出的方法的有效性。
2021-09-14 cs.AI cs.LG
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University（康奈尔大学）
我们研究了自然随机策略的有效离策略评估，这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价，其中大多数工作考虑明确规定的政策的评价。至关重要的是，具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题，导致基于当前实践的政策，并提高政策在实践中的可实施性。与经典的情况下，一个预先指定的评估政策，评估自然随机政策时，效率界，衡量最佳可实现的估计误差，膨胀，因为评估政策本身是未知的。在本文中，我们推导出两种主要类型的自然随机政策：倾斜政策和修改的治疗政策的效率界。然后，我们提出了有效的非参数估计，在非常宽松的条件下达到效率界。这些也享有（部分）双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
Learning Multimodal Transition Dynamics for Model-Based Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
在本文中，我们研究了如何在强化学习（RL）任务中学习随机的多模态转换动态。我们专注于评估过渡函数的估计，而我们推迟对这个模型的规划，以未来的工作。随机性是许多任务环境的基本属性。然而，判别函数逼近器难以估计多峰随机性。相比之下，深度生成模型确实捕获了复杂的高维结果分布。首先，我们讨论为什么在这些模型中，条件变分推断（VI）理论上是最吸引人的基于模型的RL。随后，我们比较了不同的VI模型在模拟函数上学习复杂随机性的能力，以及在具有多模态动力学的典型RL网格世界上的能力。结果表明，VI成功地预测了多模态的结果，但也鲁棒地忽略了这些确定性部分的过渡动力学。总之，我们展示了一种使用函数近似来学习多模态转换的鲁棒方法，这是随机域中基于模型的RL的关键预备。
2017-08-08 cs.LG stat.ML
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中，有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习（RL）是一种通过预测刺激（如遵循策略的奖励）来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索，但在多智能体问题中还是一个新生的概念。为此，我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域，我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程（POMDP），被称为MCES-P，在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确（PAC）的范围内的多智能体设置，显示MCESP+PAC持有在其他代理的存在。然后，我提出了一个更具样本效率的方法，对抗设置，MCESIP+PAC。对于协作设置，我将MCES-P扩展到Multiagent POMDP，称为MCESMP+PAC。然后，我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先，我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的，多智能体的环境。接下来，我提出了一个MCES-P的实现，以及图像分割，以创建一个自适应的团队为基础的强化学习技术，积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Residual Q-Networks for Value Function Factorizing in Multi-Agent Reinforcement Learning
多智能体强化学习（MARL）在许多需要多个智能体合作和协调的问题中非常有用。随着代理数量的增加，在多代理环境中使用强化学习学习最优策略可能非常困难。最近的解决方案，如价值分解网络（VDN），QMIX，QTRAN和QPLEX坚持集中式训练和分散式执行方案，并执行联合行动-价值函数的因式分解。然而，这些方法仍然受到增加的环境复杂性的影响，并且有时不能以稳定的方式收敛。我们提出了一个新的概念，剩余Q网络（RQNs）的MARL，学习转换的方式，保留个别的整体最大标准（IGM）的个人Q值轨迹，但更强大的因式分解行动价值函数。RQN充当加速收敛的辅助网络，并且随着代理达到训练目标而变得过时。所提出的方法的性能进行比较，对几个国家的最先进的技术，如QPLEX，QMIX，QTRAN和VDN，在一系列的多智能体协作任务。结果表明，所提出的方法，在一般情况下，收敛速度更快，具有更高的稳定性，并在更广泛的环境中表现出强大的性能。在对不合作行为进行严厉惩罚的环境中，特别是在训练期间缺乏完整状态信息的情况下，结果的改善更为突出。
2022-05-30 cs.LG cs.MA
Adaptive PD Control using Deep Reinforcement Learning for Local-Remote Teleoperation with Stochastic Time Delays
University of Surrey（萨里大学）
本文提出一种基于模型的深度强化学习自适应PD控制方法，通过实时调整控制器参数补偿随机时延，在高达290ms延迟下稳定本地-远程遥操作系统，并优于Soft-Actor Critic等方法。
2023-09-20 cs.AI cs.LG
Deep Reinforcement Learning for Stochastic Computation Offloading in Digital Twin Networks
University of Electronic Science and Technology of China（电子科技大学）；University of Oslo（奥斯陆大学）；Simula Metropolitan Center for Digital Engineering（Simula大都会数字工程中心）
工业物联网（IIoT）的快速发展要求工业生产走向数字化，以提高网络效率。数字孪生是一项很有前途的技术，通过创建物理对象的虚拟模型来赋能工业物联网的数字化转型。然而，由于资源受限的设备，随机任务和资源异构性，在IIoT中提供网络效率非常具有挑战性。IIoT网络中的分布式资源可以通过计算卸载来有效利用，以降低能耗，同时提高数据处理效率。在本文中，我们首先提出了一种新的范式数字孪生网络（DTN），建立网络拓扑结构和随机任务到达模型在IIoT系统。然后，我们制定了随机计算卸载和资源分配问题，以最大限度地减少长期能源效率。由于所提出的问题是一个随机规划问题，我们利用李雅普诺夫优化技术将原问题转化为一个确定性的每个时隙的问题。最后，我们提出了异步Actor-Critic（AAC）算法来寻找最优的随机计算卸载策略。说明性的结果表明，我们提出的计划是能够显着优于基准。
2020-11-18 cs.AI cs.LG
Stochastic Intervention for Causal Inference via Reinforcement Learning
University of Technology Sydney（悉尼科技大学）
因果推理方法广泛应用于精准医疗、最优政策和经济学等决策领域。因果推断的核心是干预策略的治疗效果估计，例如药物剂量的变化和经济援助的增加。现有的方法大多局限于确定性的处理和比较不同处理下的结果。然而，他们无法解决随机治疗下的治疗效果估计的实质性近期兴趣，例如，“如果采取50%剂量减少，所有单位的健康状况如何变化”。换句话说，它们缺乏提供细粒度治疗效果估计以支持合理决策的能力。在我们的研究中，我们提出了一个新的有效的框架来估计随机干预的治疗效果的因果推理研究。特别地，我们开发了一个基于非参数影响函数的随机干预效应估计器（SIE），理论上保证了鲁棒性和快速收敛速度。此外，我们构建了一个定制的强化学习算法的基础上的随机搜索求解器，可以有效地找到最优的政策，以产生最大的预期结果的决策过程。最后，我们进行了实证研究，以证明我们的框架可以实现显着的性能与国家的最先进的基线相比。
2021-05-28 cs.AI cs.LG
Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
通过将教学问题表述为机器教学优化问题并用深度学习近似求解，研究发现人类在Q-learner折扣率小、学习率大时教学效果较好但仍次优，实时反馈更新微弱有帮助，为设计直觉化机器智能体提供指导。
2023-06-29 cs.AI cs.HC cs.LG
From Reinforcement Learning to Optimal Control: A unified framework for sequential decisions
Princeton University（普林斯顿大学）
有超过15个不同的社区在顺序决策和信息的一般领域工作，通常被称为不确定性或随机优化下的决策。我们专注于两个最重要的领域：随机最优控制，其根源在确定性最优控制，和强化学习，其根源在马尔可夫决策过程。在先前工作的基础上，我们描述了一个统一的框架，涵盖了所有15个不同的社区，并注意到与随机最优控制的建模框架有很强的相似之处。相比之下，我们的情况下，强化学习的建模框架，继承离散马尔可夫决策过程，是相当有限的。我们的框架（和随机控制）是基于优化政策的核心问题。我们描述了四类政策，我们声称是普遍的，并表明，这两个领域中的每一个，以自己的方式，发展到包括这四个类的例子。
2019-12-18 cs.AI cs.LG cs.SY
Multi-Agent Reinforcement Learning in Stochastic Networked Systems
Caltech（加州理工学院）；Tsinghua University（清华大学）
我们研究了随机网络中的多智能体强化学习。我们的目标是找到本地化的政策，最大限度地提高（折扣）的全球回报。一般来说，可扩展性在这种设置中是一个挑战，因为全局状态/动作空间的大小可以是代理数量的指数。可扩展算法仅在依赖关系是静态的、固定的和局部的情况下是已知的，例如，在一个固定的、时不变的底层图中的邻居之间。在这项工作中，我们提出了一个可扩展的Actor Critic框架，该框架适用于依赖关系可以是非本地和随机的设置，并提供了一个有限时间的误差界，显示收敛速度如何取决于网络中信息传播的速度。此外，作为我们的分析的副产品，我们获得了新的有限时间收敛结果的一般随机逼近方案和时间差学习状态聚合，适用于网络系统中的MARL设置之外。
2021-11-02 cs.LG cs.MA stat.ML
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Reinforcement Learning When All Actions are Not Always Available
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
马尔可夫决策过程（MDP）制定用于模拟许多现实世界的顺序决策问题，并没有有效地捕捉设置在每个时间步的可用决策（行动）的集合是随机的。最近，随机行动集马尔可夫决策过程（SAS-MDP）制定已被提出，它更好地捕捉的概念，随机行动集。在本文中，我们认为，现有的RL算法SAS-MDP可能会受到潜在的分歧问题，并提出新的策略梯度算法SAS-MDP，将方差降低技术独特的设置，并提供其收敛的条件。最后，我们通过实验证明了我们的方法在任务上的实用性，这些任务是由现实生活中的用例激发的，其中动作集是随机的。
2020-01-20 cs.LG stat.ML
Almost Sure Convergence Rates and Concentration of Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Oxford（牛津大学）；University of Virginia（弗吉尼亚大学）
本文首次为马尔可夫噪声下的一般收缩性随机逼近算法建立了几乎必然收敛速率和指数尾部集中界，并应用于 $Q$-学习和离策略时序差分学习。
2024-11-20 cs.LG math.OC stat.ML
Stochastic Constraint Programming as Reinforcement Learning
Insight Centre for Data Analytics（数据分析洞察中心）；University College Cork（科克大学学院）；University of Edinburgh（爱丁堡大学）；Cankaya University（昌卡亚大学）
随机约束编程（SCP）是约束编程（CP）的扩展，用于建模和解决涉及约束和不确定性的问题。SCP继承了CP优秀的建模能力和滤波算法，但到目前为止，它还没有被应用到大型问题。强化学习（RL）将动态规划扩展到大型随机问题，但它是特定于问题的，没有通用的求解器。我们提出了一个混合的RL的可扩展性与CP的建模和约束过滤方法相结合。我们在CP系统中实现了一个原型，并证明了它对SCP问题的有用性。
2017-04-24 cs.AI
Stochastic Primal-Dual Methods and Sample Complexity of Reinforcement Learning
Princeton University（普林斯顿大学）
研究了马尔可夫决策过程最优策略的在线估计问题。我们提出了一类随机原始对偶（SPD）方法，利用固有的极大极小对偶贝尔曼方程。SPD方法在观察到新的状态转换时更新价值和策略估计的一些坐标。这些方法使用小的存储器并且每次迭代具有低的计算复杂度。SPD方法使用$\mathcal{O}\left(\frac{|\mathcal{S}|^4 |\mathcal{A}|^2σ^2 }{(1-γ)^6ε^2} \right)$迭代/样本为无限时域折扣奖励MDP和$\mathcal{O}\left(\frac{|\mathcal{S}|^4 |\mathcal{A}|^2H^6σ^2 }{ε^2} \right)$为有限时域MDP找到具有高概率的绝对- $ε$ -最优策略。
2016-12-08 cs.AI math.OC stat.ML
Addressing the issue of stochastic environments and local decision-making in multi-objective reinforcement learning
Federation University Australia（澳大利亚联邦大学）；Institute of Innovation, Science and Sustainability（创新、科学与可持续发展研究所）
多目标强化学习（MORL）是在传统的强化学习（RL）基础上发展起来的一个解决多目标问题的新方法。一种常见的算法是通过使用向量Q值结合效用函数来扩展标量值Q学习，该效用函数捕获用户对动作选择的偏好。本研究遵循以前的作品，并侧重于什么因素影响的频率与值为基础的MORL Q-学习算法学习的最佳政策的环境中的随机状态转换的情况下，目标是最大限度地提高标量预期回报（SER）-也就是说，最大限度地提高平均结果在多个运行，而不是在每个单独的情节的结果。分析了随机环境和MORL Q-学习算法之间的相互作用，并在一个简单的多目标马尔可夫决策过程（MOMDP）空间交易者问题上运行。实验结果表明，设计良好的奖励信号可以提高原始基线算法的性能，但它仍然不足以解决更一般的环境。MORL Q-Learning的一个变体结合了全局统计数据，在原始Space Traders问题中表现优于基线方法，但在训练结束时找到所需SER最优策略的有效性仍然低于100%。另一方面，期权学习保证收敛到期望的SER最优策略，但它不能扩展到解决现实生活中更复杂的问题。本论文的主要贡献是确定噪声Q值估计的问题在多大程度上影响的能力，学习最优策略的随机环境下，非线性效用和恒定的学习率的组合。
2022-11-16 cs.AI cs.LG
Concentration of Contractive Stochastic Approximation and Reinforcement Learning
Indian Institute of Technology Bombay（印度理工学院孟买分校）
利用鞅浓度不等式，导出了具有压缩映射的随机近似算法在鞅差和马尔可夫噪声下的“从时间$n_0$开始”的浓度界.这些应用于强化学习算法，特别是异步Q学习和TD（0）。
2022-06-11 cs.LG cs.SY eess.SY
Neural-Progressive Hedging: Enforcing Constraints in Reinforcement Learning with Stochastic Programming
Microsoft Research（微软研究院）；IBM Research AI（IBM人工智能研究院）；Singapore Management University（新加坡管理大学）
我们提出了一个框架，称为神经渐进式对冲（NP），利用随机编程在执行强化学习（RL）政策的在线阶段。我们的目标是确保可行性方面的约束和基于风险的目标，如条件风险价值（CVaR）在政策的执行过程中，使用概率模型的状态转换，以指导政策调整。该框架特别适合于顺序资源分配问题，因为相对于典型的资源约束的可行性不能以可扩展的方式执行。NP框架提供了一种替代方案，在联机阶段增加了适度的开销。实验结果证明了NP框架在两个连续现实世界任务上的有效性：（i）具有流动性约束的财务规划投资组合优化问题，其特征在于非平稳状态分布;以及（ii）自行车共享系统中的动态重新定位问题，其体现了供需匹配问题。我们表明，NP框架产生的政策，比深度RL和其他基线方法，适应非平稳性，同时满足结构性约束，并容纳在由此产生的政策的风险措施。NP框架的其他好处是易于执行和更好地解释政策。
2022-02-27 cs.AI cs.LG
Reinforcement Learning for Solving Stochastic Vehicle Routing Problem
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出一种端到端强化学习框架，全面处理随机车辆路径问题中的随机性，相比最先进元启发式算法降低旅行成本3.43%，并展现出跨设置的鲁棒性。
2023-11-13 cs.AI cs.CE cs.LG
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Control: Stochasticity vs Determinism
Mechatronics Engineering Department（机械工程系）；The German University in Cairo（开罗德国大学）
研究在四旋翼控制中，通过动态熵调节训练随机策略的强化学习算法，并与确定性策略算法对比，发现动态熵调节可防止灾难性遗忘并提高探索效率。
2026-06-01 cs.AI cs.LG cs.RO
ORL: Reinforcement Learning Benchmarks for Online Stochastic Optimization Problems
Amazon（亚马逊）
强化学习（RL）在机器人和游戏等领域取得了最先进的成果。我们建立在以前的工作，通过应用RL算法的选择典型的在线随机优化问题与一系列的实际应用：装箱，报童，和车辆路径。虽然有一个新兴的文献，应用强化学习这些问题，有没有普遍接受的基准，可以用来比较提出的方法严格的性能，规模，或概括性。本文旨在填补这一空白。对于每个问题，我们都应用标准方法以及较新的RL算法并分析结果。在每种情况下，经过训练的强化学习策略的性能都与相应的基线竞争或优于相应的基线，同时不需要太多的领域知识。这突出了RL在现实世界中的动态资源分配问题的潜力。
2019-12-01 cs.AI cs.LG math.OC
FinFlowRL: An Imitation-Reinforcement Learning Framework for Adaptive Stochastic Control in Finance
School of Business, Stevens Institute of Technology（斯蒂文斯理工学院商学院）
针对传统金融随机控制难以适应非平稳市场的问题，提出 FinFlowRL 框架，融合多专家模仿预训练、噪声空间强化微调与动作分块，实现跨市场条件的自适应最优控制。
2025-08-30 cs.AI cs.LG q-fin.CP
Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning
Georgia Institute of Technology（佐治亚理工学院）
本文的重点是研究马尔可夫噪声下的随机变分不等式（VI）。我们算法开发的一个突出应用是强化学习中的随机策略评估问题。文献中的先前调查集中在时间差（TD）学习采用非光滑有限时间分析的动机随机次梯度下降导致一定的限制。这些包括分析修改的TD算法的要求，该算法涉及到投影到先验定义的欧几里德球，实现非最佳的收敛速度，并且没有明确的方式来获得并行实现的有益效果。我们的方法弥补了这些缺点，在更广泛的背景下，特别是当它涉及到随机的政策评估的随机VI。我们开发了各种简单的TD学习型算法，其原始版本的动机，保持其简单性，同时提供从非渐近分析的角度来看，明显的优势。我们首先提供了一个改进的分析标准TD算法，可以受益于并行实现。然后，我们提出了一个有条件的TD算法（CTD）的版本，涉及定期更新的随机迭代，从而减少了偏见，因此表现出改进的迭代复杂性。这给我们带来了快速TD（FTD）算法，它结合了CTD和随机算子外推法的同伴文件的元素。对于一个新的索引重置策略，FTD表现出最好的收敛速度。我们还设计了一个强大的版本的算法，特别适合于贴现因子接近1。
2021-08-13 cs.AI cs.LG math.OC
Almost Sure Convergence Rates of Stochastic Approximation and Reinforcement Learning via a Poisson-Moreau Drift
University of Virginia（弗吉尼亚大学）
本文研究了在马尔可夫噪声下随机逼近和强化学习的几乎必然收敛速度，提出了一种基于皮奥内-莫鲁漂移的新方法，适用于具有收缩性的随机逼近算法，如Q学习和线性时间差分学习。
2026-11-06 cs.LG math.OC stat.ML
On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑模型不可知元学习（MAML）方法的强化学习（RL）的问题，其目标是找到一个政策，使用数据从几个任务表示的马尔可夫决策过程（MDP），可以更新一步的随机策略梯度实现MDP。特别是，在MAML更新步骤中使用随机梯度对于RL问题至关重要，因为精确梯度的计算需要访问大量可能的轨迹。对于这个公式，我们提出了一个变体的MAML方法，命名为随机梯度Meta-强化学习（SG-MRL），并研究其收敛特性。我们推导出SG-MRL的迭代和样本复杂度，以找到$ε$ -一阶稳定点，据我们所知，这为模型不可知的Meta强化学习算法提供了第一个收敛保证。我们进一步展示了我们的结果如何扩展到的情况下，多个步骤的随机策略梯度方法在测试时使用。最后，我们在几个深度RL环境中实证比较了SG-MRL和MAML。
2021-11-17 cs.LG math.OC stat.ML
Convergent Reinforcement Learning Algorithms for Stochastic Shortest Path Problem
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）
本文提出两种收敛强化学习算法，用于解决随机最短路径问题，并展示了其在表格和函数逼近设置中的优越性能。
2025-12-02 cs.LG
Stochastic Dynamics on Persistence Diagram Space via Reinforcement Learning
University of Tennessee（田纳西大学）
本文提出一种用于持续同调图（PD）空间随机动力学的强化学习框架，建立了相关马尔可夫链的遍历条件，可实现自适应拓扑简化与概率建模，实验验证其能保留主导拓扑结构并降低图复杂度。
2026-08-07 cs.LG math.AT stat.ML
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在许多领域，如物理科学，生命科学和金融，控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中，我们制定了控制随机偏微分方程（SPDE）的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法，利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能，描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
