Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
An information-theoretic perspective on intrinsic motivation in reinforcement learning: a survey
Univ Lyon（里昂大学）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）
强化学习（RL）研究领域非常活跃，有许多新的贡献;特别是考虑到深度RL（DRL）的新兴领域。然而，一些科学和技术挑战仍然需要解决，其中我们可以提到抽象行动的能力或在稀疏奖励环境中探索环境的困难，这可以通过内在动机（IM）来解决。我们建议通过一个新的分类调查这些研究工作的基础上信息论：我们计算重新审视的惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优点和缺点，并展示当前的研究前景。我们的分析表明，新奇和惊喜可以帮助建立一个层次的可转移的技能，进一步抽象的环境，使探索过程更加强大。
2022-09-19 cs.LG
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech（佐治亚理工学院）
模仿学习（IL）由一组工具组成，这些工具利用专家演示来快速学习策略。然而，如果专家是次优的，IL可以产生性能较差的政策相比，强化学习（RL）。在本文中，我们的目标是提供一个算法，结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点，表明这些算法可以被视为单一方法的变体。然后，我们提出了LOKI，策略学习的策略，首先执行一个小的，但随机数的IL迭代之前切换到策略梯度RL方法。我们表明，如果切换时间是适当的随机化，LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后，我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Offline Inverse Reinforcement Learning
ANEO；Centre Borelli - ENS Paris-saclay（巴黎萨克雷高等师范学院博雷利中心）；Criteo AI Lab（科韬人工智能实验室）；Crest, ENSAE（法国国立统计与经济管理学院 Crest 研究中心）
离线RL的目标是在固定的探索性演示数据集可用并且不可能采样额外的观察结果时学习最佳策略（通常如果此操作成本高昂或引起伦理问题）。为了解决这个问题，现成的方法需要一个适当定义的成本函数（或其提供的数据集的评价），这是很少在实践中可用。为了规避这个问题，一个合理的替代方案是除了探索性数据集之外，还向专家询问一些最佳演示。然后，目标是学习最优策略w.r.t.专家的潜在成本函数目前的解决方案要么解决行为克隆问题（不利用探索性数据），要么解决强化模仿学习问题（使用固定成本函数，区分可用的探索性轨迹和专家轨迹）。IRL技术在在线环境中实现最先进的模仿性能的成功的启发，我们利用基于GAN的数据增强程序来构建第一个离线IRL算法。所获得的策略在多个OpenAI健身房环境中的表现优于上述解决方案。
2021-06-09 cs.LG
Offline Reinforcement Learning via Linear-Programming with Error-Bound Induced Constraints
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
本工作重新审视离线RL的MDP线性规划重构，通过推导误差界并将其作为约束纳入LP，在部分数据覆盖等条件下实现最优O(1/√n)样本复杂度，推进了离线RL算法的样本效率与假设松弛。
2024-12-09 cs.LG math.OC stat.ML
AACC: Asymmetric Actor-Critic in Contextual Reinforcement Learning
Artificial Intelligence Research Center DII（DII人工智能研究中心）
强化学习（RL）技术在许多具有挑战性的任务中受到了极大的关注，但当应用于现实世界的问题时，其性能急剧下降。已经提出了各种方法，如域随机化，通过在不同的环境设置下训练代理来处理这种情况，因此它们可以在部署过程中推广到不同的环境。然而，他们通常不包括潜在的环境因素的信息，代理人进行适当的互动，因此可能会过于保守，当面对周围环境的变化。在本文中，我们首先形式化的任务，适应不断变化的环境动态RL作为一个泛化问题，使用上下文马尔可夫决策过程（CMDPs）。然后，我们提出了非对称Actor-Critic在上下文RL（AACC）作为一个端到端的Actor-Critic方法来处理这样的泛化任务。我们证明了AACC的性能在一系列模拟环境中的实验超过现有基线的根本改善。
2022-08-03 cs.LG stat.ML
Reachability-Aware Laplacian Representation in Reinforcement Learning
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
在强化学习（RL）中，拉普拉斯表示（LapRep）是一种任务不可知的状态表示，它对环境的几何形状进行编码。在先前的作品中陈述的LapRep的期望属性是LapRep空间中的欧几里德距离粗略地反映了状态之间的可达性，这激发了将该距离用于奖励塑造。然而，我们发现LapRep一般不一定具有这种性质：在LapRep下具有小距离的两个状态实际上可以在环境中远离。这种不匹配会阻碍奖励塑造的学习过程。为了解决这个问题，我们引入了可达性感知拉普拉斯表示（RA-LapRep），通过适当缩放LapRep的每个维度。尽管简单，我们证明了RA-LapRep可以更好地捕捉状态间的可达性相比，LapRep，通过理论解释和实验结果。此外，我们表明，这种改进产生了显着提高奖励塑造性能，也有利于瓶颈状态发现。
2022-10-24 cs.AI cs.LG
Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）
几个现实世界的场景，如远程控制和传感，是由行动和观察延迟。延迟的存在降低了强化学习（RL）算法的性能，通常会导致算法无法学习任何实质性内容。本文正式描述了马尔可夫决策过程（MDP）的概念与随机延迟，并表明延迟MDP可以转化为等价的标准MDP（无延迟）显着简化的成本结构。我们采用这种等价性来推导出一个无模型的延迟解析RL框架，并表明即使是建立在这个框架上的简单RL算法，在行动和观察具有随机延迟的环境中也能获得接近最优的奖励。延迟分辨深度Q网络（DRDQN）算法在包括多步和随机延迟的各种环境上进行基准测试，并且相对于当前建立的算法，在实现接近最优的奖励和最小化其计算开销方面都产生更好的性能。
2021-08-17 cs.AI cs.LG cs.SY
Learning to Clean: Reinforcement Learning for Noisy Label Correction
School of Computer Science, Carleton University（卡莱顿大学计算机科学学院）；CIFAR AI Chair, Amii（CIFAR人工智能主席，Amii）
本文提出了一种基于强化学习的噪声标签纠正方法，通过深度特征表示策略网络实现标签纠正，实验表明其在多个数据集上优于现有技术。
2025-11-25 cs.AI cs.LG
Optimal Lattice Boltzmann Closures through Multi-Agent Reinforcement Learning
Computational Science and Engineering Laboratory, Harvard University（哈佛大学计算科学与工程实验室）；ETH Zurich（苏黎世联邦理工学院）；Italian Institute of Technology（意大利理工学院）
本文提出一种基于多智能体强化学习（MARL）的格子玻尔兹曼闭合模型，通过卷积神经网络动态控制松弛参数，显著提升粗粒度模拟的稳定性与精度，并能迁移至未见流动场景。
2025-04-19 cs.LG physics.comp-ph physics.flu-dyn
Toward Finding Strong Pareto Optimal Policies in Multi-Agent Reinforcement Learning
VNU University of Engineering and Technology（越南国家大学工程技术大学）
针对协作多智能体强化学习中的帕累托最优策略问题，提出 MGDA++ 以克服标准 MGDA 的弱帕累托收敛，并从理论与 Gridworld 实验验证其强帕累托最优性和性能优势。
2024-10-25 cs.LG
A Deep Reinforcement Learning Framework for Optimizing Congestion Control in Data Centers
Huawei Technologies Canada（华为技术加拿大公司）；University of Toronto（多伦多大学）
针对数据中心在线学习拥塞控制难以收敛的问题，利用多智能体强化学习设计动态调参系统，基于网络与流量状态优化吞吐量和延迟，实验表明其能缓解静态参数问题。
2023-01-29 cs.LG cs.NI
Reinforcement Learning from Bagged Reward
The University of Tokyo（东京大学）；Zhejiang University（浙江大学）；Microsoft Research AI4Science（微软研究院AI4Science）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）
本文研究仅有轨迹级袋装奖励的RLBR问题，构建BRMDP，并提出带双向注意力机制的奖励再分配方法，在理论上转化为标准MDP且实验表现持续优于现有方法。
2024-10-26 cs.LG
Eliciting Risk Aversion with Inverse Reinforcement Learning via Interactive Questioning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Imperial College London（帝国理工学院）；University of Toronto（多伦多大学）
本文通过逆强化学习和交互式提问，研究如何高效估计客户风险厌恶，提出区分能力最大化方法并验证其有效性。
2025-12-24 cs.LG stat.ML
Controlling dynamics of stochastic systems with deep reinforcement learning
Arnold Sommerfeld Center for Theoretical Physics（阿诺德·索末菲理论物理中心）；Center for NanoScience（纳米科学中心）；Ludwig-Maximilians-Universität München（慕尼黑大学）
本文提出一种基于深度强化学习的模拟算法，利用训练好的神经网络作为控制器驱动随机系统的状态转移，并在粒子凝聚和全不对称排斥过程中验证了其有效性。
2025-02-25 cond-mat.stat-mech cs.LG physics.comp-ph
Explicit Credit Assignment through Local Rewards and Dependence Graphs in Multi-Agent Reinforcement Learning
Human-Machine Interaction Laboratory（人机交互实验室）
研究多智能体强化学习中促进合作的方法，结合全局奖励和局部奖励优点，利用智能体交互图更细粒度识别贡献，减轻局部奖励合作问题，实验表明该方法灵活且优于传统设置。
2026-07-07 cs.LG
GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning
KAIST（韩国科学技术院）
深度强化学习（DRL）在顺序决策问题中取得了显着的成功，但要获得如此良好的性能需要很长的训练时间。许多并行和分布式DRL训练方法已经被提出来解决这个问题，但它是很难利用它们在资源有限的设备。为了加速真实世界边缘设备中的DRL，必须解决由于大权重事务而导致的内存带宽瓶颈。然而，以前的迭代修剪不仅在训练开始时显示出较低的压缩比，而且使DRL训练不稳定。为了克服这些缺点，我们提出了一种新的权重压缩方法，称为组稀疏训练（GST）的DRL训练加速。GST选择性地利用块循环压缩来在DRL训练的所有迭代期间保持高权重压缩比，并通过奖励感知修剪来动态适应目标稀疏性以进行稳定训练。由于这些特性，GST在具有TD 3训练的Mujoco Halfcheetah-v2和Mujoco humanoid-v2环境中实现了比没有奖励下降的迭代修剪方法高25 \%p $\sim$ 41.5 \%p的平均压缩比。
2021-01-24 cs.LG
A model-based approach to meta-Reinforcement Learning: Transformers and tree search
UCLouvain（鲁汶大学）
元学习是一种研究方法，旨在开发利用过去经验有效解决新学习问题的能力。Meta-强化学习（meta-RL）方法展示了学习行为的能力，这些行为有效地获取和利用了几个meta-RL问题中的信息。在此背景下，Wang等人提出了Alchemy基准[2021]。Alchemy具有丰富的结构化潜在空间，这对于最先进的无模型RL方法来说是具有挑战性的。这些方法未能学会正确探索然后利用。我们开发了一个基于模型的算法。我们训练一个模型，它的主要模块是一个Transformer Encoder，以适应符号化的Alchemy环境动力学。然后，我们定义了一个在线计划与学习模型使用树搜索方法。该算法显着优于以前应用的无模型RL方法的符号炼金术问题。我们的研究结果揭示了基于模型的方法与在线计划的相关性，以成功地在元RL中进行探索和开发。此外，我们还展示了Transformer架构学习复杂动态的效率，这些动态来自元RL问题中存在的潜在空间。
2022-08-24 cs.AI cs.LG
Topological Foundations of Reinforcement Learning
African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；AIMS-Research & Innovation Center (AIMS RIC)（AIMS研究与创新中心）；AIMS-Cameroon（喀麦隆非洲数学科学研究所）
该研究从拓扑学与泛函分析视角出发，基于Banach不动点定理解释强化学习算法的收敛性，为设计更高效的强化学习算法提供数学理论支撑。
2024-09-25 cs.AI cs.LG math.FA
Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）；School of Science and Engineering, CUHK Shenzhen（香港中文大学（深圳）理工学院）；Computing & Mathematical Sciences Department, Caltech（加州理工学院计算与数学科学系）
针对强化学习中的维度灾难，提出将原始MDP近似分解为独立子MDP，据此开发了基于模型与无模型的算法并给出改进的样本复杂度保证，指数级降低了对状态-动作空间的依赖。
2024-11-12 cs.LG
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出了一种新的策略迭代理论，作为软策略迭代和软Actor-Critic（SAC）的重要扩展，SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下，推广香农熵的任意熵度量，如Tsallis熵和Renyi熵，可以用来适当地随机化动作选择，同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法，即，Tsallis熵Actor-Critic（TAC）和Renyi熵Actor-Critic（RAC）。理论分析表明，这些算法可以比SAC更有效。此外，它们为我们开发一种新的Encriminator Actor-Critic（EAC）算法铺平了道路，该算法的特点是使用引导机制进行深度环境探索，以及一种新的基于值函数的机制进行高级动作选择。经验上，我们表明，TAC，RAC和EAC可以实现最先进的性能在一系列的基准控制任务，优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Deep Reinforcement Learning for Stock Portfolio Optimization
National University of Singapore（新加坡国立大学）
股票投资组合优化是不断重新分配资金到各种股票池的过程。在本文中，我们将公式化的问题，这样我们就可以适当地应用强化学习的任务。为了保持对市场的现实假设，我们将把交易成本和风险因素也纳入状态。最重要的是，我们将应用各种最先进的深度强化学习算法进行比较。由于动作空间是连续的，现实的配方下的一个国家的最先进的连续策略梯度算法：深确定性策略梯度（DDPG），广义确定性策略梯度（GDPG）和近端策略优化（PPO），其中前两个性能远远优于最后一个。接下来，我们将提出端到端的解决方案的任务与最小方差投资组合理论的股票子集的选择，和小波变换提取多频数据模式。讨论了观察结果和假设，以及未来可能的研究方向。
2020-12-09 cs.AI cs.LG math.OC
A Bayesian Approach to Robust Reinforcement Learning
Technion（以色列理工学院）；Deepmind（深度思维）
鲁棒马尔可夫决策过程（RMDPs）旨在确保相对于变化或对抗系统行为的鲁棒性。在这个框架中，过渡被建模为一个已知的和适当结构的不确定性集的任意元素和一个强大的最优策略，可以在最坏的情况下得出。在这项研究中，我们使用贝叶斯方法解决RMDPs学习的问题。我们引入了不确定性鲁棒贝尔曼方程（URBE），它鼓励安全的探索，以适应新的观测不确定性集，同时保持鲁棒性。我们提出了一个基于URBE的算法，DQN-URBE，该方法扩展到高维域。我们的实验表明，所得到的基于URBE的策略，导致一个更好的折衷之间的保守性较低的解决方案和鲁棒性的存在模型误指定。此外，我们表明，DQN-URBE算法可以适应显着更快地在线动态变化相比，现有的强大的技术与固定的不确定性集。
2019-07-23 cs.AI cs.LG stat.ML
An adaptive synchronization approach for weights of deep reinforcement learning
Tarbiat Modares University（塔比阿特莫达雷斯大学）
深度Q网络（Deep Q-Networks，DQN）是深度强化学习中最著名的方法之一，它使用深度学习来近似动作-价值函数。该模型的主要优点是解决了许多深度强化学习的挑战，如移动目标问题和样本之间的相关性。虽然近年来DQN有各种扩展，但它们都使用与DQN类似的方法来克服移动目标的问题。尽管有上述优点，但以固定步长同步网络权重，独立于代理的行为，在某些情况下可能会导致一些正确学习的网络的丢失。这些丢失的网络可能会导致具有更多奖励的状态，因此更好的样本存储在重放存储器中用于未来的训练。在本文中，我们从DQN家庭解决这个问题，并提供了一个自适应的方法，用于DQN中使用的神经权重的同步。在该方法中，权重的同步是基于代理的最近行为来完成的，该行为是在间隔结束时通过标准来测量的。为了测试这种方法，我们调整了DQN和彩虹方法与建议的自适应同步方法。我们比较了这些调整后的方法与他们的标准形式的知名游戏，结果证实了我们的同步方法的质量。
2020-08-16 cs.LG stat.ML
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
提高样本效率是强化学习中的一个关键挑战，特别是在具有大状态空间和稀疏奖励的环境中。在文献中，这是通过使用辅助任务（子目标）或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹，而辅助任务已被纳入奖励稀疏的地方。然而，很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略，探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法，该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明，与几个有竞争力的基线相比，该算法具有性能优势。
2023-02-27 cs.AI cs.LG
Tapered Off-Policy REINFORCE: Stable and efficient reinforcement learning for LLMs
Mila（米拉研究所）；Reliant AI
本研究提出TOPR离策略强化学习算法，采用非对称锥形重要采样，无需KL正则即可稳定高效微调大模型，能统一处理正负例，在GSM8K、MATH基准上提升性能，8B模型可匹配70B模型效果。
2025-03-19 cs.LG
Near-Optimal Goal-Oriented Reinforcement Learning in Non-Stationary Environments
University of Southern California（南加州大学）
我们开始研究动态遗憾最小化的目标导向的强化学习建模的非平稳随机最短路径问题的成本和转移函数的变化。我们首先建立一个下界$Ω((B_{\star} SAT_{\star}(Δ_c + B_{\star}^2Δ_P))^{1/3}K^{2/3})$，其中$B_{\star}$是从任何状态开始的任何情节的最优策略的最大期望成本，$T_{\star}$是从初始状态开始的任何情节的最优策略的最大命中时间，$SA$是状态-动作对的数量，$Δ_c$和$Δ_P$分别是成本和转移函数的变化量，$K$是发作次数。$Δ_c$和$Δ_P$在这个下界中的不同角色启发我们设计分别估计成本和转换的算法。具体来说，假设知识的$Δ_c$和$Δ_P$，我们开发了一个简单的，但次优算法和另一个更涉及极大极小最优算法（对数项）。这些算法结合了有限时域近似的思想[Chen等人，2022 a]，MVP算法的特殊伯恩斯坦式奖金[Zhang et al.，2020]，适应性信心扩大[Wei和Luo，2021]，以及一些新技术，如适当惩罚长期政策。最后，当$Δ_c$和$Δ_P$未知时，我们开发了MASTER算法的一个变体[Wei和Luo，2021]，并将上述思想整合到其中，以实现$\widetilde{O}(\min\{B_{\star} S\sqrt{ALK}, (B_{\star}^2S^2AT_{\star}(Δ_c+B_{…
2022-05-25 cs.LG
FedKL: Tackling Data Heterogeneity in Federated Reinforcement Learning by Penalizing KL Divergence
the Hong Kong University of Science and Technology（香港科技大学）
针对联邦强化学习中的数据异质性，提出基于KL散度的惩罚方法，在分布空间约束模型输出，实现训练速度与收敛的更好权衡，并在两个RL平台上验证了加速和稳定训练的优势。
2022-09-22 cs.LG
Optimal scheduling of island integrated energy systems considering multi-uncertainties and hydrothermal simultaneous transmission: A deep reinforcement learning approach
Northeast Electric Power University（东北电力大学）；Huazhong University of Science and Technology（华中科技大学）；Cranfield University（克兰菲尔德大学）
来自电源和负荷的多重不确定性给海岛各种资源的稳定需求供给带来了重大挑战。为了应对这些挑战，提出了一个全面的调度框架，通过引入一个无模型的深度强化学习（DRL）方法的基础上建模的岛屿综合能源系统（IES）。针对海岛淡水短缺的问题，除了引进海水淡化系统外，还提出了“热液同步输送”（HST）的输送结构。IES调度问题的本质是各单元输出的最优组合，是典型的时序控制问题，符合深度强化学习的马尔可夫决策求解框架。深度强化学习通过智能体与环境的交互来适应各种变化，及时调整策略，避免了复杂的建模和多不确定性的预测。仿真结果表明，该调度框架能够有效地处理电源和负荷的多种不确定性，实现各种资源的稳定需求供给，具有比其他实时调度方法更好的性能，特别是在计算效率方面。此外，HST模式也是提高海岛淡水资源利用效率的一种积极探索。
2022-12-27 cs.LG cs.SY eess.SY
MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
强化学习中的探索是一个具有挑战性的问题：在最坏的情况下，智能体必须搜索可能隐藏在状态空间中任何地方的高回报状态。我们能否定义一个更容易处理的RL问题，其中代理提供了成功结果的例子？在这个问题设置中，可以通过训练分类器将状态分类为成功或失败来自动获得奖励函数。如果训练得当，这样的分类器可以提供一个形状良好的客观景观，既可以促进向良好状态的进展，又可以提供校准的探索奖励。在这项工作中，我们表明，一个不确定性感知分类器可以解决具有挑战性的强化学习问题，既鼓励探索，并提供直接指导积极的结果。我们提出了一种新的机制来获得这些校准，不确定性感知分类器的基础上摊销技术计算归一化的最大似然（NML）分布。为了使这易于处理，我们提出了一种新的方法，通过使用元学习计算NML分布。我们表明，由此产生的算法有一些有趣的连接到基于计数的探索方法和先验算法学习奖励函数，同时也提供了更有效的指导目标。我们证明，我们的算法解决了一些具有挑战性的导航和机器人操作任务，证明困难或不可能的先前的方法。
2021-07-18 cs.LG cs.RO
Model-Based Offline Reinforcement Learning with Pessimism-Modulated Dynamics Belief
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于模型的离线强化学习（RL）旨在通过利用先前收集的静态数据集和动态模型来找到高度有益的策略。而动态模型通过重用静态数据集来学习，如果使用得当，其泛化能力有望促进策略学习。为此，一些作品提出量化预测动态的不确定性，并明确地将其应用于惩罚奖励。然而，由于动态和奖励本质上是不同的因素，在MDP的上下文中，通过奖励惩罚来表征动态不确定性的影响可能会在模型利用和风险规避之间产生意想不到的权衡。在这项工作中，我们反而保持了动态的信念分布，并评估/优化政策，通过有偏见的抽样信念。抽样程序，偏向悲观，来自基于交替马尔可夫博弈制定离线RL。我们正式表明，有偏采样自然会导致更新的动态信念与政策相关的重新加权因子，称为悲观主义调制的动态信念。为了改进策略，我们设计了一个迭代正则化策略优化算法，在一定条件下保证单调改进。为了实用，我们进一步设计了一个离线RL算法来近似找到解决方案。实证结果表明，该方法实现了国家的最先进的性能在广泛的基准任务。
2022-10-29 cs.AI cs.LG
A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning
Peking University（北京大学）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）
在本文中，我们考虑深度强化学习的线性规划（LP）公式。约束的数量取决于状态空间和动作空间的大小，这使得问题在大型或连续环境中变得棘手。一般增广拉格朗日方法在求解线性规划问题时存在双采样问题。也就是说，源自约束函数的条件期望和增广拉格朗日函数中的二次罚函数给采样和评估带来了困难。受乘子更新的启发，我们通过用乘子替换难以处理的条件期望，克服了增广拉格朗日函数极小化的障碍。为此，提出了一种深度参数化增广拉格朗日方法。此外，替代提供了一个有前途的突破，将两个步骤中的增广拉格朗日方法到一个单一的约束问题。一般的理论分析表明，从一系列的约束优化产生的解决方案收敛到最优解的线性规划，如果误差得到适当的控制。对神经正切核设置下的二次罚函数算法进行了理论分析，指出只要网络参数和优化算法选择适当，残差可以任意小。初步的实验表明，我们的方法是有竞争力的其他国家的最先进的算法。
2021-05-20 cs.LG math.OC
Robust Communicative Multi-Agent Reinforcement Learning with Active Defense
Tsinghua University（清华大学）
针对多智能体强化学习通信易受干扰、现有被动防御策略难平衡性能与鲁棒性的问题，提出带主动防御的ADMAC框架，通过评估消息可靠性调整决策影响，实验验证其在多类攻击下的性能优势。
2023-12-16 cs.AI cs.LG cs.MA
Effective Scheduling Function Design in SDN through Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
最近对软件定义网络（SDN）的研究有力地促进了分布式控制器架构的采用。为了实现高网络性能，设计一个调度功能（SF），以正确地调度请求从每个交换机到合适的控制器变得至关重要。然而，现有文献倾向于设计针对特定网络设置的SF。在本文中，提出了一种基于重复学习（RL）的方法，目的是自动学习一个通用的，有效的，高效的SF。特别是，一个新的调度系统中引入的SF表示为一个神经网络，确定每个控制器的优先级。基于优先级，使用我们提出的概率选择方案来选择控制器，以平衡学习过程中探索和利用之间的权衡。为了训练一个通用的调度函数，我们首先将调度函数设计问题转化为一个强化学习问题。然后，基于最先进的深度RL算法开发了一种新的训练方法。我们的仿真结果表明，我们的RL方法可以快速设计（或学习）SF的最佳性能。除此之外，训练的SF可以很好地推广，并在各种网络设置下优于常用的调度算法。
2019-04-12 cs.LG cs.NI stat.ML
Phoebe: Reuse-Aware Online Caching with Reinforcement Learning for Emerging Storage Models
UC Santa Barbara（圣巴巴拉大学）；Alibaba Group（阿里巴巴集团）
NVMe和SSD作为新兴存储技术的代表，具有数据持久性、高访问速度、低功耗和字节可寻址等特点，在众多领域得到了广泛的应用。然而，高性能采用这些技术的一个关键问题是如何正确定义智能缓存层，以便能够很好地弥合新兴技术和主存之间的性能差距。为此，我们提出了菲比，重用意识的强化学习框架的最佳在线缓存，适用于各种新兴的存储模型。通过与缓存环境和数据流的持续交互，Phoebe能够从单个跟踪中提取关键的时间数据依赖性和相对位置信息，随着时间的推移变得越来越智能。为减少在线学习期间的培训开销，我们利用定期培训来摊销成本。Phoebe在一组Microsoft云存储工作负载上进行评估。实验结果表明，Phoebe能够将LRU和基于在线学习的缓存策略的缓存未命中率分别缩小到Belady最优策略的70.3%和52.6%。
2020-11-13 cs.AI cs.LG cs.OS
Multi-Agent Deep Reinforcement Learning for Request Dispatching in Distributed-Controller Software-Defined Networking
University of Waikato（怀卡托大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
本文提出一种基于多智能体深度强化学习的MA-PPO算法，通过多智能体马尔可夫决策过程建模，自动设计分布式控制器SDN中的请求调度策略，显著优于人工和单智能体策略。
2021-02-06 cs.LG cs.MA cs.NI
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel（城堡投资）；New Jersey Institute of Technology（新泽西理工学院）；IBM Research（IBM研究院）
本文研究了流处理中的资源分配问题，在大型分布式系统中，连续的数据流必须得到实时的处理。为了最大化系统吞吐量，将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的，但实际的流媒体系统的关键，许多基于启发式的算法已经开发，以找到合理的好的解决方案。在本文中，我们提出了一个图形感知的编码器-解码器框架，学习一个通用的资源分配策略，可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练，我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明，该模型优于METIS，一个国家的最先进的图分割算法，和基于LSTM的编码器-解码器模型，在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
Empirical Design in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
针对强化学习实证设计规模扩张与统计证据不足的矛盾，本文梳理了实验全流程的统计方法与常见误区，为领域内开展严谨的实证研究提供综合参考和行动指引。
2024-10-29 cs.AI cs.LG
Attention-Based Model and Deep Reinforcement Learning for Distribution of Event Processing Tasks
Centre of Electronics, Optoelectronics and Telecommunications (CEOT), University of Algarve（阿尔加维大学电子、光电子与电信中心）；Aberystwyth University（阿伯里斯特威斯大学）；Faculty of Science and Technology, University of Algarve（阿尔加维大学科技学院）
事件处理是动态和响应式物联网（IoT）的基石。这一领域的最新方法基于代表性状态转移（REST）原理，它允许将事件处理任务放置在遵循相同原理的任何设备上。然而，任务应该在边缘设备之间适当地分配，以确保公平的资源利用并保证无缝执行。本文研究如何使用深度学习来公平分配任务。提出了一种基于注意力的神经网络模型，用于在不同场景下生成高效的负载均衡解决方案。该模型基于Transformer和Pointer Network架构，采用优势行动者-评论者强化学习算法进行训练。该模型旨在扩展到事件处理任务的数量和边缘设备的数量，而不需要重新调整甚至重新训练超参数。大量的实验结果表明，该模型优于传统的算法在许多关键性能指标。通用的设计和得到的结果表明，该模型可以潜在地应用到其他几个负载均衡问题的变化，这使得该建议是一个有吸引力的选择，用于在现实世界中的场景，由于其可扩展性和效率。
2021-12-07 cs.LG cs.NI
Goal-oriented Trajectories for Efficient Exploration
Imperial College London（帝国理工学院）
探索是强化学习中的一个困难挑战，即使是最近最先进的基于好奇心的方法也依赖于简单的ε贪婪策略来产生新颖性。我们认为，纯粹的随机行走不成功，适当扩大在大多数环境中的探索区域，并建议取代随机目标选择，然后在他们的方向上的几个步骤，以取代单一的随机行动的选择。这种方法与任何基于好奇心的探索和非策略强化学习代理兼容，并且生成比单个随机动作更长和更安全的轨迹。为了说明这一点，我们提出了一个独立于任务的代理，它学会了在屏幕帧中到达坐标，并展示了它在游戏《超级马里奥兄弟》中探索的能力。
2018-07-05 cs.LG stat.ML
Towards Full Pipeline FP8 Reinforcement Learning for LLMs
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
针对全流水线FP8强化学习训练不稳定性问题，提出校准裁剪动态方法对齐FP8裁剪边界与BF16分布，消除熵激增并恢复性能。
2026-09-22 cs.AI cs.LG
RL-IoT: Reinforcement Learning to Interact with IoT Devices
Politecnico di Torino（都灵理工大学）；University of Turin（都灵大学）
我们的生活正在被物联网（IoT）设备所填充。这些设备通常依赖于封闭的或记录不完整的协议，具有未知的格式和语义。学习如何以自主的方式与这些设备交互是互操作性和自动验证其功能的关键。在本文中，我们提出了RL-IoT，这是一个探索如何自动与可能未知的物联网设备进行交互的系统。我们利用强化学习（RL）来恢复协议消息的语义，并控制设备以达到给定的目标，同时最大限度地减少交互次数。我们假设只知道可能的物联网协议消息的数据库，然而其语义是未知的。RL-IoT与目标IoT设备交换消息，学习那些对实现给定目标有用的命令。我们的研究结果表明，RL-IoT能够解决简单和复杂的任务。通过适当调整参数，RL-IoT学习如何使用目标设备（我们案例研究中的Yeelight智能灯泡）执行操作，完成不平凡的模式，只需400次交互。RL-IoT为与缺乏文档记录的物联网协议进行自动交互铺平了道路，从而实现了可互操作的系统。
2021-09-10 cs.AI cs.LG cs.NI
Coordination of PV Smart Inverters Using Deep Reinforcement Learning for Grid Voltage Regulation
University of California San Diego（加州大学圣地亚哥分校）；NEC Laboratories America（NEC美国实验室）
太阳能光伏发电（PV）由于其多变性和间歇性的特点，对现代电网提出了新的挑战。光伏发电的输出波动可能导致电网违反电压运行限制。光伏智能逆变器（SI）提供了一种快速响应的方法，通过调制连接点的有功和/或无功功率来调节电压。然而，现有的本地自主控制方案的SI是基于本地信息没有协调，这可能会导致次优性能。本文开发并实现了一种基于深度强化学习（DRL）的算法，用于协调多个SI。DRL的奖励方案经过精心设计，以确保满足电网的电压运行限制，同时更有效地利用SI无功功率。建议的DRL电压控制代理可以通过与大量离线仿真的交互来学习其策略，并适应负载和太阳能的变化。DRL代理的性能进行了比较，对IEEE 37节点系统上的本地自主控制与成千上万的情况。结果表明，经过适当训练的DRL代理可以智能地协调不同的SI，以维持电网电压在允许的范围内，实现减少光伏生产削减，并降低系统损耗。
2019-10-14 cs.LG cs.SY eess.SY
Autonomous Voltage Control for Grid Operation Using Deep Reinforcement Learning
GEIRI North America（GEIRI北美中心）；State Grid Corporation of China（国家电网公司）
本文提出Grid Mind框架，通过深度强化学习实现自主电网控制，解决传统方法在处理可再生能源和需求响应动态性带来的挑战，提升电网运行的安全性和经济性。
2019-04-24 cs.LG cs.SY eess.SY
Conflict Resolution under Degraded Surveillance in Air Corridors Using Multi-Agent Reinforcement Learning
College of Aeronautics and Engineering（航空与工程学院）；Center for Advanced Air Mobility（先进空中交通中心）
研究针对空中走廊降级监视下的冲突解决问题，开发基于深度Q网络的多智能体强化学习框架，为两类飞机训练策略，经模拟评估策略效果，揭示安全与走廊容量权衡，支持相关冲突解决策略评估。
2026-07-24 cs.LG
LS-IQ: Implicit Reward Regularization for Inverse Reinforcement Learning
German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Centre for Cognitive Science（认知科学中心）
最近的模仿学习方法直接学习一个$Q$ -函数使用一个隐式的奖励公式，而不是一个显式的奖励函数。然而，这些方法通常需要隐式奖励正则化来提高稳定性，并且经常误处理吸收状态。以往的工作表明，平方范数正则化的隐式奖励函数是有效的，但没有提供一个理论分析的算法所产生的属性。在这项工作中，我们表明，使用这种正则化的混合分布的政策和专家提供了一个特别有启发性的观点：原来的目标可以被理解为平方贝尔曼误差最小化，相应的优化问题最大限度地减少了有界$χ^2$ -专家和混合分布之间的分歧。这种观点使我们能够解决不稳定性和正确对待吸收状态。我们表明，我们的方法，最小二乘逆Q学习（LS-IQ），优于最先进的算法，特别是在吸收状态的环境中。最后，我们建议使用逆动力学模型只从观察中学习。使用这种方法，我们在没有专家操作可用的设置中保持性能。
2023-03-01 cs.AI cs.LG cs.RO
Scientific multi-agent reinforcement learning for wall-models of turbulent flows
Harvard University（哈佛大学）；California Institute of Technology（加州理工学院）；ETH Zurich（苏黎世联邦理工学院）
湍流模拟的预测能力对空气动力学设计和天气预报至关重要，取决于湍流模型的选择。大量的实验和模拟数据以及机器学习的出现推动了湍流建模工作。然而，湍流的模拟仍然受到阻碍，无法模拟的近壁动态的物理学和监督学习。我们通过引入科学的多智能体强化学习（SciMARL）来解决这一挑战，以发现大涡模拟（LES）的壁模型。在SciMARL中，离散化点也充当协作代理，学习提供LES闭包模型。智能体使用有限的数据进行自我学习，并推广到极端的雷诺数和以前看不见的几何形状。目前的模拟减少了几个数量级的计算成本超过完全解决的模拟，同时再现关键流量。我们相信SciMARL为模拟湍流创造了前所未有的能力。
2022-02-01 cs.LG physics.comp-ph physics.flu-dyn
Deep Reinforcement Learning meets Graph Neural Networks: exploring a routing optimization use case
Barcelona Neural Networking Center（巴塞罗那神经网络中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institute of Telecommunications（电信研究所）；AGH University of Science and Technology（AGH科技大学）
深度强化学习（DRL）在决策和自动控制问题方面表现出显着的改进。因此，DRL代表了一种有前途的技术，可以有效地解决许多相关的优化问题（例如，自动驾驶网络中的路由。然而，应用于网络的现有基于DRL的解决方案未能推广，这意味着当应用于训练期间未观察到的网络拓扑时，它们不能正常操作。这种泛化能力的缺乏严重阻碍了DRL技术在生产网络中的部署。这是因为现有技术的基于DRL的联网解决方案使用标准神经网络（例如，完全连接的、卷积的），其不适合从结构化为图的信息中学习。在本文中，我们集成了图神经网络（GNN）到DRL代理，我们设计了一个问题的具体行动空间，使泛化。GNN是一种深度学习模型，其本质上是为了在不同大小和结构的图上进行泛化而设计的。这使得所提出的基于GNN的DRL代理能够在任意网络拓扑上学习和推广。我们在光网络的路由优化用例中测试了我们的DRL+GNN代理，并分别在180和232个看不见的合成和真实网络拓扑上对其进行了评估。结果表明，DRL+GNN智能体能够在训练期间从未见过的拓扑中超越最先进的解决方案。
2022-10-07 cs.LG cs.NI
Scalability of Message Encoding Techniques for Continuous Communication Learned with Multi-Agent Reinforcement Learning
IDLab；Faculty of Applied Engineering（应用工程学院）；University of Antwerp（安特卫普大学）；imec
本文研究多智能体强化学习中消息编码的可扩展性，发现均值消息编码器始终优于注意力消息编码器，并揭示智能体通过结合指数与对数函数的通信策略避免信息丢失。
2023-08-09 cs.AI cs.LG cs.MA
Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms
LINE Corporation（LINE公司）；Osaka University（大阪大学）
该研究提出通用安全探索问题的统一表述，设计了结合无约束RL与不确定性量化器的元算法MASE，通过两种变体实现高概率安全保障，在基准测试中性能优于现有方法且训练全程无安全违规。
2023-10-05 cs.AI cs.LG cs.RO
Towards Robust On-Ramp Merging via Augmented Multimodal Reinforcement Learning
Michigan Technological University（密歇根理工大学）；University of Science and Technology of China（中国科学技术大学）
尽管人工智能车载感知取得了成功，但入口匝道合并一直是自动驾驶面临的主要挑战之一。由于车载传感器的感知范围有限，并道车辆很难观察到主干道的路况并道。通过利用联网车辆和自动驾驶车辆（CAV）之间的无线通信，合并CAV有可能主动获取附近车辆的意图。然而，CAV可能容易出现不准确的观测，例如嘈杂的基本安全信息（BSM）和质量差的监视图像。在本文中，我们提出了一种新的方法，通过增强和多模态强化学习，命名为RAMRL的CAV的鲁棒入口匝道合并。具体来说，我们制定了一个马尔可夫决策过程（MDP）的入口匝道合并问题，考虑到驾驶安全，舒适的驾驶行为，和交通效率。为了提供可靠的合并操作，我们同时利用BSM和监控图像进行多模态观察，用于通过近端策略优化（PPO）学习策略模型。此外，为了提高数据效率并提供更好的泛化性能，我们训练增强数据（例如，噪声BSM和噪声监视图像）。在两种典型的合流场景下，利用城市移动性仿真平台（SUMO）进行了大量的实验。实验结果表明，我们的鲁棒入口匝道合并设计的有效性和效率。
2022-07-21 cs.AI cs.LG cs.RO
Hierarchical Primitive Composition: Simultaneous Activation of Skills with Inconsistent Action Dimensions in Multiple Hierarchies
Yonsei University（延世大学）
深度强化学习已经在各种应用中显示出其有效性，为解决高复杂度的任务提供了一个很有前途的方向。然而，天真地应用经典RL来学习具有单一控制策略的复杂长时间任务是低效的。因此，策略模块化通过学习一组映射到原语的模块并正确编排它们来解决这个问题。在这项研究中，我们进一步扩大了讨论，将同时激活的技能，并将它们结构成多层次的递归方式。此外，我们试图设计一种算法，可以通过乘法高斯分布适当地编排不同动作空间的技能，这大大提高了可重用性。通过利用模块性，如果每个技能都是已知的，那么也可以通过观察新任务中使用的模块来实现可解释性。我们演示了如何在实践中使用所提出的方案，通过解决一个6自由度机械手的拾取和放置任务，并检查每个属性的消融研究的影响。
2022-06-14 cs.AI cs.LG
A Multi-Task Approach to Robust Deep Reinforcement Learning for Resource Allocation
University of Bremen（不来梅大学）
针对含罕见重大事件的组合资源分配问题，本文将 EWC 与 GEM 集成到 actor-critic 调度器，证明多任务学习能有效提升应对黑天鹅事件的鲁棒性。
2023-04-25 cs.LG cs.SY eess.SY
