Diffusion Policies for Risk-Averse Behavior Modeling in Offline Reinforcement Learning
Data 61, CSIRO, Australia（数据61，CSIRO，澳大利亚）；School of Computing, Macquarie University, Australia（计算学院，麦考瑞大学，澳大利亚）；Adobe Research, USA（Adobe研究，美国）；School of Computer Science and Engineering, University of New South Wales, Australia（计算机科学与工程学院，新南威尔士大学，澳大利亚）
本文提出一种不确定性感知的分布式离线强化学习算法，利用扩散策略同时建模认知不确定性与环境随机性，学习风险规避策略并刻画奖励完整分布，在风险敏感与风险中性基准上表现优越。
2025-07-02 cs.LG
Environmental-Impact Based Multi-Agent Reinforcement Learning
Isfahan University of Technology（伊斯法罕理工大学）；Brock University（布鲁克大学）
针对社会困境中的合作问题，提出基于环境影响的多智能体强化学习方法EMuReL，通过估计同伴环境影响并承担社会责任促进合作，在Cleanup和Harvest环境中相较现有方法显著提升总奖励。
2023-11-06 cs.AI cs.LG
The Sample-Complexity of General Reinforcement Learning
Australian National University（澳大利亚国立大学）
我们提出了一个新的算法一般强化学习的真实环境是已知的属于有限类的N个任意模型。该算法被证明是接近最优的，但O（N log^2 N）的时间步长具有很高的概率。无限类也被认为是我们表明，紧凑性是一个关键的标准，用于确定是否存在统一的样本复杂性界限。对于有限情形给出了匹配下界。
2013-08-22 cs.LG
QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning
Harvard University（哈佛大学）；Amazon Advertising（亚马逊广告）；Georgia Institute of Technology（佐治亚理工学院）；DeepMind（深度思维）；Google Research, Brain（谷歌研究院大脑团队）
深度强化学习在实现任务级自主性方面继续显示出巨大的潜力，然而，其计算和能量需求仍然非常高。在本文中，我们通过将量化应用于强化学习来解决这个问题。为此，我们引入了一种新的强化学习（RL）训练范式，\textit{ActorQ}，以加快演员-学习者分布式RL训练。\textit{ActorQ}利用8位量化参与者来加速数据汇集，而不影响学习收敛。我们的量化分布式RL训练系统\textit{ActorQ}展示了端到端的加速\blue{between 1.5 $\times$ and 5.41$\times$}，以及在一系列任务（Deepmind Control Suite）和不同RL算法（D4 PG，DQN）上的全精度训练的更快收敛。此外，我们比较了\textit{ActorQ}与标准强化学习\blue{algorithms}在各种任务上的碳排放量（二氧化碳的千克数）。在各种设置中，我们表明\textit{ActorQ}通过实现\blue{carbon emission improvements between 1.9$\times$ and 3.76$\times$}来实现更环保的强化学习，而不是在全精度中训练RL代理。我们相信，这是未来许多关于实现计算节能和可持续强化学习的工作中的第一个。源代码可在此处提供给公众用途：\url{https://github.com/harvard-ed…
2022-11-14 cs.AI cs.LG cs.RO
Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic Reinforcement Learning
针对智能体强化学习的奖励延迟稀疏问题，提出基于环境反馈的跨时间尺度信用分配方法EFCA，在ALFWorld和WebShop上提升了任务成功率与质量。
2026-08-11 cs.CL cs.LG
MULTIPOLAR: Multi-Source Policy Aggregation for Transfer Reinforcement Learning between Diverse Environmental Dynamics
OMRON SINIC X（欧姆龙SINIC X）；Technical University of Munich（慕尼黑工业大学）
迁移强化学习（RL）旨在通过利用在相关任务上训练的其他源代理的知识来提高代理的学习效率。然而，在无法进入源环境的情况下，在不同的环境动态之间转移知识仍然具有挑战性。在这项工作中，我们探索了一个新的挑战，在转移强化学习，只有一组源政策收集下不同的未知动态是有效地学习目标任务。为了解决这个问题，所提出的方法，多源策略聚集拒绝（MULTIPOLAR），包括两个关键技术。我们学习自适应地聚合源策略提供的操作，以最大化目标任务性能。同时，我们学习了一个辅助网络，该网络预测聚合动作周围的残差，即使在一些源策略表现不佳的情况下，也能确保目标策略的表达能力。我们通过在六个模拟环境中进行广泛的实验评估，从经典的控制问题到具有挑战性的机器人模拟，在连续和离散的动作空间下，证明了多极的有效性。演示视频和代码可以在项目网页上找到：https://omron-sinicx.github.io/multipolar/。
2020-12-10 cs.LG stat.ML
AACC: Asymmetric Actor-Critic in Contextual Reinforcement Learning
Artificial Intelligence Research Center DII（DII人工智能研究中心）
强化学习（RL）技术在许多具有挑战性的任务中受到了极大的关注，但当应用于现实世界的问题时，其性能急剧下降。已经提出了各种方法，如域随机化，通过在不同的环境设置下训练代理来处理这种情况，因此它们可以在部署过程中推广到不同的环境。然而，他们通常不包括潜在的环境因素的信息，代理人进行适当的互动，因此可能会过于保守，当面对周围环境的变化。在本文中，我们首先形式化的任务，适应不断变化的环境动态RL作为一个泛化问题，使用上下文马尔可夫决策过程（CMDPs）。然后，我们提出了非对称Actor-Critic在上下文RL（AACC）作为一个端到端的Actor-Critic方法来处理这样的泛化任务。我们证明了AACC的性能在一系列模拟环境中的实验超过现有基线的根本改善。
2022-08-03 cs.LG stat.ML
Deep Interactive Reinforcement Learning for Path Following of Autonomous Underwater Vehicle
Ocean University of China（中国海洋大学）
自主式水下机器人（AUV）在海洋探测中发挥着越来越重要的作用。现有的AUV通常不是完全自主的，并且通常限于预先规划或预先编程任务。强化学习和深度强化学习被引入到AUV的设计和研究中，以提高其自主性。然而，这些方法仍然很难直接应用于实际的AUV系统，因为稀疏的奖励和低的学习效率。结合深度强化学习和交互式强化学习的优点，提出了一种深度交互式强化学习方法用于水下机器人路径跟踪。此外，由于AUV在海洋中运行时，人类训练者无法提供人类奖励，而AUV需要适应不断变化的环境，因此我们进一步提出了一种同时从人类奖励和环境奖励中学习的深度强化学习方法。通过在Gazebo平台上的仿真，分别对AUV的直线跟踪和正弦曲线跟踪两种路径跟踪任务进行了验证。我们的实验结果表明，使用我们提出的深度交互式RL方法，AUV可以比仅从环境奖励的DQN学习器更快地收敛。此外，AUV从人类和环境奖励的深度RL学习也可以实现与深度交互式RL方法相似甚至更好的性能，并且可以通过进一步从环境奖励学习来适应实际环境。
2020-01-10 cs.AI cs.LG cs.RO
Intelligent Communication Planning for Constrained Environmental IoT Sensing with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Caltech（加州理工学院）；UMass-Amherst（马萨诸塞大学阿默斯特分校）
针对功率和带宽受限的物联网传感器通信规划问题，提出多智能体强化学习方法学习环境数据时空相关性以减少冗余报告，在未知带宽限制下有效平衡数据收集与预测精度。
2023-08-19 cs.LG cs.MA cs.SY
Sample-Efficient Robust Multi-Agent Reinforcement Learning in the Face of Environmental Uncertainty
California Institute of Technology（加州理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对多智能体环境不确定性下的鲁棒强化学习问题，提出基于生成模型非自适应采样的模型化算法DRNVI，并以信息论下界证明其近最优样本复杂度。
2024-05-09 cs.LG cs.MA stat.ML
Radio Resource Management and Path Planning in Intelligent Transportation Systems via Reinforcement Learning for Environmental Sustainability
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；Doha University for Science and Technology（多哈科技大学）；TU Braunschweig（布伦瑞克工业大学）；Institute of Communications Technology（通信技术研究所）
本文针对高密度网联车辆城市区域的交通问题，研究基于C-V2X的无线资源管理以最小化信息年龄，提升路径规划精度，仿真验证了该框架在缩短出行时间、优化通行效率方面的良好性能。
2024-05-13 cs.LG eess.SP
Environmental effects on emergent strategy in micro-scale multi-agent reinforcement learning
Institute for Computational Physics（计算物理研究所）；University of Stuttgart（斯图加特大学）；Universität Konstanz（康斯坦茨大学）
本文利用朗之万分子动力学模拟研究温度对微尺度多智能体强化学习策略涌现的影响，发现高温下智能体可发现新策略，并发布了配套Python软件包。
2023-09-22 cs.LG cs.RO physics.bio-ph
Experiential Reinforcement Learning
University of Southern California（南加州大学）；Microsoft（微软公司）；University of Pennsylvania（宾夕法尼亚大学）
经验强化学习通过显式经验-反思-巩固循环提升语言模型在稀疏奖励环境中的学习效率和性能。
2026-02-15 cs.AI cs.LG
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
On Representation Complexity of Model-based and Model-free Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
该研究从电路复杂度角度探究基于模型与无模型强化学习的表示复杂度，理论证明存在MDPs中环境模型易表示但最优Q函数复杂度极高，并通过Mujoco实验验证，为两类算法的样本复杂度差异提供了新解释。
2024-03-11 cs.LG
Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning
Amazon（亚马逊）；The Ohio State University（俄亥俄州立大学）；University of Wisconsin Whitewater（威斯康星大学怀特沃特分校）；Rochester Institute of Technology（罗切斯特理工学院）
针对多目标冲突的MORL问题，提出MOAC actor-critic算法，证明其在折扣与平均奖励设置下独立于目标数的有限时间收敛和样本复杂度，并通过真实数据集验证有效性。
2024-05-09 cs.LG
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
McMaster University（麦克马斯特大学）
研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。
2026-07-27 cs.LG
A Behavior-Aware Approach for Deep Reinforcement Learning in Non-stationary Environments without Known Change Points
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
针对非平稳环境下深度强化学习性能下降的问题，提出行为感知检测与适应（BADA）框架，利用Wasserstein距离检测环境变化并通过行为正则化适应新环境，实验证明其优于现有算法。
2024-05-23 cs.AI cs.LG
Online Antenna Tuning in Heterogeneous Cellular Networks with Deep Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们的目标是共同优化天线倾斜角，垂直和水平半功率波束宽度的宏蜂窝在异构蜂窝网络（HetNet）。细胞之间的相互作用，最明显的是由于它们的耦合干扰，使得这种优化非常复杂。利用单代理强化学习（RL）算法进行这种优化变得相当次优，尽管其可扩展性，而多代理RL算法产生更好的解决方案，在牺牲可扩展性。因此，我们提出了一个折衷的算法之间的这两个。具体而言，首先在离线阶段中利用多代理平均场RL算法，以便将信息作为第二（在线）阶段单代理RL算法的特征进行传递，该算法采用深度神经网络来学习用户位置。这种两步方法是实际部署的实用解决方案，它应该自动适应网络中的环境变化。我们的研究结果表明，该算法的性能接近多智能体RL，这需要数百万次试验，数百次在线试验，假设相对较低的环境动态，并表现得比单智能体RL好得多。此外，所提出的算法是紧凑的和可实现的，并根据经验似乎提供了性能保证，无论环境动态的量。
2019-06-17 cs.LG stat.ML
Stateful active facilitator: Coordination and Environmental Heterogeneity in Cooperative Multi-Agent Reinforcement Learning
Mila, Quebec AI institute（米拉魁北克人工智能研究所）；BITS, Pilani（皮拉尼贝拉技术科学学院）；TU Delft（代尔夫特理工大学）；MIT（麻省理工学院）；Google Research, Brain Team（谷歌研究大脑团队）；Deepmind（深度思维）
该研究针对协作多智能体强化学习中环境异质性与协调需求差异的问题，提出了可定量控制异质性和协调水平的HECOGrid环境套件，以及基于共享知识源和策略池动态选择的SAF方法，实验证明其性能优于IPPO、MAPPO基线。
2023-10-06 cs.AI cs.LG
Automatic re-calibration of quantum devices by reinforcement learning
Computer Vision Center (CVC)（计算机视觉中心）；Instituto de Física La Plata (IFLP)（拉普拉塔物理研究所）；CONICET（阿根廷科学与技术研究委员会）；Universidad Nacional de La Plata (UNLP)（拉普拉塔国立大学）；Departamento de Ciencias Básicas, Facultad de Ingeniería, Universidad Nacional de La Plata (UNLP)（拉普拉塔国立大学工程学院基础科学系）；Department of Computer Science, Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学计算机科学系）
针对量子器件因环境变化易失谐、建模与直接测量参数成本高的问题，本研究提出用强化学习构建无模型控制回路实现量子器件持续自动重校准，并验证了引入极简噪声模型的优势，已在相关量子通信协议模拟中应用。
2024-04-16 cs.LG quant-ph
Knowledgeable Agents by Offline Reinforcement Learning from Large Language Model Rollouts
Nanjing University（南京大学）
针对大语言模型与强化学习融合的语义鸿沟问题，提出KALM方法，通过微调LLM实现环境接地以生成虚构推演，经离线RL训练的智能体在未见目标任务上成功率显著优于基线。
2024-04-14 cs.AI cs.CL cs.LG
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning
Mila, McGill University（麦吉尔大学 Mila 研究院）；DeepMind
我们假设，经验性地研究离线强化学习（RL）的样本复杂度对于RL在现实世界中的实际应用至关重要。最近的几项工作已经证明了直接从离线数据中学习策略的能力。在这项工作中，我们问的问题的依赖于从离线数据学习的样本的数量。我们的目标是强调研究离线RL的样本复杂性是重要的，并且是现有离线算法的有用性的指标。提出了一种离线强化学习样本复杂度分析的评价方法。
2021-12-31 cs.AI cs.LG
Constrained Meta Reinforcement Learning with Provable Test-Time Safety
Sycamore Lab, EPFL, Lausanne, Switzerland（苏黎世联邦理工学院萨克森实验室，瑞士拉瓦尔）
提出一种约束元强化学习算法，在测试任务上以可证明的安全性和样本复杂度保证学习近似最优策略，并证明样本复杂度下界。
2026-05-26 cs.LG
Utility-Based Reinforcement Learning: Unifying Single-objective and Multi-objective Reinforcement Learning
Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Galway（高威大学）；Deakin University（迪肯大学）；Linköping University（林雪平大学）；Universidade do Vale do Rio dos Sinos（南里约 dos Sinos大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出将基于效用的范式从多目标强化学习扩展到单目标强化学习，以统一两者，并探讨其在多策略学习、风险感知、折扣和安全强化学习中的潜在益处及算法影响。
2024-02-05 cs.LG
Continual Reinforcement Learning in 3D Non-stationary Environments
University of Bologna（博洛尼亚大学）；University of Michigan（密歇根大学）；Purdue University（普渡大学）
高维时变环境对现有的强化学习技术提出了严峻的挑战。如今，人工智能体通常在模拟中的非常静态和受控的条件下进行离线训练，使得训练观察可以被认为是采样的i.i.d.。从整个观察空间。然而，在现实世界中，环境往往是非静止的，并且经常发生不可预测的变化。在本文中，我们提出并公开发布了CRLMaze，这是一个新的基准，用于在基于ViZDoom的复杂3D非静止任务中通过强化不断学习，并受到多种环境变化的影响。然后，我们引入了一种端到端的无模型连续强化学习策略，该策略在四个不同的基线上显示出有竞争力的结果，并且不需要访问任何额外的监督信号，以前遇到的环境条件或观察结果。
2020-04-21 cs.CV cs.LG stat.ML
Near-Optimal Sample Complexity in Reward-Free Kernel-Based Reinforcement Learning
University College London（伦敦大学学院）；MediaTek Research（联发科技研究）
本研究在奖励无关的基于核的强化学习框架下，用更简单的算法和更广泛的核函数，推导了新的置信区间，确定了近最优策略的样本复杂度，并验证了理论结果。
2025-09-11 cs.LG
Automatic Deduction Path Learning via Reinforcement Learning with Environmental Correction
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文提出一种基于环境校正的分层强化学习方法，自动学习最优扣款路径，降低人工设计成本并最大化成功扣款金额，已在全球最大电子支付业务中验证并部署。
2023-06-16 cs.AI cs.LG
Reinforcement Learning with a Disentangled Universal Value Function for Item Recommendation
NetEase Inc.（网易公司）；Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
近年来，将强化学习（RL）应用于推荐系统（RS）的研究引起了人们极大的兴趣，同时也带来了挑战。在本文中，我们总结了大规模的基于RL的推荐系统的三个关键的实际挑战：大规模的状态和动作空间，高方差的环境，和不具体的奖励设置在推荐。所有这些问题在现有的文献中仍然很大程度上未被探索，并使RL的应用具有挑战性。我们开发了一个基于模型的强化学习框架，称为GoalRec。受世界模型（基于模型）、价值函数估计（无模型）和基于目标的强化学习思想的启发，提出了一种用于项目推荐的通用价值函数.它可以推广到各种目标，推荐可能有，并解开随机环境动态和高方差奖励信号相应。作为价值函数的一部分，摆脱稀疏和高方差的奖励信号，训练出高容量的与奖励无关的世界模型，以模拟特定目标下的复杂环境动态。基于预测的环境动态，解纠缠的通用价值函数与用户的未来轨迹相关，而不是单一状态和标量奖励。我们证明了GoalRec在一系列模拟和实际应用中的上述三个实际挑战方面优于以前的方法。
2021-04-11 cs.IR cs.LG
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning
University of Tartu（塔尔图大学）
本研究探究深度强化学习智能体中类昼夜节律的涌现，发现其在觅食任务中会形成内源性可牵引的节律，无需重训练就能适应环境相位偏移，并从动力系统角度揭示了其神经元层面的适应机制。
2023-07-22 cs.AI cs.LG q-bio.NC
Distributionally Robust Constrained Reinforcement Learning under Strong Duality
Tsinghua University（清华大学）；California Institute of Technology（加州理工学院）
针对分布鲁棒约束强化学习缺乏端到端收敛保证算法的问题，提出基于强对偶的首个可证明高效的求解框架，揭示了该问题的固有结构并通过赛车基准实验验证有效性。
2024-06-22 cs.LG
Deep Reinforcement Learning for the Joint Control of Traffic Light Signaling and Vehicle Speed Advice
TU Dresden（德累斯顿工业大学）；Audi AG（奥迪股份公司）
本文首次提出用深度强化学习联合优化交通信号灯控制与车辆速度建议，在11个基准场景中的8个场景降低了平均行程延误，并通过平滑车辆速度曲线提升交通系统效能。
2023-09-18 cs.LG
Optimizing Nitrogen Management with Deep Reinforcement Learning and Crop Simulations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
氮素管理对于维持土壤肥力和作物生产至关重要，同时最大限度地减少负面环境影响，但优化具有挑战性。本文提出了一个智能氮管理系统，使用深度强化学习（RL）和作物模拟与农业技术转让决策支持系统（DSSAT）。我们首先将N管理问题表述为RL问题。然后，我们训练管理策略与深度Q网络和软演员评论家算法，以及Gym-DSSAT接口，允许模拟作物环境和RL代理之间的日常互动。根据在美国爱荷华州和佛罗里达州的玉米作物上的实验，我们的RL训练的政策通过在使用更少的肥料的情况下获得更高或相似的产量而优于先前的经验方法
2022-04-21 cs.LG
Sample Complexity of Multi-task Reinforcement Learning
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
在一系列重复学习任务中转移知识是一项挑战，并且有许多重要的应用。虽然有令人鼓舞的经验证据表明，迁移可以提高后续的重复学习任务的表现，但很少有理论分析。在本文中，我们介绍了一个新的多任务算法的一系列的重复学习任务时，每个任务的采样独立于（一个未知的）分布在一个有限的马尔可夫决策过程，其参数是最初未知的。对于这种设置，我们证明在某些假设下，每个任务的样本的复杂性的探索显着降低，由于转移相比，标准的单任务算法。我们的多任务算法还具有所需的特性，即保证不会出现负迁移：在最坏的情况下，其每个任务的样本复杂度与相应的单任务算法相当。
2013-09-26 cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Perturbational Complexity by Distribution Mismatch: A Systematic Analysis of Reinforcement Learning in Reproducing Kernel Hilbert Space
Princeton University（普林斯顿大学）；Flatiron Institute（熨斗研究所）
现有的强化学习（RL）理论分析大多局限于表格设置或线性模型，这是由于难以处理高维空间和不确定环境中的函数逼近问题。这项工作提供了一个新的视角到这一挑战，通过分析RL在一般的再生核希尔伯特空间（RKHS）。考虑一类Markov决策过程$\mathcal{M}$，其奖励函数位于RKHS的单位球内，转移概率位于给定的任意集合内.我们定义了一个称为扰动复杂度的量由分布失配$Δ_{\mathcal{M}}(ε)$来表征的复杂性，可容许的状态-动作分布空间中的RKHS与尺度$ε$的扰动。我们表明，$Δ_{\mathcal{M}}(ε)$给出了所有可能的算法的误差的下限和两个特定的算法（拟合奖励和拟合Q-迭代）的RL问题的上限。因此，$Δ_\mathcal{M}(ε)$相对于$ε$的衰减度量了RL问题在$\mathcal{M}$上的难度。我们还提供了一些具体的例子，并讨论了在这些例子中，$Δ_{\mathcal{M}}(ε)$是否衰减快。作为一个副产品，我们表明，当奖励函数位于一个高维RKHS，即使转移概率是已知的，行动空间是有限的，它仍然是可能的RL问题，从维数灾难。
2022-03-28 cs.LG
Robust Reinforcement Learning with Wasserstein Constraint
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Baidu Inc.（百度公司）
鲁棒强化学习的目标是找到对环境动态具有一定鲁棒性的最优策略。现有的学习算法通常通过扰动当前状态或模拟环境参数来实现鲁棒性，缺乏对系统动态特性（即转移概率）的量化鲁棒性。为了克服这个问题，我们利用Wasserstein距离来测量对参考转换核的干扰。利用Wasserstein距离，我们能够将过渡核扰动与状态扰动联系起来，即将无限维优化问题简化为有限维风险感知问题。通过导出的风险感知最优Bellman方程，证明了最优鲁棒策略的存在性，并对扰动进行了灵敏度分析，进而设计了一种新的鲁棒学习算法--Wasserstein鲁棒优势Actor-Critic算法（WRAAC）.在Cart-Pole环境下验证了算法的有效性。
2020-06-01 cs.LG stat.ML
Vessel-following model for inland waterways based on deep reinforcement learning
Technische Universität Dresden（德累斯顿工业大学）
虽然深度强化学习（RL）在过去几年中越来越多地应用于设计车辆跟驰模型，但本研究旨在研究基于RL的车辆跟驰在复杂车辆动力学和强环境干扰下的可行性。作为一个用例，我们开发了一个基于现实船舶动力学的内陆水道船舶跟踪模型，该模型考虑了环境影响，如流速和河流剖面的变化。我们从匿名AIS数据中提取自然船舶行为，以制定一个奖励函数，该函数反映了舒适和安全导航旁边的现实驾驶风格。针对高泛化能力，我们提出了一个RL训练环境，使用随机过程来模拟领先的轨迹和河流动态。为了验证训练好的模型，我们定义了在训练中没有看到的不同场景，包括在中莱茵河上的真实船只跟踪。我们的模型在所有场景下都表现出安全舒适的驾驶，证明了出色的泛化能力。此外，通过将训练好的模型部署在一系列后续船只上，可以有效地抑制交通振荡。
2022-07-07 cs.CE cs.LG
Reinforcement Learning with Low-Complexity Liquid State Machines
Purdue University（普渡大学）
我们在简单网络上提出了强化学习，该网络由尖峰神经元（递归和前馈）的随机连接组成，可以用很少的可训练参数学习复杂的任务。这种稀疏和随机互连的循环尖峰网络表现出高度非线性的动态，根据过去的上下文将输入转换为丰富的高维表示。随机输入表示可以由具有可训练参数的输出（或读出）层有效地解释。随机连接的系统初始化和使用Q-学习算法的读出层的训练使这种小的随机尖峰网络能够最佳地学习，并在像Atari游戏这样的复杂强化学习任务上实现与人类相同的学习效率。使用小型随机递归网络的基于尖峰的方法为具有多层可训练参数的最先进的深度强化学习网络提供了计算效率高的替代方案。低复杂度的尖峰网络可以提高事件驱动的神经形态硬件的能量效率，用于复杂的强化学习任务。
2019-06-04 cs.LG stat.ML
LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
Qiyuan Lab（启元实验室）
LERO框架结合LLM与进化优化，通过混合奖励和增强观测解决多智能体强化学习中的信用分配与部分可观测性问题，在MPE中提升任务性能和训练效率。
2025-03-25 cs.AI cs.LG cs.MA
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg，以缓解离线强化学习在小数据集上的过拟合问题，在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
AI2STOW: End-to-End Deep Reinforcement Learning to Construct Master Stowage Plans under Demand Uncertainty
IT University of Copenhagen（哥本哈根信息技术大学）
本文提出AI2STOW，一种结合可行性投影和动作掩码的端到端深度强化学习模型，用于在需求不确定性下求解集装箱船主积载计划问题，并在目标性能和计算效率上优于强化学习和随机规划基线方法。
2025-04-06 cs.AI cs.LG math.OC
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
The Sample Complexity of Teaching-by-Reinforcement on Q-Learning
UW Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
我们研究了教学的样本复杂性，在文献中被称为“教学维度”（TDim），为教学的强化范式，教师通过奖励指导学生。这与机器人应用所激发的演示教学范式不同，在这种范式中，教师通过提供状态/动作轨迹的演示来教学。强化教学范式适用于更广泛的现实世界的设置，演示是不方便的，但还没有被系统地研究。在本文中，我们专注于一个特定的家庭的强化学习算法，Q-学习，并在不同的教师与不同的控制权的环境下的TDim的特点，并提出匹配的最佳教学算法。我们的TDim结果提供了强化学习所需的最小样本数量，我们讨论了它们与标准PAC风格RL样本复杂性和演示教学样本复杂性结果的联系。我们的教学算法有可能加快RL代理学习的应用程序中，有一个有用的老师。
2021-03-08 cs.AI cs.LG stat.ML
On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（离线RL）考虑仅使用先前收集的样本执行学习的问题，并且对于收集新数据成本高或风险大的设置很有帮助。在基于模型的离线RL中，学习者使用根据经验转换频率构建的模型执行估计（或优化）。我们分析了样本复杂性香草模型为基础的离线RL与相关样本在无限时域折扣奖励设置。在我们的设置中，样本服从马尔可夫决策过程的动态，因此，可能具有相互依赖性。在没有独立样本的假设下，我们提供了一个高概率，多项式样本的复杂性约束香草模型为基础的关闭政策的评估，需要部分或均匀覆盖。我们将这一结果推广到一致覆盖下的非策略优化问题。作为基于模型的方法的比较，我们分析了香草重要性采样在无限时域设置的离政策评估的样本复杂性。最后，我们提供了一个估计，优于样本均值估计几乎确定性的动态，普遍存在于强化学习。
2023-03-07 cs.AI cs.LG
One-Shot Reinforcement Learning for Robot Navigation with Interactive Replay
QUT（昆士兰科技大学）；DeepMind
最近，无模型强化学习算法已被证明可以通过从与环境的广泛交互中学习来解决具有挑战性的问题。将这种成功转移到机器人领域的一个重要问题是，与现实世界的交互成本很高，但在有限经验的基础上进行训练容易过度拟合。我们提出了一种学习导航的方法，一个固定的目标，并在一个已知的环境中，在移动机器人。该机器人利用从环境的单次遍历构建的交互式世界模型，预训练的视觉特征编码器和随机环境增强，以展示在真实世界环境变化下成功的zero-shot传输而无需微调。
2017-11-29 cs.AI cs.LG cs.RO
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测，实验显示其行为稳定有效，凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO
Adapting Sampling Interval of Sensor Networks Using On-Line Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出基于强化学习的动态采样率适应方案，通过实时调整传感器采样间隔，以优化能耗并保持数据质量。
2016-07-12 cs.LG cs.NI cs.SY
Q-NAV: NAV Setting Method based on Reinforcement Learning in Underwater Wireless Networks
ChungBuk National University（忠北国立大学）
在水下资源搜寻、海洋考察、环境研究等方面对水下通信的需求日益增加，但由于水下环境的特点，无线通信存在许多问题。特别是在水下无线网络中，由于节点之间的距离，不可避免地会产生时延和空间不等性。针对这些问题，提出了一种基于ALOHA-Q的解决方案。建议的方法使用随机NAV值。环境通过沟通的成功或失败获得奖励。然后，环境从奖励中设置NAV值。该模型最大限度地减少了水下无线网络下的能量和计算资源的使用，并通过强化学习来学习和设置NAV值。仿真结果表明，NAV值具有环境适应性，可以根据环境选择最佳值，从而解决了不必要的延迟时间和空间不等性等问题。仿真结果表明，与原始导航相比，导航时间减少了17.5%.
2020-05-21 cs.LG eess.SP
Lifelong Incremental Reinforcement Learning with Online Bayesian Inference
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
一个长寿的强化学习（RL）代理的核心能力是随着环境的变化逐渐适应其行为，并逐渐建立在以前的经验，以促进未来的学习在现实世界的场景。在本文中，我们提出了终身增量强化学习（LLIRL），一个新的增量算法，有效的终身适应动态环境。我们开发和维护一个包含参数化环境模型的无限混合的库，这相当于在潜在空间中聚类环境参数。混合物上的先验分布被公式化为中国餐馆过程（CRP），该过程在没有任何外部信息的情况下增量地实例化新的环境模型以提前发出环境变化的信号。在终身学习过程中，我们采用期望最大化（EM）算法与在线贝叶斯推理，以完全增量的方式更新混合物。在EM中，E步骤涉及估计环境到集群分配的后验期望，而M步骤更新环境参数以供将来学习。该方法允许所有环境模型根据需要进行调整，其中新模型针对环境变化进行实例化，并且当再次遇到先前看到的环境时检索旧模型。实验表明，LLIRL优于相关的现有方法，并使有效的增量适应各种动态环境的终身学习。
2021-02-12 cs.AI cs.LG
Observed Adversaries in Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
在这项工作中，我们指出的问题，观察对手的深度政策。具体来说，最近的工作表明，深度强化学习容易受到对抗攻击的影响，其中观察到的对手在环境约束下采取行动，以调用自然但对抗的观察结果。这一设置与HRI特别相关，因为HRI相关的机器人预计将在其他智能体周围并与其他智能体一起执行任务。在这项工作中，我们证明了这种效应即使在低维观测中也会持续存在。我们进一步表明，这些对抗攻击转移受害者，这可能使恶意攻击者训练对手没有访问目标受害者。
2022-10-13 cs.HC cs.LG
