Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling
Tsinghua University（清华大学）；Pazhou Lab（琶洲实验室）
在离线强化学习中，加权回归是一种常见的方法，用于确保学习的策略接近行为策略，并防止选择样本外的动作。在这项工作中，我们表明，由于策略模型的分布表达能力有限，以前的方法在训练过程中仍然可能选择看不见的动作，这偏离了它们的初始动机。为了解决这个问题，我们采用了一种生成方法，将学习到的策略解耦为两个部分：一个表达性的生成行为模型和一个动作评估模型。关键的见解是，这种解耦避免了学习具有封闭形式表达式的显式参数化策略模型。直接学习行为策略使我们能够利用生成建模的现有进展，例如基于扩散的方法，来建模不同的行为。至于行动评估，我们结合我们的方法与样本内规划技术，以进一步避免选择样本外的行动，提高计算效率。在D4RL数据集上的实验结果表明，与最先进的离线RL方法相比，我们提出的方法具有竞争力或优越的性能，特别是在AntMaze等复杂任务中。我们还通过经验证明，我们的方法可以成功地从包含多个独特但同样成功的策略的异构数据集中学习，而以前的单峰策略失败了。
2023-02-28 cs.LG
Approximate Equivariance in Reinforcement Learning
Northeastern University（东北大学）；J.P.Morgan AI Research（摩根大通AI研究）
本研究提出强化学习中的近似等变算法，定义近似等变MDP，用松弛群和可转向卷积构建网络，在连续控制和股票交易中验证，性能优于精确等变网络且更鲁棒。
2025-04-22 cs.LG
Selecting Offline Reinforcement Learning Algorithms for Stochastic Network Control
本文为随机网络控制中的离线强化学习算法选择提供了指导，发现保守Q学习在不同随机性来源下表现更稳健，而序列方法在高回报轨迹充足时表现更优。
2026-03-04 cs.AI cs.LG cs.NI
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University（斯坦福大学）
我们提出了一个基于模型的离线强化学习策略性能下限，明确捕捉动态模型的误指定和分布失配，我们提出了一个经验算法的最佳离线策略选择。在理论上，我们通过建立对价值函数的悲观近似，证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略：只要动态模型可以准确地表示给定策略访问的状态-动作对的动态，就可以近似该特定策略的值。我们分析了我们的下限在LQR设置，也显示出竞争力的性能，以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
A Bayesian Sampling Approach to Exploration in Reinforcement Learning
Rutgers University（罗格斯大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个模块化的方法来强化学习，使用贝叶斯表示模型的不确定性。BOSS（Best of Sampled Set，最佳采样集）方法通过从后验中采样多个模型并乐观地选择行动来驱动探索。它扩展了以前的工作，提供了一个规则，决定何时重新采样和如何组合的模型。我们表明，我们的算法实现了接近最优的奖励，具有较高的概率与样本的复杂性，这是相对较低的后验分布在学习过程中收敛的速度。我们证明，BOSS表现相当有利相比，国家的最先进的学习方法，并说明其灵活性，它与一个非参数模型，概括跨国家配对。
2012-05-09 cs.LG
Approximated Behavioral Metric-based State Projection for Federated Reinforcement Learning
College of Artificial Intelligence, China University of Petroleum-Beijing（人工智能学院，中国石油大学（北京））；Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院）
针对联邦强化学习中的隐私与性能权衡问题，提出FedRAG框架，通过共享并聚合基于近似行为度量的状态投影函数，在不泄露任务敏感信息的同时提升各客户端学习效果。
2025-05-15 cs.LG
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Exploring Deep Reinforcement Learning-Assisted Federated Learning for Online Resource Allocation in Privacy-Persevering EdgeIoT
Real-Time and Embedded Computing Systems Research Centre (CISTER)（实时与嵌入式计算系统研究中心）；TU Delft（代尔夫特理工大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
联邦学习（FL）越来越多地被认为是在基于移动边缘计算的物联网（EdgeIoT）中保护数据训练隐私免受窃听攻击。一方面，FL的学习精度可以通过选择具有大数据集的物联网设备进行训练来提高，这会导致更高的能耗。另一方面，通过选择具有小数据集的IoT设备用于FL可以减少能耗，导致学习精度下降。在本文中，我们制定了一个新的资源分配问题的隐私保护的边缘物联网，以平衡FL的学习精度和物联网设备的能耗。我们提出了一个新的联邦学习启用双延迟深度确定性策略梯度（FL-DLT 3）框架，以实现连续域中的最佳精度和能量平衡。此外，在FL-DLT 3中利用长短期记忆（LSTM）来预测时变网络状态，而FL-DLT 3被训练来选择IoT设备并分配发射功率。数值结果表明，所提出的FL-DLT 3实现了快速收敛（小于100次迭代），而FL精度与能耗比相比，现有的国家的最先进的基准提高了51.8%。
2022-05-18 cs.LG
Reinforcement Learning based Dynamic Model Selection for Short-Term Load Forecasting
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
随着智能网格技术的日益普及，短期负荷预测（STLF）在电力系统运行中变得尤为重要。有大量的方法开发的STLF，但选择一个合适的方法在不同的条件下仍然是具有挑战性的。提出了一种基于强化学习的STLF动态模型选择方法。首先建立预测模型池，包括十个最先进的基于机器学习的预测模型。然后，Q学习代理根据模型性能学习为下一时间步选择最佳预测模型的最优策略。最优DMS策略被应用于在每个时间步选择最佳模型，并具有移动窗口。对两年负荷和气象数据的仿真结果表明，Q-学习算法收敛速度快，能有效地提高DMS的性能。与最先进的基于机器学习的STLF模型相比，开发的基于Q学习的DMS的STLF模型将预测精度提高了约50%。
2018-11-05 cs.AI cs.LG stat.ML
Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment
Beijing University of Posts and Telecommunications（北京邮电大学）
本文将LLM对齐表述为BIRL问题，提出AVA训练目标通过AVRIL进行对齐，直接建模单演示与中间奖励以提升信号利用率，在奖励建模、RL微调和直接优化上优于现有方法。
2024-11-14 cs.LG
Offline Reinforcement Learning as Anti-Exploration
University of Geneva（日内瓦大学）；Google Research（谷歌研究院）；Univ. Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）
离线强化学习（Offline Reinforcement Learning，RL）的目标是在不与系统交互的情况下，从固定的数据集学习最优控制。在这种情况下，代理应该避免选择无法从数据中预测其后果的行为。这与强化学习中的探索相反，强化学习更倾向于这种行为。因此，我们从基于奖金的探索文献中获得灵感，设计了一个新的离线RL代理。其核心思想是从奖励中减去基于预测的探索奖金，而不是增加探索奖金。这允许策略保持接近数据集的支持。我们将这种方法与对数据的学习策略的更常见的正则化联系起来。实例化的奖金的基础上的预测误差的变分自编码器，我们表明，我们的代理是竞争力与国家的最先进的一组连续控制运动和操纵任务。
2021-06-11 cs.LG
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Learning on One Mode: Addressing Multi-modality in Offline Reinforcement Learning
University of Warwick（华威大学）；The Alan Turing Institute（阿兰·图灵研究所）
针对离线强化学习中多模态动作分布导致现有单模态假设方法性能次优的问题，提出加权单模态模仿学习LOM，通过高斯混合模型选最优模态学习，在D4RL基准上表现更优。
2025-03-19 cs.LG
Deep Reinforcement Learning Based Navigation with Macro Actions and Topological Maps
Institute for Neural Computation, Faculty of Computer Science, Ruhr University Bochum, Germany（神经计算研究所，计算机科学学院，博德姆鲁尔大学）
本文提出了一种基于拓扑地图和宏观动作的深度强化学习导航方法，通过简化问题复杂度实现高效的样本学习。
2025-04-25 cs.LG
Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）；School of Science and Engineering, CUHK Shenzhen（香港中文大学（深圳）理工学院）；Computing & Mathematical Sciences Department, Caltech（加州理工学院计算与数学科学系）
针对强化学习中的维度灾难，提出将原始MDP近似分解为独立子MDP，据此开发了基于模型与无模型的算法并给出改进的样本复杂度保证，指数级降低了对状态-动作空间的依赖。
2024-11-12 cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
该论文综述深度强化学习中的有效奖励规范策略，分析奖励失配与学习低效等挑战，并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
Fairness in Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
我们开始研究强化学习中的公平性，其中学习算法的行为可能会影响其环境和未来的奖励。我们的公平性约束要求，如果选择后一个动作的长期（折扣）奖励更高，则算法永远不会偏好一个动作。第一个结果是否定的：尽管公平性与最优策略一致，但满足公平性的任何学习算法必须花费状态数量的时间指数，以实现对最优策略的非平凡近似。然后，我们提供了一个可证明公平的多项式时间算法下的近似公平的概念，从而建立一个指数差距之间的确切和近似公平
2017-08-06 cs.LG
Frugal Actor-Critic: Sample Efficient Off-Policy Deep Reinforcement Learning Using Unique Experiences
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
提出Frugal Actor-Critic方法，通过核密度估计器选择独特状态-奖励组合的经验加入回放池，在减小经验回放池规模的同时实现了更快的收敛或更好的奖励积累。
2024-02-05 cs.AI cs.LG cs.RO
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
A Review of Nine Physics Engines for Reinforcement Learning Research
Institute of Cognitive Science, Osnabrück University（奥斯纳布吕克大学认知科学研究所）
本文综述了Brax、MuJoCo等九个常用于强化学习的物理仿真引擎，基于流行度、功能、可用性等维度进行评估，发现MuJoCo性能领先而Unity易用但保真度不足，为研究者选择仿真工具提供了决策参考。
2024-08-23 cs.AI cs.LG cs.MA
Active Reinforcement Learning Strategies for Offline Policy Improvement
Indian Institute of Science（印度科学学院）
本文提出一种主动强化学习方法，通过重用离线数据并收集最少额外轨迹来扩充数据集，在多个连续控制环境中将在线交互需求最多降低75%。
2024-12-26 cs.LG
Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning
Oak Ridge National Laboratory（橡树岭国家实验室）
近年来，强化学习受到了极大的关注，这主要是由于深度强化学习在解决许多具有挑战性的任务（如下棋、围棋和在线计算机游戏）方面的成功。然而，随着对强化学习的关注越来越多，游戏和模拟环境之外的应用需要了解强化学习方法的鲁棒性，稳定性和弹性。为此，我们进行了全面的文献综述，以描述这三种行为的可用文献，因为它们与强化学习有关。我们对用于指示或测量鲁棒性、稳定性和弹性行为的定量和理论方法进行了分类。此外，我们确定了定量方法试图保持稳定、稳健或弹性的行动或事件。最后，我们提供了一个决策树有用的选择指标来量化的行为。我们认为，这是第一次针对强化学习的稳定性、鲁棒性和弹性进行全面审查。
2022-03-22 cs.AI cs.LG
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute（图灵研究所）；Université de Neuchâtel（纳沙泰尔大学）
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题，提出自适应环境设计框架，通过学习者主动选择环境与专家交互，在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University（汉阳大学）
针对离线强化学习中策略正则化角色耦合问题，提出角色自适应策略优化（RAPO），按价值学习与执行角色独立调整更新系数，在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Solving Continual Combinatorial Selection via Deep Reinforcement Learning
KAIST（韩国科学技术院）；King’s College London（伦敦国王学院）；Naver Corporation（Naver公司）
我们考虑马尔可夫决策过程（MDP）选择一个子集的项目在每一步，称为选择MDP（S-MDP）。S-MDP的大的状态和动作空间使得它们难以用典型的强化学习（RL）算法来解决，特别是当项目数量巨大时。在本文中，我们提出了一个深度RL算法来解决这个问题，采用以下关键思想。首先，我们将原始的S-MDP转换成迭代选择MDP（IS-MDP），这是等价于S-MDP的最优行动。IS-MDP将同时选择K个项目的联合动作分解为K个迭代选择，从而以指数级增加的状态为代价减少动作。其次，我们克服了这种状态空间爆炸，利用一种特殊的对称性IS-MDP与新的权重共享Q-网络，可证明保持足够的表达能力。各种实验表明，即使项目空间很大，我们的方法也能很好地工作，并且它可以扩展到项目空间与训练中使用的项目空间不同的环境。
2019-09-09 cs.AI cs.LG stat.ML
How Does an Approximate Model Help in Reinforcement Learning?
UCLA（加州大学洛杉矶分校）
在强化学习（RL）中保存样本的关键方法之一是使用来自近似模型（如其模拟器）的知识。然而，近似模型对学习真正未知模型的近似最优策略有多大帮助？尽管迁移强化学习有许多实证研究，但这个问题的答案仍然难以捉摸。在本文中，我们研究了RL的样本复杂性，同时提供了一个近似的环境模型。对于一个未知的马尔可夫决策过程（MDP），我们表明，近似模型可以有效地降低复杂性，消除次优行动的政策搜索空间。特别是，我们提供了一个算法，使用生成模型中的$\widetilde{O}(N/(1-γ)^3/\varepsilon^2)$样本来学习$\varepsilon$最优策略，其中$γ$是折扣因子，$N$是近似模型中接近最优的动作的数量。这可以比从头学习复杂度$\widetildeΘ(SA/(1-γ)^3/\varepsilon^2)$小得多，其中$S$和$A$分别是状态和动作空间的大小。我们还提供了一个下界，表明如果近似模型中的近优动作和次优动作之间的值差距足够大，则上述上界是近紧的。我们的研究结果提供了一个非常精确的表征，当没有对模型进行额外的假设时，近似模型如何帮助强化学习。
2020-07-13 cs.AI cs.LG stat.ML
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出了一种基于强化学习的鲁棒非线性模型预测控制（RL-RNMPC）框架，用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制（RNMPC），其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似，并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人（WMR）跟踪所需的轨迹，同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对上下文示例选择忽视依赖与顺序的问题，本文提出 RetICL，将顺序检索建模为马尔可夫决策过程并用强化学习训练检索器，在数学和科学任务上取得优于或持平基线的效果。
2024-04-16 cs.AI cs.CL cs.LG
Efficient model-based reinforcement learning for approximate online optimal
本文提出基于状态跟随核方法的在线近似最优控制策略，通过局部小邻域近似值函数实现稳定性和最优性的高效控制。
2015-02-09 cs.LG cs.SY eess.SY
Cut-and-Approximate: 3D Shape Reconstruction from Planar Cross-sections with Deep Reinforcement Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
目前的方法从一组平面截面的三维物体重建仍然难以捕捉详细的拓扑结构或需要相当数量的横截面。在本文中，我们提出，尽我们所知的第一个三维形状重建网络来解决这个任务，另外使用正交投影的形状。我们的方法基于应用强化学习算法来学习如何使用依赖于标量奖励的试错方案来有效地解析形状。该方法在每个步骤中切割3D形状的一部分，然后将其近似为多边形网格。代理的目标是最大化的奖励，这取决于表面重建的近似零件的精度。我们还考虑使用启发式方法生成的演示对网络进行预训练，以实现更快的学习。实验表明，我们的训练算法，受益于模仿学习和自我探索，学习有效的政策更快，这导致代理产生视觉上引人注目的结果。
2022-10-22 cs.CV cs.LG
Reinforcement Learning under Model Mismatch
Google（谷歌）；Georgia Institute of Technology（佐治亚理工学院）
我们研究了在模型错误指定下的强化学习，在这种情况下，我们无法访问真实环境，而只能合理地接近它。我们通过将鲁棒MDP的框架扩展到无模型强化学习设置来解决这个问题，在无模型强化学习设置中，我们无法访问模型参数，但只能从中采样状态。我们定义了鲁棒版本的Q学习，SARSA，和TD-学习，分别证明了其收敛于近似最优鲁棒策略和近似价值函数。我们通过函数逼近将鲁棒算法扩展到大型MDP，并在两种不同的设置下证明收敛性。我们证明了线性结构的鲁棒近似策略迭代和鲁棒近似值迭代的收敛性（在温和的假设下）。我们还定义了一个鲁棒损失函数，均方鲁棒投影贝尔曼误差，并给出了保证收敛到局部最小值的随机梯度下降算法。
2017-11-09 cs.LG stat.ML
Reinforcement Learning with Subspaces using Free Energy Paradigm
University of Tehran（德黑兰大学）
在大规模问题中，标准的强化学习算法存在学习速度慢的问题。在本文中，我们遵循的框架，使用子空间来解决这个问题。我们提出了一个自由能最小化框架来选择子空间，并将状态空间的策略整合到子空间中。我们提出的自由能最小化框架依赖于汤普森采样政策和行为政策的子空间和状态空间。因此，它适用于各种任务，离散或连续状态空间，无模型和基于模型的任务。通过一组实验，我们表明，这种通用框架大大提高了学习速度。我们还提供了一个收敛性证明。
2020-12-13 cs.IT cs.LG math.IT
Design Space Exploration of Approximate Computing Techniques with a Reinforcement Learning Approach
Politecnico di Torino（都灵理工大学）
本文提出基于强化学习的多目标设计空间探索策略，用于在近似计算中平衡精度损失与功耗及计算时间减少，实验显示良好权衡。
2023-12-29 cs.AR cs.LG cs.PF
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Stochastically Dominant Distributional Reinforcement Learning
Stevens Institute of Technology（斯蒂文斯理工学院）
我们描述了一种新的方法来管理任意的不确定性的强化学习（RL）的范例。而不是根据一个单一的统计量选择行动，我们提出了一种基于二阶随机优势（SSD）关系的分布方法。这比较了行动引起的随机回报的固有分散性，对环境的不确定性进行了更全面和更可靠的评估。SSD的必要条件要求估计器预测准确的二阶矩。为了适应这一点，我们将分布RL问题映射到Wasserstein梯度流，将分布Bellman残差视为势能泛函。我们提出了一个基于粒子的算法，我们证明了最优性和收敛性。我们的实验特征的算法性能和演示如何更好地平衡使用\textsc{ssd}政策比其他风险措施的不确定性和性能。
2020-10-07 cs.LG stat.ML
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
通过使用蒙特卡罗树搜索或模型预测控制，多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond}，多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中，我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难，软策略更新：即使在没有近似的情况下，相反的1步贪婪的情况下，单调的政策改善是不能保证的，除非更新步长足够大。特别关心这个困难，我们制定和分析在线和近似算法，使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
Common Information based Approximate State Representations in Multi-Agent Reinforcement Learning
University of Michigan（密歇根大学）
由于信息不对称，分散部分可观测马尔可夫决策过程（Dec-POMDP）的最优策略难以求解，其复杂度在时域长度上呈双指数增长.在多智能体强化学习（MARL）设置中，转移概率、观察核和奖励函数都是未知的，这一挑战大大增加。在这里，我们开发了一个通用的压缩框架，近似的公共和私人状态表示，在此基础上，分散的政策可以构建。我们推导出执行动态规划（DP）与近似状态的近似误差参数和剩余时间步长的最优性差距。当压缩是精确的（没有错误），产生的DP是相当于在现有的工作。我们的一般框架概括了文献中提出的一些方法。研究结果为在“集中式学习分布式执行”方案下设计实用的深度MARL网络结构提供了依据。
2021-10-25 cs.LG cs.MA math.OC
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
最近的平均场博弈（MFG）的形式主义，否则难以计算的近似纳什均衡在许多代理设置。在本文中，我们考虑离散时间有限MFG有限时域目标。我们发现，所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献，除非通过不动点迭代收敛。相反，我们将熵正则化和玻尔兹曼政策到不动点迭代。结果，我们获得了可证明的收敛到现有方法失败的近似不动点，并达到了近似纳什均衡的原始目标。所有提出的方法进行评估，就其可利用性，在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中，我们应用已建立的深度强化学习方法，并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Quantum Observables for continuous control of the Quantum Approximate Optimization Algorithm via Reinforcement Learning
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC））；Qilimanjaro Quantum Tech（奇利曼加罗量子科技公司）
我们提出了一个经典的控制机制，量子设备使用强化学习。我们的策略被应用到量子近似优化算法（QAOA），以优化的目标函数，编码的解决方案，一个硬的组合问题。该方法提供了量子设备的最佳控制，随后将QAOA重新表述为一个环境，在该环境中，自主经典代理进行交互并执行操作以获得更高的奖励。该公式允许混合经典-量子设备使用深度Q学习的连续公式根据先前的执行来训练自身，以控制QAOA的连续自由度。我们的方法选择性地使用量子测量来完成对代理可用的量子态的观察。我们运行的MAXCUT实例的大小N = 21获得最佳的结果，这种方法的测试。我们展示了如何使用这种提法来转移知识，从较短的培训插曲，以达到更长的执行QAOA提供更高的结果的制度。
2019-11-21 cs.LG quant-ph
Reinforcement Learning Algorithms: An Overview and Classification
Western University（韦仕敦大学）
使应用程序和机器更加智能的愿望以及在没有人类交互的情况下实现其操作的愿望一直在推动神经网络，深度学习和其他机器学习技术的创新。虽然强化学习主要用于视频游戏，但最近的进步和各种强大强化算法的发展使强化学习社区能够从玩视频游戏转向解决自动驾驶汽车，无人机和自动机器人等自动系统中的复杂现实问题。了解应用程序的环境和算法的局限性对于选择适当的强化学习算法以有效的方式成功解决手头的问题起着至关重要的作用。因此，在这项研究中，我们确定了三种主要的环境类型，并根据这些环境类型对强化学习算法进行分类。此外，在每个类别中，我们确定算法之间的关系。每个算法的概述提供了对算法基础的深入了解，并回顾了算法之间的相似性和差异。这项研究提供了一个视角，并帮助从业者和研究人员为他们的用例选择合适的算法。
2022-09-29 cs.AI cs.LG
Feature-Based Aggregation and Deep Reinforcement Learning: A Survey and Some New Implementations
在本文中，我们讨论了有限状态贴现马尔可夫决策问题的近似解的策略迭代方法，重点是基于特征的聚合方法及其与深度强化学习方案的联系。我们引入的原始问题的状态的功能，我们制定了一个较小的“聚合”马尔可夫决策问题，其状态相关的功能。我们讨论这种类型的聚合的属性和可能的实现，包括一种新的方法来近似的政策迭代。在该方法中，策略改进操作将基于特征的聚合与使用深度神经网络或其他计算的特征构造相结合。我们认为，与基于神经网络的强化学习提供的特征的线性函数相比，通过聚合提供的特征的非线性函数可以更准确地近似策略的成本函数，从而可能导致更有效的策略改进。
2018-08-21 cs.LG stat.ML
Energy-Aware Multi-Server Mobile Edge Computing: A Deep Reinforcement Learning Approach
Intel Corporation（英特尔公司）；University of Kansas（堪萨斯大学）
我们研究了移动边缘计算架构中的计算卸载问题，在该架构中，多个能量受限的用户通过共享无线介质竞争将其计算任务卸载到多个服务器。我们提出了一种多代理深度强化学习算法，其中每个服务器都配备了一个代理，观察其关联用户的状态，并在每一步选择最佳用户进行卸载。我们考虑计算时间（即，任务完成时间）和系统寿命作为两个关键的性能指标，我们数值上证明，我们的方法优于基线算法的计算时间和系统寿命之间的权衡。
2019-12-22 cs.IT cs.LG eess.SP
Fast Approximate Solutions using Reinforcement Learning for Dynamic Capacitated Vehicle Routing with Time Windows
TCS Research（塔塔咨询服务研究院）
本文开发了一种内在的并行化，快速，近似学习为基础的解决方案，通用类的能力限制车辆路径问题的时间窗口和动态路由（CVRP-TWDR）。考虑到车队中的车辆作为分散的代理，我们假设使用基于强化学习（RL）的适应是在动态环境中实时路线形成的关键使能因素。该方法允许每个代理（车辆）独立评估服务每个客户的价值，并使用集中式分配启发式算法，根据生成的值最终确定分配。我们表明，通过这种方法产生的解决方案是显着快于精确的配方和国家的最先进的元算法，而合理地接近最佳的解决方案的质量。我们描述的实验在静态的情况下（当所有的客户需求和时间窗口是已知的提前），以及动态的情况下（客户可以弹出在执行过程中的任何时间）。在大型分布外测试数据上使用单个训练模型的结果证明了所提出方法的可扩展性和灵活性。
2021-04-14 cs.AI cs.LG
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Can Mean Field Control (MFC) Approximate Cooperative Multi Agent Reinforcement Learning (MARL) with Non-Uniform Interaction?
Purdue University（普渡大学）
平均场控制（MFC）是解决多智能体强化学习（MARL）问题的有力工具。最近的研究表明，MFC可以很好地逼近MARL时，人口规模是大的，代理是可交换的。不幸的是，交换的假设意味着所有的代理人一致地相互作用，这在许多实际情况下是不正确的。在这篇文章中，我们放松了交换的假设和模型之间的互动代理商通过一个任意的双随机矩阵。因此，在我们的框架中，不同的代理人“看到”的平均场是不同的。我们证明了，如果每个代理的奖励是一个仿射函数的平均场看到该代理，那么可以近似这样一个非均匀的MARL问题通过其相关的MFC问题的误差$e=\mathcal{O}(\frac{1}{\sqrt{N}}[\sqrt{|\mathcal{X}|} + \sqrt{|\mathcal{U}|}])$其中$N$是人口规模和$|\mathcal{X}|$，$|\mathcal{U}|$是状态和动作空间的大小分别。最后，我们开发了一个自然策略梯度（NPG）算法，可以提供一个解决方案，非均匀的MARL的错误$\mathcal{O}(\max\{e,ε\})$和样本的复杂性$\mathcal{O}(ε^{-3})$的任何$ε>0$。
2022-06-01 cs.LG cs.MA
Reinforcement Learning with Elastic Time Steps
Polytechnique Montréal（蒙特利尔理工学院）
针对固定控制速率的传统强化学习效率低下的问题，提出采用弹性时间步动态调参的异策略演员-评论家算法MOSEAC，理论上保证收敛稳定，实验中在能效、任务效果及训练性能上均优于同类方法，适用于机器人等现实RL场景。
2024-08-11 cs.LG cs.RO
Approximate Inverse Reinforcement Learning from Vision-based Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们提出了一种方法，用于获得基于视觉的导航的隐式目标函数。所提出的方法依赖于模仿学习、模型预测控制（MPC）和深度神经网络中使用的解释技术。我们使用模仿学习作为进行逆强化学习的手段，以便为视觉导航挑战创建近似的成本函数生成器。由此产生的成本函数，costmap，用于与MPC的实时控制，并优于其他国家的最先进的costmap发电机在新的环境。所提出的过程允许简单的训练和对样本外数据的鲁棒性。我们将我们的方法应用于多个真实和模拟环境中基于视觉的自动驾驶任务，并展示了其通用性。
2021-04-08 cs.AI cs.CV cs.LG
A Lightweight Transmission Parameter Selection Scheme Using Reinforcement Learning for LoRaWAN
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）；National Institute of Information and Communication Technology (NICT)（信息通信研究机构（NICT））；The University of Tokyo（东京大学）；SOBIN Institute LLC（SOBIN研究所有限责任公司）
针对资源受限LoRaWAN设备的传输碰撞问题，提出仅依赖ACK信息、基于强化学习的轻量级联合信道与SF选择方案，并通过理论分析和真实LoRa实验验证其低开销与性能提升。
2022-08-03 cs.LG cs.SY eess.SY
The Role of Lookahead and Approximate Policy Evaluation in Reinforcement Learning with Linear Value Function Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）；Sandia National Laboratories（桑迪亚国家实验室）；c3.ai DTI
函数逼近被广泛用于强化学习中，以处理与非常大的状态空间相关联的计算困难。然而，函数逼近引入误差，这可能导致不稳定时，使用近似动态规划技术来获得最优策略。因此，在实践中采用前瞻策略改进和m步策略评估等技术来提高函数逼近的近似动态规划的性能。我们第一次定量地描述了前瞻和m步推出对具有函数近似的近似动态规划（DP）性能的影响：（i）在没有前视和m步展开的充分组合的情况下，近似DP可能不收敛，（ii）前视和m步展开都提高了近似DP的收敛速率，以及（iii）前视有助于减轻函数逼近和折扣因子对算法的渐近性能的影响。我们的结果是两个近似DP方法：一个使用最小二乘回归进行函数逼近，另一个在每次迭代中进行最小二乘目标的梯度下降的几个步骤。
2022-12-13 cs.AI cs.LG cs.SY
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University（弗吉尼亚共同体大学）；University of Virginia（弗吉尼亚大学）
研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Feature Selection Using Reinforcement Learning
University of Virginia（弗吉尼亚大学）
随着数据汇集成本的降低，可用于表征感兴趣的特定预测器的变量或特征的空间继续呈指数增长。因此，识别最具特征的特征，使方差最小化，而不损害我们模型的偏差，对于成功训练机器学习模型至关重要。此外，识别这些特征对于可解释性、预测准确性和最佳计算成本至关重要。虽然统计方法，如子集选择，收缩，降维已被应用在选择最佳的一组功能，在文献中的一些其他方法接近特征选择任务作为一个搜索问题，其中每个状态在搜索空间是一个可能的特征子集。在本文中，我们解决了使用强化学习特征选择问题。将状态空间表示为马尔可夫决策过程（MDP），使用时间差分（TD）算法选择最佳特征子集。使用鲁棒且低成本的分类器算法评估每个状态，该算法可以处理数据集中的任何非线性。
2021-01-23 cs.LG stat.ML
Approximate Subgraph Matching with Neural Graph Representations and Reinforcement Learning
IEEE Publication Technology Group（IEEE出版技术组）
本文提出基于强化学习的近似子图匹配算法，利用图变压器提取图表示并结合PPO优化策略，提升匹配效果与效率。
2026-03-18 cs.AI cs.LG
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan（密歇根大学）
探索-利用困境是强化学习（RL）的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而，完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金，这是一个功能的后验分布的环境，当添加到奖励计划与平均MDP，结果在一个代理，有效地探索。虽然我们的方法是类似于现有的方法，当给定一个无信息或非结构化的先验，与现有的方法不同，我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性，并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
