Generalized Second Order Value Iteration in Markov Decision Processes
Indian Institute of Science (IISc)（印度科学研究所）
价值迭代是一种不动点迭代技术，用于在折扣报酬马尔可夫决策过程（MDP）中获得最优的价值函数和策略。在这里，构造一个收缩算子，并反复应用，以达到最优解。值迭代是一阶方法，因此可能需要大量的迭代才能收敛到最优解。逐次松弛法是一种常用的求解不动点方程的方法。已有文献表明，在MDP的特殊结构下，逐次超松弛技术比标准值迭代法更快地计算最优价值函数。在这项工作中，我们提出了一个二阶值迭代程序，这是通过应用牛顿-拉夫森方法的逐次松弛值迭代格式。我们证明了算法的全局收敛性和二阶收敛性。通过实验，我们证明了我们所提出的方法的有效性。
2021-09-18 cs.LG stat.ML
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA（佛罗里达州立大学计算机科学系）
本文提出DARE框架，通过行为一致性实现样本级约束放松，解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战，改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Deep SOR Minimax Q-learning for Two-player Zero-sum Game
Department of Computer Science and Automation（计算机科学与自动化系）；Indian Institute of Science（印度科学研究院）
本文提出了一种深度SOR极小极大Q学习算法，用于解决双人零和游戏中的高维状态-动作空间问题，并证明了其有限时间收敛性。
2025-11-20 cs.LG
Coordinated Lane-Level Variable Speed Limits and Ramp Metering for Successive Weaving Segments Considering Merging/Diverging Risks: A Hybrid Model Predictive Control and Multi-Agent Reinforcement Learning Approach
Jilin University（吉林大学）；Southwest Jiaotong University（西南交通大学）
针对城市快速路连续交织路段，提出融合车道级宏观模型与MPC-MARL分层控制的混合框架，协调可变限速与匝道控制，降低合流/分流风险，实测验证其精度与泛化性优于现有方法。
2026-09-29 cs.LG math.OC
Optimizing Differentiable Relaxations of Coreference Evaluation Metrics
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
共指评价指标很难直接优化，因为它们是不可微函数，不容易分解成基本决策。因此，大多数方法优化的目标只是间接相关的最终目标，导致次优性能。相反，我们提出了一种可微的放松，适合于基于梯度的优化，从而绕过了对交叉熵的强化学习或启发式修改的需要。我们表明，通过修改竞争性神经共指系统的训练目标，我们获得了很大的性能增益。这表明我们的方法可以被视为使用强化学习或计算成本更高的模仿学习的可行替代方案。
2017-06-22 cs.AI cs.CL cs.LG
Deep reinforcement learning under signal temporal logic constraints using Lagrangian relaxation
Osaka University（大阪大学）；Graduate School of Engineering Science（工程科学研究生院）
深度强化学习（Deep Reinforcement Learning，DRL）作为一种在没有系统数学模型的情况下解决最优控制问题的方法，引起了广泛的关注。另一方面，在一般情况下，约束可以施加在最优控制问题上。在本研究中，我们考虑最优控制问题的约束，以完成时间控制任务。我们使用信号时序逻辑（STL），这是有用的时间敏感的控制任务，因为它可以指定连续的信号在有限的时间间隔内的约束。为了处理STL的约束，我们引入了一个扩展的约束马尔可夫决策过程（CMDP），这是一个$τ$ -CMDP。我们将STL约束最优控制问题表示为$τ$ -CMDP，并利用拉格朗日松弛法提出了一种两阶段约束DRL算法。通过仿真，我们也证明了所提出的算法的学习性能。
2022-11-19 cs.LG cs.SY eess.SY
Construction of Polar Codes with Reinforcement Learning
Stanford University（斯坦福大学）
本文将SCL解码器的极性码构造问题描述为一个迷宫穿越游戏，并利用强化学习技术进行求解。所提出的方法提供了一种新的技术，极化码的建设，不再依赖于排序和选择比特通道的可靠性。相反，该技术决定是否应以纯粹的顺序方式冻结输入位。在此技术下，优化SCL解码器的极化码构造和最大化穿越迷宫的期望奖励是等价的。仿真结果表明，标准的极化码结构，设计的连续消除解码器不再是最佳的SCL解码器的帧出错率。相比之下，模拟表明，通过合理的训练量，基于游戏的构造方法发现与标准构造相比，对于各种代码长度和解码器具有较低的帧出错率的代码构造。
2020-09-19 cs.IT cs.LG math.IT
Learning to Shoot in First Person Shooter Games by Stabilizing Actions and Clustering Rewards for Reinforcement Learning
College of Engineering & Informatics, National University of Ireland, Galway（爱尔兰国立大学戈尔韦工程与信息学院）
虽然强化学习（RL）已应用于回合制棋盘游戏多年，但涉及实时决策的更复杂游戏开始受到更多关注。在这种环境中的一个挑战是，决定采取行动和根据其结果获得奖励之间所经过的时间可能比连续决定之间的间隔更长。我们在现代第一人称射击游戏中的非玩家角色（NPC）的背景下探索这一点。这类游戏在3D环境中进行，玩家，无论是人类还是计算机控制，通过参与战斗和完成任务目标来竞争。我们研究了RL的使用，使NPC能够从游戏中收集经验，并根据对对手造成的伤害通过奖励信号随着时间的推移提高他们的射击技能。我们提出了一种新的RL更新和奖励计算方法，其中更新定期进行，每次射击结束后，使用一种新的加权奖励机制，它增加了奖励应用于导致在连续命中中破坏对手的行动，我们称之为“命中集群”。
2018-06-13 cs.AI
Momentum in Reinforcement Learning
Google Research（谷歌研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
我们将优化的动量概念应用于强化学习。将状态-作用价值函数看作是优化中梯度的模拟，我们将动量解释为连续$q$函数的平均值。我们推导出动量价值迭代（MoVI），这是价值迭代的一种变体，它包含了动量的概念。我们的分析表明，这使得MoVI可以在连续迭代中平均误差。我们表明，所提出的方法可以很容易地扩展到深度学习。具体来说，我们提出了一个简单的改进DQN基于MoVI，并在Atari游戏进行实验。
2020-03-31 cs.LG stat.ML
User-Interactive Offline Reinforcement Learning
Siemens Technology（西门子技术）；TU Munich（慕尼黑工业大学）
离线强化学习算法在实践中仍然缺乏信任，这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时，离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法，允许用户在运行时调整这个超参数，从而同时解决上述两个问题。这允许用户从原始行为开始，并连续授予更大的偏差，以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning
University of California, Irvine（加州大学尔湾分校）
强化学习算法可以在具有不同随机种子的训练运行之间显示出性能的强烈变化。在本文中，我们将探讨这如何影响超参数优化时，目标是找到超参数设置，以及在随机种子。特别是，我们基准是否是更好地探索大量的超参数设置，通过修剪表现不佳，或者如果它是更好的目标，通过使用重复收集的结果的质量。为此，我们考虑连续减半，随机搜索和贝叶斯优化算法，后两个有和没有重复。我们将这些应用于调整Cartpole平衡任务和倒立摆摆动任务上的PPO2算法。我们证明了修剪可能会对优化产生负面影响，并且重复采样无助于找到在随机种子中表现更好的超参数设置。从我们的实验中，我们得出结论，贝叶斯优化与噪声鲁棒采集功能是强化学习任务中的超参数优化的最佳选择。
2020-07-30 cs.AI cs.LG stat.ML
Contrastive Abstraction for Reinforcement Learning
LIT AI Lab（LIT人工智能实验室）；Ellis Unit Linz（林茨埃利斯单元）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文提出对比抽象学习方法，通过对比学习聚类状态表示并用现代Hopfield网络映射到抽象状态，从而在不依赖奖励的情况下提升强化学习在长轨迹任务中的效率。
2024-10-01 cs.AI cs.LG
Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
本文提出利用顺序性偏置，通过单次演示学习目标条件策略，并设计DCIL-II算法解决连续目标兼容性问题，以高样本效率完成人形机器人行走、站立及Cassie快速奔跑等复杂任务。
2023-04-17 cs.AI cs.RO
Oracle Inequalities for Model Selection in Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
在离线强化学习（RL）中，学习器利用先前记录的数据来学习好的策略，而无需与环境交互。在实践中应用这些方法的一个主要挑战是缺乏理论原则和实际工具来进行模式选择和评价。为了解决这个问题，我们研究了离线RL的模型选择问题与价值函数近似。学习者被赋予一个嵌套的模型类序列，以最小化平方贝尔曼误差，必须在这些模型类中进行选择，以实现类的近似和估计误差之间的平衡。我们提出了第一个离线RL模型选择算法，实现了极大极小速率最优的预言机不等式对数因子。该算法ModBE将候选模型类的集合和通用基础离线RL算法作为输入。通过使用一种新的单侧泛化测试连续消除模型类，ModBE返回一个具有遗憾缩放的策略，该策略具有最小完整模型类的复杂性。除了理论上的保证，它在概念上是简单的，计算效率高，相当于解决了一系列平方损失回归问题，然后比较类之间的相对平方损失。我们的结论与几个数值模拟表明，它是能够可靠地选择一个好的模型类。
2022-11-03 cs.AI cs.LG
Deep Reinforcement Learning-Based Approach for a Single Vehicle Persistent Surveillance Problem with Fuel Constraints
IISER, Bhopal（印度科学教育与研究学院博帕尔分校）；OpsLab Inc.（OpsLab公司）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文针对带燃料约束的单无人机持续监视问题，提出深度强化学习算法优化目标访问序列，以最小化任意目标相邻两次访问的最大间隔，并通过数值实验验证其优于贪心启发式方法。
2024-05-03 cs.AI cs.LG cs.RO
Sample-Efficient Deep Reinforcement Learning via Episodic Backward Update
KAIST（韩国科学技术院）
我们提出了Episodic Backward Update（EBU）-一种具有直接值传播的新型深度强化学习算法。与传统的使用均匀随机抽样的经验重放相比，我们的代理人对整个事件进行采样，并将状态的值连续传播到其先前的状态。我们的计算效率的递归算法允许稀疏和延迟的奖励直接传播通过采样集的所有过渡。我们从理论上证明了EBU方法的收敛性，并通过实验证明了它在确定性和随机环境中的性能。特别是在Atari 2600域的49个游戏中，EBU分别仅使用5%和10%的样本就实现了与DQN相同的平均和中值人类归一化性能。
2019-11-12 cs.LG stat.ML
Finite Sample Analysis of Two-Timescale Stochastic Approximation with Applications to Reinforcement Learning
Technion（以色列理工学院）；Yahoo Research（雅虎研究院）；Duke University（杜克大学）
双时标随机逼近算法在强化学习中有着广泛的应用。它们的迭代有两个部分，使用不同的步长进行更新。在这项工作中，我们开发了一种新的配方，他们的有限样品分析。使用这个，我们提供了一个浓度范围，这是第一个这样的结果为两个时标SA。我们得到的界限类型被称为“锁定概率”。我们还介绍了一种新的投影方案，其中连续投影之间的时间呈指数增长。该方案允许一个优雅的锁定概率转换为收敛速度的结果，预计两个时标SA。从后一个结果中，我们提取了步长选择的关键见解。作为一个应用，我们最终获得了投影两时标RL算法GTD（0），GTD 2和TDC的收敛速度。
2018-06-04 cs.AI
Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors
University of Toronto（多伦多大学）
本文探讨了时差误差的两种解释在深度强化学习中的差异，指出非线性架构可能导致两者数值不同，影响算法性能。
2026-03-23 cs.AI cs.LG
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
Joint Resource Management for MC-NOMA: A Deep Reinforcement Learning Approach
Beijing University of Posts and Telecommunications（北京邮电大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（澳大利亚联邦科学与工业研究组织）；University of Technology Sydney（悉尼科技大学）
提出了一种基于深度强化学习（DRL）的联合资源管理（JRM）新方法，该方法在实际多载波非正交多址接入（MC-NOMA）系统中解决了硬件敏感性和不完美连续干扰消除（SIC）问题。我们首先制定的JRM问题，以最大限度地提高加权和系统的吞吐量。然后，JRM问题被解耦为两个迭代子任务：子载波分配（SA，包括用户分组）和功率分配（PA）。每个子任务都是一个连续的决策过程。基于DRL的JRM（DRL-JRM）方法采用深度确定性策略梯度算法，通过一种新的联合奖励机制和内部奖励机制来解决子任务的优化目标和约束条件。采用多智能体结构和卷积神经网络降低PA子任务的复杂度。我们还调整了神经网络结构的稳定性和收敛性的DRL JRM。通过大量的实验证实，所提出的DRL-JRM方案在系统吞吐量和抗干扰性方面优于现有的替代方案，特别是在存在许多用户和强小区间干扰的情况下。DRL-JRM可以灵活地满足用户个性化的业务需求。
2021-03-29 cs.AI cs.LG
Locally Constrained Representations in Reinforcement Learning
McGill University（麦吉尔大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Dell Technologies, Research Office（戴尔科技公司研究办公室）；École de technologie supérieure（高等技术学院）；CIFAR AI Chair（加拿大高级研究所人工智能讲席）
提出局部约束表示方法，通过辅助损失使状态表示可由相邻状态预测，防止过度拟合价值损失，在连续控制任务中显著提升性能。
2024-02-09 cs.AI cs.LG
DiPRL: Learning Discrete Programmatic Policies via Architecture Entropy Regularization
Eindhoven University of Technology（埃因霍温理工大学）；Centrum Wiskunde & Informatica（数学与信息学研究中心）
本文提出DiPRL，一种通过架构熵正则化学习可解释程序性策略的方法，以避免事后细化阶段，提高策略表达性和任务性能。
2026-05-18 cs.AI cs.LG
Learning to Correct: Calibrated Reinforcement Learning for Multi-Attempt Chain-of-Thought
University of Michigan, Ann Arbor（密歇根大学，安娜堡）；Google Research（谷歌研究院）
本文提出Calibrated Attempt-Level (CAL) GRPO方法，通过校准每尝试的权重来提升多尝试链式推理的校准效果，实验证明其在合成和真实数据中优于传统GRPO和简单加权方法。
2026-04-20 cs.AI cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich（慕尼黑工业大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）；King's College London（伦敦国王学院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题，本文提出SCPO算法，用安全评判器取消违规所得奖励，并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
Improving Optimization Bounds using Machine Learning: Decision Diagrams meet Deep Reinforcement Learning
Ecole Polytechnique de Montréal（蒙特利尔综合理工学院）；Element AI；Ecole Polytechnique（巴黎综合理工学院）；University of Connecticut（康涅狄格大学）
寻找最优解的紧界是离散优化问题的实用求解方法的关键要素。在过去的十年中，决策图（DD）带来了一个新的视角来获得上界和下界，可以显着优于经典的边界机制，如线性松弛。众所周知，通过这种灵活的边界方法实现的边界的质量高度依赖于为构建图而选择的变量的排序，并且找到优化标准度量的排序是NP难问题。在本文中，我们提出了一种基于深度强化学习的创新和通用方法，用于获得用于收紧用放松和限制DD获得的边界的排序。我们将这种方法应用于最大独立集问题和最大割问题。对合成实例的实验结果表明，当实例的分布已知时，通过实现更严格的目标函数界限，深度强化学习方法通常优于文献中常用的排序方法。据作者所知，这是第一篇应用机器学习来直接改进组合优化问题的通用边界机制所获得的松弛边界的论文。
2019-02-27 cs.AI
Generalized Speedy Q-learning
Indian Institute of Science（印度科学学院）
在本文中，我们推导出一个推广的快速Q学习（SQL）算法，提出了在强化学习（RL）文献中处理沃特金斯的Q学习的缓慢收敛。在大多数RL算法中，如Q学习，Bellman方程和Bellman算子起着重要的作用。使用逐次松弛技术可以推广贝尔曼算子。我们使用广义Bellman算子推导出一个简单而有效的算法族，称为广义快速Q学习（GSQL-w），并分析其有限时间性能。我们表明，GSQL-w有一个改进的有限时间性能界相比，SQL的情况下，松弛参数w大于1。这种改进是广义Bellman算子的收缩因子小于标准Bellman算子的收缩因子的结果。数值实验证明了GSQL-w算法的经验性能。
2020-02-13 cs.AI cs.LG
FutureWorld: A Live Reinforcement Learning Environment for Predictive Agents with Real-World Outcome Rewards
College of Software, Nankai University（南开大学软件学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；IIIS, Tsinghua University（清华大学智能系统与信息工程研究院）；Zhongguancun Academy, Beijing, China（北京中关村学院）
本文提出FutureWorld，一个实时强化学习环境，通过闭环预测、结果实现与参数更新，提升预测准确性与校准能力。
2026-05-15 cs.AI cs.LG
Trapezoidal Gradient Descent for Effective Reinforcement Learning in Spiking Networks
Xidian University（西安电子科技大学）
针对现有脉冲网络强化学习算法用矩形函数近似导致灵敏度低的问题，提出梯形近似梯度法，在保留稳定学习状态的同时提升适应性与灵敏度，实验验证其收敛速度、性能和稳定性更优。
2024-06-19 cs.AI
MIX-MAB: Reinforcement Learning-based Resource Allocation Algorithm for LoRaWAN
Amirkabir University of Technology（阿米拉比尔理工大学）；Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学）
本文主要从分组投递率（PDR）的角度对资源分配算法进行改进，远程广域网（LoRaWAN）中终端设备（ED）发送的成功接收数据包的数量。设置传输参数会显著影响PDR。采用强化学习（RL），我们提出了一个资源分配算法，使ED配置他们的传输参数以分布式的方式。我们的资源分配问题建模为多臂强盗（MAB），然后解决它提出了一个两阶段的算法名为混合MAB，它包括指数权重的勘探和开发（EXP 3）和连续消除（SE）算法。我们通过仿真结果评估了MIX-MAB的性能，并将其与其他现有方法进行了比较。数值结果表明，该方法在收敛时间和PDR方面都优于已有的方法。
2022-06-07 cs.AI cs.NI
A Generalized Minimax Q-learning Algorithm for Two-Player Zero-Sum Stochastic Games
Indian Institute of Science（印度科学学院）
我们考虑两人零和博弈问题。这个问题在文献中被表述为最小-最大马尔可夫博弈。这个博弈的解，也就是最小-最大收益，从一个给定的状态开始，被称为状态的最小-最大值。在这项工作中，我们计算的解决方案的两个球员零和游戏利用连续松弛的技术，已成功地应用在文献中计算一个更快的值迭代算法的背景下，马尔可夫决策过程。我们将连续松弛的概念推广到两人零和博弈的情形。我们表明，在一个特殊的结构上的游戏，这种技术有利于更快的计算的最小最大值的状态。然后，我们推导出一个广义极大极小Q-学习算法，计算最优策略时，模型信息是未知的。最后，我们证明了所提出的广义极大极小Q-学习算法利用随机逼近技术的收敛性，在假设的有界迭代。通过实验验证了该算法的有效性。
2022-03-18 cs.GT cs.LG stat.ML
Curriculum-based Deep Reinforcement Learning for Quantum Control
University of New South Wales（新南威尔士大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）；Nanjing University（南京大学）
深度强化学习被认为是一种有效的技术，可以在没有控制环境先验知识的情况下为不同的复杂系统设计最优策略。为了实现对量子系统的快速精确控制，我们提出了一种新的深度强化学习方法，通过构建由一组由保真度阈值定义的中间任务组成的课程。课程中的任务可以使用经验知识静态确定，也可以随着学习过程自适应地生成。通过在两个连续的任务之间转移知识并根据任务的难度对任务进行排序，所提出的基于神经网络的深度强化学习（CDRL）方法使智能体能够在早期阶段专注于简单的任务，然后转向困难的任务，并最终接近最终任务。对封闭量子系统和开放量子系统的数值仿真表明，该方法不仅提高了量子系统的控制性能，而且为用较少的控制脉冲确定最优策略提供了一种有效的方法.
2021-01-02 cs.LG cs.SY eess.SY
The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文针对联邦多智能体强化学习中的通信开销与环境异质性问题，提出基于衰减和基于共识的两种SGD优化方案，并给出收敛保证与仿真验证。
2023-05-29 cs.AI cs.LG cs.MA
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab（腾讯人工智能实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
大多数现有的深度强化学习（DRL）框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发，我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间，以前的工作要么近似的混合空间离散化，或放松到一个连续的集合。在本文中，我们提出了一个参数化的深度Q网络（P-DQN）框架的混合行动空间没有近似或松弛。该算法结合了DQN（处理离散动作空间）和DDPG（处理连续动作空间）的思想，将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Learning to Run challenge solutions: Adapting reinforcement learning methods for neuromusculoskeletal environments
在NIPS 2017年学习跑步挑战赛中，参与者的任务是为肌肉骨骼模型构建一个控制器，使其在障碍赛中尽可能快地奔跑。顶级参与者被邀请描述他们的算法。在这项工作中，我们提出了八种使用深度强化学习方法的解决方案，这些方法基于深度确定性策略梯度、近端策略优化和信任域策略优化等算法。许多解决方案使用类似的放松和策略，例如奖励塑造、跳帧、动作空间的离散化、对称性和策略混合。然而，八个团队中的每一个都对已知算法进行了不同的修改。
2018-04-02 cs.AI cs.LG stat.ML
SVGym (SciVerseGym): An Environment for Reinforcement Learning and Bayesian Optimization in Crystal Discovery
Bin Cao（包超）
提出一个兼容Gymnasium的晶体发现环境SciVerseGym，将晶体设计建模为马尔可夫决策过程，支持局部和全局编辑操作，为强化学习、贝叶斯优化等提供可复现的测试平台。
2026-06-23 cond-mat.mtrl-sci cs.AI
Deep Reinforcement Learning Powered IRS-Assisted Downlink NOMA
Qatar University（卡塔尔大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Politecnico di Torino（都灵理工大学）
在这项工作中，我们研究了一个智能反射面（IRS）辅助下行链路非正交多址接入（NOMA）的情况下，以最大限度地提高用户的总速率。IRS的优化问题是相当复杂的，并且是非凸的，因为它需要相移反射矩阵的调谐。由于能够解决非凸优化问题的深度强化学习（DRL）技术的不断部署，我们采用DRL来预测和优化IRS相移矩阵。仿真结果表明，IRS辅助NOMA的基础上，我们利用的DRL方案实现了较高的和速率相比，基于OMA的，随着发射功率的增加，服务更多的用户的能力增加。此外，结果表明，不完美的连续干扰消除（SIC）对执行SIC的用户的数据率具有有害影响。当缺陷增加10倍时，比率降低10%以上。
2021-04-03 cs.IT cs.LG math.IT
A Geometric Perspective on Optimal Representations for Reinforcement Learning
Google Brain（谷歌大脑）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）
基于价值函数空间的几何性质，提出了一种新的强化学习表示学习方法。我们利用这个角度来提供正式的证据，价值函数作为辅助任务的有用性。我们的配方考虑适应的代表性，以尽量减少（线性）近似的价值函数的所有固定的政策，为一个给定的环境。我们表明，这种优化减少到作出准确的预测，一类特殊的价值函数，我们称之为对抗性价值函数（AVF）。我们证明了使用价值函数作为辅助任务对应于我们的公式的预期误差松弛，AVF是一个自然的候选者，并确定了与原始价值函数的密切关系（Mahadevan，2005）。我们突出AVFs的特点和它们的有用性作为辅助任务在一系列的实验上的四个房间的域。
2019-06-26 cs.AI cs.LG stat.ML
Enhancing Personalized Bladder Cancer Treatment Through Reinforcement Learning: A Recurrent Patient State Transition Decision Support Framework
研究针对膀胱癌复发性疾病治疗需个性化决策的问题，提出集成预测状态转换建模、马尔可夫决策过程和深度Q网络强化学习环境的框架，能动态制定治疗计划，经评估效果良好，凸显其作为个性化膀胱癌治疗规划决策支持框架的潜力。
2026-07-21 cs.LG
Evolving Constrained Reinforcement Learning Policy
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）
针对约束强化学习中回报与约束违反难以平衡的问题，提出 ECRL 算法，结合随机排序与带约束缓冲区的 Lagrange 系数维护，在机器人控制基准上性能优于现有方法。
2023-04-19 cs.AI cs.LG cs.NE
Multi Type Mean Field Reinforcement Learning
University of Waterloo（滑铁卢大学）；Borealis AI
平均场理论提供了一种有效的方法来扩展多智能体强化学习算法的环境与许多代理，可以抽象的虚拟平均代理。在本文中，我们将平均场多智能体算法扩展到多种类型。这些类型可以放松平均场强化学习中的一个核心假设，即环境中的所有智能体都在使用几乎相似的策略，并且具有相同的目标。我们进行了三个不同的测试平台上的许多代理强化学习领域的实验，基于标准的MATRIX框架。我们考虑两种不同类型的平均场环境：a）代理属于先验已知的预定义类型的游戏和b）每个代理的类型未知的游戏，因此必须根据观察来学习。我们为每种类型的游戏引入新的算法，并证明其优越的性能超过最先进的算法，假设所有代理属于同一类型和其他基线算法的MAgent框架。
2022-06-21 cs.AI cs.LG cs.MA
The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对联邦强化学习中PPO因数据异质性导致评论家发散的问题，本文提出反转演员-评论家更新顺序的FedRAC算法，理论证明其收敛界不受异质性影响，并在多个环境中验证了更高的累积奖励和更快的收敛速度。
2025-06-02 cs.LG
Graph Convolutional Policy for Solving Tree Decomposition via Reinforcement Learning Heuristics
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一个基于强化学习的方法来近似解决树分解（TD）问题。TD是一个组合问题，它是分析图的次结构和计算复杂性的核心，也是概率推理、寄存器分配和其他实际任务算法的核心。最近，它已被证明，组合问题可以成功地解决学习算法。然而，大多数现有的作品不解决的问题，基于学习的解决方案的泛化。我们的模型是基于图卷积神经网络（GCN）的学习图形表示。我们表明，智能体构建在GCN上，并使用Actor-Critic方法在单个图上进行训练，可以有效地推广到现实世界的TD问题实例。我们确定，我们的方法成功地推广从小图，TD可以找到精确的算法，大的实际利益的情况下，同时仍然具有非常低的时间解决方案。另一方面，基于代理的方法通过解决方案的质量超越了所有贪婪算法。
2020-02-20 cs.LG stat.ML
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Learning to Solve Soft-Constrained Vehicle Routing Problems with Lagrangian Relaxation
Huawei Technologies Co., Ltd.（华为技术有限公司）
现实应用中的车辆路径问题（VRP）往往存在各种约束条件，因此给精确求解方法或启发式搜索方法带来了额外的计算挑战。最近的想法，学习启发式移动模式从样本数据已经变得越来越有前途，以减少解决方案的开发成本。然而，使用基于学习的方法来解决更多类型的约束VRP仍然是一个挑战。难点在于在寻找最优解的同时控制约束违反。为了克服这一挑战，我们提出了一个基于强化学习的方法来解决软约束VRP结合拉格朗日松弛技术和使用约束策略优化。我们将该方法应用于三种常见类型的VRP：带时间窗的旅行推销员问题（TSPTW）、容量限制VRP（CVRP）和带时间窗的容量限制VRP（CVRPTW），以表明所提出的方法的普遍性。在与现有的基于RL的方法和开源启发式求解器进行比较后，我们展示了其在寻找解决方案方面的竞争力，在行程距离，约束违反和推理速度方面具有良好的平衡。
2022-07-29 cs.AI cs.LG cs.SY
Safe Policies for Reinforcement Learning via Primal-Dual Methods
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们研究了安全策略的学习在强化学习问题的设置。这是，我们的目标是控制一个马尔可夫决策过程（MDP），我们不知道的转移概率，但我们有机会通过经验的样本轨迹。我们将安全性定义为在操作时间内代理以高概率保持在期望的安全集中。因此，我们考虑一个受约束的MDP的约束是概率。由于在强化学习框架中没有直接的方法来优化策略的概率约束，我们提出了一个遍历放松的问题。建议放宽的优点有三方面。(i)在执行偶发任务的情况下维持安全保障，在执行连续任务的情况下，安全保障保持在给定的时间范围内。(ii)约束优化问题尽管是非凸的，但如果策略的参数化足够丰富，则它具有任意小的对偶间隙。(iii)与安全学习问题相关联的拉格朗日函数的梯度可以使用标准策略梯度结果和随机近似工具来容易地计算。利用这些优势，我们建立了原始对偶算法能够找到安全和最优的策略。我们在一个连续域的导航任务中测试所提出的方法。数值结果表明，我们的算法是能够动态地适应环境和所需的安全级别的政策。
2022-01-12 cs.LG cs.SY eess.SY
Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning
University of Kentucky（肯塔基大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对具身强化学习分布式训练，提出TRACE时间梯度反演攻击，利用跨时间相关性与闭式动作恢复，自回归重建私有轨迹，实现高PSNR与近完美动作恢复，且速度远超基线。
2026-09-25 cs.LG
Non-orthogonal Age-Optimal Information Dissemination in Vehicular Networks: A Meta Multi-Objective Reinforcement Learning Approach
York University（约克大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；University of the Fraser Valley（弗雷泽河谷大学）
本文研究车载网络中最小化信息年龄与功耗的非正交信息传输问题，提出两阶段元多目标强化学习方法，利用混合DQN-DDPG模型估计高质量帕累托前沿，显著减少训练时间。
2024-02-15 cs.LG
Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality
Princeton University（普林斯顿大学）
我们开发了一种基于深度神经网络的参数化原始-对偶$π$学习方法，用于具有大状态空间和离线强化学习的马尔可夫决策过程。与基于非线性Bellman方程的逐次逼近的流行Q学习和演员-评论家方法相比，我们的方法利用基本的线性Bellman对偶对策略和价值函数进行原始-对偶更新。使用深度神经网络的原始-对偶$π$学习方法的朴素参数化将遇到两个主要挑战：（1）每次更新都需要计算状态空间上的概率分布，并且是难以处理的;（2）迭代是不稳定的，因为参数化的拉格朗日函数不再是线性的。我们解决这些挑战，提出了一个放松的拉格朗日公式与正则化惩罚使用的优势函数。我们表明，在我们的方法中的双策略更新步骤是等价的策略梯度更新的行动者-批评者的方法在某些特殊情况下，而价值的更新有很大的不同。原始-对偶$π$学习方法的主要优点在于使用Bellman对偶将值和策略更新紧密耦合在一起，因此信息量更大。一个简单的推车极点问题的实验表明，该算法显着优于一步的时间差actor-critic方法，这是最相关的基准方法进行比较。我们相信，对价值和政策函数的原始-对偶更新将加快学习过程。所提出的方法可能为更有效的算法和更清晰的理论分析打开一扇大门。
2017-12-07 cs.LG
DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
分析深度神经网络对输入扰动的最坏情况性能相当于解决一个大规模的非凸优化问题，对于这个问题，过去的一些工作已经提出了凸松弛作为一个有前途的替代方案。然而，即使对于合理大小的神经网络，这些松弛也是不容易处理的，因此在实践中必须用更弱的松弛来代替。在这项工作中，我们提出了一种新的算子分裂方法，可以直接解决一个凸松弛的问题，以高精度，通过分裂成较小的子问题，往往有解析解。该方法是模块化的，可扩展到非常大的问题实例，并妥协的操作，是经得起快速并行与GPU加速。我们展示了我们的方法在图像分类和强化学习设置中限制大型卷积网络的最坏情况性能，以及神经网络动态系统的可达性分析。
2022-07-08 cs.LG
Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对深度强化学习智能体的黑箱特性导致难以对齐与修正的问题，提出集成连续概念瓶颈层、可表示对象间关系的SCoBots，在保持性能的同时提升可解释性，还发现并解决了Pong游戏中未知的错位问题，实现更符合人类要求的智能体对齐。
2024-10-28 cs.LG cs.SC
Reinforcement Learning for Nested Polar Code Construction
Huawei Technologies（华为技术有限公司）
在本文中，我们将嵌套极化码构造建模为马尔可夫决策过程（MDP），并使用高级强化学习（RL）技术解决它。首先，在极化编码的上下文中定义具有状态、动作和奖励的MDP环境。具体地，状态表示$(N,K)$极化码的构造，动作指定其减少到$(N,K-1)$子码，并且奖励是解码性能。提出了一种由策略网络和价值网络组成的神经网络结构，以最大化总体回报为目标，根据观察到的状态生成行动。定义了一个损失函数来权衡开采和勘探。为了进一步提高学习效率和质量，提出了“综合性学习”的模式。它首先采用遗传算法为每个$(N,K)$生成（次）最优极化码的种群，然后将它们用作先验知识来细化RL中的策略。这样的范例被证明可以加速训练过程，并以更好的性能收敛。仿真结果表明，所提出的基于学习的极性结构实现可比的，甚至更好的，性能比现有技术的连续取消列表（SCL）解码器。最后但并非最不重要的是，这是在不利用来自学习算法中的极化编码理论的任何专家知识的情况下实现的。
2019-11-09 cs.IT cs.LG math.IT
Unsupervised Learning for Combinatorial Optimization with Principled Objective Relaxation
Purdue University（普渡大学）；UCSB（加州大学圣巴巴拉分校）；Georgia Tech.（佐治亚理工学院）
使用机器学习来解决组合优化（CO）问题是具有挑战性的，特别是当数据是未标记的。本文提出了一个CO问题的无监督学习框架。我们的框架遵循标准的松弛加舍入方法，并采用神经网络来参数化松弛的解决方案，以便简单的反向传播可以训练端到端的模型。我们的主要贡献是观察到，如果放松的目标满足条目明智的，低优化损失保证最终的积分解决方案的质量。这一观察结果显着拓宽了以前的框架启发鄂尔多斯的概率方法的适用性。特别是，这一观察可以指导目标模型的设计，在应用程序中的目标没有明确给出，而需要事先建模。我们评估我们的框架，通过解决一个合成图优化问题，和两个现实世界中的应用，包括电路设计和近似计算中的资源分配。我们的框架在很大程度上优于基于朴素放松、强化学习和Gumbel-softmax技巧的基线。
2022-10-22 cs.AR cs.LG math.OC
Boundary-aware Supervoxel-level Iteratively Refined Interactive 3D Image Segmentation with Multi-agent Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Tongji University（同济大学）
交互式分割最近已被探索，以有效地和高效地收获高质量的分割掩模，通过迭代地结合用户提示。虽然本质上是迭代的，但大多数现有的交互式分割方法倾向于忽略连续交互的动态，并独立地考虑每个交互。在这里，我们建议使用马尔可夫决策过程（MDP）来建模迭代交互式图像分割，并使用强化学习（RL）来解决它，其中每个体素都被视为代理。考虑到体素级预测的探索空间大以及相邻体素之间的依赖性，采用了多智能体强化学习，其中体素级策略在智能体之间共享。考虑到边界体素对于分割更重要，我们进一步引入了边界感知奖励，该奖励由相对交叉熵增益形式的全局奖励和相对权重形式的边界奖励组成，以在约束方向上更新策略，以强调边界预测的正确性。为了结合不同类型的相互作用的优点，即，简单和有效的点击，和稳定和强大的涂鸦，我们提出了一个基于超体素点击的交互设计。在四个基准数据集上的实验结果表明，该方法显着优于最先进的，具有更少的交互，更高的准确性和增强的鲁棒性的优势。
2023-03-19 cs.AI cs.CV
Adapting Sampling Interval of Sensor Networks Using On-Line Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出基于强化学习的动态采样率适应方案，通过实时调整传感器采样间隔，以优化能耗并保持数据质量。
2016-07-12 cs.LG cs.NI cs.SY
