A Lyapunov Drift-Plus-Penalty Method Tailored for Reinforcement Learning with Queue Stability
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文针对物联网场景下的优化需求，提出LDPTRLQ算法，将李雅普诺夫漂移加惩罚与强化学习结合，仿真显示其在基线方法和基准中性能更优，兼具理论与实践优势。
2026-08-14 cs.LG
Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning
Seoul National University（首尔国立大学）
本文提出SAS框架，通过自对齐机制在不重新训练的情况下实现离线安全强化学习的测试时适应，利用Lyapunov条件筛选可行轨迹并生成上下文提示，提升安全性与性能。
2026-04-29 cs.AI cs.LG
Lyapunov-Aware Quantum-Inspired Reinforcement Learning for Continuous-Time Vehicle Control: A Feasibility Study
School of Information, Computer, and Communication Technology, Sirindhorn International Institute of Technology, Thammasat University, Pathum Thani, Thailand（信息、计算机与通信技术学院，Sirindhorn国际技术学院，泰国朱拉隆梭大学，Pathum Thani）
本研究提出LQRL框架，结合变分量子线路与李雅普诺夫稳定性约束的策略梯度机制，用于连续时间车辆纵向控制，仿真验证了其在自适应巡航场景下实现稳定可控、有安全保证的量子强化学习控制的可行性。
2025-10-21 cs.AI cs.LG cs.SY
A Lyapunov-based Approach to Safe Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Google Brain（谷歌大脑）
在许多现实世界的强化学习（RL）问题中，除了优化主目标函数外，智能体还必须同时避免违反多个约束。特别是，除了优化性能之外，在训练和部署期间保证代理的安全性也至关重要（例如，机器人应避免采取可能损害其硬件的行为-探索性或非探索性）。为了将安全性纳入RL，我们推导出算法的框架下的约束马尔可夫决策问题（CMDPs），扩展的标准马尔可夫决策问题（MDPs）的预期累积成本的约束。我们的方法取决于一个新的\emph{Lyapunov}方法。我们定义并提出了一种构造李雅普诺夫函数的方法，该方法通过一组局部线性约束提供了一种有效的方法来保证训练过程中行为策略的全局安全性。利用这些理论基础，我们展示了如何使用李雅普诺夫方法系统地将动态规划（DP）和RL算法转换为安全的算法。为了说明它们的有效性，我们评估这些算法在几个CMDP规划和决策任务的安全基准域。我们的研究结果表明，我们提出的方法显着优于现有的基线平衡约束满足和性能。
2018-05-20 cs.AI cs.LG stat.ML
Safe Deep Model-Based Reinforcement Learning with Lyapunov Functions
提出一种基于李雅普诺夫函数的安全深度模型强化学习框架，在未知动力学下结合学习模型预测控制，通过神经网络构造李雅普诺夫函数并添加安全约束，实现稳定且满足约束的策略学习，模拟实验验证其有效性。
2024-05-25 cs.AI cs.LG cs.SY
MEETING BOT: Reinforcement Learning for Dialogue Based Meeting Scheduling
TCS Research, New Delhi（塔塔咨询服务公司研究部（TCS Research），新德里）
在本文中，我们提出了会议机器人，一个基于强化学习的会话系统，与多个用户进行交互，以安排会议。该系统能够解释用户话语并将其映射到首选时隙，然后将其馈送到强化学习（RL）系统，目标是收敛到一个合适的时隙。RL系统能够适应用户偏好和环境变化，满足到达率，同时仍然有效地调度。通过利用MLP作为策略函数的近似器，经由具有探索的策略梯度来执行学习。结果表明，该系统优于标准调度算法的整体调度效率。此外，当用户始终拒绝或接受某些时段（例如周五下午与周四上午）的会议时，或者当会议由更高级的成员召集时，系统能够调整其策略。
2018-12-28 cs.AI cs.CL cs.LG
Reinforcement Learning for Safe Robot Control using Control Lyapunov Barrier Functions
Delft University of Technology（代尔夫特理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies（华为技术有限公司）；University College London（伦敦大学学院）；University of Manchester（曼彻斯特大学）
本文提出基于控制李雅普诺夫屏障函数的无模型强化学习算法LBAC，通过数据驱动方式保证机器人控制的安全性与可达性，并在仿真和真实2D四旋翼导航实验中验证了其优于其他无模型RL方法的有效性。
2023-05-16 cs.AI cs.LG cs.RO
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Enhancing Robustness in Deep Reinforcement Learning: A Lyapunov Exponent Approach
School of Computing Science（计算机科学学院）；University of Glasgow（格拉斯哥大学）
针对深度强化学习策略对状态扰动鲁棒性不足的问题，本文通过分析其确定性混沌特性，提出基于Dreamer V3架构的最大李雅普诺夫指数正则化方法，以增强策略对噪声和攻击的弹性，推动实际应用。
2024-11-26 cs.AI cs.LG
Inverse Reinforcement Learning: A Control Lyapunov Approach
Technical University of Munich（慕尼黑工业大学）
从演示中推断智能代理的意图并随后预测其行为，是许多协作设置中的关键任务。解决这个问题的一种常见方法是逆强化学习（IRL）框架，其中观察到的代理，例如，一个人类演示者，被假定为根据反映其意图并通知其控制动作的内在成本函数来表现。在这项工作中，我们重新制定的IRL推理问题，学习控制李雅普诺夫函数（CLF）的演示，利用逆最优性属性，这表明，每个CLF也是一个有意义的价值函数。此外，推导出的CLF公式直接保证了推断的控制策略的稳定性。我们展示了我们所提出的方法的灵活性，通过在连续环境中学习目标导向的运动演示。
2021-10-04 cs.LG cs.SY eess.SY
Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions
UC Berkeley（加州大学伯克利分校）
在本文中，安全关键控制中的模型不确定性的问题是解决与数据驱动的方法。为此，我们利用输入-输出线性化控制器的结构的基础上的标称模型以及控制障碍函数和控制李雅普诺夫函数基于二次规划（CBF-CLF-QP）。具体来说，我们提出了一种新的强化学习框架，学习模型的不确定性存在于CBF和CLF约束，以及其他控制仿射动态约束的二次规划。将训练后的策略与基于名义模型的CBF-CLF-QP相结合，得到基于强化学习的CBF-CLF-QP（RL-CBF-CLF-QP），解决了安全约束中的模型不确定性问题。通过在一个欠驱动非线性双足机器人上的实验，验证了该方法的有效性，在模型不确定的情况下，该机器人在具有一步预瞄的随机间隔踏脚石上行走，获得了稳定和安全的行走。
2020-06-04 cs.LG cs.RO cs.SY
CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors
University of Bologna（博洛尼亚大学）
CALOS提出一种基于控制仿射李雅普诺夫函数的运行时安全层，通过二次规划修正四旋翼策略输出，在Isaac Lab中实现零姿态违规并将横向误差降低55-60%，同时加速训练收敛。
2026-09-17 cs.AI cs.RO
Certifying Stability of Reinforcement Learning Policies using Generalized Lyapunov Functions
Contextual Robotics Institute University of California San Diego（情境机器人研究所 卡罗来纳大学圣地亚哥分校）
本文提出利用广义李雅普诺夫函数验证强化学习策略稳定性，通过结合价值函数与神经网络残差项，提升稳定性认证效率。
2026-01-12 cs.LG cs.RO cs.SY
Lyapunov Function Consistent Adaptive Network Signal Control with Back Pressure and Reinforcement Learning
Texas A&M University（德克萨斯A&M大学）
本研究利用李雅普诺夫控制理论统一基于流量和基于压力的信号控制方法，改进背压方法并设计强化学习奖励函数，结合DDQN实现自适应网络信号控制，在多种交通场景下取得更低的平均车辆等待时间。
2024-01-17 cs.AI cs.LG cs.SY
Convex Programs and Lyapunov Functions for Reinforcement Learning: A Unified Perspective on the Analysis of Value-Based Methods
Coordinated Science Laboratory（协同科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于值的方法在马尔可夫决策过程（MDP）和强化学习（RL）中发挥着重要作用。在本文中，我们提出了一个统一的控制理论框架，用于分析基于值的方法，如值计算（VC），值迭代（VI）和时间差（TD）学习（线性函数近似）。建立在基于值的方法和动态系统之间的内在联系，我们可以直接使用现有的凸测试条件在控制理论得到各种收敛性的结果，上述基于值的方法。这些测试条件是线性规划（LP）或半定规划（SDP）形式的凸规划，并且可以以直接的方式求解以构造李雅普诺夫函数。我们的分析揭示了反馈控制系统和RL算法之间的一些有趣的联系。我们希望这样的联系可以激发更多的工作在交叉的系统/控制理论和RL。
2022-02-14 cs.LG cs.SY eess.SY
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University（首尔国立大学）
机器人和自主系统中的新兴应用，如自动驾驶和机器人手术，通常涉及关键的安全约束，即使有关系统模型的信息有限，也必须满足这些约束。在这方面，我们提出了一个无模型的安全规范方法，学习安全操作的最大概率，通过仔细结合概率可达性分析和安全强化学习（RL）。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是，它产生了一系列的安全策略，确定安全操作的范围，称为安全集，单调扩展，并逐渐收敛。我们还开发了一个有效的安全的探索计划，加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽，我们的方法调节的探索性政策，以避免危险状态的高置信度。为了处理高维系统，我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL，以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明，通过连续控制基准问题，如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Generative AI for Lyapunov Optimization Theory in UAV-based Low-Altitude Economy Networking
Xiamen University（厦门大学）；Nanyang Technological University（南洋理工大学）；Jilin University（吉林大学）；Jimei University（集美大学）；Western University（西安大略大学）
本文提出将生成式扩散模型与强化学习相结合的框架，解决无人机低空经济网络中的Lyapunov优化问题，并通过案例研究验证了其有效性。
2025-01-27 cs.AI cs.LG cs.NI
Stability Enhancement in Reinforcement Learning via Adaptive Control Lyapunov Function
School of Astronautics, Beihang University（北航航天学院）
本文提出SAC-CLF框架，通过任务特定CLF设计、动态约束调整和控制输入平滑化三项创新，增强强化学习的稳定性与安全性，并在非线性系统和卫星姿态控制实验中验证了其有效性。
2025-01-18 cs.LG cs.RO
Lyapunov-based uncertainty-aware safe reinforcement learning
Ohio State University（俄亥俄州立大学）
强化学习（RL）在学习各种顺序决策任务的最优策略方面表现出很好的性能。然而，在许多现实世界的RL问题中，除了优化主要目标之外，还期望代理满足一定的安全级别（例如，避免自动驾驶中的碰撞）。虽然RL问题通常被形式化为马尔可夫决策过程（MDP），但安全约束通过约束马尔可夫决策过程（CMDPs）进行合并。尽管安全RL的最新进展使得能够在CMD中学习安全策略，但这些安全要求应该在培训和部署过程中得到满足。此外，它表明，在基于内存和部分可观察的环境中，这些方法无法保持安全看不见的分布外的意见。为了解决这些限制，我们提出了一个基于Lyapunov的不确定性感知的安全RL模型。引入的模型采用了一个李雅普诺夫函数，转换为一组局部线性约束的随机性为基础的约束。此外，为了确保安全的代理在高度不确定的环境中，不确定性量化方法的开发，使识别风险规避行动，通过估计违反约束的概率。此外，一个Transformers模型被集成到提供记忆的代理处理长时间的视野的信息，通过自我注意机制。该模型在网格世界导航任务中进行评估，其中安全性被定义为在完全和部分可观察的环境中避免静态和动态障碍物。这些实验的结果表明，在实现最优性和满足安全约束的代理的性能显着改善。
2021-07-29 cs.AI cs.LG stat.ML
Bellman Meets Lyapunov: Unsupervised Reinforcement Learning via Mastering Chaos
Texas Tech University（德克萨斯理工大学）；Purdue University（普渡大学）
本文提出 Forward CIP（F-CIP），一种仅由系统动力学定义、无需选择信息变量的无监督强化学习目标，可无监督发现平衡等原始行为，并结合简单奖励产生跳跃、奔跑等协调步态。
2026-10-02 cs.LG
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group（蚂蚁集团）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑一个序贯决策问题，代理面临的环境特征的随机离散事件，并寻求一个最优的干预政策，使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中，但在强化学习的传统研究中却很少被研究。为此，我们提出了一个新的框架，基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态，并开发了一种算法来将这样的过程嵌入到Bellman方程中，该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Multi-Agent Reinforcement Learning Meets Leaf Sequencing in Radiotherapy
Digital Technology and Innovation, Siemens Healthineers（西门子医疗数字技术与创新部门）；Varian Medical Systems（瓦里安医疗系统公司）
本文提出多智能体深度强化学习模型Reinforced Leaf Sequencer（RLS）用于放射治疗中的叶片序列化，通过大规模训练和奖励机制优化迭代过程，在多个数据集上相比传统优化方法降低了通量重建误差并展现出更快收敛潜力。
2024-06-03 cs.AI cs.LG cs.MA
Decomposing Control Lyapunov Functions for Efficient Reinforcement Learning
本文提出分解控制李雅普诺夫函数（DCLF）用于奖励塑形，以降低强化学习样本复杂度，并在四旋翼降落任务中实现数据效率翻倍提升。
2024-03-18 cs.LG cs.SY eess.SY
Stable Inverse Reinforcement Learning: Policies from Control Lyapunov Landscapes
Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
针对传统逆强化学习计算量大、缺收敛保证的问题，提出将代价函数推断重构为从演示数据学习控制李雅普诺夫函数的稳定认证IRL方法，结合闭式策略与平方和凸优化实现高效求解，经理论与仿真、真实数据验证有效。
2024-05-14 cs.LG cs.SY eess.SY
Barrier Certified Safety Learning Control: When Sum-of-Square Programming Meets Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
在许多工程实施中，安全保证是必不可少的。强化学习提供了一种加强安全性的有用方法。然而，强化学习算法不能完全保证实际操作的安全性。为了解决这个问题，这项工作采用了控制障碍函数强化学习，并提出了一个补偿算法，完全保持安全。具体而言，已利用平方和规划来搜索最优控制器，并同时调整学习超参数。因此，保证控制动作总是在安全区域内。通过倒立摆模型验证了该方法的有效性。与基于二次规划的强化学习方法相比，本文提出的基于平方和规划的强化学习方法显示了其优越性。
2022-06-29 cs.LG cs.SY eess.SY
Formally Verifying Deep Reinforcement Learning Controllers with Lyapunov Barrier Certificates
Stanford University（斯坦福大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Google（谷歌公司）；GE Aerospace Research（GE航空航天研究院）
针对深度强化学习智能体黑箱特性难保障安全、神经李雅普诺夫屏障证书学习与验证难度大的问题，提出证书组合与过滤技术，实现离散时间系统下DRL控制器的形式化安全与活性保证，并通过航天器控制案例验证有效性。
2024-08-14 cs.AI cs.LG cs.SY
Stable and Safe Reinforcement Learning via a Barrier-Lyapunov Actor-Critic Approach
University of Oxford（牛津大学）
本文提出 BLAC 框架，将 CBF、CLF 与 actor-critic 强化学习结合，并辅以备份控制器，在仿真中实现安全稳定控制且减少约束违反。
2023-09-28 cs.LG cs.RO cs.SY
Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experimental Design
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文提出了一种基于随机探索和最优实验设计的高效强化学习算法，通过减少偏好查询数量实现理论保证和实际应用的平衡。
2025-12-03 cs.AI cs.LG cs.RO
Lyapunov-Based Reinforcement Learning for Decentralized Multi-Agent Control
Sun Yat-Sen University（中山大学）；Peking University（北京大学）；Delft University of Technology（代尔夫特理工大学）
分散多智能体控制具有广泛的应用，从多机器人协作到分布式传感器网络。在分散多智能体控制中，系统具有未知或高度不确定的动态，传统的基于模型的控制方法很难应用。与控制理论中基于模型的控制相比，深度强化学习（DRL）有望在不知道系统动态的情况下从数据中学习控制器/策略。然而，直接将DRL应用于分散式多智能体控制是具有挑战性的，因为智能体之间的交互使学习环境非平稳。更重要的是，现有的多智能体强化学习（MARL）算法不能从控制理论的角度保证多智能体系统的闭环稳定性，因此在实际应用中学习到的控制策略很可能产生异常或危险行为.因此，在没有稳定性保证的情况下，将现有的MARL算法应用于真实的多智能体系统是非常令人关注的，例如，无人机，机器人，和电力系统等。在本文中，我们的目标是提出一个新的MARL算法的分散多智能体控制的稳定性保证。新的MARL算法，称为多智能体软演员评论（MASAC），提出了著名的框架下的“集中式训练与分散式执行”。通过在MASAC算法的策略改进过程中引入稳定性约束，保证了闭环系统的稳定性。基于控制理论中的李雅普诺夫方法设计了稳定性约束。为了证明其有效性，我们提出了一个多智能体导航的例子来显示所提出的MASAC算法的效率。
2020-09-20 cs.LG cs.SY eess.SY
Energy Optimization of Multi-task DNN Inference in MEC-assisted XR Devices: A Lyapunov-Guided Reinforcement Learning Approach
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；China Mobile Research Institute（中国移动研究院）
针对MEC辅助XR设备的多任务DNN推理能耗问题，提出双时间尺度模型划分与资源分配双层优化，并利用LyaPPO实现显著节能。
2025-01-05 cs.AI cs.NI cs.SY
Lyapunov Exponent as Physics-Informed Dense Reward: RL Discovery of Stabilization Beyond the Kapitza Pendulum
该研究针对强化学习中稳定垂直运动倒立摆的问题，提出将李雅普诺夫特征指数作为密集奖励信号，智能体借此成功找到卡皮察摆振荡运动并抑制摆动，让摆处于直立位置。
2026-07-16 cs.LG
DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach
Xiamen University（厦门大学）；Nanyang Technological University（南洋理工大学）；Jimei University（集美大学）；University at Buffalo-SUNY（纽约州立大学布法罗分校）
本文针对车联网中DNN任务的计算挑战，提出Lyapunov引导的多智能体扩散深度强化学习算法MAD2RL，联合优化DNN划分、任务卸载与资源分配，以最小化任务完成时间并保证系统稳定性。
2024-06-11 cs.LG
Markowitz Meets Bellman: Knowledge-distilled Reinforcement Learning for Portfolio Management
School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）；University of Manchester（曼彻斯特大学）
本文提出融合 Markowitz 理论与 DDPG 强化学习的两阶段知识蒸馏方法 KDD，用于优化投资组合，并在多项金融指标上优于标准模型与 AI 框架。
2024-05-08 cs.LG q-fin.CP
When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
在离线强化学习（RL）中，深度Q函数在分布外（OOD）区域的误差积累是影响策略学习的一个重要问题。不幸的是，现有的离线RL方法往往过于保守，不可避免地会损害数据分布之外的泛化性能。在我们的研究中，一个有趣的观察是，深度Q函数在训练数据的凸包内很好地近似。受此启发，我们提出了一种新方法DOGE（Distance-sensitive Offline RL with better GEneralization）。DOGE将数据集几何与离线RL中的深度函数近似器结合在一起，并在可推广的OOD领域进行开发，而不是严格限制数据分布中的策略。具体来说，DOGE训练了一个状态条件距离函数，可以很容易地插入到标准的行动者-批评者方法中作为策略约束。简单而优雅，我们的算法在D4 RL基准测试中比最先进的方法具有更好的泛化能力。理论分析表明，我们的方法的优越性，现有的方法是完全基于数据分布或支持的限制。
2023-02-08 cs.AI cs.LG cs.RO
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
Lyapunov-Driven Deep Reinforcement Learning for Edge Inference Empowered by Reconfigurable Intelligent Surfaces
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；Technology Innovation Institute（技术创新研究院）；CEA-Leti（法国原子能与替代能源委员会电子与信息技术实验室）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Consorzio Nazionale Interuniversitario per le Telecomunicazioni (CNIT)（意大利国家大学间电信联盟（CNIT））；Sapienza University of Rome（罗马第一大学）
本文提出一种结合李雅普诺夫随机优化与深度强化学习的动态算法，在6G网络中联合优化数据压缩、无线电与计算资源及RIS参数，实现高能效、低延迟且满足准确度约束的边缘推理。
2023-05-18 cs.ET cs.IT cs.LG
AIIR-MIX: Multi-Agent Reinforcement Learning Meets Attention Individual Intrinsic Reward Mixing Network
Southeast University（东南大学）
在协作式多智能体强化学习（MARL）中，计算每个智能体的贡献并分配相应的奖励是一个关键问题。以往的研究试图通过设计一个内在奖励函数来解决这个问题，但这些研究只是简单地将内在奖励与环境奖励通过求和结合起来，这使得他们的MARL框架的表现不尽如人意。在MARL中，我们提出了一种新的方法--注意力个体内在奖励混合网络（AIIR-MIX），其主要贡献如下：（a）基于注意力机制构建了一种新的内在奖励网络，以提高团队协作的效率。(b)我们提出了一种混合网络，该网络能够响应于环境的变化条件而非线性地和动态地组合内在和外在奖励。我们比较了AIR-MIX与许多最先进的（SOTA）MARL方法在星际争霸II的战斗游戏。实验结果表明，AIR-MIX算法在平均测试成功率上优于现有的先进算法。为了验证AIR-MIX的有效性，我们进行了额外的消融研究。结果表明，AIIR-MIX可以根据每个Agent的实际贡献动态地分配给每个Agent实时的内在奖励。
2023-02-19 cs.LG cs.MA
Deep Bayesian Reinforcement Learning for Spacecraft Proximity Maneuvers and Docking
本文提出一种深度贝叶斯强化学习算法，用于航天器近距离机动与对接，通过将时序差分学习构建为受约束高斯过程回归并整合李雅普诺夫稳定性约束，在气浮试验台上验证了其有效性能。
2024-05-22 cs.AI cs.RO
Structured Prompt Optimization Meets Reinforcement Learning for Global and Local Interpretability over Complex Text
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
提出eXTC框架，通过结构化提示优化、基于SOP的推理蒸馏和强化学习扩展，在分类性能和解释质量上显著优于现有范式。
2026-06-02 cs.AI cs.CL cs.LG
Stable Reinforcement Learning with Unbounded State Space
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文考虑了由调度网络中的经典调度问题所激发的具有无界状态空间的强化学习（RL）问题。传统的策略以及为有限、有界或紧凑状态空间设计的误差度量需要无限样本来为无界状态空间提供任何有意义的性能保证（例如，$\ell_\infty$误差）。也就是说，我们需要一个新的性能度量概念。作为这项工作的主要贡献，在排队系统与控制理论的文献的启发下，我们提出了稳定性的概念“善良”的状态动态下的政策应保持在一个有界区域的高概率。作为概念的证明，我们提出了一个RL政策，使用稀疏采样为基础的Monte Carlo Oracle，并认为它满足稳定性，只要系统动力学下的最优策略尊重李雅普诺夫函数。存在李雅普诺夫函数的假设不是限制性的，因为它等价于任何马尔可夫链的正递归或稳定性，即，如果有任何政策可以稳定系统，那么它必须拥有一个李雅普诺夫函数。而且，我们的政策不利用知识的具体李雅普诺夫函数。为了使我们的方法样本效率，我们提供了一个改进的，样本效率的稀疏采样的蒙特卡罗Oracle与Lipschitz价值函数，可能是在自己的权利感兴趣。此外，我们设计了一个自适应版本的算法，精心构造的统计测试，自动找到正确的调整参数的基础上。
2020-06-08 cs.LG stat.ML
When Collaborative Filtering Meets Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）
本文研究了一个多步交互式推荐问题，其中当前推荐的项目可能会影响未来推荐的质量。为了解决这个问题，我们开发了一种新颖而有效的方法，命名为CFRL，它无缝集成了协同过滤（CF）和强化学习（RL）的想法。更具体地说，我们首先将推荐者-用户交互式推荐问题建模为代理-环境RL任务，该任务在数学上由马尔可夫决策过程（MDP）描述。此外，为了实现整个用户社区的协作推荐，我们提出了一种新的CF为基础的MDP编码到一个共享的潜在向量空间的所有用户的状态。最后，我们提出了一种有效的Q-网络学习方法来学习基于CF的MDP的代理的最优策略。CFRL的能力是通过比较其性能对各种现有的方法在现实世界的数据集。
2019-04-02 cs.IR cs.LG stat.ML
Optimal Transport Meets Reinforcement Learning: A Survey
University of Warwick（华威大学）
本综述系统梳理最优传输在强化学习目标与算法中的应用，分类现有方法，探讨动机、实际考量与开放问题，为相关研究提供全面参考。
2026-10-02 cs.AI cs.LG stat.ML
Safe Exploration in Model-based Reinforcement Learning using Control Barrier Functions
Boston University（波士顿大学）
本文提出了一种基于基于模型的强化学习（MBRL）框架，用于在线学习无限时域最优控制问题的价值函数，同时服从以控制障碍函数（CBF）表示的安全约束。我们的方法是促进了一类新的CBFs，称为Lyapunov样CBFs（LCBFs）的发展，保留CBFs的开发微创安全控制政策的有益特性，同时也具有理想的Lyapunov样的质量，如积极的半定。我们展示了如何使用这些LCBFs来增强基于学习的控制策略以保证安全，然后利用这种方法在MBRL环境中开发安全的探索框架。我们证明，我们的方法可以处理更一般的安全约束比比较方法通过数值例子。
2022-09-19 cs.LG cs.SY eess.SY
Graph-based Reinforcement Learning meets Mixed Integer Programs: An application to 3D robot assembly discovery
Technical University of Darmstadt（达姆施塔特工业大学）
机器人装配发现是一个具有挑战性的问题，生活在资源分配和运动规划的交叉点。我们的目标是将一组预定义的对象组合起来，形成新的东西，同时考虑使用机器人在环执行任务。在这项工作中，我们解决的问题，建立任意的，预定义的目标结构完全从头开始使用一组俄罗斯方块一样的积木和机器人操纵器。我们的新的分层方法的目的是有效地分解成三个可行的水平，相互受益的整体任务。在高层次上，我们运行一个经典的混合整数程序，用于块类型选择和块的最终姿态的全局优化，以重新创建所需的形状。然后利用其输出来有效地指导底层强化学习（RL）策略的探索。这种RL策略从一个灵活的基于图的表示中提取其泛化属性，该表示是通过Q学习学习的，可以通过搜索进行细化。此外，它还考虑了结构稳定性和机器人可行性的必要条件，这些条件在前一层中无法有效反映。最后，抓取和运动规划器将所需的装配命令转换为机器人关节运动。我们展示了我们提出的方法的性能在一组竞争激烈的模拟RAD环境，展示现实世界的传输，并报告性能和鲁棒性增益相比，非结构化的端到端的方法。有关视频，请访问https://sites.google.com/view/rl-meets-milp。
2022-08-02 cs.AI cs.LG cs.RO
Personalized Dynamic Difficulty Adjustment -- Imitation Learning Meets Reinforcement Learning
Faculty of EECS Leibniz University Hannover Hannover, Germany
针对电子游戏难度与玩家技能不匹配影响体验的问题，提出结合模仿学习与强化学习的双智能体框架，用于格斗游戏场景下的个性化动态难度调整。
2024-08-13 cs.AI
Reinforcement Learning for Orientation Estimation Using Inertial Sensors with Performance Guarantee
Delft University of Technology（代尔夫特理工大学）；University of Essex（埃塞克斯大学）
本文提出了一种深度强化学习（DRL）算法，用于惯性传感器与磁强计相结合的方位估计。利用控制理论中的李雅普诺夫方法证明了方位估计误差的收敛性。基于理论结果，估计器增益和李雅普诺夫函数通过深度神经网络参数化并从样本中学习。的DRL估计进行了比较与三个著名的方向估计方法的数值模拟和真实的数据集收集从商业上可用的传感器。结果表明，该算法对任意初始估计都有很好的适应性，并且可以适应其他算法难以适应的大角速度。据我们所知，这是第一个基于DRL的方向估计方法与估计误差有界性保证。
2021-06-10 cs.LG cs.RO
Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）；Beihang University（北京航空航天大学）
本文研究了为无线移动用户提供超可靠和节能的虚拟现实（VR）体验的问题。为了确保向移动用户提供可靠的超高清（UHD）视频帧并增强其沉浸式视觉体验，采用了协调多点（CoMP）传输技术和毫米波（mmWave）通信。由于用户移动和时变的无线信道，无线VR体验增强问题被公式化为序列依赖和混合整数问题，其目标是最大化用户在虚拟世界中的存在感（FoP），受限于接入点（AP）和用户的盔装显示器（HMD）上的功耗约束。然而，由于缺乏用户准确的跟踪信息以及序列相关和混合整数的特性，这个问题很难直接解决。为了克服这一挑战，我们开发了一种并行回声状态网络（ESN）的学习方法来预测用户的跟踪信息，通过训练新鲜的和历史的跟踪样本分别收集的AP。根据学习结果，我们提出了一种基于深度强化学习（DRL）的优化算法来解决该问题。在该算法中，我们实现了深度神经网络（DNN）作为一个可扩展的解决方案，以产生整数决策变量和解决连续功率控制问题，以批评整数决策变量。最后，将该算法与各种基准算法进行了性能比较，并讨论了不同设计参数对性能的影响。仿真结果表明，该算法比基准算法节能4.14%。
2021-07-08 cs.AI cs.HC cs.LG
Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance
Department of Mechanical Engineering, Iowa State University（爱荷华州立大学机械工程系）；Department of Weapons, Robotics, and Control Engineering, United States Naval Academy（美国海军学院武器、机器人与控制工程系）；Navy Center for Applied Research in Artificial Intelligence (NCARAI), U.S. Naval Research Laboratory（美国海军人工智能应用研究中心（NCARAI））
本文提出通过运行时保证实现通信高效的强化学习，研究在已知平衡点附近稳定化问题，通过Lyapunov安全盾联合学习控制输入和通信效率的决策，展示适应性定时而非平均速率使稀疏安全。
2026-05-11 cs.LG cs.RO
Cumulative Prospect Theory Meets Reinforcement Learning: Prediction and Control
Institute for Systems Research, University of Maryland（马里兰大学系统研究所）；University of Maryland（马里兰大学）；University of Alberta（阿尔伯塔大学）
累积前景理论（CPT）是已知的人类决策模型很好，大量的经验证据支持这一说法。CPT通过扭曲概率来工作，并且比经典的期望效用和一致风险度量更普遍。我们把这个想法的风险敏感的强化学习（RL）设置和设计算法的估计和控制。当应用CPT时，RL设置提出了两个特定的挑战：估计CPT目标需要估计价值函数的整个分布，并找到一个随机的最优策略。我们提出的估计方案使用经验分布来估计随机变量的CPT值。然后，我们使用这个计划的CPT值优化过程的内部循环，这是众所周知的模拟优化思想的同时扰动随机逼近（SPSA）的基础上。我们提供了理论上的收敛保证，所有提出的算法，也说明了实用的CPT为基础的标准在交通信号控制应用。
2016-02-26 cs.LG math.OC
Deep Reinforcement Learning meets Graph Neural Networks: exploring a routing optimization use case
Barcelona Neural Networking Center（巴塞罗那神经网络中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institute of Telecommunications（电信研究所）；AGH University of Science and Technology（AGH科技大学）
深度强化学习（DRL）在决策和自动控制问题方面表现出显着的改进。因此，DRL代表了一种有前途的技术，可以有效地解决许多相关的优化问题（例如，自动驾驶网络中的路由。然而，应用于网络的现有基于DRL的解决方案未能推广，这意味着当应用于训练期间未观察到的网络拓扑时，它们不能正常操作。这种泛化能力的缺乏严重阻碍了DRL技术在生产网络中的部署。这是因为现有技术的基于DRL的联网解决方案使用标准神经网络（例如，完全连接的、卷积的），其不适合从结构化为图的信息中学习。在本文中，我们集成了图神经网络（GNN）到DRL代理，我们设计了一个问题的具体行动空间，使泛化。GNN是一种深度学习模型，其本质上是为了在不同大小和结构的图上进行泛化而设计的。这使得所提出的基于GNN的DRL代理能够在任意网络拓扑上学习和推广。我们在光网络的路由优化用例中测试了我们的DRL+GNN代理，并分别在180和232个看不见的合成和真实网络拓扑上对其进行了评估。结果表明，DRL+GNN智能体能够在训练期间从未见过的拓扑中超越最先进的解决方案。
2022-10-07 cs.LG cs.NI
Experimentation Platforms Meet Reinforcement Learning: Bayesian Sequential Decision-Making for Continuous Monitoring
Amazon（亚马逊）
本文针对在线A/B测试持续监控中提前停止的需求，提出了一种基于贝叶斯序贯决策和强化学习的统一框架，在Amazon的大规模元分析中验证了其在最大化客户体验与控制机会成本方面的有效性。
2023-04-02 cs.LG
An Abstraction-based Method to Check Multi-Agent Deep Reinforcement-Learning Behaviors
Imperial College London（伦敦帝国理工学院）
多智能体强化学习（RL）通常难以确保学习代理的安全行为，因此通常不适用于安全关键型应用。为了解决这个问题，我们提出了一种方法，结合形式化验证与（深）RL算法，以保证满足正式指定的安全约束的培训和测试。我们提出的方法表示的约束，以验证概率计算树逻辑（PCTL），并建立一个抽象的表示系统，以减少验证步骤的复杂性。该抽象模型允许模型检验技术来识别满足PCTL中表达的安全约束的一组抽象策略。然后，根据这些安全的抽象策略来限制代理的行为。我们提供了形式化的保证，通过使用这种方法，代理的行动总是满足安全约束，并提供了一个过程，自动生成一个抽象的模型。我们经验评估，并显示我们的方法在多智能体环境中的有效性。
2021-04-02 cs.AI cs.LG cs.MA
Monkey Business: Reinforcement learning meets neighborhood search for Virtual Network Embedding
Telecom SudParis（南巴黎电信学院）；Davidson consulting（戴维森咨询公司）
在这篇文章中，我们考虑了5G网络切片的虚拟网络嵌入（VNE）问题。这个问题需要在底层虚拟化物理网络上分配多个虚拟网络（VN），同时最大化资源利用率、放置的VN的最大数量和网络运营商的利益等。我们解决了切片随时间到达的问题的在线版本。启发嵌套推出政策适应（NRPA）算法，一个著名的蒙特卡罗树搜索（MCTS），学习如何随着时间的推移进行良好的模拟的变体，我们提出了一个新的算法，我们称之为邻域增强的政策适应（NEPA）。我们的算法的关键特征是观察NRPA不能利用在状态树的一个分支中获得的知识用于另一个开始不同的分支。NEPA通过将NRPA与邻域搜索相结合来学习，以一种节俭的方式只改进有希望的解决方案，同时保持低运行时间。我们称这种技术为猴子生意，因为它归结为从一个有趣的树枝跳到另一个，类似于猴子从一棵树跳到另一棵树，而不是每次都下来。与其他最先进的算法相比，NEPA在接受率和收入成本比方面取得了更好的结果，无论是在真实的还是合成的拓扑结构上。
2022-02-28 cs.AI cs.NI
Deep Inductive Logic Programming meets Reinforcement Learning
University of Edinburgh（爱丁堡大学）
本研究将可微神经逻辑网络应用于关系强化学习，通过引入非线性连续谓词改进归纳逻辑编程方法，使智能体能够在动态连续环境中进行推理和决策。
2023-08-30 cs.LG cs.LO cs.SC
