数据驱动的动态多目标最优控制：一种满足期望的强化学习方法

基于极限确定广义Büchi自动机的线性时序逻辑规范控制策略的强化学习

Reinforcement Learning of Control Policy for Linear Temporal Logic Specifications Using Limit-Deterministic Generalized Büchi Automata

Osaka University（大阪大学）

这封信提出了一种新的强化学习方法的控制策略的合成满足控制规范描述的线性时序逻辑公式。我们假设被控系统是由一个马尔可夫决策过程（MDP）。我们将规范转换为一个有限确定性的广义Büchi自动机（LDGBA）与几个接受集，接受所有满足公式的无限序列。LDGBA被扩充，以便它明确地记录对接受集的先前访问。我们取一个增强的LDGBA和MDP的乘积，在此基础上定义一个奖励函数。只要状态转换在接受集合中，并且在一定数量的步骤中没有被访问，代理就会获得奖励。因此，稀疏的奖励是放松和接受集之间的最佳循环学习。我们表明，所提出的方法可以学习最优的政策时，折扣因子是足够接近。

2020-03-26cs.AIcs.LGcs.LO

来自分布式能源资源的安全自下而上灵活性提供

Safe Bottom-Up Flexibility Provision from Distributed Energy Resources

本文提出一种基于多智能体强化学习的自下而上分布式能源资源管理框架，使自组织的DER社区无需DSO参与决策即可提供满足配电网安全约束的灵活性服务。

2025-04-29cs.SYeess.SY

用于前传压缩优化的约束深度强化学习

Constrained Deep Reinforcement Learning for Fronthaul Compression Optimization

本文针对C-RAN前传容量受限问题，提出考虑时延与丢包约束且具备可解释性的无模型离线策略深度强化学习自适应压缩方法，可在满足约束下使前传利用率较参考方案提升约70%。

2023-09-28cs.SYeess.SY

基于耗散鞍流动力学的约束强化学习

Constrained Reinforcement Learning via Dissipative Saddle Flow Dynamics

Johns Hopkins University（约翰斯·霍普金斯大学）；Peking University（北京大学）

在约束强化学习（C-RL）中，智能体试图从环境中学习一种策略，该策略在满足次级累积奖励约束中的最小要求的同时最大化期望累积奖励。基于采样的原始-对偶方法的几种算法最近被提出来解决这个问题的政策空间。然而，这样的方法是基于随机梯度下降上升算法，其轨迹连接到最优策略，只有在混合输出阶段，这取决于算法的历史。因此，在行为策略和最优策略之间存在不匹配。在这项工作中，我们提出了一种新的算法约束RL，不受这些限制。利用正则化鞍流动力学的最新结果，我们开发了一种新的随机梯度下降-上升算法，其轨迹几乎肯定收敛到最优策略。

2022-12-03cs.LGcs.SYeess.SY

约束强化学习的可行性理论：教程研究

The Feasibility Theory of Constrained Reinforcement Learning: A Tutorial Study

Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）

本文提出适用于模型预测控制与强化学习的可行性理论，通过分离策略求解与实施时间域，定义初始和无限状态可行性，分析可行区域的包含关系，并提供虚拟时间约束设计规则和可行性函数工具。

2026-01-29cs.SYeess.SY

信号时序逻辑规范下MarkovDecision过程最优控制的无模型强化学习

Model-Free Reinforcement Learning for Optimal Control of MarkovDecision Processes Under Signal Temporal Logic Specifications

University of Southern California（南加利福尼亚大学）

我们提出了一个无模型的强化学习算法，以找到一个最佳的政策，有限的地平线马尔可夫决策过程，同时保证所需的下界的概率满足信号时序逻辑（STL）规范。我们提出了一种方法来有效地增加MDP的状态空间，以捕捉所需的状态历史，并表示为可达性目标的STL目标。然后，规划问题可以被公式化为有限时域约束的马尔可夫决策过程（CMDP）。对于具有未知转移概率的一般有限时域CMDP问题，我们开发了一种强化学习方案，该方案可以利用任何无模型RL算法来提供非平稳随机策略的一般空间中的近似最优策略。我们说明了我们的方法的有效性，在机器人运动规划的背景下，复杂的任务不确定性和性能目标。

2021-09-27cs.AIcs.FLcs.SY

基于深度强化学习的信号时序逻辑网络时延控制

Deep Reinforcement Learning Based Networked Control with Network Delays for Signal Temporal Logic Specifications

Osaka University（大阪大学）

我们将深度强化学习（DRL）应用于具有网络延迟的网络控制器的设计，以完成由信号时序逻辑（STL）公式描述的时序控制任务。STL对于处理动力系统的有界时间区间规格说明是很有用的。一般而言，智能体不仅需要系统的当前状态，还需要系统的过去行为来确定满足给定STL公式的期望控制动作。此外，我们需要考虑网络延迟对数据传输的影响。因此，我们提出了一个扩展的马尔可夫决策过程，使用过去的系统状态和控制动作，这被称为一个$τd$ -MDP，使代理可以评估满意度的STL公式考虑网络延迟。之后，我们应用DRL算法设计一个网络控制器使用$τd$ -MDP。通过仿真，我们也证明了所提出的算法的学习性能。

2022-03-28cs.LGcs.SYeess.SY

动态系统安全强化学习中安全区域的低维表示

Learning a Low-dimensional Representation of a Safe Region for Safe Reinforcement Learning on Dynamical Systems

Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）

为了安全地将强化学习算法应用于高维非线性动力系统，利用简化的系统模型构造了安全的强化学习框架.基于简化的系统模型，识别安全区域的低维表示，并用于为学习算法提供安全估计。然而，为复杂的动态系统找到一个令人满意的简化系统模型通常需要相当大的努力。为了克服这一限制，我们在这项工作中提出了一种通用的数据驱动的方法，能够有效地学习安全区域的低维表示。通过在线自适应方法，通过使用反馈数据更新低维表示，从而获得更准确的安全性估计。所提出的方法用于识别安全区域的低维表示的性能证明与四轴飞行器的例子。结果表明，与以往的工作相比，本文提出的安全区域的低维表示方法更可靠、更有代表性，从而扩展了安全强化学习框架的适用范围.

2021-09-08cs.ROcs.SYeess.SY

未知非线性系统的事件触发实用固定时间积分强化学习

Event-Triggered Practical Fixed-Time Integral Reinforcement Learning for Unknown Nonlinear Systems

Faculty of Mechanical Engineering, Ho Chi Minh City University of Technology (HCMUT), Vietnam National University Ho Chi Minh City (VNU-HCM)（胡志明市技术大学机械工程学院，越南国立大学胡志明市）；Department of Mathematics and Statistics, University of New Mexico（新墨西哥大学数学与统计系）

本文提出一种事件触发的固定时间积分强化学习框架，用于未知非线性系统的最优控制，通过经验回放避免持续激励条件，并保证实用固定时间稳定性及排除Zeno行为。

2026-10-05cs.SYeess.SY

基于强化学习的复杂驾驶场景安全层次规划框架

A Safe Hierarchical Planning Framework for Complex Driving Scenarios based on Reinforcement Learning

University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）

自动驾驶汽车需要处理各种交通状况，并做出安全有效的决策和操纵。然而，一方面，单个基于优化/采样的运动规划器不能有效地实时的生成安全轨迹，特别是当附近有许多交互式车辆时。另一方面，端到端的学习方法不能保证结果的安全性。为了解决这一挑战，我们提出了一个分层的行为规划框架，一组低级别的安全控制器和一个高级别的强化学习算法（H-CtRL）作为协调员的低级别控制器。安全性由底层优化/采样控制器保证，而高级强化学习算法使H-CtRL成为自适应和高效的行为规划器。为了训练和测试我们提出的算法，我们建立了一个模拟器，可以使用真实世界的数据集再现交通场景。H-CtRL被证明是有效的，在各种现实的仿真场景，具有令人满意的性能，在安全性和效率。

2021-06-09cs.AIcs.ROcs.SY

多段报价的双正单调参数化及强化学习代理仿真电力市场的有效性评估框架

A Dual-Positive Monotone Parameterization for Multi-Segment Bids and a Validity Assessment Framework for Reinforcement Learning Agent-based Simulation of Electricity Markets

School of Electric Power Engineering, South China University of Technology（华南理工大学电力学院）；Department of Engineering, University of Exeter（埃克塞特大学工程学院）

本文提出双正单调参数化方法及有效性评估框架，解决传统方法在连续可导性和可逆性方面的不足，提升电力市场仿真结果的可信度。

2026-04-11cs.AIcs.SYeess.SY

深度强化学习用于热带空气自由冷却数据中心控制

Deep Reinforcement Learning for Tropical Air Free-Cooled Data Center Control

由于全年环境温度和相对湿度（RH）较高的独特挑战，热带地区还没有空气自由冷却数据中心（DC）。由于监管机构要求提高DC温度设定值，因此可以承受更高温度和RH的服务器的可用性不断增加，这揭示了热带地区空气自由冷却DC的可行性。然而，由于复杂的温湿动力学，在热带地区操作空气自由冷却DC通常需要对供应空气条件进行自适应控制以维持服务器的计算性能和可靠性。本文研究了在一个自由冷却的热带直流系统中控制送风温度和相对湿度低于一定阈值的问题。为了实现这一目标，我们将控制问题表述为马尔可夫决策过程，并应用深度强化学习（DRL）来学习控制策略，在满足送风温度和RH要求的同时最大限度地减少冷却能量。我们还开发了一个受约束的日间行车线的解决方案，以提高性能。基于从空气自由冷却试验台收集的真实数据跟踪的广泛评估以及无约束和约束DRL方法以及其他两种基线方法之间的比较显示了我们提出的解决方案的优越性能。

2020-12-12cs.SYeess.SY

面向复杂动态环境的安全高效强化学习

Safe and Sample-efficient Reinforcement Learning for Clustered Dynamic Environments

Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）

本研究提出一个安全且样本效率高的强化学习（RL）框架，以解决开发适用RL算法的两个主要挑战：满足安全约束和在有限样本下有效学习。为了保证在现实世界中的复杂环境中的安全性，我们使用安全集算法（SSA）来监视和修改标称控制，并评估SSA+RL在集群动态环境中，这是具有挑战性的解决现有的RL算法。然而，SSA+RL框架通常不是样本有效的，特别是在奖励稀疏环境中，这在以前的安全RL作品中没有得到解决。为了提高学习效率，我们提出了三种技术：（1）通过调整SSA来避免表现得过于保守;（2）使用具有安全约束的随机网络蒸馏来鼓励安全探索;（3）通过将SSA视为专家演示并直接从中学习来提高政策收敛性。实验结果表明，与其他安全RL方法相比，我们的框架在训练过程中可以实现更好的安全性能，并以更少的事件解决任务。项目网址：https://hychen-naza.github.io/projects/Safe_RL/。

2023-03-24cs.LGcs.ROcs.SY

基于字典式深度强化学习的机会约束控制

Chance-Constrained Control with Lexicographic Deep Reinforcement Learning

本文提出了一种基于字典式深度强化学习（DeepRL）的机会约束马尔可夫决策过程方法，其中控制器试图确保满足约束的概率高于给定的阈值。标准DeepRL方法要求i）以多目标方式将约束作为附加加权项包括在成本函数中，以及ii）根据概率阈值在深度神经网络（DNN）的训练阶段期间调整引入的权重。相反，所提出的方法需要分别训练一个无约束DNN和一个与每个约束相关联的DNN，然后在每个时间步，根据系统观察到的状态选择使用哪个DNN。除了标准DNN之外，所提出的解决方案不需要任何超参数调整，即使概率阈值发生变化。还提出了著名的DeepRL算法DQN的词典版本，并通过模拟进行了验证。

2020-10-19cs.AIcs.LGcs.SY

基于强化学习的异质电池家庭能源管理与随机电动车行为

Reinforcement Learning-based Home Energy Management with Heterogeneous Batteries and Stochastic EV Behaviour

Victoria University of Wellington（惠灵顿维多利亚大学）；Chalmers University of Technology（查尔姆斯理工大学）；The University of Melbourne（墨尔本大学）；RMIT University（皇家墨尔本理工大学）

本文提出基于深度强化学习的家庭能源管理框架，考虑异质电池退化和随机电动车行为，通过约束马尔可夫决策过程和SAC算法实现优化，有效降低运行成本和电池退化。

2026-02-04cs.SYeess.SY

基于强化学习的混合整数最优控制：混合动力汽车能量管理的案例研究

Mixed-Integer Optimal Control via Reinforcement Learning: A Case Study on Hybrid Electric Vehicle Energy Management

Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院）；University of Waterloo（滑铁卢大学）

本文提出一种新型混合动作强化学习算法TD3AQ，用于解决混合整数最优控制问题，在PHEV能量管理案例中实现接近动态规划的最优控制且优于基线算法。

2024-05-31cs.AIcs.SYeess.SY

基于概率满意度保证的时序逻辑控制综合的强化学习

Reinforcement Learning for Temporal Logic Control Synthesis with Probabilistic Satisfaction Guarantees

University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）

强化学习（RL）已成为解决自动控制、计算机科学、经济学和生物学中复杂序列决策问题的一种有效方法。在本文中，我们提出了一个无模型的RL算法来合成控制策略，最大限度地满足高层次的控制目标的概率作为线性时序逻辑（LTL）公式。不确定性被认为是在工作空间的属性，工作空间的结构，和代理的行动，从而产生一个概率标记的马尔可夫决策过程（PL-MDP）与未知的图形结构和随机行为，这是更一般的情况下，比一个完全未知的MDP。我们首先将LTL规范转换为极限确定性Buchi自动机（LDBA），然后将其用于PL-MDP的即时产品中。此后，我们定义了一个同步的奖励功能的基础上接受条件的LDBA。最后，我们表明，RL算法提供了一个政策，最大限度地满足概率渐近。我们提供的实验结果表明，所提出的方法的效率。

2019-09-11cs.LGcs.LOcs.SY

EARL：基于强化学习的O-RAN无基站大规模MIMO网络中的节能自适应天线控制

EARL: Energy-Aware Adaptive Antenna Control with Reinforcement Learning in O-RAN Cell-Free Massive MIMO Networks

KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Surrey（萨里大学）

EARL通过强化学习动态配置天线元件，实现O-RAN无基站大规模MIMO网络中无线、光前传和云处理的节能优化，提升频谱效率并降低能耗。

2026-02-13cs.ITcs.SYeess.SP

基于交叉验证的近端学习用于基于模型的强化学习

Cross-fitted Proximal Learning for Model-Based Reinforcement Learning

Cornell University（康奈尔大学）

本文提出一种交叉验证的近端学习方法，用于解决基于模型的强化学习中因隐藏混淆导致的模型偏差问题，通过更高效利用数据提高估计精度。

2026-04-06cs.LGcs.SYeess.SY

安全强化学习中的分布偏移下的安全泛化：一个糖尿病测试平台

Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed

Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）

研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中，使用糖尿病管理作为测试平台，发现安全泛化差距并通过测试时屏蔽有效恢复安全性。

2026-05-24cs.AIcs.LGcs.SY

基于学习的LTL规格半MDP有界综合

Learning-based Bounded Synthesis for Semi-MDPs with LTL Specifications

这封信提出了一个基于学习的有界合成的半马尔可夫决策过程（SMDP）与线性时序逻辑（LTL）规范。在SMDP和从LTL规范转换的确定性$K$ -co-Büchi自动机（d $K$ cBA）的乘积中，我们基于强化学习和贝叶斯推理学习满足LTL规范的获胜区域和其中的动态。然后，我们合成满足以下两个条件的最优策略。(1)它最大化到达获胜区域的概率。(2)它最大限度地减少了获胜区域内停留时间的长期风险。长期风险的最小化是基于估计的动态和值迭代来完成的。我们表明，如果折扣因子是足够接近1，合成的政策收敛到最优政策的探索所获得的数据的数量走向无穷大。

2022-04-09cs.FLcs.SYeess.SY

使用基于记忆的干预的安全强化学习

Safe Reinforcement Learning Using Advantage-Based Intervention

Institute for Robotics and Intelligent Machines, Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）

许多序贯决策问题涉及到寻找一个策略，使总回报最大化，同时遵守安全约束。尽管最近的许多研究都集中在开发安全的强化学习（RL）算法，这些算法在训练后产生安全的策略，但确保训练期间的安全仍然是一个悬而未决的问题。一个基本的挑战是执行探索，同时仍然满足未知的马尔可夫决策过程（MDP）的约束。在这项工作中，我们解决这个问题的机会约束设置。我们提出了一个新的算法，SAILR，使用干预机制的基础上优势函数，以保持整个训练的代理安全和优化代理的政策，使用现成的RL算法设计的无约束MDPs。我们的方法在训练和部署期间都有很强的安全保证（即，在训练之后并且没有干预机制）以及与最优安全约束策略相比的策略性能。在我们的实验中，我们表明，SAILR在训练过程中违反的约束远远低于标准的安全RL和受约束的MDP方法，并收敛到一个性能良好的策略，可以安全地部署，而无需干预。我们的代码可在https://github.com/nolanwagener/safe_rl上获得。

2021-07-19cs.LGcs.ROcs.SY

面向非平稳XR数据流量的上下文感知约束强化学习高能效功率调度

Context-aware Constrained Reinforcement Learning Based Energy-Efficient Power Scheduling for Non-stationary XR Data Traffic

College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）

本文针对XR下行传输中非平稳流量下的高能效功率调度问题，提出上下文感知约束强化学习算法，通过上下文推断重塑奖励并采用CSSCA优化策略，在节能和丢包约束上优于基线。

2025-03-12cs.ETcs.LGcs.SY

LAPP：用于偏好驱动强化学习的大语言模型反馈

LAPP: Large Language Model Feedback for Preference-Driven Reinforcement Learning

Duke University（杜克大学）

LAPP利用大语言模型自动生成偏好标签，训练在线偏好预测器引导策略优化，实现高效、可定制的机器人行为学习，并在四足后空翻等动态任务中超越传统奖励方法。

2025-04-21cs.LGcs.ROcs.SY

基于优化理论的深度强化学习在超可靠无线网络控制系统资源分配中的应用

Optimization Theory Based Deep Reinforcement Learning for Resource Allocation in Ultra-Reliable Wireless Networked Control Systems

Koc University（科奇大学）

针对超可靠WNCS中控制与通信联合设计的低复杂度高可靠需求，提出结合优化理论与DRL的两阶段资源分配框架，仿真表明其性能接近最优且复杂度更低。

2023-12-19cs.AIcs.ITcs.SY