Towards Safe Reinforcement Learning Using NMPC and Policy Gradients: Part I - Stochastic case
本文提出一种基于 actor-critic 和鲁棒 NMPC 的随机策略梯度部署方法,通过参数化优化与硬约束在连续空间中有效解决安全策略的采样评估难题,并确保学习全过程的系统安全性。
2019-06-10 cs.SY eess.SY
Towards Safe Reinforcement Learning Using NMPC and Policy Gradients: Part II - Deterministic Case
本文提出一种基于actor-critic的确定性策略梯度方法,通过参数化优化问题与硬约束保障安全,解决了连续输入空间探索的技术困难,并详细构建了鲁棒线性MPC下的安全方案。
2019-06-10 cs.SY eess.SY
Approximate Robust NMPC using Reinforcement Learning
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
提出了一种基于强化学习的鲁棒非线性模型预测控制(RL-RNMPC)框架,用于控制存在干扰和不确定性的非线性系统。采用一种低计算复杂度的近似鲁棒非线性模型预测控制(RNMPC),其中状态轨迹的不确定性通过椭球来建模。然后使用强化学习来处理椭圆近似,并通过调整生成椭圆的MPC参数来提高该方案的闭环性能。该方法进行了测试模拟轮式移动机器人(WMR)跟踪所需的轨迹,同时避免静态障碍物。
2021-04-06 cs.LG cs.RO cs.SY
Stabilizing NMPC Approaches for Underactuated Mechanical Systems on the SE(3) Manifold
CEFET–MG(巴西联邦职业技术教育中心);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学)
本文提出两种NMPC方法,用于在SE(3)流形上稳定欠驱动机械系统的运动控制,通过数值实验验证其有效性。
2025-12-27 cs.SY eess.SY
Optimal Design of Experiment for Electrochemical Parameter Identification of Li-ion Battery via Deep Reinforcement Learning
本文提出结合深度强化学习与最优实验设计的方法,利用TD3算法优化激励,以提升锂离子电池电化学参数辨识的精度和效率,相比NMPC和常规测试具有更高信息量和更低误差。
2025-06-23 cs.SY eess.SY
Energy-Aware Path Following: Comparative Analysis of Reinforcement Learning and NMPC for Electric Vehicles
Najran University(纳吉兰大学);University of the Bundeswehr Munich(慕尼黑联邦国防军大学)
本研究对比了电动汽车路径跟踪中NMPC与PPO等四种控制器,利用VT-CPEM能量模型,验证了PPO策略可零样本迁移至新轨迹和动态模型,并兼顾路径偏差与能量回收。
2026-10-07 cs.LG cs.RO cs.SY
Re4MPC: Reactive Nonlinear MPC for Multi-model Motion Planning via Deep Reinforcement Learning
Northeastern University(东北大学);Institute for Experiential Robotics(体验机器人研究所);Toyota Research Institute (TRI)(丰田研究院);Amazon Scholar(亚马逊学者)
本文提出 Re4MPC,用深度强化学习根据任务和状态反应式选择 NMPC 的模型、代价与约束,在移动操作机器人仿真中提升了计算效率和末端执行器目标到达成功率。
2025-06-10 cs.AI cs.LG cs.RO
Economic Nonlinear Model Predictive Control for Microgrids with Generator Up and Downtime Constraints
CERN(欧洲核子研究组织);Freiburg University(弗赖堡大学);Heidelberg University(海德堡大学);Siemens AG(西门子股份公司)
针对含离散决策变量的微电网多阶段最优潮流问题,提出用凸二次近似替代非线性AC潮流方程,并引入附加时间耦合约束保证递归可行性,实现经济NMPC的稳定控制。
2026-05-26 cs.SY eess.SY math.OC
Hybrid Gaussian Process Modeling Applied to Economic Stochastic Model Predictive Control of Batch Processes
Norwegian University of Science and Technology(挪威科技大学);BASF SE(巴斯夫公司);Imperial College London(帝国理工学院)
非线性模型预测控制(NMPC)是一种有效的控制方法,用于控制具有约束的非线性多变量动态系统,但这需要精确的对象模型。植物模型通常可以从第一原理确定,然而,模型的一部分很难单独使用物理定律导出。在本文中,混合高斯过程(GP)的第一性原理建模方案,提出了克服这个问题,它利用GP模型的动态系统的部分,很难描述使用第一性原理。GPS不仅给出了准确的预测,而且还量化了该模型的剩余不确定性。在控制算法中考虑这种不确定性是至关重要的,以防止违反约束和性能恶化。离线生成GP的Monte Carlo样本,以收紧NMPC的约束,从而在线确保联合概率约束满足。我们的方法的优点包括快速的在线评估时间,在线学习减轻保守性的可能性,并利用GP的灵活性和第一原理模型的数据效率。该算法进行了验证,涉及一个具有挑战性的半分批生物反应器的案例研究。
2021-08-14 cs.LG cs.SY eess.SY
Fuel-Economical Distributed Model Predictive Control for Heavy-Duty Truck Platoon
针对同质重型卡车车队提出了一种燃油经济性分布式模型预测控制设计方案。所提出的控制策略集成了燃料最优控制策略的领导卡车与分布式编队控制的重型卡车队列中的以下卡车。燃料最优控制策略是通过非线性模型预测控制(NMPC)设计与瞬时燃料消耗模型来实现的。所提出的燃料最优控制策略利用前交通的预览信息,以实现燃料经济的速度规划,避免能源效率低下的机动,特别是在瞬态交通条件下。分布式编队控制采用串行分布式模型预测控制(DMPC)策略,保证了编队的局部稳定性和串级稳定性。在DMPC策略中,每辆跟随的卡车通过车辆连通性获得其前车的未来预测状态信息,然后应用局部最优控制来保持恒定的间距。仿真研究进行调查的燃油经济性所提出的控制策略的性能,并验证在现实的交通情况下的本地和字符串的稳定性的队列。与人操纵的车队和基准编队控制的车队相比,所提出的生态DMPC显着提高了燃油经济性和道路利用率。
2022-01-28 cs.SY eess.SY
Voltage Restoration in MVDC Shipboard Microgrids with Economic Nonlinear Model Predictive Control
本文针对海军中压直流微电网电压恢复与功率分配问题,提出结合复杂下垂控制的非线性模型预测控制策略,实现超级电容器承担高频脉冲负载、电池与辅助发电机分担稳态负载,并通过降阶模型与多目标约束优化验证其有效性。
2024-05-02 cs.SY eess.SY
PC-Gym: Benchmark Environments For Process Control Problems
PC-Gym是面向化工过程控制的RL算法开发与评估开源工具,含模拟非线性动力学等特性的环境,支持与NMPC对比,案例验证其对多类化工系统的有效性,揭示RL与NMPC的性能差距以助力基准测试与研究加速。
2024-12-05 cs.SY eess.SY
Practical Reinforcement Learning of Stabilizing Economic MPC
IMT School for Advanced Studies Lucca(卢卡高等研究院);Chalmers University of Technology(查尔姆斯理工大学)
本文提出一种改进的强化学习算法用于MPC,通过结合强化学习和MPC的优势,解决MPC模型不准确导致闭环性能不佳的问题,并在具有挑战性的示例中进行了仿真测试。
2019-04-09 cs.SY eess.SY
Tube-based robust nonlinear model predictive control of anaerobic co-digestion
DEIB, Politecnico di Milano(米兰理工大学DEIB);SECO Group, University of Mons(蒙斯大学SECO团队)
本研究提出基于管状的鲁棒非线性模型预测控制方法,用于调节厌氧共消化过程中的生物甲烷生产,以应对饮食变化并确保安全运行。
2026-01-03 cs.SY eess.SY
Reinforcement Learning-based Control via Y-wise Affine Neural Networks: Comparative Case Studies for Chemical Processes
Department of Chemical and Biomedical Engineering(化学与生物医学工程系)
本文提出了一种高效且实用的强化学习控制方法,用于化学过程系统,通过Y-wise Affine Neural Network (YANN)-RL算法解决信任RL算法和训练可靠智能体的挑战,并在三个公开的化学工程案例研究中展示了其在减少训练时间和数据需求方面的优势。
2026-05-20 cs.LG cs.SY eess.SY
Leveraging Reinforcement Learning and Koopman Theory for Enhanced Model Predictive Control Performance
本研究结合Koopman理论与深度强化学习(采用PPO算法)提出创新MPC方法,经NMPC和eNMPC案例验证,该控制器在稳定性、约束满足度和成本节约上均优于传统控制器。
2025-05-17 cs.SY eess.SY
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
在本文中,我们感兴趣的最优控制问题的纯经济成本,这往往会产生最优的政策具有(近)bang-bang结构。我们专注于基于模型预测控制(MPC)的政策近似和使用的确定性策略梯度方法来优化MPC的闭环性能,在存在未建模的随机性或模型误差。当策略具有(接近)bang-bang结构时,我们观察到策略梯度方法可能难以在策略参数中产生有意义的步骤。为了解决这个问题,我们提出了一个同伦策略的基础上的邻域点的方法,提供了一个放松的政策在学习过程中。我们调查了一个特定的众所周知的电池存储问题,并表明,所提出的方法提供了一个均匀的和更快的学习比经典的策略梯度方法。
2021-04-06 cs.LG cs.SY eess.SY
Stable Reinforcement Learning for Optimal Frequency Control: A Distributed Averaging-Based Integral Approach
频率控制对电力系统的可靠运行起着至关重要的作用。通常以分级方式执行,首先快速稳定频偏,然后缓慢恢复标称频率。然而,随着发电混合从同步发电机转移到可再生资源,电力系统经历更大和更快的频率波动,由于惯性的损失,这不利地影响频率稳定性。这激发了对在快速时间尺度内联合解决频率退化和经济效率的算法的积极研究,其中基于分布式平均的积分(DAI)控制是一种值得注意的算法,其将可控功率注入设置成与频偏和经济效率低下信号的积分成正比。然而,DAI通常不考虑功率扰动后系统的瞬态性能,并且被限制为二次运算代价函数。本文旨在利用非线性最优控制器,同时实现最优的瞬态频率控制,并找到最经济的电力调度频率恢复。为此,我们将强化学习(RL)集成到经典的DAI中,从而产生RL-DAI。具体而言,我们使用RL学习基于神经网络的控制策略映射从DAI的积分变量的可控功率注入,提供最佳的瞬态频率控制,而DAI固有地确保频率恢复和最佳的经济调度。与现有的方法相比,我们提供了可证明的保证学习控制器的稳定性和扩展允许的代价函数到一个更大的类。39总线新英格兰系统上的仿真说明了我们的结果。
2022-05-01 cs.SY eess.SY
Evaluation of Look-ahead Economic Dispatch Using Reinforcement Learning
Tsinghua University(清华大学)
现代电力系统正在经历由可再生能源驱动的各种挑战,这要求开发新的调度方法,如强化学习(RL)。这些方法以及RL代理的评估在很大程度上正在探索中。在本文中,我们提出了一种评估方法来分析性能的RL代理前瞻性的经济调度方案。这种方法是通过扫描多个操作场景来进行的。特别是,场景生成方法被开发用于生成网络场景和需求场景以用于评估,并且网络结构根据潮流的变化率被聚合。然后从经济性和安全性的角度定义了几个指标来评估代理的性能。在案例研究中,我们使用一个修改后的IEEE 30节点系统来说明所提出的评估方法的有效性,和仿真结果显示良好和快速适应不同的情况。不同强化学习代理之间的比较也是有益的,为更好地设计学习策略提供建议。
2022-09-21 cs.AI cs.SY eess.SY
A Reinforcement Learning-based Economic Model Predictive Control Framework for Autonomous Operation of Chemical Reactors
KAUST(阿卜杜拉国王科技大学)
本研究针对经济模型预测控制依赖模型精度、纯强化学习控制存安全稳定性问题,提出二者结合的非线性系统在线参数估计框架,在保障闭环稳定的同时优化过程,推动反应器自主运行落地。
2021-05-06 cs.LG cs.SY eess.SY
Contingency-constrained economic dispatch with safe reinforcement learning
Technical University of Munich(慕尼黑工业大学)
针对未来微电网中高不确定性和安全挑战,提出一种形式化验证的强化学习经济调度控制器,通过安全层和约束区域投影确保动作安全,并在实际住宅数据中验证。
2024-07-16 cs.AI cs.LG cs.SY
Economic Battery Storage Dispatch with Deep Reinforcement Learning from Rule-Based Demonstrations
McGill University(麦吉尔大学);Siemens Energy Canada Limited(西门子能源加拿大有限公司)
针对经济型电池调度中奖励延迟导致深度强化学习训练困难的问题,本文提出在SAC中引入基于简单规则生成的演示数据进行学习,在微电网案例中显著提升了样本效率和最终奖励,且方法对规则选择具有鲁棒性。
2025-04-06 cs.LG cs.SY eess.SY
Independent policy gradient-based reinforcement learning for economic and reliable energy management of multi-microgrid systems
School of Mechanical and Electrical Engineering, Shenzhen Polytechnic University(机械与电气工程学院,深圳职业技术大学);School of Business, Sun Yat-Sen University(商学院,中山大学)
本文提出了一种基于独立策略梯度的分布式强化学习方法,用于解决多微电网系统的经济可靠能源管理问题,通过均值-方差团队随机博弈模型实现去中心化策略优化。
2025-11-26 cs.LG cs.SY eess.SY
Optimal Economic Gas Turbine Dispatch with Deep Reinforcement Learning
McGill University(麦吉尔大学);Siemens Energy Canada Limited(西门子能源加拿大有限公司)
本研究利用深度强化学习(DQN、PPO等)解决燃气轮机经济调度问题,在加拿大案例中集成热力学软件并动态分配运维成本,实现更真实、高效的调度策略。
2023-08-28 cs.AI cs.LG cs.SY
Profit Maximization for Electric Vehicle Charging Stations Using Multiagent Reinforcement Learning
National Tsing Hua University(国立清华大学);Deakin University(迪肯大学)
本文提出基于双超网络 QMIX 的多智能体强化学习框架,用于优化电动汽车充电站的利润最大化,通过引入内部能源交易机制提升经济性和运营效率。
2026-01-17 cs.SY eess.SY
A Scalable Learned Iterative Solver for Nonlinear MPC via Temporal Decomposition
TU Dortmund University(多特蒙德工业大学)
该研究针对非线性模型预测控制(NMPC)求解成本高的问题,提出基于时间分解的可扩展学习型迭代求解器,在CSTR级联基准测试中实现最高4倍加速,控制性能与IPOPT相当且无约束违反。
2026-10-12 cs.LG cs.SY eess.SY
Optimal Management of the Peak Power Penalty for Smart Grids Using MPC-based Reinforcement Learning
配电基础设施的成本由系统中遇到的峰值功率驱动。因此,配电网络运营商考虑在公共Transformer后面的消费者在其峰值需求的功能中计费,并且将其留给消费者来管理其集体成本。然而,这个管理问题并不是微不足道的。在本文中,我们考虑了一个多代理的住宅智能电网系统,其中每个代理有本地的可再生能源生产和能量存储,所有的代理连接到一个本地的Transformer。我们的目标是制定一个最佳的政策,最大限度地减少经济成本,包括现货市场成本为每个消费者和他们的集体峰值电力成本。我们建议使用一个参数模型预测控制(MPC)计划,以近似的最优策略。该策略的最优性受限于其有限的时域和对当地电力生产-消费的不准确预测。采用确定性策略梯度(DPG)方法调整MPC参数,改进策略。仿真结果表明,提出的基于MPC的强化学习(RL)方法可以有效地降低该智能电网问题的长期经济成本。
2021-08-05 cs.SY eess.SY
Optimizing the switching operation in monoclonal antibody production: Economic MPC and reinforcement learning
University of Alberta(阿尔伯塔大学)
针对单克隆抗体连续生产中捕获柱切换的离散优化难题,本文提出sigmoid函数近似、ReLU近似两种经济MPC高效实现方法及深度强化学习方法,并与传统1%穿透规则切换策略进行比较,以提升计算可行性和生产性能。
2023-08-07 cs.LG cs.SY eess.SY
Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control
Wageningen University & Research(瓦赫宁根大学与研究);Delft Center for Systems and Control (DCSC), Delft University of Technology(代尔夫特理工大学系统与控制中心);Wageningen Research(瓦赫宁根研究)
研究温室水果生产控制问题,提出轨迹选择RL-MPC框架,将水果产量长期经济信息融入短期MPC优化,通过定义终端约束和成本求解优化问题,应用于大型温室番茄模型,提升了控制性能。
2026-07-09 cs.SY eess.SY math.OC
Reinforcement Learning based on Scenario-tree MPC for ASVs
在本文中,我们提出了使用基于鲁棒模型预测控制(RMPC)的强化学习(RL)的自主水面车辆(ASV)的控制。RL-MPC策略用于避障和目标(设定点)跟踪。针对船舶推进器可能出现的故障,提出了一种基于神经树的鲁棒预测控制算法。此外,风和海流被认为是未知的随机干扰在实际系统中,这是通过收紧约束处理。通过RL使用Q学习技术来调整紧固和其他成本参数。考虑了经济成本,最大限度地减少了实现船舶任务所需的时间和能量。该方法是在模拟上的一个非线性3自由度模型的比例版本的赛博飞船2。
2021-10-23 cs.SY eess.SY
Multi-agent Battery Storage Management using MPC-based Reinforcement Learning
在本文中,我们提出了使用模型预测控制(MPC)的强化学习(RL)的基础上找到最佳的政策,多智能体电池存储系统。考虑了电力价格和生产需求不确定性的时变预测。我们专注于优化经济目标成本,同时避免非常低或非常高的充电状态,这可能会损坏电池。我们考虑了由主电网提供的有界功率和对每个代理的功率输入和状态的约束。一个参数化的MPC方案被用作确定性策略梯度方法的函数逼近器,RL通过更新参数来优化闭环性能。仿真结果表明,该方法能够解决约束条件,并提供最优策略。
2021-06-07 cs.SY eess.SY
The Economic Dispatch of Power-to-Gas Systems with Deep Reinforcement Learning:Tackling the Challenge of Delayed Rewards with Long-Term Energy Storage
McGill University(麦吉尔大学);Siemens Energy(西门子能源)
针对P2G长期储能带来的延迟奖励难题,本文改进Deep Q-Networks与PPO,通过预测、奖励惩罚和策略性成本计算提升经济调度性能。
2025-06-06 cs.AI cs.LG cs.SY
Why Reinforcement Learning in Energy Systems Needs Explanations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对经济发展下基础设施复杂性增加及能源转型需求,本文探讨能源系统中强化学习的应用局限,提出模型解释可提升其说服力与实用性。
2024-05-29 cs.AI cs.SY eess.SY
Verification of Dissipativity and Evaluation of Storage Function in Economic Nonlinear MPC using Q-Learning
在经济非线性模型预测(ENMPC)的背景下,闭环稳定性与满足耗散不等式的存储函数的存在性有关。寻找存储函数一般来说-对于非线性动力学和成本-具有挑战性,最近引起了人们的关注。Q学习是一种著名的强化学习(RL)技术,它试图根据系统的状态输入转换和阶段成本来捕获动作值函数。在本文中,我们提出了使用Q-学习方法来获得的存储功能和验证的耗散性的离散时间系统的状态输入约束。我们表明,当参数化足够丰富时,非折扣Q学习能够捕获耗散问题的存储函数。所提出的方法的效率将在不同的案例研究中说明。
2021-10-25 cs.SY eess.SY math.OC
Optimal Energy Storage Scheduling for Wind Curtailment Reduction and Energy Arbitrage: A Deep Reinforcement Learning Approach
Monash University(莫纳什大学)
本文提出一种基于深度强化学习的风储联合竞价框架,通过解耦共址系统市场参与,实现电池储能系统同时减少弃风与能量套利,从而最大化现货市场整体收入并提升经济可行性。
2023-04-05 cs.LG cs.SY eess.SY
On Training Effective Reinforcement Learning Agents for Real-time Power Grid Operation and Control
如何快速有效地协调控制仍然是影响当今大规模电网安全经济运行的重大挑战。本文提出了一种新的人工智能(AI)为基础的方法来实现多目标实时电网控制的现实世界的实施。采用最新的非策略强化学习(RL)算法,软行动者-评论者(SAC),通过多线程离线训练和周期在线训练来训练AI智能体,以在不违反线路热约束的情况下调节电压和传输损耗。开发了一个软件原型,并部署在国家电网江苏省电力公司控制中心,每5分钟与他们的能量管理系统(EMS)进行交互。大量的数值研究,使用实际的电网快照在实时环境中验证了所提出的方法的有效性。训练有素的SAC代理可以学习提供有效的亚秒级控制动作,以调节电压曲线并减少传输损耗。
2020-12-11 cs.SY eess.SY math.OC
UAV aided Metaverse over Wireless Communications: A Reinforcement Learning Approach
Nanyang Technological University(南洋理工大学);University of North Texas(北德克萨斯大学)
Metaverse有望在5G高数据速率通信技术的支持下,创造一个与现实紧密相连的虚拟世界,为用户提供身临其境的体验。物理世界中的大量数据需要同步到虚拟世界,为用户提供沉浸式体验,并且将更多用户纳入Metaverse对覆盖率提出更高要求。然而,5G信号遭受严重衰减,这使得维持相同覆盖范围的成本更高。无人机(UAV)是未来实现Metaverse作为低成本和高移动性通信设备平台的一种有前途的候选技术。本文提出了一种基于最近策略优化(PPO)的双智能体协同强化学习方法,用于无人机的信道分配和轨迹控制,实现从物理世界到虚拟世界的数据收集和同步,经济地扩大Metaverse服务的覆盖范围。仿真结果表明,我们提出的方法是能够实现更好的性能相比,基准方法。
2023-01-04 cs.LG cs.SY eess.SY
Reinforcement Learning for Temporal Logic Control Synthesis with Probabilistic Satisfaction Guarantees
University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学)
强化学习(RL)已成为解决自动控制、计算机科学、经济学和生物学中复杂序列决策问题的一种有效方法。在本文中,我们提出了一个无模型的RL算法来合成控制策略,最大限度地满足高层次的控制目标的概率作为线性时序逻辑(LTL)公式。不确定性被认为是在工作空间的属性,工作空间的结构,和代理的行动,从而产生一个概率标记的马尔可夫决策过程(PL-MDP)与未知的图形结构和随机行为,这是更一般的情况下,比一个完全未知的MDP。我们首先将LTL规范转换为极限确定性Buchi自动机(LDBA),然后将其用于PL-MDP的即时产品中。此后,我们定义了一个同步的奖励功能的基础上接受条件的LDBA。最后,我们表明,RL算法提供了一个政策,最大限度地满足概率渐近。我们提供的实验结果表明,所提出的方法的效率。
2019-09-11 cs.LG cs.LO cs.SY