Off Policy Risk Sensitive Reinforcement Learning Based Optimal Tracking Control with Prescribe Performances
针对最优跟踪控制问题,提出了一种基于非策略强化学习的控制策略,使系统在学习过程中达到规定的全状态性能。将最优跟踪控制问题转化为基于辅助系统的最优调节问题。在一个优化框架下,将规定性能的要求转化为约束满足问题,并通过风险敏感的状态惩罚项来处理。为了得到Hamilton Jacobi Bellman方程的近似解,提出了一种结合当前数据和经验数据的非策略自适应批评学习结构。通过使用经验数据,建议的批评学习代理的权重估计更新律保证权重收敛到实际值。与一般的权值收敛需要引入外部信号以满足激励持续性条件的方法相比,该方法具有一定的实用性。给出了闭环系统稳定性和权值收敛性的证明。仿真结果验证了所提出的基于非策略风险敏感强化学习控制策略的有效性。
2020-08-31 cs.SY eess.SY
Reinforcement Learning for Accident Risk-Adaptive V2X Networking
随着互联和自动驾驶汽车在实践中变得越来越紧迫,车联网(V2X)通信的重要性也越来越大。关键的挑战是动态性:每辆车都需要识别周围环境的频繁变化,并将其应用于其联网行为。这就是机器学习的必要性。然而,由于学习本身也是动态的,这就要求学习框架本身必须根据环境具有弹性和灵活性。因此,本文提出了一种将强化学习(RL)集成到多址接入调度中的V2X网络框架。具体而言,学习机制被制定为多臂强盗(MAB)问题,这使得车辆,没有任何外部基础设施的帮助下,(i)学习环境,(ii)量化事故风险,以及(iii)根据风险调整其退避计数器。本文的结果表明,所提出的学习协议是能够(i)评估事故风险接近最佳和(ii)作为一个结果,产生一个更高的机会传输的危险车辆。
2020-04-06 cs.SY eess.SY
Optimal Observer Design Using Reinforcement Learning and Quadratic Neural Networks
本文提出利用强化学习策略迭代和二次神经网络设计最优观测器,通过凸优化训练QNN并解析导出线性修正项,以纠正线性化模型误差,并在单摆系统上验证了其对非线性系统的有效性。
2023-11-27 cs.SY eess.SY
Risk-Aware Reinforcement Learning through Optimal Transport Theory
Rochester Institute of Technology(罗切斯特理工学院)
本文将最优传输理论与强化学习结合,构建风险感知框架,通过修改目标函数引入风险约束,在最大化期望奖励的同时实现风险控制,为RL平衡奖励与风险提供了新方向。
2023-09-12 cs.LG cs.SY eess.SY
Ergodic-Risk Constrained Policy Optimization: The Linear Quadratic Case
本文提出遍历风险约束策略优化,将遍历风险准则引入LQR框架,并用原始-对偶方法在满足风险约束下优化平均性能,提升闭环系统对重尾过程噪声波动的鲁棒性。
2025-02-10 cs.SY eess.SY math.OC
Scalable Reinforcement Learning for Linear-Quadratic Control of Networks
本文针对网络化线性二次控制问题,利用空间指数衰减结构,设计了一种基于演员-评论家框架的分布式强化学习算法,仅用局部信息即可学习近最优控制器,并通过仿真验证了其有效性。
2024-03-13 cs.SY eess.SY
Imposing Robust Structured Control Constraint on Reinforcement Learning of Linear Quadratic Regulator
Pacific Northwest National Laboratory (PNNL)(太平洋西北国家实验室)
研究了状态矩阵未知的线性动态系统的结构反馈控制器的学习问题。控制器的结构约束是必要的许多信息物理系统,我们的方法提出了一个设计任何通用的结构,为分布式学习控制铺平了道路。强化学习(RL)的思想结合控制理论的充分稳定性和性能保证被用来开发的方法。首先,一个基于模型的框架,制定使用动态规划嵌入结构约束的线性二次型调节器(LQR)设置以及充分的鲁棒性条件。此后,我们将这些条件转化为基于数据驱动的学习框架-鲁棒结构化强化学习(RSRL),它在稳定性和收敛性方面具有控制理论保证。我们验证了我们的理论结果与模拟上的多智能体网络与6代理。
2021-02-19 cs.LG cs.SY eess.SY
Risk-Sensitive Soft Actor-Critic for Robust Deep Reinforcement Learning under Distribution Shifts
Technical University of Munich(慕尼黑工业大学);Google DeepMind(谷歌DeepMind)
针对运筹学中上下文多阶段随机组合优化问题的分布偏移,提出风险敏感的离散 Soft Actor-Critic 算法,推导相应 Bellman 方程并验证其鲁棒性优于基准方法。
2024-02-15 cs.LG cs.SY eess.SY
Risk-Constrained Linear-Quadratic Regulators
我们提出了一个新的风险约束的标准线性二次型调节器(LQR)问题的重新制定。我们的框架是出于这样一个事实,即经典的(风险中性)LQR控制器,虽然在预期中是最优的,可能是无效的,在相对罕见的,但统计上显着的(风险)事件。为了有效地在平均和极端事件性能之间进行交易,我们引入了一个新的风险约束,该约束通过用户指定的水平明确限制了状态惩罚的总预期预测方差。我们表明,在相当小的条件下的过程噪声(即,有限的四阶矩),最优的风险感知控制器可以显式地评估,并在封闭的形式。事实上,它是仿射的状态,并始终是内部稳定的参数调整无关。我们新的风险感知控制器:i)通过利用噪声的三阶矩(偏斜度)将状态推离噪声呈现重尾的方向; ii)在噪声协方差和状态惩罚两者同时大的风险方向上膨胀状态惩罚。建议的风险意识LQR框架的属性也说明了通过指示性的数值例子。
2020-10-29 cs.SY eess.SY math.OC
Risk-Aware Finite-Horizon Social Optimal Control of Mean-Field Coupled Linear-Quadratic Subsystems
本文研究平均场耦合线性二次子系统的风险感知社会最优控制,通过引入依赖扰动协方差和偏度的成本量化状态能量变异性,并提出利用具有解析性质的矩阵族从标准LQR解中提取平均场耦合解。
2024-06-07 cs.SY eess.SY math.OC
Steady-State Error Compensation for Reinforcement Learning with Quadratic Rewards
Shien-Ming Wu School of Intelligent Engineering South China University of Technology Guangzhou, China
针对二次型奖励强化学习中稳态误差大的问题,本文提出在奖励函数中引入积分项以利用奖励历史,并在ACC和车道变换任务上验证其能有效减小稳态误差且避免状态突变。
2024-04-01 cs.LG cs.SY eess.SY
State-Output Risk-Constrained Quadratic Control of Partially Observed Linear Systems
我们提出了一种方法来执行风险厌恶的二次调节的部分观测线性时不变(LTI)系统的过程和输出噪声干扰。为了补偿由于这两种类型的噪声引起的可变性,状态调节受到两个风险约束。后者使得所得到的控制器谨慎的随机干扰,通过限制统计变异性,即,一个简化版本的累积预期预测方差的状态和输出。我们提出的配方结果在一个最佳的风险规避政策,保留了良好的特性,经典的线性二次(LQ)控制。特别地,最优策略具有关于最小均方误差(mmse)估计的仿射结构。该策略的线性分量在风险较大的方向上更严格地调节状态,其中过程和输出噪声协方差、互协方差以及相应的惩罚同时较大。这是通过系统地“夸大”国家刑罚来实现的。附加的仿射项迫使状态对抗过程和输出扰动的纯三阶统计量和交叉三阶统计量顺序统计量。我们的最优策略的另一个有利的特点是,它可以预先离线计算,从而避免了以前的工作的限制。稳定性分析表明,无论参数整定如何,所得到的控制器始终是内稳定的。建议的风险规避政策的功能说明通过广泛的数值模拟通过一个工作的例子。
2022-04-18 cs.SY eess.SY math.OC
Risk-Sensitive Reinforcement Learning with Exponential Criteria
University of Maryland(马里兰大学);Institute for Systems Research(系统研究学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对强化学习对系统参数噪声和扰动敏感的问题,提出基于指数准则的风险敏感强化学习方法,以近似鲁棒策略,提升样本效率与鲁棒性,并在模拟实验中验证了方法性能。
2024-11-29 cs.AI cs.LG cs.SY
Infinite-horizon Risk-constrained Linear Quadratic Regulator with Average Cost
随机动力系统的行为可能在很大程度上受到这些低概率但极端事件的影响。为了解决这种情况,本文提出了一种具有时间平均成本的无限时域风险约束线性二次型调节器(LQR)框架。除了标准的LQR目标,状态惩罚的平均一阶段预测方差被限制在用户指定的水平内。通过利用对偶性,它的最优解首先被证明在状态中是平稳的和仿射的,即,$u(x,λ^*) = -K(λ^*)x + l(λ^*)$,其中$λ^*$是用于解决风险约束的最优乘数。然后,我们建立所得到的闭环系统的稳定性。此外,我们提出了一个原始-对偶方法与次线性收敛速度找到一个最优的政策$u(x,λ^*)$。最后,数值例子证明了所提出的框架和原始-对偶方法的有效性。
2021-03-29 cs.SY eess.SY math.OC
Risk and Anomaly Identification for Distribution Network Optimal Operation Based on Reinforcement Learning and Uncertainty Quantification
College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化工程学院)
针对配电网优化运行的联合风险与异常识别问题,提出显式感知不确定性的深度强化学习框架,分解不确定性为两类以分别表征风险与异常,仿真验证了方法的性能与有效性。
2026-09-04 cs.LG cs.MA cs.SY
Linear Quadratic Control with Risk Constraints
针对一般的部分可观测系统,提出了一种新的风险约束下的经典线性二次(LQ)随机控制问题。我们的框架的动机是这样一个事实,即风险中性LQ控制器,虽然在预期中是最优的,可能是无效的,在相对罕见的,但统计上显着的极端事件。为了有效地在平均和极端事件性能之间进行交易,我们引入了一个新的风险约束,该约束通过用户指定的水平明确限制了状态惩罚的总预期预测方差。我们表明,在一定条件下的过程噪声,最优的风险感知控制器可以显式和封闭的形式进行评估。事实上,它是仿射相对于最小均方误差(mmse)状态估计。仿射项通过利用噪声的三阶矩(偏斜度)将状态推离噪声呈现重尾的方向。线性项在风险更大的方向上更严格地调节状态,其中预测误差(条件)协方差和状态惩罚同时大;这是通过在新的滤波Riccati差分方程内膨胀状态惩罚来实现的。我们还证明了新的风险感知控制器是内部稳定的,无论参数调整,在特殊情况下,i)完全观测系统,和ii)部分观测系统与高斯噪声。最后通过数值例子说明了所提出的风险意识LQ框架的属性。
2021-12-14 cs.SY eess.SY math.OC
Regret Analysis for Risk-aware Linear Quadratic Control
本文研究了遗憾与分布鲁棒控制(DRC)策略,用于解决多级最优化问题,涉及的概率分布是不知道确切的,而是假设属于指定的模糊度家庭。我们量化的价格(分布遗憾),一个最终支付不知道确切的概率分布的随机系统的不确定性,而旨在控制它使用DRC策略。DRC策略的保守性是强大的最坏情况下的不确定性分布在所考虑的模糊度集的代价是缺乏知识的真实分布。我们使用最坏情况下的条件风险价值来定义分布后悔,发现后悔界随着风险水平的增加而增加。本文的目的是促进新的控制算法的设计,旨在最大限度地减少分配遗憾。
2022-12-01 cs.SY eess.SY math.OC
Data-Driven Continuous-Time LQR: Linking Reinforcement Learning and Behavioral System Theory
Institute of Control Systems, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院控制系统研究所)
本文研究了基于闭环和积分强化学习参数化的数据驱动连续时间线性二次调节器问题,提出数据驱动的连续时间代数黎卡提方程和凸优化方法。
2026-11-09 cs.SY eess.SY math.OC
Deep Reinforcement Learning for Advanced Longitudinal Control and Collision Avoidance in High-Risk Driving Scenarios
College of Engineering, University of Maryland(马里兰大学工程学院)
针对现有高级驾驶辅助系统易忽视后车风险、难以应对高速密集车流中连环碰撞的问题,提出一种同时考虑前后车行为的深度强化学习纵向避撞算法,仿真验证其可有效预防含重型车辆在内的连环碰撞。
2025-02-21 cs.AI cs.LG cs.RO
Optimism as Risk-Seeking in Multi-Agent Reinforcement Learning
Laboratory for Information & Decision Systems, Massachusetts Institute of Technology(信息与决策系统实验室,麻省理工学院);Harvard University(哈佛大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对协作式多智能体强化学习中风险规避导致次优均衡的问题,基于凸风险度量对偶表示提出原则性框架,将风险寻求目标解释为乐观主义,推导策略梯度定理并开发去中心化算法,实证表明其持续改善协调。
2025-11-11 cs.LG cs.SY eess.SY
On the Solvability of Risk-Sensitive Linear-Quadratic Mean-Field Games
KTH Royal Institute of Technology(瑞典皇家理工学院);New York University(纽约大学)
本文研究了由线性随机动力学和二次或指数二次成本函数描述的均场博弈,通过平方完成和测度变换方法显式求解玩家最优策略,不依赖传统方法,提供了风险敏感Riccati方程额外项的解释,并得出了均场均衡存在的充分条件。
2014-11-26 cs.GT cs.SY eess.SY
Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty
本文研究了在熵正则化探索扩散过程中,连续时间风险敏感强化学习的指数形式目标。通过鞅视角,将风险敏感RL问题转化为保证价值函数和q函数过程的鞅性质,并通过二次变分惩罚项来捕捉轨迹上的价值变化。
2026-03-15 cs.LG cs.SY eess.SY
Distributed Reinforcement Learning for Decentralized Linear Quadratic Control: A Derivative-Free Policy Optimization Approach
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
研究了具有部分状态观测和局部代价的分散线性二次型控制的分布式强化学习问题。我们提出了一个零阶分布式策略优化算法(ZODPO),学习线性局部控制器在分布式的方式,利用策略梯度,零阶优化和共识算法的思想。在ZODPO中,每个代理通过一致性估计全局成本,然后基于零阶梯度估计并行执行局部策略梯度。即使在大规模系统中,ZODPO也只需要有限的通信和存储。此外,我们调查的非渐近性能的ZODPO,并表明,样本的复杂性,以接近一个平稳点是多项式的误差容限的逆和问题的尺寸,展示了ZODPO的可扩展性。我们还表明,整个ZODPO产生的控制器是稳定的控制器具有很高的概率。最后,我们在多区域HVAC系统上对ZODPO进行了数值测试。
2020-10-23 cs.LG cs.SY eess.SY
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University(纽约大学)
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说,我们重新审视离散时间线性二次调节(LQR)的基准问题,并研究长期存在的开放问题:在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看?利用控制理论中的先进稳定性结果,证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性,并且具有小干扰输入-状态稳定性:只要每次迭代中的误差有界且小,策略迭代算法的解也有界,并且进入并停留在最优LQR解的一个小邻域内.作为应用,当系统动态受到加性随机干扰时,提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
A Transfer Learning Approach to Minimize Reinforcement Learning Risks in Energy Optimization for Smart Buildings
Toronto Metropolitan University(多伦多都会大学)
本文提出ReLBOT技术,通过迁移学习与深度强化学习结合,将既有优化建筑的知识迁移至新智能建筑,有效减少RL智能体预热期带来的不适风险,实现预热时长缩短6.2倍、预测方差降低132倍的显著提升。
2023-08-02 cs.AI cs.LG cs.SY
Cautious Reinforcement Learning via Distributional Risk in the Dual Domain
University of Minnesota(明尼苏达大学);US Army Research Laboratory(美国陆军研究实验室);Princeton University(普林斯顿大学)
研究了由状态和动作空间可数有限的马尔可夫决策过程(MDP)定义的强化学习问题中的风险敏感策略估计问题。先前的努力主要受到与风险敏感的MDP是时间不一致的事实相关联的计算挑战的困扰。为了改善这个问题,我们提出了一个新的风险定义,我们称之为谨慎,作为一个惩罚函数添加到强化学习的线性规划(LP)制定的双重目标。谨慎措施的分布风险的政策,这是一个功能的政策的长期状态占用分布。为了解决这个问题,在一个在线的无模型的方式,我们提出了一个随机变量的原始对偶方法,使用Kullback-Lieber(KL)分歧作为其近端。我们建立,达到近似最优解的方案所需的迭代/样本的数量匹配紧依赖于状态和动作空间的基数,但在其依赖于风险度量的梯度的无穷范数不同。实验表明,这种方法的优点,提高了奖励积累的可靠性,而无需额外的计算负担。
2020-02-27 cs.AI cs.LG cs.SY
Risk Sensitivity in Markov Games and Multi-Agent Reinforcement Learning: A Systematic Review
School of Electrical and Computer Engineering, University of Tehran(德黑兰大学电气与计算机工程学院)
本文系统综述了马尔可夫博弈与多智能体强化学习中的风险敏感性研究,梳理并数学定义了各类风险度量及其应用文献,同时总结了当前研究趋势与未来方向。
2024-06-10 cs.GT cs.LG cs.MA
Reinforcement Learning in Non-Stationary Discrete-Time Linear-Quadratic Mean-Field Games
Coordinated Science Laboratory, University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校协同科学实验室)
在本文中,我们研究了离散时间线性二次平均场博弈(LQ-MFG)背景下的大种群多智能体强化学习(RL)。我们的设置不同于大多数现有的工作RL的MFG,因为我们认为一个非平稳的MFG在无限的地平线。我们提出了一个演员评论家算法迭代计算的平均场平衡(MFE)的LQ-MFG。存在两个主要挑战:i)MFG的非平稳性引起线性二次跟踪问题,这需要求解时间上的向后(非因果)方程不能通过标准(因果)RL算法求解; ii)许多RL算法假设状态是从马尔可夫链(MC)的平稳分布中采样的,也就是说,该链已经是混合的,不满足真实数据源的假设。我们首先确定,平均场轨迹遵循线性动力学,使问题被重新表述为线性二次高斯问题。根据这种重新制定,我们提出了一个演员批评的算法,允许从一个未混合的MC的样本。然后提供算法的样本收敛保证。为了描述我们的算法在多智能体RL中的性能,我们已经开发了一个关于有限种群博弈的纳什均衡的误差界。
2020-10-01 cs.GT cs.LG cs.SY
Deep Reinforcement Learning with Linear Quadratic Regulator Regions
University of California Los Angeles(加利福尼亚大学洛杉矶分校)
从业者通常依赖于计算密集型域随机化来确保在模拟中训练的强化学习策略可以稳健地转移到现实世界中。然而,由于真实系统中未建模的非线性,即使这样的模拟策略仍然不能足够稳定地执行以获得真实环境中的经验。在本文中,我们提出了一种新的方法,保证了一个稳定的吸引力区域的输出的政策训练模拟,即使是高度非线性系统。我们的核心技术是使用“偏置移位”神经网络来构造控制器并在模拟器中训练网络。修改后的神经网络不仅捕捉系统的非线性,但也可证明保持在一定区域的状态空间的线性,因此可以调整类似于一个线性二次调节器,已知是稳定的真实系统。我们已经测试了我们的新方法,将模拟政策的摆动倒立摆到真实系统,并证明了其有效性。
2020-02-26 cs.AI cs.LG cs.RO
Linear Exponential Quadratic Gaussian Covariance Steering
Iowa State University(爱荷华州立大学)
本文提出并分析连续时间LEQG协方差转向问题,证明最优控制器由对称矩阵参数化,推广风险中性结果,并证明匹配噪声情形下解的存在唯一性。
2026-09-14 cs.AI cs.LG cs.SY