Probabilistic Assessment of Rare Transient Instability Events via Kriging-based Active Learning Framework
McGill University(麦吉尔大学);University of Alberta(阿尔伯塔大学)
本文提出基于Kriging的主动学习框架,用于准确表征输入不确定性空间中的罕见不稳定性区域,并估计相关的小概率不稳定性,同时仅需少量昂贵的时间域模拟。
2026-05-07 cs.SY eess.SY
Towards Probabilistic Dynamic Security Assessment and Enhancement of Large Power Systems
本文提出了一种考虑负荷变化、N-2故障及保护系统不确定行为的电力系统概率动态安全评估与提升方法,通过采样运行条件并应用统计指标和可解释机器学习技术,在73母线系统上验证了其有效性和可扩展性。
2025-05-02 cs.SY eess.SY
Probabilistic Stability Assessment for Active Distribution Grids
本文论证了概率稳定性评估的概念,在大信号稳定的使用情况下,在一个积极的配电网短路。在这里,生存能力的概念,它扩展了经典的稳定性评估,通过评估的稳定性和操作限制在瞬态范围广泛的操作点和故障。为此,一个免费的,开源的,计算效率高的环境(朱莉娅)的动态模拟电网被用来证明其能力。该模型的实现验证了建立商业软件和偏差是最小的潮流和动态simulations.Results的大规模生存性分析揭示了i)广泛的应用领域的概率稳定分析和ii),新的非直观的稳定相关性可以得到。因此,所提出的方法显示出强大的潜力,有效地进行电力系统稳定性分析,在主动配电网。
2021-06-17 cs.SY eess.SY nlin.AO
Probabilistically safe and efficient model-based reinforcement learning
该研究提出一种基于采样的模型驱动强化学习方法,融合概率控制屏障函数与可学习终端代价的模型预测控制,在保障安全和性能的同时降低了安全关键随机强化学习任务的计算开销。
2025-07-29 cs.SY eess.SY
Probabilistic Reachability Analysis of Multi-scale Voltage Dynamics Using Reinforcement Learning
University of Hyogo(兵库大学);Fraunhofer IEE(弗劳恩霍夫电气能源系统集成研究所)
本文提出基于深度强化学习的框架,用于多尺度电压动态的概率可达性分析,通过建模不稳定性机制并统一学习风险概率,有效识别电压崩溃的机制。
2026-02-14 cs.SY eess.SY
Probabilistic Charging Power Forecast of EVCS: Reinforcement Learning Assisted Deep Learning Approach
随着大规模交通运输的发展,电动汽车(EV)和电动汽车充电站(EVCS)得到了广泛部署。然而,由于电动汽车的充电行为表现出很大的不确定性,电动汽车充电功率的预测是不平凡的。本文通过提出一种用于概率EVCS充电功率预测的强化学习辅助深度学习框架来解决这个问题,以捕获其不确定性。由于EVCS充电功率数据不是像电力负荷那样的标准时间序列数据,因此它们首先被转换为时间序列格式。在此基础上,使用最流行的深度学习模型之一,长短期记忆(LSTM)并进行训练,以获得EVCS充电功率的点预测。为了进一步捕捉预测的不确定性,采用马尔可夫决策过程(MDP)对LSTM单元状态的变化进行建模,并通过我们提出的基于强化学习的自适应探索邻近策略优化(AePPO)算法来解决。最后,分别对美国加州理工学院和喷气推进实验室的EVCS实际充电数据进行了实验。结果和对比分析验证了我们提出的框架的有效性和优越性。
2022-04-17 cs.SY eess.SY
Optimization-based framework for low-voltage grid reinforcement assessment under various levels of flexibility and coordination
本文提出一个面向低压配电层级多模态能源系统的多层优化框架,用于评估电网强化需求以及灵活性与协调的技术经济效益,并通过德国农村电网案例表明灵活运行与协调结合可显著降低峰值甚至完全避免电网强化。
2023-04-19 cs.SY eess.SY
Probabilistically Guaranteed Satisfaction of Temporal Logic Constraints During Reinforcement Learning
University of Minnesota(明尼苏达大学)
我们提出了一种新的约束强化学习方法,在马尔可夫决策过程中找到最优的政策,同时满足时间逻辑约束,在整个学习过程中所需的概率。提出了一种自动机理论的方法,以确保概率满足的约束,在每一集,这是不同的惩罚违规,以达到约束满足后,足够大的情节。所提出的方法是基于计算约束满足的概率的下限,并根据需要调整探索行为。我们提出的概率约束满足所提出的方法实现的理论结果。我们还在无人机场景中数值演示了所提出的想法,其中约束是执行定期到达的拾取和交付任务,目标是飞越高回报区域,同时执行空中监测。
2021-09-05 cs.RO cs.SY eess.SY
PRREACH: Probabilistic Risk Assessment Using Reachability for UAV Control
Oregon State University(俄勒冈州立大学)
针对现有无人机风险评估框架数据依赖强、缺风险缓解控制方法的问题,提出基于可达性分析的PRReach方法,通过动力学与轨迹概率评估构建风险有界控制优化,可离线/在线应用,仿真显示比经典控制器最多降24%(离线)、53%(在线)风险。
2025-08-20 cs.RO cs.SY eess.SY
Deep Reinforcement Learning Based Optimal Infinite-Horizon Control of Probabilistic Boolean Control Networks
针对概率布尔控制网络的最优无限时域控制问题,提出一种基于深度强化学习的无模型方法,将问题转化为马尔可夫决策过程,并分别利用Q-learning和双深度Q网络设计适用于小规模和大规模网络的最优状态反馈控制器。
2023-04-07 cs.SY eess.SY
Safe Reinforcement Learning with Probabilistic Guarantees Satisfying Temporal Logic Specifications in Continuous Action Spaces
Technical University of Munich(慕尼黑工业大学);California Institute of Technology(加州理工学院)
针对连续动作空间中RL缺乏安全保证的问题,提出“概率验证—RL性能优化—再验证”的三步安全RL流程,并在动态障碍规避任务中验证其可兼顾高效学习与时序逻辑概率安全。
2023-09-28 cs.RO cs.SY eess.SY
Probabilistic Risk Assessment of an Obstacle Detection System for GoA 4 Freight Trains
University of Bremen(不来梅大学);DTU Compute, Technical University of Denmark(丹麦技术大学DTU Compute);University of York(约克大学)
本文针对GoA 4级低速货运列车的障碍物检测功能,提出结合统计方法与参数化随机模型检验的5步概率风险评估方法,验证了三取三架构下该安全关键功能的危险率达标且具备高置信度。
2023-06-26 cs.CV cs.LG cs.SY
Prediction of Probabilistic Transient Stability Using Support Vector Machine
暂态稳定评估是电力系统动态安全评估的重要组成部分。传统的暂态稳定评估方法,如时域仿真法和直接法,适用于离线研究,不能用于在线暂态稳定预测,而在线暂态稳定预测是现代电力系统的主要要求。这促使需要采用基于人工智能的方法。在这方面,监督机器学习有利于在存在不确定性的情况下预测暂态稳定状态。因此,考虑负荷、故障线路、故障类型、故障位置和故障切除时间等多种因素的不确定性,本文研究了基于二进制支持向量机的有监督机器学习在电力系统暂态稳定状态预测中的应用。支持向量机使用高斯径向基函数核进行训练,并使用贝叶斯优化来优化其超参数。IEEE 14节点试验系统的结果表明,该方法提供了一种快速的概率暂态稳定状态预测技术,具有良好的精度。分别利用DIgSILENT PowerFactory和MATLAB进行暂态稳定时域仿真(用于获得支持向量机的训练数据)和应用支持向量机。
2021-11-22 cs.SY eess.SY
A Multi-Model Probabilistic Framework for Seismic Risk Assessment and Retrofit Planning of Electric Power Networks
Future Resilient Systems(未来弹性系统);Singapore-ETH Centre(新加坡-苏黎世联邦理工学院中心);ENSAM Institute of Technology(国立高等工艺学院)
针对现有电力网络地震风险研究忽略系统级行为、模型简化导致结果不准的问题,提出整合多模块的多模型概率框架,经IEEE 24节点系统验证,可有效支撑电力基础设施的地震韧性提升决策。
2025-08-10 cs.SY eess.SY
Data-Efficient Reinforcement Learning with Probabilistic Model Predictive Control
Imperial College London(帝国理工学院)
本文提出基于概率模型预测控制的强化学习框架,通过高斯过程学习转移模型以处理约束,实现数据高效和最优控制。
2018-02-22 cs.SY eess.SY stat.ML
A Control Barrier Function-Constrained Model Predictive Control Framework for Safe Reinforcement Learning
New York University(纽约大学)
本文提出了一种基于模型预测控制的安全强化学习框架PECTS,通过联合学习随机系统动力学和控制屏障函数来确保安全,采用采样优化方法提升安全性。
2026-11-16 cs.SY eess.SY
Efficient Assessment of Electricity Distribution Network Adequacy with the Cross-Entropy Method
识别配电网络中的未来拥塞点是配电系统运营商面临的重要挑战。解决这一挑战的一个行之有效的方法是使用未来需求的概率模型来评估配电网的充足性。然而,计算成本可能成为一个严峻的挑战,评估大型概率电力需求预测模型与长期预测的视野。在本文中,蒙特卡罗方法的开发,以提高计算效率,获得资产超载概率从自底向上的随机需求模型。交叉熵优化的重要性抽样与传统的蒙特卡罗抽样进行对比。所提出的方法的基准测试结果表明,在这项工作中引入的重要性抽样为基础的方法是适合于估计罕见的超载概率的资产与少数客户。
2021-04-17 cs.SY eess.SY
Multi-Goal Dexterous Hand Manipulation using Probabilistic Model-based Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院)
本文提出目标条件概率模型预测控制(GC-PMPC)方法,通过概率神经网络集成和异步MPC策略解决多目标灵巧手操作问题,在模拟与真实DexHand 021平台上均展现出卓越的学习效率与控制性能。
2025-04-30 cs.AI cs.RO cs.SY
Deep Reinforcement Learning for Cybersecurity Assessment of Wind Integrated Power Systems
可再生能源(RES)在电力电力系统(EPS)中的集成正在迅速增加。虽然包括间歇性RES加上通信和传感设备的大规模部署对于完全智能电网非常重要,但它也扩大了网络威胁格局,有效地使电力系统容易受到网络攻击。本文提出了一种网络安全评估方法,旨在评估EPS的网络物理安全。这项工作考虑到RES的间歇性产生,基于微处理器的电子信息和操作技术(IT/OT)设备引入的漏洞,以及应急分析结果。所提出的方法利用深度强化学习(DRL)和为评估EPS中的漏洞而量身定制的适应性通用漏洞评分系统(CVSS)评分,以便基于N-2应急结果来确定最佳攻击转换策略,即,两个系统元件同时失效。基于文献的电网测试案例进行的数值和实时仿真实验验证了工作的有效性。结果表明,所提出的基于深度Q网络(DQN)的方法在找到最佳攻击策略所需的转换数量方面与图搜索方法非常接近,而无需对系统进行全面观察。此外,实验提出了该方法的可扩展性,通过展示的数量的过渡需要找到最佳的攻击过渡政策,在一个大的系统,如波兰2383总线测试系统。结果表明,所提出的方法需要一个数量级的过渡相比,随机过渡政策。
2020-11-15 cs.SY eess.SY
Practical Probabilistic Model-based Deep Reinforcement Learning by Integrating Dropout Uncertainty and Trajectory Sampling
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出DPETS方法,将蒙特卡洛Dropout与轨迹采样结合,通过修正损失函数和过滤偶然不确定性,提升概率MBRL的预测稳定性、精度与控制能力,并在Mujoco和机器人臂任务中验证了其优越性能。
2023-09-20 cs.AI cs.LG cs.SY
Quantum-Enhanced Reinforcement Learning for Power Grid Security Assessment
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Missouri(密苏里大学)
针对电网安全评估中强化学习扩展难题,提出量子增强混合智能体,利用量子计算提升训练与仿真效率,经N-k故障分析验证优于基准模型。
2025-06-21 cs.LG cs.SY eess.SY
Probabilistic assessment of the impact of flexible loads under network tariffs in low voltage distribution networks
The University of Sydney(悉尼大学)
本文提出了一种概率框架,用于设计电价以最小化分布式能源资源对网络性能的影响,稳定电网公司收入并改善网络成本分配的公平性。通过结合自动化家庭能源管理系统减少高峰需求,该框架展示了如何通过非参数贝叶斯模型、热用水统计模型和新型HEMS来调度可控设备,从而降低客户成本并缓解网络约束。
2020-07-17 cs.SY eess.SY math.OC
Deep Reinforcement Learning for Control of Probabilistic Boolean Networks
University of Surrey(萨里大学)
概率布尔网络(PBN)是研究基因调控网络(GRNs)等复杂动力学系统的一种计算模型。可控性是对网络状态进行策略干预的过程,目的是将其推向具有有利生物学特性的其他状态。在本文中,我们研究了具有优先经验重放的双深度Q网络在有限数量的时间步长内学习控制策略的能力,这些时间步长将PBN推向目标状态,通常是吸引子。该控制方法是无模型的,不需要网络的底层动态知识,使其适用于这样的动态推理是棘手的应用。我们提出了广泛的实验结果,两个合成PBN和PBN模型直接构建从基因表达数据的研究转移性黑色素瘤。
2020-09-07 cs.AI cs.LG cs.SY
A Dual-Positive Monotone Parameterization for Multi-Segment Bids and a Validity Assessment Framework for Reinforcement Learning Agent-based Simulation of Electricity Markets
School of Electric Power Engineering, South China University of Technology(华南理工大学电力学院);Department of Engineering, University of Exeter(埃克塞特大学工程学院)
本文提出双正单调参数化方法及有效性评估框架,解决传统方法在连续可导性和可逆性方面的不足,提升电力市场仿真结果的可信度。
2026-04-11 cs.AI cs.SY eess.SY
Probabilistic Load-Margin Assessment using Vine Copula and Gaussian Process Emulation
随着可再生能源的日益普及和负荷的变化,电力系统状态的不确定性越来越大,威胁着电力系统规划和运行的安全性。面对这些挑战,本文提出了一种具有成本效益的,非参数的方法来量化不确定的功率注入对负载裕度的影响。首先,我们提出了一种新的藤蔓Copula,由于其模拟复杂的多变量高度依赖的模型输入的能力,产生系统的不确定输入。此外,为了减少传统的蒙特卡罗方法所需的计算时间,我们建议使用一个非参数,高斯过程仿真器为基础的降阶模型,以取代原来复杂的连续潮流模型。该仿真器允许我们以可忽略的计算成本在采样值处执行耗时的连续潮流求解器。IEEE 57节点系统,其中相关的可再生能源发电附加进行的仿真,揭示了所提出的方法的优良性能。
2020-04-13 cs.SY eess.SP eess.SY
Hierarchical Framework for Interpretable and Probabilistic Model-Based Safe Reinforcement Learning
Software Competence Center Hagenberg(哈根伯格软件能力中心);Technological University Dublin(都柏林理工大学);ADAPT Research Centre(ADAPT研究中心)
本文提出分层框架BC-SRLA,融合概率建模与强化学习以提升可解释性和安全性,并通过策略克隆减少交互,在涡扇发动机维修案例中优于现有方法。
2023-10-28 cs.AI cs.LG cs.SY
Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching
University of Minnesota(明尼苏达大学);Northeastern University(东北大学)
针对需确保时序逻辑约束概率满足的约束强化学习问题,提出基于早期试验估计约束满足概率、自适应调整纯学习与约束满足策略切换概率的框架,理论验证了算法正确性并通过仿真展示性能。
2024-11-27 cs.AI cs.RO cs.SY
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University(首尔国立大学)
机器人和自主系统中的新兴应用,如自动驾驶和机器人手术,通常涉及关键的安全约束,即使有关系统模型的信息有限,也必须满足这些约束。在这方面,我们提出了一个无模型的安全规范方法,学习安全操作的最大概率,通过仔细结合概率可达性分析和安全强化学习(RL)。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是,它产生了一系列的安全策略,确定安全操作的范围,称为安全集,单调扩展,并逐渐收敛。我们还开发了一个有效的安全的探索计划,加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽,我们的方法调节的探索性政策,以避免危险状态的高置信度。为了处理高维系统,我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL,以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明,通过连续控制基准问题,如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Reinforcement Learning with Probabilistic Boolean Network Models of Smart Grid Devices
Centro de Ciencias de la Complejidad (C3), Universidad Nacional Autónoma de México(墨西哥国立自治大学复杂性科学中心);Centre de Recerca en Enginyeria Biomèdica, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学生物医学工程研究中心);Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所);Lakeside Labs GmbH(Lakeside Labs 有限公司);Institut de Recerca Sant Joan de Déu(圣琼德乌研究所)
智能电网领域需要不断提高其效率和弹性,以提供高质量的电力,在耐电网中,管理故障并避免故障。实现这一点需要高的组件可靠性,充分的维护,并研究故障发生。正确的系统操作涉及这些活动,以及检测、分类和隔离故障和故障的新方法,以及使用预测算法和分析(使用数据分析和资产状况来计划和执行活动)对流程进行建模和模拟。我们展示了一个复杂的自适应,自组织建模方法,概率布尔网络(PBN)的应用,作为一种方式对智能电网设备的动态的理解,并建模和表征其行为。这项工作表明,PBN是等价于标准的强化学习循环,其中代理/模型与其环境相互作用,并以奖励信号的形式接收反馈。不同的奖励结构是为了描述偏好的行为。该信息可用于指导PBN避免故障状况和故障。
2021-02-02 cs.LG cs.SY eess.SY
Deep Reinforcement Learning for Stabilization of Large-scale Probabilistic Boolean Networks
University of Surrey(萨里大学);Dalian University of Technology(大连理工大学)
将概率布尔网络(PBN)引导到期望状态的能力对于诸如癌症生物学中的靶向治疗的应用是重要的。强化学习(RL)已经被提出作为解决离散时间最优控制问题的框架,该问题被转换为马尔可夫决策过程。我们专注于一个由无模型深度RL方法提供支持的综合框架,该方法可以解决不同类型的控制问题(例如,有或没有控制输入;吸引子状态或状态空间的子集作为目标域)。该方法对下一状态的概率分布是不可知的,因此它不使用概率转移矩阵。在训练期间,时间复杂度与时间步长或代理(深度RL)与环境(PBN)之间的交互是线性的。事实上,我们探索了深度RL方法的可扩展性,以(设置)大规模PBN的稳定性,并证明了对大型网络的成功控制,包括具有200个节点的转移性黑色素瘤PBN。
2022-10-25 cs.AI cs.LG cs.SY
Assessment of Reward Functions in Reinforcement Learning for Multi-Modal Urban Traffic Control under Real-World limitations
University of Warwick(华威大学);Vivacity Labs(维瓦西蒂实验室)
事实证明,强化学习是一种成功的工具,它可以管理城市交叉路口,而管理传统交通控制器所需的工作量很小。然而,文献介绍和控制行人到这样的交叉口是稀缺的。此外,目前还不清楚什么交通状态变量应该被用来作为奖励,以获得最佳的代理性能。本文稳健地评估了30种不同的强化学习奖励函数,用于控制为行人和车辆服务的交叉路口,这些交叉路口覆盖了现代视觉传感器提供的主要交通状态变量。一些奖励在以前的文献中提出的车辆交通扩展到行人,而新的介绍。我们使用校准模型的需求,传感器,绿色时间和其他业务限制的一个真正的十字路口在大曼彻斯特,英国。评估的奖励可以分为5组,这取决于所使用的幅度:排队,等待时间,延迟,平均速度和吞吐量的枢纽。不同的代理人的性能,在等待时间方面,比较在不同的需求水平,从正常运行到传统的自适应控制器的饱和。我们发现,最大化网络速度的奖励同时获得车辆和行人的最低等待时间,紧随其后的是队列最小化,表现出比其他先前提出的方法更好的性能。
2020-10-17 cs.LG cs.SY eess.SY
Probabilistic Constrained Reinforcement Learning with Formal Interpretability
Imperial College London(帝国理工学院)
针对强化学习奖励与策略难以解释的问题,提出 AWaVO 自适应 Wasserstein 变分优化框架,利用形式化方法保证收敛、透明训练与决策可解释,并在仿真和四旋翼任务中验证其性能优势。
2024-06-17 cs.AI cs.LG cs.RO
EigenSafe: A Spectral Framework for Learning-Based Probabilistic Safety Assessment
Seoul National University(首尔国立大学);University of California, Berkeley(加州大学伯克利分校)
EigenSafe通过学习主导特征对提升强化学习的安全性,适用于机器人操作中的安全策略优化。
2026-02-16 cs.RO cs.SY eess.SY
Reinforcement Learning for Temporal Logic Control Synthesis with Probabilistic Satisfaction Guarantees
University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学)
强化学习(RL)已成为解决自动控制、计算机科学、经济学和生物学中复杂序列决策问题的一种有效方法。在本文中,我们提出了一个无模型的RL算法来合成控制策略,最大限度地满足高层次的控制目标的概率作为线性时序逻辑(LTL)公式。不确定性被认为是在工作空间的属性,工作空间的结构,和代理的行动,从而产生一个概率标记的马尔可夫决策过程(PL-MDP)与未知的图形结构和随机行为,这是更一般的情况下,比一个完全未知的MDP。我们首先将LTL规范转换为极限确定性Buchi自动机(LDBA),然后将其用于PL-MDP的即时产品中。此后,我们定义了一个同步的奖励功能的基础上接受条件的LDBA。最后,我们表明,RL算法提供了一个政策,最大限度地满足概率渐近。我们提供的实验结果表明,所提出的方法的效率。
2019-09-11 cs.LG cs.LO cs.SY
Adapting Probabilistic Risk Assessment for AI
本文提出面向AI的概率风险评估框架,借鉴核电与航空航天领域的PRA方法,通过面向方面的危害分析、风险路径建模和不确定性管理,系统识别、量化并记录AI系统对社会与生物圈的风险,最终以风险报告卡和工作簿工具支持开发者、评估者与监管者的生命周期决策。
2025-07-02 cs.AI cs.CY cs.LG