Constrained and Robust Policy Synthesis with Satisfiability-Modulo-Probabilistic-Model-Checking
Radboud University（拉德堡德大学）；Brno University of Technology（布尔诺理工大学）
针对有限MDP上带结构约束的鲁棒奖励最优策略计算难题，本文提出结合可满足性求解器与概率模型检查的合成框架，实验证明其可行且性能媲美现有最优方法。
2025-11-15 cs.AI cs.LO
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Formal Verification of Learned Multi-Agent Communication Policies via Decision Tree Distillation
University of Arkansas at Little Rock（阿肯色大学小石城分校）
提出通过决策树蒸馏将多智能体强化学习策略转化为可解释模型，并利用PRISM进行形式化验证，确保安全属性转移至原始网络，在无人机编队任务中实现88.9%属性满足率。
2026-06-19 cs.AI cs.LG cs.LO
Predicting Sim-to-Real Transfer with Probabilistic Dynamics Models
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
我们提出了一种方法来预测RL策略的仿真到现实迁移性能。我们的转移指标简化了模拟中训练设置（如算法、超参数、随机化）和策略的选择，而不需要大量耗时的真实世界部署。概率动力学模型与策略一起训练，并在一组固定的真实世界轨迹上进行评估，以获得转移度量。实验表明，传输度量是高度相关的策略性能在模拟和真实世界的机器人环境中的复杂操作任务。我们进一步表明，转移度量可以预测训练设置对策略转移性能的影响。
2020-09-27 cs.AI cs.LG cs.RO
Formally Verified Solution Methods for Infinite-Horizon Markov Decision Processes
我们正式验证可执行算法解决马尔可夫决策过程（MDPs）的互动定理证明器伊莎贝尔/HOL。我们建立在现有的形式化的概率论分析的期望总回报准则的无限地平线的问题。我们的发展形式化的贝尔曼方程，并给出最优政策存在的条件。在此基础上，我们验证了动态规划算法来解决表MDP。我们评估正式验证的标准问题的实验实现，并表明他们是实用的。此外，我们表明，结合有效的未经验证的实现，我们的系统可以竞争，甚至优于最先进的系统。
2023-03-08 cs.AI cs.LO
Adaptive Probabilistic Trajectory Optimization via Efficient Approximate Inference
Georgia Institute of Technology（佐治亚理工学院）
机器人系统必须能够在不确定和动态的环境中快速和鲁棒地做出决策。虽然强化学习（RL）可以用来计算最优策略，但它的收敛速度很慢。另一种方法是模型预测控制（MPC），它可以快速优化策略，但也需要系统动态和环境的精确模型。在本文中，我们提出了一种新的方法，自适应概率轨迹优化，结合RL和MPC的好处。我们的方法使用可扩展的近似推理学习和更新概率模型在一个在线的增量方式，同时也计算最优控制政策，通过连续的局部近似。我们提出了我们的算法的基础上稀疏谱高斯过程（SSGP）模型的两个变化，我们测试我们的算法上的三个学习任务，证明了我们的方法的有效性和效率。
2016-09-11 cs.LG cs.RO
Black-Box Policy Search with Probabilistic Programs
University of Oxford（牛津大学）
在这项工作中，我们将探讨如何概率程序可以用来表示顺序决策问题的政策。在这个公式中，概率程序是一个黑盒随机模拟器的问题域和代理。我们将经典的政策梯度技术，最近推出的黑盒变分方法，推广到概率程序推理。我们目前的案例研究，在加拿大旅行者的问题，岩石样本，和最佳诊断的启发猜猜谁的基准。每项研究都说明了程序如何使用适度数量的参数有效地表示策略。
2016-08-04 cs.AI stat.ML
Expectation Optimization with Probabilistic Guarantees in POMDPs with Discounted-sum Objectives
Institute of Science and Technology Austria（奥地利科学技术研究所）；École Normale Supérieure de Rennes（雷恩高等师范学院）
部分可观测的马尔可夫决策过程（POMDPs）与折扣和支付是一个标准的框架，以模拟各种问题的决策下的不确定性。传统上，目标是获得优化贴现和回报预期的策略。期望度量的一个关键缺点是，即使是具有极端回报的低概率事件也会显著影响期望，因此所获得的政策不一定是风险厌恶的。另一种方法是优化收益高于某个阈值的概率，这允许获得风险规避策略，但忽略了期望的优化。我们考虑概率保证的期望优化（EOPG）问题，其目标是优化期望，确保收益至少以指定的概率高于给定的阈值。我们提出了几个结果的EOPG问题，包括第一个算法来解决它。
2018-04-30 cs.AI
Probabilistic Performance Guarantees for Multi-Task Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
提出一种结合每任务有限 rollout 置信下界与任务级泛化的新泛化界，为未见任务提供高置信度性能保证。
2026-05-31 cs.AI cs.LG
Policy Gradients for Probabilistic Constrained Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
针对强化学习中的概率安全约束缺乏梯度表达式的问题，本文推导其显式策略梯度，可兼容多种基于策略的算法，并在连续导航任务中验证可行性。
2023-04-18 cs.LG
Learning Probabilistic Temporal Logic Specifications for Stochastic Systems
University of Oxford（牛津大学）；National University of Singapore（国立新加坡大学）
针对现有形式化规范推断方法无法刻画随机系统行为的问题，提出结合文法枚举、启发式搜索等技术的PLTL规范学习算法，可从马尔可夫链中高效提取能刻画策略或模型变体时序差异的简洁规范。
2025-05-17 cs.AI cs.FL cs.LO
Probabilistic Reach-Avoid for Bayesian Neural Networks
University of Oxford（牛津大学）；TU Delft（代尔夫特理工大学）；King’s College London（伦敦国王学院）
针对基于模型强化学习中策略的安全认证需求，提出基于区间传播与反向递归的BNN可达-规避概率下界计算方法及最优控制合成算法，可显著提升可认证状态数与保证概率。
2023-10-03 cs.AI cs.LG
Efficient and Sound Probabilistic Verification for AI Agents
Google DeepMind（谷歌DeepMind）；Google（谷歌）；University of Pennsylvania（宾夕法尼亚大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出基于分布鲁棒优化的框架，为AI智能体在复杂数字环境中的概率策略违规提供可靠上界，无需独立性假设，在终端和工具调用智能体基准上优于现有方法。
2026-06-19 cs.AI cs.CR
COOL-MC: Verifying and Explaining RL Policies for Multi-bridge Network Maintenance
COOL-MC通过概率模型检查和可解释性方法，验证并解释多桥网络维护的强化学习策略，揭示策略的安全性和偏见问题。
2026-03-08 cs.AI cs.LG
Probabilistic Model Checking for Complex Cognitive Tasks -- A case study in human-robot interaction
RWTH Aachen University（亚琛工业大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了使用概率模型检验来合成最优机器人策略的多任务自主系统，受到人机交互。鉴于令人信服的经验证据表明，人类行为可以与强化模型，我们作为输入的一个良好的研究Q表模型的灵活的情况下，人类行为。我们首先描述了一个自动化的过程中提取马尔可夫决策过程（MDP）的人在任意但固定的情况。与众不同的问题是，与现有的模型相比，其中包括对人类行为的规范不足。概率模型检验用于预测人的行为。最后，MDP模型扩展与机器人模型。最优的机器人策略合成分析所产生的两个玩家的随机游戏。使用PRISM的原型实现的实验结果显示出良好的效果。
2016-10-28 cs.AI cs.RO
Probabilistic Subgoal Representations for Hierarchical Reinforcement learning
Aalto University（阿尔托大学）；Huawei Helsinki Research Center（华为赫尔辛基研究中心）；Tampere University（坦佩雷大学）
针对分层强化学习中确定性子目标表示的局限，提出基于高斯过程的概率子目标表示方法，通过可学习核利用长程关联、构建自适应记忆，结合新学习目标实现统一训练，在多类环境中性能优于现有基线且具备低层策略迁移能力。
2024-06-24 cs.AI cs.LG
Verified Safe Reinforcement Learning for Neural Network Dynamic Models
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种用于非线性神经动态系统的已验证安全强化学习方法，通过课程学习、增量验证和初始状态相关控制器，在保持高奖励的同时实现比基线长一个数量级的已验证安全时间步。
2024-11-16 cs.AI cs.LG
Neural DNF-MT: A Neuro-symbolic Approach for Learning Interpretable and Editable Policies
Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
本文提出神经DNF-MT，一种结合深度强化学习与逻辑程序的神经符号方法，实现端到端学习可解释且可编辑的策略，性能媲美黑盒方法。
2025-04-23 cs.AI cs.LG cs.LO
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis（泰勒与弗朗西斯出版集团）
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励，而模仿学习试图提取关于专家演示的轨迹的一般知识，即，示威者因为它们中的每一个都有自己的缺点，所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而，许多方法都是启发式的，没有坚实的理论基础。在本文中，我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架，强化学习，{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放（pMDP-MO）。此外，我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架，比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明，我们的框架成功地集成了模仿和强化学习，即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Formally Verifying and Explaining Sepsis Treatment Policies with COOL-MC
Dennis Gross
COOL-MC通过形式验证和可解释性分析，揭示脓毒症治疗策略中依赖于给药历史而非患者状况的决策驱动因素。
2026-02-16 cs.AI cs.LG
Symbolic Network: Generalized Neural Policies for Relational MDPs
Indian Institute of Technology Delhi（印度理工学院德里分校）
关系马尔可夫决策过程（Relational Markov Decision Process，RMDP）是一种一阶表示方法，用于表示单个概率规划域的所有实例，其中对象的数量可能是无限的。RMDPs的早期工作输出了广义（独立于实例）的一阶策略或价值函数，作为一种同时解决域的所有实例的方法。不幸的是，由于在这些策略或价值函数中使用的表示空间的固有限制，这类工作取得了有限的成功。神经模型是否可以通过轻松地表示更复杂的广义策略来提供缺失的环节，从而使它们对给定域的所有实例都有效？我们提出了SymNet，第一个神经方法来解决RMDPs的概率规划语言的RMDPs。SymNet使用来自域的训练实例为Rounds域训练一组共享参数。对于每个实例，SymNet首先将其转换为实例图，然后使用关系神经模型来计算节点嵌入。然后，它将每个地面动作作为一阶动作符号和与动作相关的节点嵌入的函数进行评分。给定来自同一域的新测试实例，具有预训练参数的SymNet架构会对每个地面动作进行评分并选择最佳动作。这可以在单个前向传递中完成，而无需对测试实例进行任何重新训练，从而隐式地表示整个域的神经广义策略。我们在IPPC的九个Rendezvous域上的实验表明，SymNet策略明显优于随机策略，有时甚至比从头开始训练最先进的深度反应策略更有效。
2020-06-29 cs.AI cs.LG stat.ML
Probabilistic Constraint for Safety-Critical Reinforcement Learning
Renssealaer Polytechnic Institute（伦斯勒理工学院）；IBM T.J. Watson Research Center（IBM T.J.沃森研究中心）
本文针对概率约束强化学习提出安全策略学习框架，建立与累积约束的联系，改进SPG梯度方法并设计安全原始-对偶算法，理论分析与实验验证了最优性与安全性的更好权衡。
2024-03-13 cs.AI cs.LG
Probabilistic Safety Guarantee for Stochastic Control Systems Using Average Reward MDPs
University of New Hampshire（新罕布什尔大学）
针对随机控制系统因状态变量不可预测演化难以满足安全约束的问题，提出将安全目标转化为平均奖励MDP目标的算法，通过线性规划计算安全策略，在双积分器和倒立摆系统验证得该方法比最小折扣奖励解更优。
2025-11-11 cs.LG cs.RO cs.SY
Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation
Department of Computer Science, University of Verona（威尼斯大学计算机科学系）；Department of Engineering for Innovation Medicine, University of Verona（威尼斯大学创新医学工程系）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于概率枚举和神经网络验证的分层控制框架，通过设计控制障碍函数和策略校正机制，确保了强化学习在复杂动态环境中的安全自主导航。
2025-04-30 cs.AI cs.RO
COOL-MC: A Comprehensive Tool for Reinforcement Learning and Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文介绍了COOL-MC，一个工具，集成了最先进的强化学习（RL）和模型检验。具体来说，该工具基于OpenAI gym和概率模型检查器Storm。COOL-MC提供以下功能：（1）一个模拟器，用于在OpenAI gym中训练RL策略，用于定义为Storm输入的马尔可夫决策过程（MDP），（2）一个新的Storm模型构建器，使用回调函数来验证（神经网络）RL策略，（3）将OpenAI gym或Storm中指定的模型和策略关联起来的形式化抽象，以及（4）获得所谓的许可策略的性能上的界限的算法。我们描述了COOL-MC的组件和架构，并在多个基准测试环境中展示了其功能。
2022-09-15 cs.LG cs.LO
Probabilistic Recursive Reasoning for Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Delft University of Technology（代尔夫特理工大学）；MediaGamma Ltd.（MediaGamma有限公司）
人类能够将潜在的心理内容，如信仰或意图归因于他人。社交技能在日常生活中至关重要，因为它可以推理他人行为的潜在后果，以便提前计划。众所周知，人类通过考虑别人对自己信仰的看法来递归地使用这种推理能力。本文从层次$1$递归出发，提出了一个概率递归推理（PR 2）框架用于多智能体强化学习。我们的假设是，它是有益的，为每个代理，以说明对手将如何反应，其未来的行为。在PR 2框架下，我们采用变分贝叶斯方法来近似对手的条件策略，每个代理找到最佳的反应，然后改进自己的策略。我们开发了分散训练分散执行算法，即PR 2-Q和PR 2-Actor-Critic，当存在一个纳什均衡时，证明了它们在自我游戏场景中收敛。我们的方法进行了测试的矩阵游戏和微分游戏，其中有一个非平凡的平衡，常见的基于梯度的方法无法收敛。我们的实验表明，推理对手如何相信代理人所相信的是至关重要的。我们希望我们的工作能够为多智能体强化学习社区提供一种建模对手的新思路。
2019-03-01 cs.AI cs.LG stat.ML
Formal Verification of Noisy Quantum Reinforcement Learning Policies
Dennis Gross
QVerifier通过概率模型检查验证量子强化学习策略在不同噪声条件下的安全性，解决预部署验证的关键需求。
2026-01-29 cs.AI cs.FL quant-ph
SymLight: Exploring Interpretable and Deployable Symbolic Policies for Traffic Signal Control
Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；School of Engineering and Computer Science（工程与计算机科学学院）
SymLight提出基于蒙特卡洛树搜索的符号化优先级函数搜索框架，通过简洁表示和概率结构展开策略，在保持优异性能的同时生成可解释且可部署的交通信号控制策略。
2025-11-08 cs.AI cs.LG
Model-Free Learning and Optimal Policy Design in Multi-Agent MDPs Under Probabilistic Agent Dropout
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
研究多智能体MDP在智能体退出下的策略计算，提出利用鲁棒MDP和策略重要性采样方法，在无模型环境中基于退出前系统采样估计退出后系统价值，从而在退出发生前找到最优策略。
2024-09-22 cs.AI cs.LG cs.SY
Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
Ershov Institute of Informatics Systems（埃尔绍夫信息系统研究所）
我们提出了一种新的强化学习模型的离散环境，这是内在的可解释性，并支持发现深层次的子目标层次。在该模型中，智能体以概率规则的形式学习有关环境的信息，而（子）目标的策略则以其组合的形式学习。学习不需要奖励函数;智能体只需要被赋予一个要实现的主要目标。来自层次结构的目标G的子目标被计算为状态的描述，如果先前实现，则增加G的可用策略的总效率。这些状态描述作为新的传感器谓词引入到代理的规则语言中，这允许感测重要的中间状态并相应地更新环境规则和策略。
2022-02-15 cs.AI cs.LG
A Translation of Probabilistic Event Calculus into Markov Decision Processes
University College London（伦敦大学学院）；Università del Salento（萨勒诺大学）
本文提出将概率事件演算（PEC）形式化转换为马尔可夫决策过程（MDP）的方法，通过引入动作执行情境保留PEC的灵活语义，使MDP的算法工具可应用于PEC叙事领域，并支持将学习策略映射回可解释的PEC表示。
2025-07-17 cs.AI cs.LO
Inference and dynamic decision-making for deteriorating systems with probabilistic dependencies through Bayesian networks and deep reinforcement learning
University of Liege（列日大学）；Delft University of Technology（代尔夫特理工大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种基于贝叶斯网络与深度去中心化多智能体强化学习（DDMAC）的系统级推断与动态决策框架，用于退化工程系统的最优检测与维护规划，并在数值实验中验证其优于现有启发式方法。
2022-09-02 cs.AI cs.LG cs.SY
Diverse Policy Optimization for Structured Action Space
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of AI and Robotics for Society（深圳人工智能与机器人研究院）
增强策略的多样性有利于强化学习的鲁棒性、探索性和迁移性。在本文中，我们的目标是寻求不同的政策，在一个未充分探索的设置，即RL任务与结构化的动作空间的可组合性和局部依赖性的两个属性。复杂的动作结构，不均匀的奖励景观，以及由于结构化动作的特性而引起的微妙的超参数调整，阻止了现有方法的良好扩展。我们提出了一种简单有效的强化学习方法，多样性策略优化（DPO），模型的策略在结构化的行动空间作为基于能量的模型（EBM）通过以下概率强化学习框架。最近提出的一种新颖的和强大的生成模型，GFlowNet，介绍了高效的，多样化的基于循证医学的政策采样器。DPO遵循联合优化框架：外层使用GFlowNet采样的不同策略来更新基于EBM的策略，这支持内层的GFlowNet训练。在ATSC和Battle基准测试上的实验表明，DPO可以在具有挑战性的场景中有效地发现令人惊讶的多样化策略，并大大优于现有的最先进的方法。
2023-02-23 cs.AI cs.LG
Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming
Carnegie Mellon University（卡内基梅隆大学）；U-Mass, Amherst（马萨诸塞大学阿默斯特分校）
我们设计了一个新的近视策略的顺序实验设计（DOE）的问题，其中的目标是收集数据，以满足一定的问题的具体目标。我们的方法，近视后验采样（MPS），是受经典的后验（汤普森）采样算法的启发，多武装匪徒，并利用概率规划和近似贝叶斯推断的灵活性，以解决广泛的问题。从经验上讲，这种通用策略在各种DOE任务中与更专业的方法竞争，更重要的是，能够解决现有方法似乎不适用的复杂DOE目标。在理论方面，我们利用自适应子模块化和强化学习的思想来推导MPS实现次线性后悔的条件。
2018-05-25 cs.AI cs.LG stat.ML
Deep Gaussian Covariance Network with Trajectory Sampling for Data-Efficient Policy Search
Zalando SE（扎兰多公司）；Institute for Modelling and High Performance Computing（建模与高性能计算研究所）；Niederrhein University of Applied Sciences（下莱茵应用科学大学）
提出结合轨迹采样与深度高斯协方差网络（DGCN）的方法，通过概率世界模型提升基于模型的强化学习在最优控制中的数据效率与策略鲁棒性。
2024-03-23 cs.LG stat.ML
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University（卡内基梅隆大学）
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景，但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数，我们可以获得安全的策略来优化自动驾驶车辆的性能。然而，控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现（Dosovitskiy等人，2017年）模拟器，并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法，而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Probabilistic hypergraph grammars for efficient molecular optimization
Mosaic Smart Data Ltd（马赛克智能数据有限公司）
我们提出了一种方法，使分子优化更有效。我们从ChEMBL数据库中推断出一个超图替换语法，计算用于扩展其他规则中特定非终结符的特定规则的频率，并将其用作策略模型的条件先验。从由此产生的概率语法模拟随机分子，我们表明，有条件的先验比使用相等的规则概率或无条件先验的分子分布更接近训练集。然后，我们将分子优化视为强化学习问题，使用策略梯度算法的新修改- batch-advantage：使用单个奖励减去批平均奖励来加权对数概率损失。强化学习代理的任务是使用这种语法构建分子，目标是最大限度地提高文献中的基准得分。为此，代理具有选择图中要扩展的下一个节点和选择要应用的下一个语法规则的策略。这些策略是使用Transformer架构实现的，每个步骤都将部分展开的图作为输入。我们表明，使用经验先验作为政策的起点，消除了对预训练的需要，并使我们能够更快地达到最优。我们在文献中的常见基准测试中实现了具有竞争力的性能，例如惩罚logP和QED，在预算GPU实例上只有数百个训练步骤。
2019-06-05 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
Compositional Policy Learning in Stochastic Control Systems with Formal Guarantees
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；Massachusetts Institute of Technology（麻省理工学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出在随机环境中学习神经网络策略组合并利用可达-避障上鞅提供形式化概率保证的方法，通过更紧的概率下界支持复杂任务，并在随机九房间环境中验证了有效性。
2023-12-03 cs.LG cs.SY eess.SY
VERAFI: Verified Agentic Financial Intelligence through Neurosymbolic Policy Generation
VERAFI通过神经符号策略生成实现验证的代理金融智能，显著提升金融领域事实正确性与合规性。
2025-12-12 cs.AI q-fin.CP
A Survey on the Verification of Reinforcement Learning Policies
TU Wien（维也纳工业大学）；Massachusetts Institute of Technology（麻省理工学院）
综述强化学习策略验证，引入分类法沿验证范式、时间范围和保证强度三个轴阐明现有方法关系，统一理论基础，明确假设局限，确定新兴方向，为RL验证提供统一视角。
2026-07-21 cs.AI
Safe Policies for Reinforcement Learning via Primal-Dual Methods
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们研究了安全策略的学习在强化学习问题的设置。这是，我们的目标是控制一个马尔可夫决策过程（MDP），我们不知道的转移概率，但我们有机会通过经验的样本轨迹。我们将安全性定义为在操作时间内代理以高概率保持在期望的安全集中。因此，我们考虑一个受约束的MDP的约束是概率。由于在强化学习框架中没有直接的方法来优化策略的概率约束，我们提出了一个遍历放松的问题。建议放宽的优点有三方面。(i)在执行偶发任务的情况下维持安全保障，在执行连续任务的情况下，安全保障保持在给定的时间范围内。(ii)约束优化问题尽管是非凸的，但如果策略的参数化足够丰富，则它具有任意小的对偶间隙。(iii)与安全学习问题相关联的拉格朗日函数的梯度可以使用标准策略梯度结果和随机近似工具来容易地计算。利用这些优势，我们建立了原始对偶算法能够找到安全和最优的策略。我们在一个连续域的导航任务中测试所提出的方法。数值结果表明，我们的算法是能够动态地适应环境和所需的安全级别的政策。
2022-01-12 cs.LG cs.SY eess.SY
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning
Purdue University（普渡大学）
最近有显着的兴趣，设计验证技术的学习使能控制器（LEC），管理安全关键系统。考虑到管理此类控制器行为的神经策略的不透明性和缺乏可解释性，许多现有方法通过屏蔽来实施安全属性，屏蔽是一种动态监控和修复机制，可确保LEC不会发出违反所需安全条件的动作。然而，这些方法，已被证明有显着的可扩展性的限制，因为验证成本增长的问题维度和目标的复杂性增加。在本文中，我们提出了一种新的自动化验证管道，即使问题域涉及数百个维度，或者当所需的目标涉及随机扰动，活性考虑和其他复杂的非功能属性时，也能够合成高质量的安全控制器。我们的关键见解涉及将安全验证与神经控制器训练分离，并使用预先计算的验证安全防护来约束训练过程。一系列高维基准的实验结果表明，我们的方法在一系列随机线性时不变和时变系统的有效性。
2022-10-10 cs.LG cs.SY eess.SY
Learning Constrained Adaptive Differentiable Predictive Control Policies With Guarantees
Pacific Northwest National Laboratory（太平洋西北国家实验室）
我们提出了可微预测控制（DPC），学习约束的线性系统的概率性能保证的神经控制策略的方法。我们采用自动微分获得直接的政策梯度反向传播的模型预测控制（MPC）的损失函数和约束的惩罚，通过可微的闭环系统动力学模型。我们证明了所提出的方法可以学习参数约束控制策略来稳定具有不稳定动态的系统，跟踪时变参考，并满足非线性状态和输入约束。与基于模仿学习的方法相比，我们的方法不依赖于监督控制器。最重要的是，我们证明，在不损失性能的情况下，我们的方法是可扩展的，计算效率比隐式，显式和近似MPC。IEEE Transactions on Automatic Control（IEEE自动控制学报）
2022-01-27 cs.LG cs.NE cs.SY
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
VIREL: A Variational Inference Framework for Reinforcement Learning
University of Oxford（牛津大学）
将概率模型应用于强化学习（RL），可以将强大的优化工具（如变分推理）应用于RL。然而，现有的推理框架及其算法对学习最优策略提出了重大挑战，例如，在伪似然方法中缺乏模式捕获行为，并且在基于最大熵RL的方法中难以学习确定性策略。我们提出了VIREL，一种新的，理论上接地概率推理框架RL，利用参数化的行动价值函数，总结未来的动态基础MDP。这给VIREL一个KL发散的模式寻求形式，学习确定性的最优策略的能力，自然从推理和优化价值函数和政策的能力，在单独的，迭代的步骤。因此，在应用变分期望最大化VIREL，我们表明，演员-评论家算法可以减少到期望最大化，与政策改进相当于一个E-步骤和政策评估的M-步骤。然后，我们从VIREL中推导出一系列的演员-评论家方法，包括自适应探索的计划。最后，我们证明了这个家庭的演员-评论家算法优于国家的最先进的软价值函数在几个领域的基础上的方法。
2020-07-16 cs.LG stat.ML
Reinforcement Learning with Probabilistic Guarantees for Autonomous Driving
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Honda Research Institute（本田研究院）
为城市自动驾驶设计可靠的决策策略具有挑战性。强化学习（RL）已被用于在不确定的环境中自动获得合适的行为，但它不提供任何保证所产生的政策的性能。我们提出了一个通用的方法来执行概率保证的RL代理。一个探索策略是在训练之前推导出来的，该策略约束代理在满足用线性时序逻辑（LTL）表示的期望概率规范的动作之间进行选择。将搜索空间缩小到满足LTL公式的策略有助于训练并简化奖励设计。本文概述了一个交叉口的情况下，涉及多个交通参与者的案例研究。由此产生的政策优于基于规则的启发式方法的效率，同时表现出强有力的安全保证。
2019-05-29 cs.AI cs.RO
Inferring Probabilistic Reward Machines from Non-Markovian Reward Processes for Reinforcement Learning
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
强化学习在典型环境中的成功是基于对奖励信号的马尔可夫假设，代理通过该信号学习最优策略。近年来，奖励机器的使用放宽了这一假设，使非马尔可夫奖励的结构化表示。特别地，这种表示可以用于增强底层决策过程的状态空间，从而促进非马尔可夫强化学习。然而，这些奖励机器不能捕捉随机奖励信号的语义。在本文中，我们在这方面取得了进展，引入概率奖励机（PRM）作为非马尔可夫随机奖励的代表。我们提出了一个算法，学习PRM从底层的决策过程，并证明其正确性和收敛性的结果。
2022-03-27 cs.FL cs.LG stat.ML
Transfer of Deep Reactive Policies for MDP Planning
Indian Institute of Technology, Delhi（德里印度理工学院）
独立于领域的概率规划者输入一个MDP描述在一个因子化的表示语言，如PPDDL或RPDDL，并利用更快的规划表示的细节。传统的算法独立地对每个问题实例进行操作，并且不存在将经验从域的其他实例的策略转移到新实例的好方法。最近，研究人员已经开始探索使用深度反应策略，通过深度强化学习（RL）训练，用于MDP规划领域。深度反应式策略的一个优点是它们更适合迁移学习。在本文中，我们提出了第一个域独立的传输算法MDP规划域表示的Rounds表示。我们的架构利用域的符号状态配置和转换函数（可通过Rounds获得）来学习域的所有问题实例的状态和状态-动作对的共享嵌入空间。然后，我们在嵌入空间中学习RL代理，使近zero-shot传输成为可能，即，而不需要对新实例进行大量的培训，也根本不需要使用域模拟器。三个不同的基准域上的实验强调了我们的传输算法的价值。与从头开始规划和最先进的RL传输算法相比，我们的传输解决方案具有显著优越的学习曲线。
2018-10-26 cs.AI
Sequential Cohort Selection under Uncertainty
研究不确定性下公平队列选择问题，提出结合结果概率建模与策略梯度方法的框架，在顺序设置中联合更新策略和模型，实验表明自适应策略在预期效用上优于静态基线。
2026-07-07 cs.LG
Optimization Algorithm for Feedback and Feedforward Policies towards Robot Control Robust to Sensing Failures
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
无模型或基于学习的控制，特别是强化学习（RL），有望应用于复杂的机器人任务。传统强化学习要求优化的策略是状态依赖的，即策略是一种反馈控制器。由于在这样的FB控制器中正确的状态观测的必要性，它对感测故障敏感。为了减轻FB控制器的这一缺点，反馈误差学习将其中之一与前馈（FF）控制器集成。强化学习可以通过处理FB/FF策略来改进，但据我们所知，还没有开发出一种以统一方式学习它们的方法。在本文中，我们提出了一个新的优化问题，同时优化FB/FF政策。受控制作为推理的启发，优化问题考虑由组合策略和随机动力学模型预测的轨迹与最优/非最优轨迹之间的分歧的最小化/最大化。通过用变分方法近似随机动力学模型，我们自然地得到FB/FF策略之间的正则化。通过数值仿真和机器人实验，验证了该方法在学习规律与传统强化学习不同的情况下，仍能稳定地优化组合策略。此外，我们还证明了FF策略对感知故障具有鲁棒性，并且可以保持最优运动。附件视频也上传到youtube：https://youtu.be/zLL4uXIRmrE
2021-04-01 cs.LG cs.RO
Learning Stochastic Parametric Differentiable Predictive Control Policies
Pacific Northwest National Laboratory（太平洋西北国家实验室）
合成随机显式模型预测控制策略的问题是已知的，即使是对于使用经典控制理论方法的适度复杂的系统也是快速棘手的。为了解决这一挑战，我们提出了一个可扩展的替代称为随机参数微分预测控制（SP-DPC）的神经控制策略的无监督学习随机线性系统的非线性机会约束。SP-DPC是随机参数约束最优控制问题的确定性近似。该公式允许我们通过对问题的价值函数进行自动微分来直接计算策略梯度，并对采样参数和不确定性进行评估。特别地，SP-DPC问题的价值函数的计算期望通过由已知的标称系统动态模型和神经控制策略参数化的闭环系统展开来反向传播，这允许直接基于模型的策略优化。我们提供了理论概率保证的政策学习通过SP-DPC方法的闭环稳定性和机会约束的满意度。此外，我们证明了所提出的策略优化算法的计算效率和可扩展性在三个数值例子，包括系统的大量状态或非线性约束。
2022-05-22 cs.LG cs.SY eess.SY
Path Finding under Uncertainty through Probabilistic Inference
University of Oxford（牛津大学）
我们引入了一种新的方法来解决路径查找问题的不确定性，将它们表示为概率模型和应用域独立的推理算法的模型。这种方法将问题表示与推理算法分离，并提供了一个有效学习路径查找策略的框架。我们评估加拿大旅行者问题，我们制定作为一个概率模型的新方法，并显示概率推理如何使高性能的随机政策，以获得这个问题。
2015-06-08 cs.AI
