Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology（海湾科技大学）
我们提出了一个概率逻辑编程框架，强化学习，通过集成强化学习，在POMDP环境中，与正常的混合概率逻辑程序与概率答案集语义，这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外，我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明，一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言，允许POMDP的因子表示。此外，我们修改了POMDP的原始模型，使它能够区分知识生产行动和行动，改变环境。
2010-11-27 cs.AI
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley（加州大学伯克利分校）
强化学习或最优控制的框架提供了智能决策的数学形式化，其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理，但强化学习与概率模型中的推理之间的联系并不明显。然而，当涉及到算法设计时，这种联系具有相当大的价值：原则上将问题形式化为概率推理，使我们能够使用各种近似推理工具，以灵活而强大的方式扩展模型，并推理组合性和部分可观测性。在这篇文章中，我们将讨论如何推广的强化学习或最优控制问题，这有时被称为最大熵强化学习，是等价于确定性动力学的情况下的精确概率推理，和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架，概述以前的工作，借鉴了这一点和相关的想法，提出新的强化学习和控制算法，并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Probabilistic Performance Guarantees for Multi-Task Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
提出一种结合每任务有限 rollout 置信下界与任务级泛化的新泛化界，为未见任务提供高置信度性能保证。
2026-05-31 cs.AI cs.LG
ProSh: Probabilistic Shielding for Model-free Reinforcement Learning
Imperial College（帝国学院）
本文提出无模型安全强化学习算法 ProSh，通过风险预算、成本评价器和策略分布概率防护，在成本约束下提供训练期安全保证并保持确定性环境中的最优性。
2025-10-21 cs.AI cs.LG
Reinforcement Learning for Control with Probabilistic Stability Guarantee: A Finite-Sample Approach
Department of Control Science；Engineering, Harbin Institute of Technology, China.；State Key Laboratory of Robotics；Systems (HIT), Harbin Institute of Technology, China.；School of Automation, Central South University, China.；Department of Cognitive Robotics, Delft University of Technology, Netherlands.；Department of Computer Science, University College London, UK.；Department of Computer Science, University of Manchester, UK.
本文提出L-REINFORCE算法，通过有限样本实现强化学习控制中的概率稳定性保证，提升了稳定性分析与控制器设计的能力。
2026-02-09 cs.AI cs.LG
Probabilistic Guarantees for Safe Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
深度强化学习已成功应用于许多控制任务，但由于安全问题，此类智能体在安全关键场景中的应用受到限制。这些控制器的严格测试是具有挑战性的，特别是当它们由于例如硬件故障或噪声传感器而在概率环境中操作时。我们提出了MOSAIC，这是一种用于测量深度强化学习代理在随机设置中的安全性的算法。我们的方法是基于一个控制器的执行环境中的一个正式的抽象的迭代建设，并利用概率模型检验的马尔可夫决策过程中产生的概率保证在有限的时间范围内的安全行为。它产生的边界上的概率安全操作的控制器为不同的初始配置，并确定正确的行为可以得到保证的区域。我们实施和评估我们的方法对代理培训的几个基准控制问题。
2020-07-08 cs.AI
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University（卡内基梅隆大学）
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景，但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数，我们可以获得安全的策略来优化自动驾驶车辆的性能。然而，控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现（Dosovitskiy等人，2017年）模拟器，并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法，而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley（加州大学伯克利分校）
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习（元RL）算法使代理从少量的经验学习新的技能，几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验，限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制，限制了它们在稀疏奖励问题中的有效性。在本文中，我们通过开发一种脱离策略的元RL算法来解决这些挑战，该算法可以解开任务推理和控制。在我们的方法中，我们执行潜在的任务变量的在线概率过滤，以推断如何解决一个新的任务，从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合，以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍，并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning
The University of Electro-Communications（电气通信大学）；Ritsumeikan University（立命馆大学）
本文提出将控制即概率推断与涌现通信结合的多智能体强化学习模型，通过潜在消息变量和Metropolis-Hasting命名博弈实现智能体间动作信息交换，并在网格世界实验中验证其能推断有意义消息以完成协作任务。
2023-07-11 cs.AI cs.LG cs.MA
Probabilistic Subgoal Representations for Hierarchical Reinforcement learning
Aalto University（阿尔托大学）；Huawei Helsinki Research Center（华为赫尔辛基研究中心）；Tampere University（坦佩雷大学）
针对分层强化学习中确定性子目标表示的局限，提出基于高斯过程的概率子目标表示方法，通过可学习核利用长程关联、构建自适应记忆，结合新学习目标实现统一训练，在多类环境中性能优于现有基线且具备低层策略迁移能力。
2024-06-24 cs.AI cs.LG
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis（加州大学戴维斯分校）；Northwestern University（西北大学）
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题，证明最优策略存在性并给出Bellman最优方程，提出ARRLC算法实现极小极大最优遗憾与样本复杂度，实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Probabilistic Inference in Reinforcement Learning Done Right
Google DeepMind（谷歌DeepMind）
本文对强化学习中状态-动作最优性的后验概率进行严格贝叶斯处理，提出变分贝叶斯近似方法VAPOR，生成高效探索策略，并在实验中展现性能优势。
2023-11-22 cs.AI cs.LG
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求，强化学习器在约束设置，包括对结果的信心。我们表明，代理的信心在约束满足提供了一个有用的信号，在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Bob and Alice Go to a Bar: Reasoning About Future With Probabilistic Programs
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
众所周知，强化学习可以被转换为适当概率模型中的推理。然而，这通常涉及引入代理轨迹上的分布，其概率与指数奖励成比例。在这项工作中，我们制定强化学习贝叶斯推理，而不诉诸奖励，并表明奖励来自代理的偏好，而不是相反。我们认为，代理人的偏好应指定的随机性，而不是确定性。通过随机偏好推理的强化学习自然地描述了代理行为，不需要引入奖励和轨迹的指数加权，并且允许使用贝叶斯统计的坚实基础来推理代理。随机条件作用是一种概率编程范式，用于根据分布而不是值来调节模型，是具有概率偏好的代理背后的形式主义。我们展示了我们的方法的实现的案例研究，使用两个代理的协调游戏和一个单一的代理在嘈杂的环境中，尽管表面上的差异，这两种情况下可以建模和推理基于相同的原则。
2021-10-06 cs.AI cs.LG
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA（普渡大学土木与建设工程学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（普渡大学埃尔莫尔家庭电气与计算机工程学院）
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架，通过元学习推断环境潜在表示并动态调整风险水平，实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Probabilistic Constraint for Safety-Critical Reinforcement Learning
Renssealaer Polytechnic Institute（伦斯勒理工学院）；IBM T.J. Watson Research Center（IBM T.J.沃森研究中心）
本文针对概率约束强化学习提出安全策略学习框架，建立与累积约束的联系，改进SPG梯度方法并设计安全原始-对偶算法，理论分析与实验验证了最优性与安全性的更好权衡。
2024-03-13 cs.AI cs.LG
Robust Probabilistic Shielding for Safe Offline Reinforcement Learning
Radboud University Nijmegen The Netherlands；Ruhr University\,\&\,Radboud University Bochum Germany；Radboud University；Ruhr University\,\&\,Radboud University
本文提出一种鲁棒概率防护方法，结合安全策略改进与防护机制，在离线强化学习中确保策略性能与安全，实验表明其在低数据环境下表现更优。
2026-05-11 cs.AI cs.LG
Policy Gradients for Probabilistic Constrained Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
针对强化学习中的概率安全约束缺乏梯度表达式的问题，本文推导其显式策略梯度，可兼容多种基于策略的算法，并在连续导航任务中验证可行性。
2023-04-18 cs.LG
Probabilistic Mixture-of-Experts for Efficient Deep Reinforcement Learning
Xidian University（西安电子科技大学）；Peking University（北京大学）；Princeton University（普林斯顿大学）；Delft University of Technology（代尔夫特理工大学）
深度强化学习（DRL）最近成功地解决了各种问题，通常使用单峰策略表示。然而，掌握可区分的技能，一些任务与非唯一的最优可能是必要的，以进一步提高其学习效率和性能，这可能会导致多模态政策表示为混合专家模型（MoE）。据我们所知，目前的DRL算法的一般效用不部署这种方法作为政策函数逼近由于其可微性的潜在挑战策略学习。在这项工作中，我们提出了一个概率混合专家模型（PMOE）实现的高斯混合模型（GMM）的多模态政策，连同一个新的梯度估计的不可微性问题，它可以应用于通用的关闭政策和政策DRL算法使用随机政策，例如，软行动者-批评（SAC）和近端策略优化（PPO）。实验结果证明了该方法优于单峰策略和两种不同的MoE方法，以及一种基于上述两种DRL算法的选项框架方法。GMM的不同梯度估计，如重新参数化技巧（Gumbel-Softmax）和分数比技巧也与我们的方法进行了比较。我们进一步实证证明了可区分的原语与PMOE学习，并显示我们的方法在探索方面的好处。
2021-04-19 cs.AI cs.LG
Probabilistic inverse reinforcement learning in unknown environments
EPAC（阿波美-卡拉维高等应用科学与技术学院）；EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。为了做到这一点，我们扩展了以前的概率方法，在已知的MDP的情况下，未知的动态或对手的逆强化学习。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完整的贝叶斯推断。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习，有知识的动态。
2013-07-14 cs.LG stat.ML
Probabilistic inverse reinforcement learning in unknown environments
EPFL（洛桑联邦理工学院）
我们考虑的问题，学习的演示代理在未知的随机马尔可夫环境或游戏。我们的目标是估计代理偏好，以构建改进的政策，代理试图解决相同的任务。要做到这一点，我们扩展以前的概率方法逆强化学习在已知的MDP未知的动态或对手的情况下。我们这样做是通过推导两个简化的概率模型的演示的政策和实用程序。为了便于处理，我们使用最大后验估计，而不是完全贝叶斯推理。在平坦先验下，这导致凸优化问题。我们发现，由此产生的算法是非常有竞争力的各种其他方法的逆强化学习的动态知识。
2014-08-09 cs.LG stat.ML
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID（里斯本高等理工学院信息技术与系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
这项工作解决了感知世界的问题：如何学习强化学习代理环境的多模态表示，允许在不完整的感知条件下执行任务。为了解决这个问题，我们主张在设计的表示模型的层次结构，并与一个新的多模态表示模型，MUSE。所提出的模型学习分层表示：低层次的模态特定的表示，从原始观测数据编码，和一个高层次的多模态表示，编码联合模态信息，以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型，在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究，表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后，我们评估了MUSE在文献标准的多模态场景中的性能，这些场景具有更高的数量和更复杂的模态，表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
Towards Symbolic Reinforcement Learning with Common Sense
City, University of London（伦敦城市大学）
近年来，深度强化学习（deep RL）在从无人驾驶汽车的复杂控制任务到游戏等应用领域取得了多项突破。尽管他们取得了成功，但深度RL仍然缺乏人类智能的几个重要能力，例如迁移学习，抽象和可解释性。深度符号强化学习（DSRL）试图通过在使用Q学习之前学习相关的符号表示来将这些能力纳入深度Q网络（DQN）。在本文中，我们提出了一种新的扩展DSRL，我们称之为符号强化学习与常识（SRL+CS），提供了更好的平衡之间的泛化和专业化，灵感来自常识的原则分配奖励和聚合Q值。本文报道的实验表明，SRL+CS学习速度始终比Q学习和DSRL快，也实现了更高的准确性。在最困难的情况下，代理在确定性环境中进行训练并在随机环境中进行测试，与DSRL的70%和DQN的50%准确率相比，SRL+CS实现了近100%的平均准确率。据我们所知，这是第一个使用强化学习实现近乎完美的zero-shot迁移学习的案例。
2018-04-23 cs.AI cs.LG stat.ML
A Short Survey on Probabilistic Reinforcement Learning
University of New Hampshire（新罕布什尔大学）；Department of Computer Science（计算机科学系）
一个强化学习智能体试图通过在未知环境中的交互来最大化其累积收益。重要的是，智能体要探索次优行动，以及选择具有最高已知奖励的行动。然而，在敏感领域，通过探索收集更多数据并不总是可能的，但重要的是要找到一个具有一定性能保证的策略。在本文中，我们提出了一个简短的调查，在文献中的方法平衡探索-开发权衡和计算强大的解决方案，从固定的样本在强化学习。
2019-01-21 cs.LG stat.ML
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在强化学习领域，最近在策略性能的安全性和高置信度界限方面取得了进展。然而，据我们所知，没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的，只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法，该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下，任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限，并实现了更紧密，更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限，这是第一个实用的方法，允许代理，从示范学习，以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Practical Probabilistic Model-based Deep Reinforcement Learning by Integrating Dropout Uncertainty and Trajectory Sampling
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文提出DPETS方法，将蒙特卡洛Dropout与轨迹采样结合，通过修正损失函数和过滤偶然不确定性，提升概率MBRL的预测稳定性、精度与控制能力，并在Mujoco和机器人臂任务中验证了其优越性能。
2023-09-20 cs.AI cs.LG cs.SY
Probabilistic Model Checking of Stochastic Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究实验室）
本文提出一种基于马尔可夫决策过程、PCTL公式和Storm模型检验器的随机强化学习策略验证方法，并在多个基准上证明其优于确定性安全估计和朴素整体式模型检验基线。
2024-03-27 cs.AI
Meta-Inverse Reinforcement Learning for Mean Field Games via Probabilistic Context Variables
针对平均场博弈中现有逆强化学习方法受智能体同质性假设限制、难处理异构目标演示的问题，提出基于深度潜变量的元逆强化学习方法，无需先验上下文知识即可跨相似任务推断奖励，在模拟和真实出租车定价场景中效果优于现有方法。
2025-09-04 cs.AI cs.GT cs.LG
Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models
Berkeley Artificial Intelligence Research（伯克利人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）
基于模型的强化学习（RL）算法可以获得优异的样本效率，但在渐近性能方面往往落后于最好的无模型算法。对于高容量参数函数逼近器（如深度网络）来说尤其如此。在本文中，我们研究如何弥合这一差距，采用不确定性感知的动力学模型。我们提出了一种名为轨迹采样概率集合（PETS）的新算法，该算法将不确定性感知深度网络动力学模型与基于采样的不确定性传播相结合。我们与最先进的基于模型和无模型的深度RL算法的比较表明，我们的方法在几个具有挑战性的基准任务上与无模型算法的渐近性能相匹配，同时需要显著更少的样本（例如，在半猎豹任务上，样本分别比软演员批评和近端策略优化少8倍和125倍）。
2018-11-02 cs.AI cs.LG cs.RO
Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
Aalborg University（奥尔堡大学）；Radboud University（拉德堡德大学）；Ruhr University Bochum（波鸿鲁尔大学）
本文针对已知MDP转移图但转移概率未知的场景，提出将概率屏蔽与在线模型学习结合的自适应方法，通过实验验证其在安全强化学习中的有效性。
2026-08-21 cs.AI cs.LG cs.LO
Probabilistic Prediction of Interactive Driving Behavior via Hierarchical Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
自动驾驶汽车（AVs）已经上路。为了安全有效地与其他道路参与者进行交互，自动驾驶汽车必须准确预测周围车辆的行为并相应地进行规划。这种预测应该是概率性的，以解决人类行为中的不确定性。这种预测也应该是互动的，因为在所有可能的轨迹的预测车辆的分布不仅取决于历史信息，但也对未来的计划，其他车辆与它互动。为了实现这种互动感知的预测，我们提出了一种概率预测方法的基础上分层逆强化学习（IRL）。首先，我们明确地考虑了人类驾驶员的分层自动生成过程，涉及离散和连续的驾驶决策。在此基础上，在所有未来轨迹的预测车辆的分布被制定为一个混合的分布划分的离散决策。然后，我们应用IRL分层学习分布从真正的人类示威。提供了一个案例研究的坡道合并驾驶方案。定量结果表明，所提出的方法可以准确地预测离散的驾驶决策，如屈服或通过以及连续的轨迹。
2018-09-09 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Control of Probabilistic Boolean Networks
University of Surrey（萨里大学）
概率布尔网络（PBN）是研究基因调控网络（GRNs）等复杂动力学系统的一种计算模型。可控性是对网络状态进行策略干预的过程，目的是将其推向具有有利生物学特性的其他状态。在本文中，我们研究了具有优先经验重放的双深度Q网络在有限数量的时间步长内学习控制策略的能力，这些时间步长将PBN推向目标状态，通常是吸引子。该控制方法是无模型的，不需要网络的底层动态知识，使其适用于这样的动态推理是棘手的应用。我们提出了广泛的实验结果，两个合成PBN和PBN模型直接构建从基因表达数据的研究转移性黑色素瘤。
2020-09-07 cs.AI cs.LG cs.SY
Probabilistic Recursive Reasoning for Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Delft University of Technology（代尔夫特理工大学）；MediaGamma Ltd.（MediaGamma有限公司）
人类能够将潜在的心理内容，如信仰或意图归因于他人。社交技能在日常生活中至关重要，因为它可以推理他人行为的潜在后果，以便提前计划。众所周知，人类通过考虑别人对自己信仰的看法来递归地使用这种推理能力。本文从层次$1$递归出发，提出了一个概率递归推理（PR 2）框架用于多智能体强化学习。我们的假设是，它是有益的，为每个代理，以说明对手将如何反应，其未来的行为。在PR 2框架下，我们采用变分贝叶斯方法来近似对手的条件策略，每个代理找到最佳的反应，然后改进自己的策略。我们开发了分散训练分散执行算法，即PR 2-Q和PR 2-Actor-Critic，当存在一个纳什均衡时，证明了它们在自我游戏场景中收敛。我们的方法进行了测试的矩阵游戏和微分游戏，其中有一个非平凡的平衡，常见的基于梯度的方法无法收敛。我们的实验表明，推理对手如何相信代理人所相信的是至关重要的。我们希望我们的工作能够为多智能体强化学习社区提供一种建模对手的新思路。
2019-03-01 cs.AI cs.LG stat.ML
Reinforcement Learning with Probabilistic Guarantees for Autonomous Driving
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Honda Research Institute（本田研究院）
为城市自动驾驶设计可靠的决策策略具有挑战性。强化学习（RL）已被用于在不确定的环境中自动获得合适的行为，但它不提供任何保证所产生的政策的性能。我们提出了一个通用的方法来执行概率保证的RL代理。一个探索策略是在训练之前推导出来的，该策略约束代理在满足用线性时序逻辑（LTL）表示的期望概率规范的动作之间进行选择。将搜索空间缩小到满足LTL公式的策略有助于训练并简化奖励设计。本文概述了一个交叉口的情况下，涉及多个交通参与者的案例研究。由此产生的政策优于基于规则的启发式方法的效率，同时表现出强有力的安全保证。
2019-05-29 cs.AI cs.RO
Inferring Probabilistic Reward Machines from Non-Markovian Reward Processes for Reinforcement Learning
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
强化学习在典型环境中的成功是基于对奖励信号的马尔可夫假设，代理通过该信号学习最优策略。近年来，奖励机器的使用放宽了这一假设，使非马尔可夫奖励的结构化表示。特别地，这种表示可以用于增强底层决策过程的状态空间，从而促进非马尔可夫强化学习。然而，这些奖励机器不能捕捉随机奖励信号的语义。在本文中，我们在这方面取得了进展，引入概率奖励机（PRM）作为非马尔可夫随机奖励的代表。我们提出了一个算法，学习PRM从底层的决策过程，并证明其正确性和收敛性的结果。
2022-03-27 cs.FL cs.LG stat.ML
Probabilistic Shielding for Safe Reinforcement Learning
Imperial College London（伦敦帝国学院）
本文提出一种基于状态增强和动作屏蔽的可扩展概率屏蔽方法，在MDP安全动态已知且安全性为未折扣概率回避属性时，为安全强化学习提供严格形式化保证，并经实验验证可行性。
2025-03-25 cs.AI cs.LG stat.ML
SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）
SymCircuit通过熵正则化强化学习替代贪心算法，实现概率电路结构学习，采用语法约束的自回归Transformer生成有效电路，并在NLTCS数据集上显著提升样本效率。
2026-03-20 cs.AI cs.LG stat.ML
Hierarchical Framework for Interpretable and Probabilistic Model-Based Safe Reinforcement Learning
Software Competence Center Hagenberg（哈根伯格软件能力中心）；Technological University Dublin（都柏林理工大学）；ADAPT Research Centre（ADAPT研究中心）
本文提出分层框架BC-SRLA，融合概率建模与强化学习以提升可解释性和安全性，并通过策略克隆减少交互，在涡扇发动机维修案例中优于现有方法。
2023-10-28 cs.AI cs.LG cs.SY
Combining Local Symmetry Exploitation and Reinforcement Learning for Optimised Probabilistic Inference -- A Work In Progress
本文针对图模型概率推断中最优消元顺序的组合优化难题，将张量网络收缩顺序的强化学习方法适配到图模型，并利用局部对称性对中间结果进行紧凑编码以改进代价函数，使智能体能探索更高效的收缩顺序。
2025-03-11 cs.AI
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
Safe Reinforcement Learning via Probabilistic Shields
Radboud University（拉德堡德大学）；TU Graz（格拉茨工业大学）；RWTH Aachen University（亚琛工业大学）
本文的目标是在包含不确定性的场景中有效构建决策安全屏障。马尔可夫决策过程（MDP）是捕获此类规划问题的突出模型。强化学习（RL）是一种机器学习技术，用于确定MDP中的近似最优策略，这些策略在探索模型之前可能是未知的。然而，在探索过程中，强化学习很容易引发不受欢迎或在安全或任务关键型环境中不允许的行为。我们引入了概率屏蔽的概念，使决策能够坚持高概率的安全约束。在关注点分离中，我们采用形式化验证来有效地计算MDP的安全相关片段内的关键决策的概率。我们使用这些结果来实现应用于RL算法的屏蔽，然后优化实际的性能目标。我们讨论了在环境探索和确保安全方面取得足够进展之间的权衡。在我们的实验中，我们证明了街机游戏的PAC-MAN和案例研究，涉及服务机器人的学习效率增加的学习需要的数量级更少的情节。
2019-11-25 cs.AI
Deep Reinforcement Learning for Stabilization of Large-scale Probabilistic Boolean Networks
University of Surrey（萨里大学）；Dalian University of Technology（大连理工大学）
将概率布尔网络（PBN）引导到期望状态的能力对于诸如癌症生物学中的靶向治疗的应用是重要的。强化学习（RL）已经被提出作为解决离散时间最优控制问题的框架，该问题被转换为马尔可夫决策过程。我们专注于一个由无模型深度RL方法提供支持的综合框架，该方法可以解决不同类型的控制问题（例如，有或没有控制输入;吸引子状态或状态空间的子集作为目标域）。该方法对下一状态的概率分布是不可知的，因此它不使用概率转移矩阵。在训练期间，时间复杂度与时间步长或代理（深度RL）与环境（PBN）之间的交互是线性的。事实上，我们探索了深度RL方法的可扩展性，以（设置）大规模PBN的稳定性，并证明了对大型网络的成功控制，包括具有200个节点的转移性黑色素瘤PBN。
2022-10-25 cs.AI cs.LG cs.SY
Probabilistic Constrained Reinforcement Learning with Formal Interpretability
Imperial College London（帝国理工学院）
针对强化学习奖励与策略难以解释的问题，提出 AWaVO 自适应 Wasserstein 变分优化框架，利用形式化方法保证收敛、透明训练与决策可解释，并在仿真和四旋翼任务中验证其性能优势。
2024-06-17 cs.AI cs.LG cs.RO
Reinforcement Learning-driven Information Seeking: A Quantum Probabilistic Approach
University of Bedfordshire（贝德福德大学）
了解信息搜寻者在交互过程中的行为对交互式信息检索的研究具有重要意义。虽然由于用户与信息客体~（文本、图像等）交互的高度纠缠性，信息在不确定信息空间中的传播是相当复杂的。然而，一般来说，信息搜寻者在搜索（或搜寻）替代内容时伴随着一条信息（信息饮食），通常受到决定性的不确定性的影响。这种类型的不确定性类似于量子力学中遵循不确定性原理的测量。在本文中，我们讨论的信息寻求作为一个强化学习任务。然后，我们提出了一个基于强化学习的框架来模拟觅食者的探索，将信息觅食者视为一个代理来指导他们的行为。此外，我们的框架结合了固有的不确定性觅食的行动，使用量子力学的数学形式主义。
2020-08-05 cs.AI cs.IR
Decision-Making in Reinforcement Learning
Gautam Buddha University（乔达摩佛陀大学）
在这项研究工作中，研究了概率决策方法，例如贝叶斯和玻尔兹曼策略，以及各种确定性探索策略，例如贪婪，ε-贪婪和随机方法。在这项研究工作中，概率和确定性决策方法之间进行了比较研究，实验在OpenAI健身房环境中进行，解决推车杆问题。这项研究工作讨论了深度强化学习中的贝叶斯决策方法，以及关于辍学，它如何降低计算成本。对各种勘探方法进行了比较。它还讨论了探索在深度强化学习中的重要性，以及改进探索策略如何在科学和技术方面有所帮助。这项研究工作表明，从长远来看，概率决策方法比确定性方法更好。当存在不确定性时，贝叶斯丢弃方法被证明是优于所有其他方法在这项研究工作中。
2019-06-01 cs.AI
Reinforcement Learning with Probabilistically Complete Exploration
University of Sydney（悉尼大学）；Nvidia（英伟达）
平衡探索和利用仍然是强化学习（RL）的关键挑战。最先进的强化学习算法具有很高的样本复杂度，特别是在稀疏奖励的情况下，在找到第一个正奖励之前，它们只能在各个方向上进行探索。为了减轻这种情况，我们提出了快速随机探索强化学习（R3L）。我们制定探索作为一个搜索问题，并利用广泛使用的规划算法，如快速探索随机树（RRT），以找到初始的解决方案。这些解决方案被用作初始化策略的演示，然后通过通用RL算法进行优化，从而实现更快，更稳定的收敛。我们提供了理论保证R3L探索找到成功的解决方案，以及其采样复杂性的界限。我们的实验表明，该方法优于经典和内在的勘探技术，只需要一小部分的勘探样本，并实现更好的渐近性能。
2020-01-20 cs.LG cs.RO stat.ML
Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出分层视觉奖励塑造方法，以VLM作为通用势函数、vLLM自适应选择技能，并证明其保持最优策略，在Google Research Football中提升胜率与常识对齐。
2025-02-19 cs.AI cs.LG
Synthesizing Neural Network Controllers with Probabilistic Model based Reinforcement Learning
McGill University（麦吉尔大学）
我们提出了一种快速学习控制器的机器人系统的算法。该算法遵循基于模型的强化学习范式，并改进了现有的算法，即控制中的概率学习（PILCO）和基于样本的PILCO版本与神经网络动力学（Deep-PILCO）。我们提出了一个神经网络动力学模型，使用截断对数正态噪声的变分丢弃。这使我们能够获得具有校准不确定性的动态模型，该模型可用于通过推出来模拟控制器执行。我们还描述了一套技术，灵感来自于查看PILCO作为一个经常性的神经网络模型，这是至关重要的，以提高收敛的方法。我们在各种基准任务上测试了我们的方法，证明了与PILCO竞争的数据效率，同时能够优化复杂的神经网络控制器。最后，我们评估了学习电机控制器的六腿自主水下航行器的算法的性能。这证明了该算法在更复杂的控制任务中扩展维度和数据集大小的潜力。
2018-08-01 cs.AI cs.RO
Multi-Goal Dexterous Hand Manipulation using Probabilistic Model-based Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
本文提出目标条件概率模型预测控制（GC-PMPC）方法，通过概率神经网络集成和异步MPC策略解决多目标灵巧手操作问题，在模拟与真实DexHand 021平台上均展现出卓越的学习效率与控制性能。
2025-04-30 cs.AI cs.RO cs.SY
Probabilistic Robustness-driven Universal Adversarial Perturbations with Explainability against Deep Reinforcement Learning-based Intrusion Detection System
University of Warwick（华威大学）；Loughborough University（拉夫堡大学）；Swansea University（斯旺西大学）
针对深度强化学习入侵检测系统，提出基于概率鲁棒性的通用对抗扰动生成方法PX-UAP，利用可解释人工智能指导扰动塑造，实验证明其攻击有效性优于现有方法。
2026-09-28 cs.LG
Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation
Department of Computer Science, University of Verona（威尼斯大学计算机科学系）；Department of Engineering for Innovation Medicine, University of Verona（威尼斯大学创新医学工程系）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于概率枚举和神经网络验证的分层控制框架，通过设计控制障碍函数和策略校正机制，确保了强化学习在复杂动态环境中的安全自主导航。
2025-04-30 cs.AI cs.RO
Recursive Reinforcement Learning
University of Twente（特文特大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Liverpool（利物浦大学）
递归是描述潜在无限对象的基本范式。由于最先进的强化学习（RL）算法不能直接推理递归，因此它们必须依赖于实践者的独创性来设计环境的合适的“平面”表示。由此产生的手动特征构造和近似是繁琐和容易出错的;它们缺乏透明度阻碍了可扩展性。为了克服这些挑战，我们开发了RL算法，能够在描述为可以递归调用彼此的马尔可夫决策过程（MDP）的集合的环境中计算最优策略。每个组成MDP的特征在于对应于这些调用的输入和输出值的几个入口和出口点。这些递归MDP（或RMDP）在表达上等价于概率下推系统（调用堆栈扮演下推堆栈的角色），并且可以用递归过程调用来建模概率程序。我们介绍递归Q学习-RMDPs的无模型RL算法-并证明它在温和的假设下收敛于有限，单出口和确定性多出口RMDPs。
2022-06-23 cs.AI cs.LG
A Probabilistic Interpretation of Self-Paced Learning with Applications to Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；Aalto University（阿尔托大学）
在整个机器学习中，课程的使用已经显示出强大的经验潜力，可以通过避免训练目标的局部最优来改善从数据中学习。对于强化学习（RL），课程特别有趣，因为由于探索-利用权衡，底层优化具有很强的陷入局部最优的倾向。最近，一些自动生成RL课程的方法已被证明可以提高性能，同时与手动设计的课程相比，需要更少的专业知识。然而，这些方法很少从理论的角度进行研究，阻碍了对其机制的深入理解。在本文中，我们提出了一种方法，在RL的自动课程生成具有明确的理论基础。更准确地说，我们正式的著名的自定进度的学习范式诱导分布在训练任务，任务的复杂性和目标之间的权衡，以匹配所需的任务分布。实验表明，在这种诱导分布上进行训练有助于避免RL算法在不同任务中的局部最优解，这些任务具有无信息奖励和具有挑战性的探索要求。
2021-09-02 cs.LG
