Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology(海湾科技大学)
我们提出了一个概率逻辑编程框架,强化学习,通过集成强化学习,在POMDP环境中,与正常的混合概率逻辑程序与概率答案集语义,这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外,我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明,一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言,允许POMDP的因子表示。此外,我们修改了POMDP的原始模型,使它能够区分知识生产行动和行动,改变环境。
2010-11-27 cs.AI
Probabilistic Guarantees for Safe Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
深度强化学习已成功应用于许多控制任务,但由于安全问题,此类智能体在安全关键场景中的应用受到限制。这些控制器的严格测试是具有挑战性的,特别是当它们由于例如硬件故障或噪声传感器而在概率环境中操作时。我们提出了MOSAIC,这是一种用于测量深度强化学习代理在随机设置中的安全性的算法。我们的方法是基于一个控制器的执行环境中的一个正式的抽象的迭代建设,并利用概率模型检验的马尔可夫决策过程中产生的概率保证在有限的时间范围内的安全行为。它产生的边界上的概率安全操作的控制器为不同的初始配置,并确定正确的行为可以得到保证的区域。我们实施和评估我们的方法对代理培训的几个基准控制问题。
2020-07-08 cs.AI
Novel Policy Seeking with Constrained Optimization
Shanghai AI Lab(上海人工智能实验室)
在解决问题的过程中,我们人类可以对同一个问题提出多种新颖的解决方案。然而,强化学习算法只能产生一组单调的策略,使累积奖励最大化,但缺乏多样性和新颖性。在这项工作中,我们解决了在强化学习任务中生成新策略的问题。而不是遵循现有方法中使用的多目标框架,我们建议重新考虑约束优化的新视角下的问题。我们首先引入了一个新的度量来评估策略之间的差异,然后根据新的视角设计了两个实用的新策略生成方法。两种方法,即约束任务新平分线(CTNB)和内部政策差异(IPD),来自可行方向法和内点法,通常已知的约束优化文献。MuJoCo控制套件上的实验比较表明,我们的方法可以实现大幅改善,比以前的新颖性寻求方法的新颖性的政策和他们的表现在原始任务。
2022-10-29 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求,强化学习器在约束设置,包括对结果的信心。我们表明,代理的信心在约束满足提供了一个有用的信号,在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Verified Probabilistic Policies for Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
深度强化学习是一种越来越流行的技术,用于合成策略以控制代理与其环境的交互。人们对正式验证这些策略是否正确并安全执行的兴趣也越来越大。在这一领域取得的进展是建立在现有工作的基础上,对深层神经网络和连续状态动力系统进行验证。在本文中,我们解决了验证深度强化学习的概率策略的问题,例如,用于解决对抗性环境,打破对称性和管理权衡。我们提出了一个抽象的方法,基于区间马尔可夫决策过程,产生概率保证政策的执行,目前的技术来建立和解决这些模型,使用抽象的解释,混合整数线性规划,基于熵的细化和概率模型检验。我们实现我们的方法,并说明其有效性的选择强化学习基准。
2022-06-01 cs.AI cs.LG cs.LO
Efficient Exploration via Epistemic-Risk-Seeking Policy Optimization
Google DeepMind(谷歌DeepMind)
针对深度强化学习的探索难题,提出由认知风险寻求效用导出的零和博弈乐观目标及无模型ERSAC算法,并结合离策略回放,在DeepSea和Atari上验证其高效探索优势。
2023-06-04 cs.AI cs.LG
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley(加州大学伯克利分校)
强化学习或最优控制的框架提供了智能决策的数学形式化,其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理,但强化学习与概率模型中的推理之间的联系并不明显。然而,当涉及到算法设计时,这种联系具有相当大的价值:原则上将问题形式化为概率推理,使我们能够使用各种近似推理工具,以灵活而强大的方式扩展模型,并推理组合性和部分可观测性。在这篇文章中,我们将讨论如何推广的强化学习或最优控制问题,这有时被称为最大熵强化学习,是等价于确定性动力学的情况下的精确概率推理,和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架,概述以前的工作,借鉴了这一点和相关的想法,提出新的强化学习和控制算法,并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
安全强化学习(Safe RL)旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽,它使用逻辑安全规范来防止RL代理采取不安全的操作。然而,传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此,我们引入概率逻辑策略梯度(PLPG)。PLPG是一种基于模型的安全RL技术,它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此,PLPG可以无缝地应用于任何策略梯度算法,同时仍然提供相同的收敛保证。在我们的实验中,我们表明,PLPG学习更安全,更有益的政策相比,其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Integration of Imitation Learning using GAIL and Reinforcement Learning using Task-achievement Rewards via Probabilistic Graphical Model
Taylor & Francis(泰勒与弗朗西斯出版集团)
强化学习和模仿学习的融合是智能机器人领域长期研究的重要问题。强化学习优化策略以最大化累积奖励,而模仿学习试图提取关于专家演示的轨迹的一般知识,即,示威者因为它们中的每一个都有自己的缺点,所以迄今为止已经探索了将它们组合并补偿每组缺点的方法。然而,许多方法都是启发式的,没有坚实的理论基础。在本文中,我们提出了一个新的理论集成强化和模仿学习的概率生成模型框架,强化学习,{ \it计划推理}。我们开发了一个新的概率图模型的强化学习与多种类型的奖励和概率图模型的马尔可夫决策过程与多个最优排放(pMDP-MO)。此外,我们证明了集成的学习方法的强化学习和模仿学习可以制定为一个概率推理的政策pMDP-MO考虑的输出生成对抗模仿学习作为一个额外的最佳排放观察。我们将生成对抗模仿学习和任务成就奖励适应我们提出的框架,比单独使用强化学习或模仿学习训练的代理取得了更好的性能。实验表明,我们的框架成功地集成了模仿和强化学习,即使示威者的数量只有几个。
2019-10-16 cs.AI cs.LG stat.ML
Probabilistic Model Checking of Stochastic Reinforcement Learning Policies
Simula Research Laboratory(西穆拉研究实验室)
本文提出一种基于马尔可夫决策过程、PCTL公式和Storm模型检验器的随机强化学习策略验证方法,并在多个基准上证明其优于确定性安全估计和朴素整体式模型检验基线。
2024-03-27 cs.AI
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而,一个已知的问题是,政策过度适应培训环境,可能无法避免罕见的灾难性事件,如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练,但这种方法只能防止常见情况。最近,鲁棒对抗强化学习(RARL)被开发出来,它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是,只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此,代理不考虑灾难性事件的概率(即,那些诱导异常大的负奖励),除非通过它们对预期目标的影响。在本文中,我们介绍了风险规避鲁棒对抗强化学习(RARARL),使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明,一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手,和经验大大减少崩溃相比,没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland(昆士兰大学);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对强化学习中目标自动创建的挑战,提出一种概率课程学习算法,通过为连续控制和导航任务中的智能体建议目标,系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Reinforcement Learning with Probabilistic Guarantees for Autonomous Driving
Stanford University(斯坦福大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Honda Research Institute(本田研究院)
为城市自动驾驶设计可靠的决策策略具有挑战性。强化学习(RL)已被用于在不确定的环境中自动获得合适的行为,但它不提供任何保证所产生的政策的性能。我们提出了一个通用的方法来执行概率保证的RL代理。一个探索策略是在训练之前推导出来的,该策略约束代理在满足用线性时序逻辑(LTL)表示的期望概率规范的动作之间进行选择。将搜索空间缩小到满足LTL公式的策略有助于训练并简化奖励设计。本文概述了一个交叉口的情况下,涉及多个交通参与者的案例研究。由此产生的政策优于基于规则的启发式方法的效率,同时表现出强有力的安全保证。
2019-05-29 cs.AI cs.RO
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University(卡内基梅隆大学)
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景,但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数,我们可以获得安全的策略来优化自动驾驶车辆的性能。然而,控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现(Dosovitskiy等人,2017年)模拟器,并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法,而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Combining Local Symmetry Exploitation and Reinforcement Learning for Optimised Probabilistic Inference -- A Work In Progress
本文针对图模型概率推断中最优消元顺序的组合优化难题,将张量网络收缩顺序的强化学习方法适配到图模型,并利用局部对称性对中间结果进行紧凑编码以改进代价函数,使智能体能探索更高效的收缩顺序。
2025-03-11 cs.AI
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley(加州大学伯克利分校)
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习(元RL)算法使代理从少量的经验学习新的技能,几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验,限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制,限制了它们在稀疏奖励问题中的有效性。在本文中,我们通过开发一种脱离策略的元RL算法来解决这些挑战,该算法可以解开任务推理和控制。在我们的方法中,我们执行潜在的任务变量的在线概率过滤,以推断如何解决一个新的任务,从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合,以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍,并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
Optimization of Information-Seeking Dialogue Strategy for Argumentation-Based Dialogue System
NARA Institute of Science and Technology(奈良先端科学技术大学院大学);NEC Central Research Laboratories(NEC中央研究所);Japan Science and Technology Agency(日本科学技术振兴机构)
基于辩论的对话系统能够通过对话来处理和交换辩论,因此得到了广泛的研究。这些系统需要有足够的支持信息来合理地论证其主张;然而,在现实情况下,这些系统往往没有足够的此类信息。填补这一空白的一个办法是从对话伙伴那里获得这种缺失的信息(寻求信息的对话)。现有的信息搜索对话系统是基于手工制作的对话策略,详尽地检查缺失的信息。然而,所提出的策略并不专门收集信息构建理性的论点。此外,系统的查询候选的数量根据系统处理的参数集的大小而增长。在本文中,我们将信息寻求对话的过程形式化为马尔可夫决策过程(MDP),并应用深度强化学习(DRL)自动优化对话策略。通过使用DRL,我们的对话策略可以成功地最小化目标函数,我们的系统在对话中收集必要信息所需的轮数。我们进行了对话实验,使用两个数据集从不同领域的辩论对话。实验结果表明,基于MDP的形式化策略效果良好,DRL优化策略的性能优于现有的启发式对话策略。
2018-11-26 cs.AI
Safe Reinforcement Learning via Probabilistic Shields
Radboud University(拉德堡德大学);TU Graz(格拉茨工业大学);RWTH Aachen University(亚琛工业大学)
本文的目标是在包含不确定性的场景中有效构建决策安全屏障。马尔可夫决策过程(MDP)是捕获此类规划问题的突出模型。强化学习(RL)是一种机器学习技术,用于确定MDP中的近似最优策略,这些策略在探索模型之前可能是未知的。然而,在探索过程中,强化学习很容易引发不受欢迎或在安全或任务关键型环境中不允许的行为。我们引入了概率屏蔽的概念,使决策能够坚持高概率的安全约束。在关注点分离中,我们采用形式化验证来有效地计算MDP的安全相关片段内的关键决策的概率。我们使用这些结果来实现应用于RL算法的屏蔽,然后优化实际的性能目标。我们讨论了在环境探索和确保安全方面取得足够进展之间的权衡。在我们的实验中,我们证明了街机游戏的PAC-MAN和案例研究,涉及服务机器人的学习效率增加的学习需要的数量级更少的情节。
2019-11-25 cs.AI
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis(加州大学戴维斯分校);Northwestern University(西北大学)
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题,证明最优策略存在性并给出Bellman最优方程,提出ARRLC算法实现极小极大最优遗憾与样本复杂度,实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Reward-Punishment Reinforcement Learning with Maximum Entropy
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室)
本研究提出整合长期策略熵优化的softDMP奖惩强化学习算法,解决Deep MaxPain遗留的两个问题,在离散MDP和Turtlebot 3迷宫导航任务中验证了性能优势。
2024-05-20 cs.AI cs.LG cs.RO
Decision-Making in Reinforcement Learning
Gautam Buddha University(乔达摩佛陀大学)
在这项研究工作中,研究了概率决策方法,例如贝叶斯和玻尔兹曼策略,以及各种确定性探索策略,例如贪婪,ε-贪婪和随机方法。在这项研究工作中,概率和确定性决策方法之间进行了比较研究,实验在OpenAI健身房环境中进行,解决推车杆问题。这项研究工作讨论了深度强化学习中的贝叶斯决策方法,以及关于辍学,它如何降低计算成本。对各种勘探方法进行了比较。它还讨论了探索在深度强化学习中的重要性,以及改进探索策略如何在科学和技术方面有所帮助。这项研究工作表明,从长远来看,概率决策方法比确定性方法更好。当存在不确定性时,贝叶斯丢弃方法被证明是优于所有其他方法在这项研究工作中。
2019-06-01 cs.AI
Deep Reinforcement Learning for Multi-Domain Dialogue Systems
University of Lincoln(林肯大学);Samsung Electronics Co. Ltd.(三星电子有限公司)
标准的深度强化学习方法,如用于多任务(域)的深度Q网络(DQN),面临可扩展性问题。本文提出了一种多域对话策略学习方法--NDQN,并将其应用于餐饮酒店领域的信息搜索口语对话系统。实验结果比较DQN(基线)与NDQN(建议)使用模拟报告,我们提出的方法具有更好的可扩展性,是有希望的多域对话系统的行为优化。
2016-11-26 cs.AI cs.CL cs.LG
Making Sense of Reinforcement Learning and Probabilistic Inference
DeepMind(深度思维)
强化学习(RL)将控制问题与统计估计相结合:系统动态对智能体来说是未知的,但可以通过经验来学习。最近的一系列研究将RL视为推理,并提出了一个特定的框架来将RL问题概括为概率推理。我们的论文表面在这种方法的一个关键缺点,并澄清了RL可以连贯地铸造作为一个推理问题的意义。特别是,RL代理必须考虑其行为对未来奖励和观察的影响:探索-开发权衡。除了最简单的设置,在所有情况下,由此产生的推理在计算上是难以处理的,因此实际的RL算法必须采用近似。我们证明了流行的“RL作为推理”近似在非常基本的问题中也会表现不佳。然而,我们表明,通过一个小的修改,框架确实产生了可以证明表现良好的算法,并且我们表明,由此产生的算法相当于最近提出的K-学习,我们进一步将其与汤普森采样联系起来。
2020-11-04 cs.AI cs.LG
Synthesizing Neural Network Controllers with Probabilistic Model based Reinforcement Learning
McGill University(麦吉尔大学)
我们提出了一种快速学习控制器的机器人系统的算法。该算法遵循基于模型的强化学习范式,并改进了现有的算法,即控制中的概率学习(PILCO)和基于样本的PILCO版本与神经网络动力学(Deep-PILCO)。我们提出了一个神经网络动力学模型,使用截断对数正态噪声的变分丢弃。这使我们能够获得具有校准不确定性的动态模型,该模型可用于通过推出来模拟控制器执行。我们还描述了一套技术,灵感来自于查看PILCO作为一个经常性的神经网络模型,这是至关重要的,以提高收敛的方法。我们在各种基准任务上测试了我们的方法,证明了与PILCO竞争的数据效率,同时能够优化复杂的神经网络控制器。最后,我们评估了学习电机控制器的六腿自主水下航行器的算法的性能。这证明了该算法在更复杂的控制任务中扩展维度和数据集大小的潜力。
2018-08-01 cs.AI cs.RO
Probabilistic Performance Guarantees for Multi-Task Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
提出一种结合每任务有限 rollout 置信下界与任务级泛化的新泛化界,为未见任务提供高置信度性能保证。
2026-05-31 cs.AI cs.LG
Multi-Goal Dexterous Hand Manipulation using Probabilistic Model-based Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院)
本文提出目标条件概率模型预测控制(GC-PMPC)方法,通过概率神经网络集成和异步MPC策略解决多目标灵巧手操作问题,在模拟与真实DexHand 021平台上均展现出卓越的学习效率与控制性能。
2025-04-30 cs.AI cs.RO cs.SY
Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation
Department of Computer Science, University of Verona(威尼斯大学计算机科学系);Department of Engineering for Innovation Medicine, University of Verona(威尼斯大学创新医学工程系);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种基于概率枚举和神经网络验证的分层控制框架,通过设计控制障碍函数和策略校正机制,确保了强化学习在复杂动态环境中的安全自主导航。
2025-04-30 cs.AI cs.RO
ProSh: Probabilistic Shielding for Model-free Reinforcement Learning
Imperial College(帝国学院)
本文提出无模型安全强化学习算法 ProSh,通过风险预算、成本评价器和策略分布概率防护,在成本约束下提供训练期安全保证并保持确定性环境中的最优性。
2025-10-21 cs.AI cs.LG
ES Is More Than Just a Traditional Finite-Difference Approximator
Uber AI Labs(优步人工智能实验室)
一种基于自然演化策略简化的演化策略(ES)变体最近引起了人们的关注,因为它在挑战深度强化学习领域中表现得令人惊讶。它通过对当前参数集产生扰动来搜索神经网络参数,检查它们的性能,并向更高回报的聚合方向移动。因为它类似于奖励梯度的传统有限差分近似,所以很自然地会与之混淆。然而,这个ES优化了一个不同的梯度,而不仅仅是奖励:它优化了整个种群的平均奖励,从而寻求对扰动鲁棒的参数。这种差异可以将ES引导到相对于梯度下降的搜索空间的不同区域,并且因此也引导到具有不同属性的网络。这种独特的鲁棒性寻求属性,其后果优化,在几个领域中证明。它们包括人形运动,其中来自基于策略梯度的强化学习的网络对参数扰动的鲁棒性明显低于解决相同任务的基于ES的策略。虽然这种鲁棒性和鲁棒性寻求的影响仍然有待进一步研究,但这项工作的主要贡献是突出这种差异及其潜在的重要性。
2018-05-01 cs.AI cs.NE
Practical Probabilistic Model-based Deep Reinforcement Learning by Integrating Dropout Uncertainty and Trajectory Sampling
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出DPETS方法,将蒙特卡洛Dropout与轨迹采样结合,通过修正损失函数和过滤偶然不确定性,提升概率MBRL的预测稳定性、精度与控制能力,并在Mujoco和机器人臂任务中验证了其优越性能。
2023-09-20 cs.AI cs.LG cs.SY
Reinforcement Learning for Control with Probabilistic Stability Guarantee: A Finite-Sample Approach
Department of Control Science;Engineering, Harbin Institute of Technology, China.;State Key Laboratory of Robotics;Systems (HIT), Harbin Institute of Technology, China.;School of Automation, Central South University, China.;Department of Cognitive Robotics, Delft University of Technology, Netherlands.;Department of Computer Science, University College London, UK.;Department of Computer Science, University of Manchester, UK.
本文提出L-REINFORCE算法,通过有限样本实现强化学习控制中的概率稳定性保证,提升了稳定性分析与控制器设计的能力。
2026-02-09 cs.AI cs.LG
AIXIjs: A Software Demo for General Reinforcement Learning
Australian National University(澳大利亚国立大学);University of Oxford(牛津大学)
强化学习是研究和实现人工智能的一个通用而强大的框架。深度学习的最新进展使RL算法能够在有限的领域中实现令人印象深刻的性能,例如玩Atari视频游戏(Mnih等人,2015)以及最近的棋盘游戏Go(Silver等人,2016)。然而,我们离构建一个普遍智能的Agent还很远。许多障碍和悬而未决的问题都是概念性的:聪明意味着什么?一个人如何在一般的未知环境中进行最佳的探索和学习?实际上,一般意义上的最优是什么意思呢?通用贝叶斯智能体AIXI(Hutter,2005)是一种最大智能体模型,在一般强化学习(GRL)的子领域中起着核心作用。最近,AIXI已经被证明在重要方面存在缺陷;它没有探索足够的渐近最优(Orseau,2010),并且它在某些先验条件下表现不佳(Leike and Hutter,2015)。已经提出了AIXI的几种变体来尝试解决这些不足:其中包括熵寻求代理(Orseau,2011)、知识寻求代理(Orseau等人,2013),贝叶斯与探索爆发(Latestival,2013),MDL代理(Leike,2016 a),汤普森采样(Leike等人,2016),和乐观主义(Sunehag和Hutter,2015)。我们提出AIXIjs,这些GRL代理的一个JavaScript实现。该实现伴随着用于针对各种环境运行实验的框架,类似于OpenAI Gym(Brockman等人,20…
2017-05-22 cs.AI
QKSA: Quantum Knowledge Seeking Agent
Delft University of Technology(代尔夫特理工大学)
在这篇文章中,我们提出的动机和实现量子知识搜索代理(QKSA)的核心论点。QKSA是一个通用的强化学习代理,可用于模拟经典和量子动力学。它融合了通用人工智能,构造理论和遗传编程的思想,以建立一个强大的和通用的框架,用于测试代理在各种环境中的能力。它采用人工生命(或animat)路径到人工通用智能,其中智能代理的人口被实例化,以探索建模感知的有效方法。代理的多样性和生存性的定义的健身,相对于可解释性和可预测性,资源有限的计算模型的环境。这种一般的学习方法,然后采用模型的物理环境的基础上主观观察员状态的代理。一个具体的情况下,量子过程层析成像作为一个一般的建模原则。本文讨论了各种背景思想和基线形式主义,为目前正在积极开发的QKSA的实现奠定了基础。
2021-07-03 cs.AI quant-ph
Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models
Berkeley Artificial Intelligence Research(伯克利人工智能研究院);University of California, Berkeley(加州大学伯克利分校)
基于模型的强化学习(RL)算法可以获得优异的样本效率,但在渐近性能方面往往落后于最好的无模型算法。对于高容量参数函数逼近器(如深度网络)来说尤其如此。在本文中,我们研究如何弥合这一差距,采用不确定性感知的动力学模型。我们提出了一种名为轨迹采样概率集合(PETS)的新算法,该算法将不确定性感知深度网络动力学模型与基于采样的不确定性传播相结合。我们与最先进的基于模型和无模型的深度RL算法的比较表明,我们的方法在几个具有挑战性的基准任务上与无模型算法的渐近性能相匹配,同时需要显著更少的样本(例如,在半猎豹任务上,样本分别比软演员批评和近端策略优化少8倍和125倍)。
2018-11-02 cs.AI cs.LG cs.RO
Probabilistic Prediction of Interactive Driving Behavior via Hierarchical Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
自动驾驶汽车(AVs)已经上路。为了安全有效地与其他道路参与者进行交互,自动驾驶汽车必须准确预测周围车辆的行为并相应地进行规划。这种预测应该是概率性的,以解决人类行为中的不确定性。这种预测也应该是互动的,因为在所有可能的轨迹的预测车辆的分布不仅取决于历史信息,但也对未来的计划,其他车辆与它互动。为了实现这种互动感知的预测,我们提出了一种概率预测方法的基础上分层逆强化学习(IRL)。首先,我们明确地考虑了人类驾驶员的分层自动生成过程,涉及离散和连续的驾驶决策。在此基础上,在所有未来轨迹的预测车辆的分布被制定为一个混合的分布划分的离散决策。然后,我们应用IRL分层学习分布从真正的人类示威。提供了一个案例研究的坡道合并驾驶方案。定量结果表明,所提出的方法可以准确地预测离散的驾驶决策,如屈服或通过以及连续的轨迹。
2018-09-09 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Control of Probabilistic Boolean Networks
University of Surrey(萨里大学)
概率布尔网络(PBN)是研究基因调控网络(GRNs)等复杂动力学系统的一种计算模型。可控性是对网络状态进行策略干预的过程,目的是将其推向具有有利生物学特性的其他状态。在本文中,我们研究了具有优先经验重放的双深度Q网络在有限数量的时间步长内学习控制策略的能力,这些时间步长将PBN推向目标状态,通常是吸引子。该控制方法是无模型的,不需要网络的底层动态知识,使其适用于这样的动态推理是棘手的应用。我们提出了广泛的实验结果,两个合成PBN和PBN模型直接构建从基因表达数据的研究转移性黑色素瘤。
2020-09-07 cs.AI cs.LG cs.SY
Probabilistic Subgoal Representations for Hierarchical Reinforcement learning
Aalto University(阿尔托大学);Huawei Helsinki Research Center(华为赫尔辛基研究中心);Tampere University(坦佩雷大学)
针对分层强化学习中确定性子目标表示的局限,提出基于高斯过程的概率子目标表示方法,通过可学习核利用长程关联、构建自适应记忆,结合新学习目标实现统一训练,在多类环境中性能优于现有基线且具备低层策略迁移能力。
2024-06-24 cs.AI cs.LG
Efficient Probabilistic Performance Bounds for Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在强化学习领域,最近在策略性能的安全性和高置信度界限方面取得了进展。然而,据我们所知,没有实际的方法存在确定高置信度的政策性能界限的逆强化学习设置-其中真正的奖励函数是未知的,只有专家行为的样本。我们提出了一种基于贝叶斯逆强化学习的抽样方法,该方法使用演示来确定$α$的实际高置信度上界-在专家未知的奖励函数下,任何评估策略与最优策略之间的预期收益的最差情况。我们评估了我们提出的标准网格导航任务和模拟驾驶任务的界限,并实现了更紧密,更准确的界限比基于特征计数的基线。我们还给出了如何利用我们提出的界限来执行风险感知政策选择和风险感知政策改进的例子。由于我们提出的界限需要几个数量级的示范比现有的高置信度的界限,这是第一个实用的方法,允许代理,从示范学习,以表达他们的学习政策的质量的信心。
2018-06-23 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Stabilization of Large-scale Probabilistic Boolean Networks
University of Surrey(萨里大学);Dalian University of Technology(大连理工大学)
将概率布尔网络(PBN)引导到期望状态的能力对于诸如癌症生物学中的靶向治疗的应用是重要的。强化学习(RL)已经被提出作为解决离散时间最优控制问题的框架,该问题被转换为马尔可夫决策过程。我们专注于一个由无模型深度RL方法提供支持的综合框架,该方法可以解决不同类型的控制问题(例如,有或没有控制输入;吸引子状态或状态空间的子集作为目标域)。该方法对下一状态的概率分布是不可知的,因此它不使用概率转移矩阵。在训练期间,时间复杂度与时间步长或代理(深度RL)与环境(PBN)之间的交互是线性的。事实上,我们探索了深度RL方法的可扩展性,以(设置)大规模PBN的稳定性,并证明了对大型网络的成功控制,包括具有200个节点的转移性黑色素瘤PBN。
2022-10-25 cs.AI cs.LG cs.SY
Probabilistic Inference in Reinforcement Learning Done Right
Google DeepMind(谷歌DeepMind)
本文对强化学习中状态-动作最优性的后验概率进行严格贝叶斯处理,提出变分贝叶斯近似方法VAPOR,生成高效探索策略,并在实验中展现性能优势。
2023-11-22 cs.AI cs.LG
Meta-Inverse Reinforcement Learning for Mean Field Games via Probabilistic Context Variables
针对平均场博弈中现有逆强化学习方法受智能体同质性假设限制、难处理异构目标演示的问题,提出基于深度潜变量的元逆强化学习方法,无需先验上下文知识即可跨相似任务推断奖励,在模拟和真实出租车定价场景中效果优于现有方法。
2025-09-04 cs.AI cs.GT cs.LG
Hierarchical Framework for Interpretable and Probabilistic Model-Based Safe Reinforcement Learning
Software Competence Center Hagenberg(哈根伯格软件能力中心);Technological University Dublin(都柏林理工大学);ADAPT Research Centre(ADAPT研究中心)
本文提出分层框架BC-SRLA,融合概率建模与强化学习以提升可解释性和安全性,并通过策略克隆减少交互,在涡扇发动机维修案例中优于现有方法。
2023-10-28 cs.AI cs.LG cs.SY
Probabilistic Constrained Reinforcement Learning with Formal Interpretability
Imperial College London(帝国理工学院)
针对强化学习奖励与策略难以解释的问题,提出 AWaVO 自适应 Wasserstein 变分优化框架,利用形式化方法保证收敛、透明训练与决策可解释,并在仿真和四旋翼任务中验证其性能优势。
2024-06-17 cs.AI cs.LG cs.RO
Extremum-Seeking Action Selection for Accelerating Policy Optimization
本文提出基于极值搜索控制(ESC)的动作选择方法,通过对随机策略采样动作施加正弦扰动并利用估计Q值动态改进动作,使其更接近局部最优,从而在无模型强化学习中加速策略优化并提升学习效率。
2024-04-02 cs.AI cs.LG cs.RO
Dependability Analysis of Deep Reinforcement Learning based Robotics and Autonomous Systems through Probabilistic Model Checking
University of Liverpool(利物浦大学)
虽然深度强化学习(DRL)为机器人和自主系统(RAS)的控制提供了转型能力,但DRL的黑箱性质和RAS的不确定部署环境对其可靠性提出了新的挑战。虽然现有的工作对日间行车灯政策施加限制,以确保任务的成功完成,但考虑到所有的可靠性属性,以整体的方式评估日间行车灯驱动的RAS是远远不够的。在本文中,我们正式定义了一组时序逻辑的可靠性属性,并构建了一个离散时间马尔可夫链(DTMC)模型的动态风险/故障的DRL驱动的RAS与随机环境的相互作用。然后,我们进行概率模型检验(PMC)的设计DTMC验证这些属性。我们的实验结果表明,所提出的方法是有效的,作为一个整体的评估框架,同时发现可能需要在训练中权衡的属性之间的冲突。此外,我们发现,标准DRL培训不能提高可靠性属性,因此需要定制的优化目标。最后,我们的方法提供了可靠性属性的灵敏度分析,从环境的干扰水平,提供见解的保证真正的RAS。
2022-07-07 cs.AI cs.RO cs.SE
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA(普渡大学土木与建设工程学院);Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA(普渡大学埃尔莫尔家庭电气与计算机工程学院)
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架,通过元学习推断环境潜在表示并动态调整风险水平,实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Probabilistic Constraint for Safety-Critical Reinforcement Learning
Renssealaer Polytechnic Institute(伦斯勒理工学院);IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
本文针对概率约束强化学习提出安全策略学习框架,建立与累积约束的联系,改进SPG梯度方法并设计安全原始-对偶算法,理论分析与实验验证了最优性与安全性的更好权衡。
2024-03-13 cs.AI cs.LG
Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching
University of Minnesota(明尼苏达大学);Northeastern University(东北大学)
针对需确保时序逻辑约束概率满足的约束强化学习问题,提出基于早期试验估计约束满足概率、自适应调整纯学习与约束满足策略切换概率的框架,理论验证了算法正确性并通过仿真展示性能。
2024-11-27 cs.AI cs.RO cs.SY
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University(首尔国立大学)
机器人和自主系统中的新兴应用,如自动驾驶和机器人手术,通常涉及关键的安全约束,即使有关系统模型的信息有限,也必须满足这些约束。在这方面,我们提出了一个无模型的安全规范方法,学习安全操作的最大概率,通过仔细结合概率可达性分析和安全强化学习(RL)。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是,它产生了一系列的安全策略,确定安全操作的范围,称为安全集,单调扩展,并逐渐收敛。我们还开发了一个有效的安全的探索计划,加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽,我们的方法调节的探索性政策,以避免危险状态的高置信度。为了处理高维系统,我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL,以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明,通过连续控制基准问题,如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Reinforcement Learning Based Temporal Logic Control with Maximum Probabilistic Satisfaction
The University of Iowa(爱荷华大学);University of Science and Technology of China(中国科学技术大学)
本文提出了一种无模型强化学习(RL)算法来合成一个控制策略,最大限度地提高满足概率的线性时序逻辑(LTL)规格。由于考虑到环境和运动的不确定性,我们模型的机器人运动作为一个概率标记马尔可夫决策过程未知的转移概率和未知的概率标签函数。LTL任务规范被转换为有限确定性广义Büchi自动机(LDGBA)与几个接受集,以保持密集的奖励在学习过程中。应用LDGBA的新颖之处在于通过设计一个同步跟踪前沿函数来构造一个嵌入式LDGBA(E-LDGBA),它能够在不增加维数和计算复杂性的情况下记录非访问接受集。严格的分析表明,任何优化基于RL的方法的预期折扣收益的方法都可以保证找到最优策略,最大限度地提高LTL规范的满意概率。本文提出了一种无模型的基于RL的运动规划策略来生成最优策略。通过仿真和实验结果证明了基于RL的控制综合的有效性。
2021-10-05 cs.AI cs.FL cs.RO
Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
Aalborg University(奥尔堡大学);Radboud University(拉德堡德大学);Ruhr University Bochum(波鸿鲁尔大学)
本文针对已知MDP转移图但转移概率未知的场景,提出将概率屏蔽与在线模型学习结合的自适应方法,通过实验验证其在安全强化学习中的有效性。
2026-08-21 cs.AI cs.LG cs.LO
Robust Probabilistic Shielding for Safe Offline Reinforcement Learning
Radboud University Nijmegen The Netherlands;Ruhr University\,\&\,Radboud University Bochum Germany;Radboud University;Ruhr University\,\&\,Radboud University
本文提出一种鲁棒概率防护方法,结合安全策略改进与防护机制,在离线强化学习中确保策略性能与安全,实验表明其在低数据环境下表现更优。
2026-05-11 cs.AI cs.LG
SearchWiki: Learning to Build and Navigate Knowledge Wikis for Active Information Seeking
IBM(国际商业机器公司)
该研究提出SearchWiki框架,将语料库合成分层可导航Wiki,训练WikiResearcher-9B智能体经强化学习优化导航策略,在多基准测试中表现优于同规模模型,证实结构化语料库学习式导航优于扁平检索。
2026-09-01 cs.AI