Overcoming Exploration: Deep Reinforcement Learning for Continuous Control in Cluttered Environments from Temporal Logic Specifications
Lehigh University（利哈伊大学）；Boston University（波士顿大学）
使用深度强化学习（DRL）的机器人导航任务的无模型连续控制依赖于用于探索的噪声策略对奖励的密度敏感。在实践中，机器人通常部署在杂乱的环境中，包含许多障碍物和狭窄的通道。设计密集有效的奖励是具有挑战性的，导致训练过程中的探索问题。这样的问题变得更加严重时，任务描述使用时序逻辑规范。这项工作提出了一个深策略梯度算法，用于控制机器人在混乱的环境中运行时，任务被指定为线性时序逻辑（LTL）公式的未知动态。为了克服训练过程中探索的环境挑战，我们提出了一种新的路径规划引导的奖励计划，通过整合基于采样的方法来有效地完成目标达成任务。为了促进LTL的满意度，我们的方法分解成子目标，达到任务，以分布式的方式解决的LTL任务。我们的框架被证明可以显着提高性能（有效性，效率）和探索的机器人在大规模混乱的环境中执行复杂的任务。视频演示可以在YouTube频道上找到：https://youtu.be/yMh_NUNWxho。
2023-02-23 cs.LG cs.RO
Shielded Reinforcement Learning Under Dynamic Temporal Logic Constraints
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出一种结合序列控制屏障函数和无模型强化学习的框架，以满足复杂的时序逻辑任务，扩展了传统安全约束的应用范围。
2026-03-17 cs.LG cs.RO
Neuro-Symbolic Reinforcement Learning with First-Order Logic
IBM Research（IBM研究院）
深度强化学习（RL）方法在收敛之前通常需要多次试验，并且不提供训练策略的直接可解释性。为了实现快速收敛和可解释的策略在强化学习，我们提出了一种新的基于文本的游戏强化学习方法与最近的神经符号框架称为逻辑神经网络，它可以学习符号和可解释的规则在其可微网络。该方法首先从文本观察和外部词义网络（ConceptNet）中提取一阶逻辑事实，然后在网络中用可直接解释的逻辑算子训练策略。我们的实验结果表明，在TextWorld基准测试中，使用该方法进行RL训练的收敛速度明显快于其他最先进的神经符号方法。
2021-10-21 cs.AI cs.CL cs.LG
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions
针对在线强化学习样本效率低的问题，本文提出利用少量专家演示和可任意重置的模拟器，通过选择合适的辅助起始状态分布（以情节长度信息实现）加速学习，在稀疏奖励硬探索环境中实现了最先进的样本效率。
2025-07-07 cs.AI cs.LG cs.RO
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中，我们弥合了强化学习和知识表示之间的差距，通过提供一个丰富的知识表示框架，基于正常的逻辑程序与答案集语义，这是能够解决无模型强化学习问题，更复杂的领域，并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外，我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Automating the Refinement of Reinforcement Learning Specifications
The Pennsylvania State University（宾夕法尼亚州立大学）；Singapore Management University（新加坡管理大学）
本文提出AutoSpec框架，通过探索引导策略自动细化逻辑规范，提升强化学习算法学习有效策略的能力。
2026-02-27 cs.AI cs.LG cs.RO
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Model-based deep reinforcement learning for accelerated learning from flow simulations
TU Dresden（德累斯顿工业大学）
针对流动模拟计算成本高导致强化学习落地难的问题，提出交替使用模拟轨迹与环境模型集成采样轨迹的基于模型强化学习方法，在流体弹球测试中最高减少85%训练时间，更复杂场景节省更显著。
2024-04-10 cs.CE cs.LG physics.flu-dyn
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战，当任务是复杂的，具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中，我们使用时序逻辑，以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数，以提高勘探。我们整合了控制屏障功能，以保护探索和部署过程。我们开发了一个灵活的和可学习的系统，允许用户指定任务的目标和限制，在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Control Synthesis from Linear Temporal Logic Specifications using Model-Free Reinforcement Learning
Duke University（杜克大学）
本文提出一种强化学习框架，用于在未知随机环境中基于线性时序逻辑规范合成控制策略，通过无模型强化学习最大化满足LTL公式概率，确保算法收敛至最优策略。
2020-03-05 cs.AI cs.LG cs.RO
Uncertainty-Aware Rank-One MIMO Q Network Framework for Accelerated Offline Reinforcement Learning
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电子工程学院）；Department of Artificial Intelligence, Korea University（韩国大学人工智能系）
本文提出考虑不确定性的秩一MIMO Q网络框架，通过量化数据不确定性提升离线强化学习的效率与性能。
2026-02-23 cs.LG cs.RO
Actor-Accelerated Policy Dual Averaging for Reinforcement Learning in Continuous Action Spaces
School of Chemical and Biomolecular Engineering, Georgia Institute of Technology, GA, USA（化学与生物分子工程学院，佐治亚理工学院，美国加利福尼亚州）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, GA, USA（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院，美国加利福尼亚州）
本文提出加速器PDA，通过学习策略网络加速连续动作空间中的强化学习，提升性能并保持收敛保证。
2026-03-10 cs.LG
Constructive Symbolic Reinforcement Learning via Intuitionistic Logic and Goal-Chaining Inference
FAST Foundation（FAST基金会）
本文提出用直觉主义逻辑下的构造性证明替代奖励优化，通过目标链推理实现可证明安全、可解释且高效收敛的符号强化学习，并在网格世界任务中验证其优于Q学习。
2025-06-05 cs.AI cs.LG
LogicPuzzleRL: Cultivating Robust Mathematical Reasoning in LLMs via Reinforcement Learning
Peking University（北京大学）
本文提出LogicPuzzleRL框架，通过强化学习让LLMs在七个自定义逻辑谜题上训练，以培养约束传播、空间一致性和符号演绎等推理技能，显著提升数学基准上的分布外性能，尤其改善中等难度多步推理问题。
2025-06-05 cs.LG
Interpretable Model-based Hierarchical Reinforcement Learning using Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
近年来，深度强化学习在广泛的应用中取得了巨大的成功。然而，它缺乏数据效率和可解释性。数据效率很重要，因为与环境交互的成本很高。此外，可解释性可以增加黑盒式深度RL模型的透明度，从而获得用户的信任。在这项工作中，我们提出了一个新的分层框架，通过符号RL，利用符号转换模型，以提高数据效率，并介绍了学习策略的可解释性。该框架由一个高级Agent、一个子任务求解器和一个符号转换模型组成。在不假设任何先验知识的状态转换，我们采用归纳逻辑程序设计（ILP）学习的符号状态转换的规则，引入可解释性，使学习的行为可理解的用户。在实证实验中，我们证实，所提出的框架提供了约30%至40%之间的数据效率比以前的方法。
2021-06-21 cs.LG
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science（印度科学学院）
针对连续状态空间中STL规范鲁棒满足与可处理性难题，提出基于漏斗函数的可处理强化学习算法，学习时变策略，并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
Toward Safe and Accelerated Deep Reinforcement Learning for Next-Generation Wireless Networks
Queen’s University（女王大学）；Cairo University（开罗大学）；University of Calgary（卡尔加里大学）
深度强化学习（Deep Reinforcement Learning，DRL）算法近年来在无线网络领域得到了广泛的关注。它们被认为是解决下一代网络中动态无线资源管理（RRM）问题的有前途的方法。由于DRL算法能够构建无线网络环境的近似和不断更新的模型，因此可以处理此类环境的多方面复杂性。然而，一些挑战阻碍了商业网络中DRL的实际采用。在本文中，我们首先讨论了两个关键的实际挑战，面临的，但很少解决时，开发基于DRL的RRM解决方案。我们认为，这是不可避免的，以解决这些DRL相关的挑战，DRL找到自己的方式RRM商业解决方案。特别是，我们讨论了需要有安全和加速的DRL为基础的RRM解决方案，减轻DRL算法所表现出的收敛速度慢和性能不稳定。然后，我们审查和分类的主要方法中使用的RRM域开发安全和加速DRL为基础的解决方案。最后，进行了案例研究，以证明具有安全和加速的基于DRL的RRM解决方案的重要性。我们采用多种变体的迁移学习（TL）技术，以加速智能无线电接入网络（RAN）切片DRL为基础的控制器的收敛。我们还提出了一种基于TL的混合方法和基于S形函数的奖励，作为基于DRL的RAN切片中安全探索的示例。
2022-09-16 cs.AI cs.LG cs.NI
Accelerated Policy Gradient: On the Convergence Rates of the Nesterov Momentum for Reinforcement Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）；Institute of Statistical Mathematics（统计数理研究所）
本文将Nesterov加速梯度方法引入强化学习策略优化，提出APG，并首次证明其在softmax参数化下分别以常数步长和指数增长步长达到$\ ilde{O}(1/t^2)$和线性收敛速率，显著优于标准策略梯度。
2024-06-06 cs.LG
Accelerated Portfolio Optimization and Option Pricing with Reinforcement Learning
Magnative AI
本文提出用强化学习动态调整迭代求解器的块预条件子尺寸，以加速投资组合优化和期权定价中大型线性系统的收敛，并在真实矩阵上验证其可显著降低计算成本、支持实时决策。
2025-06-23 cs.AI cs.LG q-fin.CP
Tractable Reinforcement Learning of Signal Temporal Logic Objectives
University of Minnesota（明尼苏达大学）
信号时序逻辑（STL）是一种表达语言，用于指定有时限的真实世界机器人任务和安全规范。最近，人们对通过强化学习（RL）学习最优策略以满足STL规范产生了兴趣。学习满足STL规范通常需要足够长的状态历史来计算奖励和下一个动作。对历史的需要导致学习问题的指数状态空间增长。因此，对于大多数现实世界的应用来说，学习问题在计算上变得难以处理。在本文中，我们提出了一个紧凑的方法来捕捉状态历史的一个新的增广状态空间表示。提出了一个近似的目标（最大化满意概率），并解决了在新的增广状态空间。我们显示的近似解决方案的性能范围，并通过模拟与现有技术的解决方案进行比较。
2020-02-17 cs.AI cs.LG cs.RO
Octax: Accelerated CHIP-8 Arcade Environments for Reinforcement Learning in JAX
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL（里尔大学、法国国家科学研究中心、中央理工大学、UMR 9189-CRIStAL）
研究为强化学习引入Octax，基于CHIP-8仿真在JAX实现经典街机游戏环境，相比传统CPU模拟器有数量级加速，可训练RL智能体，模块化设计便于扩展，是大规模RL实验理想平台。
2026-07-07 cs.LG
Rethinking Reinforcement Learning based Logic Synthesis
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，强化学习已被用于通过将算子序列优化问题公式化为马尔可夫决策过程来解决逻辑综合。然而，通过大量的实验，我们发现学习的策略做出的决策独立于电路特征（即，状态）并产生在某种程度上就算子而言是置换不变的算子序列。基于这些发现，我们开发了一种新的基于RL的方法，可以自动识别关键运营商和生成常见的运营商序列推广到看不见的电路。我们的算法在EPFL基准测试，私人数据集和工业规模的电路上进行了验证。实验结果表明，该算法在延迟、面积和运行时间之间取得了较好的平衡，具有一定的工业实用价值。
2022-06-27 cs.AR cs.LG
Accelerated Methods for Deep Reinforcement Learning
University of Berkeley（伯克利大学）
深度强化学习（RL）近年来取得了许多成功，但实验周转时间仍然是研究和实践中的一个关键瓶颈。我们研究如何为现代计算机优化现有的深度RL算法，特别是CPU和GPU的组合。我们确认，策略梯度和Q值学习算法可以适应学习使用许多并行模拟器实例。我们进一步发现，可以使用比标准大得多的批量进行训练，而不会对样品复杂性或最终性能产生负面影响。我们利用这些事实来建立一个统一的框架，并行化，大大加快实验在这两类算法。所有的神经网络计算都使用GPU，加速了数据汇集和训练。我们的研究结果包括使用整个DGX-1学习成功的策略，在雅达利游戏在短短几分钟内，使用同步和异步算法。
2019-01-10 cs.AI cs.DC cs.LG
Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation
University of Science and Technology of China（中国科学技术大学）；Chongqing University（重庆大学）；Hunan University（湖南大学）
本文提出时序逻辑引导的混合策略框架HyTL，通过LTL编码任务规范并结合三层决策结构，提升长时程机器人操作的采样效率、性能与可解释性。
2024-12-29 cs.AI cs.LG cs.RO
Compositional Reinforcement Learning from Logical Specifications
University of Pennsylvania（宾夕法尼亚大学）
我们研究的问题，学习控制策略的复杂任务的逻辑规范。最近的方法从给定的规范自动生成奖励函数，并使用合适的强化学习算法来学习使预期奖励最大化的策略。然而，这些方法对于需要高级别规划的复杂任务的扩展性很差。在这项工作中，我们开发了一种组合学习方法，称为DiRL，它将高级规划和强化学习交织在一起。首先，DiRL将规范编码为抽象图;直观地说，图的顶点和边分别对应于状态空间的区域和更简单的子任务。然后，我们的方法结合了强化学习，在Dijkstra风格的规划算法中为每条边（子任务）学习神经网络策略，以计算图中的高级计划。一组具有连续状态和动作空间的具有挑战性的控制基准上的所提出的方法的评估表明，它优于最先进的基线。
2021-12-27 cs.AI cs.LG
Incorporating Relational Background Knowledge into Reinforcement Learning via Differentiable Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
关系强化学习（RRL）可以提供各种理想的功能。最重要的是，它允许将专家知识融入学习中，因此与标准的深度强化学习相比，它可以实现更快的学习和更好的泛化。然而，大多数现有的RRL方法要么不能结合专家背景知识（例如，以显式谓词语言的形式）或者不能直接从诸如图像的非关系数据学习。在本文中，我们提出了一种新的深度RRL的基础上可微归纳逻辑程序设计（ILP），可以有效地学习关系信息的图像和目前的状态的环境作为一阶逻辑谓词。此外，它可以采用专家背景知识，并使用适当的谓词将其纳入学习问题。可区分的ILP允许用于在RRL中学习策略的整个框架的端到端优化。我们使用BoxWorld，GridWorld以及CLEVR数据集的关系推理等环境来展示这种新型RRL框架的有效性。
2020-03-23 cs.LG stat.ML
JaxWildfire: A GPU-Accelerated Wildfire Simulator for Reinforcement Learning
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
JaxWildfire是一种基于JAX的GPU加速野火模拟器，利用单元格自动机模型实现高效模拟，加速RL训练以优化野火扑灭策略。
2025-12-05 cs.AI cs.LG
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University（杨百翰大学）；University of Southern California（南加利福尼亚大学）
众所周知，控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号，需要多次重新训练。多目标强化学习（MORL）框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合，允许更好地控制代理的行为，而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而，这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑，规范本质上更易于解释。另外，可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码，并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范，并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Accelerated Intravascular Ultrasound Imaging using Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research（飞利浦研究院）
针对血管内超声导管物理通道有限的信息瓶颈问题，提出基于深度强化学习、结合actor-critic方法与Gumbel top-$K$采样的逐帧自适应采集框架，在保证图像质量的同时提升成像帧率。
2022-01-24 cs.CV cs.LG eess.SP
Statistical Convergence of Transformer Encoder-Accelerated Robust Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出一种Transformer热启动的鲁棒强化学习算法，采用R-污染模型和保形预测，通过预认证停止规则在扰动迷宫环境中显著减少初始误差并加速收敛，同时提供更紧密的误差界限。
2026-09-22 cs.LG cs.SY eess.SY
Reinforcement Learning for Accelerated Aerodynamic Shape Optimisation
Software Competence Center Hagenberg (SCCH)（软件竞争力中心哈根贝格）；Institut für Strömungsmechanik und Wärmeübertragung, TU Wien（流体力学与传热研究所，维也纳技术大学）；CERBSim GmbH（CERBSim公司）
提出基于强化学习的自适应优化算法，通过代理模型和演员-评论家策略评估的MCMC方法，冻结部分参数以降低维度，加速气动外形优化，并在简单流体动力学问题上验证了特征重要性解释能力。
2026-06-18 cs.LG
Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning
Imperial College London（帝国理工学院）
这项工作介绍了一种神经符号代理，它将深度强化学习（DRL）与时序逻辑（TL）相结合，以实现系统性的zero-shot，即，前所未见的，正式指定指令的概括。特别是，我们提出了一个神经符号框架，其中一个符号模块转换TL规范的形式，有助于训练的DRL代理目标概括，而神经模块学习系统地解决给定的任务。我们研究了系统学习在不同环境中的出现，并发现卷积层的架构在推广到新指令时是关键。我们还提供了证据表明，系统学习可以出现抽象的运营商，如否定时，从几个训练样本，以前的研究一直在努力学习。
2021-09-13 cs.AI cs.LG stat.ML
DRiLLS: Deep Reinforcement Learning for Logic Synthesis
Brown University（布朗大学）；American University in Cairo（开罗美国大学）
逻辑综合需要对综合优化流程进行广泛的调整，其中结果的质量（QoR）取决于所使用的优化序列。由于可能的优化排列的指数数量，有效的设计空间探索是具有挑战性的。因此，优化过程的自动化是必要的。在这项工作中，我们提出了一种新的强化学习为基础的方法，导航的优化空间，没有人为干预。我们展示了一个优势演员评论家（A2C）代理，旨在尽量减少受时间约束的区域的培训。使用所提出的方法，设计可以自动优化与无人在回路中。综合EPFL基准套件的评估表明，该代理优于现有的勘探方法，并提高了QoR的平均13%。
2019-11-13 cs.AI cs.LG cs.NE
Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents
Tufts University（塔夫茨大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Tech Research Institute（佐治亚理工学院研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出逻辑规范引导的动态任务采样方法LSTS，在不依赖环境动态或奖励机信息的情况下动态采样任务，以更少环境交互学习目标策略，并在多个任务上优于现有RM和自动机引导的强化学习方法。
2024-04-03 cs.AI cs.LG cs.RO
Multi-Agent Reinforcement Learning with Temporal Logic Specifications
University of Oxford（牛津大学）；Monash University（莫纳什大学）
在本文中，我们研究的问题，学习满足时序逻辑规范与一组代理在一个未知的环境中，这可能会表现出概率行为。从学习的角度来看，这些规范提供了一个丰富的形式语言，捕捉任务或目标，而从逻辑和自动验证的角度来看，学习能力的引入允许在大型，随机，未知的环境中的实际应用。然而，这方面的现有工作是有限的。考虑完整的线性时序逻辑或具有正确性保证的框架中，所有方法到目前为止只考虑单个时序逻辑规范和单个代理的情况。为了克服这一局限性，我们开发了第一个多智能体强化学习技术的时序逻辑规范，这也是新颖的，它能够处理多个规格。即使使用函数逼近，我们也为我们的主要算法-- ALMANAC（自动机/逻辑多智能体自然演员-评论家）--提供正确性和收敛性保证。除了我们的理论结果，我们进一步证明了我们的技术的适用性，通过一组初步的实验。
2021-02-09 cs.AI cs.LG cs.LO
Certified Reinforcement Learning with Logic Guidance
University of Oxford（牛津大学）；Microsoft Research（微软研究院）；Magdalen College, University of Oxford（牛津大学莫德林学院）；Amazon, Inc.（亚马逊公司）
针对安全关键控制问题，提出一种无模型RL算法，利用LTL目标和LDGBA实时塑造奖励，并在假设下保证最大概率满足规范。
2023-06-06 cs.LG stat.ML
BlackBoxToBlueprint: Extracting Interpretable Logic from Legacy Systems using Reinforcement Learning and Counterfactual Analysis
IIIT Hyderabad
本文提出BlackBoxToBlueprint流水线，用强化学习探索黑盒遗留系统的决策边界，结合反事实状态转移、K-Means聚类和决策树提取可解释规则，并在三类虚拟系统上验证了其有效性。
2025-06-30 cs.AI cs.LG
Fuzzy Logic Theory-based Adaptive Reward Shaping for Robust Reinforcement Learning (FARS)
Automatic Control Group (RAT)（自动控制组（RAT））
本文提出基于模糊逻辑的自适应奖励塑造方法，通过整合人类直觉提升强化学习的稳定性与鲁棒性，在复杂导航任务中实现更平滑的运动与控制过渡。
2026-04-17 cs.RO
Injecting Prior Knowledge for Transfer Learning into Reinforcement Learning Algorithms using Logic Tensor Networks
Université Libre de Bruxelles（布鲁塞尔自由大学）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）
人类解决复杂任务的能力得益于其环境的对象和事件语义的先验知识。本文研究了在强化学习代理中使用相似的先验知识进行迁移学习。特别是，本文提出使用基于深度神经网络的一阶逻辑语言来表示现实世界中关于对象及其语义的事实。事实被提供作为先验的背景知识，以学习如何在世界上行动的政策。先验知识与传统的输入一起被注入到单智能体体系结构中。作为概念验证，本文在简单的实验中测试了该系统，显示了符号抽象和灵活的事实推导的重要性。本文表明，该系统可以学习，以利用符号层和图像层在一个单一的决策选择模块。
2019-06-15 cs.LG stat.ML
A Deep Reinforcement Learning Approach to First-Order Logic Theorem Proving
Northwestern University（西北大学）；IBM Research（IBM研究院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Zurich Lab（IBM苏黎世实验室）；The University of Auckland（奥克兰大学）
自动定理证明器传统上依赖于手动调整的算法来指导它们如何执行证明搜索。深度强化学习已经被提出作为一种方法来满足这种推理的需要，然而，它在自动定理证明中的部署仍然是一个挑战。在本文中，我们介绍了TRAIL，这是一个将深度强化学习应用于基于饱和的定理证明的系统。TRAIL利用（a）定理证明器状态的新神经表示和（b）推理选择过程在基于注意力的行动策略方面的新特征。我们通过系统的分析表明，这些机制使TRAIL显着优于以前的基于学习的定理证明器在两个基准数据集的一阶逻辑自动定理证明（证明约15%以上的定理）。
2020-09-16 cs.AI cs.LG cs.LO
Boosting deep Reinforcement Learning using pretraining with Logical Options
通过逻辑选项预训练提升深度强化学习，实现目标导向行为与长周期决策能力的提升。
2026-03-06 cs.AI cs.LG
Mahjax: A GPU-Accelerated Mahjong Simulator for Reinforcement Learning in JAX
The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究院AIP）；Nara Institute of Science and Technology（奈良科学技術大學）；Kobe University（Kobe大学）；Kyoto University（京都大学）；ATR；The University of Sydney（悉尼大学）
本文提出Mahjax，一种基于JAX实现的麻将环境，利用GPU加速大规模并行化，以解决麻将游戏中的高维状态空间和随机性问题，为强化学习提供高效的训练平台。
2026-05-20 cs.AI cs.LG
Deep Inductive Logic Programming meets Reinforcement Learning
University of Edinburgh（爱丁堡大学）
本研究将可微神经逻辑网络应用于关系强化学习，通过引入非线性连续谓词改进归纳逻辑编程方法，使智能体能够在动态连续环境中进行推理和决策。
2023-08-30 cs.LG cs.LO cs.SC
Cautious Reinforcement Learning with Logical Constraints
University of Oxford（牛津大学）
本文提出了一种自适应安全填充的概念，它迫使强化学习（RL）在学习过程中确保安全的同时合成最优控制策略。策略被合成以满足一个目标，表示为一个时序逻辑公式，具有最大的概率。强制RL代理在学习过程中保持安全可能会限制探索，但是我们表明，所提出的架构能够自动处理探索的有效进展（实现目标满意度）和确保安全性之间的权衡。理论上的保证是可利用的最优性的综合政策和学习算法的收敛性。实验结果显示了所提出的方法的性能。
2020-03-21 cs.AI cs.LG cs.LO
Multi-agent Reinforcement Learning Accelerated MCMC on Multiscale Inversion Problem
The Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）；North-Eastern Federal University（东北联邦大学）；University of California, Irvine（加州大学欧文分校）
在这项工作中，我们提出了一个多智能体演员-评论家强化学习（RL）算法，以加速多级蒙特卡罗马尔可夫链（MCMC）采样算法。在MCMC步骤中，代理的策略（参与者）用于生成建议;而集中式的评论家负责估计长期回报。我们验证了我们提出的算法通过求解多尺度反问题。用传统的MCMC抽样方法解决这一问题有几个困难。首先，后验分布的计算涉及到评估正向求解器，这对于具有异质性的问题是非常耗时的。因此，我们建议使用多级算法。更准确地说，我们使用广义多尺度有限元法（GMsFEM）作为前向求解器在多层次拒绝过程中评估后验分布。其次，很难找到一个函数，可以产生有意义的采样。为了解决这个问题，我们学习RL策略作为提案生成器。实验结果表明，该方法显著改善了采样过程
2020-11-17 cs.LG cs.NA math.NA
Learning from Demonstrations using Signal Temporal Logic
University of Southern California（南加州大学）
从演示中学习是一种新兴的范例，通过强化学习获得有效的机器人控制策略，而不需要显式地设计奖励函数。然而，它是容易受到不完善的示范，也提出了关注的安全性和可解释性的学习控制政策。为了解决这些问题，我们使用信号时序逻辑来评估和排名演示的质量。基于时序逻辑的规范允许我们创建非马尔可夫奖励，并定义有趣的因果关系之间的依赖关系，如顺序任务规范。我们通过在离散世界和OpenAI Gym环境中的实验验证了我们的方法，并表明我们的方法优于最先进的最大因果熵逆强化学习。
2021-02-15 cs.AI cs.LG cs.RO
Directed Exploration in Reinforcement Learning from Linear Temporal Logic
Department of Computer Science（计算机科学系）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统研究所）
针对LTL强化学习奖励稀疏导致探索困难的问题，本文利用LDBA构建马尔可夫奖励过程并以贝叶斯先验估计高层价值，将其转化为内在塑形奖励，实现从表格到高维连续系统的定向探索。
2025-06-09 cs.LG
Skill Machines: Temporal Logic Skill Composition in Reinforcement Learning
School of Computer Science and Applied Mathematics（计算机科学与应用数学系）；University of the Witwatersrand（威特沃特斯兰德大学）
提出技能机器框架，通过先学习技能原语再逻辑与时序组合，实现零样本满足时序逻辑规范，并在表格、视频游戏和连续控制环境中验证有效性。
2024-03-16 cs.LG cs.LO
Pgx: Hardware-Accelerated Parallel Game Simulators for Reinforcement Learning
Kyoto University（京都大学）；ATR（国际电气通信基础技术研究所）；The University of Tokyo（东京大学）
本文提出基于 JAX 并针对 GPU/TPU 优化的棋盘游戏强化学习环境套件 Pgx，通过自动向量化与并行化实现比 Python 现有实现快 10-100 倍的模拟速度，并提供基准环境、小型游戏集和基线模型以加速 RL 研究。
2024-01-15 cs.AI cs.LG
Probabilistically Guaranteed Satisfaction of Temporal Logic Constraints During Reinforcement Learning
University of Minnesota（明尼苏达大学）
我们提出了一种新的约束强化学习方法，在马尔可夫决策过程中找到最优的政策，同时满足时间逻辑约束，在整个学习过程中所需的概率。提出了一种自动机理论的方法，以确保概率满足的约束，在每一集，这是不同的惩罚违规，以达到约束满足后，足够大的情节。所提出的方法是基于计算约束满足的概率的下限，并根据需要调整探索行为。我们提出的概率约束满足所提出的方法实现的理论结果。我们还在无人机场景中数值演示了所提出的想法，其中约束是执行定期到达的拾取和交付任务，目标是飞越高回报区域，同时执行空中监测。
2021-09-05 cs.RO cs.SY eess.SY
Logic-informed reinforcement learning for cross-domain optimization of large-scale cyber-physical systems
State Key Laboratory of Robotics and Intelligent Systems（机器人与智能系统国家重点实验室）；Shenyang Institute of Automation（沈阳自动化研究所）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出逻辑知情强化学习（LIRL），通过一阶逻辑定义的投影机制将潜在动作映射到容许混合流形，解决了CPS中混合动作的约束满足问题，在多领域实验中显著优于现有方法且零违规。
2025-11-02 cs.AI cs.LG
Think Smart, Act SMARL! Analyzing Probabilistic Logic Shields for Multi-Agent Reinforcement Learning
IvI \& ILLC, University of Amsterdam
本文提出屏蔽多智能体强化学习（SMARL）框架，通过概率逻辑时序差分更新和概率逻辑策略梯度方法将概率逻辑防护盾扩展到多智能体环境，在博弈论基准上实现了更少的约束违规和更好的规范约束下的合作。
2025-08-26 cs.AI cs.LG
