Deep Reinforcement Learning for Inquiry Dialog Policies with Logical Formula Embeddings
NEC Data Science Research Laboratories（NEC数据科学研究实验室）；PKSHA Technology Inc.（PKSHA科技公司）
本文首次尝试使用深度强化学习（DRL）来学习查询对话系统（IDS）的策略。大多数IDS框架用逻辑公式表示对话状态和对话行为。为了使学习查询对话策略更有效，我们引入了一个基于递归神经网络的逻辑公式嵌入框架。实验结果表明，基于DRL和逻辑公式嵌入框架的查询对话策略的效果与现有的基于规则的查询对话策略的效果相当，甚至更好。
2017-08-02 cs.AI cs.CL
Explaining Reinforcement Learning Agents via Inductive Logic Programming
University of Verona（维罗纳大学）；Sapienza University of Rome（罗马第一大学）
该研究致力于推进可解释强化学习，引入客观指标量化策略可解释性。采用归纳逻辑编程提取符号表示并定义新指标，实验表明这些指标能突出特定动作学习动态，提供细粒度洞察，揭示多智能体模式，助力策略转移与泛化。
2026-07-16 cs.AI
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
STL-Based Synthesis of Feedback Controllers Using Reinforcement Learning
IIT Kanpur（印度理工学院坎普尔分校）
深度强化学习（Deep Reinforcement Learning，DRL）有可能用于为具有未知动态的各种复杂系统合成反馈控制器（agent）。这些系统预计将满足不同的安全性和活性最好使用时序逻辑捕获的属性。在RL中，奖励函数在指定这些代理的期望行为方面起着至关重要的作用。然而，设计的RL代理的奖励函数，以满足复杂的时序逻辑规范的问题在文献中得到了有限的关注。为了解决这个问题，我们提供了一个系统的方法，通过使用信号时序逻辑（STL）的定量语义来实时生成奖励，STL是一种广泛使用的时序逻辑，用于指定网络物理系统的行为。我们提出了一个新的定量语义STL有几个理想的属性，使其适合奖励生成。我们评估我们的STL为基础的强化学习机制在几个复杂的连续控制基准，并比较我们的STL语义与文献中的合成控制器代理的功效。实验结果表明，我们的新语义是最适合通过强化学习合成复杂连续动态系统的反馈控制器。
2022-12-02 cs.AI
Intelligent Singularity Avoidance in UR10 Robotic Arm Path Planning Using Hybrid Fuzzy Logic and Reinforcement Learning
National Center for High-Performance Computing（国家高速网络与计算中心）
本文提出一种结合模糊逻辑与强化学习的UR10机械臂路径规划方法，通过实时检测和规避奇异点，实现高成功率的路径规划。
2026-01-09 cs.AI cs.RO
Constructive Symbolic Reinforcement Learning via Intuitionistic Logic and Goal-Chaining Inference
FAST Foundation（FAST基金会）
本文提出用直觉主义逻辑下的构造性证明替代奖励优化，通过目标链推理实现可证明安全、可解释且高效收敛的符号强化学习，并在网格世界任务中验证其优于Q学习。
2025-06-05 cs.AI cs.LG
Learning to Prove, Not Just to Answer: Reinforcement Learning from Formal Verification for Natural-Language Logical Reasoning
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）；Hong Kong Polytechnic University（香港理工大学）
针对自然语言逻辑推理中证明难以机器验证的问题，提出基于形式化验证的强化学习框架Proof-R1，通过UNSAT验证和依赖闭包对齐奖励，提升答案准确性与推理过程可验证性。
2026-09-30 cs.AI
AISYN: AI-driven Reinforcement Learning-Based Logic Synthesis Framework
NVIDIA Corp.（英伟达公司）
逻辑综合是数字芯片设计和实现中最重要的步骤之一，对最终的结果质量（QoR）有很大影响。对于用有向无环图（DAG）建模的最一般的输入电路，许多逻辑综合问题（如延迟或面积最小化）是NP完全的，因此没有最优解。这就是为什么许多经典的逻辑优化函数倾向于遵循贪婪方法，这些方法容易陷入局部最小值，无法根据需要提高QoR。我们相信人工智能（AI），更具体地说，强化学习（RL）算法可以帮助解决这个问题。这是因为AI和RL可以通过退出局部最小值来帮助进一步最小化QoR。我们在开源和工业基准电路上的实验表明，通过AI驱动的逻辑综合优化功能，可以在面积、延迟和功耗等重要指标上实现显著改善。例如，与没有AI意识的经典重写算法相比，我们基于RL的重写算法可以将合成后的总单元面积提高高达69.3%。
2023-02-08 cs.AI cs.AR
Compositional Reinforcement Learning from Logical Specifications
University of Pennsylvania（宾夕法尼亚大学）
我们研究的问题，学习控制策略的复杂任务的逻辑规范。最近的方法从给定的规范自动生成奖励函数，并使用合适的强化学习算法来学习使预期奖励最大化的策略。然而，这些方法对于需要高级别规划的复杂任务的扩展性很差。在这项工作中，我们开发了一种组合学习方法，称为DiRL，它将高级规划和强化学习交织在一起。首先，DiRL将规范编码为抽象图;直观地说，图的顶点和边分别对应于状态空间的区域和更简单的子任务。然后，我们的方法结合了强化学习，在Dijkstra风格的规划算法中为每条边（子任务）学习神经网络策略，以计算图中的高级计划。一组具有连续状态和动作空间的具有挑战性的控制基准上的所提出的方法的评估表明，它优于最先进的基线。
2021-12-27 cs.AI cs.LG
Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）；Ubiquant；Independent（独立研究者）
本研究受DeepSeek-R1启发，提出基于规则的强化学习框架Logic-RL，通过合成逻辑谜题训练7B模型，借助系统提示、格式奖励与稳定训练方案，使模型获得反思等高级推理能力，仅用5K题训练即在AIME、AMC数学基准上展现泛化性。
2025-02-20 cs.AI cs.CL
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science（印度科学学院）
针对连续状态空间中STL规范鲁棒满足与可处理性难题，提出基于漏斗函数的可处理强化学习算法，学习时变策略，并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
BlackBoxToBlueprint: Extracting Interpretable Logic from Legacy Systems using Reinforcement Learning and Counterfactual Analysis
IIIT Hyderabad
本文提出BlackBoxToBlueprint流水线，用强化学习探索黑盒遗留系统的决策边界，结合反事实状态转移、K-Means聚类和决策树提取可解释规则，并在三类虚拟系统上验证了其有效性。
2025-06-30 cs.AI cs.LG
Reinforcement Learning With Temporal Logic Rewards
Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
强化学习（RL）关键取决于用于捕获机器人的期望行为和约束的奖励函数的选择。通常，这些是由专业设计师手工制作的，代表了相对简单的任务。现实世界的应用程序通常涉及具有丰富的时间和逻辑结构的更复杂的任务。在本文中，我们利用时序逻辑（TL）的表达能力，指定复杂的规则，机器人应该遵循，并将领域知识的学习。我们提出截断线性时序逻辑（TLTL）作为规范语言，可以说非常适合机器人应用，以及定量语义，即，鲁棒度我们提出了一种RL方法来学习任务表示为TLTL公式，使用其相关的鲁棒性程度作为奖励函数，而不是手工制作的算法试图捕捉相同的规格。我们在模拟试验中表明，学习速度更快，使用该方法获得的策略在鲁棒性程度方面优于使用启发式奖励学习的策略，即，任务完成得如何。此外，我们证明了建议的RL方法在巴克斯特机器人学习的烤面包放置任务。
2017-03-02 cs.AI cs.RO
Inferring Causal Graph Temporal Logic Formulas to Expedite Reinforcement Learning in Temporally Extended Tasks
GTL-CIRL通过同时学习策略和挖掘因果图时序逻辑规范，加速时序扩展任务中的强化学习，提升学习效率和行为可验证性。
2026-01-06 cs.AI cs.LO
Neuro-Symbolic Reinforcement Learning with First-Order Logic
IBM Research（IBM研究院）
深度强化学习（RL）方法在收敛之前通常需要多次试验，并且不提供训练策略的直接可解释性。为了实现快速收敛和可解释的策略在强化学习，我们提出了一种新的基于文本的游戏强化学习方法与最近的神经符号框架称为逻辑神经网络，它可以学习符号和可解释的规则在其可微网络。该方法首先从文本观察和外部词义网络（ConceptNet）中提取一阶逻辑事实，然后在网络中用可直接解释的逻辑算子训练策略。我们的实验结果表明，在TextWorld基准测试中，使用该方法进行RL训练的收敛速度明显快于其他最先进的神经符号方法。
2021-10-21 cs.AI cs.CL cs.LG
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University（杨百翰大学）；University of Southern California（南加利福尼亚大学）
众所周知，控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号，需要多次重新训练。多目标强化学习（MORL）框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合，允许更好地控制代理的行为，而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而，这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑，规范本质上更易于解释。另外，可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码，并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范，并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
Hierarchical Decision-Making for Autonomous Navigation: Integrating Deep Reinforcement Learning and Fuzzy Logic in Four-Wheel Independent Steering and Driving Systems
School of Automation, Central South University（自动化学院，中南大学）
本文提出一种面向四轮独立转向与驱动系统的分层决策框架，融合深度强化学习进行高层导航和模糊逻辑进行低层控制，在仿真与真实工业场景中验证了其优于传统方法及纯DRL方案的训练效率、稳定性和安全性。
2025-08-22 cs.AI cs.RO
One Subgoal at a Time: Zero-Shot Generalization to Arbitrary Linear Temporal Logic Requirements in Multi-Task Reinforcement Learning
Division of Systems Engineering, Boston University（系统工程系，波士顿大学）；Department of Electrical and Computer Engineering, Boston University（电气与计算机工程系，波士顿大学）
本文提出 GenZ-LTL 方法，通过将任意 LTL 规范分解为到达-避障子目标并一次一个地求解，结合子目标诱导观测缩减技术，在多任务强化学习中实现对未见 LTL 需求的零样本泛化，显著优于现有方法。
2025-11-09 cs.AI
Learning Symbolic Rules for Interpretable Deep Reinforcement Learning
School of Computer Science, Sun Yat-Sen University（中山大学计算机学院）；Noah’s Ark Lab Huawei（华为诺亚方舟实验室）；UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）
深度强化学习（DRL）的最新进展在很大程度上归功于神经网络的使用。然而，这种黑箱方法无法以人类可理解的方式解释所学习的策略。为了解决这一问题并提高透明度，我们提出了一个神经符号强化学习框架，将符号逻辑引入DRL。该框架具有丰富的推理和学习模块，使端到端的学习与先前的符号知识。此外，可解释性是通过提取的逻辑规则学习的推理模块在一个符号规则空间。实验结果表明，我们的框架具有更好的可解释性，以及竞争的性能相比，国家的最先进的方法。
2021-03-16 cs.AI
Boosting deep Reinforcement Learning using pretraining with Logical Options
通过逻辑选项预训练提升深度强化学习，实现目标导向行为与长周期决策能力的提升。
2026-03-06 cs.AI cs.LG
Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning
Imperial College London（帝国理工学院）
这项工作介绍了一种神经符号代理，它将深度强化学习（DRL）与时序逻辑（TL）相结合，以实现系统性的zero-shot，即，前所未见的，正式指定指令的概括。特别是，我们提出了一个神经符号框架，其中一个符号模块转换TL规范的形式，有助于训练的DRL代理目标概括，而神经模块学习系统地解决给定的任务。我们研究了系统学习在不同环境中的出现，并发现卷积层的架构在推广到新指令时是关键。我们还提供了证据表明，系统学习可以出现抽象的运营商，如否定时，从几个训练样本，以前的研究一直在努力学习。
2021-09-13 cs.AI cs.LG stat.ML
DRiLLS: Deep Reinforcement Learning for Logic Synthesis
Brown University（布朗大学）；American University in Cairo（开罗美国大学）
逻辑综合需要对综合优化流程进行广泛的调整，其中结果的质量（QoR）取决于所使用的优化序列。由于可能的优化排列的指数数量，有效的设计空间探索是具有挑战性的。因此，优化过程的自动化是必要的。在这项工作中，我们提出了一种新的强化学习为基础的方法，导航的优化空间，没有人为干预。我们展示了一个优势演员评论家（A2C）代理，旨在尽量减少受时间约束的区域的培训。使用所提出的方法，设计可以自动优化与无人在回路中。综合EPFL基准套件的评估表明，该代理优于现有的勘探方法，并提高了QoR的平均13%。
2019-11-13 cs.AI cs.LG cs.NE
Deontically Constrained Policy Improvement in Reinforcement Learning Agents
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
本文提出一种融合道义逻辑约束的强化学习策略改进方法，使智能体在最大化任务效用的同时遵守伦理、社会与情境规范，并证明其可达到受约束局部最优。
2025-06-08 cs.AI
From Black Box to Executable Logic: Explainable Reinforcement Learning through Prolog Expert Systems
Institute of Research in Technology (IIT), Universidad Pontificia Comillas（技术研究所（IIT），庞培法布拉大学）
研究如何让深度强化学习策略从黑箱变为可解释的可执行逻辑程序，提出三阶段转换方法，经理论分析和实验验证，该方法能实现策略转换，在特定任务中表现良好，如在两室任务和部分连续控制任务中达到相应效果。
2026-07-21 cs.AI
Adaptive GR(1) Specification Repair for Liveness-Preserving Shielding in Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
本文提出基于GR(1)规范的自适应防护框架，通过在线修复规范实现环境假设违反时的安全与存活保持。
2026-08-26 cs.AI
Logic-informed reinforcement learning for cross-domain optimization of large-scale cyber-physical systems
State Key Laboratory of Robotics and Intelligent Systems（机器人与智能系统国家重点实验室）；Shenyang Institute of Automation（沈阳自动化研究所）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出逻辑知情强化学习（LIRL），通过一阶逻辑定义的投影机制将潜在动作映射到容许混合流形，解决了CPS中混合动作的约束满足问题，在多领域实验中显著优于现有方法且零违规。
2025-11-02 cs.AI cs.LG
A Deep Reinforcement Learning Approach to First-Order Logic Theorem Proving
Northwestern University（西北大学）；IBM Research（IBM研究院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Zurich Lab（IBM苏黎世实验室）；The University of Auckland（奥克兰大学）
自动定理证明器传统上依赖于手动调整的算法来指导它们如何执行证明搜索。深度强化学习已经被提出作为一种方法来满足这种推理的需要，然而，它在自动定理证明中的部署仍然是一个挑战。在本文中，我们介绍了TRAIL，这是一个将深度强化学习应用于基于饱和的定理证明的系统。TRAIL利用（a）定理证明器状态的新神经表示和（b）推理选择过程在基于注意力的行动策略方面的新特征。我们通过系统的分析表明，这些机制使TRAIL显着优于以前的基于学习的定理证明器在两个基准数据集的一阶逻辑自动定理证明（证明约15%以上的定理）。
2020-09-16 cs.AI cs.LG cs.LO
UniCreative: Unifying Long-form Logic and Short-form Sparkle via Reference-Free Reinforcement Learning
Beihang University（北京航空航天大学）；Baidu Inc.（百度公司）；Renmin University of China（中国人民大学）
本文提出UniCreative框架，通过自适应约束奖励模型和ACPO算法，实现无需监督细调的长短期创作统一，提升多任务表现并展现模型的元认知能力。
2026-04-07 cs.AI
Model-Free Reinforcement Learning for Optimal Control of MarkovDecision Processes Under Signal Temporal Logic Specifications
University of Southern California（南加利福尼亚大学）
我们提出了一个无模型的强化学习算法，以找到一个最佳的政策，有限的地平线马尔可夫决策过程，同时保证所需的下界的概率满足信号时序逻辑（STL）规范。我们提出了一种方法来有效地增加MDP的状态空间，以捕捉所需的状态历史，并表示为可达性目标的STL目标。然后，规划问题可以被公式化为有限时域约束的马尔可夫决策过程（CMDP）。对于具有未知转移概率的一般有限时域CMDP问题，我们开发了一种强化学习方案，该方案可以利用任何无模型RL算法来提供非平稳随机策略的一般空间中的近似最优策略。我们说明了我们的方法的有效性，在机器人运动规划的背景下，复杂的任务不确定性和性能目标。
2021-09-27 cs.AI cs.FL cs.SY
Logic-Q: Improving Deep Reinforcement Learning-based Quantitative Trading via Program Sketch-based Tuning
Nanyang Technological University（南洋理工大学）；Hong Kong Polytechnic University（香港理工大学）；Chinese University of Hong Kong（香港中文大学）；Singapore Management University（新加坡管理大学）；Peng Cheng Lab（鹏城实验室）
本文提出Logic-Q框架，通过程序草稿合成引入人类专家市场趋势知识，以事后方式调整DRL策略，显著提升量化交易性能。
2025-02-06 cs.AI cs.CE cs.PL
Automating the Refinement of Reinforcement Learning Specifications
The Pennsylvania State University（宾夕法尼亚州立大学）；Singapore Management University（新加坡管理大学）
本文提出AutoSpec框架，通过探索引导策略自动细化逻辑规范，提升强化学习算法学习有效策略的能力。
2026-02-27 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Synthesizing Functions in Higher-Order Logic
Czech Technical University in Prague（布拉格捷克理工大学）
本文描述了一个基于证明助手HOL4中的自监督学习的深度强化学习框架。通过选择树神经网络（TNN）作为机器学习模型和内部使用HOL4项来表示TNN的树结构，实现了机器学习模块和HOL4库之间的紧密交互。当任务被表示为搜索问题时，递归改进是可能的。在这种情况下，由TNN引导的蒙特卡罗树搜索（MCTS）算法可以用于探索搜索空间并产生用于训练下一个TNN的更好的示例。作为说明，指定并学习了组合子和丢番图方程的术语合成任务。我们实现了65%的组合子合成问题的成功率优于国家的最先进的ATP运行与他们最好的一般策略集。我们通过解决78.5%的生成的测试问题，开创了统计指导合成丢番图方程的先例。
2020-04-24 cs.AI cs.LO
Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping
Dalian University of Technology（大连理工大学）；Westlake University（西湖大学）；Guangzhou University（广州大学）
针对现有多智能体分层强化学习算法仅适用于单任务的局限，提出带逻辑奖励塑形的多智能体协作算法，结合LTL表达任务逻辑与价值迭代协调机制，在类Minecraft环境中验证了其提升多任务学习性能的效果。
2024-11-02 cs.AI cs.LO
Cautious Reinforcement Learning with Logical Constraints
University of Oxford（牛津大学）
本文提出了一种自适应安全填充的概念，它迫使强化学习（RL）在学习过程中确保安全的同时合成最优控制策略。策略被合成以满足一个目标，表示为一个时序逻辑公式，具有最大的概率。强制RL代理在学习过程中保持安全可能会限制探索，但是我们表明，所提出的架构能够自动处理探索的有效进展（实现目标满意度）和确保安全性之间的权衡。理论上的保证是可利用的最优性的综合政策和学习算法的收敛性。实验结果显示了所提出的方法的性能。
2020-03-21 cs.AI cs.LG cs.LO
Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Microsoft Research（微软研究院）；Vanderbilt University（范德比尔特大学）
本文提出一种任务驱动的深度Q学习算法，利用LTL自动机表示和部分环境模型指导探索，加速未知随机动力学下LTL任务策略学习，并在机器人导航实验中验证了效率提升。
2025-04-22 cs.AI cs.LG cs.RO
Control Synthesis from Linear Temporal Logic Specifications using Model-Free Reinforcement Learning
Duke University（杜克大学）
本文提出一种强化学习框架，用于在未知随机环境中基于线性时序逻辑规范合成控制策略，通过无模型强化学习最大化满足LTL公式概率，确保算法收敛至最优策略。
2020-03-05 cs.AI cs.LG cs.RO
Sample-Efficient Reinforcement Learning with Temporal Logic Objectives: Leveraging the Task Specification to Guide Exploration
Washington University in St. Louis（圣路易斯华盛顿大学）
本文针对LTL任务下未知MDP的样本效率问题，提出一种任务驱动探索的加速强化学习算法，显著提升学习速度，并通过理论与实验验证其优势随任务复杂度和MDP规模增大而增强。
2024-10-16 cs.AI cs.RO
Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching
University of Minnesota（明尼苏达大学）；Northeastern University（东北大学）
针对需确保时序逻辑约束概率满足的约束强化学习问题，提出基于早期试验估计约束满足概率、自适应调整纯学习与约束满足策略切换概率的框架，理论验证了算法正确性并通过仿真展示性能。
2024-11-27 cs.AI cs.RO cs.SY
Fuzzy Logic Guided Reward Function Variation: An Oracle for Testing Reinforcement Learning Programs
The Hong Kong Polytechnic University（香港理工大学）
本文提出一种基于模糊逻辑的自动化预言机，通过量化智能体对奖励策略的符合趋势来检测RL程序缺陷，在复杂测试场景中优于人工预言机。
2024-06-28 cs.AI cs.SE
Distributed Control using Reinforcement Learning with Temporal-Logic-Based Reward Shaping
Boston University（波士顿大学）
我们提出了一个计算框架的分布式控制策略的异构团队的机器人在部分可观察的环境中的合成。我们的目标是合作满足规格截断线性时序逻辑（TLTL）公式。我们的方法制定的合成问题作为一个随机游戏，并采用策略图的方法来找到一个控制策略与记忆每个代理。我们构建了随机博弈的产品之间的团队过渡系统和有限状态自动机（FSA），跟踪TLTL公式的满意度。我们使用TLTL的量化语义作为游戏的奖励，并使用FSA进一步重塑它来指导和加速学习过程。仿真结果表明，所提出的解决方案的有效性，在苛刻的任务规格和有效性的奖励塑造在显着加快学习的速度。
2022-04-06 cs.AI cs.SY eess.SY
RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning
Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系、BNRist、清华大学）
RL-of-Thoughts通过强化学习训练轻量级导航模型，提升大语言模型推理能力，实现多任务适应性和参数高效性。
2026-01-27 cs.AI
Tractable Reinforcement Learning of Signal Temporal Logic Objectives
University of Minnesota（明尼苏达大学）
信号时序逻辑（STL）是一种表达语言，用于指定有时限的真实世界机器人任务和安全规范。最近，人们对通过强化学习（RL）学习最优策略以满足STL规范产生了兴趣。学习满足STL规范通常需要足够长的状态历史来计算奖励和下一个动作。对历史的需要导致学习问题的指数状态空间增长。因此，对于大多数现实世界的应用来说，学习问题在计算上变得难以处理。在本文中，我们提出了一个紧凑的方法来捕捉状态历史的一个新的增广状态空间表示。提出了一个近似的目标（最大化满意概率），并解决了在新的增广状态空间。我们显示的近似解决方案的性能范围，并通过模拟与现有技术的解决方案进行比较。
2020-02-17 cs.AI cs.LG cs.RO
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）；Sony AI（索尼AI）
在连续任务中，平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样，在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而，据我们所知，奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架，并证明了在标准假设下，可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要，我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数，在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下，与相关基线相比，整形加快了平均奖励学习率，而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Model-based Reinforcement Learning from Signal Temporal Logic Specifications
University of Southern California（南加州大学）
基于强化学习（RL）的技术正越来越多地用于设计机器人系统的控制策略。RL从根本上依赖于基于状态的奖励函数来编码机器人的期望行为，而不好的奖励函数容易被学习代理利用，导致在最好的情况下不受欢迎的行为，在最坏的情况下非常危险。另一方面，为复杂任务设计好的奖励函数是一个具有挑战性的问题。在本文中，我们建议表达所需的高层次的机器人行为使用正式的规约语言称为信号时序逻辑（STL）作为替代奖励/成本函数。我们使用STL规范结合基于模型的学习来设计模型预测控制器，试图在有限的时间范围内优化STL规范的满意度。所提出的算法经验评估的机器人系统，如拾取和放置机械臂，和自适应巡航控制自动驾驶汽车的模拟。
2020-11-10 cs.AI cs.RO cs.SY
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford（牛津大学）
我们提出了一个演员批评，无模型，和在线强化学习（RL）框架的连续状态连续动作马尔可夫决策过程（MDP）时，奖励是高度稀疏的，但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南，其中提出了模块化深度确定性策略梯度（DDPG）架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中，我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Reinforcement Logic Rule Learning for Temporal Point Processes
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Microsoft Research（微软研究院）；Peking University（北京大学）
本文提出将时间点过程与强化学习相结合，通过神经搜索策略增量生成可解释时间逻辑规则，以提升事件序列似然，并在合成与医疗数据上验证有效性。
2023-08-11 cs.AI cs.LG
Automata Guided Reinforcement Learning With Demonstrations
Boston University（波士顿大学）
由于难以根据奖励函数指定任务以及学习信号的较大差异，具有复杂时间结构和长视野的任务对强化学习代理构成了挑战。我们建议通过结合时序逻辑（TL）和强化学习来解决这些问题。我们的方法自动生成内在的奖励，符合整体任务目标的TL任务规范。从我们的框架产生的政策有一个可解释的和层次结构。我们验证了所提出的方法实验上的一组机器人操作任务。
2018-09-25 cs.AI
Online inductive learning from answer sets for efficient reinforcement learning exploration
University of Verona（维罗纳大学）
该研究提出将归纳逻辑编程与强化学习结合的方法，通过在线学习回答集程序规则引导智能体探索，在吃豆人场景下提升了Q-learning的折扣回报且不增加计算耗时，同时具备可解释性。
2025-01-13 cs.AI
Reinforcement Learning Based Temporal Logic Control with Soft Constraints Using Limit-deterministic Generalized Buchi Automata
Lehigh University（理海大学）；The University of Iowa（爱荷华大学）；University of Science and Technology of China（中国科学技术大学）
研究了不确定性条件下运动规划的控制综合问题。考虑机器人运动和环境属性的不确定性，提出了概率标记马尔可夫决策过程（PL-MDP）。一种无模型强化学习（RL）方法被开发来生成有限记忆控制策略，以满足线性时序逻辑（LTL）公式表示的高级任务。由于不确定性和潜在的冲突任务，这项工作的重点是不可行的LTL规范，放松LTL约束的开发，允许代理修改其运动计划，并考虑到部分满意的原始任务的侵犯。并提出了一种新的自动机，以提高接受奖励的密度，使确定性的政策。我们提出了一个具有严格分析的RL框架，该框架保证以降序实现多个目标：1）满足放松产品MDP的接受条件，2）降低长期行为的违规成本。我们提供模拟和实验结果来验证性能。
2023-01-30 cs.AI cs.FL cs.RO
Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation
University of Science and Technology of China（中国科学技术大学）；Chongqing University（重庆大学）；Hunan University（湖南大学）
本文提出时序逻辑引导的混合策略框架HyTL，通过LTL编码任务规范并结合三层决策结构，提升长时程机器人操作的采样效率、性能与可解释性。
2024-12-29 cs.AI cs.LG cs.RO
Reinforcement Learning of Control Policy for Linear Temporal Logic Specifications Using Limit-Deterministic Generalized Büchi Automata
Osaka University（大阪大学）
这封信提出了一种新的强化学习方法的控制策略的合成满足控制规范描述的线性时序逻辑公式。我们假设被控系统是由一个马尔可夫决策过程（MDP）。我们将规范转换为一个有限确定性的广义Büchi自动机（LDGBA）与几个接受集，接受所有满足公式的无限序列。LDGBA被扩充，以便它明确地记录对接受集的先前访问。我们取一个增强的LDGBA和MDP的乘积，在此基础上定义一个奖励函数。只要状态转换在接受集合中，并且在一定数量的步骤中没有被访问，代理就会获得奖励。因此，稀疏的奖励是放松和接受集之间的最佳循环学习。我们表明，所提出的方法可以学习最优的政策时，折扣因子是足够接近。
2020-03-26 cs.AI cs.LG cs.LO
Reinforcement Learning with Temporal-Logic-Based Causal Diagrams
Arizona State University（亚利桑那州立大学）；TU Dortmund University（多特蒙德工业大学）；Center for Trustworthy Data Science and Security, University Alliance Ruhr（鲁尔大学联盟可信数据科学与安全中心）；Shanghai Jiao Tong University（上海交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文提出基于时序逻辑的因果图（TL-CD）以捕捉环境属性间的时间因果关係，据此设计强化学习算法，减少探索并加速收敛至最优策略。
2026-09-10 cs.AI cs.FL
LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning
University of Oxford（牛津大学）；Amazon Inc（亚马逊公司）
LCRL是一个软件工具，它在未知的马尔可夫决策过程（MDP）上实现无模型强化学习（RL）算法，合成满足给定线性时间规范的最大概率的策略。LCRL利用部分确定性有限状态机（称为有限确定性Buchi自动机（LDBA））来表达给定的线性时间规范。基于LDBA的结构，RL算法的奖励函数是动态成形的。在适当假设下的理论保证确保RL算法收敛到最大化满意概率的最优策略。我们提出的案例研究，以证明LCRL的适用性，易用性，可扩展性和性能。由于LDBA引导的探索和LCRL无模型架构，我们观察到了强大的性能，与标准RL方法相比（适用于LTL规范时）也具有很好的扩展性。有关如何执行本文中所有案例研究的完整说明，请参见LCRL发行版www.github.com/grockious/lcrl附带的GitHub页面。
2022-09-21 cs.AI cs.LG cs.LO
