Cautious Reinforcement Learning with Logical Constraints
University of Oxford（牛津大学）
本文提出了一种自适应安全填充的概念，它迫使强化学习（RL）在学习过程中确保安全的同时合成最优控制策略。策略被合成以满足一个目标，表示为一个时序逻辑公式，具有最大的概率。强制RL代理在学习过程中保持安全可能会限制探索，但是我们表明，所提出的架构能够自动处理探索的有效进展（实现目标满意度）和确保安全性之间的权衡。理论上的保证是可利用的最优性的综合政策和学习算法的收敛性。实验结果显示了所提出的方法的性能。
2020-03-21 cs.AI cs.LG cs.LO
Constructive Symbolic Reinforcement Learning via Intuitionistic Logic and Goal-Chaining Inference
FAST Foundation（FAST基金会）
本文提出用直觉主义逻辑下的构造性证明替代奖励优化，通过目标链推理实现可证明安全、可解释且高效收敛的符号强化学习，并在网格世界任务中验证其优于Q学习。
2025-06-05 cs.AI cs.LG
LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning
University of Oxford（牛津大学）；Amazon Inc（亚马逊公司）
LCRL是一个软件工具，它在未知的马尔可夫决策过程（MDP）上实现无模型强化学习（RL）算法，合成满足给定线性时间规范的最大概率的策略。LCRL利用部分确定性有限状态机（称为有限确定性Buchi自动机（LDBA））来表达给定的线性时间规范。基于LDBA的结构，RL算法的奖励函数是动态成形的。在适当假设下的理论保证确保RL算法收敛到最大化满意概率的最优策略。我们提出的案例研究，以证明LCRL的适用性，易用性，可扩展性和性能。由于LDBA引导的探索和LCRL无模型架构，我们观察到了强大的性能，与标准RL方法相比（适用于LTL规范时）也具有很好的扩展性。有关如何执行本文中所有案例研究的完整说明，请参见LCRL发行版www.github.com/grockious/lcrl附带的GitHub页面。
2022-09-21 cs.AI cs.LG cs.LO
Neuro-Symbolic Reinforcement Learning with First-Order Logic
IBM Research（IBM研究院）
深度强化学习（RL）方法在收敛之前通常需要多次试验，并且不提供训练策略的直接可解释性。为了实现快速收敛和可解释的策略在强化学习，我们提出了一种新的基于文本的游戏强化学习方法与最近的神经符号框架称为逻辑神经网络，它可以学习符号和可解释的规则在其可微网络。该方法首先从文本观察和外部词义网络（ConceptNet）中提取一阶逻辑事实，然后在网络中用可直接解释的逻辑算子训练策略。我们的实验结果表明，在TextWorld基准测试中，使用该方法进行RL训练的收敛速度明显快于其他最先进的神经符号方法。
2021-10-21 cs.AI cs.CL cs.LG
Automata-Guided Hierarchical Reinforcement Learning for Skill Composition
Boston University（波士顿大学）；Department of Mechanical Engineering（机械工程系）
通过（深度）强化学习学习的技能通常在各个领域的泛化能力很差，当面临新任务时，重新训练是必要的。我们提出了一个框架，结合技术在\textit{formal methods}与\textit{reinforcement learning}（RL）。我们提供的方法允许使用逻辑表达式方便地指定任务，学习具有明确定义的内在奖励的分层策略（元控制器和低级控制器），并从现有的技能中构建新技能，几乎没有额外的探索。我们在一个简单的网格世界模拟以及AI2Thor中更复杂的厨房环境中评估了所提出的方法
2018-05-21 cs.AI
Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents
Tufts University（塔夫茨大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Tech Research Institute（佐治亚理工学院研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出逻辑规范引导的动态任务采样方法LSTS，在不依赖环境动态或奖励机信息的情况下动态采样任务，以更少环境交互学习目标策略，并在多个任务上优于现有RM和自动机引导的强化学习方法。
2024-04-03 cs.AI cs.LG cs.RO
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping
Dalian University of Technology（大连理工大学）；Westlake University（西湖大学）；Guangzhou University（广州大学）
针对现有多智能体分层强化学习算法仅适用于单任务的局限，提出带逻辑奖励塑形的多智能体协作算法，结合LTL表达任务逻辑与价值迭代协调机制，在类Minecraft环境中验证了其提升多任务学习性能的效果。
2024-11-02 cs.AI cs.LO
Inferring and Conveying Intentionality: Beyond Numerical Rewards to Logical Intentions
SRI International（SRI国际公司）
共享意向性是开发有意识的人工智能智能体的关键组成部分，这些智能体能够进行协作、自我反思、审议和推理。我们将共享意向的推断公式化为具有逻辑奖励规范的逆强化学习问题。我们展示了如何的方法可以推断任务描述演示。我们还扩展了我们的方法，以积极地传达意向性。我们演示了一个简单的网格世界的例子的方法。
2022-07-13 cs.AI q-bio.NC
$\text{Alpha}^2$: Discovering Logical Formulaic Alphas using Deep Reinforcement Learning
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；The University of Hong Kong（香港大学）
提出基于深度强化学习的Alpha^2框架，将Alpha发现视为程序构造，通过价值估计搜索逻辑有效的多样化Alpha，提升交易策略性能。
2024-06-26 cs.AI q-fin.CP
LOA: Logical Optimal Actions for Text-based Interaction Games
IBM Research（IBM研究院）
我们提出了逻辑最优动作（LOA），一个行动决策架构的强化学习应用程序的神经符号框架，这是一个组合的神经网络和符号知识获取方法的自然语言互动游戏。LOA实验的演示包括一个基于Web的交互式平台，用于基于文本的游戏和可视化所获得的知识，以提高训练规则的可解释性。该演示还提供了与相同文本游戏上的其他神经符号方法以及非符号最先进代理模型的比较模块。我们的LOA还为强化学习环境提供了Python的开源实现，以促进研究神经符号代理的实验。代码：https://github.com/ibm/loa
2021-10-21 cs.AI cs.CL cs.LG
CURE-Med: Curriculum-Informed Reinforcement Learning for Multilingual Medical Reasoning
University of Virginia（弗吉尼亚大学）；Indian Institute of Technology Patna（印度理工学院帕纳布分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；MBZUAI（中东技术研究所）
本文提出CURE-MED框架，通过课程引导的强化学习提升多语言医学推理的逻辑正确性和语言稳定性，实验表明在13种语言上均优于基线模型，实现了高一致性与高正确率。
2026-04-26 cs.AI cs.CL
Automaton-Guided Curriculum Generation for Reinforcement Learning Agents
Tufts University（塔夫茨大学）；University of Florida（佛罗里达大学）；Georgia Tech Research Institute（佐治亚理工学院研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出自动机引导课程学习 AGCL，利用 DFA 与 OOMDP 自动生成 DAG 形式课程，以提升长时程序贯决策任务的强化学习效率，并在仿真实验中优于现有课程学习与自动机引导强化学习方法。
2023-04-11 cs.AI
Adaptive GR(1) Specification Repair for Liveness-Preserving Shielding in Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
本文提出基于GR(1)规范的自适应防护框架，通过在线修复规范实现环境假设违反时的安全与存活保持。
2026-08-26 cs.AI
Robot Representation and Reasoning with Knowledge from Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）；UT Austin（德克萨斯大学奥斯汀分校）
强化学习（RL）代理旨在通过与环境交互来学习，并且不是为使用声明性知识进行表示或推理而设计的。知识表示和推理（KRR）范式在陈述性KRR任务中很强，但不具备从这些经验中学习的能力。在这项工作中，我们将逻辑概率KRR与基于模型的RL相结合，使代理能够同时使用声明性知识进行推理并从交互经验中学习。来自人类和RL的知识被统一起来，并用于在潜在的新环境下动态计算特定于任务的规划模型。实验进行了使用移动机器人工作的对话，导航和交付任务。结果表明，显着的改进，与现有的基于模型的RL方法。
2018-11-22 cs.AI
Learning Symbolic Rules for Interpretable Deep Reinforcement Learning
School of Computer Science, Sun Yat-Sen University（中山大学计算机学院）；Noah’s Ark Lab Huawei（华为诺亚方舟实验室）；UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）
深度强化学习（DRL）的最新进展在很大程度上归功于神经网络的使用。然而，这种黑箱方法无法以人类可理解的方式解释所学习的策略。为了解决这一问题并提高透明度，我们提出了一个神经符号强化学习框架，将符号逻辑引入DRL。该框架具有丰富的推理和学习模块，使端到端的学习与先前的符号知识。此外，可解释性是通过提取的逻辑规则学习的推理模块在一个符号规则空间。实验结果表明，我们的框架具有更好的可解释性，以及竞争的性能相比，国家的最先进的方法。
2021-03-16 cs.AI
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
Transfer of Temporal Logic Formulas in Reinforcement Learning
Oden Institute for Computational Engineering and Sciences, University of Texas, Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）
将源任务的高级知识转移到目标任务是加速强化学习（RL）的有效途径。例如，命题逻辑和一阶逻辑已经被用作这种知识的表示。我们研究任务之间的知识转移，其中事件的时间很重要。我们把这种任务称为时间任务。我们通过逻辑可迁移性的概念将时间任务之间的相似性具体化，并在不同但相似的时间任务之间开发了一种迁移学习方法。首先，我们提出了一种推理技术，提取度量区间时序逻辑（MITL）公式顺序析取范式从标记的轨迹收集在RL的两个任务。如果通过这种推理确定逻辑可转移性，我们构造一个时间自动机的每个顺序的合取子公式的推断MITL公式从这两个任务。我们在扩展状态上执行RL，其中包括源任务的时间自动机的位置和时钟值。然后，我们在相应的组件（时钟，位置等）之间建立映射。的时间自动机，并根据建立的映射转移扩展的Q-函数。最后，我们对目标任务的扩展状态执行RL，从传输的扩展Q函数开始。我们在两个案例研究的结果表明，根据源任务和目标任务的相似程度，目标任务的采样效率可以通过在扩展状态空间中执行RL来提高一个数量级，并通过使用转移的扩展Q函数进一步提高另一个数量级。
2019-09-10 cs.AI
CARE: Cognitive-reasoning Augmented Reinforcement for Emotional Support Conversation
School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学）；Qwen DianJin Team, Alibaba Cloud Computing（通义千问团队，阿里云 computing）
CARE通过增强认知推理提升情感支持对话的质量，无需依赖大规模合成数据，实验显示其在逻辑严谨性和支持性方面有显著改进。
2026-01-23 cs.AI cs.CL
Explaining Reinforcement Learning Agents via Inductive Logic Programming
University of Verona（维罗纳大学）；Sapienza University of Rome（罗马第一大学）
该研究致力于推进可解释强化学习，引入客观指标量化策略可解释性。采用归纳逻辑编程提取符号表示并定义新指标，实验表明这些指标能突出特定动作学习动态，提供细粒度洞察，揭示多智能体模式，助力策略转移与泛化。
2026-07-16 cs.AI
Lifelong Reinforcement Learning with Temporal Logic Formulas and Reward Machines
Sun Yat-sen University（中山大学）
使用高级思想或知识不断学习新任务是人类的关键能力。在本文中，我们提出了终身强化学习与顺序线性时序逻辑公式和奖励机（LSRM），它使代理能够利用以前学到的知识，加快学习逻辑指定的任务。为了更灵活地描述任务，我们首先介绍了顺序线性时态逻辑（SLTL），它是对现有线性时态逻辑（LTL）形式语言的补充。然后，我们利用奖励机（RM）利用结构奖励功能的任务编码的高级别事件，并提出自动扩展RM和有效的知识转移任务的持续学习的生活。实验结果表明，LSRM学习方法在终身学习过程中，利用SLTL的任务分解和RM上的知识转移，优于从头开始学习目标任务的方法。
2021-11-18 cs.AI
Evaluating the Logical Reasoning Abilities of Large Reasoning Models
Hainan University（海南大学）；Westlake University（西湖大学）；Zhejiang Normal University（浙江师范大学）
本文提出涵盖多类逻辑推理与任务形式的 LogiEval 基准，并构建 LogiEval-Hard，揭示现代大型推理模型虽在部分任务上超越人类，却存在跨规模的根本逻辑推理瓶颈。
2025-05-17 cs.AI
RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning
Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系、BNRist、清华大学）
RL-of-Thoughts通过强化学习训练轻量级导航模型，提升大语言模型推理能力，实现多任务适应性和参数高效性。
2026-01-27 cs.AI
Discourse Marker Augmented Network with Reinforcement Learning for Natural Language Inference
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Fabu Inc.（Fabu公司）
自然语言推理（NLI），又称文本蕴涵识别（RTE），是自然语言处理中最重要的问题之一。它需要推断两个给定句子之间的逻辑关系。虽然目前的方法主要集中在句子的交互结构，在本文中，我们建议从一些重要的话语标记转移知识，以提高NLI模型的质量。我们观察到人们通常使用诸如“so”或“but”之类的话语标记来表示两个句子之间的逻辑关系。这些词与句子的意义有着潜在的深层联系，因此可以用来帮助改善句子的表征。此外，我们使用强化学习来优化一个新的目标函数，并根据NLI数据集的属性定义奖励，以充分利用标签信息。实验表明，我们的方法达到了最先进的性能在几个大规模的数据集。
2019-07-23 cs.AI cs.CL cs.LG
A Direct Approximation of AIXI Using Logical State Abstractions
Australian National University（澳大利亚国立大学）
我们提出了一个实际的集成逻辑状态抽象与AIXI，贝叶斯优化概念的强化学习代理，显着扩展模型类，AIXI代理可以近似复杂的历史依赖和结构化的环境。状态表示和推理框架基于高阶逻辑，可用于定义和枚举非马尔可夫和结构化环境中的复杂特征。我们解决的问题，选择正确的子集的功能，形成状态抽象适应状态抽象理论的$Φ$ -MDP优化标准。精确的贝叶斯模型学习，然后实现使用适当的概括上下文树加权抽象状态序列。所得到的架构可以与不同的规划算法集成。在大规模接触网络上控制流行病的实验结果验证了该智能体的性能。
2022-10-13 cs.AI cs.LG
Micro-Objective Learning : Accelerating Deep Reinforcement Learning through the Discovery of Continuous Subgoals
Seoul National University（首尔大学）；Yonsei University（延世大学）
最近，强化学习已经成功地应用于逻辑游戏围棋，各种雅达利游戏，甚至3D游戏，Labruth，尽管它仍然存在稀疏奖励设置的问题。在学习政策时，探索少数成功是困难的，也是困难的。为解决这一问题，提出了子目标和选项框架。然而，在线发现子目标的成本太高，无法用于学习大型状态空间中的选项。我们提出了微目标学习（MOL）来解决这个问题。其主要思想是在训练时估计一个状态的重要性，并根据其重要性给予额外的奖励。我们在两个Atari游戏中评估了我们的算法：Montezuma的复仇和Seaquest。每场比赛进行三次实验，MOL显著提高了基线得分。特别是在《蒙特祖玛的复仇》中，MOL取得了比之前最先进的模式好两倍的成绩。
2017-03-11 cs.AI
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Integrating Logical Rules Into Neural Multi-Hop Reasoning for Drug Repurposing
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）
生物医学数据的图结构与典型的知识图谱基准测试任务中的图结构不同。生物医学数据的一个特殊属性是存在长期依赖性，这可以通过描述为逻辑规则的模式来捕获。我们提出了一种新的方法，结合这些规则与神经多跳推理方法，使用强化学习。我们进行了实证研究的基础上，通过制定这个任务作为一个链接预测问题的药物再利用的现实世界的任务。我们将我们的方法应用于生物医学知识图谱Hetionet，并表明我们的方法优于几种基线方法。
2020-07-10 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning with AI Planning Models
IBM Research AI（IBM研究院人工智能部门）
顺序决策的两种常见方法是AI规划（AIP）和强化学习（RL）。每一个都有优点和缺点。AIP是可解释的，易于与符号知识集成，通常是有效的，但需要一个预先的逻辑域规范，对噪声敏感; RL只需要规范的奖励，对噪声是鲁棒的，但样本效率低，不容易提供外部知识。我们提出了一种综合的方法，结合高层次的规划与RL，保留可解释性，转让和效率，同时允许鲁棒学习的较低层次的计划行动。该方法通过建立人工智能规划问题的状态转移模型与马尔可夫决策过程（MDP）的抽象状态转移系统之间的对应关系，从AIP算子定义层次强化学习（HRL）中的选项。通过增加内在奖励来学习选项，以鼓励MDP和AIP过渡模型之间的一致性。我们通过比较RL和HRL算法在MiniGrid和N-rooms环境中的性能，展示了我们的集成方法的好处，显示了我们的方法比现有方法的优势。
2022-09-28 cs.AI
The Logical Options Framework
CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Toyota Research Institute（丰田研究所）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
在规则和任务复杂的环境中学习组合策略是一个具有挑战性的问题。我们引入了一个分层的强化学习框架，称为逻辑选项框架（LOF），学习令人满意的，最佳的和可组合的策略。LOF通过将任务表示为自动机并将其集成到学习和规划中来有效地学习满足任务的策略。我们提供并证明条件下，LOF将学习满意的，最优的政策。最后，我们展示了LOF的学习策略如何组成，以满足看不见的任务，只有10-50个再训练步骤。我们评估LOF在离散和连续域中的四个任务，包括3D拾取和放置环境。
2021-02-24 cs.AI cs.LG cs.RO
External Model Motivated Agents: Reinforcement Learning for Enhanced Environment Sampling
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工学院研究中心）
本文提出一种基于兴趣场和行为塑造的智能体影响框架，使强化学习智能体在不改变奖励的情况下主动选择更具信息量的行为，从而提升外部模型在变化环境中的适应效率与性能。
2024-06-28 cs.AI cs.LG
Augmented Reinforcement Learning Framework For Enhancing Decision-Making In Machine Learning Models Using External Agents
提出增强强化学习框架，引入两个外部智能体监督和修正模型决策，解决垃圾进垃圾出问题，并在文档识别与信息提取场景验证，结合人类反馈提升模型鲁棒性和准确性。
2025-08-03 cs.AI cs.LG
Online inductive learning from answer sets for efficient reinforcement learning exploration
University of Verona（维罗纳大学）
该研究提出将归纳逻辑编程与强化学习结合的方法，通过在线学习回答集程序规则引导智能体探索，在吃豆人场景下提升了Q-learning的折扣回报且不增加计算耗时，同时具备可解释性。
2025-01-13 cs.AI
Shattering the Autoregressive Curse: Dynamic Epistemic Entropy Orchestrated Erasable Reinforcement Learning for LLMs
SenseTime（商汤科技）；Shanghai Jiao Tong University（上海交通大学）
提出动态认知熵编排的可擦除强化学习（E³RL），通过将模型内生的局部自回归交叉熵作为认知不确定性坐标，利用分段自适应动态阈值和优势分配精准切除逻辑缺陷并重用KV缓存，解决长序列推理中的自回归级联崩溃问题。
2026-06-17 cs.AI
Delta Schema Network in Model-based Reinforcement Learning
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Bauman Moscow State Technical University（莫斯科鲍曼国立技术大学）
这项工作致力于解决人工通用智能的未解决问题-迁移学习的效率低下。在强化学习领域中用于解决这个问题的机制之一是基于模型的方法。在本文中，我们正在扩大模式网络的方法，允许提取对象和动作之间的逻辑关系，从环境数据。我们提出了用于训练Delta Schema Network（DSN）的算法，预测环境的未来状态并规划将导致积极奖励的行动。DSN在经典的Atari游戏环境中表现出很强的迁移学习性能。
2020-07-08 cs.AI cs.LG
Bandit-Based Policy Invariant Explicit Shaping for Incorporating External Advice in Reinforcement Learning
JPMorgan Chase（摩根大通）；Huawei（华为）；University of Alberta（阿尔伯塔大学）
本文将RL中融入外部建议问题形式化为shaping-bandits多臂赌博机，并提出UPIES、RPIES和LPIES三种塑造算法，在保持策略不变的同时加速学习并利用任意建议。
2023-09-18 cs.AI cs.LG
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta（阿尔伯塔大学）；Tsinghua University（清华大学）
情景记忆是一个心理学术语，指的是回忆过去特定事件的能力。我们认为，这种特殊类型的记忆的一个优点是，当记忆的信息被发现是有用的时，能够很容易地将信用分配给特定的状态。受这一想法的启发，以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及，我们提出了一种新的算法，该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习，优先记住那些被发现是有用的回忆later on.Critical状态，这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此，与用于外部存储器的大多数现有机制不同，在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
Attention-Based Deep Reinforcement Learning for Qubit Allocation in Modular Quantum Architectures
University of Catania（卡塔尼亚大学）
本文提出利用深度强化学习方法，结合Transformer和图神经网络，高效解决量子电路编译与映射问题，减少核心间通信并提升求解效率。
2024-06-17 cs.AI quant-ph
Reinforcement Learning under External Influence: Guarantees, Algorithms, and Sample Complexity
Department of Computer Science and Automation（计算机科学与自动化系）；Indian Institute of Science（印度科学研究所）
本文研究外部事件影响下的强化学习，提出基于有限事件历史的策略迭代算法，并给出策略改进保证及样本复杂度分析，实验验证了其有效性。
2026-09-21 cs.AI cs.LG
Neuro-symbolic Meta Reinforcement Learning for Trading
APPCAIR, BITS Pilani K.K. Birla Goa Campus（BITS Pilani K.K. Birla Goa校区APPCAIR）；TCS Research（塔塔咨询服务研究部）；IIT Delhi（印度理工学院德里分校）
我们在金融市场中的短期（如日）交易模型作为一个连续的决策问题的不确定性下，与不断的概念漂移增加的复杂性。因此，我们通过RL2算法采用Meta强化学习。人们还知道，人类交易者经常依赖于价格序列中频繁出现的符号模式。我们采用逻辑程序归纳来发现频繁出现的符号模式，以及最近，并探讨使用这些功能是否提高了我们的Meta强化学习算法的性能。我们报告了在真实数据上的实验，表明元RL比香草RL更好，并且也受益于学习的符号特征。
2023-01-15 cs.AI cs.LG cs.LO
IVR-R1: Refining Trajectories through Iterative Visual-Grounded Reasoning in Reinforcement Learning
Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；Kuaishou Technology（快手科技）；Shenzhen Institute of Advanced Integration Technology, Shenzhen（深圳先进集成技术研究院）
提出IVR-R1框架，利用奖励驱动的筛选机制和迭代再推理循环，在强化学习中动态校正多模态推理轨迹，以解决视觉幻觉和逻辑错误问题。
2026-05-18 cs.AI cs.CV cs.LG
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science（印度科学学院）
针对连续状态空间中STL规范鲁棒满足与可处理性难题，提出基于漏斗函数的可处理强化学习算法，学习时变策略，并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent HY（腾讯HY）
提出DCRL框架，通过策略-奖励流形对齐解决RL中奖励系统不稳定与奖励黑客问题，利用逻辑提示演化和联合更新机制，显著提升LLM推理性能，小模型超越大模型。
2026-09-24 cs.AI cs.LG
Reinforcement Learning with Information-Theoretic Actuation
Australian National University（澳大利亚国立大学）；Deepmind
强化学习通过观察、奖励和行动来形式化具体代理与环境的交互。但这些行动从何而来？动作通常被认为是代表外部的东西，如肢体的运动，棋子，或更一般地说，执行器的输出。在这项工作中，我们探索和形式化的对比视图，即行动最好认为是一个序列的内部选择相对于一个行动模型的输出。这种观点特别适合利用大序列模型的最新进展作为多任务强化学习问题的先验知识。我们在这项工作中的主要贡献是展示如何增加标准的MDP形式主义与内部行动的顺序概念，使用信息理论的技术，这导致自洽的定义内部和外部的行动价值函数。
2021-09-30 cs.AI cs.LG
CritiqueDriveVLM: From Verifier-Guided Reinforcement Learning to Latent Thought Distillation for Autonomous Driving
State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）；School of Digital Media & Design Arts（数字媒体与设计艺术学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出CritiqueDriveVLM框架解决自动驾驶中推理幻觉等问题，先通过验证器引导的强化学习培养强大教师模型，再用潜在思想蒸馏压缩能力到学生模型，提升性能并大幅降低推理延迟。
2026-07-07 cs.AI cs.CV
The act of remembering: a study in partially observable reinforcement learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能公司）
强化学习（RL）代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而，当RL代理面临部分可观测性时，某种形式的记忆是必要的。在本文中，我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容（如果有的话）。在每一步中，当前的内存状态都是代理观察的一部分，代理选择一个动作元组：一个动作修改环境，另一个动作修改内存。当外部记忆有足够的表现力时，最优无记忆策略会产生全局最优解。不幸的是，以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里，我们研究了其他形式的记忆，以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）
针对无外部变化信号的持续强化学习问题，提出融合策略优化与熟悉度自动编码器的端到端系统，以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）
本文提出生成对抗推理器，通过对抗性强化学习联合训练LLM推理器和判别器，提升推理质量与准确性。
2026-03-25 cs.AI cs.CL cs.LG
Learning Altruistic Behaviours in Reinforcement Learning without External Rewards
University of Oxford（牛津大学）；DeepMind（深度思维）
人工智能体能在不知道目标的情况下学会帮助他人实现目标吗？通用强化学习代理可以通过奖励他们的利他行为来训练他们对他人的利他行为，即，奖励他们在特定情况下使其他代理人受益。这种方法假设其他代理人的目标是已知的，这样利他代理人就可以合作实现这些目标。然而，其他代理人的目标的明确知识往往是很难获得的。在人类代理的情况下，他们的目标和偏好可能很难完全表达;他们可能是模糊的，甚至是矛盾的。因此，开发不依赖于外部监督并以任务不可知的方式学习利他行为的代理是有益的。我们建议对其他代理人采取利他行为，给他们更多的选择，让他们更好地实现自己的目标。一些具体的例子包括为他人打开大门或保障他们不受干扰地追求其目标。我们正式提出了这个概念，并提出了一个利他代理，学会增加选择另一个代理的偏好，以最大限度地提高国家的数量，其他代理可以达到在其未来。我们评估我们的方法在三个不同的多代理环境中，另一个代理的成功取决于利他行为。最后，我们证明了我们的无监督代理可以执行明确训练的代理合作，在某些情况下甚至优于他们。
2022-03-21 cs.AI cs.LG cs.MA
Inductive Generalization in Reinforcement Learning from Specifications
School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）；Indian Institute of Technology - Kanpur（坎普尔印度理工学院）
本文提出一种归纳泛化框架，通过从逻辑规范中学习高阶策略生成器，实现归纳任务实例的零样本策略生成，并在控制基准上验证了其泛化能力。
2024-06-05 cs.AI cs.LG cs.LO
Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning
OpenDataLab（开放数据实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文基于 RLVR、GRPO 与 Qwen-2.5-7B 系统研究数学、代码和逻辑推理的跨领域强化学习，揭示单域训练、联合训练、SFT 及训练策略对泛化的影响。
2025-07-23 cs.AI cs.LG
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Foundations for Restraining Bolts: Reinforcement Learning with LTLf/LDLf restraining specifications
Università di Roma “La Sapienza”（罗马第一大学）
在这项工作中，我们调查的概念“约束螺栓”，设想在科幻小说。具体来说，我们介绍了AI中的一个新问题。我们有两组从世界上提取的不同特征，一组由代理人提供，另一组由施加约束规范的权威机构（“约束螺栓”）提供。这两套显然是无关的，因为利益的独立当事人，但他们都占（方面）相同的世界。我们考虑的情况下，代理是一个强化学习代理的第一组功能，而约束螺栓逻辑上指定使用线性时间逻辑上的有限轨迹LTLf/LDLf的第二组功能。我们正式展示，并举例说明，在一般情况下，代理可以学习，同时塑造其目标，以适当地符合（尽可能多地）约束螺栓规格。
2019-11-11 cs.AI cs.LG stat.ML
Reinforced Symbolic Learning with Logical Constraints for Predicting Turbine Blade Fatigue Life
Zhejiang University（浙江大学）；Korea Aerospace University（韩国航空大学）
针对涡轮叶片疲劳寿命预测难题，提出融合逻辑约束与深度强化学习的RSL符号回归方法，在GH4169和TC4上获得优于或可比传统模型的可解释预测公式。
2024-11-18 cs.AI cs.CE cs.LG
