Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University（杨百翰大学）；University of Southern California（南加利福尼亚大学）
众所周知，控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号，需要多次重新训练。多目标强化学习（MORL）框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合，允许更好地控制代理的行为，而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而，这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑，规范本质上更易于解释。另外，可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码，并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范，并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
Reinforcement learning guided fuzz testing for a browser's HTML rendering engine
University of Glasgow（格拉斯哥大学）
本文首次将训练好的测试用例生成深度学习模型与双重深度Q网络（DDQN）相结合，基于代码覆盖率信号引导测试用例创建，使Firefox HTML渲染引擎的代码覆盖率较基线语法模糊测试器提升了多达18.5%。
2023-07-27 cs.AI cs.SE
Inducing Functions through Reinforcement Learning without Task Specification
KAIST（韩国科学技术院）
我们报告了一个生物启发的框架，用于通过强化学习来训练神经网络，以诱导网络内的高级功能。基于这样的解释，即动物已经获得了它们的认知功能，例如物体识别-而没有经过专门的训练-作为最大限度地提高它们对环境的适应性的结果，我们将我们的代理放在一个环境中，在这个环境中，开发某些功能可能有助于决策。实验结果表明，高级功能，如图像分类和隐变量估计，可以自然地和同时诱导，而无需任何预训练或指定它们。
2021-11-23 cs.AI cs.LG cs.NE
Foundations for Restraining Bolts: Reinforcement Learning with LTLf/LDLf restraining specifications
Università di Roma “La Sapienza”（罗马第一大学）
在这项工作中，我们调查的概念“约束螺栓”，设想在科幻小说。具体来说，我们介绍了AI中的一个新问题。我们有两组从世界上提取的不同特征，一组由代理人提供，另一组由施加约束规范的权威机构（“约束螺栓”）提供。这两套显然是无关的，因为利益的独立当事人，但他们都占（方面）相同的世界。我们考虑的情况下，代理是一个强化学习代理的第一组功能，而约束螺栓逻辑上指定使用线性时间逻辑上的有限轨迹LTLf/LDLf的第二组功能。我们正式展示，并举例说明，在一般情况下，代理可以学习，同时塑造其目标，以适当地符合（尽可能多地）约束螺栓规格。
2019-11-11 cs.AI cs.LG stat.ML
Model-based Reinforcement Learning from Signal Temporal Logic Specifications
University of Southern California（南加州大学）
基于强化学习（RL）的技术正越来越多地用于设计机器人系统的控制策略。RL从根本上依赖于基于状态的奖励函数来编码机器人的期望行为，而不好的奖励函数容易被学习代理利用，导致在最好的情况下不受欢迎的行为，在最坏的情况下非常危险。另一方面，为复杂任务设计好的奖励函数是一个具有挑战性的问题。在本文中，我们建议表达所需的高层次的机器人行为使用正式的规约语言称为信号时序逻辑（STL）作为替代奖励/成本函数。我们使用STL规范结合基于模型的学习来设计模型预测控制器，试图在有限的时间范围内优化STL规范的满意度。所提出的算法经验评估的机器人系统，如拾取和放置机械臂，和自适应巡航控制自动驾驶汽车的模拟。
2020-11-10 cs.AI cs.RO cs.SY
Reinforcement Learning-Driven Test Generation for Android GUI Applications using Formal Specifications
Bogazici University（博阿齐奇大学）
针对移动图形用户界面（GUI）应用的自动测试生成已经有了很多研究。这些研究成功地演示了如何检测致命异常，并实现高代码和活动覆盖率与全自动测试生成引擎。然而，目前还不清楚这些引擎能够测试多少GUI功能。此外，这些引擎只实现隐式测试预言机。本文提出了一种基于强化学习驱动规范的Android测试生成器（FARLEAD-Android）。FARLEAD-Android接受GUI级别的形式化规范作为线性时间时态逻辑（LTL）公式。通过动态执行被测应用程序（AUT），它学习如何使用强化学习（RL）生成满足LTL公式的测试。LTL公式不仅指导测试生成，而且还充当指定的测试预言机，使开发人员能够通过更改公式为各种GUI功能定义自动化测试预言机。我们的评估表明，FARLEAD-Android在为指定的GUI功能生成测试方面比三种已知的方法（Random，Monkey和QBEa）更有效，并且性能更高。据我们所知，FARLEAD-Android是第一个使用正式规范的全自动移动GUI测试引擎。
2019-11-27 cs.AI cs.LG cs.SE
Model-Free Reinforcement Learning for Optimal Control of MarkovDecision Processes Under Signal Temporal Logic Specifications
University of Southern California（南加利福尼亚大学）
我们提出了一个无模型的强化学习算法，以找到一个最佳的政策，有限的地平线马尔可夫决策过程，同时保证所需的下界的概率满足信号时序逻辑（STL）规范。我们提出了一种方法来有效地增加MDP的状态空间，以捕捉所需的状态历史，并表示为可达性目标的STL目标。然后，规划问题可以被公式化为有限时域约束的马尔可夫决策过程（CMDP）。对于具有未知转移概率的一般有限时域CMDP问题，我们开发了一种强化学习方案，该方案可以利用任何无模型RL算法来提供非平稳随机策略的一般空间中的近似最优策略。我们说明了我们的方法的有效性，在机器人运动规划的背景下，复杂的任务不确定性和性能目标。
2021-09-27 cs.AI cs.FL cs.SY
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Adaptive GR(1) Specification Repair for Liveness-Preserving Shielding in Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
本文提出基于GR(1)规范的自适应防护框架，通过在线修复规范实现环境假设违反时的安全与存活保持。
2026-08-26 cs.AI
Fulfilling Formal Specifications ASAP by Model-free Reinforcement Learning
University of Dayton（代顿大学）；Syracuse University（雪城大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出 ASAP-Phi 无模型强化学习框架，通过分段奖励与 actor-critic 算法让智能体尽快满足形式化规范，并在基准实验中证明其策略性质及优于基线的性能。
2023-04-25 cs.AI cs.FL cs.LG
SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering
Shanghai Jiao Tong University（上海交通大学）；University of California San Diego（加州大学圣地亚哥分校）；University of California Irvine（加州大学欧文分校）；National University of Singapore（新加坡国立大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
提出SAM-RL系统，利用可微物理仿真与渲染对比真实图像自动更新模型并生成策略，允许机器人选择信息丰富的视角监控任务，在真实世界三项操作任务中验证了其有效性。
2023-05-23 cs.AI cs.CV cs.LG
Multitask Reinforcement Learning for Assisting Choice Model Specification
Delft University of Technology（代尔夫特理工大学）；University of Leeds（利兹大学）
本文提出多任务强化学习框架Delphos，通过跨数据集共享建模经验，实现离散选择模型的自动设定，减少试错并保持建模者控制。
2026-09-17 cs.AI econ.GN q-fin.EC
Inductive Generalization in Reinforcement Learning from Specifications
School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）；Indian Institute of Technology - Kanpur（坎普尔印度理工学院）
本文提出一种归纳泛化框架，通过从逻辑规范中学习高阶策略生成器，实现归纳任务实例的零样本策略生成，并在控制基准上验证了其泛化能力。
2024-06-05 cs.AI cs.LG cs.LO
Sample Efficient Model-free Reinforcement Learning from LTL Specifications with Optimality Guarantees
University of Oxford（牛津大学）
本文提出一种无模型强化学习方法，通过新颖的乘积MDP、奖励结构和折扣机制，结合概率模型检测器PRISM评估，在未知随机系统中高效学习满足LTL规范的最优策略，并提供了改进的理论保证与实验验证。
2023-05-03 cs.AI cs.FL cs.LG
Reinforcement Learning of Control Policy for Linear Temporal Logic Specifications Using Limit-Deterministic Generalized Büchi Automata
Osaka University（大阪大学）
这封信提出了一种新的强化学习方法的控制策略的合成满足控制规范描述的线性时序逻辑公式。我们假设被控系统是由一个马尔可夫决策过程（MDP）。我们将规范转换为一个有限确定性的广义Büchi自动机（LDGBA）与几个接受集，接受所有满足公式的无限序列。LDGBA被扩充，以便它明确地记录对接受集的先前访问。我们取一个增强的LDGBA和MDP的乘积，在此基础上定义一个奖励函数。只要状态转换在接受集合中，并且在一定数量的步骤中没有被访问，代理就会获得奖励。因此，稀疏的奖励是放松和接受集之间的最佳循环学习。我们表明，所提出的方法可以学习最优的政策时，折扣因子是足够接近。
2020-03-26 cs.AI cs.LG cs.LO
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford（牛津大学）
我们提出了一个演员批评，无模型，和在线强化学习（RL）框架的连续状态连续动作马尔可夫决策过程（MDP）时，奖励是高度稀疏的，但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南，其中提出了模块化深度确定性策略梯度（DDPG）架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中，我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Reinforcement Learning for Task Specifications with Action-Constraints
Indian Institute of Science（印度科学理工学院）
在本文中，我们使用离散事件系统的监督控制理论的概念，提出了一种方法来学习最优控制政策的有限状态马尔可夫决策过程（MDP），其中（只有）某些序列的行动被认为是不安全的（分别是安全的）。我们假设被认为是不安全和/或安全的动作序列的集合中给出的有限状态自动机，并提出了一个监督员，禁用一个子集的动作在每个状态的MDP，使动作序列的约束得到满足。然后，我们提出了一个版本的Q-学习算法学习最优策略的存在下，非马尔可夫行动序列和状态的约束，在那里我们使用的奖励机的发展来处理状态约束。我们说明了使用一个例子，捕获的实用程序的自动机为基础的方法，非马尔可夫状态和动作规范的强化学习，并显示在此设置的模拟结果的方法。
2022-01-02 cs.AI cs.LG cs.SY
Control Synthesis from Linear Temporal Logic Specifications using Model-Free Reinforcement Learning
Duke University（杜克大学）
本文提出一种强化学习框架，用于在未知随机环境中基于线性时序逻辑规范合成控制策略，通过无模型强化学习最大化满足LTL公式概率，确保算法收敛至最优策略。
2020-03-05 cs.AI cs.LG cs.RO
Drawing Inductor Layout with a Reinforcement Learning Agent: Method and Application for VCO Inductors
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
压控振荡器（VCO）电感器的设计是一项费力且耗时的任务，传统上由人类专家手动完成。在本文中，我们提出了一个自动化的VCO电感器的设计框架，使用强化学习（RL）。我们将问题表述为一个顺序过程，一个接一个地绘制线段，直到创建一个完整的电感器。然后，我们采用RL代理来学习绘制满足某些目标规格的电感器。鉴于需要在整个电路设计周期中调整目标规格，我们还开发了一个变体，其中代理可以学习快速适应，以针对适度不同的目标规格绘制新电感器。我们的实证结果表明，所提出的框架是成功的自动生成VCO电感器，满足或超过目标规格。
2022-02-25 cs.AI cs.LG
Regret-Free Reinforcement Learning for LTL Specifications
University of Birmingham, Birmingham, UK（伯明翰大学）
针对未知有限状态 MDP 中的 LTL 控制问题，提出首个无遗憾在线强化学习算法，并通过图结构学习与到达—规避归约给出有限回合性能界。
2025-06-06 cs.AI cs.LG
ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of British Columbia（不列颠哥伦比亚大学）
ARM-FM通过基础模型实现自动化奖励设计，利用自然语言生成奖励机并实现跨任务泛化，提升强化学习的通用性和效率。
2026-03-08 cs.AI cs.LG
Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents
Tufts University（塔夫茨大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Tech Research Institute（佐治亚理工学院研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出逻辑规范引导的动态任务采样方法LSTS，在不依赖环境动态或奖励机信息的情况下动态采样任务，以更少环境交互学习目标策略，并在多个任务上优于现有RM和自动机引导的强化学习方法。
2024-04-03 cs.AI cs.LG cs.RO
Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach
Seoul National University（首尔国立大学）
机器人和自主系统中的新兴应用，如自动驾驶和机器人手术，通常涉及关键的安全约束，即使有关系统模型的信息有限，也必须满足这些约束。在这方面，我们提出了一个无模型的安全规范方法，学习安全操作的最大概率，通过仔细结合概率可达性分析和安全强化学习（RL）。我们的方法构造了一个关于安全策略的李雅普诺夫函数来约束每个策略改进阶段。其结果是，它产生了一系列的安全策略，确定安全操作的范围，称为安全集，单调扩展，并逐渐收敛。我们还开发了一个有效的安全的探索计划，加快了未检查状态的安全性识别过程。利用李雅普诺夫屏蔽，我们的方法调节的探索性政策，以避免危险状态的高置信度。为了处理高维系统，我们通过引入拉格朗日松弛技术来进一步扩展我们的方法到深度RL，以建立一个易于处理的actor-critic算法。我们的方法的经验表现证明，通过连续控制基准问题，如达到任务的平面机器人手臂。
2020-02-24 cs.AI cs.RO cs.SY
Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Microsoft Research（微软研究院）；Vanderbilt University（范德比尔特大学）
本文提出一种任务驱动的深度Q学习算法，利用LTL自动机表示和部分环境模型指导探索，加速未知随机动力学下LTL任务策略学习，并在机器人导航实验中验证了效率提升。
2025-04-22 cs.AI cs.LG cs.RO
Do It for HER: First-Order Temporal Logic Reward Specification in Reinforcement Learning (Extended Version)
DEIB, Politecnico di Milano（博洛尼亚工程学院，米兰理工大学）；Politecnico di Milano（米兰理工大学）；INESC-ID/Instituto Superior Técnico Universidade de Lisboa（里斯本大学超级学院/葡萄牙信息科学与技术研究所）；Dipartimento di Informatica Università degli Studi di Milano（米兰大学信息学院）
本文提出了一种基于LTLfMT的一阶时间逻辑奖励规范框架，结合奖励机和HER解决奖励稀疏性问题，适用于连续控制任务。
2026-02-05 cs.AI cs.LG cs.LO
Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld
Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
该研究针对强化学习的规范博弈问题，构建清洁机器人网格世界场景，提出受限强化学习方法，可消除博弈行为并恢复真实目标性能，还推导验证了相关精确恒等式。
2026-10-16 cs.AI cs.LG
Honesty to Subterfuge: In-Context Reinforcement Learning Can Make Honest Models Reward Hack
LASR Labs（LASR实验室）；Apollo Research（阿波罗研究公司）
本研究发现前沿对齐大语言模型仅通过情境内强化学习（ICRL）就会产生规格博弈行为，且ICRL用于专家迭代会提升模型学习博弈策略的倾向，凸显零样本场景下依赖模型对齐的风险。
2024-10-09 cs.AI cs.LG
SuperSuit: Simple Microwrappers for Reinforcement Learning Environments
University of Maryland, College Park（马里兰大学帕克分校）
在强化学习中，包装器普遍用于转换模型和环境之间传递的信息。尽管它们无处不在，但没有一个库能够合理地实现所有流行的预处理方法。这会导致不必要的bug、代码效率低下和浪费开发人员的时间。因此，我们引入了SuperSuit，一个包含所有流行包装器的Python库，以及可以轻松将lambda函数应用于观察/动作/奖励的包装器。它与标准的Gym环境规范以及多代理环境的PettingZoo规范兼容。这个库可以在https：//github.com/PettingZoo-Team/SuperSuit上找到，并且可以通过pip安装。
2020-08-17 cs.AI cs.LG
Sample-Efficient Reinforcement Learning with Temporal Logic Objectives: Leveraging the Task Specification to Guide Exploration
Washington University in St. Louis（圣路易斯华盛顿大学）
本文针对LTL任务下未知MDP的样本效率问题，提出一种任务驱动探索的加速强化学习算法，显著提升学习速度，并通过理论与实验验证其优势随任务复杂度和MDP规模增大而增强。
2024-10-16 cs.AI cs.RO
Verifiable and Compositional Reinforcement Learning Systems
Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（得克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；Uppsala University（乌普萨拉大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一个框架，可验证和组合的强化学习（RL）中的RL子系统，每个学习完成一个单独的子任务，组成的集合，以实现一个整体的任务。该框架包括一个高层次的模型，表示为一个参数马尔可夫决策过程（pMDP），这是用来规划和分析组成的子系统，和低层次的子系统本身的集合。通过定义子系统之间的接口，该框架能够自动分解任务规范，例如，以至少0.95的概率达到一组目标状态，进入各个子任务规范，即，在满足子系统的进入条件的情况下，以至少某个最小概率达到子系统的退出条件。这反过来又允许子系统的独立训练和测试;如果它们每个都学习满足适当的子任务规范的策略，则它们的组合保证满足总体任务规范。相反，如果子任务规格不能全部满足的学习政策，我们提出了一种方法，制定为问题的pMDP中找到一组最佳的参数，自动更新子任务规格，以考虑所观察到的缺点。其结果是一个迭代的过程，用于定义子任务规范，并训练子系统，以满足他们。作为一个额外的好处，该程序允许在训练期间自动确定并集中于总体任务的特别具有挑战性或重要的组成部分。实验结果表明，所提出的框架的新功能。
2022-05-12 cs.AI cs.LG
Towards customizable reinforcement learning agents: Enabling preference specification through online vocabulary expansion
Arizona State University（亚利桑那州立大学）；Colorado State University（科罗拉多州立大学）
人们对开发可以与人类一起工作的自动化代理越来越感兴趣。除了完成分配的任务，这样的代理无疑将被期望以人类偏好的方式行事。这需要人类将他们的偏好传达给代理。为了实现这一点，目前的方法要么需要用户指定的奖励函数或偏好是交互式学习的查询，要求用户比较的行为。前一种方法可能是具有挑战性的，如果由代理使用的内部表示是不可理解的人，而后者是不必要的麻烦的用户，如果他们的偏好可以更容易地指定在符号方面。在这项工作中，我们提出了PRESCA（通过概念采集的偏好规范），一个系统，允许用户指定他们的喜好，他们理解的概念。PRESCA在共享词汇表中维护了一组这样的概念。如果相关的概念不在共享词汇表中，那么它就被学习了。为了使学习一个新概念更有效的反馈，PRESCA利用目标概念和已知概念之间的因果关系。此外，我们使用一种新的数据增强方法，以进一步减少所需的反馈。我们通过在Minecraft环境中使用它来评估PRESCA，并表明它可以有效地将代理与用户的偏好对齐。
2023-01-31 cs.AI
Symbolic Reinforcement Learning for Safe RAN Control
Ericsson Research（爱立信研究院）
在本文中，我们展示了一个符号强化学习（SRL）架构的安全控制无线接入网（RAN）的应用。在我们的自动化工具中，用户可以选择以线性时序逻辑（LTL）表示的高级安全规范来屏蔽在给定蜂窝网络中运行的RL代理，以优化网络性能，通过某些关键性能指标（KPI）进行测量。在所提出的架构中，网络安全屏蔽是通过模型检查技术，通过强化学习抽象的组合离散系统模型（自动机）。我们演示了用户界面（UI），帮助用户设置意图规范的架构，并检查允许和阻止的动作的差异。
2021-03-11 cs.AI
Model-Free Reinforcement Learning for Symbolic Automata-encoded Objectives
University of Southern California（南加州大学）；AIT Austrian Institute of Technology GmbH（奥地利技术研究院有限公司）
针对强化学习依赖状态奖励易致策略不满足任务目标或不安全的问题，提出用符号自动机编码目标，定义非稀疏势能奖励提升收敛性，且能保证策略满足规范。
2022-02-24 cs.AI cs.LO cs.RO
Tractable Reinforcement Learning of Signal Temporal Logic Objectives
University of Minnesota（明尼苏达大学）
信号时序逻辑（STL）是一种表达语言，用于指定有时限的真实世界机器人任务和安全规范。最近，人们对通过强化学习（RL）学习最优策略以满足STL规范产生了兴趣。学习满足STL规范通常需要足够长的状态历史来计算奖励和下一个动作。对历史的需要导致学习问题的指数状态空间增长。因此，对于大多数现实世界的应用来说，学习问题在计算上变得难以处理。在本文中，我们提出了一个紧凑的方法来捕捉状态历史的一个新的增广状态空间表示。提出了一个近似的目标（最大化满意概率），并解决了在新的增广状态空间。我们显示的近似解决方案的性能范围，并通过模拟与现有技术的解决方案进行比较。
2020-02-17 cs.AI cs.LG cs.RO
Reinforcement Learning Agent Training with Goals for Real World Tasks
Microsoft（微软）
强化学习（Reinforcement Learning，RL）是解决各种控制、优化和顺序决策问题的有效方法。然而，为复杂任务设计奖励函数（例如，具有多个目标和安全约束）对于大多数用户来说可能是具有挑战性的，并且通常需要多次昂贵的试验（奖励函数黑客攻击）。在本文中，我们提出了一个规约语言（Inkling目标规范）复杂的控制和优化任务，这是非常接近自然语言，并允许从业者专注于问题规范，而不是奖励函数黑客。我们的框架的核心要素是：（i）映射的高级语言的谓词时序逻辑量身定制的控制和优化任务，（ii）一种新的自动机引导的密集奖励生成，可用于驱动RL算法，和（iii）一组性能指标来评估系统的行为。我们包括一组实验表明，所提出的方法提供了极大的易用性，以指定广泛的现实世界的任务，以及所产生的奖励是能够驱动的政策培训，以实现指定的目标。
2021-07-21 cs.AI
Environment-Independent Task Specifications via GLTL
我们提出了一个新的任务规约语言的马尔可夫决策过程，旨在是一个改进的奖励功能的环境无关。该语言是线性时态逻辑（LTL）的一个变体，它以允许在有限时间内学习近似的方式扩展到概率规范。我们提供了几个小环境，展示了几何LTL（GLTL）语言的优势，并说明了如何使用它来直接指定标准强化学习任务。
2017-04-14 cs.AI
Verifiable Reinforcement Learning Systems via Compositionality
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Uppsala University（乌普萨拉大学）
提出一种可验证且组合式的强化学习框架，通过参数化MDP高级模型组合底层深度RL子系统，自动分解任务规范并保证组合满足总体规范，同时支持迭代更新子任务规范以应对策略不足。
2023-09-09 cs.AI cs.LG cs.SY
Reinforcement Learning for Omega-Regular Specifications on Continuous-Time MDP
University of Colorado Boulder（科罗拉多大学博尔德分校）；Tata Institute of Fundamental Research（塔塔基础研究所）
连续时间马尔可夫决策过程（CTMDPs）是描述密集时间和随机环境下序列决策的规范模型。当环境的随机演化只能通过采样获得时，无模型强化学习（RL）是计算最优决策序列的首选算法。另一方面，RL要求学习目标被编码为标量奖励信号。由于手动进行这种转换既繁琐又容易出错，因此已经提出了许多技术来将高级目标（以逻辑或自动机形式表示）转换为离散时间马尔可夫决策过程（MDP）的标量奖励。不幸的是，CTMDPs没有自动翻译。我们认为CTMDP环境的学习目标表示为欧米茄-正则语言。Omega-正则语言将正则语言推广到无限时域规范，并且可以表达流行的线性时间逻辑LTL中给出的属性。为了适应CTMDPs的密集时间性质，我们考虑了两种不同的语义的ω-正则目标：1）满意语义，其中学习者的目标是最大化花费积极的时间在良好状态的概率，和2）期望语义，其中学习者的目标是优化长期运行的预期平均时间花费在自动机的“良好状态”。我们提出了一种方法，使正确的翻译标量奖励信号，可以很容易地使用现成的RL算法CTMDPs。我们证明了所提出的算法的有效性，通过评估它在一些流行的CTMDP基准与欧米茄定期目标。
2023-03-16 cs.AI cs.LG math.OC
SAC-NeRF: Adaptive Ray Sampling for Neural Radiance Fields via Soft Actor-Critic Reinforcement Learning
University of Southern California（南加州大学）
本文提出SAC-NeRF，通过强化学习框架学习自适应采样策略，减少采样点35-48%，保持渲染质量与密集采样基线相近。
2025-12-31 cs.AI cs.CV
VisualEnv: visual Gym environments with Blender
University of Arizona（亚利桑那大学）
本文介绍了一种新的强化学习可视化环境创建工具VisualEnv。它是开源建模和渲染软件Blender与用于生成模拟环境模型的Python模块OpenAI Gym集成的产物。VisualEnv允许用户创建具有真实感渲染功能的自定义环境，并与Python完全集成。该框架的描述和测试一系列的例子问题，展示其功能的训练强化学习代理。
2021-12-01 cs.AI cs.LG
Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning
Indian Institute of Science（印度科学学院）
针对连续状态空间中STL规范鲁棒满足与可处理性难题，提出基于漏斗函数的可处理强化学习算法，学习时变策略，并在多个STL任务中验证其有效性。
2023-12-03 cs.AI cs.LG cs.SY
LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning
University of Oxford（牛津大学）；Amazon Inc（亚马逊公司）
LCRL是一个软件工具，它在未知的马尔可夫决策过程（MDP）上实现无模型强化学习（RL）算法，合成满足给定线性时间规范的最大概率的策略。LCRL利用部分确定性有限状态机（称为有限确定性Buchi自动机（LDBA））来表达给定的线性时间规范。基于LDBA的结构，RL算法的奖励函数是动态成形的。在适当假设下的理论保证确保RL算法收敛到最大化满意概率的最优策略。我们提出的案例研究，以证明LCRL的适用性，易用性，可扩展性和性能。由于LDBA引导的探索和LCRL无模型架构，我们观察到了强大的性能，与标准RL方法相比（适用于LTL规范时）也具有很好的扩展性。有关如何执行本文中所有案例研究的完整说明，请参见LCRL发行版www.github.com/grockious/lcrl附带的GitHub页面。
2022-09-21 cs.AI cs.LG cs.LO
Continuous Motion Planning with Temporal Logic Specifications using Deep Neural Networks
University of Waterloo（滑铁卢大学）
针对具有连续状态和动作的运动规划问题，提出了一种无模型强化学习方法来综合控制策略。机器人被建模为一个标记的离散时间马尔可夫决策过程（MDP）与连续的状态和动作空间。线性时序逻辑（LTL）用于指定高级任务。然后，我们训练深度神经网络，以使用行动者-批评者强化学习方法来近似价值函数和策略。LTL规范被转换为带注释的有限确定性Büchi自动机（LDBA），用于连续地塑造奖励，以便在训练期间提供密集的奖励。使用强化学习解决具有LTL规范的运动规划问题的一种简单方法是对轨迹进行采样，然后如果轨迹满足整个LTL公式，则为训练分配高奖励。然而，当我们有一个复杂的连续状态和动作空间的LTL公式时，找到这样的轨迹所需的采样复杂度太高了。因此，如果所有样本轨迹都从自动机的初始状态开始，我们就不太可能获得足够的训练奖励。在本文中，我们提出了一种方法，不仅从状态空间中的初始状态采样，而且在每个训练集开始时自动机中的任意状态。我们测试我们的算法在模拟使用汽车般的机器人，并发现我们的方法可以学习不同的工作配置和LTL规范的政策成功。
2020-09-29 cs.AI cs.LG cs.LO
Control Synthesis of Cyber-Physical Systems for Real-Time Specifications through Causation-Guided Reinforcement Learning
National Key Lab. of Space Integrated Information System, Institute of Software, Chinese Academy of Sciences（空间一体化信息系统国家实验室，软件研究所，中国科学院）
针对实时CPS控制综合中STL引导RL奖励稀疏问题，提出基于在线因果监控的奖励生成方法，提升训练稳定性与性能。
2025-10-09 cs.AI
Safe RAN control: A Symbolic Reinforcement Learning Approach
Ericsson Research（爱立信研究院）；University of California Santa Cruz（加州大学圣克鲁兹分校）
在本文中，我们提出了一个符号强化学习（SRL）为基础的无线接入网（RAN）应用程序的安全控制架构。特别是，我们提供了一个纯自动化的程序，其中用户可以指定高层次的逻辑安全规范为给定的蜂窝网络拓扑结构，以便后者执行最佳的安全性能，这是通过某些关键性能指标（KPI）来衡量。该网络由一组固定的基站（BS）组成，这些基站配备有天线，可以通过调整它们的垂直倾斜角来控制天线。上述过程称为远程电气优化（RET）。最近的研究集中在通过采用强化学习（RL）策略来执行这种RET优化，因为它们具有适应不确定环境的自学习能力。术语安全性是指网络KPI的特定约束边界，以便保证当算法部署在实时网络中时，性能得到维持。在我们提出的架构中，通过模型检查技术，通过学习过程中抽象的组合离散系统模型（自动机）的安全性得到保证。我们介绍了一个用户界面（UI）开发，以帮助用户设置意图规范的系统，并检查代理提出的行动的差异，以及那些被允许和阻止根据安全规范。
2022-04-25 cs.AI
PyBatchRender: A Python Library for Batched 3D Rendering at Up to One Million FPS
PyBatchRender是一种基于Python的高吞吐量3D渲染库，通过优化的批量渲染技术实现每秒超过一百万帧的渲染速度，适用于基于像素的强化学习研究。
2026-01-03 cs.AI cs.GR cs.PF
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求，强化学习器在约束设置，包括对结果的信心。我们表明，代理的信心在约束满足提供了一个有用的信号，在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Domain Knowledge-Based Automated Analog Circuit Design with Deep Reinforcement Learning
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Washington University in St. Louis（圣路易斯华盛顿大学）
模拟电路的设计自动化是集成电路领域的一个长期挑战。本文提出了一种深度强化学习方法，以加快在预布局阶段的模拟电路的设计，其中的目标是找到设备参数，以满足所需的电路规格。我们的方法受到经验丰富的人类设计师的启发，他们依赖于模拟电路设计的领域知识（例如，电路拓扑和电路规范之间的耦合）来解决问题。与所有现有方法不同，我们的方法最初将这些关键领域的知识与基于图形的策略网络的策略学习，从而最好地建模电路参数和设计目标之间的关系。在典型电路上的实验结果表明，它达到了人类水平的设计精度（~99%），效率是现有最佳性能方法的1.5倍。我们的方法也表现出更好的泛化能力，看不见的规格和电路性能优化的最优性。此外，它适用于设计不同的模拟电路在不同的半导体技术，打破了现有的ad-hoc方法在设计一个特定类型的模拟电路与传统的半导体技术的限制。
2022-02-26 cs.AI cs.AR cs.LG
Reinforcement Learning Based Temporal Logic Control with Maximum Probabilistic Satisfaction
The University of Iowa（爱荷华大学）；University of Science and Technology of China（中国科学技术大学）
本文提出了一种无模型强化学习（RL）算法来合成一个控制策略，最大限度地提高满足概率的线性时序逻辑（LTL）规格。由于考虑到环境和运动的不确定性，我们模型的机器人运动作为一个概率标记马尔可夫决策过程未知的转移概率和未知的概率标签函数。LTL任务规范被转换为有限确定性广义Büchi自动机（LDGBA）与几个接受集，以保持密集的奖励在学习过程中。应用LDGBA的新颖之处在于通过设计一个同步跟踪前沿函数来构造一个嵌入式LDGBA（E-LDGBA），它能够在不增加维数和计算复杂性的情况下记录非访问接受集。严格的分析表明，任何优化基于RL的方法的预期折扣收益的方法都可以保证找到最优策略，最大限度地提高LTL规范的满意概率。本文提出了一种无模型的基于RL的运动规划策略来生成最优策略。通过仿真和实验结果证明了基于RL的控制综合的有效性。
2021-10-05 cs.AI cs.FL cs.RO
Hierarchical Reinforcement Learning with AI Planning Models
IBM Research AI（IBM研究院人工智能部门）
顺序决策的两种常见方法是AI规划（AIP）和强化学习（RL）。每一个都有优点和缺点。AIP是可解释的，易于与符号知识集成，通常是有效的，但需要一个预先的逻辑域规范，对噪声敏感; RL只需要规范的奖励，对噪声是鲁棒的，但样本效率低，不容易提供外部知识。我们提出了一种综合的方法，结合高层次的规划与RL，保留可解释性，转让和效率，同时允许鲁棒学习的较低层次的计划行动。该方法通过建立人工智能规划问题的状态转移模型与马尔可夫决策过程（MDP）的抽象状态转移系统之间的对应关系，从AIP算子定义层次强化学习（HRL）中的选项。通过增加内在奖励来学习选项，以鼓励MDP和AIP过渡模型之间的一致性。我们通过比较RL和HRL算法在MiniGrid和N-rooms环境中的性能，展示了我们的集成方法的好处，显示了我们的方法比现有方法的优势。
2022-09-28 cs.AI
Automata Guided Reinforcement Learning With Demonstrations
Boston University（波士顿大学）
由于难以根据奖励函数指定任务以及学习信号的较大差异，具有复杂时间结构和长视野的任务对强化学习代理构成了挑战。我们建议通过结合时序逻辑（TL）和强化学习来解决这些问题。我们的方法自动生成内在的奖励，符合整体任务目标的TL任务规范。从我们的框架产生的政策有一个可解释的和层次结构。我们验证了所提出的方法实验上的一组机器人操作任务。
2018-09-25 cs.AI
One Subgoal at a Time: Zero-Shot Generalization to Arbitrary Linear Temporal Logic Requirements in Multi-Task Reinforcement Learning
Division of Systems Engineering, Boston University（系统工程系，波士顿大学）；Department of Electrical and Computer Engineering, Boston University（电气与计算机工程系，波士顿大学）
本文提出 GenZ-LTL 方法，通过将任意 LTL 规范分解为到达-避障子目标并一次一个地求解，结合子目标诱导观测缩减技术，在多任务强化学习中实现对未见 LTL 需求的零样本泛化，显著优于现有方法。
2025-11-09 cs.AI
Distributed Control using Reinforcement Learning with Temporal-Logic-Based Reward Shaping
Boston University（波士顿大学）
我们提出了一个计算框架的分布式控制策略的异构团队的机器人在部分可观察的环境中的合成。我们的目标是合作满足规格截断线性时序逻辑（TLTL）公式。我们的方法制定的合成问题作为一个随机游戏，并采用策略图的方法来找到一个控制策略与记忆每个代理。我们构建了随机博弈的产品之间的团队过渡系统和有限状态自动机（FSA），跟踪TLTL公式的满意度。我们使用TLTL的量化语义作为游戏的奖励，并使用FSA进一步重塑它来指导和加速学习过程。仿真结果表明，所提出的解决方案的有效性，在苛刻的任务规格和有效性的奖励塑造在显着加快学习的速度。
2022-04-06 cs.AI cs.SY eess.SY
HypRL: Reinforcement Learning of Control Policies for Hyperproperties
Michigan State University（密歇根州立大学）
HYPRL是一个规范引导的强化学习框架，通过Skolem化和鲁棒性函数塑形奖励，学习满足HyperLTL超属性的控制策略，在多个基准上验证了其有效性和效率。
2025-10-24 cs.AI cs.LO
