Runtime Governance for AI Agents: Policies on Paths
Eindhoven University of Technology（埃因霍温理工大学）；Kyvvu B.V.（Kyvvu公司）
本文提出通过路径作为核心对象，研究AI代理运行时治理，探讨路径依赖政策的框架与实现，分析合规性评估及开放问题。
2026-03-17 cs.AI
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Counterfactual Learning with General Data-generating Policies
Yale University（耶鲁大学）；Northwestern University（西北大学）；Mercari, Inc.（Mercari 株式会社）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
脱离策略评估（OPE）尝试使用来自不同策略的日志数据来预测反事实策略的性能。我们扩展了它的适用性，通过开发一个OPE的方法为一类完全支持和不足的支持日志记录政策的上下文强盗设置。该类包括确定性的强盗（如置信上限）以及基于监督和无监督学习的确定性决策。我们证明，我们的方法的预测收敛概率的真实表现的反事实的政策作为样本量的增加。我们验证我们的方法与实验部分和完全确定性的日志记录政策。最后，我们应用它来评估一个主要的在线平台的优惠券定位政策，并展示如何改进现有的政策。
2022-12-04 cs.AI cs.LG econ.EM
Actor-Critic Learning for Extended Mean Field Control with Deterministic Policies
University of California, Berkeley（加州大学伯克利分校）；Ecole Polytechnique, CMAP（巴黎政治经济学院（École Polytechnique））；Imperial College London（伦敦帝国学院）
针对连续时间扩展平均场控制问题，提出无模型强化学习框架，采用确定性反馈策略，建立灵敏度公式并推导策略梯度公式，经细化后得到含相关导数项的策略梯度，结合多种方法形成算法，数值实验验证了该方法的有效性。
2026-07-14 cs.AI cs.LG math.OC
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
3DPG: Distributed Deep Deterministic Policy Gradient Algorithms for Networked Multi-Agent Systems
Paderborn University（帕德博恩大学）；Karlstad University（卡尔斯塔德大学）；Hasso-Plattner-Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
我们提出了分布式深度确定性策略梯度（3DPG），一个多智能体的演员-评论家（MAAC）算法的马尔可夫游戏。与以前的MAAC算法不同，3DPG在训练和部署期间都是完全分布式的。3DPG代理基于最近可用的本地数据（状态、动作）和其他代理的本地策略来计算本地策略梯度。在训练期间，使用潜在的有损和延迟通信网络来交换该信息。因此，该网络引发了数据和政策的信息时代（AoI）。我们证明了3DPG的渐近收敛性，即使在潜在的无界信息时代（AoI）的存在。这为实际的在线和分布式多智能体学习迈出了重要的一步，因为3DPG并不假设信息是确定性的。我们分析3DPG在温和的实际假设下的政策和数据传输的存在。我们的分析表明，3DPG代理收敛到一个局部纳什均衡的马尔可夫博弈的效用函数表示为代理的期望值的局部近似行动-价值函数（Q-函数）。局部Q函数的期望是关于由代理累积的局部经验形成的全局状态-动作空间上的限制分布。我们的研究结果也揭示了一般MAAC算法所获得的政策。我们通过一个启发式的参数和数值实验表明，3DPG提高了收敛性比以前的MAAC算法，使用旧的行动，而不是旧的政策在训练过程中。此外，我们表明，3DPG是强大的AoI，它学习竞争政策，即使大AoI和低数据可用性。
2022-11-02 cs.AI cs.LG cs.MA
Algorithms for Deciding the Safety of States in Fully Observable Non-deterministic Problems: Technical Report
针对学习策略在非确定性环境中缺乏安全保证的问题，提出策略迭代算法iPI，结合TarjanSafe的最佳运行时间和多项式最坏情况复杂度，实验验证其性能优势。
2026-06-29 cs.AI
Expected Policy Gradients for Reinforcement Learning
Microsoft Research Cambridge（微软研究院剑桥分院）；University of Oxford（牛津大学）
我们提出了预期策略梯度（EPG），它统一了强化学习的随机策略梯度（SPG）和确定性策略梯度（DPG）。受预期Sarsa的启发，EPG在估计梯度时对动作进行积分（或求和），而不是仅依赖于采样轨迹中的动作。对于连续的行动空间，我们首先得到一个实际的结果，高斯政策和二次批评，然后将其扩展到一个普遍的分析方法，涵盖了广泛的一类演员和批评，包括高斯，指数家庭，并与有界支持的政策。对于高斯策略，我们引入了一种探索方法，该方法使用与评论家的缩放Hessian矩阵指数成比例的协方差。对于离散的动作空间，我们推导出一个基于softmax策略的EPG变体。我们还建立了一个新的一般策略梯度定理，其中随机策略梯度定理和确定性策略梯度定理是其特例。此外，我们证明了EPG降低了梯度估计的方差，而不需要确定性的政策，并具有很小的计算开销。最后，我们提供了一个广泛的EPG实验评估，并表明它优于现有的方法在多个具有挑战性的控制域。
2020-05-02 cs.AI stat.ML
Linear programming-based solution methods for constrained partially observable Markov decision processes
Toronto Metropolitan University（多伦多都会大学）
本研究结合基于网格的近似与线性规划（LP）模型，为受限部分可观察马尔可夫决策过程（CPOMDPs）生成近似策略，并通过六个实例验证了该方法在有限期和无限期问题中的有效性及灵活性。
2023-01-26 cs.AI
Iterative Depth-First Search for Fully Observable Non-Deterministic Planning
Sapienza University of Rome（罗马大学（罗马第一大学））；Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）
完全可观察非确定性（FOND）规划通过具有非确定性影响的行动来模拟不确定性。现有的FOND规划算法是有效的，并采用了广泛的技术。然而，大多数现有的算法是不鲁棒的处理不确定性和任务大小。在本文中，我们开发了一种新的迭代深度优先搜索算法，解决FOND规划任务，并产生强大的循环政策。我们的算法是明确设计的FOND规划，更直接地解决FOND规划的不确定性方面，它还利用启发式函数的好处，使算法在迭代搜索过程中更有效。我们比较我们所提出的算法，著名的FOND规划，并表明它具有强大的性能在几个不同类型的FOND域考虑不同的指标。
2022-06-20 cs.AI
Scalable Solution Methods for Dec-POMDPs with Deterministic Dynamics
本文针对确定性转移与观测的多智能体规划问题定义 Det-Dec-POMDP，并基于联合策略均衡搜索提出可扩展求解器 IDPP，以支持大规模问题。
2025-08-29 cs.AI
Probabilistic Model Checking of Stochastic Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究实验室）
本文提出一种基于马尔可夫决策过程、PCTL公式和Storm模型检验器的随机强化学习策略验证方法，并在多个基准上证明其优于确定性安全估计和朴素整体式模型检验基线。
2024-03-27 cs.AI
Constraint Satisfaction Propagation: Non-stationary Policy Synthesis for Temporal Logic Planning
University of Minnesota（明尼苏达大学）
当使用奖励函数来捕获顺序的时间受限的目标状态之间的依赖关系时，出现了问题，因为状态空间必须被过度扩展以容纳成功实现的子目标的历史。此外，政策和价值函数与平稳性假设推导出不容易分解，导致奖励最大化和任务泛化之间的紧张关系。我们展示了一个逻辑兼容的方法，使用基于模型的知识的环境动态和最后期限的信息，直接推断可重用的静态政策组成的非静态政策。该策略的构建是为了最大化满足时间敏感目标的概率，同时尊重时变障碍。我们的方法显式地保持两个不同的空间，一个高层次的逻辑任务规范，任务变量接地到低层次的状态空间的马尔可夫决策过程。在任务级的计算可满足性是可能的贝尔曼方程的张量，连接两个空间之间的时间关系;方程求解的值函数，可以明确地解释为子目标的概率下的综合非平稳政策，一种方法，我们术语约束满足传播（CSP）。
2019-02-11 cs.AI
Learning Complicated Manipulation Skills via Deterministic Policy with Limited Demonstrations
National University of Singapore（新加坡国立大学）
结合演示，深度强化学习可以有效地为操纵者开发策略。然而，在实践中收集足够的高质量示范需要时间。而且人类的演示可能不适合机器人。非马尔可夫过程和过度依赖示威是进一步的挑战。例如，我们发现RL代理对操纵任务中的演示质量很敏感，并且很难适应直接来自人类的演示。因此，利用低质量和不充分的演示来帮助强化学习训练更好的策略是具有挑战性的，有时，有限的演示甚至导致更差的性能。我们提出了一个新的算法TD3fG（TD3从发电机学习）来解决这些问题。它形成了从向专家学习到向经验学习的平稳过渡。这种创新可以帮助代理提取先验知识，同时减少演示的不利影响。我们的算法在Adroit机械手和MuJoCo任务中表现良好，演示有限。
2023-03-29 cs.AI cs.RO
Generalized Planning: Non-Deterministic Abstractions and Trajectory Constraints
Univ. Simón Bolívar（西蒙玻利瓦尔大学）；Sapienza Univ. Roma（罗马大学）；ICREA（加泰罗尼亚研究与高级研究学院）；Univ. Pompeu Fabra（庞培法布拉大学）；Univ. Federico II（费德里科二世大学）
我们研究的特点和计算的一般政策的家庭的问题，共享一个共同的减少到一个单一的抽象问题的结构特征。解决抽象问题P的策略$μ$已经被证明可以解决所有简化为P的问题Q，只要$μ$终止于Q。在这项工作中，我们阐明了为什么需要这种终止条件以及如何删除它。关键的观察是，抽象问题P捕捉到了具体问题Q中的局部（马尔可夫）公共结构，但忽略了全局的公共结构。我们展示了如何通过轨迹约束，在许多情况下可以表示为LTL公式，从而减少广义规划LTL合成这样的全球结构可以被捕获。此外，对于涉及可以增加或减少的整数变量的广泛类别的问题，轨迹约束可以被编译掉，将广义规划减少为完全可观察的非确定性规划。
2019-09-26 cs.AI cs.LO
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法，通过理论推导和算法设计，实现稳定学习和快速收敛，优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
Computing Complexity-aware Plans Using Kolmogorov Complexity
KTH Royal Institute of Technology（瑞典皇家理工学院）
在本文中，我们介绍了复杂性感知规划有限时域确定性有限自动机的奖励作为输出，基于柯尔莫哥洛夫复杂性。Kolmogorov复杂性被认为是因为它可以检测确定性最优策略的计算复杂性。我们提出了一个规划目标，产生一个明确的权衡政策的性能和复杂性。它被证明，最大化这个目标是不平凡的意义上说，动态规划是不可行的。我们提出了两个算法获得低复杂度的政策，其中第一个算法获得低复杂度的最佳政策，第二个算法找到一个政策最大化的性能，同时保持本地（阶段）的复杂性约束。我们评估了一个简单的导航任务的移动机器人，我们的算法产生低复杂度的政策，符合直觉的算法。
2021-09-22 cs.AI cs.SY eess.SY
Edge Delayed Deep Deterministic Policy Gradient: efficient continuous control for edge scenarios
Human Inspired Technology Research Centre, University of Padova（帕多瓦大学人机智能技术研究中心）；Department of Information Engineering, University of Padova（帕多瓦大学信息工程学院）
针对边缘场景计算资源受限问题，提出edgeD3算法，通过增强DDPG在减少50%GPU时间和计算资源、降低50%内存的同时，实现性能显著提升并超越现有方法。
2025-10-13 cs.AI cs.LG
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求，强化学习器在约束设置，包括对结果的信心。我们表明，代理的信心在约束满足提供了一个有用的信号，在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est（法国国家信息与自动化研究所南锡-大东部大区中心）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下，它是已知的，总是存在一个最佳的政策是固定的，我们表明，当使用值函数近似，寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种，统一了广泛的家庭的近似DP算法的文献。对于该算法，我们提供了一个错误传播分析的形式，所得到的政策，可以提高通常的性能约束的一个因素$O(1-γ)$，这是显着的折扣因子$γ$接近1。这样做，我们的方法统一了最近的结果价值和政策迭代。此外，我们表明，通过构建一个特定的确定性MDP，我们的性能保证是紧。
2013-04-20 cs.AI math.OC
Constrained and Robust Policy Synthesis with Satisfiability-Modulo-Probabilistic-Model-Checking
Radboud University（拉德堡德大学）；Brno University of Technology（布尔诺理工大学）
针对有限MDP上带结构约束的鲁棒奖励最优策略计算难题，本文提出结合可满足性求解器与概率模型检查的合成框架，实验证明其可行且性能媲美现有最优方法。
2025-11-15 cs.AI cs.LO
Protecting Context and Prompts: Deterministic Security for Non-Deterministic AI
MACAW Security, Inc.（MACAW安全公司）
本研究提出认证提示和上下文技术，通过加密验证和策略代数实现LLM的预防性安全，有效防止提示注入和上下文操纵攻击。
2026-02-11 cs.AI cs.CR cs.MA
A Finite-State Controller Based Offline Solver for Deterministic POMDPs
University of Oxford（牛津大学）；UK Atomic Energy Authority（英国原子能局）
针对智能体状态不确定但行动观测确定的DetPOMDP规划问题，提出以有限状态控制器构建策略的DetMCVI算法，其求解大规模问题成功率优于现有基准，且在真实机器人森林建图场景中得到验证。
2025-05-01 cs.AI cs.LG cs.RO
Temporal Logic Imitation: Learning Plan-Satisficing Motion Policies from Demonstrations
MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Brown University（布朗大学）
针对从演示中学习方法在人在回路扰动下无法保证任务复现的问题，提出以模式为离散抽象、结合具模式不变性与目标可达性的运动策略的时序逻辑模仿方法，可模拟LTL指定的离散规划，对两级扰动鲁棒且保证任务成功。
2022-12-14 cs.AI cs.FL cs.LG
Non-Deterministic Planning for Hyperproperty Verification
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出利用非确定性规划作为中间语言，将HyperLTL超属性验证问题转化为QDec-POMDP规划实例，并证明对HyperLTL大片段可归约为经典、FOND或POND规划，实验验证了方法的有效性。
2024-05-22 cs.AI cs.FL cs.LO
