Strategy Complexity of Mean Payoff, Total Payoff and Point Payoff Objectives in Countable MDPs
University of Edinburgh(爱丁堡大学)
研究了具有实值转移报酬的可数无限马尔可夫决策过程。每一次无限次的运行都会导致以下收益序列:1。点收益(直接看到的转换奖励的序列),2。总收益(到目前为止所有奖励的总和的序列),以及3。平均收益。对于每种收益类型,目标是最大化$\liminf$为非负的概率。我们建立了这些目标的战略复杂性的全貌,即,对于$\varepsilon$ -最佳(分别为最佳策略。有些情况下可以用无记忆确定性策略获胜,而其他情况下则需要一个步骤计数器,一个奖励计数器,或两者兼而有之。
2021-07-10 cs.AI math.PR
1-2-3-Go! Policy Synthesis for Parameterized Markov Decision Processes via Decision-Tree Learning and Generalization
Technical University of Munich(慕尼黑工业大学);Vali-e-Asr University of Rafsanjan(拉夫桑贾德瓦利阿斯尔大学);Masaryk University(马萨里克大学);Institute of Science and Technology(科学技术研究院)
针对参数化MDP的状态空间爆炸问题,提出利用决策树学习将小实例的最优策略泛化至大实例,无需显式探索大型模型状态空间,在远超现有工具处理规模的模型上表现良好。
2025-04-01 cs.AI cs.LG cs.LO
Constrained and Robust Policy Synthesis with Satisfiability-Modulo-Probabilistic-Model-Checking
Radboud University(拉德堡德大学);Brno University of Technology(布尔诺理工大学)
针对有限MDP上带结构约束的鲁棒奖励最优策略计算难题,本文提出结合可满足性求解器与概率模型检查的合成框架,实验证明其可行且性能媲美现有最优方法。
2025-11-15 cs.AI cs.LO
Certified Policy Verification and Synthesis for MDPs under Distributional Reach-avoidance Properties
Indian Institute of Technology Bombay(印度理工学院孟买分校);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所);Lancaster University Leipzig(莱斯特兰卡斯特大学);Singapore Management University(新加坡管理大学)
针对 MDP 的分布可达-规避规范,提出可检查的分布可达-规避证书及策略验证、策略-证书联合综合方法,并在机器人集群等示例中验证有效性。
2024-05-07 cs.AI cs.LO
Strategy Complexity of Point Payoff, Mean Payoff and Total Payoff Objectives in Countable MDPs
University of Edinburgh(爱丁堡大学)
本文研究了可数MDPs中点收益、平均收益和总收益目标的策略复杂性,确定了实现ε-最优或最优策略所需的内存,部分情况仅需无记忆确定性策略,部分需计数器。
2023-03-03 cs.AI cs.CC cs.GT
LTLf Synthesis on Probabilistic Systems
Rice University(莱斯大学);University of Colorado, Boulder(科罗拉多大学博尔德分校)
许多系统自然地被建模为马尔可夫决策过程(MDP),结合了概率和战略行动。给定一个作为MDP的系统模型和一些系统行为的逻辑规范,综合的目标是找到一个最大化实现这种行为的概率的策略。定义行为的一个流行选择是线性时态逻辑(LTL)。关于LTL中规定的特性的MDP的政策综合已经得到了很好的研究。然而,LTL是在无限迹上定义的,而许多感兴趣的属性本质上是有限的。有限迹上的线性时序逻辑(LTLf)已被用来表达这样的属性,但没有工具存在,以解决策略合成MDP行为的有限迹属性。我们提出了两种算法来解决这个合成问题:第一个通过减少LTLf到LTL和第二个使用本地工具的LTLf。我们比较了这两种方法的可扩展性的合成,并表明,本机的方法提供了更好的可扩展性相比,现有的自动机生成工具的LTL。
2020-09-23 cs.AI cs.LO
Taming Infinity one Chunk at a Time: Concisely Represented Strategies in One-Counter MDPs
Masaryk University(马萨里克大学);UMONS – Université de Mons(蒙斯大学);Fonds de la Recherche Scientifique – FNRS(科学研究基金会);TRAIL institute(TRAIL研究所)
针对单计数器 MDPs 中无穷配置空间导致策略难以构建的问题,提出了两类基于区间划分的简洁表示策略,并通过压缩无穷 MDP 的通用方法在 PSPACE 复杂度内解决了验证与综合问题。
2025-03-02 cs.AI cs.FL cs.GT
CAESAR: Enhancing Federated RL in Heterogeneous MDPs through Convergence-Aware Sampling with Screening
ETH Zurich(苏黎世联邦理工学院);National University of Singapore(新加坡国立大学);A*STAR(新加坡科技研究局)
针对异构MDP下联邦强化学习平均聚合策略次优的问题,提出结合收敛感知采样与筛选的CAESAR方案,选择性吸收同MDP优秀智能体知识,经GridWorld和FrozenLake-v1实验验证可显著提升学习效率。
2024-04-16 cs.AI cs.LG
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策,满足形式规格的形式,一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性,在他们的能力,以捕捉理想的代理行为,他们的价值是有限的,当得出决策政策,满足某些类型的渐近行为在一般系统模型。特别是,我们感兴趣的是指定代理的稳态行为的约束,它捕获代理在每个状态下花费的时间比例,因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为,除非在其图形结构的连接性方面对底层模型施加强限制,否则相关的规划问题面临着重大挑战。在本文中,我们将探讨这个稳态规划问题,包括推导出一个决策的代理政策,使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程(MDP)一般情况的线性规划解,并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
Simple Strategies in Multi-Objective MDPs (Technical Report)
RWTH Aachen University(亚琛工业大学);UMONS – Université de Mons(蒙斯大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
我们考虑在马尔可夫决策过程(MDP)上同时验证多个期望奖励目标。这使得能够通过获得帕累托前沿在多个目标之间进行权衡分析。我们专注于易于使用和实施的战略。也就是说,策略是纯的(没有随机化),并且具有有限的记忆。我们表明,检查一个点是否可以实现一个纯静态策略是NP完全的,即使是两个目标,我们提供了一个MILP编码来解决相应的问题。有界记忆情形可以通过乘积构造化为平稳情形。使用\Storm和Guidelines的实验结果表明了我们的算法的可行性。
2020-02-17 cs.AI cs.LO
Towards Safe Policy Improvement for Non-Stationary MDPs
University of Massachusetts(马萨诸塞大学);Adobe Research(奥多比研究院);University of Alberta(阿尔伯塔大学);Amii(Amii(阿尔伯塔机器智能研究所))
许多现实世界中的序贯决策问题涉及具有金融风险和人类生命风险的关键系统。虽然在过去的几个作品已经提出了方法,是安全的部署,他们假设的根本问题是固定的。然而,许多现实世界的问题表现出非平稳性,当风险很高时,与错误的平稳性假设相关的成本可能是不可接受的。我们采取的第一步,以确保安全性,高信心,平稳变化的非平稳决策问题。我们提出的方法扩展了一种安全的算法,称为Seldonian算法,通过合成的无模型强化学习与时间序列分析。安全性是确保使用顺序假设检验的政策的预测性能,并获得置信区间使用野生自助。
2020-12-17 cs.AI cs.LG
Bourbaki: Self-Generated and Goal-Conditioned MDPs for Theorem Proving
Huawei Noah’s Ark Lab(华为诺亚实验室);Imperial College London(伦敦帝国学院);Huawei Lagrange Center(华为拉格朗日中心);UCL Centre for AI(大学学院人工智能中心)
本文提出自生成目标条件MDP框架,通过让智能体基于证明状态生成并追求子目标,结合MCTS搜索与多个7B模型集成,在PutnamBench上以Bourbaki(7B)解决26个问题,取得该规模模型的新SOTA。
2025-07-03 cs.AI cs.LG
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题,提出k-自适应策略合成算法KAPS,可优化小策略集的极小极大遗憾,实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology(加州理工学院);NASA Jet Propulsion Laboratory(NASA喷气推进实验室)
在不确定性问题下的一大类决策可以通过马尔可夫决策过程(MDP)或部分可观测MDP(POMDP)来描述,并应用于人工智能和运筹学等。传统上,策略合成技术被提出,使得总期望成本或回报最小化或最大化。然而,在总的预期成本意义上的最优性是合理的,如果在大量的运行系统的行为是感兴趣的,这限制了使用这样的政策在实际的任务关键的情况下,其中从预期的行为大的偏差可能会导致任务失败。在本文中,我们考虑的问题,设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施,我们称之为约束风险厌恶问题。对于MDP,我们通过拉格朗日框架将问题转化为infsup问题,并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP,我们证明了制定的优化问题的形式是差分凸规划(DCP),可以解决纪律凹凸规划(DCCP)的框架。我们表明,这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs,我们表明,如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射,一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器(FSC),我们表明,后者的优化简化为(有限维)DCP,可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation
University of Dhaka(达卡大学)
本文提出OPS-DeMo在线算法,通过动态误差衰减检测对手策略切换,并结合AOP库与响应策略库,提升多智能体强化学习在动态环境中的鲁棒性和决策能力。
2024-06-10 cs.AI cs.LG
Learning-Based Mean-Payoff Optimization in an Unknown MDP under Omega-Regular Constraints
Technische Universität München(慕尼黑工业大学);Université libre de Bruxelles(布鲁塞尔自由大学)
我们形式化的问题,最大化的平均支付值的高概率,同时满足奇偶性目标的马尔可夫决策过程(MDP)未知的概率转移函数和未知的奖励函数。假设支持的未知的过渡函数和最小的转移概率的下限是已知的,我们表明,在MDP组成的一个单一的端组件,两个组合的保证奇偶校验和平均回报的目标可以实现取决于有多少内存的人愿意使用。(i)对于所有的$ε$和$γ$,我们可以构造一个在线学习的有限记忆策略,该策略几乎肯定满足奇偶性目标,并且以至少$1 - γ$的概率实现$ε$ -最优平均收益。(ii)或者,对于所有的$ε$和$γ$,存在一个在线学习的无限记忆策略,它肯定满足奇偶性目标,并以至少$1 - γ$的概率实现$ε$ -最优平均收益。我们将上述结果推广到由一个以上的终端组件在一个自然的方式MDP。最后,我们表明,上述保证是紧的,即有MDP的更强的组合的保证不能确保。
2018-08-23 cs.AI cs.LO
An Anytime Algorithm for Task and Motion MDPs
Arizona State University(亚利桑那州立大学);United Technologies Research Center(联合技术研究中心);University of Massachusetts(马萨诸塞大学)
集成的任务和运动规划已经成为一个具有挑战性的问题,在顺序决策,机器人需要计算高层次的战略和低层次的运动计划,以解决复杂的任务。虽然高层次的战略需要在较长的时间范围和规模的决策,其可行性取决于低层次的约束条件的基础上的几何形状和环境的连续动态。这个问题的混合性质使其难以扩展;大多数现有的方法都集中在确定性,完全可观察的场景。我们提出了一种新的方法,高层次的决策问题发生在一个随机设置,可以建模为马尔可夫决策过程。在以前的努力相比,我们表明,完整的MDP政策,或偶然的行为,可以有效地计算在任何时候的时尚。我们的算法不断提高解决方案的质量,并保证概率完整。我们评估我们的方法上的一个具有挑战性的,现实的测试问题:自主飞机检查的性能。我们的研究结果表明,我们可以有效地计算一致的任务和运动的政策,最有可能的执行时间的结果,只使用一小部分的计算所需的开发完整的任务和运动的政策。
2018-02-16 cs.AI
POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Cornell University(康奈尔大学)
蒙特卡洛规划,例如蒙特卡罗树搜索(MCTS),已被证明在有限空间的应用显着的性能。在本文中,我们考虑在连续状态-动作空间的环境中进行蒙特卡洛规划,这是一个在控制和机器人技术中具有重要应用的少得多的问题。我们介绍POLY-HOOT,这是一种用称为分层乐观优化(HOO)的连续武装强盗策略增强MCTS的算法(Bubeck等人,2011年)。具体来说,我们通过使用适当的多项式,而不是对数,奖金项的置信上限,以提高HOO。这样的多项式奖金是由AlphaGo Zero中的经验成功所激励的(Silver等人,2017 b),以及其在实现有限空间MCTS的理论保证方面的重要作用(Shah等人,2019年)。我们调查,第一次,增强HOO算法在非平稳强盗问题的遗憾。使用这个结果作为一个积木,我们建立非渐近收敛保证POLY-HOOT:值估计收敛到一个任意小的邻域的最佳价值函数在一个多项式的速度。我们进一步提供了实验结果,证实了我们的理论研究结果。
2020-12-30 cs.AI cs.LG
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);KAIST Graduate School of AI(韩国科学技术院人工智能学院)
元规划,或从经验中学习指导规划,是一种有前途的方法,以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到,(1)施加约束可以诱导特定于上下文的独立性,使域的某些方面不相关,(2)代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程(CAMP),一个抽象的因素MDP,提供有效的规划。然后,我们描述了如何学习约束,使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者,包括机器人在可移动障碍物之间的导航(NAMO),机器人任务和顺序操作的运动规划,以及经典规划。我们发现,使用学习过的CAMP进行规划,可以始终优于基线,包括Stilman的NAMO特定算法。视频:https://youtu.be/wTXt6djcAd4代码:https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
Multi-Objective Controller Synthesis with Uncertain Human Preferences
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Virginia(弗吉尼亚大学);University of Birmingham(伯明翰大学)
复杂的现实世界中的应用程序的信息物理系统产生了需要多目标控制器的合成,这涉及到的问题,计算一个最优的控制器受到多个(可能相互冲突)的标准。目标的相对重要性通常由人类决策者指定。然而,在人类偏好中存在固有的不确定性(例如,由于由不同的偏好引出方法产生的伪像)。在本文中,我们形式化的概念不确定的人的喜好,并提出了一种新的方法,占这种不确定性的背景下,多目标控制器合成马尔可夫决策过程(MDP)。我们的方法是基于混合整数线性规划和合成一个最佳的许可多策略,满足不确定的人类偏好的多目标属性。一系列大型案例研究的实验结果表明,所提出的方法是可行的,可扩展性在不同的MDP模型大小和人类偏好的不确定性水平。通过在线用户研究进行的评估也证明了合成控制器的质量和效益。
2022-03-02 cs.AI cs.FL
Exploring and Learning in Sparse Linear MDPs without Computationally Intractable Oracles
MIT(麻省理工学院)
本文研究 $k$-稀疏线性 MDP 中的特征选择问题,提出首个多项式时间算法,通过引入可高效计算的仿真器概念实现近最优策略学习,并推广到低深度决策树解码的块 MDP。
2023-09-19 cs.AI cs.DS cs.LG
Disturbing Reinforcement Learning Agents with Corrupted Rewards
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
强化学习(RL)算法最近在解决复杂游戏(如Atari或Starcraft)方面取得了成功,并在现实世界的应用中产生了巨大的影响,如网络安全或自动驾驶。在缺点方面,最近的工作已经表明RL算法的性能如何在奖励函数的软变化的影响下下降。然而,很少有工作已经做了如何敏感这些干扰取决于攻击的侵略性和学习探索策略。在本文中,我们建议填补这一空白,在文献中分析不同的攻击策略的奖励扰动的基础上的影响,并研究在学习器中的效果取决于其探索策略。为了解释所有的行为,我们选择了一个子类的MDP:情节,随机目标唯一的奖励MDP,特别是,一个可理解的网格域作为基准。在这个领域中,我们证明了平滑地制作对抗性奖励能够误导学习者,并且使用低探索概率值,学习到的策略对腐败奖励更鲁棒。最后,在所提出的学习场景中,出现了一个违反直觉的结果:在每个学习片段中攻击是成本最低的攻击策略。
2021-02-12 cs.AI cs.LG
LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning
University of Oxford(牛津大学);Amazon Inc(亚马逊公司)
LCRL是一个软件工具,它在未知的马尔可夫决策过程(MDP)上实现无模型强化学习(RL)算法,合成满足给定线性时间规范的最大概率的策略。LCRL利用部分确定性有限状态机(称为有限确定性Buchi自动机(LDBA))来表达给定的线性时间规范。基于LDBA的结构,RL算法的奖励函数是动态成形的。在适当假设下的理论保证确保RL算法收敛到最大化满意概率的最优策略。我们提出的案例研究,以证明LCRL的适用性,易用性,可扩展性和性能。由于LDBA引导的探索和LCRL无模型架构,我们观察到了强大的性能,与标准RL方法相比(适用于LTL规范时)也具有很好的扩展性。有关如何执行本文中所有案例研究的完整说明,请参见LCRL发行版www.github.com/grockious/lcrl附带的GitHub页面。
2022-09-21 cs.AI cs.LG cs.LO
Power Mean Estimation in Stochastic Continuous Monte Carlo Tree Search
Hanoi University of Science and Technology(河内科技大学)
本文提出算法\Algname,将幂均值备份与多项式探索奖励结合,实现连续随机MDP中MCTS的多项式速率收敛,并实验验证其有效性。
2026-09-09 cs.AI cs.LG
Generalized Mean Estimation in Monte-Carlo Tree Search
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tampere University(坦佩雷大学)
我们考虑蒙特卡罗树搜索(MCTS)应用于马尔可夫决策过程(MDP)和部分可观测MDP(POMDP),以及著名的树的上置信界(UCT)算法。在UCT中,通过扩展节点来逐步建立一棵包含节点(状态)和边(动作)的树,并通过基于子节点平均值的备份策略来更新节点的值。然而,它已被证明,有足够的样本,最大的运营商产生更准确的节点值估计比平均。而不是解决这些值的估计之一,我们更进一步提出了一种新的备份策略,它使用幂平均算子,计算平均值和最大值之间的值。我们称我们的新方法为Power-UCT,并讨论了如何使用幂平均算子有助于加快MCTS的学习。我们从理论上分析我们的方法提供保证收敛到最佳。最后,我们实证证明了我们的方法在著名的MDP和POMDP基准的有效性,表现出显着的改善性能和收敛速度w.r.t.最先进的算法。
2020-07-13 cs.AI
Compositional planning in Markov decision processes: Temporal abstraction meets generalized logic composition
Worcester Polytechnic Institute(伍斯特理工学院)
在马尔可夫决策过程(MDP)的层次规划中,时间抽象允许以顺序组合的形式对发生在不同时间尺度上的宏动作进行规划。在本文中,我们提出了一种新的方法,组合推理和层次规划的时态逻辑约束下的MDP。除了顺序组合,我们介绍了一种基于广义逻辑组合的策略组合:给定子任务的子策略和一个新的任务表示为子任务的逻辑组合,一个半最优的策略,这是最优的规划与只有子策略,可以通过简单地组合子策略。因此,一个综合算法的开发,以计算最优策略有效地规划与原始行动,子任务的政策,和子政策的组成,以最大限度地满足时态逻辑规格的概率。我们证明了所提出的方法的正确性和效率在随机规划的例子与一个单一的代理和多个任务规范。
2019-07-22 cs.AI math.OC
Deductive Controller Synthesis for Probabilistic Hyperproperties
Brno University of Technology(布尔诺理工大学);TU Wien(维也纳工业大学)
本文提出一种基于抽象精化与演绎剪枝的控制器综合方法,用于求解MDP上的概率超性质,并首次支持控制器内及控制器间结构约束,实验表明其性能显著优于现有SMT工具HyperProb。
2023-07-10 cs.AI cs.LO cs.RO
Optimal by Design: Model-Driven Synthesis of Adaptation Strategies for Autonomous Systems
University of Luxembourg(卢森堡大学);Kennesaw State University(肯尼索州立大学);The Open University(开放大学)
许多软件系统已经变得过于庞大和复杂,无法由人类管理员进行有效管理,特别是当它们在不确定和动态的环境中运行并需要频繁更改时。已经提出了由需求驱动的适应技术,以赋予系统必要的手段来自主决定满足其需求的方式。然而,目前的许多方法依赖于通用语言,模型和/或框架来设计,开发和分析自治系统。不幸的是,这些工具是不适合在自治系统的适应问题的特点。在本文中,我们提出了优化设计(ObD),基于模型的需求驱动的自治系统的最佳适应策略的合成框架。ObD提出了一个模型(和语言)的自适应系统的基本要素,即系统,能力,需求和环境的高级描述。基于这些元素,马尔可夫决策过程(MDP)被构造来计算最优策略或最有回报的系统行为。此外,这定义了一个反射控制器,可以确保及时响应变化。该框架的一个新的特点是,它既受益于面向目标的技术,开发的需求启发,细化和分析,综合能力和广泛的研究围绕MDP,他们的扩展和工具。我们的初步评估结果表明,该框架的实用性和优势。
2020-01-16 cs.AI cs.MA cs.SE
Composition of Nondeterministic and Stochastic Services for LTLf Task Specifications
University of Oxford(牛津大学);Sapienza University of Rome(罗马第一大学);Banca d’Italia(意大利银行);Camera dei Deputati(意大利众议院)
本文研究如何组合非确定性与随机服务以满足LTLf任务规范,结合LTLf综合、罗马模型服务组合、反应式综合与MDP双目标词典序优化,在随机情形下同时最大化满足概率并最小化使用成本,可应用于智能制造与数字孪生。
2023-11-29 cs.AI cs.LO
Layered and Staged Monte Carlo Tree Search for SMT Strategy Synthesis
University of Waterloo(滑铁卢大学);University of Göttingen(哥廷根大学);CIDAS;Georgia Institute of Technology(佐治亚理工学院);Loughborough University(拉夫堡大学)
本文提出基于分层分阶段蒙特卡洛树搜索的SMT策略自动合成方法Z3alpha,以低成本高效探索策略空间,在多个基准上超越FastSMT、默认Z3和CVC5。
2024-04-30 cs.AI cs.LO cs.SE
Strategy Synthesis in POMDPs via Game-Based Abstractions
Albert-Ludwigs-Universität Freiburg(弗莱堡大学);Concept Engineering GmbH(Concept Engineering有限公司);RWTH Aachen University(亚琛工业大学);Radboud University(拉德堡德大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究部分可观测马尔可夫决策过程(POMDPs)中的约束合成问题,其目标是计算一个代理的策略,保证满足一定的安全性和性能规范。然而,POMDPs的验证和策略合成一般在计算上是难以处理的。我们减轻这个困难,专注于规划应用程序和利用典型的结构特性,这样的情况下,例如,我们假设代理有能力观察自己的位置内的环境。我们提出了一个抽象的细化框架,把这样的POMDP模型变成一个(完全可观察的)概率两人游戏(PG)。对于所获得的PG,有效的验证和合成工具允许确定具有最佳安全性和性能措施的策略,这些措施近似于POMDP上的最佳参数。如果近似值太粗糙而不能满足给定的规范,则细化方案可以改进计算策略。作为一个运行的例子,我们使用的规划问题,代理移动的环境内随机移动的障碍物和有限的可观察性。我们证明了所提出的方法通过解决比现有POMDP求解器可以处理的问题大几个数量级的问题来推进最先进的技术。此外,该方法提供了安全约束的保证,这是不支持的大多数现有的求解器。
2019-05-27 cs.AI cs.RO
Safe Learning for Near Optimal Scheduling
Tata Institute of Fundamental Research(塔塔基础研究所);University of Antwerp(安特卫普大学)
在本文中,我们研究了合成,基于模型的学习,和在线采样技术相结合,以获得安全和接近最优的可抢占任务调度问题的解决方案。我们的算法可以处理马尔可夫决策过程(MDP),有1020个国家,超过这一点不能处理的最先进的概率模型检查器。我们提供了学习模型的可能近似正确(PAC)保证。此外,我们扩展了蒙特卡罗树搜索的建议,使用安全游戏计算或使用最早的最后期限优先调度程序获得,安全地探索学习模型在线。最后,我们在大型任务系统上实现并比较了我们的算法与屏蔽的深度Q学习。
2021-07-13 cs.AI cs.LO
Regret-Free Reinforcement Learning for LTL Specifications
University of Birmingham, Birmingham, UK(伯明翰大学)
针对未知有限状态 MDP 中的 LTL 控制问题,提出首个无遗憾在线强化学习算法,并通过图结构学习与到达—规避归约给出有限回合性能界。
2025-06-06 cs.AI cs.LG
Automated Generation of MDPs Using Logic Programming and LLMs for Robotic Applications
Department of Information Engineering and Computer Science, University of Trento(信息工程与计算机科学系,特伦托大学);Department of Industrial Engineering, University of Trento(工业工程系,特伦托大学)
本文提出结合大语言模型与形式方法,通过逻辑编程自动生成可执行的MDP策略,用于机器人中的概率规划。
2025-11-28 cs.AI cs.RO
Guessing Winning Policies in LTL Synthesis by Semantic Learning
Technical University of Munich(慕尼黑工业大学);Masaryk University(马萨里克大学);Institute of Science and Technology, Klosterneuburg(克洛斯特新堡科学技术研究所)
提出一种基于学习的技术,通过反映博弈状态的语义标签并从已解决博弈中学习,猜测LTL综合中奇偶博弈的获胜策略,以提升大规模博弈下的求解效率与可扩展性。
2023-05-24 cs.AI cs.SY eess.SY
Integrating active sensing into reactive synthesis with temporal logic constraints under partial observations
University of Pennsylvania(宾夕法尼亚大学)
本文提出在部分可观测和动态环境中,利用感知动作进行在线反应规划,通过主动感知策略减少不确定性,确保时序逻辑规范以概率1满足。
2014-10-01 cs.AI cs.RO cs.SY
Sampling-based Reactive Synthesis for Nondeterministic Hybrid Systems
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出一种基于采样的策略综合算法,用于在非确定性混合系统中生成反应式获胜策略,通过博弈树生长与多臂老虎机技术相结合,实现概率完备性并优于现有方法。
2023-12-23 cs.AI cs.RO cs.SY
A Neuro-Symbolic Approach to Strategy Synthesis for Strategic Logics
University of Naples Federico II(那不勒斯费德里科二世大学);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎理工学院);Università degli Studi di Salerno(萨勒诺大学)
提出一种神经符号框架,将大语言模型作为策略生成预言机,结合模型检查器进行形式验证,在NatATL中实现高精度策略综合。
2026-06-17 cs.AI cs.MA
Strategy Synthesis for General Deductive Games Based on SAT Solving
Masaryk University(马萨里克大学)
我们提出了一个通用的框架,用于建模和求解演绎游戏,其中一个玩家选择一个秘密代码和其他玩家努力发现这个代码使用最少数量的允许的实验,揭示了一些部分信息的代码。该框架是实现在一个软件工具眼镜蛇,其功能是通过产生新的结果,现有的演绎游戏证明。
2015-06-19 cs.AI cs.GT
Synthesis and Pruning as a Dynamic Compression Strategy for Efficient Deep Neural Networks
University of Surrey(萨里大学)
大脑是一个高度可重构的机器,能够进行特定任务的适应。大脑不断地重新布线,以获得更优化的配置来解决问题。我们提出了一种新的策略合成算法的前馈网络,直接从大脑的行为时学习。所提出的方法分析网络并根据其大小对权重进行排名。与现有的方法,提倡随机选择,我们选择高性能的节点作为新的边缘的起点,并利用高斯分布的权重来选择相应的端点。该策略的目的只是为了产生有用的连接,并导致一个较小的剩余网络结构。该方法是补充修剪进一步压缩。我们展示了深度前馈网络的技术。在这项工作中,从合成方法形成的剩余子网络形成了相似性高达~ 90%的公共子网络。使用修剪作为战略合成方法的补充,我们观察到压缩的改进。
2020-11-23 cs.AI
Symbolic LTLf Synthesis
East China Normal University(华东师范大学);Rice University(莱斯大学)
LTLf合成是找到满足有限迹上的线性时间规范的策略的过程。这个问题的现有解决方案依赖于减少到DFA游戏。在本文中,我们提出了一个符号框架LTLf合成基于这种技术,通过执行计算的DFA的表示作为一个布尔公式,而不是作为一个明确的图形。这种方法能够通过利用布尔合成的机制来生成策略。我们实现了这种符号合成方法的工具,称为Syft,并通过实验证明,可扩展的基准测试,符号的方法比显式的规模更好。
2017-09-21 cs.AI cs.LO
LLM-Guided Strategy Synthesis for Scalable Equality Saturation
Peking University(北京大学);School of Integrated Circuits(集成电路学院)
本文提出EggMind框架,通过领域特定语言EqSatL和LLM引导的代理工作流,高效合成可重用的等式饱和策略,提升资源质量平衡,减少成本和内存消耗。
2026-04-19 cs.AI cs.MA cs.PL
Incremental LTLf Synthesis
本文提出了一种基于辅助数据结构的增量LTLf综合方法,并探讨了基于公式推进的替代方案,证明其在实际应用中的有效性。
2026-03-01 cs.AI
Distributed Synthesis of Surveillance Strategies for Mobile Sensors
University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Leicester(莱斯特大学)
我们研究的问题,综合战略的移动传感器网络进行监测与静态报警触发器的合作伙伴关系。我们制定的问题作为一个多智能体的反应性合成问题的监督目标指定为时序逻辑公式。为了避免状态空间爆破所产生的集中式策略计算,我们提出了一种方法来分散的监控策略合成分解成子游戏,可以独立解决的多智能体的游戏。我们还分解为每个传感器的本地规格的全球监测规格,并表明,如果传感器满足其本地的监测规格,那么传感器网络作为一个整体将满足全球监测目标。因此,我们的方法是能够保证在移动传感器网络中的全局监视性能,同时合成完全分散的战略,不需要协调的传感器之间。我们还提出了一个案例研究中,我们展示了分散的监控策略合成的应用。
2019-02-06 cs.AI cs.MA cs.RO
Research Vision: Multi-Agent Path Planning for Cops And Robbers Via Reactive Synthesis
Columbia University(哥伦比亚大学);IMDEA Software Institute(IMDEA软件研究所);Barnard College(巴纳德学院)
本文利用 LTLt 与协调综合研究泛化“警察与强盗”游戏的多智能体路径规划,形式化问题空间并给出可执行策略构造思路。
2025-03-14 cs.AI cs.LO
STaSy: Score-based Tabular data Synthesis
Yonsei University(延世大学)
本文提出基于分数生成建模的表格数据合成模型STaSy,结合自步学习与微调策略提升采样质量和多样性,在15个基准数据集上优于现有方法。
2023-05-29 cs.AI cs.DB cs.LG