基于优化的区间马尔可夫决策过程的鲁棒宽容合成
Optimization-Based Robust Permissive Synthesis for Interval MDPs
AI总结：
本文提出一种基于优化的框架，用于解决区间马尔可夫决策过程中的鲁棒宽容合成问题，通过混合整数线性规划直接编码鲁棒贝尔曼约束，提升策略的灵活性和可靠性。
摘要：
我们提出了一种基于优化的框架，用于解决区间马尔可夫决策过程（IMDPs）中的鲁棒宽容合成问题，受机器人在转移不确定性下的决策启发。在许多机器人系统中，模型不准确和传感噪声导致转移概率为区间值。虽然鲁棒IMDP合成通常产生单一策略，而宽容合成假设精确模型，但我们证明在区间不确定性下鲁棒宽容合成可以转化为一个全局混合整数线性规划（MILP），直接编码鲁棒贝尔曼约束。该方法最大化一个定量宽容度度量（启用的状态-动作对数量），同时保证每个合规策略在所有允许的转移实现下满足概率可达性或预期奖励规范。为了解决顶点基于不确定性表示的指数复杂性，我们推导出一种对偶化编码，消除显式顶点枚举，并与后继数量线性增长。在四个代表性机器人基准领域上的实验评估显示，该框架可扩展到具有数万状态的IMDPs。所提框架为机器人系统中具有不确定性意识且保持灵活性的控制器合成提供了实用且通用的基础。
英文摘要：
We present an optimization-based framework for robust permissive synthesis for Interval Markov Decision Processes (IMDPs). While robust IMDP controller synthesis typically yields a single policy and most permissive-synthesis methods assume exact transition models, we synthesize multi-strategies that retain multiple actions while guaranteeing satisfaction of probabilistic reachability or expected-reward specifications under all admissible transition probabilities. We formulate the problem as a mixed-integer linear program (MILP) that maximizes the number of enabled state--action pairs subject to robust Bellman constraints. We develop two encodings: a direct vertex-enumeration formulation and a dualization-based formulation that avoids explicit enumeration of uncertainty-polytope vertices and has size linear in the number of successor transitions. Experiments on four benchmark domains show that both encodings achieve the same optimal permissiveness and scale to IMDPs with hundreds of thousands of states. Compared with standard robust single-policy synthesis, the resulting multi-strategies retain substantially more action choices.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
