A Dynamic Watermarking Algorithm for Finite Markov Decision Problems
动态水印作为一种主动入侵检测技术，可以检测控制系统反馈通道中的重放攻击、欺骗攻击和欺骗攻击。在本文中，我们开发了一种新的动态水印算法的有限状态有限行动马尔可夫决策过程，并提出了上界的平均时间之间的虚警，和攻击发生的时间，当它被检测到的平均延迟。我们进一步计算作为水印的函数的控制系统的性能的灵敏度。通过检测传感器网络系统中的欺骗攻击，我们证明了所提出的动态水印算法的有效性。
2021-11-09 cs.SY eess.SY
Functional Stability of Discounted Markov Decision Processes Using Economic MPC Dissipativity Theory
本文讨论了闭环马尔可夫链在折扣最优性准则下的函数稳定性，形成马尔可夫决策过程（MDP）。我们研究了MDP的稳定性的意义下的概率测度（密度）的状态分布和扩展的耗散性理论的经济模型预测控制，以表征MDP的稳定性。这个理论要求一个所谓的存储函数满足耗散不等式。在概率测度空间和折扣设置，我们引入新的耗散性条件，确保MDP稳定。然后，我们使用有限时域最优控制问题，以产生有效的存储泛函。在实践中，我们建议使用Q学习来计算存储泛函。
2022-03-31 cs.SY eess.SY
Approximate Bilevel Difference Convex Programming for Bayesian Risk Markov Decision Processes
针对无限时间范围MDP中的参数不确定性，提出近似双层差分凸规划（ABDCP）方法离线求解贝叶斯风险MDP，生成具性能保证的有限状态控制器最优策略。
2024-12-20 cs.SY eess.SY
Maximal Cost-Bounded Reachability Probability on Continuous-Time Markov Decision Processes
RWTH Aachen University（亚琛工业大学）
研究连续时间马尔可夫决策过程中的多维最大成本有界可达概率，提出积分特征、可测确定性成本位置调度器及数值近似算法。
2014-01-17 cs.SY eess.SY
Constrained Active Classification Using Partially Observable Markov Decision Processes
在这项工作中，我们研究的问题，积极分类的动力系统的属性，其特征在于作为一个有限集的马尔可夫决策过程（MDP）模型。我们感兴趣的是找到积极与动力系统相互作用的策略，并观察其反应，以便以高置信度有效地对感兴趣的属性进行分类。我们提出了一个基于部分可观测马尔可夫决策过程（POMDPs）的决策理论框架。所提出的框架依赖于分配一个分类信念（概率分布）的属性感兴趣。给定一个初始的信念，一个置信水平，可以作出分类决策，成本约束，安全的信念集，和一个有限的时间范围内，我们计算POMDP战略导致分类决策。我们提出了三种不同的算法来计算这样的策略。第一种算法通过数值迭代精确计算最优策略。为了克服计算精确解的计算复杂性，我们提出了第二种算法的基础上自适应采样和第三个基于蒙特卡洛树搜索近似的最佳概率达到分类决策。我们举例说明所提出的方法，从医疗诊断，安全监测和野生动物分类。
2023-01-05 cs.SY eess.SY
A Novel Method for Lane-change Maneuver in Urban Driving Using Predictive Markov Decision Process
换道机动对于手动和自动驾驶来说一直是一项具有挑战性的任务，特别是在城市环境中。特别是，预测道路上其他车辆的行为的不确定性导致在改变车道时的犹豫不决的行动，这可能导致交通拥堵并引起安全问题。分析了车速区间变化和换道等不确定性因素，设计了城市环境下换道机动的预测马尔可夫决策过程。提出了一种隐马尔可夫模型来描述周围车辆的不确定性。奖励模型使用碰撞概率和可行性/到目标的距离作为主要参数。两种交通场景的数值模拟和分析，证明了所提出的方法的有效性。
2022-12-22 cs.SY eess.SY
Reversible Markov decision processes and the Gaussian free field
如果平稳受控马尔可夫链在每个平稳马尔可夫策略下都是可逆的，则称马尔可夫判定问题是可逆的。一个自然的应用，其中出现这样的问题是在大都会黑斯廷斯型动力学的控制。我们刻画了所有具有有限状态空间和有限动作空间的离散时间可逆马尔可夫决策过程。我们表明，政策迭代算法找到一个最佳的政策，可以显着简化马尔可夫判定问题这种类型。我们还强调了有限时间演化之间的关系的应计报酬和高斯自由场相关联的受控马尔可夫链。
2022-07-11 cs.SY eess.SY math.OC
Markov Decision Process Design: A Framework for Integrating Strategic and Operational Decisions
本文提出一个整合系统设计与运营决策的建模框架，通过双层混合整数线性规划公式同时最小化设计成本与预期运营成本，并经计算研究证明现实实例可数值求解。
2024-03-21 cs.SY eess.SY math.OC
An Energy Efficient Distributed Gossip Algorithm for Wireless Sensor Networks based on a Randomized Markovian Duty-Cycling
本文提出了一种新的异步一致性算法，它是基于一个连续的更新规则和能量有效的事件触发的工作周期（唤醒-睡眠）的基础上的离散马尔可夫链模型。该算法的系统模型制定和分析。给出了算法的收敛性和稳定性条件，并证明了算法收敛于平均一致性。对随机图、圆形图、链式图和星形图的数值模拟表明，网络的一致性和收敛性是稳定的。
2019-11-30 cs.SY eess.SP eess.SY
Controlling a Markov Decision Process with an Abrupt Change in the Transition Kernel
我们考虑的控制马尔可夫决策过程（MDP），经历了突变的过渡核（模式）。我们制定的问题最小化的遗憾下控制切换模式变化检测的基础上，相比模式观测控制器，作为一个最优停止问题。使用一系列的近似，我们把它减少到一个最快的变化检测（QCD）的问题与马尔可夫数据，我们的特点是状态依赖的阈值型最优变化检测策略。数值实验说明了我们的控制切换策略的各种属性。
2022-10-08 cs.SY eess.SY math.OC
Continuous-Time Distributed Dynamic Programming for Networked Multi-Agent Markov Decision Processes
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Hanbat National University（韩bat国立大学）
针对网络化多智能体马尔可夫决策过程，提出两种连续时间分布式动态规划算法，并从系统与控制角度证明其收敛性，为分布式时序差分学习奠定基础。
2024-06-13 cs.AI cs.SY eess.SY
Multiple-Environment Markov Decision Processes
本文提出多环境马尔可夫决策过程，旨在设计一个控制器以保证在未知环境中性能，解决了部分可观测MDP中不可判定的问题。
2014-12-03 cs.LO cs.SY eess.SY
Economic MPC of Markov Decision Processes: Dissipativity in Undiscounted Infinite-Horizon Optimal Control
经济模型预测控制（MPC）耗散性理论是讨论最小化经济阶段成本所导致的政策稳定性的核心。在目前的形式下，经济MPC的耗散性理论适用于基于确定性动力学的问题或非常特定的随机问题，并且不容易扩展到一般的马尔可夫决策过程。在本文中，我们澄清了这一困难的核心原因，并提出了一个推广的经济MPC耗散理论，绕过它。这个推广的重点是未贴现的无限时域问题，是基于非线性阶段成本泛函，允许一个讨论的Lyapunov渐近稳定性的政策马尔可夫决策过程的概率措施，其随机动态。该理论被证明为随机线性二次型调节器与高斯过程噪声，其中存储功能可以显式提供。为了简洁起见，我们将我们的讨论限制在非折扣马尔可夫决策过程。
2022-07-22 cs.SY eess.SY math.OC
Finite-Horizon Markov Decision Processes with Sequentially-Observed Transitions
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了具有顺序观察转移的有限时间马尔可夫决策过程，提出了一种基于线性规划的高效算法以生成更优策略。
2015-07-04 cs.SY eess.SY math.OC
Detection-averse optimal and receding-horizon control for Markov decision processes
在本文中，我们考虑了一个马尔可夫决策过程（MDP），自我代理有一个名义上的目标追求，而需要隐藏其状态的检测对手。在对问题进行形式化描述之后，我们首先提出了一种数值迭代（VI）方法来求解该问题，然后为了克服“维数灾难”，从而获得更大规模问题的可扩展性，我们提出了一种滚动时域优化（RHO）方法来获得近似解。我们使用的例子来说明和比较VI和RHO方法，并显示我们的问题制定的实际应用的潜力。
2019-08-21 cs.SY eess.SY math.OC
Central-limit approach to risk-aware Markov decision processes
National University of Singapore（新加坡国立大学）；Concordia University（康考迪亚大学）
本文提出利用中心极限定理评估长期时间范围内策略的风险，无论转移概率是否已知，并提供基于梯度的策略改进算法以寻找风险目标的局部最优解。
2015-12-02 cs.SY eess.SY math.OC
SOS: Safe, Optimal and Small Strategies for Hybrid Markov Decision Processes
对于混合马尔可夫决策过程，UPPAAL Rupgo可以计算出对于给定的安全属性是安全的并且对于给定的代价函数是最优的（在极限下）策略。不幸的是，这些策略不能很容易地导出，因为它们是作为一个很长的列表计算的。在本文中，我们展示了学习决策树形式的策略的紧凑表示的方法。这些决策树更小，更容易理解，并且可以很容易地导出为可以加载到嵌入式系统中的代码。尽管原始策略的大小压缩和实际差异，我们提供了安全性和最优性的决策树策略的保证。在顶部，我们展示了如何获得更小的表示，这些表示仍然保证安全，但在大小和最优性之间实现了所需的权衡。
2019-06-25 cs.LO cs.SY eess.SY
Optimized Task Assignment and Predictive Maintenance for Industrial Machines using Markov Decision Process
KFUPM（法赫德国王石油矿产大学）
针对制造任务分配与机器状态维护，本文提出考虑智能体信息共享的 Markov 决策过程方法，并通过铣床退化数据案例验证其策略离线分析与参数选择灵活性。
2024-02-03 cs.AI cs.SY eess.SY
Satisfiability Bounds for $ω$-Regular Properties in Bounded-Parameter Markov Decision Processes
本文考虑有界参数马尔可夫决策过程满足$ω$ -正则性的最小和最大概率的计算问题。BMDP由马尔可夫决策过程（MDP）产生，允许以实际概率未知的间隔形式的转移概率上的不确定性。$ω$ -正则语言形成了一大类属性，例如，拉宾或奇偶自动机，包含丰富的规范，如线性时序逻辑。在BMDP中，满足该属性的概率取决于未知的转移概率以及策略。在本文中，我们计算极值。这解决了Dutreix和Coogan在CDC 2018中特别提出的问题，扩展了他们在没有对手的区间马尔可夫链上的结果。其主要思想是重新解释他们的工作作为分析的区间MDP和相应的BMDP问题的分析的$ω$定期随机游戏，其中提供了一个解决方案。该方法进一步平滑地扩展到有界参数随机博弈。
2022-07-27 cs.LO cs.SY eess.SY
Continuous-Time Markov Decisions based on Partial Exploration
Technical University of Munich（慕尼黑工业大学）；Saarland University（萨尔兰大学）
本文提出一种加速连续时间马尔可夫决策过程时间有界可达性分析算法的框架，通过识别并分析子系统实现高效计算，验证了该方法在多个传统算法中的显著加速效果。
2018-07-25 cs.LO cs.SY eess.SY
Hidden Markov Model Estimation-Based Q-learning for Partially Observable Markov Decision Process
Department of Industrial and Enterprise Systems Engineering（工业与企业系统工程系）
本文提出了一种基于隐马尔可夫模型估计的在线Q学习算法，用于部分可观测马尔可夫决策过程，同时估计POMDP参数和Q函数，并证明其收敛性。
2018-09-24 cs.LG cs.SY eess.SY
Learning Distributed and Fair Policies for Network Load Balancing as Markov Potential Game
École Polytechnique（巴黎综合理工学院）；Cisco Systems（思科系统公司）；Princeton University（普林斯顿大学）
本文研究了数据中心网络负载均衡问题，其中部署了多个负载均衡器（LB），使用多智能体强化学习（MARL）框架。这个问题的挑战包括异构的处理体系结构和动态环境，以及有限的和部分的可观察性的每个LB代理在分布式网络系统中，这可以大大降低性能的生产负载均衡算法在现实世界的设置。集中训练分散执行（CTDE）RL计划已被提出来提高MARL的性能，但它招致-特别是在分布式网络系统中，更喜欢分布式和即插即用的设计方案-代理之间的额外的通信和管理开销。我们制定的多代理负载均衡问题作为一个马尔可夫潜在的游戏，与一个精心设计的工作量分配公平性的潜在功能。提出了一种完全分布式的MARL算法来逼近博弈的纳什均衡。实验评估涉及事件驱动的模拟器和真实世界的系统，其中所提出的MARL负载均衡算法在模拟中显示出接近最佳的性能，并在现实世界的系统中的生产LB的优越的结果。
2022-10-14 cs.AI cs.DC cs.SY
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题，通过平均场近似得到连续HJB方程，并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
The Linear Programming Approach to Reach-Avoid Problems for Markov Decision Processes
本文提出通过无限维线性规划解决马尔可夫决策过程中的随机达避问题，通过有限维近似降低计算复杂度，并通过数值实验验证方法有效性。
2017-10-06 cs.SY eess.SY math.AP
Brief Announcement: Generative Markov Model for Distributed Computing Systems
Department of Computer and Systems Sciences, Stockholm University, Sweden（斯德哥尔摩大学计算机与系统科学系）
针对分布式计算系统的异构性和复杂性，提出一种基于结构化状态分解的生成马尔可夫模型，实现可处理的模拟、推理和策略学习，并通过协作AI推理案例验证其有效性。
2026-06-02 cs.AI cs.DC cs.LG
