arXiv 2210.040982022-10-08eess.SYcs.SYmath.OC

转移核突变的马尔可夫决策过程的控制

Controlling a Markov Decision Process with an Abrupt Change in the Transition Kernel

Nathan Dahlin, Subhonmesh Bose, Venugopal V. Veeravalli

摘要：

我们考虑的控制马尔可夫决策过程（MDP），经历了突变的过渡核（模式）。我们制定的问题最小化的遗憾下控制切换模式变化检测的基础上，相比模式观测控制器，作为一个最优停止问题。使用一系列的近似，我们把它减少到一个最快的变化检测（QCD）的问题与马尔可夫数据，我们的特点是状态依赖的阈值型最优变化检测策略。数值实验说明了我们的控制切换策略的各种属性。

英文摘要：

We consider the control of a Markov decision process (MDP) that undergoes an abrupt change in its transition kernel (mode). We formulate the problem of minimizing regret under control-switching based on mode change detection, compared to a mode-observing controller, as an optimal stopping problem. Using a sequence of approximations, we reduce it to a quickest change detection (QCD) problem with Markovian data, for which we characterize a state-dependent threshold-type optimal change detection policy. Numerical experiments illustrate various properties of our control-switching policy.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

随机系统突变信息泄漏的最小化

Minimizing Information Leakage of Abrupt Changes in Stochastic Systems

本文研究一般马尔可夫过程突变隐私的分析问题。这些过程可能会受到变化或外部信号的影响，这些变化或外部信号需要保持私密。隐私是指通过观察底层马尔可夫链来披露这些变化的信息。与以前的工作隐私，我们研究的问题在线序列的数据。我们使用的理论工具，从最优检测理论激励的定义，基于平均信息量的随机系统的每个观察的在线隐私。考虑两种情况：全信息情况，其中窃听者测量除了指示改变的信号之外的所有信号，以及有限信息情况，其中窃听者仅测量马尔可夫过程的状态。对于这两种情况下，我们提供的方法来获得隐私上限和计算策略，达到更高的隐私级别。事实证明，计算隐私感知策略的问题是凹的，我们得出结论，一些例子和数值模拟的情况下。

2021-09-30cs.SYeess.SYstat.OT

混合移动平均过程的随机优化用于控制非马尔可夫流体环境

Stochastic optimization of a mixed moving average process for controlling non-Markovian streamflow environments

通过马尔可夫提升方法，研究了混合移动平均过程的随机优化，用于控制非马尔可夫流体环境，实现了方差的严格界限和实际应用。

2022-11-02cs.SYeess.SYmath.OC

基于学习历史的马尔可夫决策过程控制策略

On learning history based policies for controlling Markov decision processes

McGill University（麦吉尔大学）；Mila（米拉研究所）

强化学习（RL）的民间传说认为，基于历史的函数逼近方法，如递归神经网络或基于历史的状态抽象，比它们的无记忆同行表现得更好，因为马尔可夫决策过程（MDP）中的函数逼近可以被视为诱导部分可观察MDP。然而，这种基于历史的算法很少有正式的分析，因为大多数现有的框架只专注于无记忆功能。在本文中，我们介绍了一个理论框架，学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外，我们使用这个框架来设计一个实用的RL算法，我们数值评估其有效性的一组连续控制任务。

2022-11-06cs.LGcs.SYeess.SY

Markov跳变系统的等价二次控制

Certainty Equivalent Quadratic Control for Markov Jump Systems

University of Michigan（密歇根大学）；University of California, Riverside（加州大学河滨分校）

现实世界的控制应用往往涉及复杂的动态突然变化或变化。马尔可夫跳变线性系（MJS）提供了一个丰富的框架建模这样的动态。尽管有广泛的历史，MJS控制的参数灵敏度的理论理解是有点缺乏。受此启发，我们研究了基于确定性等价模型的二次费用函数MJS最优控制的鲁棒性。给定系统矩阵和马尔可夫转移阵的不确定性分别由$ε$和$η$有界，通过提供分别衰减为$\mathcal{O}(ε+ η)$和$\mathcal{O}((ε+ η)^2)$的显式扰动界，建立了（i）耦合Riccati方程的解和（ii）最优成本的鲁棒性结果.

2021-05-26cs.LGcs.SYeess.SY

马尔可夫跳变系统的模态约简

Mode Reduction for Markov Jump Systems

University of Michigan（密歇根大学）

切换系统能够对可能随时间突然改变的潜在动态过程进行建模。为了在实践中实现精确的建模，可能需要大量的模式，但这反过来可能会大大增加模型的复杂性。现有的降低系统复杂度的工作主要考虑状态空间的缩减，而减少模式数的研究较少。在这项工作中，我们考虑马尔可夫跳线性系统（MJSs），一类特殊的切换系统的主动模式切换根据马尔可夫链，以及与其模式复杂性的几个问题。具体来说，受无监督学习的聚类技术的启发，我们能够构建一个具有更少模式的简化MJS，它在各种指标下都很好地近似原始MJS。此外，无论是理论上和经验上，我们展示了如何可以使用减少MJS分析稳定性和设计控制器的计算成本显着降低，同时达到保证精度。

2022-10-20cs.LGcs.SYeess.SY

手臂运动的人工智能控制FES恢复：用高斯状态空间模型控制渐进性肌肉疲劳

Towards AI-controlled FES-restoration of arm movements: Controlling for progressive muscular fatigue with Gaussian state-space models

Imperial College London（帝国理工学院）；University of Bayreuth（拜罗伊特大学）

达到残疾限制了个人执行日常任务的能力。表面功能性电刺激（FES）提供了一种非侵入性的解决方案来恢复失去的能力。然而，使用FES诱导期望的运动仍然是一个开放的工程问题。由于人类手臂神经力学的复杂性和个体间的差异，这个问题更加突出。强化学习（RL）是一种很有前途的方法，可以为不同的主题和设置管理定制的控制规则。然而，使用RL来控制FES的一个剩余挑战是不可观察的肌肉疲劳，其作为刺激的未知函数逐渐变化，打破了RL的马尔可夫假设。在这项工作中，我们提出了一种方法来解决不可观察的肌肉疲劳问题，使我们的RL控制器，以实现更高的控制性能。我们的方法是基于高斯状态空间模型（GSSM），利用递归神经网络学习马尔可夫状态空间从部分观察。GSSM被用作过滤器，将观测值转换为RL的状态空间表示，以保持马尔可夫假设。在这里，我们首先介绍了修改原来的GSSM，以解决过度自信的问题。然后，我们提出了RL和修改后的GSSM之间的相互作用，其次是FES控制学习的设置。我们测试了我们的RL-GSSM系统在一个平面达到设置在模拟使用详细的神经力学模型，并表明GSSM可以帮助RL保持其控制性能对疲劳。

2023-03-17cs.LGcs.SYeess.SY

更多相关论文收起更多论文

计算最优联合机会约束控制策略

Computing Optimal Joint Chance Constrained Control Policies

本文针对有限时间范围内受联合机会约束的随机马尔可夫系统，通过引入二元状态增广动力学，提出基于动态规划的可证明最优且易于计算的策略求解方法。

2024-11-21cs.SYeess.SYmath.OC

马尔可夫跳变线性系策略最优化方法的收敛性保证

Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。

2020-02-10cs.LGcs.SYeess.SY

一种用于稳定大规模不确定马尔可夫跳变线性系统的随机鲁棒自适应系统级方法

A Stochastic Robust Adaptive Systems Level Approach to Stabilizing Large-Scale Uncertain Markovian Jump Linear Systems

提出一种基于系统级综合（SLS）的随机鲁棒自适应框架，通过贝叶斯推断和局部信息一致性方法，实现大规模不确定马尔可夫跳变线性系统在扰动与拓扑切换下的可扩展鲁棒稳定。

2024-08-28cs.SYeess.SY

连续/离散混合变量MDP的策略学习--以马尔可夫跳变系统无模型控制为例

Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。

2020-07-15cs.LGcs.SYeess.SY

ISC-POMDPs：具有初始状态依赖成本的 POMDP

ISC-POMDPs: Partially Observed Markov Decision Processes with Initial-State Dependent Costs

本文提出 ISC-POMDPs，一类成本依赖于初始状态值及不确定性的 POMDPs，通过递归贝叶斯定点平滑器估计初始状态，将其转化为信念依赖成本的 POMDPs，并在仿真中验证其解决初始状态不确定性的能力。

2025-03-06cs.SYeess.SY

基于条件熵的部分观测马尔可夫决策过程主动轨迹估计

Active Trajectory Estimation for Partially Observed Markov Decision Processes via Conditional Entropy

在本文中，我们考虑的问题，控制部分可观察的马尔可夫决策过程（POMDP），以积极估计其状态轨迹在一个固定的水平线与最小的不确定性。我们提出了一种新的主动平滑问题，其目标是直接最小化平滑熵，即条件熵的（联合）状态轨迹分布的关注在固定区间贝叶斯平滑。我们的配方与以前的积极的方法，最小化的条件熵的贝叶斯滤波器提供的（边际）状态估计的总和。通过建立一种新的形式的平滑熵的POMDP的信念（或信息）状态，我们表明，我们的主动平滑问题可以重新表述为一个（完全观察到的）马尔可夫决策过程的价值函数，是凹的信念状态。的值函数的插值是特别重要的，因为它使我们的主动平滑问题的近似解使用分段线性函数近似与标准POMDP求解器。我们说明了我们的主动平滑问题的近似解决方案在模拟和比较其性能的替代方法的基础上最小化边际状态估计的不确定性。

2021-04-04cs.ITcs.SYeess.SY