arXiv 1602.017372016-02-04math.OC

发射装置集成过程的Optimization：一种马尔可夫决策过程方法

Optimization of a launcher integration process: a Markov decision process approach

Christophe Nivot, Benoîte de Saporta, François Dufour, Damien Bérard-Bergery, Charles Elegbede

摘要：

本文致力于工业发射装置集成过程优化的数值研究。这是一个原始的库存生产系统，其中日历起着至关重要的作用。该过程使用马尔可夫决策过程（MDP）框架建模。由于过渡律和费用函数的特殊性，不能使用经典的MDP优化程序。两个基于仿真的算法进行调整，以适应这种特殊情况。我们得到了一个非平凡的最优策略，可以应用于实践中，并显着优于参考政策。

英文摘要：

This paper is dedicated to the numerical study of the optimization of an industrial launcher integration process. It is an original case of inventory-production system where a calendar plays a crucial role. The process is modeled using the Markov Decision Processes (MDPs) framework. Classical optimization procedures for MDPs cannot be used because of specificities of the transition law and cost function. Two simulation-based algorithms are tuned to fit this special case. We obtain a non trivial optimal policy that can be applied in practice and significantly outperforms reference policies.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

用McKean-Markov分支采样法求解Feynman-Kac正倒向偏微分方程

Solving Feynman-Kac Forward Backward SDEs Using McKean-Markov Branched Sampling

本文提出了一种新的数值解随机最优控制问题中值函数Feynman-Kac表示的正倒向随机微分方程的方法。使用Girsanov的变化的概率测度，它演示了如何McKean-Markov分支采样方法可以用于前向积分通过，只要控制的漂移项是适当的补偿后向积分通过。随后，提出了一个数值逼近的价值函数，通过解决一系列的函数逼近问题，在时间上向后沿边缘的空间填充树组成的轨迹样本。此外，局部熵加权最小二乘蒙特卡罗（LSMC）方法的发展，集中在最有可能被访问的最优控制轨迹的区域的函数逼近精度。所提出的方法是数值证明线性和非线性随机最优控制问题的非二次运行成本，这表明显着的收敛性改善以前的FBSDE为基础的数值解方法。

2022-10-19math.OC

面向不确定性下决策的分位数傅里叶回归

Quantile Fourier regressions for decision making under uncertainty

针对具有周期性的自然现象对应的非时齐马尔可夫决策过程，提出支持取值与序列依赖结构均呈周期变化的分位数傅里叶回归构建方法，并通过水电调度、海上风电并网两个数值示例验证其适用性。

2024-09-16math.OC

约束马尔可夫决策过程的线性收敛算法

Algorithm for Constrained Markov Decision Process with Linear Convergence

Humboldt University of Berlin（柏林洪堡大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院系统编程研究所可信人工智能研究中心）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）

考虑了约束马尔可夫决策过程问题。一个代理的目标是最大化预期的累积折扣奖励，其成本受到多个约束（约束的数量相对较小）。提出了一种新的对偶方法，它集成了两个成分：熵正则化策略优化器和Vaidya的对偶优化器，这两者对于实现更快的收敛都是至关重要的。给出了该方法的有限时间误差界。尽管受到非凹约束的非凹目标的挑战，所提出的方法收敛（线性速率）的全局最优值。在最优性差距和约束违反方面表示的复杂性显着改善现有的原始-对偶方法。

2022-10-19cs.LGmath.OC

有约束马尔可夫决策过程的快速算法与分析

Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process

Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）；University at Buffalo, The State University of New York（纽约州立大学布法罗分校）

研究了受约束的马尔可夫决策过程（CMDP）问题，其中代理人的目标是在效用/成本受到多个约束的情况下最大化期望的累积折扣报酬.提出了一种新的原始-对偶方法，该方法将熵正则化策略优化器、对偶变量正则化器和Nesterov的加速梯度下降对偶优化器这三种成分进行了新的整合，所有这些都是实现更快收敛的关键。所提出的方法的有限时间误差界的特点。尽管非凹约束的非凹目标的挑战，所提出的方法收敛到全局最优值的最优性差距和约束违反方面的$\tilde{\mathcal O}(1/ε)$的复杂性，这提高了现有的原始-对偶方法的复杂性的一个因素$\mathcal O(1/ε)$ \citep{ding2020natural,paternain2019constrained}。这是第一次证明非凹CMDP问题可以达到凸优化的$\mathcal O(1/ε)$的复杂性下界。我们的原始-对偶方法和非渐近分析对所使用的RL优化器是不可知的，因此对于实际应用更灵活。更一般地说，我们的方法也作为第一个算法，可证明加速约束非凸优化与零对偶间隙，利用几何形状，如梯度优势条件，现有的加速方法约束凸优化是不适用的。

2021-10-20cs.LGmath.OC

双模糊概率区间语言术语集及基于马尔可夫过程的动态模糊决策模型在多准则群体决策中的应用

Double Fuzzy Probabilistic Interval Linguistic Term Set and a Dynamic Fuzzy Decision Making Model based on Markov Process with tts Application in Multiple Criteria Group Decision Making

Stanford University（斯坦福大学）

针对概率语言术语缺陷及动态属性权重确定难问题，提出双模糊概率区间语言术语集概念，定义相关内容，开发模糊语言马尔可夫矩阵等，给出权重确定方法，并用金融风险投资案例说明其在多准则决策中的应用。

2026-07-07cs.AIcs.SYecon.GN

区块链系统中的性能评估、优化和动态决策：最新综述

Performance Evaluation, Optimization and Dynamic Decision in Blockchain Systems: A Recent Overview

Beijing University of Technology（北京工业大学）；Monash University（莫纳什大学）

随着区块链技术的快速发展以及各应用领域的融合，区块链系统的性能评估、性能优化和动态决策在区块链新技术的发展中发挥着越来越重要的作用。本文提供了这类研究的最新系统概述，特别是开发区块链系统的数学建模和基础理论。重要的例子包括（a）性能评估：马尔可夫过程、排队论、马尔可夫报酬过程、随机游动、流体和扩散近似以及鞅理论;（b）性能优化：线性规划、非线性规划、整数规划和多目标规划;（c）最优控制和动态决策：马尔可夫决策过程和随机最优控制;以及（d）人工智能：机器学习、深度强化学习和联邦学习。到目前为止，一些研究集中在这些研究领域。我们相信，本文所讨论的区块链系统的数学方法、算法和仿真的基础理论将有力地支持区块链技术的未来发展和不断创新。

2022-11-29cs.ITcs.LGcs.PF

更多相关论文收起更多论文

线性混合马尔可夫决策过程的近似极小极大最优强化学习

Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes

University of California, Los Angeles（加州大学洛杉矶分校）；Deepmind（深度思维）；University of Alberta（阿尔伯塔大学）

我们研究了具有线性函数近似的强化学习（RL），其中马尔可夫决策过程（MDP）的潜在转移概率核是线性混合模型（Jia et al.，2020; Ayoub等人，2020; Zhou等人，2020），并且学习代理可以访问各个基核的积分或采样预言。本文对带有界噪声的线性Bandit问题的自正规鞅提出了一个新的Bernstein型集中不等式。基于新的不等式，我们提出了一个新的，计算效率高的算法命名为$\text{UCRL-VTR}^{+}$的线性函数逼近上述线性混合MDP在情节未贴现设置。我们发现，$\text{UCRL-VTR}^{+}$达到了$\tilde O(dH\sqrt{T})$遗憾，其中$d$是特征映射的维度，$H$是情节的长度和$T$是与MDP的交互次数。我们还证明了一个匹配的下限$Ω(dH\sqrt{T})$为这个设置，这表明，$\text{UCRL-VTR}^{+}$是最小最大最优的对数因子。此外，我们提出了$\text{UCLK}^{+}$算法的同一家庭的MDP下折扣，并表明它达到了$\tilde O(d\sqrt{T}/(1-γ)^{1.5})$遗憾，其中$γ\in [0,1)$是折扣因子。我们的上限与Zhou等人（2020）证明的下限$Ω(d\sqrt{T}/(1-γ)^{1.5})$匹配，达到对数因子，表明$\text{UCLK}^{+}$几乎是最小最大最优的。据…

2021-01-07cs.LGmath.OCstat.ML