Policy Gradient for Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；NVIDIA Research（英伟达研究院）
针对矩形鲁棒 MDP，本文提出 RPG，通过最差占用测度闭式解与鲁棒 Q 值估计获得显式鲁棒梯度，并以非鲁棒方法相同的时间复杂度降低训练计算负担。
2023-12-11 cs.AI cs.LG
On the convex formulations of robust Markov decision processes
HEC Paris（巴黎高等商学院）；University of New Hampshire（新罕布什尔大学）
本研究首次提出经典矩形假设下鲁棒马尔可夫决策过程的凸优化形式，通过熵正则化与指数变量替换推导多项式规模的凸形式，并针对三类不确定集简化为锥规划，为该领域开辟新方向。
2023-12-13 cs.LG math.OC
Risk-Averse MDPs under Reward Ambiguity
City University of Hong Kong（香港城市大学）
本文提出了一个风险和报酬模糊条件下的分布鲁棒收益-风险马尔可夫决策过程模型。该模型优化了平均和百分位绩效的加权平均值，并将分布鲁棒MDP和分布鲁棒机会约束MDP（均在奖励模糊下）作为特例。通过考虑未知的奖励分布位于Wasserstein模糊集，我们得到了我们的模型的易处理的重新制定。特别是，我们表明，回报风险模型也可以考虑风险从不确定的过渡内核时，只寻求确定性的政策，和一个分布稳健的MDP下的百分位数准则可以重新制定为它的名义上的对应调整后的风险水平。设计了一个可扩展的一阶算法来求解大规模问题，并通过数值实验验证了所提模型和算法的优越性。
2023-01-04 cs.LG math.OC
Bayesian Ambiguity Contraction-based Adaptive Robust Markov Decision Processes for Adversarial Surveillance Missions
AIAA Student Member（AIAA 学生会员）；AIAA Member（AIAA 成员）
本文提出了一种基于贝叶斯模糊性收缩的自适应鲁棒马尔可夫决策过程框架，用于提高对抗性监视任务中的决策鲁棒性和安全性。
2026-10-23 cs.LG cs.SY eess.SY
Policy Gradient Algorithms for Robust MDPs with Non-Rectangular Uncertainty Sets
Risk Analytics and Optimization Chair, EPFL（洛桑联邦理工学院风险分析与优化教席）；Department of Economics, University of St.Gallen（圣加仑大学经济系）
针对非矩形不确定性集下难以动态规划求解的鲁棒无限时域 MDP，提出随机投影 Langevin、确定性策略梯度与 actor-critic 算法，并给出误差、复杂度及全局最优性保证。
2025-09-28 cs.LG math.OC
Set-based value operators for non-stationary Markovian environments
University of Washington（华盛顿大学）
本文通过将值算子提升到集合层面，提出基于集合的值算子框架，用更弱的包含条件推广矩形性条件，并证明相关压缩性、不动点极值性和集合收敛性，为参数不确定MDP和行星探索等路径规划问题提供新保证。
2023-08-08 cs.LG math.OC
Solving Non-Rectangular Reward-Robust MDPs via Frequency Regularization
Technion - Israel Institute of Technology（以色列理工学院）；NVIDIA Research（英伟达研究院）；IMT Atlantique（大西洋国立高等矿业电信学校）
研究耦合奖励RMDPs，通过策略访问频率正则化建立与非矩形奖励RMDPs的联系，提出收敛的策略梯度方法，实验证明其鲁棒性且行为更少保守。
2024-02-12 cs.LG
Robust Risk-Sensitive Reinforcement Learning with Conditional Value-at-Risk
University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究RMDP下基于CVaR的风险敏感强化学习的鲁棒性，建立鲁棒性与风险敏感性的联系，并针对状态-动作依赖模糊集提出新风险度量NCVaR及值迭代算法，通过仿真实验验证其有效性。
2024-05-02 cs.LG math.OC stat.ML
From Ambiguity to Action: A POMDP Perspective on Partial Multi-Label Ambiguity and Its Horizon-One Resolution
College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, China（教育部符号计算与知识工程重点实验室）
本文提出基于POMDP的框架，通过强化学习联合解决部分多标签学习中的标签消歧与特征选择问题，提升模型伪标签质量与特征可解释性。
2026-02-04 cs.LG
Rectangularity and duality of distributionally robust Markov Decision Processes
本文探讨了分布鲁棒马尔可夫决策过程的多种建模方法，重点阐明博弈形式与静态形式之间的联系，并揭示模糊集矩形性在其中的关键作用。
2024-05-05 math.OC
Optimizing Norm-Bounded Weighted Ambiguity Sets for Robust MDPs
University of New Hampshire（新罕布什尔大学）
马尔可夫决策过程（MDP）中的最优策略对模型误设定非常敏感。这引起了人们对在高风险领域部署它们的严重担忧。鲁棒MDP（RMDP）提供了一个很有前途的框架，以减轻脆弱性的最坏情况下保证强化学习计算政策。RMDP的解质量取决于模糊度集，模糊度集是模型不确定性的量化。在本文中，我们提出了一种新的方法来优化形状的模糊集RMDPs。我们的方法偏离了传统的想法，构造一个范数有界的均匀和对称的模糊集。相反，我们认为，一个接近最佳的模糊集的结构是特定的问题。我们所提出的方法从价值函数计算权重参数，然后这些权重驱动模糊集的形状。我们的理论分析证明了所提出的想法的基本原理。我们将我们的方法应用到几个不同的问题域，实证结果进一步提供了加权近优模糊集的实际承诺。
2019-12-04 cs.AI cs.LG stat.ML
Bellman Optimality of Average-Reward Robust Markov Decision Processes with a Constant Gain
本文研究了鲁棒马尔可夫决策过程中的平均奖励问题，通过分析常增益设置，探讨了鲁棒贝尔曼方程的解存在性及其与最优平均奖励的关系，为长期平均标准下的鲁棒动态决策提供了理论基础。
2026-10-21 cs.LG math.OC
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore（新加坡国立大学）
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法，证明了其收敛性，通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Scalable First-Order Methods for Robust MDPs
Columbia University（哥伦比亚大学）
鲁棒马尔可夫决策过程（MDP）是一个强大的框架建模的顺序决策问题的模型不确定性。本文提出了求解鲁棒MDP的第一个一阶框架。我们的算法交错原始-对偶一阶更新与近似值迭代更新。通过仔细控制值迭代更新的精度和成本之间的权衡，我们实现了遍历收敛速度$O \left( A^{2} S^{3}\log(S)\log(ε^{-1}) ε^{-1} \right)$的最佳选择的参数椭圆和Kullback-Leibler $s$ -矩形不确定性集，其中$S$和$A$是状态和动作的数量，分别。我们对状态和动作数量的依赖性比纯值迭代算法要好得多（好$O(A^{1.5}S^{1.5})$倍）。在椭圆体不确定性集的数值实验中，我们表明我们的算法比最先进的方法具有更高的可扩展性。我们的框架也是第一个解决强大的MDPs与$s$ -矩形KL不确定性集。
2021-01-14 cs.LG math.OC
Q-Learning under Finite Model Uncertainty
本文提出一种在有限模型不确定性下鲁棒的Q学习算法，通过有限模糊集实现灵活的不确定性建模，并推导了非渐近误差界，适用于更广泛的求解场景。
2026-11-06 cs.AI cs.LG math.OC
Linear Programming Representations and Strongly Polynomial Algorithms for Robust Markov Decision Processes
Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海数学与交叉学科研究院）；Stanford University（斯坦福大学）
本文提出鲁棒马尔可夫决策过程的线性规划表示，通过编码鲁棒策略迭代步骤构造单一LP，并给出强多项式算法及改进的复杂度界。
2026-10-02 cs.DS cs.LG math.OC
Learning Sequential Decisions from Multiple Sources via Group-Robust Markov Decision Processes
Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系）；Department of Neurology, University of Pittsburgh（匹兹堡大学神经病学系）；Department of Biostatistics, Harvard T.H. Chan School of Public Health（哈佛大学T.H. Chan公共卫生学院生物统计学系）；Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系）；Department of Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology（香港科学与技术大学工业工程与决策分析系）
本文提出了一种群鲁棒马尔可夫决策过程框架，通过特征层面的不确定性集和悲观价值迭代算法，从多地点异质数据中学习鲁棒的顺序决策策略。
2026-10-28 cs.LG math.OC stat.ME
Linear Mixture Distributionally Robust Markov Decision Processes
Duke University（杜克大学）
针对离动力学挑战，提出线性混合分布鲁棒MDP框架，基于混合权重参数定义不确定性集合，并给出鲁棒策略学习的元算法及其样本复杂度分析。
2025-05-23 cs.AI cs.LG cs.RO
Data-driven robust Markov decision processes on Borel spaces: performance guarantees via an axiomatic approach
本文提出了一种数据驱动的鲁棒马尔可夫决策过程方法，通过公理化方法在博雷尔空间上提供性能保证，建立了鲁棒最优值函数与样本外值函数的收敛性及概率收敛速率。
2026-03-09 cs.LG math.OC stat.ML
Decision-Dependent Distributionally Robust Markov Decision Process Method in Dynamic Epidemic Control
University of Washington（华盛顿大学）
本文提出决策依赖分布鲁棒马尔可夫决策过程（DRMDP）框架及实时动态规划算法，解决动态疫情控制中的不确定性问题，以更低成本降低感染与易感比例。
2023-06-24 cs.AI cs.LG math.OC
Markov Decision Processes under Model Uncertainty
NTU Singapore（新加坡南洋理工大学）；National University of Singapore（新加坡国立大学）
我们介绍了一个一般框架下的离散时间无限时域设置模型不确定性马尔可夫判定问题。通过提供动态规划原理，我们获得局部到全局范例，即求解局部，即，一个时间步长鲁棒最优化问题导致全局（即无限时间步长）鲁棒随机最优控制问题的优化器以及相应的最坏情况测量。此外，我们将此框架应用到涉及标准普尔500指数数据的投资组合优化。我们提出了两种不同类型的模糊集，一个是完全数据驱动的Wasserstein-ball周围的经验措施，第二个是由一个参数集的多元正态分布，其中相应的不确定性集的参数估计的数据。事实证明，在市场波动或看跌的情况下，相应的鲁棒最优化问题的最优投资组合策略优于没有模型不确定性的投资组合策略，这表明了考虑模型不确定性的重要性。
2023-01-05 cs.LG math.OC math.PR
First-order Policy Optimization for Robust Markov Decision Process
Georgia Institute of Technology（佐治亚理工学院）
该研究针对鲁棒马尔可夫决策过程问题，提出鲁棒策略镜像下降（RPMD）及其随机变体SRPMD，证明了二者的迭代与样本复杂度，为该领域基于策略的一阶方法提供了全新结果。
2023-06-10 cs.AI cs.LG math.OC
Robust Entropy-regularized Markov Decision Processes
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
由熵正则化马尔可夫决策过程（ER-MDP）产生的随机和软最优策略对于探索和模仿学习应用是理想的。出于这样一个事实，即这些政策是敏感的状态转移概率，这些概率的估计可能是不准确的，我们研究了一个强大的版本的ER-MDP模型，其中随机最优的政策是需要强大的模糊性，在底层的转移概率。我们的工作是在强化学习（RL）的两个重要计划，即鲁棒MDP和熵正则化MDP的十字路口。我们发现，在我们的设置中，非鲁棒ER-MDP和鲁棒非正则化MDP模型的基本属性也成立，使得鲁棒ER-MDP问题易于处理。我们展示了我们的框架和结果如何可以集成到不同的算法方案，包括价值或（修改）的政策迭代，这将导致新的强大的RL和逆RL算法来处理不确定性。分析了传统不确定度设置下的计算复杂性和误差传播。
2021-12-31 cs.AI cs.LG
Vector Bellman Theory for Multichain Robust Average-Reward Markov Decision Processes
University of Central Florida（中佛罗里达大学）
本文提出多链鲁棒平均奖励MDP的向量贝尔曼理论，通过增益-偏差系统求解状态依赖的最优鲁棒奖励，并设计近似移位Halpern算法实现有限收敛。
2026-09-25 cs.LG
Dynamic Programming-Compatible Uncertainty Sets in Robust Markov Decision Processes
Ecole des Hautes Etudes Commerciales de Paris（巴黎高等商学院）；Hong Kong University of Science and Technology（香港科技大学）；University of Southern California（南加州大学）
本文研究鲁棒马尔可夫决策过程中不确定性集合与动态规划的兼容性，证明仅s-矩形和sa-矩形集合完全兼容，并揭示非矩形模型的等价性限制，提出同步可解性属性统一分析框架。
2026-09-22 math.OC
Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究针对平均报酬准则下的分布鲁棒马尔可夫决策过程，推导了极小极大最优样本复杂度界，并提出两种插件约简学习程序以实现该复杂度。
2026-08-10 cs.LG math.OC stat.ML
Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题，提出双环鲁棒策略镜像下降方法，具备全局最优收敛保证，适配多类空间设置，实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
Markov Decision Processes under Ambiguity
我们考虑统计马尔可夫决策过程中的决策者是风险厌恶对模型的模糊性。后者由影响过渡律和费用函数的未知参数给出。风险厌恶可以通过熵风险度量或平均风险值来衡量。我们展示了如何使用一般的极小极大定理来解决这类问题。在一些连续性和紧凑性的假设下，我们证明了最优（确定性）政策的存在性，并讨论其计算。我们用一个统计决策论的例子来说明我们的结果。
2019-07-04 math.OC math.ST stat.TH
Robust Markov Decision Process: Beyond Rectangularity
我们考虑了一种鲁棒的方法来解决马尔可夫决策过程（MDP）中模型参数的不确定性，MDP在许多应用中被广泛用于建模动态最优化。大多数以前的作品考虑的情况下，与不同状态相关的过渡的不确定性是解耦的，对手被允许选择最坏的可能实现的每个状态无关的其他，可能导致高度保守的解决方案。另一方面，一般的不确定性集的情况下，已知是棘手的。我们考虑了一个概率转移的因子模型，其中转移概率是一个不确定的因子矩阵的线性函数，属于一个因子矩阵不确定集。这是一个相当普遍的概率转换不确定性模型，允许决策者对不同状态之间的概率转换之间的依赖性进行建模，并且比以前的方法保守性要小得多。我们表明，在一个基本的矩形假设下，我们可以有效地计算下的因子矩阵不确定性模型的最优鲁棒策略。此外，我们表明，有一个最佳的鲁棒性政策，是确定性的，这是从可解释性的角度来看，感兴趣的。我们还介绍了经典MDP的重要结构性结果，包括最大值原理和Blackwell最优性的鲁棒对应，我们提供了一个计算研究，以证明我们的方法在减轻稳健政策的保守性的有效性。
2021-09-01 math.OC
Distributionally Robust Partially Observable Markov Decision Process with Moment-based Ambiguity
我们考虑一个分布鲁棒的部分可观测马尔可夫决策过程（DR-POMDP），其中的转移观测概率的分布是未知的，在每个决策周期的开始，但它们的实现可以推断出使用边信息在每个周期结束后采取的行动。我们建立了一个模糊集的联合分布使用有界矩通过圆锥约束，并寻求一个最佳的政策，以最大化最坏情况下（最小）的奖励在集合中的任何分布。我们证明了DR-POMDP的价值函数是分段线性凸的信念状态，并提出了一种启发式的搜索值迭代法，以获得下，上界的价值函数。我们进行数值研究，并证明我们的方法通过测试的动态流行病控制问题的实例的计算性能。我们的研究结果表明，DR-POMDP可以产生更强大的政策下错误指定的转移观察概率的分布相比，POMDP，但成本较低的解决方案比强大的POMDP。DR-POMDP策略对模糊度集中的变化参数和在每个决策周期结束时获得的真实过渡观测概率值中添加的噪声也不敏感。
2020-12-08 math.OC
Group Distributionally Robust Reinforcement Learning with Hierarchical Latent Variables
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多任务强化学习（RL）在实践中的一个关键挑战是缺乏任务指标。鲁棒强化学习已被应用于处理任务模糊性，但可能会导致过于保守的政策。为了平衡最坏情况下（鲁棒性）和平均性能，我们提出了组分布鲁棒马尔可夫决策过程（GDR-MDP），一个灵活的分层MDP配方，通过潜在的混合模型编码任务组。GDR-MDP确定的最优策略，最大化的期望回报下的最坏可能的合格的信念在任务组内的模糊集。我们严格地表明，GDR-MDP的层次结构，提高了分布的鲁棒性，通过增加正则化的最坏的可能的结果。然后，我们为基于值和基于策略的RL方法开发了GDR-MDP的深度RL算法。在Box 2D控制任务、MuJoCo基准测试和Google足球平台上进行的大量实验表明，我们的算法在信念不确定性下的鲁棒性方面优于经典的鲁棒训练算法。演示可在我们的项目页面（\url{https://sites.google.com/view/gdr-rl/home}）上获得。
2022-10-21 cs.LG
Efficient Duple Perturbation Robustness in Low-rank MDPs
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）；Georgia Institute of Technology（佐治亚理工学院）
针对现有强化学习鲁棒方法效率不足的问题，本文提出低秩MDP下基于$(ξ,η)$-歧义集的双重扰动鲁棒性框架，适配大规模状态动作空间，且配套算法兼具理论收敛保证与实验效率支撑。
2024-04-11 cs.LG math.OC
Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation
Cornell University（康奈尔大学）；University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）
针对分布偏移下的鲁棒强化学习，提出DR-RPO算法，结合参考策略正则化与线性函数逼近，实现次线性遗憾和样本效率，理论与实证验证其鲁棒性。
2025-10-16 cs.AI cs.LG stat.ML
Sample Complexity of Variance-reduced Distributionally Robust Q-learning
Stanford University（斯坦福大学）；New York University（纽约大学）
本文提出分布鲁棒Q学习及其方差缩减版本，用于在分布偏移下学习鲁棒策略，并首次证明其样本复杂度上界与模糊集大小无关，为鲁棒强化学习提供了新的理论保证。
2024-09-04 cs.LG math.OC stat.ML
Distributionally Robust Online Markov Game with Linear Function Approximation
Zewu Zheng, Yuanyuan Lin（作者）
针对强化学习中仿真到现实差距问题，提出分布鲁棒在线马尔可夫博弈算法DR-CCE-LSI，通过d-矩形性假设和最小值假设解决学习难度，实现ε-近似鲁棒CCE，样本效率达极小极大最优并经仿真验证。
2025-11-11 cs.LG stat.ML
Beyond discounted returns: Robust Markov decision processes with average and Blackwell optimality
本文研究折扣回报之外的鲁棒马尔可夫决策过程，证明sa-矩形与s-矩形RMDP在平均最优性、Blackwell最优性上的差异结论，给出策略存在性条件与计算算法，凸显sa-矩形模型的实用优势。
2025-01-14 cs.GT math.OC
Policy Gradient Learning for Distributionally Robust Markov Decision Processes under Wasserstein Ambiguity
École Polytechnique（巴黎综合理工学院）；CMAP（应用数学中心）；School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
针对转移核分布不确定的有限时域MDP，提出基于Wasserstein距离的分布鲁棒策略梯度框架，通过鲁棒Bellman递归的Wasserstein对偶重构和方向可微性分析，推导鲁棒策略梯度显式递归形式，并设计鲁棒演员-评论家算法。
2026-07-22 math.OC
On the Foundation of Distributionally Robust Reinforcement Learning
Department of Industrial and Systems Engineering, University of Southern California（工业与系统工程系，南加州大学）；Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology（工业工程与决策分析，香港科技大学）；Management Science and Engineering, Stanford University（管理科学与工程，斯坦福大学）；Stern School of Business, New York University（斯特恩商学院，纽约大学）
针对训练与部署环境变化下的鲁棒策略需求，本文构建含决策者与对手多属性的RMDP框架，研究DPP存在性并给出反例与渐近最优策略，完善DRRL理论基础。
2025-08-24 cs.LG cs.SY eess.SY
Bounding the Difference between the Values of Robust and Non-Robust Markov Decision Problems
本文推导出分布鲁棒与非鲁棒马尔可夫决策问题值函数差异的上界，证明该上界与维度无关且线性依赖于Wasserstein球半径。
2024-05-05 math.OC math.PR
Safe Wasserstein Constrained Deep Q-Learning
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种分布式鲁棒Q-学习算法（DrQ），它利用Wasserstein模糊集在在线学习过程中提供理想的概率样本外安全保证。首先，我们遵循过去的工作，通过分离的约束功能的主要目标，以创建一个层次的机器，估计可行的状态动作空间内的约束马尔可夫决策过程（CMDP）。DrQ的工作原理在这个框架内，通过Wasserstein分布鲁棒优化（DRO）获得的收紧补偿变量增加约束成本。这些偏移变量对应于由约束Q函数的TD误差表征的建模误差的最坏情况分布。这个过程使我们能够安全地接近名义约束边界。我们使用锂离子电池快速充电的案例研究，探索理想的安全保证如何转化为相对于传统方法的普遍提高的安全性。
2021-10-25 cs.LG stat.ML
Online MDP with Transition Prototypes: A Robust Adaptive Approach
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；The University of Hong Kong（香港大学）
本文研究具有转移原型信息的在线鲁棒MDP，提出一种自适应模糊集算法，能在识别真实转移核的同时保证鲁棒策略性能，实现次线性遗憾界，并在数据有限时优于现有方法。
2024-12-19 cs.LG
Sequential Decision-Making under Uncertainty: A Robust MDPs review
本文系统综述了鲁棒马尔可夫决策过程的理论基础与最新进展，重点分析模糊性建模中的矩形假设及其放宽方法，并展望了面向运营管理的建模与快速鲁棒强化学习算法等未来方向。
2025-07-04 math.OC
Robust Markov Decision Processes on Continuous State Spaces
EPFL（洛桑联邦理工学院）；Rutgers University（罗格斯大学）；Texas A&M University（德克萨斯农工大学）
针对连续状态空间上的鲁棒马尔可夫决策过程，提出结构化矩形模糊集，利用动态规划引入随机一阶方法进行鲁棒策略评估，并证明其高概率收敛和样本复杂度，进而通过近似策略迭代得到ε-最优策略。
2026-05-27 math.OC
Computational Hardness of Static Distributionally Robust Markov Decision Processes
Texas A&M University（德州农工大学）
研究静态分布鲁棒马尔可夫决策过程最优策略的计算难度，证明在马尔可夫非随机策略下求解最优策略是NP难的，且在马尔可夫随机策略下最优策略也存在NP难问题。
2026-05-07 math.OC
Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本文通过构造两种线性滤波器，从理论上证明了线性循环神经网络在部分可观测强化学习中作为记忆单元的有效性，并扩展到动作控制的隐马尔可夫模型。
2026-05-29 cs.AI cs.LG stat.ML
Learning Optimal Distributionally Robust Stochastic Control in Continuous State Spaces
Department of Industrial and Systems Engineering（工业与系统工程系）；USC（南加州大学）；Management Science and Engineering（管理科学与工程）；Stanford University（斯坦福大学）；Department of Industrial Engineering and Decision Analytics（工业工程与决策分析系）；HKUST（香港科技大学）；Stern School of Business（Stern 商学院）
针对连续状态动作空间无限时域系统中传统马尔可夫控制策略易受扰动的问题，提出分布鲁棒随机控制范式，分析两类对抗模型，刻画有限样本极小极大速率，设计深度强化学习类求解算法并验证其管理场景适用性。
2025-11-15 cs.LG stat.ML
Distributionally robust chance constrained Markov decision process with Kullback-Leibler divergence
本文研究具有随机回报和模糊分布的分布鲁棒机会约束马尔可夫决策过程，基于Kullback-Leibler散度模糊集推导了个体约束的易处理重构，并为联合约束设计了序列凸逼近与线搜索的混合算法，通过机器更换问题验证了有效性。
2023-07-29 math.OC
Robust Markov decision processes under parametric transition distributions
研究了参数转移分布下的鲁棒马尔可夫决策过程。我们假设真实的过渡分布是由某些参数分布唯一指定的，并明确要求模型的最差情况分布是由同一参数族中的分布唯一指定的。在制定参数鲁棒模型，我们专注于开发算法进行强大的贝尔曼更新完成强大的价值迭代。我们首先制定的更新作为一个线性规划离散的模糊集。由于这个模型的规模与问题的大小，需要大量的预计算差，我们开发了两个额外的算法来解决强大的贝尔曼更新。首先，我们提出了一个切割面算法，在较短的时间内解决这个线性规划。该算法需要相同的预计算，但仅在模糊度集的小子集上求解线性规划。其次，我们提出了一种新的基于投影的二分法搜索算法，完全消除了离散化的需要，不需要任何预先计算。我们在二项和泊松需求下的动态多周期报童问题上广泛测试了我们的算法。此外，我们比较了我们的方法与非参数的φ-散度为基础的方法从文献中。我们表明，我们的基于投影的算法完成强大的值迭代显着快于我们的其他两个参数算法，也快于其非参数等价。
2022-11-23 math.OC
History-Dependent Recursive Preferences in Markov Decision Processes
研究有限时域动态规划中依赖历史偏好的马尔可夫决策过程，通过行为公理等得出规范PA状态及递归表示，在一定条件下诱导最优策略，附加条件可重新参数化偏好记忆，给出示例分类说明框架范围。
2026-07-21 math.OC
Learning-Based Distributionally Robust Model Predictive Control of Markovian Switching Systems with Guaranteed Stability and Recursive Feasibility
针对切换概率未知的机会约束马尔可夫切换系统，提出了一种数据驱动的模型预测控制方法。利用马尔可夫链的样本，估计转移概率的模糊集，其中包括具有高概率的真实条件概率分布。这些集在线更新，并用于制定一个随时间变化的，规避风险的最优控制问题。我们证明了所得到的MPC计划的递归可行性，并表明，原来的机会约束仍然满足在每个时间步。此外，我们表明，充分降低的置信水平下，由此产生的MPC计划使闭环系统的均方稳定的真实，但未知的分布，同时保持保守性比一个完全强大的方法。
2020-10-01 cs.SY eess.SY math.OC
Bayesian Distributionally Robust Merton Problem with Nonlinear Wasserstein Projections
Stanford University（斯坦福大学）；New York University（纽约大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文提出了一种基于贝叶斯分布鲁棒方法的梅顿问题，通过非线性瓦瑟斯坦投影优化，减少悲观性并提升频繁再平衡下的投资绩效。
2026-08-17 math.OC math.PR math.ST
A General Framework for Learning-Based Distributionally Robust MPC of Markov Jump Systems
针对切换概率未知的机会约束马尔可夫跳变系统，提出了一种学习模型预测控制（MPC）方案。利用马尔可夫链的样本，估计转移概率的模糊集，其中包括具有高概率的真实条件概率分布。这些集在线更新，并用于制定一个随时间变化的，规避风险的最优控制问题。我们证明了所得到的MPC计划的递归可行性，并表明，原来的机会约束仍然满足在每个时间步。此外，我们表明，充分降低的置信水平下，由此产生的MPC计划使闭环系统的均方稳定的真实，但未知的分布，同时保持保守性比一个完全强大的方法。最后，我们证明了学习MPC的值函数从上面收敛到其标称对应的样本量增长到无穷大。我们说明我们的方法上的一个数值例子。
2023-01-05 cs.SY eess.SY math.OC
Singular Control in Inventory Management with Smooth Ambiguity
本文研究平滑模糊偏好下的库存奇异控制，通过正倒向随机微分方程、黏性变分不等式和坐标变换刻画最优策略，并用 Markov 链近似揭示模糊性会缩小延续区域。
2025-05-12 math.OC math.PR q-fin.RM
