Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs
Department of Computer Science（计算机科学系）；University of New Hampshire（新罕布什尔大学）
在强化学习中，鲁棒MDP（RMDP）可用于计算具有可证明的最坏情况保证的策略。RMDP解决方案的质量和鲁棒性由模糊集-合理转移概率集-决定，模糊集通常构造为多维置信区域。现有的方法构造模糊集的置信区域使用浓度不等式，导致过于保守的解决方案。本文提出了一种新的范例，可以实现更好的解决方案，具有相同的鲁棒性保证，而不使用置信区域作为模糊集。为了结合先验知识，我们的算法使用贝叶斯推理优化歧义集的大小和位置。我们的理论分析表明，所提出的方法的安全性，和实证结果表明其实际的承诺。
2019-02-20 cs.LG stat.ML
Tight Bayesian Ambiguity Sets for Robust MDPs
University of New Hampshire（新罕布什尔大学）
鲁棒性对于具有不确定概率参数的随机动态环境中的序贯决策非常重要。我们解决的问题，使用强大的MDP（RMDPs）计算政策与可证明的最坏情况下的保证强化学习。RMDP解的质量和鲁棒性由其模糊集决定。现有的方法构造模糊集，导致不切实际的保守的解决方案。在本文中，我们提出了RSVF，它实现了保守性较低的解决方案，具有相同的最坏情况下的保证，1）利用贝叶斯先验，2）优化的大小和位置的模糊集，最重要的是，3）放松的要求，该集是一个置信区间。我们的理论分析表明了RSVF的安全性，实验结果证明了它的实用前景。
2018-11-15 cs.LG stat.ML
Optimizing Norm-Bounded Weighted Ambiguity Sets for Robust MDPs
University of New Hampshire（新罕布什尔大学）
马尔可夫决策过程（MDP）中的最优策略对模型误设定非常敏感。这引起了人们对在高风险领域部署它们的严重担忧。鲁棒MDP（RMDP）提供了一个很有前途的框架，以减轻脆弱性的最坏情况下保证强化学习计算政策。RMDP的解质量取决于模糊度集，模糊度集是模型不确定性的量化。在本文中，我们提出了一种新的方法来优化形状的模糊集RMDPs。我们的方法偏离了传统的想法，构造一个范数有界的均匀和对称的模糊集。相反，我们认为，一个接近最佳的模糊集的结构是特定的问题。我们所提出的方法从价值函数计算权重参数，然后这些权重驱动模糊集的形状。我们的理论分析证明了所提出的想法的基本原理。我们将我们的方法应用到几个不同的问题域，实证结果进一步提供了加权近优模糊集的实际承诺。
2019-12-04 cs.AI cs.LG stat.ML
Optimizing Percentile Criterion Using Robust MDPs
University of New Hampshire（新罕布什尔大学）；City University of Hong Kong（香港城市大学）
我们解决了在有限数据的强化学习问题中计算可靠策略的问题。特别是，我们计算的政策，实现良好的回报与高信心时部署。这个目标称为\emph{percentile criterion}，可以使用Robust MDP ~（RMDP）进行优化。RMDPs将MDPs推广到允许从给定的模糊集中逆向选择不确定的转移概率。我们发现，RMDP解决方案的次优性取决于沿价值函数的模糊集的跨度。然后，我们提出了新的算法，最大限度地减少由加权$L_1$和$L_\infty$规范定义的模糊集的跨度。我们的主要重点是贝叶斯保证，但我们也描述了我们的方法如何适用于频率论的保证，并获得新的浓度不等式加权$L_1$和$L_\infty$规范。实验结果表明，我们优化的模糊集显着提高了以前的建设方法。
2021-02-25 cs.AI cs.LG stat.ML
Recursive Entropic Risk Optimization in Discounted MDPs: Sample Complexity Bounds with a Generative Model
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本文研究了在有限折扣马尔可夫决策过程（MDP）中使用递归熵风险度量（ERM）进行风险敏感强化学习的问题，引入了基于模型的算法Model-Based ERM Q-Value Iteration（MB-RS-QVI），并推导了该算法在价值学习和策略学习中的PAC型样本复杂性界，证明了在最坏情况下样本复杂性与|β|/(1-γ)呈指数关系，为递归ERM在风险规避和风险寻求情形下的样本复杂性提供了首次严格保证。
2026-05-18 cs.AI cs.LG math.OC
Risk-Averse Total-Reward Reinforcement Learning
Department of Computer Science University of New Hampshire（计算机科学系新罕布什尔大学）；Department of Computing & Mathematical Sciences California Institute of Technology（计算与数学科学系加州理工学院）；Tencent AI Lab（腾讯AI实验室）
本文提出一种基于Q-learning的算法，用于求解风险厌恶总奖励MDP中的ERM和EVaR目标，利用ERM的动态一致性和可elicitation性质，实现强收敛保证，并在表格域上验证了快速可靠的收敛性。
2025-10-23 cs.LG
Non-Rectangular Average-Reward Robust MDPs: Optimal Policies and Their Transient Values
本文研究了非矩形鲁棒MDPs的最优策略及其瞬时值，提出了一种基于周期的策略，结合最优平稳策略与在线学习回退机制，实现常数阶瞬时值。
2026-03-10 cs.LG math.OC stat.ML
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Efficient Duple Perturbation Robustness in Low-rank MDPs
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）；Georgia Institute of Technology（佐治亚理工学院）
针对现有强化学习鲁棒方法效率不足的问题，本文提出低秩MDP下基于$(ξ,η)$-歧义集的双重扰动鲁棒性框架，适配大规模状态动作空间，且配套算法兼具理论收敛保证与实验效率支撑。
2024-04-11 cs.LG math.OC
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity
提出一种基于状态增强的静态 CVaR 目标新公式，通过奖励再分配得到稠密奖励和压缩 Bellman 算子，并开发风险厌恶值迭代和无模型 Q 学习算法，具有收敛保证和离散化误差界。
2026-07-01 cs.AI cs.LG
Non-Stationary Markov Decision Processes, a Worst-Case Approach using Model-Based Reinforcement Learning, Extended version
Université de Toulouse（图卢兹大学）；ONERA - The French Aerospace Lab（法国航空航天实验室（ONERA））；ISAE-SUPAERO（法国高等航空航天学院）
研究了非平稳随机环境下的鲁棒zero-shot规划问题。我们研究马尔可夫决策过程（MDP）随着时间的推移而演变，并考虑在此设置中的基于模型的强化学习算法。我们做两个假设：1）环境以有界的演化速率连续演化; 2）当前模型在每个决策时期是已知的，但不是其演化。我们的贡献可以从四个方面来阐述。1)我们定义了一种特定的MDP类，我们称之为非稳态MDP（NSMDP）。我们引入的概念，定期演变的Lipschitz连续性的过渡和奖励功能w.r.t.的假设。时间; 2）我们考虑使用环境的当前模型但不知道其未来演变的规划代理。这使我们考虑一个最坏的情况下的方法，环境被视为一个敌对的代理; 3）按照这种方法，我们提出了风险规避树搜索（RATS）算法，一个zero-shot基于模型的方法类似于极小极大搜索; 4）我们说明了RATS经验带来的好处，并比较其性能与参考基于模型的算法。
2020-01-15 cs.LG stat.ML
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
实践中的许多强化学习（RL）问题都是离线的，纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的，这需要量化与不同行为相关的风险。在在线设置中，分布式RL算法通过学习收益分布（即，累积回报）而不是预期回报;除了量化风险之外，他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评（CODAC），一个离线RL算法，适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明，CODAC学习保守的回报分布-特别是，对于有限的MDPs，CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中，在两个具有挑战性的机器人导航任务，CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外，在预期和风险敏感性能方面，CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
First-order Policy Optimization for Robust Policy Evaluation
Georgia Institute of Technology（佐治亚理工学院）
针对鲁棒马尔可夫决策过程的策略评估问题，提出首个统一框架一阶策略评估（FRPE），支持离线与在线环境及通用函数逼近，并证明了其线性收敛性与样本复杂度。
2023-07-29 cs.LG math.OC
Policy Gradient Bayesian Robust Optimization for Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；University of New Hampshire（新罕布什尔大学）
在许多现实世界的问题中，很难指定奖励，这导致人们越来越关注从人类反馈（如演示）中学习奖励。然而，通常有许多不同的奖励函数来解释人类反馈，这使得代理人不确定真正的奖励函数是什么。虽然大多数策略优化方法通过优化预期性能来处理这种不确定性，但许多应用程序需要规避风险的行为。我们推导出一种新的策略梯度式的鲁棒优化方法，PG-BROIL，优化了软鲁棒目标，平衡预期的性能和风险。据我们所知，PG-BROIL是第一个对奖励假设分布具有鲁棒性的策略优化算法，该算法可以扩展到连续的MDP。结果表明，PG-BROIL可以产生一个家庭的行为，从风险中性到风险厌恶，并优于国家的最先进的模仿学习算法时，从模糊的示范对冲不确定性，而不是寻求唯一识别演示的奖励功能。
2021-06-21 cs.AI cs.LG
Data-driven robust Markov decision processes on Borel spaces: performance guarantees via an axiomatic approach
本文提出了一种数据驱动的鲁棒马尔可夫决策过程方法，通过公理化方法在博雷尔空间上提供性能保证，建立了鲁棒最优值函数与样本外值函数的收敛性及概率收敛速率。
2026-03-09 cs.LG math.OC stat.ML
Robust Risk-Sensitive Reinforcement Learning with Conditional Value-at-Risk
University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究RMDP下基于CVaR的风险敏感强化学习的鲁棒性，建立鲁棒性与风险敏感性的联系，并针对状态-动作依赖模糊集提出新风险度量NCVaR及值迭代算法，通过仿真实验验证其有效性。
2024-05-02 cs.LG math.OC stat.ML
RAPTOR: End-to-end Risk-Aware MDP Planning and Policy Learning by Backpropagation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
规划为在复杂环境中优化顺序决策提供了一个框架。最近在确定性或随机性高维域中的有效规划方面取得的进展，具有连续的动作空间，通过环境模型利用反向传播来直接优化动作。然而，现有的方法通常不考虑风险时，优化随机域，这可以有效地纳入MDP通过优化熵效用的回报。我们通过使用PyTorch（RAPTOR）引入风险感知规划来弥合这一差距，PyTorch是一种通过熵效用目标的端到端优化进行风险敏感规划的新框架。我们的方法的一个关键技术难点在于，由于环境随机性的存在，直接优化的熵效用的反向传播是不可能的。RAPTOR的新颖之处在于状态分布的重新参数化，这使得有可能通过从向前采样轨迹计算的熵效用的充分统计来应用随机反向传播。以端到端的方式直接优化这个经验目标被称为风险规避直线计划，它预先承诺一系列行动，并且在高度随机的领域中可能是次优的。我们通过在我们的框架中优化风险感知的深度反应策略（RaDRP）来解决这个缺点。我们评估和比较这两种形式的RAPTOR在三个高度随机域，包括非线性导航，HVAC控制，线性水库控制，展示了在复杂的MDP管理风险的能力。
2021-06-14 cs.LG
Online Learning Based Risk-Averse Stochastic MPC of Constrained Linear Uncertain Systems
College of Engineering, Cornell University（康奈尔大学工程学院）
研究了线性定常系统在加性随机干扰下的数据驱动随机模型预测控制（MPC）设计问题，该系统的概率分布未知，但可以部分地从数据中推断.我们提出了一种新的基于在线学习的风险规避随机MPC框架，其中要求对系统状态的条件风险价值（CVaR）约束保持一个家庭的分布称为模糊集。模糊集是从扰动数据构建的，利用狄利克雷过程混合模型，是自适应的底层数据结构和复杂性。具体地说，利用多模态的结构特性，使得每个混合分量的一阶和二阶矩信息被并入到模糊度集中。然后，一种新的约束收紧策略的基础上提出的模糊度集上的分布鲁棒CVaR约束的等价重构。随着控制器运行期间收集的数据越来越多，模糊度集使用实时扰动数据在线更新，这使得风险规避随机MPC能够应对时变扰动分布。所采用的在线变分推理算法不需要从头开始学习所有收集的数据，因此，建议MPC被赋予保证计算复杂性的在线学习。通过一个安全的更新方案，建立了建议MPC的递归可行性和闭环稳定性的保证。数值算例表明了该方法的有效性和优越性。
2020-11-20 cs.LG math.OC stat.ML
Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题，提出双环鲁棒策略镜像下降方法，具备全局最优收敛保证，适配多类空间设置，实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
Inverse Reward Design
University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute (ICSI)（国际计算机科学研究所）
自主智能体优化我们给它们的奖励函数。他们不知道的是，我们设计一个奖励函数来捕捉我们想要的东西有多难。在设计奖励时，我们可能会考虑一些特定的训练场景，并确保奖励将导致这些场景中的正确行为。代理不可避免地会遇到新的场景（例如，新类型的地形），其中优化相同的奖励可能导致不期望的行为。我们的观点是，奖励函数仅仅是对设计者实际想要什么的观察，它们应该在设计它们的上下文中被解释。我们引入逆奖励设计（IRD）作为基于设计的奖励和训练MDP推断真实目标的问题。我们引入近似方法来解决IRD问题，并使用它们的解决方案来计划测试MDP中的风险规避行为。实证结果表明，这种方法可以帮助减轻错误指定的奖励函数的负面影响，并减轻奖励投机。
2020-10-07 cs.AI cs.LG
Beyond Nominal Equilibria: Risk-Averse Multi-Population Mean-Field Games
Georgia Institute of Technology（佐治亚理工学院）
本文提出风险规避多群体平均场博弈范式，在模糊集上优化最坏情况奖励，证明均衡存在性与收缩性，并设计风险规避虚拟博弈方案，数值实验验证收敛性。
2026-10-08 cs.GT cs.LG cs.SY
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
Bosch Corporate Research（博世公司研究中心）；Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
针对基于模型的强化学习中价值后验方差过度近似导致探索低效的问题，提出收敛于真实方差的新型不确定性贝尔曼方程及近似方案，构建通用策略优化算法QU-SAC，经在线离线实验验证性能优于现有不确定性估计方法。
2024-09-17 cs.AI cs.LG
Wasserstein Distributionally Robust Online Learning
University of Michigan（密歇根大学）；Cornell University（康奈尔大学）
本文提出了一种基于Wasserstein分布鲁棒优化的在线学习框架，通过将问题建模为随机博弈并利用问题几何特性，实现对最坏情况分布的鲁棒优化，同时提高了计算效率。
2026-10-30 cs.LG math.OC stat.ML
Optimal Methods for Convex Risk Averse Distributed Optimization
Georgia Institute of Technology（佐治亚理工学院）
研究了网络上凸风险厌恶优化问题的通信复杂性。该问题是风险中性有限和分布式最优化问题的推广，其重要性源于在不确定环境中处理风险的需要。对于文献中的算法，在解决风险规避和风险中性问题的通信复杂性方面存在差距。我们提出了两个分布式算法，即分布式风险规避优化（DRAO）方法和分布式风险规避优化滑动（DRAO-S）方法，以缩小差距。具体而言，DRAO方法通过假设某个鞍点子问题可以在服务器节点中容易地求解来实现最优通信复杂度。DRAO-S方法通过引入一个新的鞍点滑动子程序消除了强假设，该子程序只需要在模糊度集$P$上的投影。我们观察到由DRAO-S执行的$P$ -投影的数量是最佳的。此外，我们开发了匹配的较低的复杂度界限，以显示两个DRAO和DRAO-S的通信复杂度是可以改进的。数值实验表明，令人鼓舞的DRAO-S方法的经验性能。
2023-03-07 cs.DC cs.LG math.OC
Online MDP with Transition Prototypes: A Robust Adaptive Approach
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；The University of Hong Kong（香港大学）
本文研究具有转移原型信息的在线鲁棒MDP，提出一种自适应模糊集算法，能在识别真实转移核的同时保证鲁棒策略性能，实现次线性遗憾界，并在数据有限时优于现有方法。
2024-12-19 cs.LG
AI Alignment with Changing and Influenceable Reward Functions
UC Berkeley（加州大学伯克利分校）
本文提出DR-MDPs以显式建模偏好变化及AI影响，发现静态偏好假设会损害对齐健全性，通过分析8种对齐概念表明不存在简单解决方案，强调需谨慎平衡风险与能力。
2024-05-28 cs.AI cs.LG
Uncertainty-Aware Generation and Decision-Making Under Ambiguity
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt（普遍知识处理实验室（UKP实验室），计算机科学系，达姆施塔特技术大学）；National Research Center for Applied Cybersecurity ATHENE, Germany（应用网络安全国家研究中心ATHENE，德国）
基于贝叶斯决策理论和风险规避决策，提出不确定性感知算法用于辅导和同行评审任务，通过共形预测提供策略和分数的保证，实验表明贝叶斯方法优于风险规避规则。
2026-06-29 cs.CL cs.LG
Data-Driven DRO and Economic Decision Theory: An Analytical Synthesis With Bayesian Nonparametric Advancements
本文提出一种融合数据驱动分布鲁棒优化与经济决策理论的统一框架，并利用贝叶斯非参数方法（如DP和HDP）构建新DRO模型，通过过滤异常观测提升预测准确性与稳定性。
2025-02-26 cs.LG stat.ML
Decision Making under Model Misspecification: DRO with Robust Bayesian Ambiguity Sets
University of Warwick（华威大学）
本文提出DRO-RoBAS方法，通过以鲁棒后验预测分布为中心的最大均值差异模糊集处理模型误设问题，在报童和投资组合问题上取得优于现有贝叶斯及经验DRO方法的样本外表现。
2025-05-06 cs.LG stat.ML
Beyond Bayes-optimality: meta-learning what you know you don't know
DeepMind（深度思维）；Stanford University（斯坦福大学）
具有记忆的元训练代理已被证明在贝叶斯最优代理中达到顶峰，贝叶斯最优代理将贝叶斯最优性视为数值优化问题的隐式解决方案，而不是显式建模假设。贝叶斯最优代理人是风险中性的，因为他们只调整到预期回报，和模糊中性，因为他们在新的情况下，如果不确定性是已知的。这与风险敏感代理相反，风险敏感代理还利用回报的高阶矩，而模糊敏感代理在识别他们缺乏知识的情况时采取不同的行动。众所周知，人类也不喜欢模糊性，对风险敏感，这不是贝叶斯最优的方式，这表明这种敏感性可以带来优势，特别是在安全关键的情况下。我们如何扩展元学习协议来生成风险和歧义敏感的代理？这项工作的目标是填补这一空白，在文献中显示，风险和歧义敏感性也出现的优化问题的结果，使用修改后的元训练算法，操纵经验生成过程的学习者。我们经验性地测试了我们提出的元训练算法对暴露于基础类决策实验的代理，并证明它们对风险和模糊性变得敏感。
2022-10-12 cs.AI cs.LG
Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文结合贝叶斯非参数与平滑模糊厌恶偏好，提出数据驱动的分布鲁棒优化准则，与岭回归和LASSO相关，具备统计保证和可处理近似，适用于多种任务。
2024-11-07 cs.LG stat.ML
