Beyond CVaR: Leveraging Static Spectral Risk Measures for Enhanced Decision-Making in Distributional Reinforcement Learning
Department of Mathematics and Statistics, York University, Toronto, Canada（数学与统计学系，约克大学，多伦多，加拿大）
本文提出了一种具有收敛保证的DRL算法，优化更广泛的静态谱风险度量，提升决策质量并优于现有方法。
2025-05-16 cs.LG stat.ML
ClauseLens: Clause-Grounded, CVaR-Constrained Reinforcement Learning for Trustworthy Reinsurance Pricing
Department of Applied Mathematics, University of California, Davis, CA, USA（加州大学戴维斯分校应用数学系）；Wharton School of Business, University of Pennsylvania, Philadelphia, PA, USA（宾夕法尼亚大学沃顿商学院）
ClauseLens通过将法律条款嵌入强化学习的决策与解释路径，实现透明合规的再保险定价，显著降低偿付风险并提升可审计性。
2025-10-09 cs.AI cs.LG stat.ML
Robust Risk-Sensitive Reinforcement Learning with Conditional Value-at-Risk
University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究RMDP下基于CVaR的风险敏感强化学习的鲁棒性，建立鲁棒性与风险敏感性的联系，并针对状态-动作依赖模糊集提出新风险度量NCVaR及值迭代算法，通过仿真实验验证其有效性。
2024-05-02 cs.LG math.OC stat.ML
Regret Bounds for Risk-Sensitive Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
在强化学习的安全关键应用中，例如医疗保健和机器人技术，通常需要优化考虑尾部结果而不是预期回报的风险敏感目标。我们证明了强化学习的第一遗憾界下的一般类风险敏感的目标，包括流行的CVaR目标。我们的理论是基于一个新的特征的CVaR目标，以及一个新的乐观的MDP建设。
2022-10-11 cs.LG
Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency
Cornell University（康奈尔大学）；The University of Tokyo（东京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提供了一个理论表征的政策外评估（OPE）在强化学习中使用函数近似的边际重要性权重和$q$ -功能时，这些估计使用最近的极大极小方法。根据各种组合的可实现性和完整性的假设，我们表明，极大极小的方法使我们能够实现快速的收敛速度的权重和质量函数，其特征在于由临界不等式\citep{bartlett2005}。基于这个结果，我们分析了OPE的收敛速度。特别是，我们引入了新的替代完整性条件，在此条件下OPE是可行的，我们提出了第一个有限样本结果，在非表格环境中具有一阶效率，即，在首项中具有最小系数。
2022-07-24 cs.LG math.ST stat.ML
RMIX: Learning Risk-Sensitive Policies for Cooperative Reinforcement Learning Agents
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系）
当前基于值的多智能体强化学习方法通过分散执行的集中式训练（CTDE）来优化个体Q值以指导个体的行为。然而，这种预期，即，风险中性，由于激励的随机性和环境的不确定性，即使使用CTDE，Q值也不够，这导致这些方法无法在复杂环境中训练协调Agent的训练。为了解决这些问题，我们提出了RMIX，一种新的合作MARL方法与条件风险价值（CVaR）的措施，个人的Q值的学习分布。具体来说，我们首先学习个人的回报分布，以分析计算分散执行的CVaR。然后，为了处理在执行过程中的随机结果的时间性质，我们提出了一个动态的风险水平预测器的风险水平调整。最后，我们优化了CVaR策略，CVaR值用于在集中训练期间估计TD误差中的目标，CVaR值用作辅助局部奖励，通过分位数回归损失来更新局部分布。经验上，我们表明，我们的方法显着优于国家的最先进的方法，具有挑战性的星际争霸II的任务，表现出增强的协调和提高样本效率。
2021-03-22 cs.LG cs.MA
Near-Optimal Sample Complexity for Iterated CVaR Reinforcement Learning with a Generative Model
Arizona State University（亚利桑那州立大学）；Air Force Research Laboratory（空军研究实验室）
本研究探讨带生成式模型的迭代CVaR风险敏感强化学习的样本复杂度，建立其与分布鲁棒RL的关联，推导出几乎匹配的上下界并验证分析的最优性，还给出最差路径RL的匹配上下界。
2025-03-24 cs.LG
Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes
Massachusetts Institute of Technology（麻省理工学院）
我们研究了极小极大最优强化学习在情节因子马尔可夫决策过程（FMDPs），这是有条件独立的转移组件的MDP。假设因子分解是已知的，我们提出了两个基于模型的算法。第一个实现了极大极小最优后悔保证的一类丰富的因子结构，而第二个享有更好的计算复杂性略差的遗憾。我们算法的一个关键新成分是设计了一个奖金项来指导探索。我们补充我们的算法，提出了几个结构依赖的下限FMDPs的遗憾，揭示了隐藏在错综复杂的结构的困难。
2020-06-24 cs.LG math.OC stat.ML
TRC: Trust Region Conditional Value at Risk for Safe Reinforcement Learning
本文提出TRC方法，在信任域内对CVaR上界进行可微近似并迭代求解策略梯度子问题，实现安全强化学习，在多种机器人导航任务中性能提升1.93倍且约束全部满足。
2023-12-01 cs.LG cs.RO
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Being Optimistic to Be Conservative: Quickly Learning a CVaR Policy
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然最大化预期收益是大多数强化学习方法的目标，但风险敏感目标（如条件风险价值（CVaR））更适合许多高风险应用。然而，对于如何探索快速学习具有良好CVaR的政策，人们知之甚少。本文基于不确定性乐观原则，提出了马尔可夫决策过程中CVaR最优策略的样本有效学习算法。这种方法依赖于一个新的乐观版本的分布贝尔曼算子，移动概率质量从下到上尾的回报分布。我们证明了渐近收敛和乐观的表格政策评估的情况下，该算子。我们进一步证明，我们的算法发现CVaR最优的政策大大快于现有的基线在几个模拟环境中的离散和连续的状态空间。
2020-04-02 cs.AI cs.LG
A Simple Mixture Policy Parameterization for Improving Sample Efficiency of CVaR Optimization
University of Waterloo（滑铁卢大学）；University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）；Vector Institute（矢量研究所）
针对CVaR策略梯度方法样本效率低和梯度消失问题，本文提出混合策略参数化方法，将风险中性策略与可调策略结合，在多个基准环境尤其是Mujoco任务中有效提升了风险规避策略的学习效果。
2024-06-28 cs.LG math.OC
Minimax-Bayes Reinforcement Learning
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Zenseact；Chalmers University of Technology（查尔姆斯理工大学）
虽然贝叶斯决策理论框架为不确定性下的决策问题提供了一个优雅的解决方案，但一个问题是如何适当地选择先验分布。一个想法是采用最坏情况先验。然而，这并不像在简单的统计估计问题中那样容易在顺序决策中指定。本文研究（有时是近似的）最小最大贝叶斯解决方案的各种强化学习问题，以深入了解相应的先验和政策的属性。我们发现，虽然最坏情况下的先验依赖于设置，相应的极大极小策略比那些假设一个标准的（即统一的）先验更强大。
2023-02-21 cs.LG stat.ML
Risk-Averse Offline Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在高风险应用中训练强化学习（RL）代理可能过于禁止，因为与探索相关的风险。因此，代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能，我们专注于优化风险规避标准，即CVaR。特别是，我们提出了离线规避风险的演员批评（O-RAAC），一个无模型的RL算法，能够在完全离线的设置学习规避风险的政策。我们表明，O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外，考虑风险厌恶的标准，保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明，在存在自然分布的变化，O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
Risk-Averse Action Selection Using Extreme Value Theory Estimates of the CVaR
Concordia University（康考迪亚大学）
在各种各样的顺序决策问题中，估计罕见事件的影响以最小化风险暴露可能是重要的。一个流行的风险度量是条件风险价值（CVaR），它通常通过在给定的置信水平下对超过分位数的观测值进行平均来估计。当该置信水平非常高时，由于相应分位数以上的样本数量有限，因此该估计方法可能表现出高方差。为了缓解这个问题，极值理论可以用来推导出一个估计的CVaR，使用外推超出可用的样本。这种估计需要选择一个阈值参数才能很好地工作，这是一个困难的挑战，在极值理论文献中已经得到了广泛的研究。在本文中，我们提出了一个估计过程的CVaR，结合极值理论和最近推出的自动阈值选择方法\cite{bader2018automated}。在适当的条件下，我们使用广义Pareto分布估计尾部风险。我们比较经验，这种估计过程与常用的方法的样本平均，并显示出一些分布的性能改善。最后，我们展示了如何将估计过程应用于强化学习，将我们的方法应用于多臂强盗问题，其目标是避免灾难性风险。
2020-12-10 cs.LG stat.ML
Connected Superlevel Set in (Deep) Reinforcement Learning and its Application to Minimax Theorems
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
本文证明强化学习策略目标关于策略参数的超水平集在表格和神经网络策略下均连通且具等连通性，并据此建立对抗奖励攻击下鲁棒强化学习的极小极大等式。
2023-09-30 cs.LG math.OC
Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute（清华大学-中国移动通信集团有限公司联合研究院）
针对深度强化学习在转移和观测扰动下的安全问题，提出基于CVaR约束的CPPO算法，在MuJoCo连续控制任务中实现更高奖励和更强鲁棒性。
2022-09-17 cs.AI cs.LG
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
Provably Efficient CVaR RL in Low-rank MDPs
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Cornell University（康奈尔大学）
本文研究低秩MDPs中具有非线性函数近似的CVaR强化学习，提出UCB奖励驱动算法平衡探索、利用与表示学习，实现多项式时间内的可证明高效样本复杂度。
2023-11-20 cs.LG stat.ML
Minimax-Optimality of Posterior Sampling for Reinforcement Learning
本文证明未经修改的后验采样PSRL在任意相关先验下实现极小极大贝叶斯遗憾最优，通过共同经验转移参考和贝尔曼方差论证，获得表格型MDP的$\tilde{O}(\sqrt{SAH^3K})$率及线性混合MDP的$\tilde{O}(d\sqrt{H^3K})$率。
2026-09-29 cs.LG stat.ML
Tail-Safe Hedging: Explainable Risk-Sensitive Reinforcement Learning with a White-Box CBF--QP Safety Layer in Arbitrage-Free Markets
Guanghua School of Management, Peking University（北京大学光华管理学院）
本研究提出Tail-Safe衍生品对冲框架，结合风险敏感强化学习与白盒CBF-QP安全层，在理论上提供多项安全与性能保证，实验中改善左尾风险且零硬约束违反，支持可解释审计。
2025-10-06 cs.LG q-fin.TR
Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
Tsinghua University（清华大学）
强化学习（RL）在许多顺序决策和控制任务中取得了显著的性能。然而，一个常见的问题是，学习的近最优策略总是过拟合的训练环境，并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中，环境的随机性通常会导致一些破坏性事件，这应该是自动驾驶等安全关键系统的重点。在本文中，我们引入了极大极小公式和分布框架，以提高RL算法的推广能力，并开发了极大极小分布软演员-评论（DSAC）算法。极大极小化模型旨在寻求最优策略，其中主角策略最大化行动价值函数，而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布，从中我们可以明确地建模不同收益的风险，从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法，并在不同的环境中测试了训练后的策略。结果表明，我们的方法可以大大提高的推广能力的主角代理不同的环境变化。
2020-09-30 cs.LG stat.ML
To Risk or Not to Risk: Learning with Risk Quantification for IoT Task Offloading in UAVs
University of Ottawa（渥太华大学）；Nokia Bell Labs（诺基亚贝尔实验室）
针对智能农场物联网（IoT）环境下多接入边缘计算（MEC）辅助无人机（UAV）网络的任务卸载决策算法，提出了一种深度强化学习技术。任务卸载技术使用金融概念，如成本函数和条件风险变量（CVaR），以量化每个风险行为可能造成的损害。该方法能够量化潜在的风险，以训练强化学习代理，以避免将导致农场不可逆转的后果的风险行为。这些后果包括未被发现的火灾、虫害或无人机无法使用。将所提出的基于CVaR的技术与其他深度强化学习技术和两种固定的基于规则的技术进行了比较。仿真结果表明，基于CVaR的风险量化方法消除了最危险的风险，这是超过火灾探测任务的最后期限。因此，它减少了违反最后期限的总数，而能源消耗的增加微不足道。
2023-02-14 cs.AI cs.LG cs.NI
Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）；Deepmind（深度思维）；University of Alberta（阿尔伯塔大学）
我们研究了具有线性函数近似的强化学习（RL），其中马尔可夫决策过程（MDP）的潜在转移概率核是线性混合模型（Jia et al.，2020; Ayoub等人，2020; Zhou等人，2020），并且学习代理可以访问各个基核的积分或采样预言。本文对带有界噪声的线性Bandit问题的自正规鞅提出了一个新的Bernstein型集中不等式。基于新的不等式，我们提出了一个新的，计算效率高的算法命名为$\text{UCRL-VTR}^{+}$的线性函数逼近上述线性混合MDP在情节未贴现设置。我们发现，$\text{UCRL-VTR}^{+}$达到了$\tilde O(dH\sqrt{T})$遗憾，其中$d$是特征映射的维度，$H$是情节的长度和$T$是与MDP的交互次数。我们还证明了一个匹配的下限$Ω(dH\sqrt{T})$为这个设置，这表明，$\text{UCRL-VTR}^{+}$是最小最大最优的对数因子。此外，我们提出了$\text{UCLK}^{+}$算法的同一家庭的MDP下折扣，并表明它达到了$\tilde O(d\sqrt{T}/(1-γ)^{1.5})$遗憾，其中$γ\in [0,1)$是折扣因子。我们的上限与Zhou等人（2020）证明的下限$Ω(d\sqrt{T}/(1-γ)^{1.5})$匹配，达到对数因子，表明$\text{UCLK}^{+}$几乎是最小最大最优的。据…
2021-01-07 cs.LG math.OC stat.ML
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）
本研究针对线性马尔可夫决策过程的强化学习问题，提出基于带特殊权重的加权线性回归、结合新型方差估计器的计算高效算法，首次达到接近极小极大最优的悔界，为该领域最优RL问题提供完整解答。
2023-11-04 cs.LG math.OC stat.ML
Nearly Minimax Optimal Offline Reinforcement Learning with Linear Function Approximation: Single-Agent MDP and Markov Game
The Hong Kong University of Science Technology（香港科技大学）；Peking University（北京大学）；University of Virginia（弗吉尼亚大学）
离线强化学习（RL）的目标是使用预先收集的数据集学习最佳策略，而无需与环境进行进一步的交互。虽然在以前的文献中已经提出了各种离线RL算法，但极大极小最优性只（几乎）建立了表马尔可夫决策过程（MDP）。本文主要研究了具有线性函数逼近的离线强化学习，提出了一种新的基于悲观的离线线性多目标规划算法。在我们的算法的核心是不确定性分解通过一个参考函数，这是新的离线RL下的线性函数近似的文献。理论分析表明，我们的算法可以匹配的性能下限对数因子。我们还将我们的技术扩展到两人零和马尔可夫博弈（MG），并建立了一个新的性能下界，收紧了现有的结果，并验证了所提出的算法的近似极小极大最优性.据我们所知，这些是第一个计算效率和近极大极小最优算法离线单代理MDP和MG与线性函数近似。
2023-03-01 cs.GT cs.LG stat.ML
Minimax Optimal Reinforcement Learning with Quasi-Optimism
Seoul National University（首尔国立大学）
本文提出 EQO 强化学习算法，用与状态-动作访问次数倒数成比例的简单奖励项实现准乐观探索，在最弱假设下取得表格 RL 已知最优遗憾界，并实证验证其性能与计算效率。
2025-07-27 cs.LG stat.ML
Reward Transfer from Inverse Reinforcement Learning: A Coupled Minimax Approach
Cornell Tech, Cornell University（康奈尔科技，康奈尔大学）；Netflix Research（netflix研究）；Department of Statistics, University of Washington（华盛顿大学统计学系）
提出一种耦合极小极大方法，通过联合求解源和目标环境的贝尔曼方程组，消除源贝尔曼残差误差的一阶影响，实现逆强化学习奖励从源环境到目标环境的有效迁移。
2026-05-27 cs.LG stat.ML
Efficient Off-Policy Safe Reinforcement Learning Using Trust Region Conditional Value at Risk
Seoul National University（首尔大学）
本文提出离策略TRC方法，通过新颖替代函数和自适应信赖域约束缓解分布偏移，在CVaR约束下实现样本高效的安全强化学习，并在仿真和真实机器人任务中快速满足安全约束且获得高回报。
2023-12-01 cs.AI cs.LG
Adversarial Diffusion for Robust Reinforcement Learning
Division of Decision and Control Systems KTH, Royal Institute of Technology（决策与控制系统系 瑞典皇家理工学院）；Faculty of Computing and Data Sciences（计算与数据科学学院）
本文提出AD-RRL，通过对抗扩散方法提升强化学习在环境动态不确定性下的鲁棒性和性能。
2025-12-02 cs.AI cs.LG
Information-Theoretic Minimax Regret Bounds for Reinforcement Learning based on Duality
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文研究有限时间范围马尔可夫决策过程中的极小极大遗憾问题，利用对偶性、极小极大定理和贝叶斯遗憾界推导信息论界，并展示其在多种场景下的应用。
2024-10-21 cs.IT cs.LG math.IT
Risk-sensitive Actor-Critic with Static Spectral Risk Measures for Online and Offline Reinforcement Learning
Department of Mathematics and Statistics（数学与统计学系）
本文针对现有风险敏感强化学习中朴素整合风险度量导致次优策略的问题，提出一种基于静态谱风险度量（SRM）的Actor-Critic优化框架，可推广CVaR和Mean-CVaR，并适用于在线与离线场景，理论证明收敛性且实验表现优于现有方法。
2025-07-05 cs.LG stat.ML
Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；DeepMind（深度思考公司）
在本文中，我们提出了新的问题独立的下界的样本的复杂性和遗憾的情节MDP，特别关注的非平稳的情况下，过渡内核允许在每个阶段的情节变化。我们的主要贡献是一个新的下界的$Ω((H^3SA/ε^2)\log(1/δ))$的样本复杂性的$(\varepsilon,δ)$ -PAC算法的最佳策略识别在非平稳MDP。这个下限依赖于“硬MDPs”的建设，这是不同于以前在文献中使用的。使用这同一类的MDP，我们也提供了一个严格的证明的$Ω(\sqrt{H^3SAT})$遗憾界的非平稳MDP。最后，我们讨论了PAC-MDP下界的连接。
2020-10-07 cs.LG stat.ML
RAMAC: Multimodal Risk-Aware Offline Reinforcement Learning and the Role of Behavior Regularization
University of California, Davis（加州大学戴维斯分校）
提出RAMAC框架，结合分布性评论家与生成式演员（如扩散模型），通过条件风险价值与行为克隆的复合目标实现离线强化学习中的风险敏感学习，抑制分布外动作并提升CVaR。
2026-06-15 cs.AI cs.LG
Quantile of Means: A Bonus-Free Ensemble Method for Minimax Optimal Reinforcement Learning
Google Research（谷歌研究院）
提出一种基于分位数的集成方法，无需计数即可在有限时域MDP中实现最优方差依赖的遗憾界，为强化学习中的集成探索提供理论依据。
2026-06-19 cs.LG
Robust Reinforcement Learning Under Minimax Regret for Green Security
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
绿色安全领域的特点是，面对偷猎者、非法伐木者和非法渔民的敌对行为的不确定性，捍卫者计划巡逻。重要的是，巡逻对对手未来行为的威慑作用使巡逻规划成为一个顺序决策问题。因此，我们专注于鲁棒顺序巡逻规划绿色安全的最小最大遗憾标准，这在文献中没有被考虑。我们将问题表述为防御者和自然之间的博弈，自然控制对抗行为的参数值，并设计了一个算法MIRROR来找到一个鲁棒的策略。MIRROR使用两个基于强化学习的预言机，并解决了一个考虑有限防守策略和参数值的受限游戏。我们根据真实世界的偷猎数据评估MIRROR。
2021-06-15 cs.AI cs.LG cs.MA
Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
本研究将推理奖励建模为层次函数，证明基于 Transformer 的演员-评论家算法在 RL 后训练中实现极小极大最优速率，优于离线采样。
2026-10-07 cs.LG stat.ML
Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation and Complexity Analysis
New York University（纽约大学）
Meta强化学习（meta RL）是元学习思想和强化学习（RL）的结合，它使智能体能够使用少量样本适应不同的任务。然而，这种基于采样的适应也使Meta RL容易受到对抗攻击的攻击。通过操纵Meta RL中采样过程的奖励反馈，攻击者可以误导Agent从训练经验中构建错误的知识，这会降低Agent在适应后处理不同任务时的性能。本文提供了一个博弈论的基础，了解这种类型的安全风险。特别是，我们正式定义的抽样攻击模型作为一个Stackelberg游戏之间的攻击者和代理，这产生了极大极小制定。它导致了两种在线攻击方案：间歇攻击和持续攻击，使攻击者能够学习最佳的采样攻击，定义的$ε$ -一阶平稳点，在$\mathcal{O}(ε^{-2})$迭代。这些攻击方案在不与环境进行额外交互的情况下同时自由地进行学习过程。通过用数值实验证实收敛结果，我们观察到攻击者的微小努力可以显着降低学习性能，并且极大极小方法也可以帮助增强Meta RL算法。
2023-03-08 cs.CR cs.LG
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London（帝国理工学院）
深度强化学习系统在许多复杂的双人游戏（围棋、国际象棋、象棋）中表现优于世界级的人类玩家。然而，由于易处理性的考虑，极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中，我们考虑简单的游戏（Noughts-and-Crosses和Hexapawn），其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾，以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中，正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差（更高的累积极大极小遗憾）。此外，MIGO的学习规则相对容易理解，并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Minimax Optimal Strategy for Delayed Observations in Online Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；UC Berkeley（加州大学伯克利分校）
针对延迟状态观测的强化学习问题，提出结合增广方法和上置信界算法的策略，在表格型MDP上达到极小化最优遗憾界。
2026-06-02 cs.LG stat.ML
Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning
Duke University（杜克大学）
针对分布鲁棒离线强化学习，提出在线性参数化设定下实现函数逼近的极小极大最优与计算高效算法，并开创实例依赖的次优性分析，揭示了鲁棒离线RL中函数逼近的独特性与难度。
2025-03-03 cs.AI cs.LG stat.ML
Minimax Regret Bounds for Reinforcement Learning
DeepMind
我们考虑有限视野MDP强化学习中可证明的最优探索问题。我们发现，一个乐观的修改值迭代实现了遗憾界的$\tilde{O}( \sqrt{HSAT} + H^2S^2A+H\sqrt{T})$，其中$H$是时间范围，$S$的状态数，$A$的动作数和$T$的时间步数。该结果改进了Jaksch等人的UCRL 2算法所实现的最佳先前已知边界$\tilde{O}(HS \sqrt{AT})$，2010.我们的新结果的关键意义是，当$T\geq H^3S^3A$和$SA\geq H$，它会导致一个遗憾的$\tilde{O}(\sqrt{HSAT})$匹配的$Ω(\sqrt{HSAT})$的建立下限的对数因子。我们的分析包含两个关键的见解。我们仔细地将浓度不等式应用于最优值函数作为一个整体，而不是转移概率（以改善$S$中的缩放），并且我们定义了基于伯恩斯坦的“探索奖金”，该奖金使用下一个状态的估计值的经验方差（以改善$H$中的缩放）。
2017-07-01 cs.AI cs.LG stat.ML
Improving Robustness via Risk Averse Distributional Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
阻碍强化学习在现实应用中取得成功的一个主要障碍是训练策略缺乏鲁棒性，无论是对模型不确定性还是外部干扰。当在模拟而不是真实世界环境中训练策略时，鲁棒性至关重要。在这项工作中，我们提出了一个风险意识的算法来学习强大的政策，以弥合模拟训练和现实世界的实现之间的差距。我们的算法是基于最近发现的分布式RL框架。我们将CVaR风险度量引入基于样本的分布式策略梯度（SDPG）中，学习风险规避策略，以实现对系统扰动的鲁棒性。我们验证了风险感知SDPG在多个环境中的鲁棒性。
2020-05-01 cs.LG stat.ML
BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
该研究提出BCPPO算法，通过带随机样本掩码的成本预测网络分歧结合巴舍利耶公式生成平滑惩罚，在175次运行的多任务测试中，其平均回报更高、平均CVaR更低，实现了奖励与安全的实用平衡。
2026-09-01 cs.AI cs.LG
Nearly Minimax Optimal Reinforcement Learning with Linear Function Approximation
Tsinghua University（清华大学）
我们研究了具有线性函数近似的强化学习，其中转移概率和奖励函数关于特征映射$\boldsymbolϕ(s,a)$是线性的。具体来说，我们认为情节非齐次线性马尔可夫决策过程（MDP），并提出了一种新的计算效率的算法，LSVI-UCB $^+$，它实现了$\widetilde{O}(Hd\sqrt{T})$遗憾界，其中$H$是情节长度，$d$是特征维数，和$T$是步骤的数量。LSVI-UCB $^+$建立在加权岭回归和上置信值迭代的基础上，具有伯恩斯坦型探索奖金。我们的统计结果得到了新的分析工具，包括一个新的Bernstein自归一化的椭圆势保守性的约束，和精细的分析的校正项。这是线性MDP的最小最大最优算法，直到对数因子，其关闭了$\widetilde{O}(\sqrt{H^3d^3T})$的上限之间的$\sqrt{Hd}$差距（Jin等人，2020）和线性MDP的$Ω(Hd\sqrt{T})$的下限。
2023-01-29 cs.LG
Minimax-Optimal Reward-Agnostic Exploration in Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
本文针对强化学习中的奖励无关探索问题，提出一种算法，通过收集约SAH^3/ε^2个样本，实现对所有多项式数量奖励函数的ε-最优策略，首次达到可证明的极小极大最优性，并扩展至任意奖励函数场景。
2024-05-23 cs.IT cs.LG cs.SY
Credal Machine Learning for Risk-Averse Decision Making
LMU Munich（慕尼黑大学）；DFKI（德国人工智能研究中心）
该研究提出基于Credal集的风险规避机器学习方法，可在分类、分布偏移及强化学习场景中避免灾难性决策，且预期性能损失小。
2026-10-09 cs.LG stat.ML
A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents
Cornell University（康奈尔大学）；Netflix（网飞公司）
本文提出两种元算法，通过归约方法将风险中性强化学习算法应用于增强MDP，以优化OCE风险度量，并在复杂MDP中建立新界限，实验证明能学习最优历史依赖策略。
2025-02-28 cs.LG
Nearly Minimax Optimal Reward-free Reinforcement Learning
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
我们研究了无奖励的强化学习框架，该框架特别适用于批量强化学习和需要多个奖励函数的策略的场景。该框架分为两个阶段。在探索阶段，智能体通过与环境交互来收集轨迹，而不使用任何奖励信号。在规划阶段，代理需要返回一个接近最优的策略，任意的奖励函数。本文提出了一种新的高效算法\textbf{S} taged \textbf{S} random + \textbf{T} runcated \textbf{P} lanning（\algoname），该算法在探索阶段与环境交互的次数最多为$O\left( \frac{S^2A}{ε^2}\text{poly}\log\left(\frac{SAH}ε\right) \right)$次，并保证在规划阶段对任意奖励函数输出一个接近最优的策略.这里，$S$是状态空间的大小，$A$是动作空间的大小，$H$是规划范围，$ε$是相对于总回报的目标准确度。值得注意的是，我们的样本复杂度尺度只有\emph{logarithmically}与$H$，与所有现有的结果，规模\emph{polynomially}与$H$。此外，该界限与极大极小下限$Ω\left(\frac{S^2A}{ε^2}\right)$匹配到对数因子。我们的结果依赖于三个新的技术：1）一个新的充分条件的数据集规划的$ε$ -次优策略; 2）一种新的方法来有效地规划在所提出的条件下使用软截断规划;…
2020-10-23 cs.LG
Model-Based Reinforcement Learning with a Generative Model is Minimax Optimal
Microsoft（微软）；University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）
这项工作认为，在折扣马尔可夫决策过程（MDP）中获得一个$ε$ -最优策略的样本和计算复杂性，只提供一个生成模型。在这项工作中，我们研究了最自然的插件方法的有效性，以基于模型的规划：我们建立的最大似然估计的过渡模型中的MDP从观察，然后找到一个最佳的政策，在这个经验MDP。我们问可以说是最基本的和未解决的问题，在基于模型的规划：是天真的“插件”的方法，非渐近，极大极小最优的政策，它发现的质量，给定一个固定的样本量？这里，非渐近状态是指样本量在模型大小中是次线性的。通过访问生成模型，我们解决了这个问题，在最强的可能意义上：我们的主要结果表明，\emph{any}高精度的解决方案中的插件模型构建的$N$样本，提供了一个$ε$ -最优的政策，在真正的底层MDP（其中$ε$是极大极小的准确性与$N$样本在每个状态，动作对）。相比之下，所有先前的（非渐近）极大极小最优结果都使用无模型方法，例如方差降低Q值迭代算法（Sidford et al 2018），而最知名的基于模型的结果（例如Azar et al 2013）需要更大的样本量，因为它们依赖于规划范围或状态空间。值得注意的是，我们表明，基于模型的方法允许使用\emph{any}有效的规划算法的经验MDP，这简化了算法设计，因为这种方法不绑算法的采样过程。我们的分析的核心是avnovel“吸收MDP”建设，以解决统计依赖性问题，出现在基于模…
2020-04-05 cs.LG math.PR stat.ML
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
论文研究生成模型下强化学习的样本效率，证明扰动和保守的基于模型算法及普通模型规划可突破既有样本量障碍并达到极小极大最优。
2023-04-17 cs.IT cs.LG math.IT
Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation
Princeton University（普林斯顿大学）
本文研究了具有函数逼近的批量数据强化学习的统计理论。考虑非策略评估问题，即根据未知行为策略生成的日志记录来估计新目标策略的累积值。我们研究了一种基于回归的拟合Q迭代方法，并证明了它等价于一种基于模型的方法，该方法估计了过渡算子的条件均值嵌入。我们证明了这种方法是信息理论上最优的，并具有几乎最小的估计误差。特别地，利用马尔可夫过程的收缩性质和鞅集中度，我们建立了有限样本实例相关的误差上界和近似匹配的极大极小下界。政策评估误差严重依赖于一个受限制的$χ^2$ -发散之间的长期分布的目标政策和过去的数据分布的函数类。这种受限的$χ^2$发散既依赖于实例又依赖于函数类。它表征了政策外评估的统计极限。此外，我们提供了一个易于计算的信心界的政策评估，这可能是有用的乐观规划和安全的政策改进。
2020-02-21 cs.LG math.ST stat.ML
