Risk Perspective Exploration in Distributional Reinforcement Learning
KAIST（韩国科学技术院）；Kim Jaechul Graduate School of Artificial Intelligence（金在澈人工智能研究生院）
分布式强化学习在连续和离散控制设置中表现出最先进的性能，具有方差和风险的特征，可用于探索。然而，使用风险属性的探索方法很难找到，尽管分布式RL中的许多探索方法使用每个动作的收益分布的方差。在本文中，我们提出了风险调度方法，探索风险水平和乐观的行为，从风险的角度来看。我们证明了DMIX算法的性能增强，在多智能体环境中使用风险调度与全面的实验。
2022-07-01 cs.LG
Robustness and risk management via distributional dynamic programming
Universitat Pompeu Fabra（庞培法布拉大学）
在动态规划（DP）和强化学习（RL）中，智能体通过顺序地与由马尔可夫决策过程（MDP）建模的环境交互来学习根据预期的长期回报最优地行动。更一般地说，在分布式强化学习（DRL）中，重点是回报的整个分布，而不仅仅是它的期望。虽然基于DRL的方法在RL中使用函数近似产生了最先进的性能，但它们涉及到仍然没有很好理解的额外数量（与非分布设置相比）。作为第一个贡献，我们引入了一类新的分布算子，连同一个实用的DP算法的政策评估，来一个强大的MDP解释。事实上，我们的方法通过一个增强的状态空间，每个状态被分为一个最坏的情况下的子状态和最好的情况下的子状态，其值最大化的安全和风险的政策分别重新制定。最后，我们推导出分布算子和DP算法解决一个新的控制任务：如何区分安全的风险最优行动，以打破最优政策的空间中的关系？
2021-12-28 cs.AI cs.LG math.OC
D2C-HRHR: Discrete Actions with Double Distributional Critics for High-Risk-High-Return Tasks
School of Artificial Intelligence, Sun Yat-sen University（人工智能学院，中山大学）
针对高风险高回报任务中的多模态动作与随机回报问题，提出动作离散化、熵正则化探索和双分布评论家的强化学习框架，并在高风险运动与操作基准上验证其优于基线。
2025-10-20 cs.AI cs.LG
Risk-Conditioned Distributional Soft Actor-Critic for Risk-Sensitive Navigation
NAVER LABS；NAVER LABS Europe
基于深度强化学习（RL）的现代导航算法表现出很好的效率和鲁棒性。然而，大多数深度强化学习算法以风险中性的方式运行，没有特别尝试保护用户免受相对罕见但严重的结果，即使这种屏蔽可能会导致性能损失很小。此外，这样的算法通常没有规定，以确保安全性，在其上训练的模型中存在不准确性，除了在训练时增加冲突成本和一些域随机化之外，尽管它们操作的环境非常复杂。在本文中，我们提出了一种新的分布式RL算法，不仅可以学习不确定性感知策略，还可以改变其风险度量，而无需进行昂贵的微调或再培训。我们的方法在部分观察到的导航任务中显示出优于基线的性能和安全性。我们还证明，使用我们的方法训练的代理可以在运行时调整他们的政策，以适应广泛的风险措施。
2021-04-09 cs.AI cs.LG cs.RO
RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance
Northwestern Polytechnical University（西北工业大学）
提出RS-Diffuser，一种结合扩散轨迹生成与分布价值评论家的风险敏感离线规划框架，通过尾部感知目标引导去噪过程，实现灵活的风险偏好行为，在风险敏感D4RL和机器人导航基准上达到最优性能。
2026-06-29 cs.AI cs.LG cs.RO
Improving Robustness via Risk Averse Distributional Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
阻碍强化学习在现实应用中取得成功的一个主要障碍是训练策略缺乏鲁棒性，无论是对模型不确定性还是外部干扰。当在模拟而不是真实世界环境中训练策略时，鲁棒性至关重要。在这项工作中，我们提出了一个风险意识的算法来学习强大的政策，以弥合模拟训练和现实世界的实现之间的差距。我们的算法是基于最近发现的分布式RL框架。我们将CVaR风险度量引入基于样本的分布式策略梯度（SDPG）中，学习风险规避策略，以实现对系统扰动的鲁棒性。我们验证了风险感知SDPG在多个环境中的鲁棒性。
2020-05-01 cs.LG stat.ML
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
实践中的许多强化学习（RL）问题都是离线的，纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的，这需要量化与不同行为相关的风险。在在线设置中，分布式RL算法通过学习收益分布（即，累积回报）而不是预期回报;除了量化风险之外，他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评（CODAC），一个离线RL算法，适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明，CODAC学习保守的回报分布-特别是，对于有限的MDPs，CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中，在两个具有挑战性的机器人导航任务，CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外，在预期和风险敏感性能方面，CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
Addressing Inherent Uncertainty: Risk-Sensitive Behavior Generation for Automated Driving using Distributional Reinforcement Learning
fortiss GmbH（福蒂斯有限公司）；Technische Universität München（慕尼黑工业大学）
对于SAE 3级以上的高度自动化驾驶，行为生成算法必须可靠地考虑交通环境的固有不确定性，例如由各种人类驾驶风格引起的不确定性。这种不确定性可能会产生模糊的决策，要求算法适当地平衡低概率的危险事件（例如碰撞）和高概率的有益事件（例如快速穿过十字路口）。最先进的行为生成算法缺乏决策结果的分布式处理。这妨碍了在模棱两可的情况下进行适当的风险评估，往往鼓励不安全或保守的行为。因此，我们提出了一个两步的方法，结合离线分布学习与在线风险评估的风险敏感行为生成。具体来说，我们首先使用深度分布式强化学习在不确定环境中学习最优策略。在执行过程中，通过将已建立的风险标准（例如条件风险值）应用于学习的状态-动作回报分布来选择最佳风险敏感动作。在交叉路口的情况下，我们评估不同的风险标准，并证明我们的方法增加了安全性，同时保持积极的驾驶风格。我们的方法将鼓励进一步研究风险敏感方法对自动驾驶车辆的好处。
2021-02-05 cs.AI
Automatic Risk Adaptation in Distributional Reinforcement Learning
Leibniz University Hannover（莱布尼茨汉诺威大学）
在实际应用中使用强化学习（RL）代理需要考虑次优结果，这取决于代理对其环境的熟悉程度。这在安全关键环境中尤其重要，因为错误可能导致高成本或损坏。在分布强化学习中，风险敏感性可以通过估计收益分布的不同失真度量来控制。然而，这些失真函数需要估计风险水平，这是很难获得的，并取决于当前的状态。在这项工作中，我们证明了一个静态的风险水平估计的次优，并提出了一种方法来动态地选择风险水平在每个环境步骤。我们的方法ARA（自动风险适应）使用随机网络蒸馏误差来估计已知和未知环境中的适当风险水平。我们发现，在几个运动环境中，与风险感知和风险不可知的代理相比，故障率降低了7倍，泛化性能提高了14%。
2021-06-11 cs.LG
SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning
Zenseact AB（Zenseact公司）；Chalmers University of Technology（查尔姆斯理工大学）；Scool INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧洲Scool团队）；CRIStAL, CNRS（法国国家科学研究中心CRIStAL实验室）；University of Neuchatel（纳沙泰尔大学）；University of Oslo（奥斯陆大学）
在本文中，我们考虑风险敏感的顺序决策的强化学习（RL）。我们的贡献是双重的。首先，我们介绍了一种新的和一致的量化风险，即复合风险，它量化的偶然性和认知风险的联合作用在学习过程中。现有的作品要么单独考虑偶然风险或认识风险，要么将其视为相加的组合。我们证明了当认知风险测度被期望所取代时，可加性公式是复合风险的一个特例。因此，复合风险是更敏感的偶然性和认知的不确定性比个人和添加剂配方。我们还提出了一个算法，SENTINEL-K，系综自举和分布式RL的基础上表示认知和偶然的不确定性。K学习器的集成使用跟随正规化领导者（FTRL）来聚合收益分布并获得复合风险。我们通过实验验证了SENTINEL-K可以更好地估计收益分布，并且在与复合风险估计一起使用时，表现出比最先进的风险敏感和分布式RL算法更高的风险敏感性能。
2022-06-29 cs.LG
Quantile Geometry Regularization for Distributional Reinforcement Learning
Information Hub, AI Thrust（信息中心，人工智能方向）
本文提出RQIQN方法，通过分位数估计视角改进分布性强化学习，解决分位数估计退化问题，提升风险敏感导航和Atari游戏性能。
2026-05-05 cs.AI cs.LG
Adaptive Risk-Tendency: Nano Drone Navigation in Cluttered Environments with Distributional Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
实现评估风险和做出风险意识决策的能力对于将强化学习应用于无人机等安全关键型机器人至关重要。在本文中，我们研究了一个具体的情况下，纳米四轴飞行器机器人学习导航先验未知的混乱的环境下部分可观测性。我们提出了一个分布式的强化学习框架，以产生自适应的风险倾向的政策。具体而言，我们建议使用学习收益率分布的下尾条件方差作为内在不确定性估计，并使用指数加权平均预测（EWAF），以适应风险趋势，根据估计的不确定性。在模拟和真实世界的实证结果中，我们表明：（1）最有效的风险倾向在不同的状态下是不同的，（2）与风险中性政策或风险厌恶政策基线相比，具有自适应风险倾向的代理人取得了更好的绩效。
2022-09-23 cs.AI cs.RO
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
DRL-ORA: Distributional Reinforcement Learning with Online Risk Adaption
London Business School（伦敦商学院）；The University of Hong Kong（香港大学）；City University of Hong Kong（城市大学）
DRL-ORA通过动态调整风险水平，在安全关键任务中提升强化学习的效率和可靠性。
2026-02-27 cs.LG
Risk-averse policies for natural gas futures trading using distributional reinforcement learning
Predictive Layer SA（Predictive Layer 公司）；University of Bourgogne-Franche-Comté（勃艮第-弗朗什-孔泰大学）
本文评估 C51、QR-DQN 和 IQN 三种分布式强化学习算法在天然气期货交易中的表现，证明其显著优于经典RL，并可通过CVaR调节风险规避。
2025-01-08 cs.LG
Learning Risk-Aware Quadrupedal Locomotion using Distributional Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出分布近端策略优化（DPPO），通过估计完整价值分布并引入可调风险参数，使四足机器人无需额外奖励调优即可实现从风险规避到风险寻求的动态运动行为。
2024-05-03 cs.LG cs.RO
Implicit Quantile Networks for Distributional Reinforcement Learning
DeepMind（深度思维）
在这项工作中，我们建立在分布式强化学习的最新进展，给出了一个普遍适用的，灵活的，最先进的分布式DQN的变体。我们通过使用分位数回归来近似状态-动作回报分布的完整分位数函数来实现这一点。通过重新参数化样本空间上的分布，这产生了一个隐含定义的回报分布，并产生了一个大类的风险敏感政策。我们证明了改进的性能在ALE的57雅达利2600游戏，并使用我们的算法的隐式定义的分布研究风险敏感的政策在雅达利游戏的影响。
2018-06-14 cs.AI cs.LG stat.ML
Bridging Distributional and Risk-sensitive Reinforcement Learning with Provable Regret Bounds
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究风险敏感强化学习的遗憾保证，利用熵风险度量的独立性构建分布式动态规划框架，提出无模型与基于模型的 DRL 算法，并给出匹配上界、高效变体及更紧下界。
2024-01-25 cs.AI cs.LG stat.ML
Trust Region-Based Safe Distributional Reinforcement Learning for Multiple Constraints
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
提出基于信任区域的安全分布强化学习算法SDAC，通过梯度集成和TD(λ)目标分布处理多约束与风险规避，实验显示在满足约束和减少违规方面显著优于基线。
2023-12-24 cs.AI cs.LG
Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出结合静态 LRM 与通用函数逼近的 RS-DisRL 框架及两种元算法，并通过 LSR、MLE 与增强 MDP 首次获得 $\widetilde{\mathcal{O}}(\sqrt{K})$ 遗憾上界。
2024-02-28 cs.LG
Adaptive Nesterov Accelerated Distributional Deep Hedging for Efficient Volatility Risk Management
University of Victoria（维多利亚大学）
本文提出ANADDH框架，结合分布强化学习与自适应Nesterov加速，用于动态Vega对冲，提升波动率风险管理的效率与收敛性能。
2025-02-25 cs.LG q-fin.CP
Risk-Averse MDPs under Reward Ambiguity
City University of Hong Kong（香港城市大学）
本文提出了一个风险和报酬模糊条件下的分布鲁棒收益-风险马尔可夫决策过程模型。该模型优化了平均和百分位绩效的加权平均值，并将分布鲁棒MDP和分布鲁棒机会约束MDP（均在奖励模糊下）作为特例。通过考虑未知的奖励分布位于Wasserstein模糊集，我们得到了我们的模型的易处理的重新制定。特别是，我们表明，回报风险模型也可以考虑风险从不确定的过渡内核时，只寻求确定性的政策，和一个分布稳健的MDP下的百分位数准则可以重新制定为它的名义上的对应调整后的风险水平。设计了一个可扩展的一阶算法来求解大规模问题，并通过数值实验验证了所提模型和算法的优越性。
2023-01-04 cs.LG math.OC
Robust Reinforcement Learning with Distributional Risk-averse formulation
Ecole polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎西岱大学）
鲁棒强化学习试图使预测对系统动态或奖励的变化更加鲁棒。当从数据中估计环境的动态和回报时，这个问题特别重要。在本文中，我们近似的鲁棒强化学习约束下的$Φ$ -发散使用一个近似的风险规避公式。我们表明，经典的强化学习配方可以鲁棒使用标准偏差惩罚的目标。提出了两种基于分布式强化学习的算法，一种用于离散动作空间，一种用于连续动作空间，并在经典的Gym环境中进行了测试，以证明算法的鲁棒性。
2022-06-14 cs.LG math.OC stat.ML
When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning
Hari Prasad
研究分布强化学习智能体风险声明真实性，结合决策指标与统计工具审核，发现多数声明被驳斥，风险反映训练假象，阳性对照证实部分真实声明，训练和集成无法消除问题，重新校准仅否定声明，还记录审核陷阱。
2026-11-13 cs.AI cs.LG stat.ML
Cautious Reinforcement Learning via Distributional Risk in the Dual Domain
University of Minnesota（明尼苏达大学）；US Army Research Laboratory（美国陆军研究实验室）；Princeton University（普林斯顿大学）
研究了由状态和动作空间可数有限的马尔可夫决策过程（MDP）定义的强化学习问题中的风险敏感策略估计问题。先前的努力主要受到与风险敏感的MDP是时间不一致的事实相关联的计算挑战的困扰。为了改善这个问题，我们提出了一个新的风险定义，我们称之为谨慎，作为一个惩罚函数添加到强化学习的线性规划（LP）制定的双重目标。谨慎措施的分布风险的政策，这是一个功能的政策的长期状态占用分布。为了解决这个问题，在一个在线的无模型的方式，我们提出了一个随机变量的原始对偶方法，使用Kullback-Lieber（KL）分歧作为其近端。我们建立，达到近似最优解的方案所需的迭代/样本的数量匹配紧依赖于状态和动作空间的基数，但在其依赖于风险度量的梯度的无穷范数不同。实验表明，这种方法的优点，提高了奖励积累的可靠性，而无需额外的计算负担。
2020-02-27 cs.AI cs.LG cs.SY
Beyond CVaR: Leveraging Static Spectral Risk Measures for Enhanced Decision-Making in Distributional Reinforcement Learning
Department of Mathematics and Statistics, York University, Toronto, Canada（数学与统计学系，约克大学，多伦多，加拿大）
本文提出了一种具有收敛保证的DRL算法，优化更广泛的静态谱风险度量，提升决策质量并优于现有方法。
2025-05-16 cs.LG stat.ML
Distributional Reinforcement Learning-based Energy Arbitrage Strategies in Imbalance Settlement Mechanism
Ghent University（根特大学）；BEEBOP
针对可再生能源增长带来的系统不平衡问题，提出基于分布式强化学习的电池控制框架，通过优化套利利润与风险度量加权和并约束电池循环次数，使BRP能在不平衡结算机制中有效进行能源套利并规避价格风险。
2023-12-23 cs.AI cs.LG cs.SY
Distributional Reinforcement Learning on Path-dependent Options
本文提出用分布强化学习估计路径依赖衍生品收益的完整分布，以支持风险感知定价和尾部风险估计，并在亚式期权上验证了方法有效性。
2025-07-16 cs.LG q-fin.MF
Two steps to risk sensitivity
MPI for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Tübingen（图宾根大学）
分布式强化学习（RL）--智能体学习其行为的所有可能的长期后果，而不仅仅是期望值--最近引起了极大的兴趣。分配观点最重要的启示之一是，当结果不完全确定时，促进一种现代的、可衡量的风险方法。相比之下，心理学和神经科学对风险决策的研究利用了各种更古老的理论模型，如前景理论，缺乏公理化的理想属性，如连贯性。在这里，我们考虑一个特别相关的风险度量，用于建模人类和动物计划，称为条件风险价值（CVaR），它量化了最坏情况下的结果（例如，车辆事故或掠夺）。我们首先采用传统的分布方法CVaR在一个连续的设置和重新分析的选择，人类决策者在著名的两步任务，揭示了大量的风险厌恶，一直潜伏在粘性和执着。然后，我们考虑进一步的关键属性的风险敏感性，即时间的一致性，这种形式的CVaR的替代品，享受这一理想的特性。我们使用模拟来检查设置中的各种形式不同的方式，对人类和动物的规划和行为的影响。
2021-11-12 cs.AI
Optimizing Return Distributions with Distributional Dynamic Programming
Google DeepMind（谷歌DeepMind）；FAIR, Meta（FAIR，Meta）
本文提出分布动态规划方法，结合股票增强技术优化回报分布统计泛函，如条件风险价值，并验证了其在强化学习中的有效性。
2025-08-03 cs.AI cs.LG cs.SY
Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
Tsinghua University（清华大学）
强化学习（RL）在许多顺序决策和控制任务中取得了显著的性能。然而，一个常见的问题是，学习的近最优策略总是过拟合的训练环境，并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中，环境的随机性通常会导致一些破坏性事件，这应该是自动驾驶等安全关键系统的重点。在本文中，我们引入了极大极小公式和分布框架，以提高RL算法的推广能力，并开发了极大极小分布软演员-评论（DSAC）算法。极大极小化模型旨在寻求最优策略，其中主角策略最大化行动价值函数，而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布，从中我们可以明确地建模不同收益的风险，从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法，并在不同的环境中测试了训练后的策略。结果表明，我们的方法可以大大提高的推广能力的主角代理不同的环境变化。
2020-09-30 cs.LG stat.ML
EX-DRL: Hedging Against Heavy Losses with EXtreme Distributional Reinforcement Learning
University of Toronto（多伦多大学）；York University（约克大学）
针对分布式强化学习在期权对冲中极端分位数估计不精确的问题，提出EX-DRL方法，利用广义帕累托分布建模损失分布尾部并引入补充数据，提升了极端分位数预测精度及金融风险度量可靠性。
2024-08-27 cs.LG q-fin.RM q-fin.ST
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy（韩国陆军士官学校）；KAIST（韩国科学技术院）
多代理设置是复杂和不可预测的，因为多个代理的行为相互影响。为了解决这种环境的不确定性，分布式强化学习算法，通过分布式输出结合不确定性已被集成与多智能体强化学习（MARL）方法，实现国家的最先进的性能。然而，分布式MARL算法仍然依赖于传统的$ε$ -贪婪，没有考虑合作策略。在本文中，我们提出了一个基于风险的探索，导致合作乐观的行为，通过改变分布的采样区域。最初，我们从状态-动作值的上分位数中提取期望值进行探索，这是乐观的动作，并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下，我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能，在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based Offline Reinforcement Learning
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
本文提出将风险敏感性作为统一机制，通过基于模型的方法同时规避认知与偶然不确定性，以解决离线强化学习中的分布偏移和风险敏感决策问题，并在随机领域优于现有方法。
2023-10-30 cs.LG
Policy Evaluation in Distributional LQR
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Oxford（牛津大学）；Technical University of Munich（慕尼黑工业大学）；Duke University（杜克大学）
分布式强化学习（DRL）通过让代理学习随机回报的分布，而不是标准RL中的期望值，增强了对环境中随机性影响的理解。与此同时，DRL的一个主要挑战是，DRL的政策评估通常依赖于回报分布的表示，这需要仔细设计。在本文中，我们解决这一挑战的一类特殊的DRL问题，依赖于线性二次调节器（LQR）的控制，倡导一种新的分布式方法，我们称之为\emph{distributional LQR}的LQR。具体来说，我们提供了一个封闭形式的随机回报率的分布，值得注意的是，是适用于所有的外源性干扰的动态，只要它们是独立的，同分布（i.i.d.）。虽然建议的确切回报分布由无穷多个随机变量，我们表明，这个分布可以近似由有限数量的随机变量，和相关的近似误差可以在温和的假设下解析有界。利用近似的收益分布，我们提出了一个零阶的政策梯度算法的风险厌恶的LQR使用的条件风险价值（CVaR）作为风险的度量。数值实验来说明我们的理论结果。
2023-03-23 cs.LG math.OC
Distributional GFlowNets with Quantile Flows
Mila（米拉计算研究所）；University of Montreal（蒙特利尔大学）；Hong Kong University of Science and Technology（香港科技大学）；Meta AI；Fundamental AI Research（基础人工智能研究部）
本研究提出分布式GFlowNets，将流函数转化为分布并通过分位数函数参数化边流，提出分位数匹配算法学习风险敏感策略，在确定性奖励下也显著提升了基准性能。
2024-02-17 cs.AI cs.LG stat.CO
Distributionally Robust Reinforcement Learning
Criteo AI Lab（科韬人工智能实验室）
现实世界的应用程序需要RL算法安全地运行。在学习过程中，很可能代理执行次优操作，这可能导致系统的不安全/不良状态。在高维状态/动作空间中，由于低性能动作的数量增加，探索特别脆弱。在这项工作中，我们认为风险厌恶的探索近似RL设置。为了保证学习过程中的安全性，我们提出了分布式鲁棒策略迭代方案，提供了状态值的下界保证。我们的方法引入了一个动态的风险水平，以防止不良的决策，但保留收敛到最优的政策。我们的制定结果在一个有效的算法，占一个简单的重新加权的政策行动在标准的政策迭代计划。我们将我们的方法扩展到连续的状态/动作空间，并提出了一个实用的算法，分布鲁棒的软演员评论家，实现了不同的探索策略：它在短期内采取保守的行动，并在长期内乐观地探索。我们提供了有前途的连续控制任务的实验结果。
2019-06-14 cs.LG stat.ML
Pessimistic Risk-Aware Policy Learning in Contextual Bandits
本文提出统一框架优化Lipschitz连续风险函数，涵盖均值-方差、熵风险等，通过新型经验集中不等式推导数据依赖的次优界，无须强叠加假设，达到最小最大最优。
2026-05-15 cs.LG stat.ML
Distributional Reinforcement Learning for Scheduling of Chemical Production Processes
The University of Manchester（曼彻斯特大学）；Imperial College London（伦敦帝国理工学院）
强化学习（RL）最近受到过程系统工程和控制界的极大关注。最近的工作研究了RL的应用，以确定最优调度决策的存在下的不确定性。在这项工作中，我们提出了一种RL方法，以有效地解决生产调度问题中存在的不确定性。我们认为，这些问题，如优先和析取约束，这是不自然的RL在其他情况下考虑共同施加的限制。此外，这项工作自然能够优化风险敏感的配方，如条件风险价值（CVaR），这是在现实的调度过程中必不可少的。所提出的策略进行了深入的研究，在并行批量生产环境中，并对混合整数线性规划（MILP）的战略基准。我们表明，我们的方法所确定的政策是能够占工厂的不确定性在线决策，与现有的MILP方法的预期性能相当。此外，该框架还获得了优化风险敏感措施的好处，并比最有效的优化方法更快地识别在线决策。这有望减轻实际问题，并易于处理实现的过程中的不确定性的范例，在线生产调度。
2022-03-09 cs.LG cs.SY eess.SY
Lipschitz Networks and Distributional Robustness
The Australian National University（澳大利亚国立大学）；Data 61；Google Brain（谷歌大脑）；The University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；The University of Sydney（悉尼大学）
鲁棒风险最小化有几个优点：它已被研究，以提高模型的泛化性能和对抗性扰动的鲁棒性。我们通过涉及模型的Lipschitz常数的正则化经验风险来约束足够丰富以包括深度神经网络的模型类的分布鲁棒风险。这使我们能够解释和量化深度神经网络的鲁棒性。作为一个应用，我们展示了对抗训练风险的分布鲁棒风险上界。
2018-09-04 cs.LG stat.ML
Risk Bounds For Distributional Regression
Department of Statistics and Data Science（统计学与数据科学系）；Washington University in St Louis（圣路易斯华盛顿大学）；Department of Statistics（统计学系）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了非参数分布回归估计量的风险界，为凸与非凸约束下的分布回归建立了CRPS和MSE的一般上界，并通过模拟与真实数据实验验证了理论的有效性。
2025-07-11 cs.LG stat.ML
Wasserstein Distributionally Robust Online Learning
University of Michigan（密歇根大学）；Cornell University（康奈尔大学）
本文提出了一种基于Wasserstein分布鲁棒优化的在线学习框架，通过将问题建模为随机博弈并利用问题几何特性，实现对最坏情况分布的鲁棒优化，同时提高了计算效率。
2026-10-30 cs.LG math.OC stat.ML
Worst-Case Risk Quantification under Distributional Ambiguity using Kernel Mean Embedding in Moment Problem
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Freiburg（弗赖堡大学）
为了预测罕见和有影响力的事件，我们建议使用核方法的最新发展-核均值嵌入来量化分布模糊性下的最坏情况风险。具体来说，我们制定了广义矩问题，其模糊集（即，矩约束）由相关再生核希尔伯特空间中的约束以非参数方式描述。然后，我们提出了易于处理的近似和它的理论依据。作为一个具体的应用，我们数值测试所提出的方法在描述最坏情况下的约束违反概率的约束随机控制系统。
2020-09-06 cs.LG cs.SY eess.SY
Wasserstein Distributionally Robust Control Barrier Function using Conditional Value-at-Risk with Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
本文提出分布鲁棒控制屏障函数DR-CBF，通过单层凸重构估计Wasserstein分布偏移下的CVaR，并利用可微凸规划实现前向不变性，在保持计算效率的同时提升安全控制器对分布偏移的鲁棒性。
2023-09-15 cs.LG cs.RO cs.SY
A Distributional Framework for Behavioral Characterization and Risk Management of Large Language Models
BBVA, S.A.（西班牙对外银行）；VidaCaixa S.A.（VidaCaixa股份有限公司）
本文提出一种适用于大语言模型全生命周期的分布框架，通过蒙特卡洛模拟构建经验响应分布，结合语义干预量化分布变化，可用于模型风险管理，也适用于商业API访问的黑盒模型。
2026-10-12 cs.LG q-fin.RM stat.ML
$k$-Submodular Interdiction Problems under Distributional Risk-Receptiveness and Robustness: Application to Machine Learning
Virginia Tech（弗吉尼亚理工大学）
本研究提出分布鲁棒和分布风险接受的$k$-子模阻断问题，用于对抗性机器学习中的特征选择，通过有限收敛算法求解攻击-防御博弈，提供期望值的置信区间范围。
2025-06-18 cs.LG math.OC
Evaluating Time Series Foundation Models for Electricity Price Forecasting: Contamination Risk, Distributional Shifts, and Covariate Dependence
针对电价预测中时间序列基础模型在协变量驱动、非平稳设置下泛化不足的问题，提出双数据集基准框架，评估其多方面表现，发现该模型有竞争力但性能依赖协变量支持，简单集成有潜力。
2026-10-08 cs.LG cs.SY eess.SY
Distributionally Robust End-to-End Portfolio Construction
Columbia University（哥伦比亚大学）
我们提出了一个端到端的分布式鲁棒系统的投资组合建设，集成了资产收益预测模型与分布式鲁棒投资组合优化模型。我们还展示了如何直接从数据中学习风险容忍参数和鲁棒性程度。端到端系统的优势在于，在训练过程中，信息可以在预测层和决策层之间进行通信，从而允许为最终任务而不是仅为预测性能而训练参数。然而，现有的端到端系统无法量化和纠正模型风险对决策层的影响。我们提出的分布式鲁棒端到端投资组合选择系统明确考虑了模型风险的影响。决策层通过解决极大极小问题来选择投资组合，其中假设资产收益率的分布属于以名义分布为中心的模糊集。使用凸对偶，我们重铸的形式，允许有效的训练的端到端系统的极大极小问题。
2022-06-10 cs.LG math.OC q-fin.CP
Out-of-Distribution Generalization via Risk Extrapolation (REx)
Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；Vector（Vector研究所）；University of Toronto（多伦多大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
分布偏移是将机器学习预测系统从实验室转移到现实世界的主要障碍之一。为了解决这个问题，我们假设训练域之间的变化代表了我们在测试时可能遇到的变化，但测试时的变化可能在幅度上更极端。特别是，我们表明，减少训练域之间的风险差异可以降低模型对各种极端分布变化的敏感性，包括输入包含因果和反因果元素的挑战性设置。我们激励这种方法，风险外推（REx），作为一种形式的鲁棒优化的扰动集外推域（MM-REx），并提出了惩罚的方差训练风险（V-REx）作为一个更简单的变体。我们证明了REx的变体可以恢复目标的因果机制，同时还对输入分布的变化（“协变量偏移“）提供了一定的鲁棒性。通过适当地权衡因果引起的分布偏移和协变量偏移的稳健性，REx能够在这些类型的偏移同时发生的情况下优于其他方法，例如不变风险最小化。
2021-02-25 cs.AI cs.LG cs.NE
Achievable distributional robustness when the robust risk is only partially identified
ETH Zurich（苏黎世联邦理工学院）；Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单元）；Imperial College London（帝国理工学院）
本文针对鲁棒风险仅被部分识别的场景，提出最坏情况鲁棒风险度量，在线性模型中推导其极小极大最优值，并通过基因表达数据实验证明考虑部分可识别性可显著改善分布偏移下的泛化性能。
2025-02-04 cs.LG stat.ML
Distributionally Robust Learning with Stable Adversarial Training
Tsinghua University（清华大学）；Zhejiang University（浙江大学）
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。有一个新兴的文献，解决这个问题，最大限度地减少最坏情况下的风险超过不确定性集。然而，现有的方法大多数都是通过平等对待所有变量来构建歧义集，而不管它们与目标的相关性是否稳定，这导致了极大的不确定性集和低置信度的学习器。在本文中，我们提出了一种新的稳定对抗学习（SAL）算法，该算法利用异构数据源来构建更实用的不确定性集并进行差异化鲁棒性优化，其中协变量根据其与目标的相关性的稳定性进行区分。我们从理论上表明，我们的方法是易于处理的随机梯度为基础的优化，并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2022-11-21 cs.LG
Distributionally Robust Optimisation with Bayesian Ambiguity Sets
University of Warwick（华威大学）
本文提出DRO-BAS方法，利用后验信息构建贝叶斯模糊集并对最坏情况风险进行优化，以缓解模型不确定性和有限噪声观测导致的次优决策问题，并在报童问题中验证了其优于现有贝叶斯DRO方法的样本外鲁棒性。
2024-09-05 cs.LG stat.ML
Stable Adversarial Learning under Distributional Shifts
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。最近，有鲁棒的学习方法，针对这个问题，通过最小化最坏情况下的不确定性集的风险。然而，它们在构建决策集时对所有协变量一视同仁，而不考虑其与目标的相关性的稳定性，导致决策集过于庞大，学习者的置信度较低。本文提出了稳定对抗学习（SAL）算法，该算法利用异构数据源构建更实用的不确定性集，并进行差异化鲁棒性优化，其中根据协变量与目标的相关性的稳定性来区分协变量。我们从理论上表明，我们的方法是易于处理的随机梯度为基础的优化，并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2021-05-11 cs.LG stat.ML
