RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk
University of New Hampshire（新罕布什尔大学）；Google Research（谷歌研究院）；Facebook（脸书）
针对以往安全强化学习分别处理两类不确定性的局限，提出结合风险厌恶与软鲁棒的RASR框架，用时变风险水平的动态规划高效求解最优策略，实验验证其在多风险指标下有效缓解不确定性。
2022-09-14 cs.AI cs.LG
Risk-Averse Finetuning of Large Language Models
Amazon Web Services (AWS)（亚马逊网络服务（AWS））；Texas A&M University（德克萨斯农工大学）
针对大语言模型易生成有害内容的问题，提出将风险厌恶原则融入微调，通过优化CVaR训练模型，实验验证该RLHF方法可在保持生成能力的同时有效减少有毒输出，助力构建更安全的在线环境。
2025-01-12 cs.AI cs.CL
Risk-averse autonomous systems: A brief history and recent developments from the perspective of optimal control
University of Toronto（多伦多大学）
我们提出了一个历史的概述之间的连接的风险分析和自治系统的控制。我们提供两个主要贡献。我们的第一个贡献是提出了三个重叠的范式来分类大量的文献：最坏情况，风险中性和风险厌恶范式。我们认为一个适当的评估自主系统的风险取决于手头的应用程序。相比之下，通常仅使用期望、方差或概率来评估风险。我们的第二个贡献是统一了风险和自治系统的概念。我们通过连接方法来量化和优化跨学术领域的系统行为所产生的风险来实现这一目标。这项调查具有高度的多学科性。我们包括来自强化学习，随机和鲁棒控制理论，运筹学和形式化验证社区的研究。我们描述了基于模型和无模型的方法，重点放在前者。最后，我们强调了进一步研究的富有成效的领域。一个关键的方向是将风险规避的基于模型的方法和无模型方法相结合，以增强系统的实时适应能力，从而改善人类和环境福利。
2022-07-11 cs.AI
Character Training for Risk-Averse Agents
Columbia University（哥伦比亚大学）；UK AI Security Institute（英国人工智能安全研究所）；Arcadia Impact；National University of Singapore（新加坡国立大学）；Resolution
通过性格训练向智能体灌输风险厌恶偏好，使其倾向安全策略，实验表明该方法有效且可扩展，有助于缓解错位AI风险。
2026-09-30 cs.AI
Risk-Averse Planning Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存，因此是不可判定的。为了克服这个困难，我们提出了一种基于有界策略迭代的方法来设计随机但有限状态（记忆）控制器，它利用了标准的凸优化方法。给定一个内存预算和最优性准则，该方法修改随机有限状态控制器，导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
Distributional Method for Risk Averse Reinforcement Learning
University of Toronto（多伦多大学）
我们介绍了一个分布式的方法学习风险厌恶马尔可夫决策过程中的最优策略有限的状态动作空间，潜在成本和平稳动态。我们假设连续观察的状态，行动和成本，并使用动态风险措施构建嵌套Kusuoka型条件风险映射的政策的性能进行评估。对于这样的性能标准，随机策略可能优于确定性策略，因此，候选策略位于d维单纯形中，其中d是动作空间的基数。现有的风险规避强化学习方法很少涉及随机策略，对当前设置的幼稚扩展遭受维数灾难。通过利用嵌入在相应的动态规划原理中的某些结构，我们提出了一种分布式学习方法来寻求最优策略。价值函数的条件分布被转换成特定类型的函数，该函数的选择考虑到风险规避优化的容易性。我们使用深度神经网络来近似所述函数，说明所提出的方法避免了在探索阶段的维数灾难，并探索该方法的性能与随机选取的广泛的模型参数。
2023-02-27 cs.AI cs.LG
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而，一个已知的问题是，政策过度适应培训环境，可能无法避免罕见的灾难性事件，如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练，但这种方法只能防止常见情况。最近，鲁棒对抗强化学习（RARL）被开发出来，它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是，只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此，代理不考虑灾难性事件的概率（即，那些诱导异常大的负奖励），除非通过它们对预期目标的影响。在本文中，我们介绍了风险规避鲁棒对抗强化学习（RARARL），使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明，一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手，和经验大大减少崩溃相比，没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Conformal Risk-Averse Decision Making with Optimized Certainty Equivalent Risk Control
该研究针对智能体在系统状态不确定时的风险厌恶决策问题，提出基于优化确定性等价（OCE）的风险控制策略，将已知分布下的最优策略简化为CVaR的预测集解，并通过数据驱动校准策略在无线波束成形场景中验证了其OCE风险高概率控制效果。
2026-08-31 cs.AI cs.IT cs.LG
Risk-Averse Stochastic Shortest Path Planning
California Institute of Technology（加州理工学院）
我们考虑MDP中的随机最短路径规划问题，即，设计策略以确保以最小的累积成本从给定的初始状态到达目标状态的问题。为了说明罕见的，但重要的实现系统，我们认为嵌套的动态一致的风险总成本功能，而不是传统的风险中性总期望成本。在一些假设下，我们表明，最佳的，平稳的，马尔可夫政策存在，并可以通过一个特殊的贝尔曼方程。我们提出了一个计算技术的基础上的差异凸规划（DCP），以找到相关的价值函数，因此风险规避政策。漫游导航MDP是用来说明所提出的方法与条件风险价值（CVaR）和熵风险价值（EVaR）的一致性风险措施。
2021-03-26 cs.AI cs.SY eess.SY
Online Risk-Averse Planning in POMDPs Using Iterated CVaR Value Function
Technion - Israel Institute of Technology（以色列理工学院）
本文提出在POMDPs中使用ICVaR价值函数进行在线风险厌恶规划，通过扩展三种算法以优化风险度量，实验显示其在降低尾部风险方面优于传统方法。
2026-01-28 cs.AI
An Alternative to Variance: Gini Deviation for Risk-averse Policy Gradient
University of Oxford（牛津大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）
针对风险规避强化学习中基于方差的风险度量方法存在数值尺度敏感、阻碍策略学习等局限，提出用基尼偏差替代方差，推导了相应策略梯度算法，实验证明其可在方差和基尼偏差维度实现高回报低风险。
2023-11-02 cs.AI cs.LG
Decision Theoretic Foundations for Conformal Prediction: Optimal Uncertainty Quantification for Risk-Averse Agents
University of Pennsylvania（宾夕法尼亚大学）
本文从决策论角度证明预测集对风险厌恶决策者最优，提出最大最小决策策略和风险厌恶校准算法RAC，在保证安全阈值的同时提升下游效用。
2025-02-04 cs.AI cs.LG stat.ML
Risk-averse Behavior Planning for Autonomous Driving under Uncertainty
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Automotive Research（高通汽车研究院）
自动驾驶车辆必须在周围环境中导航，并具有共享道路的其他物体的部分可观测性。自动驾驶车辆测量中的不确定性来源包括传感器融合误差、由于天气或目标检测延迟而导致的有限传感器范围、遮挡以及诸如其他人类驾驶员意图之类的隐藏参数。行为规划必须考虑所有来源的不确定性，在决定未来的车辆操纵。本文提出了一个可扩展的框架，风险规避行为规划下的不确定性，结合QMDP，无迹变换和蒙特卡罗树搜索（MCTS）。结果表明，置信上限（UCB）扩大树的结果在嘈杂的Q值估计的MCTS和QMDP的性能下降。提出了一种改进的MCTS动作选择过程，以实现鲁棒性能。
2018-12-04 cs.AI cs.RO
Conformal Risk-Averse Decision Making with Action Conditional Guarantee
University of California, Berkeley（加州大学伯克利分校）
提出行动条件共形预测方法，通过分位数损失最小化算法实现行动条件风险价值优化，在有限样本下提供行动条件安全保证。
2026-06-11 cs.AI cs.LG stat.ML
Optimistic Exploration for Risk-Averse Constrained Reinforcement Learning
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林三一学院）
本文提出乐观风险规避演员-评论家（ORAC）方法，通过上界奖励与下界风险成本的探索策略，在满足安全约束的同时避免次优收敛，并在 Safety-Gymnasium 和 CityLearn 中显著改善奖励-成本权衡。
2025-08-27 cs.AI cs.LG
Constrained Risk-Averse Markov Decision Processes
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
研究了具有动态一致风险目标和约束条件的马尔可夫决策过程的策略设计问题。我们首先在拉格朗日框架中阐述这个问题。在假设风险目标和约束可以用马尔可夫风险转移映射表示的前提下，提出了一种基于优化的方法来合成马尔可夫策略，使约束风险规避问题下界化.我们表明，制定的优化问题是在差分凸规划（DCP）的形式，并可以解决纪律凹凸规划（DCCP）框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。最后，我们说明了所提出的方法的有效性与数值实验的漫游车导航问题，涉及条件风险价值（CVaR）和熵风险价值（EVaR）的一致风险措施。
2021-03-28 cs.AI cs.RO cs.SY
Measures of Variability for Risk-averse Policy Gradient
School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）；Vector Institute（矢量研究所）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）
本文针对风险规避强化学习中变异性度量未被充分探索的问题，研究九种变异性度量（含四种新度量），推导其策略梯度公式并结合现有框架，实证发现CVaR偏差等度量性能更优，为相关研究提供指导。
2025-04-15 cs.AI cs.LG
Using deep Q-learning to understand the tax evasion behavior of risk-averse firms
Northumbria University（诺森比亚大学）；University of Macedonia（马其顿大学）；University of Oxford（牛津大学）
设计有效遏制逃税和最大限度地增加国家收入的税收政策需要对纳税人行为有严格的了解。这项工作探讨了确定一个自利的，风险厌恶的税务实体的战略，预计将遵循的问题，因为它“导航”-在马尔可夫决策过程的背景下-政府控制的税收环境，包括随机审计，处罚和偶尔的税收赦免。虽然这个问题的简化版本以前已经探讨过，风险规避（相对于风险中性）的假设增加了寻找最优政策的复杂性，远远超出了分析技术的范围。在这里，我们通过Q学习和深度强化学习的最新进展的结合来获得近似解。通过这样做，我们i）确定纳税人实体预期的逃税行为，ii）计算“平均”实体的风险规避程度，给出逃税的经验估计，iii）根据预期收入评估样本税收政策。我们的模型可以作为一个“体外”测试的税收政策的试验台，而我们的结果导致各种政策建议。
2018-01-29 cs.AI math.OC
RAIL: Risk-Averse Imitation Learning
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IIT Madras（印度理工学院马德拉斯分校）；Parallel Computing Lab - Intel Labs, India（英特尔实验室印度并行计算实验室）
模仿学习算法通过在奖励信号不可用时模仿专家的行为来学习可行的策略。生成对抗模仿学习（GAIL）是一种最先进的学习策略算法，当专家的行为作为一组固定的轨迹可用时。我们评估的专家的成本函数，并观察到，分布的自动化成本往往是更重尾GAIL代理比专家在一些基准连续控制任务。因此，高成本的轨迹，对应于灾难性故障的尾端事件，更有可能遇到的GAIL代理比专家。这使得GAIL代理的可靠性在机器人手术和自动驾驶等风险敏感应用中的部署受到质疑。在这项工作中，我们的目标是通过最小化GAIL框架内的尾部风险来最大限度地减少尾部事件的发生。我们通过轨迹的条件风险价值（CVaR）来量化尾部风险，并开发了风险规避模仿学习（RAIL）算法。我们观察到，使用RAIL学习的策略显示出比普通GAIL更低的尾端风险。因此，建议的RAIL算法出现作为一个有效的替代GAIL的风险敏感的应用程序中提高可靠性。
2017-11-29 cs.AI cs.LG
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits
University at Buffalo（布法罗大学）；University of Notre Dame（诺特尔大学）
本文提出LLM-RCO框架，利用大语言模型整合人类驾驶常识，以提升自动驾驶在感知缺陷下的风险规避与适应性控制能力。
2025-12-12 cs.AI cs.LG cs.RO
