Risk-Averse Stochastic Shortest Path Planning
California Institute of Technology（加州理工学院）
我们考虑MDP中的随机最短路径规划问题，即，设计策略以确保以最小的累积成本从给定的初始状态到达目标状态的问题。为了说明罕见的，但重要的实现系统，我们认为嵌套的动态一致的风险总成本功能，而不是传统的风险中性总期望成本。在一些假设下，我们表明，最佳的，平稳的，马尔可夫政策存在，并可以通过一个特殊的贝尔曼方程。我们提出了一个计算技术的基础上的差异凸规划（DCP），以找到相关的价值函数，因此风险规避政策。漫游导航MDP是用来说明所提出的方法与条件风险价值（CVaR）和熵风险价值（EVaR）的一致性风险措施。
2021-03-26 cs.AI cs.SY eess.SY
Risk-Averse Planning via CVaR Barrier Functions: Application to Bipedal Robot Locomotion
California Institute of Technology（加州理工学院）
在存在随机不确定性的情况下实施安全是一个具有挑战性的问题。传统上，研究人员在这种情况下提出了统计平均值的安全性作为安全措施。然而，只有当系统在大量运行中的安全行为令人感兴趣时，确保统计平均值中的安全性才是合理的，这排除了在实际场景中使用平均安全性。在本文中，我们提出了一个风险敏感的安全概念，称为条件风险价值（CVaR）安全，这是关注在最坏的情况下实现的安全性能。我们引入CVaR障碍函数作为一种工具，以执行CVaR的安全性，并提出其布尔组合物的条件。给定一个传统的控制器，我们表明，我们可以设计一个最小干扰CVaR安全控制器通过求解差分凸规划。我们阐明了所提出的方法，将其应用到双足机器人运动的案例研究。
2021-03-06 cs.RO math.OC
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Risk-averse Total-reward MDPs with ERM and EVaR
University of New Hampshire Durham, NH, USA（新罕布什尔大学）；HEC Paris（巴黎高等商学院）
本文研究了在ERM和EVaR风险度量下的风险规避总回报MDP问题，证明了平稳策略可优化该目标，提出了指数值迭代等计算最优策略的方法，并发现总回报准则在风险规避强化学习中优于折扣准则。
2024-12-18 cs.AI cs.LG
RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk
University of New Hampshire（新罕布什尔大学）；Google Research（谷歌研究院）；Facebook（脸书）
针对以往安全强化学习分别处理两类不确定性的局限，提出结合风险厌恶与软鲁棒的RASR框架，用时变风险水平的动态规划高效求解最优策略，实验验证其在多风险指标下有效缓解不确定性。
2022-09-14 cs.AI cs.LG
Using deep Q-learning to understand the tax evasion behavior of risk-averse firms
Northumbria University（诺森比亚大学）；University of Macedonia（马其顿大学）；University of Oxford（牛津大学）
设计有效遏制逃税和最大限度地增加国家收入的税收政策需要对纳税人行为有严格的了解。这项工作探讨了确定一个自利的，风险厌恶的税务实体的战略，预计将遵循的问题，因为它“导航”-在马尔可夫决策过程的背景下-政府控制的税收环境，包括随机审计，处罚和偶尔的税收赦免。虽然这个问题的简化版本以前已经探讨过，风险规避（相对于风险中性）的假设增加了寻找最优政策的复杂性，远远超出了分析技术的范围。在这里，我们通过Q学习和深度强化学习的最新进展的结合来获得近似解。通过这样做，我们i）确定纳税人实体预期的逃税行为，ii）计算“平均”实体的风险规避程度，给出逃税的经验估计，iii）根据预期收入评估样本税收政策。我们的模型可以作为一个“体外”测试的税收政策的试验台，而我们的结果导致各种政策建议。
2018-01-29 cs.AI math.OC
Risk-Averse Receding Horizon Motion Planning for Obstacle Avoidance using Coherent Risk Measures
本文针对不确定动力学智能体在随机动态障碍物环境中的避障问题，提出基于相干风险度量的MPC方案，并设计航点跟随算法证明其递归可行性与有限时间任务完成保证。
2023-09-28 cs.RO cs.SY eess.SY
Distributional Method for Risk Averse Reinforcement Learning
University of Toronto（多伦多大学）
我们介绍了一个分布式的方法学习风险厌恶马尔可夫决策过程中的最优策略有限的状态动作空间，潜在成本和平稳动态。我们假设连续观察的状态，行动和成本，并使用动态风险措施构建嵌套Kusuoka型条件风险映射的政策的性能进行评估。对于这样的性能标准，随机策略可能优于确定性策略，因此，候选策略位于d维单纯形中，其中d是动作空间的基数。现有的风险规避强化学习方法很少涉及随机策略，对当前设置的幼稚扩展遭受维数灾难。通过利用嵌入在相应的动态规划原理中的某些结构，我们提出了一种分布式学习方法来寻求最优策略。价值函数的条件分布被转换成特定类型的函数，该函数的选择考虑到风险规避优化的容易性。我们使用深度神经网络来近似所述函数，说明所提出的方法避免了在探索阶段的维数灾难，并探索该方法的性能与随机选取的广泛的模型参数。
2023-02-27 cs.AI cs.LG
Risk-Averse Model Predictive Control for Racing in Adverse Conditions
Toyota Research Institute（丰田研究所）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出一种风险规避的模型预测控制框架，通过CVaR约束和基于样本的近似处理摩擦与轮胎参数不确定性，并在雷克萨斯LC 500上验证其相比确定性基线在恶劣路况下具有更可靠的车辆控制性能。
2024-10-22 cs.RO cs.SY eess.SY
Risk-averse autonomous systems: A brief history and recent developments from the perspective of optimal control
University of Toronto（多伦多大学）
我们提出了一个历史的概述之间的连接的风险分析和自治系统的控制。我们提供两个主要贡献。我们的第一个贡献是提出了三个重叠的范式来分类大量的文献：最坏情况，风险中性和风险厌恶范式。我们认为一个适当的评估自主系统的风险取决于手头的应用程序。相比之下，通常仅使用期望、方差或概率来评估风险。我们的第二个贡献是统一了风险和自治系统的概念。我们通过连接方法来量化和优化跨学术领域的系统行为所产生的风险来实现这一目标。这项调查具有高度的多学科性。我们包括来自强化学习，随机和鲁棒控制理论，运筹学和形式化验证社区的研究。我们描述了基于模型和无模型的方法，重点放在前者。最后，我们强调了进一步研究的富有成效的领域。一个关键的方向是将风险规避的基于模型的方法和无模型方法相结合，以增强系统的实时适应能力，从而改善人类和环境福利。
2022-07-11 cs.AI
Risk-Averse Trajectory Optimization via Sample Average Approximation
Stanford University（斯坦福大学）；University of Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）
针对不确定性下机器人轨迹优化难题，提出带全时域平均风险价值约束的连续时间规划及样本平均近似算法，证明渐近最优性与有限样本误差界，并验证其高效可靠。
2023-09-27 cs.RO cs.SY eess.SY
Character Training for Risk-Averse Agents
Columbia University（哥伦比亚大学）；UK AI Security Institute（英国人工智能安全研究所）；Arcadia Impact；National University of Singapore（新加坡国立大学）；Resolution
通过性格训练向智能体灌输风险厌恶偏好，使其倾向安全策略，实验表明该方法有效且可扩展，有助于缓解错位AI风险。
2026-09-30 cs.AI
Path Planning Using Wassertein Distributionally Robust Deep Q-learning
Lund University（隆德大学）
本文从深度强化学习和分布鲁棒优化的角度研究了风险规避机器人路径规划问题。我们的问题制定涉及到建模的机器人作为一个随机线性动力系统，假设收集的过程噪声样本是可用的。我们投风险规避运动规划问题作为一个马尔可夫决策过程，并提出了一个连续的奖励函数设计，明确考虑到与障碍物碰撞的风险，同时鼓励机器人的运动目标。我们通过Lipschitz近似Wasserstein分布鲁棒深度Q学习来学习风险规避机器人控制动作，以对冲噪声不确定性。学习的控制动作导致从源到目标的安全和风险规避轨迹，避免所有障碍物。各种支持的数值模拟来证明我们所提出的方法。
2022-11-04 cs.RO cs.SY eess.SY
Active Next-Best-View Optimization for Risk-Averse Path Planning
Department of Mechanical Engineering and Mechanics, Lehigh University（机械工程与力学系，莱维大学）；Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学）
提出统一框架，结合风险规避路径细化与下一最佳视角优化，利用尾部敏感风险图和黎曼梯度下降，在不确定环境中实现安全高效的主动导航。
2025-10-07 cs.CV cs.RO
An Alternative to Variance: Gini Deviation for Risk-averse Policy Gradient
University of Oxford（牛津大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）
针对风险规避强化学习中基于方差的风险度量方法存在数值尺度敏感、阻碍策略学习等局限，提出用基尼偏差替代方差，推导了相应策略梯度算法，实验证明其可在方差和基尼偏差维度实现高回报低风险。
2023-11-02 cs.AI cs.LG
Robust Quadrupedal Locomotion via Risk-Averse Policy Learning
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Tencent Robotics X（腾讯Robotics X实验室）；Northwestern Polytechnical University（西北工业大学）
本文提出一种风险规避策略学习方法，利用分位数回归和风险扭曲度量增强四足机器人在不确定环境下的运动鲁棒性，实验验证其有效性。
2023-09-01 cs.RO
Optimistic Exploration for Risk-Averse Constrained Reinforcement Learning
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林三一学院）
本文提出乐观风险规避演员-评论家（ORAC）方法，通过上界奖励与下界风险成本的探索策略，在满足安全约束的同时避免次优收敛，并在 Safety-Gymnasium 和 CityLearn 中显著改善奖励-成本权衡。
2025-08-27 cs.AI cs.LG
Measures of Variability for Risk-averse Policy Gradient
School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）；Vector Institute（矢量研究所）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）
本文针对风险规避强化学习中变异性度量未被充分探索的问题，研究九种变异性度量（含四种新度量），推导其策略梯度公式并结合现有框架，实证发现CVaR偏差等度量性能更优，为相关研究提供指导。
2025-04-15 cs.AI cs.LG
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Risk-averse Behavior Planning for Autonomous Driving under Uncertainty
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Automotive Research（高通汽车研究院）
自动驾驶车辆必须在周围环境中导航，并具有共享道路的其他物体的部分可观测性。自动驾驶车辆测量中的不确定性来源包括传感器融合误差、由于天气或目标检测延迟而导致的有限传感器范围、遮挡以及诸如其他人类驾驶员意图之类的隐藏参数。行为规划必须考虑所有来源的不确定性，在决定未来的车辆操纵。本文提出了一个可扩展的框架，风险规避行为规划下的不确定性，结合QMDP，无迹变换和蒙特卡罗树搜索（MCTS）。结果表明，置信上限（UCB）扩大树的结果在嘈杂的Q值估计的MCTS和QMDP的性能下降。提出了一种改进的MCTS动作选择过程，以实现鲁棒性能。
2018-12-04 cs.AI cs.RO
Risk-Averse Biased Human Policies in Assistive Multi-Armed Bandit Settings
TU Wien（维也纳工业大学）
辅助多臂强盗问题可以用来模拟人类和自主系统（如家庭服务机器人）之间的团队情况。为了解释人类的偏见，如累积前景理论中描述的风险厌恶，设置扩展到使用可观察的奖励。当机器人利用关于风险厌恶的人类模型的知识时，它们消除了偏见，做出了更理性的选择。我们提出了一种算法，增加了这样的人类机器人团队的实用价值。一个简短的评估表明，可以处理任意的奖励函数。
2021-04-12 cs.RO
Risk-Averse Planning and Plan Assessment for Marine Robots
IT University of Copenhagen（哥本哈根信息技术大学）；University of Oslo（奥斯陆大学）；Rosenxt（罗森克斯公司）
针对AUV抽象任务规划在实际执行中可能次优或不可靠的问题，提出先生成多样化高层规划再通过低层仿真评估筛选可靠候选的方法，并在逼真水下机器人仿真中验证其可行性与有效性。
2024-10-01 cs.RO
Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits
University at Buffalo（布法罗大学）；University of Notre Dame（诺特尔大学）
本文提出LLM-RCO框架，利用大语言模型整合人类驾驶常识，以提升自动驾驶在感知缺陷下的风险规避与适应性控制能力。
2025-12-12 cs.AI cs.LG cs.RO
Risk-Averse Traversal of Graphs with Stochastic and Correlated Edge Costs for Safe Global Planetary Mobility
Space & Terrestrial Autonomous Robotic Systems (STARS) Laboratory（空间与陆地自主机器人系统实验室）；University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
本文提出了一种新的风险规避加拿大旅行者问题变体，旨在通过条件值在风险度量下寻找最优遍历策略，结合真实火星地图验证了该方法在行星表面长距离移动中的有效性。
2026-05-07 cs.RO
Safe Risk-averse Bayesian Optimization for Controller Tuning
Inspire AG（Inspire股份公司）；ETH Zurich（苏黎世联邦理工学院）
针对控制器整定中未知输入相关噪声与安全约束的挑战，提出结合安全学习与风险规避贝叶斯优化的RaGoOSE方法，并在合成基准及半导体精密运动系统上验证其优于现有方法。
2023-06-23 cs.RO cs.SY eess.SY
Risk-Averse $ω$-regular Markov Decision Process Control
University of Bremen（不来梅大学）；DFKI GmbH（德国人工智能研究中心有限公司）；University of Pennsylvania（宾夕法尼亚大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
本文提出一种新的优化准则，用于处理无限时间 horizon 的ω-正则规范满足问题，通过风险规避策略在机器人控制中验证其有效性。
2017-05-02 cs.LO cs.RO cs.SY
