Risk-Sensitive Motion Planning using Entropic Value-at-Risk
California Institute of Technology(加州理工学院)
我们考虑存在随机移动障碍物的风险敏感的运动规划问题。为此,我们采用了模型预测控制(MPC)计划和提出的避障约束MPC问题的分布鲁棒约束的KL发散模糊集。该约束是熵风险值(EVaR)的对偶表示。基于这一观点,我们提出了一个算法跟踪航路点,并讨论了其可行性和有限时间内完成。我们比较使用EVaR获得的政策与使用另一种常见的一致性风险度量,条件风险价值(CVaR),通过数值实验的2D系统。我们还实现了航路点跟踪算法的三维四轴飞行器仿真。
2021-04-10 cs.RO cs.SY eess.SY
iRiSC: Iterative Risk Sensitive Control for Nonlinear Systems with Imperfect Observations
研究了具有不完全状态观测的非线性系统的风险敏感控制问题,推广了线性系统的结果。特别是,我们推导出一个算法,可以计算局部解的计算复杂性类似的迭代线性二次调节器算法。该算法引入可行性间隙,允许初始化与不可行的轨迹。此外,一般的非线性成本的期望值的近似,提出了一个迭代线搜索的规划问题的解决方案。最优估计器也是随着控制最小化一般的随机非线性成本。最后,进行了广泛的模拟,以显示所提出的框架相比,风险中性的iLQG对应部分时,提供了更大的鲁棒性。据作者所知,这是第一个计算风险感知最优控制的算法,该控制是过程噪声和测量不确定性的函数。
2021-10-20 cs.SY eess.SY math.OC
Risk-Sensitive Mean-Field Type Control under Partial Observation
KTH Royal Institute of Technology(瑞典皇家理工学院);New York University(纽约大学)
本文研究部分观察的均场类型扩散控制问题,建立考虑风险敏感性能函数的随机最大原理。
2014-11-26 cs.SY eess.SY math.OC
Risk Sensitive, Nonlinear Optimal Control: Iterative Linear Exponential-Quadratic Optimal Control with Gaussian Noise
ETH Zürich(苏黎世联邦理工学院)
本文提出ILEG算法,用于求解非线性随机最优控制问题的风险敏感解,通过线性二次近似指数风险敏感非线性控制问题,扩展了迭代线性二次方法的应用范围。
2015-12-22 cs.SY eess.SY
A Policy Gradient Algorithm for the Risk-Sensitive Exponential Cost MDP
我们研究了风险敏感的指数成本MDP公式,并开发了一个基于概率的梯度算法,以找到与一组参数化的政策相关的成本的平稳点。我们推导出一个公式,可以用来计算从(状态,动作,成本)信息收集的样本路径的MDP为每个固定的参数化政策的政策梯度。与传统的平均成本问题不同,标准的随机近似理论不能用于利用这个公式。为了解决这个问题,我们引入了一个截断和光滑版本的风险敏感成本,并表明,这个新的成本标准可以用来近似的风险敏感成本和梯度一致的一些温和的假设。然后,我们开发了一个基于概率的梯度算法,以尽量减少平滑截断估计的风险敏感成本和条件下,一系列的截断可以用来解决原来的,未截断的成本问题。
2022-08-29 cs.SY eess.SY
Risk-sensitive safety analysis using Conditional Value-at-Risk
本文提出了一种随机系统的安全分析方法,该方法对罕见的有害结果的可能性和严重性敏感。我们将风险敏感安全集定义为非标准最优控制问题解的子水平集,其中通过条件风险价值(CVaR)评估随机最大成本。目标函数表示状态轨迹的约束违反的最大程度,在给定百分比的最坏情况下平均。这个问题是有动机的,但难以解决,因为CVaR的时间分解是历史依赖的。我们的主要理论贡献是获得计算上易于处理的下近似风险敏感的安全集。我们的方法提供了一个新的,理论上保证,参数依赖的上限CVaR的最大成本,而不需要增加的状态空间。对于一个固定的参数值,只需要一个马尔可夫决策过程问题的解,就可以得到任何风险敏感度水平族的欠近似解。此外,我们提出了风险敏感的安全集的第二个定义,并提供了一个易于处理的方法来估计,而不使用参数依赖的上限。第二个定义是一个新的一致的风险功能,这是受CVaR的启发。我们证明了我们的主要理论贡献,通过数值例子。
2022-06-25 cs.SY eess.SY
Risk-sensitive control as inference with Rényi divergence
The University of Tokyo(东京大学);Kyoto University(京都大学)
本文提出基于Rényi散度的风险敏感控制作为推断(RCaI)框架,统一了风险敏感控制与强化学习,并推导出策略梯度与软演员-评论家算法。
2024-11-04 cs.LG cs.SY eess.SY
A Risk-Sensitive Finite-Time Reachability Approach for Safety of Stochastic Dynamic Systems
University of California, Berkeley(加州大学伯克利分校);SRI International(SRI国际研究所);Stanford University(斯坦福大学);OptiRTC, Inc.(OptiRTC公司);Tufts University(塔夫茨大学)
本文提出一种风险敏感的有限时间可达性方法,用于在非对抗性扰动下确保随机动态系统的安全性,通过引入风险敏感安全集的概念,并将其转化为马尔可夫决策过程的求解问题,提供了一种可计算的算法来近似该安全集,并通过实际案例验证了方法的有效性。
2019-04-30 cs.SY eess.SY
Risk-sensitive Affine Control Synthesis for Stationary LTI Systems
本文针对稳态LTI系统提出基于W-CVaR的风险敏感仿射控制综合方法,仅利用噪声一二阶矩处理非零均值噪声,并将问题转化为BMI后设计有收敛保证的交替优化算法,数值实验表明其性能优于朴素LQR基线。
2024-10-23 cs.SY eess.SY
Conditional Value at Risk-Sensitive Solar Hosting Capacity Analysis in Distribution Networks
太阳能托管容量分析(HCA)评估配电网络在不严重违反配电网络约束的情况下托管分布式太阳能发电的能力。在本文中,我们考虑风险敏感的HCA,限制了网络约束违反的风险与太阳辐照度和节点的电力需求,其中风险建模通过条件风险值(CVaR)措施的情况下的集合。首先,我们考虑最大化总太阳能装机容量的问题,受风险约束,并解决它作为一个二阶锥规划(SOCP)与标准的圆锥松弛的可行集与功率流方程。其次,我们设计了一个增量算法来决定是否配置的太阳能装置有可接受的约束违反的风险,通过CVaR建模。该算法通过从先前进行的此类测试中递增地构建可接受的太阳能安装配置的集合的内部和外部多面体近似来规避明确的风险计算。我们的数值示例研究了风险参数的影响,场景的数量和我们框架的可扩展性。
2022-04-19 cs.SY eess.SY
Risk-sensitive performance criteria and robustness of quantum systems with a relative entropy description of state uncertainty
本文探讨了量子控制系统原始风险敏感性能标准与其近期二次指数 counterpart 之间的联系,并讨论了最小化这些成本函数与系统-环境量子态不确定性鲁棒性的关系,类似于经典系统最小化 LQG 控制。
2018-02-01 cs.SY eess.SY math.OC
Risk-sensitive safety specifications for stochastic systems using Conditional Value-at-Risk
本文提出了一种安全分析方法,有利于最坏情况和风险中性观点之间的可调平衡。首先,我们定义了一个风险敏感的安全集,以指定的安全程度所达到的随机系统。这个集合被定义为最优控制问题的解的子水平集合,该最优控制问题使用条件风险价值(CVaR)度量来表示。这个问题不满足贝尔曼原理,因此我们的下一个贡献是展示如何风险敏感的安全集可以下近似的CVaR-马尔可夫决策过程的解决方案。本文采用一种已有的数值迭代算法,求出了一类线性系统约化问题的近似解。然后,我们开发了一个现实的雨水系统的数值例子,表明这种方法可以应用到非线性系统。最后,我们比较了CVaR准则和指数负效用准则。后者在成本分布中均匀分配控制工作以减少方差,而CVaR标准将控制工作集中在给定的最坏情况分位数上-这对安全性最重要。
2020-07-27 cs.SY eess.SY
Cooperative Energy Scheduling of Multi-Microgrids Based on Risk-Sensitive Reinforcement Learning
Guangxi University(广西大学);Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学);Aalto University(阿尔托大学);Charleston Southern University(查尔斯顿南方大学)
本文提出基于共享内存的风险敏感强化学习框架,用于多微电网的协同能源调度,通过量化个体与联合风险值关系提升调度可靠性与经济性。
2025-12-19 cs.SY eess.SY
On Risk-Sensitive Decision Making Under Uncertainty
National Tsing Hua University(国立清华大学);Cathay Life Insurance(国泰人寿)
本文提出在不确定性下风险敏感决策的最优性条件,并通过最佳投注和库存管理示例验证了理论。
2024-04-20 cs.SY eess.SY math.OC
Risk-Sensitive Inhibitory Control for Safe Reinforcement Learning
受人类反应抑制与风险态度相关的研究启发,提出基于风险感知价值函数条件的风险敏感型抑制控制方法,通过强化学习学习价值函数并在线执行安全约束,在仿真中验证了该安全强化学习控制方案的有效性。
2023-10-02 cs.SY eess.SY
A Stochastic Maximum Principle for Risk-Sensitive Mean-Field Type Control
KTH Royal Institute of Technology(皇家理工学院);KAUST(阿卜杜拉国王科技大学)
本文研究了具有风险敏感性能函数的均场类型控制问题,推导了适用于均场类型随机微分方程最优控制的随机最大原理,扩展了Lim和Zhou(2005)的无均场耦合风险敏感随机最大原理,适用于非马尔可夫动态且可能时间不一致的最优控制问题。
2014-04-05 cs.SY eess.SY math.OC
Optimal Transport-Assisted Risk-Sensitive Q-Learning
Rochester Institute of Technology(罗切斯特理工学院)
针对传统强化学习忽略风险安全的问题,提出融合最优传输理论的风险敏感Q学习算法,在Gridworld实验中验证其可减少风险状态访问并加快收敛。
2024-09-11 cs.LG cs.SY eess.SY
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Iowa(爱荷华大学)
本文首次证明了修正策略迭代(MPI)在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性,并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Jump-Diffusion Risk-Sensitive Asset Management II: Jump-Diffusion Factor Model
Imperial College London(帝国理工学院);Reims Management School(兰斯管理学院)
本文扩展了早期跳跃扩散风险敏感资产管理问题,通过允许因子过程和资产价格中的跳跃、随机波动率及投资约束,利用粘性解与策略改进论证证明了HJB偏积分微分方程存在唯一光滑解,并给出验证定理。
2012-09-11 cs.SY eess.SY math.OC
Risk-Sensitive Stochastic Optimal Control as Rao-Blackwellized Markovian Score Climbing
Aalto University(阿尔托大学)
本文提出将风险敏感随机控制视为条件粒子滤波器采样下的马尔可夫得分攀升,提供渐近无偏的梯度策略优化,无需价值函数学习,并在神经非高斯反馈策略学习任务上验证了有效性。
2023-12-21 cs.LG cs.SY eess.SY
Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty
本文研究了在熵正则化探索扩散过程中,连续时间风险敏感强化学习的指数形式目标。通过鞅视角,将风险敏感RL问题转化为保证价值函数和q函数过程的鞅性质,并通过二次变分惩罚项来捕捉轨迹上的价值变化。
2026-03-15 cs.LG cs.SY eess.SY
Risk-Sensitive Reinforcement Learning with Exponential Criteria
University of Maryland(马里兰大学);Institute for Systems Research(系统研究学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对强化学习对系统参数噪声和扰动敏感的问题,提出基于指数准则的风险敏感强化学习方法,以近似鲁棒策略,提升样本效率与鲁棒性,并在模拟实验中验证了方法性能。
2024-11-29 cs.AI cs.LG cs.SY
Lie-algebraic connections between two classes of risk-sensitive performance criteria for linear quantum stochastic systems
Research School of Engineering, College of Engineering and Computer Science, Australian National University(澳大利亚国立大学工程与研究学院)
本文探讨了量子随机系统原始风险敏感性能标准及其最近的二次指数对应物之间的李代数联系,旨在将一个类的风险敏感成本的有用属性扩展到另一个类,并开发状态空间方程用于量子鲁棒控制和滤波问题中的计算和优化。
2019-03-02 cs.SY eess.SY math-ph
Risk-Aware Model Predictive Path Integral Control Using Conditional Value-at-Risk
Georgia Institute of Technology(佐治亚理工学院)
针对具有任意形式不确定性的自主机器人,提出了一种新的模型预测控制方法。建议的风险感知模型预测路径积分(RA-MPPI)控制利用条件风险值(CVaR)措施,以产生安全关键的机器人应用程序的最优控制行动。与大多数现有的随机MPC和CVaR优化方法将原始动态线性化并将控制任务表示为凸规划不同,该方法直接使用原始动态而不限制代价函数的形式或噪声。我们将新的RA-MPPI控制器应用于自动驾驶汽车,在混乱的环境中执行积极的驾驶机动。我们的模拟和实验表明,建议的RA-MPPI控制器可以实现约相同的单圈时间,显着减少碰撞相比,基线MPPI控制器。建议的控制器进行在线计算的更新频率高达80 Hz,利用现代图形处理单元(GPU)的多线程生成的轨迹以及CVaR值。
2022-09-26 cs.RO cs.SY eess.SY
Distributed Risk-Sensitive Safety Filters for Uncertain Discrete-Time Systems
Department of Electrical and Computer Engineering, College of Design and Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系,设计与工程学院);Learning & Adaptive Systems Group, Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系学习与自适应系统小组)
本文提出一种分布式风险敏感安全滤波器,用于不确定离散时间多智能体系统,通过价值函数定义的控制屏障函数和两种替代策略确保安全性与鲁棒性。
2025-06-09 cs.AI cs.LG cs.SY
Entropic Risk-Sensitive Evolutionary Learning and Equilibrium Selection in Coordination Games
University of Maryland, College Park(马里兰大学帕克分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出熵风险敏感进化学习模型,证明在协调博弈中,种群风险态度可系统性调控长期均衡选择,风险寻求偏向收益占优均衡,风险规避偏向最大最小均衡。
2026-09-09 cs.GT cs.MA cs.SY
Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究所)
提出了一种基于风险敏感随机最优控制的在线安全人群-机器人交互框架,其中风险由熵风险度量建模。基于采样的模型预测控制依赖于模式插入梯度优化的风险措施,以及Trajectron++,一个国家的最先进的生成模型,产生多模式的概率轨迹预测多个相互作用的代理。我们的模块化方法将人群-机器人交互集成到基于学习的预测和基于模型的控制中,这与端到端的策略学习方法相比是有利的,因为它允许机器人在运行时间指定所需的行为。特别是,我们表明,机器人表现出不同的相互作用行为,通过改变风险敏感度参数。仿真研究和真实世界的实验表明,所提出的在线框架可以实现安全和高效的导航,同时避免与场景中超过50人的碰撞。
2020-09-12 cs.AI cs.LG cs.RO