Blackwell optimality and policy stability for long-run risk sensitive stochastic control
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Jagiellonian University(雅盖隆大学);Polish Academy of Sciences(波兰科学院)
本文研究有限MDP长期平均风险敏感准则下最优策略对风险厌恶参数扰动的稳定性,揭示Blackwell最优性及其与消失折扣近似的联系,并通过实例阐明框架的复杂性。
2024-06-22 math.OC math.PR
Risk-Sensitive Motion Planning using Entropic Value-at-Risk
California Institute of Technology(加州理工学院)
我们考虑存在随机移动障碍物的风险敏感的运动规划问题。为此,我们采用了模型预测控制(MPC)计划和提出的避障约束MPC问题的分布鲁棒约束的KL发散模糊集。该约束是熵风险值(EVaR)的对偶表示。基于这一观点,我们提出了一个算法跟踪航路点,并讨论了其可行性和有限时间内完成。我们比较使用EVaR获得的政策与使用另一种常见的一致性风险度量,条件风险价值(CVaR),通过数值实验的2D系统。我们还实现了航路点跟踪算法的三维四轴飞行器仿真。
2021-04-10 cs.RO cs.SY eess.SY
Risk-sensitive control of reflected diffusion processes on orthrant
本文证明了带状态约束的最优风险敏感控制的存在性。利用运行费用近似单调的假设,证明了最优风险敏感控制的存在性。
2017-01-05 math.OC
Risk-sensitive control as inference with Rényi divergence
The University of Tokyo(东京大学);Kyoto University(京都大学)
本文提出基于Rényi散度的风险敏感控制作为推断(RCaI)框架,统一了风险敏感控制与强化学习,并推导出策略梯度与软演员-评论家算法。
2024-11-04 cs.LG cs.SY eess.SY
Partially Observable Risk-Sensitive Stopping Problems in Discrete Time
在本文中,我们考虑停止问题的部分观察下的一般风险敏感的优化准则的问题,有限和无限的时间范围。我们的目标是最大化确定性等价的停止奖励。我们发展了一个一般的理论,并讨论了贝叶斯风险敏感的房屋销售问题作为一个特殊的例子。特别是,我们能够研究的最佳停止规则的决策者对风险的态度的影响。
2017-03-28 math.OC math.PR
Markov risk mappings and risk-sensitive optimal prediction
在动态风险框架下,以最小的假设,我们制定了离散时间的概率马尔可夫性。这对于动态优化问题的风险敏感版本的递归解决方案很有用,例如最优预测,其中每个阶段的递归都取决于整个未来。该属性适用于实践中使用的标准风险度量,并以几个等效版本制定,包括通过接受集的表示,强版本和双重表示。
2022-09-02 math.OC math.PR q-fin.MF
On the relative value iteration with a risk-sensitive criterion
研究了离散时间受控马尔可夫链的风险敏感控制问题的动态规划方程的乘性相对值迭代算法,其状态空间为紧的波兰状态空间,扩散过程在整个欧几里得空间中.主要的结果是证明在每种情况下收敛到所需的限制。
2019-12-18 math.OC math.PR
Zero-sum stochastic differential game with risk-sensitive cost
考虑了具有风险敏感代价准则的零和对策,其动力学由受控随机微分方程给出。在动力学几何稳定的假设下,我们完全刻画了平稳马氏控制类中所有可能的鞍点策略。此外,我们还建立了Hamilton-Jacobi-Isaacs方程的值函数的存在唯一性结果。
2018-01-03 math.OC math.PR
Blackwell optimality in risk-sensitive stochastic control
Jagiellonian University(雅盖隆大学);Polish Academy of Sciences(波兰科学院)
本文研究了风险敏感随机控制中Blackwell最优性的概念,探讨了其与终极平稳性的关系,并通过示例说明了两者之间的结构性差异。
2026-01-19 math.OC math.PR
A Framework for Time-Consistent, Risk-Sensitive Model Predictive Control: Theory and Algorithms
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
本文提出了一种针对线性系统随机乘性不确定性的风险敏感模型预测控制框架,通过时间一致的动态风险评估累积成本作为目标函数,实现稳定的风险敏感MPC算法,并将其转化为可实时实现的凸优化问题。
2018-04-25 cs.SY eess.SY math.OC
Risk-Sensitive Model Predictive Control for Interaction-Aware Planning -- A Sequential Convexification Algorithm
本文针对人机交互场景中具有决策依赖分布的随机系统,提出一种风险敏感模型预测控制的序列凸化算法,通过推导目标函数与碰撞避免惩罚项的凸上界,将非凸最优控制问题转化为一系列凸问题高效求解,并在机器人导航仿真中验证了其有效性与计算优势。
2025-05-30 cs.SY eess.SY math.OC
Linear and dynamic programs for risk-sensitive cost minimization
我们推导出等价的线性和动态规划的无限时域风险敏感控制最小化的渐近增长率的累积成本。
2021-03-14 math.OC
Equivalence Between Continuous-Time Risk-Sensitive Control and Rényi Divergence Minimization
The University of Osaka(大阪大学)
本研究证明连续时间风险敏感控制等价于Rényi散度最小化,通过Girsanov定理将风险敏感度映射为散度阶数,统一了任意风险态度的概率控制框架,为采样控制算法奠定基础。
2026-09-09 cs.SY eess.SY math.OC
On the invariance of risk-sensitive LQR gain under input randomization
Seoul National University(首尔大学)
该研究证明输入随机化下风险敏感LQR的最优增益具有不变性,无需重新计算,可推动其在隐私保护等需输入随机化的控制场景中的应用。
2026-10-27 cs.SY eess.SY math.OC
Risk sensitive optimal stopping
本文考虑离散和连续时间风险敏感的最优停止问题。利用Feller-马尔可夫过程的适当性质,证明了最优停值函数的连续性,并给出了最优停策略的计算公式。接下来,我们将展示如何将连续时间框架与其离散时间类似物联系起来。通过适当的逼近,我们得到了相应值函数的一致收敛性。
2019-12-05 math.OC math.PR
Discrete time risk sensitive control problem
本文利用Krein-Rutman理论,证明了局部紧可分度量空间上受控离散时间马尔可夫过程长期风险敏感控制问题解的存在性。
2023-06-18 math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
Risk-sensitive control for the multi-class many server queue in the moderate deviation regime
在中等偏差高负荷服务状态下,考虑了G/M/N排队.在单类模型下,得到了系统内顾客过程的速率函数。研究了中等偏差尺度下多类G/M/N模型的风险敏感型最优控制问题,证明了最优控制问题是一个微分对策问题.
2013-03-11 math.OC math.PR
Risk Sensitive Control of the Lifetime Ruin Problem
研究了风险敏感控制下的寿命破产概率问题。本文考虑了Black-Scholes市场中包含一个风险资产和一个无风险资产的投资序列问题。我们提出了一个微分对策,管理的极限行为。我们明确地解决它,并使用它,以找到一个渐近最优的政策。
2016-07-24 math.OC math.PR q-fin.MF
A BSDE approach to the asymmetric risk-sensitive optimization and its applications
本文提出一种非对称风险敏感准则,基于二次BSDEs最小解定义,通过变分方法获得均值-方差表示,推导全局随机最大值原理,并给出线性二次控制问题的闭式解及动态投资组合应用。
2025-06-20 math.OC math.PR
A variational characterization of the risk-sensitive average reward for controlled diffusions on $\mathbb{R}^d$
我们解决变分形式的风险敏感的回报问题的非退化扩散$\mathbb{R}^d$通过漂移控制。我们建立了全空间上的变分公式,并证明了风险敏感值等于半线性算子的广义主特征值。这可以看作是大偏差下扩散算子主特征值的变分公式的一个受控形式。我们还重新审视了平均风险敏感的最小化问题,并通过采用本文中开发的梯度估计,我们扩展到无界漂移和运行成本的早期结果。
2020-09-04 math.AP math.OC math.PR
Policy stability and ultimate stationarity in discounted risk-sensitive stochastic control
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Jagiellonian University(雅盖隆大学);Polish Academy of Sciences(波兰科学院)
本文研究了折扣风险敏感随机控制中策略的稳定性与最终平稳性,分析了风险厌恶参数和折扣因子扰动的鲁棒性,并通过数值示例展示了最优策略的非平稳性。
2026-08-25 math.OC math.PR
Long run risk sensitive portfolio with general factors
考虑了长期风险敏感准则下的投资组合优化问题.假设刺激资产价格的经济因素是遍历的,但不一定是一致遍历的。适当的贝尔曼方程的解决方案,使用局部跨度收缩加权范数。给出了最优策略的形式,并给出了满足假设条件的市场模型的例子。
2015-08-22 math.OC q-fin.MF q-fin.PM
On the convergence of a Risk Sensitive like Filter
本文分析了一类风险敏感型滤波器的收敛性,其中风险敏感参数是时变的。这种滤波器具有类似卡尔曼的结构,并且其增益矩阵根据类似Riccati的迭代来更新。利用压缩分析证明了迭代收敛于一个不动点。
2015-09-26 math.OC
Mean-field risk sensitive control and zero-sum games for Markov chains
利用Wasserstein距离,通过一个不动点证明了跳跃强度无界的平均场型受控马尔可夫链的存在性.利用马尔可夫链熵后向逼近方法,进一步给出了平均场型风险敏感支付泛函的控制问题和零和微分对策的最优控制和鞍点存在的条件.
2018-01-23 math.OC math.PR
iRiSC: Iterative Risk Sensitive Control for Nonlinear Systems with Imperfect Observations
研究了具有不完全状态观测的非线性系统的风险敏感控制问题,推广了线性系统的结果。特别是,我们推导出一个算法,可以计算局部解的计算复杂性类似的迭代线性二次调节器算法。该算法引入可行性间隙,允许初始化与不可行的轨迹。此外,一般的非线性成本的期望值的近似,提出了一个迭代线搜索的规划问题的解决方案。最优估计器也是随着控制最小化一般的随机非线性成本。最后,进行了广泛的模拟,以显示所提出的框架相比,风险中性的iLQG对应部分时,提供了更大的鲁棒性。据作者所知,这是第一个计算风险感知最优控制的算法,该控制是过程噪声和测量不确定性的函数。
2021-10-20 cs.SY eess.SY math.OC
Risk-sensitive Necessary and Sufficient Optimality Conditions and Financial Applications: Fully Coupled Forward-Backward Stochastic Differential Equations with Jump diffusion
在本文中,我们的目标集中在风险敏感的性能泛函下的最优控制问题,其中系统是由一个完全耦合的向前-向后随机微分方程跳跃。风险中性控制系统已被用作初步步骤,其中容许控制是凸的,并且存在最优解。证明了风险敏感性能的充分必要最优性条件。在本文的最后,我们通过一个均值-方差风险敏感控制问题在现金流市场中的应用来说明我们的主要结果。
2019-03-05 math.OC
Discrete-time risk sensitive portfolio optimization with proportional transaction costs
本文研究了具有成比例交易成本的离散时间风险敏感投资组合优化问题。我们表明,在日志返回i.i.d.框架的解决方案,一个合适的贝尔曼方程存在最小的假设,并可以用来描述最优策略的风险规避和风险寻求的情况下。此外,使用数值例子,我们展示了如何贝尔曼方程分析可以用来构建或完善最佳的交易策略,在存在交易成本。
2022-01-08 math.OC q-fin.MF q-fin.PM
Continuous-time Markov decision processes under the risk-sensitive average cost criterion
本文研究了风险敏感平均费用准则下的连续时间马尔可夫决策过程。状态空间是一个有限集,行动空间是一个Borel空间,成本和转移率是有界的,风险敏感系数可以取任意正实数。在较弱的条件下,我们得到了风险敏感平均费用最优性方程解的存在性和最优确定性平稳策略的存在性.
2015-12-21 math.OC
Risk-sensitive optimal stopping with unbounded terminal cost function
本文考虑了具有无界终端费用函数的马尔可夫过程的无限时间水平风险敏感最优停止问题。我们表明,在无界的情况下,相关的Bellman方程可能有多个解决方案,我们给出了一个概率解释的最小和最大的。此外,我们展示了如何近似他们使用有限的时间范围的问题。分析,包括离散和连续时间的情况下,支持说明性的例子。
2021-10-25 math.OC math.PR
Time-inconsistent Risk-sensitive Equilibrium for Countable-stated Markov Decision Processes
研究了可数状态马尔可夫决策过程(MDP)的含参数$\e$及其极限情形($\e\rightarrow0^+$)的时间不一致风险敏感控制问题.由于成本泛函是时间不一致的,因此不可能为这两种情况找到全局最优策略。相反,对于每一种情况,我们将证明存在的时间不恒定的平衡策略,验证所谓的步骤最优。证明了$\e$ -平衡点及相应的值函数$\e\rightarrow0^+$的收敛性.
2020-10-21 math.OC math.PR
Matrix-Valued Mean-Field-Type Games: Risk-Sensitive, Adversarial, and Risk-Neutral Linear-Quadratic Case
本文研究了一类矩阵值线性二次平均场型对策的风险中性、风险敏感和鲁棒情形。团队之间的不合作,完全合作和对抗。我们提供了一个半显式的解决方案,这两个问题的直接法。状态动力学由一个条件均值-场型的矩阵值线性跳跃-扩散-状态切换系统描述,其中条件是关于公共噪声的状态切换过程.最优策略是状态-条件均值-场反馈形式。对于完全合作、对抗、风险敏感的完全合作和风险敏感的对抗情形,给出了均衡成本和均衡策略的半显式解。结果表明,充分合作通过种群风险分担增加了风险敏感决策者下的适定性域。最后,建立了平均场模型下风险敏感性与鲁棒性之间的关系。
2019-06-05 cs.GT math.OC
A variational formula for risk-sensitive reward
在具有紧度量状态空间和动作空间的离散时间Markov决策过程的无限时域风险敏感控制问题中,我们得到了最优报酬增长率的变分公式,推广了Donsker和Varadhan关于正算子Perron-Frobenius特征值的公式.这导致了一个凹最大化制定的问题,确定这个最佳的增长率。
2015-01-04 cs.IT math.IT math.OC
Exit Time Risk-Sensitive Control for Systems of Cooperative Agents
我们研究序列,参数化的代理人的数量,许多代理退出时间随机控制问题的风险敏感的费用结构。我们确定了一个充分的特征假设,在此假设下,每个这样的控制问题对应于一个风险中性的随机控制问题的附加成本,并顺序的风险中性的随机控制问题的单纯形,其中的具体信息,每个代理的状态可以被丢弃。我们还证明了,在一些额外的假设下,该序列的值函数收敛到一个确定性控制问题的值函数,它可以用于设计近最优控制的原始问题,当代理的数量是足够大的。
2018-08-22 math.OC math.PR
An Optimal Investment Problem under Correlated Noises: Risk-Sensitive Stochastic Control Approach
研究了金融市场中相关噪声下的最优投资问题,期望效用函数为指数为$γ\neq0$的双曲绝对风险厌恶函数(HARA).该问题可以转化为一个风险敏感的随机控制问题。首先得到了一个新的随机最大值原理,其中伴随方程和极大条件严重依赖于风险敏感参数和相关系数。在风险寻求情形下,通过求解一个Riccati方程,得到了状态反馈形式的最优投资策略。通过数值模拟和图形说明了最优投资策略对风险敏感参数和相关系数的敏感性。
2019-07-11 math.OC
Ergodic Risk-Sensitive Control of Markov Processes on Countable State Space Revisited
本文考虑了一类离散和连续时间控制的马氏过程,研究了遍历风险敏感极小化问题。在一个全面的稳定性假设下,我们提供了一个完整的分析。特别地,我们建立了最优平稳马尔可夫控制的值函数的唯一性和验证结果,除了存在性结果。我们也重新审视这个问题的近似单调性条件下,但没有任何稳定性假设。我们的研究结果还包括离散和连续时间框架中的政策改进算法。
2021-11-01 math.OC math.PR
On the Statistical Consistency of Risk-Sensitive Bayesian Decision-Making
我们在贝叶斯框架下研究数据驱动的决策问题,其中贝叶斯风险中的期望被风险敏感的熵风险度量所取代。我们专注于计算的后验分布是棘手的问题,在现代应用程序中的一个典型的情况下,大型数据集和复杂的数据生成模型。我们利用熵风险度量的双重表示引入一种新的风险敏感变分贝叶斯(RSVB)框架,用于联合计算风险敏感后验近似和相应的决策规则。建议RSVB框架可以用来提取计算方法做风险敏感的近似贝叶斯推理。我们表明,我们的一般框架包括两个著名的计算方法做近似贝叶斯推理即天真VB和损失校准VB。我们还研究了这些计算近似对推断的决策规则和值的预测性能的影响。我们计算了RSVB近似后验的收敛速度以及相应的最优值和决策规则。我们说明了我们的理论研究结果在参数和非参数设置的帮助下,三个例子:单一和多产品报童模型和高斯过程分类。
2021-09-09 math.OC math.PR math.ST
Relationship between Maximum Principle and Dynamic Programming Principle for Risk-Sensitive Stochastic Optimal Control Problems with Applications
本文揭示风险敏感随机最优控制中最大值原理与动态规划原理在值函数光滑条件下的内在联系,并应用于金融市场的线性二次投资组合优化。
2025-07-09 math.OC
Nonzero-sum Discrete-time Stochastic Games with Risk-sensitive Ergodic Cost Criterion
本文研究了波兰状态空间上受控离散时间 Markov 链的无限时间跨度非零和随机博弈,在风险敏感遍历成本准则下证明了最优性方程的唯一解,并通过集值映射的不动点确立了随机平稳策略下 Nash 均衡的存在性。
2024-08-23 math.OC math.PR
On the policy improvement algorithm for ergodic risk-sensitive control
本文研究了一类全空间上的多维受控扩散过程的遍历风险敏感控制问题。我们研究的最小化和最大化问题下,无论是一个毯子的稳定性假设,或近似单调的假设上的运行成本。我们建立了这些模型的政策改进算法的收敛性。我们还提出了一个更一般的结果有关的区域的吸引力的算法的平衡。
2020-08-01 math.OC math.PR
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术,我们的值函数,并规定最优控制。
2021-01-12 math.OC
Risk-sensitive discounted cost criterion for Continuous-time Markov decision processes on a general state space
本文研究了取值于一般状态空间的连续跳马尔可夫过程的风险敏感折扣控制问题。允许连续跳马氏过程的转移率和代价率是无界的。在一定的李雅普诺夫条件下,我们建立了Hamilton-Jacobi-Bellman(HJB)方程解的存在唯一性。证明了最优风险敏感控制在马尔可夫控制类中的存在性。
2021-04-26 math.OC
Risk-Sensitive Mean-Field-Type Control
研究了一类平均场型随机微分方程的风险敏感最优控制,其中允许系数依赖于律的某个泛函以及状态和控制过程.此外,风险敏感的成本泛函也是平均场型的。我们推导出无限维的最优性方程,将与Bellman泛函相关的对偶函数连接到庞特里亚金最大值原理的伴随过程。讨论了线性指数二次成本的情形及其与风险中性解的关系。
2017-02-05 math.AP math.OC
Nonzero-sum risk-sensitive stochastic differential games
研究了具有风险敏感折扣和遍历代价准则的两人非零和随机微分对策。在一定的条件下,我们建立了一个纳什均衡的马尔可夫战略的折扣成本标准和纳什均衡的平稳战略的遍历成本标准。我们通过研究耦合HJB方程的相关系统得到了我们的结果。
2016-04-05 math.OC
Risk-Sensitive Control and an Abstract Collatz-Wielandt Formula
无穷时域风险敏感控制的“值”是某个正算子的主特征值。这有利于使用张的Collatz-Wielandt公式的扩展,以获得其变分表征。对于不受控制的情况,这减少到Donsker-Varadhan功能。
2015-04-21 math.OC
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程,研究两人零和随机博弈,在转移率与费用/报酬率上下无界的温和条件下,证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
Ergodic Risk-Sensitive Control for Regime-Switching Diffusions
在本文中,我们研究了受控状态切换扩散的遍历风险敏感控制问题。在覆盖稳定性假设下,我们解决了弱耦合系统的相关非线性本征值问题,并通过适当的验证定理刻画了最优平稳马尔可夫控制。我们还考虑了近单调的情况,并获得了主特征函数和最优平稳马尔可夫控制的存在性。
2022-07-15 math.OC
Risk-sensitive control, single controller games and linear programming
本文利用单控制器博弈与线性规划的等价性,将无限时域风险敏感控制转化为无约束线性规划,并提出基于 Lagrange 乘子次梯度上升的原始-对偶数值求解框架。
2023-10-26 math.OC
A Risk-Sensitive Portfolio Optimization Problem with Fixed Incomes Securities
讨论了一类风险敏感的投资组合优化问题。我们考虑Nagai在2003年研究的投资组合优化模型。就其性质而言,该模型也可以在投资组合中包括固定收益证券。在相当一般的条件下,我们证明了有限和无限时间问题中最优投资组合的存在性。
2007-11-17 math.OC q-fin.PM
Risk-sensitive control for a class of diffusions with jumps
考虑了一类由跳跃Lévy过程和非退化Wiener过程驱动,通过漂移和跳跃大小控制的扩散模型,研究了该模型的无穷时域(遍历)风险敏感控制问题.我们从光滑有界域上的控制Dirichlet本征值问题开始,这也使我们能够推广目前文献中关于退出率控制问题的结果。然后我们考虑了无限时域平均风险敏感最小化问题和全域上的最大化问题。在适当的假设下,我们建立了Hamilton-Jacobi-Bellman(HJB)算子在全空间上的主特征函数的存在唯一性,并充分刻画了平稳Markov最优控制作为该HJB方程的可测选择子.
2021-03-01 math.AP math.OC math.PR
Risk-sensitive performance criteria and robustness of quantum systems with a relative entropy description of state uncertainty
本文探讨了量子控制系统原始风险敏感性能标准与其近期二次指数 counterpart 之间的联系,并讨论了最小化这些成本函数与系统-环境量子态不确定性鲁棒性的关系,类似于经典系统最小化 LQG 控制。
2018-02-01 cs.SY eess.SY math.OC
On Risk-Sensitive Decision Making Under Uncertainty
National Tsing Hua University(国立清华大学);Cathay Life Insurance(国泰人寿)
本文提出在不确定性下风险敏感决策的最优性条件,并通过最佳投注和库存管理示例验证了理论。
2024-04-20 cs.SY eess.SY math.OC
Regret Bounds for Episodic Risk-Sensitive Linear Quadratic Regulator
The Chinese University of Hong Kong(香港中文大学)
本文研究有限时域场景下风险敏感线性二次调节器的在线自适应控制,提出最小二乘贪心算法及引入探索噪声的改进算法,分别证明其遗憾界,并通过扰动分析和性能损失分析支撑结果。
2025-02-13 cs.LG math.OC
Zero and Non-zero Sum Risk-sensitive Semi-Markov Games
本文研究了有限状态空间半马氏过程的零和与非零和风险敏感平均准则对策。对于零和情形,在适当的假设下,我们证明了博弈有一个值。我们还建立了一个平稳的鞍点平衡的存在性。对于非零和的情况,在适当的假设下,我们建立了一个稳定的纳什均衡的存在性。
2021-06-09 math.OC