Exploratory Randomization for Discrete-Time Linear Exponential Quadratic Gaussian (LEQG) Problem
本文针对离散时间扩展LEQG控制问题引入控制随机化以实现探索,并利用自由能与相对熵对偶将其转化为带熵正则化的风险中性LQG问题,进而提出基于动态规划的求解方法,为随机化控制中熵正则化的使用提供了理论依据。
2025-09-18 math.OC q-fin.PM
Optimizing distortion riskmetrics with distributional uncertainty
具有分布不确定性的失真风险度量的优化在金融和运筹学中有着广泛的应用。失真风险度量包括许多常用的风险度量和偏差度量,它们不一定是单调或凸的。我们的主要发现之一是一个统一的结果,使我们能够转换一个优化的非凸失真riskmetric与分布的不确定性,凸的,导致很大的易处理性。统一等价结果的充分条件是集中闭性的新概念,其变体也被证明是等价所必需的。我们的研究结果包括许多特殊情况下,以及在优化文献中研究,包括但不限于优化概率,风险价值,预期不足,雅里的双重效用,失真风险措施之间的差异,在各种形式的分布不确定性。我们说明我们的理论结果,通过应用程序的投资组合优化,矩约束下的优化,偏好鲁棒优化。
2022-02-23 math.OC math.PR q-fin.RM
Tight Bounds for a Class of Data-Driven Distributionally Robust Risk Measures
本文扩展了鲁棒矩问题的概念,采用Wasserstein距离作为模糊度度量,将分布模糊度纳入其中。研究了一维空间中经典的Chebyshev-Cantelli(零阶部分矩)不等式、Scarf和Lo(一阶部分矩)界以及半恒等式(二阶部分矩).给出了无限维原问题的形式,并导出了更简单的有限维对偶问题。一个主要的激励问题是如何数据驱动的分布模糊性影响的时刻界限。为了回答这个问题,一些理论的发展和计算实验进行了具体的问题实例在库存控制和投资组合管理。最后,本文提出了一些有待解决的问题和对未来研究的建议。
2020-10-13 math.OC q-fin.MF
On the Approximation and Convergence of Distributional Policy Gradient Algorithms for Risk-Sensitive Reinforcement Learning
The Ohio State University(俄亥俄州立大学);University of Michigan(密歇根大学)
本文提出一种针对风险敏感分布式强化学习的新策略梯度方法,提供概率测度梯度的解析形式,设计CDPG算法并证明其有限支撑最优性与有限迭代收敛性,实验验证了风险敏感设置的优越性。
2026-09-30 cs.AI cs.LG math.OC
Risk-Averse Markov Decision Processes through a Distributional Lens
本文基于分布不变的凸风险测度构建动态风险测度并应用于马尔可夫决策过程,允许风险厌恶动态变化,推导出动态规划原理并证明最优策略存在性,最后通过最优清算和自动驾驶示例进行说明。
2024-04-23 math.OC q-fin.MF q-fin.RM
Data-driven distributionally robust risk parity portfolio optimization
我们提出了一个传统的风险平价投资组合最优化问题的分布鲁棒公式。分布鲁棒性是通过在参数估计过程中使用的每个观测值的离散概率来引入的。而不是假设所有的观察是同样可能的,我们考虑一个模糊集,为我们提供了灵活性,找到最具对抗性的概率分布的基础上,投资者的期望程度的鲁棒性。这使我们能够获得稳健的估计来参数化资产收益率的分布,而不必对数据施加任何特定的结构。由此产生的分布鲁棒最优化问题是一个约束凹凸极大极小问题。我们的方法在财务上是有意义的,并试图实现投资组合风险度量的最坏情况下的完全风险分散。我们提出了一种新的算法方法来解决这个极大极小问题,它融合了投影梯度上升与顺序凸规划。通过设计,该算法是高度灵活的,并允许用户选择替代的统计距离测量来定义模糊集。此外,该算法是高度易处理和可扩展的。我们的数值实验表明,与名义投资组合相比,分布稳健的风险平价投资组合可以产生更高的风险调整收益率。
2021-10-13 math.OC q-fin.CP q-fin.PM
Quantifying Distributional Model Risk in Marginal Problems via Optimal Transport
本文研究边际问题中基于Wasserstein球的分布模型风险,建立了强对偶性、有限性及优化器存在性等理论结果,推广了Makarov界限,并展示了其在处理效应识别和稳健估计等四个实际应用中的有效性。
2023-07-03 econ.EM math.OC math.ST
A Bayesian Risk Approach to Data-driven Stochastic Optimization: Formulations and Asymptotics
一大类随机规划涉及优化相对于实际未知的潜在分布所采取的期望。一个流行的方法来解决分布的不确定性,被称为分布鲁棒优化(DRO),是对冲最坏的情况下,一组不确定的候选分布。然而,已经观察到,不确定性集的不适当构造有时会导致过度保守的解决方案。为了探索乐观地忽略分布的不确定性和悲观地固定在最坏情况下的中间地带,我们提出了一个贝叶斯风险优化(BRO)框架的参数基础分布,这是优化的风险功能适用于后验分布的一个未知的分布参数。我们特别感兴趣的是四个风险泛函:均值,均值方差,风险价值和条件风险价值。为了揭示BRO的含义,我们建立了目标函数和最优解的一致性,以及目标函数和最优值的渐近正态性。更重要的是,我们的分析揭示了一个隐藏的解释:BRO的目标可以近似地被视为后验平均目标和(平方)半宽度的真实目标的置信区间的加权和。
2017-08-28 math.OC
Robustness and risk management via distributional dynamic programming
Universitat Pompeu Fabra(庞培法布拉大学)
在动态规划(DP)和强化学习(RL)中,智能体通过顺序地与由马尔可夫决策过程(MDP)建模的环境交互来学习根据预期的长期回报最优地行动。更一般地说,在分布式强化学习(DRL)中,重点是回报的整个分布,而不仅仅是它的期望。虽然基于DRL的方法在RL中使用函数近似产生了最先进的性能,但它们涉及到仍然没有很好理解的额外数量(与非分布设置相比)。作为第一个贡献,我们引入了一类新的分布算子,连同一个实用的DP算法的政策评估,来一个强大的MDP解释。事实上,我们的方法通过一个增强的状态空间,每个状态被分为一个最坏的情况下的子状态和最好的情况下的子状态,其值最大化的安全和风险的政策分别重新制定。最后,我们推导出分布算子和DP算法解决一个新的控制任务:如何区分安全的风险最优行动,以打破最优政策的空间中的关系?
2021-12-28 cs.AI cs.LG math.OC
Wasserstein Distributionally Robust Online Learning
University of Michigan(密歇根大学);Cornell University(康奈尔大学)
本文提出了一种基于Wasserstein分布鲁棒优化的在线学习框架,通过将问题建模为随机博弈并利用问题几何特性,实现对最坏情况分布的鲁棒优化,同时提高了计算效率。
2026-10-30 cs.LG math.OC stat.ML
Robust Reinforcement Learning with Distributional Risk-averse formulation
Ecole polytechnique(巴黎综合理工学院);INRIA(法国国家信息与自动化研究所);INSERM(法国国家健康与医学研究院);Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学)
鲁棒强化学习试图使预测对系统动态或奖励的变化更加鲁棒。当从数据中估计环境的动态和回报时,这个问题特别重要。在本文中,我们近似的鲁棒强化学习约束下的$Φ$ -发散使用一个近似的风险规避公式。我们表明,经典的强化学习配方可以鲁棒使用标准偏差惩罚的目标。提出了两种基于分布式强化学习的算法,一种用于离散动作空间,一种用于连续动作空间,并在经典的Gym环境中进行了测试,以证明算法的鲁棒性。
2022-06-14 cs.LG math.OC stat.ML
A Composite Bayesian Risk--Distributionally Robust Optimization Model for Stochastic Programming with Elliptical Distribution Ambiguity
Chinese University of Hong Kong(香港中文大学)
针对半参数椭圆分布模糊的随机规划问题,提出基于估计方程的吉布斯推断框架与复合贝叶斯风险-分布鲁棒优化模型,开发割平面算法求解,性能优于样本平均近似等基准方法。
2026-10-14 math.OC stat.ME
Wasserstein Distributionally Robust Risk-Sensitive Estimation via Conditional Value-at-Risk
Cornell University(康奈尔大学)
本文提出了一种分布鲁棒的风险敏感估计方法,通过求解可解的半正定规划计算最小化最坏情况下的条件风险值,应用于批发电力价格预测,降低样本外风险值。
2026-07-01 cs.LG eess.SP math.OC
Worst-Case Risk Quantification under Distributional Ambiguity using Kernel Mean Embedding in Moment Problem
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Freiburg(弗赖堡大学)
为了预测罕见和有影响力的事件,我们建议使用核方法的最新发展-核均值嵌入来量化分布模糊性下的最坏情况风险。具体来说,我们制定了广义矩问题,其模糊集(即,矩约束)由相关再生核希尔伯特空间中的约束以非参数方式描述。然后,我们提出了易于处理的近似和它的理论依据。作为一个具体的应用,我们数值测试所提出的方法在描述最坏情况下的约束违反概率的约束随机控制系统。
2020-09-06 cs.LG cs.SY eess.SY
Data-driven distributionally robust iterative risk-constrained model predictive control
本文考虑了一个风险约束的无限期最优控制问题,并提出了一种迭代求解的方法。算法的每次迭代通过实施分布式鲁棒风险约束模型预测控制(MPC)方案来生成从起始点到目标平衡态的轨迹。在每次迭代中,一组安全状态(以高概率满足风险约束)和一定数量的独立和相同分布的样本的不确定性管理的风险约束是可用的。这些状态和样本在先前的迭代中累积。安全状态被用作MPC方案中的终端约束,并且样本被用于构造一组分布,称为模糊集,使得它包含具有高概率的不确定性的潜在分布。每次迭代中的风险约束要求对模糊度集中的所有分布都成立。我们建立我们的迭代过程中产生的轨迹是可行的,安全的,并渐近收敛到平衡。仿真例子说明了我们的结果的情况下,找到一个风险约束路径的移动机器人在存在不确定的障碍。
2021-11-25 cs.SY eess.SY math.OC
Concave Certificates: Geometric Framework for Distributionally Robust Risk and Complexity Analysis
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院)
本文提出基于增长速率函数最小凹包的几何框架,用于分布鲁棒优化中风险的紧界分析,并扩展至复杂性分析,引入最坏情况泛化界,消除输入直径、网络宽度和深度的依赖。
2026-04-08 cs.LG math.OC
$k$-Submodular Interdiction Problems under Distributional Risk-Receptiveness and Robustness: Application to Machine Learning
Virginia Tech(弗吉尼亚理工大学)
本研究提出分布鲁棒和分布风险接受的$k$-子模阻断问题,用于对抗性机器学习中的特征选择,通过有限收敛算法求解攻击-防御博弈,提供期望值的置信区间范围。
2025-06-18 cs.LG math.OC
Regret Analysis for Risk-aware Linear Quadratic Control
本文研究了遗憾与分布鲁棒控制(DRC)策略,用于解决多级最优化问题,涉及的概率分布是不知道确切的,而是假设属于指定的模糊度家庭。我们量化的价格(分布遗憾),一个最终支付不知道确切的概率分布的随机系统的不确定性,而旨在控制它使用DRC策略。DRC策略的保守性是强大的最坏情况下的不确定性分布在所考虑的模糊度集的代价是缺乏知识的真实分布。我们使用最坏情况下的条件风险价值来定义分布后悔,发现后悔界随着风险水平的增加而增加。本文的目的是促进新的控制算法的设计,旨在最大限度地减少分配遗憾。
2022-12-01 cs.SY eess.SY math.OC
A framework of distributionally robust possibilistic optimization
本文提出一个分布鲁棒可能性优化框架,利用可能性理论建模不确定约束系数,通过条件风险价值将不精确约束转化为确定性等价,并识别可多项式求解的情况。
2023-09-06 cs.DS math.OC
Cautious Reinforcement Learning via Distributional Risk in the Dual Domain
University of Minnesota(明尼苏达大学);US Army Research Laboratory(美国陆军研究实验室);Princeton University(普林斯顿大学)
研究了由状态和动作空间可数有限的马尔可夫决策过程(MDP)定义的强化学习问题中的风险敏感策略估计问题。先前的努力主要受到与风险敏感的MDP是时间不一致的事实相关联的计算挑战的困扰。为了改善这个问题,我们提出了一个新的风险定义,我们称之为谨慎,作为一个惩罚函数添加到强化学习的线性规划(LP)制定的双重目标。谨慎措施的分布风险的政策,这是一个功能的政策的长期状态占用分布。为了解决这个问题,在一个在线的无模型的方式,我们提出了一个随机变量的原始对偶方法,使用Kullback-Lieber(KL)分歧作为其近端。我们建立,达到近似最优解的方案所需的迭代/样本的数量匹配紧依赖于状态和动作空间的基数,但在其依赖于风险度量的梯度的无穷范数不同。实验表明,这种方法的优点,提高了奖励积累的可靠性,而无需额外的计算负担。
2020-02-27 cs.AI cs.LG cs.SY
Distributionally Robust Markov Decision Processes and their Connection to Risk Measures
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文研究具有Borel状态空间、无界成本和有限时间范围的分布鲁棒马尔可夫决策过程,将其建模为Stackelberg博弈,推导出鲁棒成本迭代和值迭代,证明确定性最优策略的存在性,并探讨其与一致风险度量的联系及应用。
2020-07-26 math.OC q-fin.RM
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University(澳大利亚国立大学);The University of Melbourne(墨尔本大学)
本文在 Polyak-Łojasiewicz 条件下研究分布时变的在线随机优化问题,利用 Wasserstein 距离度量分布漂移,建立在线随机梯度下降及近端梯度下降的动态遗憾界,并将其应用于条件风险价值统计学习问题。
2023-09-18 cs.LG math.OC
Data-Driven Distributionally Robust Optimization for Long-Term Contract vs. Spot Allocation Decisions: Application to Electricity Markets
本文提出数据驱动的分布鲁棒优化方法,平衡长期合同与现货市场决策,通过对比风险中性、CVaR和Wasserstein模型,展示其对价格接受型决策者的优势。
2025-01-25 econ.GN math.OC q-fin.EC
Policy Evaluation in Distributional LQR
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Oxford(牛津大学);Technical University of Munich(慕尼黑工业大学);Duke University(杜克大学)
分布式强化学习(DRL)通过让代理学习随机回报的分布,而不是标准RL中的期望值,增强了对环境中随机性影响的理解。与此同时,DRL的一个主要挑战是,DRL的政策评估通常依赖于回报分布的表示,这需要仔细设计。在本文中,我们解决这一挑战的一类特殊的DRL问题,依赖于线性二次调节器(LQR)的控制,倡导一种新的分布式方法,我们称之为\emph{distributional LQR}的LQR。具体来说,我们提供了一个封闭形式的随机回报率的分布,值得注意的是,是适用于所有的外源性干扰的动态,只要它们是独立的,同分布(i.i.d.)。虽然建议的确切回报分布由无穷多个随机变量,我们表明,这个分布可以近似由有限数量的随机变量,和相关的近似误差可以在温和的假设下解析有界。利用近似的收益分布,我们提出了一个零阶的政策梯度算法的风险厌恶的LQR使用的条件风险价值(CVaR)作为风险的度量。数值实验来说明我们的理论结果。
2023-03-23 cs.LG math.OC
Risk-aware Flexible Resource Utilization in an Unbalanced Three-Phase Distribution Network using SDP-based Distributionally Robust Optimal Power Flow
本文针对含高比例分布式能源的不平衡三相配电网,提出基于SDP的分布鲁棒机会约束最优潮流方法,构建风险感知灵活性市场,并在IEEE 34节点系统验证其可量化空间相关不确定性并促进灵活资源利用。
2023-08-30 cs.SY eess.SY math.OC
Nonlinear Distributionally Robust Optimization
Delft University of Technology(代尔夫特理工大学);Delft Center for Systems and Control(代尔夫特系统与控制中心)
本文针对目标函数在分布上非线性的分布鲁棒优化问题,提出基于Gateaux导数的光滑性概念和Frank-Wolfe算法,实现独立于范数的收敛,并应用于投资组合选择中的熵风险与方差风险,验证了理论结果。
2024-11-05 cs.LG math.OC stat.ML