Softmax gradient policy for variance minimization and risk-averse multi armed bandits
anonymous institute（匿名机构）
本文提出基于softmax参数化的算法，用于解决多臂老虎机问题中的方差最小化和风险厌恶决策，证明了算法收敛性，并通过实验验证了其有效性。
2026-09-24 cs.AI cs.LG cs.NA
Risk-averse Contextual Multi-armed Bandit Problem with Linear Payoffs
Georgia Institute of Technology（佐治亚理工学院）
本文考虑了风险厌恶准则下线性支付的上下文多臂强盗问题。在每一轮中，每只手臂的上下文都被揭示出来，决策者选择一只手臂来拉动，并获得相应的奖励。特别地，我们考虑均值-方差作为风险标准，最佳臂是具有最大均值-方差回报的臂。我们应用汤普森采样算法的不相交模型，并提供了一个全面的遗憾分析所提出的算法的一个变体。对于$T$轮，$K$行动，和$d$维特征向量，我们证明了遗憾界的$O((1+ρ+\frac{1}ρ) d\ln T \ln \frac{K}δ\sqrt{d K T^{1+2ε} \ln \frac{K}δ \frac{1}ε})$，持有概率$1-δ$下的均值方差准则与风险容忍度$ρ$，任何$0<ε<\frac{1}{2}$，$0<δ<1$。我们所提出的算法的实证表现证明通过一个投资组合选择问题。
2022-06-24 cs.IT cs.LG math.IT
Measures of Variability for Risk-averse Policy Gradient
School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）；Vector Institute（矢量研究所）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）
本文针对风险规避强化学习中变异性度量未被充分探索的问题，研究九种变异性度量（含四种新度量），推导其策略梯度公式并结合现有框架，实证发现CVaR偏差等度量性能更优，为相关研究提供指导。
2025-04-15 cs.AI cs.LG
Risk-Averse Trust Region Optimization for Reward-Volatility Reduction
Politecnico di Milano（米兰理工大学）；Institute for Scientific Interchange Foundation（科学交流基金会）；Banca IMI（意大利投资银行）
在现实世界的决策问题中，例如在金融、机器人或自动驾驶领域，控制不确定性与最大化预期回报同样重要。风险规避已经在强化学习文献中通过与收益方差相关的风险度量来解决。然而，在许多情况下，风险不仅是从长期角度衡量的，而且是从逐步回报的角度衡量的（例如，在交易中，为了确保投资银行的稳定性，必须每天监测投资组合头寸的风险）。在本文中，我们定义了一种新的风险度量，我们称之为回报波动率，由状态占用度量下的回报方差组成。我们发现，回报波动率的边界的回报方差，以减少前者也约束后者。我们推导出一个策略梯度定理与一个新的目标函数，利用均值波动率的关系，并开发了一个演员只有算法。此外，由于在新的目标函数下定义的贝尔曼方程的线性，可以以风险规避的方式适应具有单调改进保证的公知的策略梯度算法，例如TRPO。最后，我们在两个模拟的金融环境中测试所提出的方法。
2019-12-06 cs.LG math.OC stat.ML
Risk-Averse Planning Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究了具有动态一致风险目标的部分可观测马尔可夫决策过程的策略设计问题。为POMDP合成风险规避最优策略需要无限的内存，因此是不可判定的。为了克服这个困难，我们提出了一种基于有界策略迭代的方法来设计随机但有限状态（记忆）控制器，它利用了标准的凸优化方法。给定一个内存预算和最优性准则，该方法修改随机有限状态控制器，导致次优解具有较低的相干风险。
2019-09-27 cs.AI cs.RO math.OC
On the Global Convergence of Risk-Averse Natural Policy Gradient Methods with Expected Conditional Risk Measures
Department of Integrated Systems Engineering, The Ohio State University（俄亥俄州立大学整合系统工程系）；Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）
本文提出了一种基于预期条件风险度量的风险规避自然策略梯度方法，证明其在随机环境中的全局收敛性并验证了其有效性。
2026-01-19 cs.LG math.OC stat.ML
Risk-Averse No-Regret Learning in Online Convex Games
KTH Royal Institute of Technology（KTH皇家理工学院）；Duke University（杜克大学）
我们考虑一个在线随机游戏的风险厌恶代理人，其目标是学习最佳决策，最大限度地减少风险，招致显着的高成本。具体来说，我们使用的条件风险价值（CVaR）作为一个风险度量，代理可以估计使用强盗反馈的形式，只有他们选择的行动的成本值。由于成本函数的分布取决于所有代理人的行为，而这些行为通常是不可观察的，因此它们本身是未知的，因此成本的CVaR值很难计算。为了解决这个问题，我们提出了一个新的在线风险厌恶学习算法，依赖于一点零阶估计的CVaR梯度计算使用CVaR值，估计通过适当的采样成本函数。我们表明，该算法实现了高概率的次线性后悔。我们还提出了两个变种，这种算法，提高性能。第一种变体依赖于一种新的采样策略，该策略使用来自前一次迭代的样本来提高CVaR值的估计精度。第二种变体采用残差反馈，其使用来自先前迭代的CVaR值来减小CVaR梯度估计的方差。我们从理论上分析了这些变种的收敛特性，并说明了他们的表现在一个在线市场的问题，我们模型作为一个古诺游戏。
2022-06-15 cs.GT cs.LG math.OC
A Unifying Theory of Thompson Sampling for Continuous Risk-Averse Bandits
National University of Singapore（新加坡国立大学）
针对一类连续优势风险泛函$ρ$，统一设计和分析了多臂强盗问题的风险规避Thompson抽样算法.我们证明了这些连续的和占主导地位的风险泛函的广义浓度界，并表明，广泛的一类流行的风险泛函属于这一类。使用我们新开发的分析工具包，我们分析了算法$ρ$ -MTS（多项分布），并证明了他们承认渐近最优后悔界的风险厌恶算法下CVaR，比例风险，和其他无处不在的风险措施。更一般地说，我们证明的渐近最优性的$ρ$ -MTS的伯努利分布的一类风险措施被称为经验分布性能指标（EDPMs），这包括众所周知的均值方差。数值模拟表明，我们的算法所产生的遗憾界是合理的紧张相对于算法独立的下限。
2022-04-17 cs.IT cs.LG math.IT
Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）
传统的强化学习（RL）旨在最大化预期的总回报，而不确定结果的风险需要控制，以确保在风险规避环境中的可靠性能。本文研究了无限时域马尔可夫决策过程中报酬序列的动态风险最大化问题。我们将期望条件风险测度（ECRM）应用于无限期风险厌恶的MDP，并证明了其时间一致性。使用一个凸组合的期望和条件风险价值（CVaR）作为一个特殊的一步条件风险度量，我们重新制定的风险厌恶MDP作为一个风险中性的对应扩大行动空间和操纵的即时回报。我们进一步证明了相关的Bellman算子是一个压缩映射，这保证了任何基于值的RL算法的收敛性。因此，我们开发了一个风险规避的深度Q学习框架，我们基于两个简单的MDP的数值研究表明，风险规避设置可以减少方差并增强结果的鲁棒性。
2023-01-14 cs.LG math.OC
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而，一个已知的问题是，政策过度适应培训环境，可能无法避免罕见的灾难性事件，如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练，但这种方法只能防止常见情况。最近，鲁棒对抗强化学习（RARL）被开发出来，它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是，只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此，代理不考虑灾难性事件的概率（即，那些诱导异常大的负奖励），除非通过它们对预期目标的影响。在本文中，我们介绍了风险规避鲁棒对抗强化学习（RARARL），使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明，一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手，和经验大大减少崩溃相比，没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Mean-Semivariance Policy Optimization via Risk-Averse Reinforcement Learning
Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）
在现实世界的决策情况下，如金融、机器人、自动驾驶等，保持风险可控往往比最大化预期回报更重要。风险度量的最自然选择是方差，它对上行波动的惩罚与下行波动的惩罚一样多。相反，（下）半方差，它捕捉了一个随机变量在其均值下的负偏差，更适合于风险厌恶的建议。针对强化学习中的均值-半方差（Mean-SemiVariance，MSV）准则进行优化。稳定的奖励分配。由于半方差不满足标准Bellman方程且时间不一致，传统的动态规划方法不适用于MSV问题。为了解决这一问题，我们借助摄动分析理论，建立了MSV的性能差异公式。我们发现，MSV问题可以通过迭代求解一系列RL问题与政策相关的奖励函数来解决。在此基础上，提出了基于策略梯度理论和信赖域方法的两种基于策略的算法。最后，我们在MuJoCo中进行了从简单的强盗问题到连续控制任务的各种实验，证明了我们所提出的方法的有效性。
2023-03-08 cs.AI cs.LG
A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化，未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数，这种依赖性使得传统的动态规划方法不适用，因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题，我们引入了一个伪平均值，将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数，并推导出一个折扣的均值-方差性能差异公式。利用伪均值，我们提出了一个统一的算法框架，具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题，包括但不限于，风险规避方差和均值方差优化贴现和平均MDP。此外，收敛性分析从文献中缺失，可以补充拟议的框架以及。以数值迭代为例，提出了一种折现均值-方差数值迭代算法，并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后，我们进行了一个数值实验的投资组合管理，以验证所提出的算法。
2022-01-15 cs.AI math.OC
Efficient Heteroscedastic Bayesian Optimization for Risk-Aware AutoRL
提出ERAHBO方法，将RL学习结果的均值和方差建模为HP配置的函数，通过自适应重采样提升样本效率，在多种RL算法与环境上优于相关基线。
2026-07-30 cs.AI cs.LG
Risk-averse autonomous systems: A brief history and recent developments from the perspective of optimal control
University of Toronto（多伦多大学）
我们提出了一个历史的概述之间的连接的风险分析和自治系统的控制。我们提供两个主要贡献。我们的第一个贡献是提出了三个重叠的范式来分类大量的文献：最坏情况，风险中性和风险厌恶范式。我们认为一个适当的评估自主系统的风险取决于手头的应用程序。相比之下，通常仅使用期望、方差或概率来评估风险。我们的第二个贡献是统一了风险和自治系统的概念。我们通过连接方法来量化和优化跨学术领域的系统行为所产生的风险来实现这一目标。这项调查具有高度的多学科性。我们包括来自强化学习，随机和鲁棒控制理论，运筹学和形式化验证社区的研究。我们描述了基于模型和无模型的方法，重点放在前者。最后，我们强调了进一步研究的富有成效的领域。一个关键的方向是将风险规避的基于模型的方法和无模型方法相结合，以增强系统的实时适应能力，从而改善人类和环境福利。
2022-07-11 cs.AI
Risk-Averse Action Selection Using Extreme Value Theory Estimates of the CVaR
Concordia University（康考迪亚大学）
在各种各样的顺序决策问题中，估计罕见事件的影响以最小化风险暴露可能是重要的。一个流行的风险度量是条件风险价值（CVaR），它通常通过在给定的置信水平下对超过分位数的观测值进行平均来估计。当该置信水平非常高时，由于相应分位数以上的样本数量有限，因此该估计方法可能表现出高方差。为了缓解这个问题，极值理论可以用来推导出一个估计的CVaR，使用外推超出可用的样本。这种估计需要选择一个阈值参数才能很好地工作，这是一个困难的挑战，在极值理论文献中已经得到了广泛的研究。在本文中，我们提出了一个估计过程的CVaR，结合极值理论和最近推出的自动阈值选择方法\cite{bader2018automated}。在适当的条件下，我们使用广义Pareto分布估计尾部风险。我们比较经验，这种估计过程与常用的方法的样本平均，并显示出一些分布的性能改善。最后，我们展示了如何将估计过程应用于强化学习，将我们的方法应用于多臂强盗问题，其目标是避免灾难性风险。
2020-12-10 cs.LG stat.ML
Asymptotic Optimality of Thompson Sampling for Risk-Averse Bandits with Sub-Gaussian Rewards
University of California, Berkeley（加州大学伯克利分校）
本文证明了一种无锚非参数汤普森采样算法在风险厌恶型多臂赌博机中达到实例依赖的渐近最优后悔界，适用于任意连续风险泛函，且仅需连续性条件，优于先前参数方法。
2026-08-25 cs.LG stat.ML
A Central Limit Theorem, Loss Aversion and Multi-Armed Bandits
Shandong University（山东大学）；McGill University（麦吉尔大学）
研究了一个多臂强盗问题，其中决策者是损失厌恶的，特别是在收益域中是风险厌恶的，而在损失域中是风险爱好的。重点是大视野。损失厌恶渐近（大视野）属性的后果是来自一些分析结果。该分析是基于一个新的中心极限定理的一组措施下，条件方差可以在很大程度上非结构化的历史依赖的方式只受限制，他们躺在一个固定的间隔。
2022-05-18 cs.LG econ.TH math.PR
Tiered Reinforcement Learning: Pessimism in the Face of Uncertainty and Constant Regret
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个新的学习框架，捕捉分层结构的许多现实世界中的用户交互应用程序，用户可以分为两组，根据他们不同的容忍度的探索风险，并应单独对待。在此设置中，我们同时维护两个策略$π^{\text{O}}$和$π^{\text{E}}$：$π^{\text{O}}$（“O”表示“在线”）与第一层中风险容忍度更高的用户交互，并通过像往常一样平衡探索和利用来最大限度地减少遗憾，而$π^{\text{E}}$（“E”表示“利用”）则专门关注利用到目前为止收集的数据对第二层中风险规避用户的利用。一个重要的问题是这样的分离是否比标准在线设置（即，$π^{\text{E}}=π^{\text{O}}$）。我们单独考虑间隙独立与~间隙相关设置。对于前者，我们证明了从极大极小的角度来看，分离确实是没有好处的。对于后者，我们表明，如果选择Pessibility Value Iteration作为开发算法来产生$π^{\text{E}}$，我们可以为风险厌恶的用户实现独立于情节$K$数量的恒定遗憾，这与相同设置中任何在线RL算法的$Ω(\log K)$遗憾形成鲜明对比，而$π^{\text{O}}$的后悔（几乎）保持其在线后悔最优性，并且不需要为了$π^{\text{E}}$的成功而妥协。
2023-02-26 cs.AI cs.LG stat.ML
Variance-Reduced Conservative Policy Iteration
Google Research（谷歌研究院）；Princeton（普林斯顿大学）；Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了将强化学习简化为一系列政策空间上的经验风险最小化问题的样本复杂性。这种基于约简的算法在函数空间中表现出局部收敛，而不是在策略梯度算法的参数空间中，因此不受策略类的可能非线性或不连续参数化的影响。我们提出了一个方差减少的保守策略迭代，提高了样本的复杂性产生的$\varepsilon$功能局部最优从$O(\varepsilon^{-4})$到$O(\varepsilon^{-3})$。在状态覆盖和策略完备性假设下，该算法在$O(\varepsilon^{-2})$次采样后具有$\varepsilon$ -全局最优性，改进了先前建立的$O(\varepsilon^{-3})$采样要求.
2023-01-25 cs.AI cs.LG
STOPS: Short-Term-based Volatility-controlled Policy Search and its Global Convergence
将现有的风险规避方法部署到实际应用中仍然具有挑战性。原因是多方面的，包括缺乏全局最优性保证和从长期连续轨迹中学习的必要性。长期连续的轨迹往往涉及访问危险状态，这是一个主要的问题，在风险规避设置。本文提出了短期波动率控制策略搜索（STOPS），一种新的算法，通过从短期轨迹而不是长期轨迹学习来解决风险规避问题。短期轨迹的生成更加灵活，可以避免危险的国家访问的危险。通过使用一个Actor-Critic计划与一个过参数化的两层神经网络，我们的算法发现一个全局最优的策略，在一个次线性的速度与近端策略优化和自然的策略梯度，与风险中性的策略搜索方法的最先进的收敛速度的有效性。该算法进行评估具有挑战性的Mujoco机器人模拟任务下的均值-方差评价指标。理论分析和实验结果表明，STOPS算法的性能在现有的风险规避策略搜索方法中处于领先水平。
2022-07-22 cs.LG
Risk-Averse Best Arm Set Identification with Fixed Budget and Fixed Confidence
Hokkaido University（北海道大学）
针对不确定环境下的风险厌恶决策，提出一种统一元算法框架，在固定置信度和固定预算下高效识别帕累托最优臂集，兼顾期望奖励与风险，并优于现有方法。
2025-10-24 cs.LG
Risk-Averse Decision Making Under Uncertainty
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
在不确定性问题下的一大类决策可以通过马尔可夫决策过程（MDP）或部分可观测MDP（POMDP）来描述，并应用于人工智能和运筹学等。传统上，策略合成技术被提出，使得总期望成本或回报最小化或最大化。然而，在总的预期成本意义上的最优性是合理的，如果在大量的运行系统的行为是感兴趣的，这限制了使用这样的政策在实际的任务关键的情况下，其中从预期的行为大的偏差可能会导致任务失败。在本文中，我们考虑的问题，设计政策的MDPs和POMDPs的目标和约束的动态一致的风险措施，我们称之为约束风险厌恶问题。对于MDP，我们通过拉格朗日框架将问题转化为infsup问题，并提出了一种基于优化的方法来合成马尔可夫策略。对于MDP，我们证明了制定的优化问题的形式是差分凸规划（DCP），可以解决纪律凹凸规划（DCCP）的框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。对于POMDPs，我们表明，如果连贯的风险措施可以被定义为一个马尔可夫风险转移映射，一个无限维的优化可以用来设计马尔可夫信念为基础的政策。对于随机有限状态控制器（FSC），我们表明，后者的优化简化为（有限维）DCP，可以解决的DCCP框架。我们将这些DCP的政策迭代算法设计风险规避FSC POMDPs。
2021-09-09 cs.AI cs.RO cs.SY
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
Bosch Corporate Research（博世公司研究中心）；Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
针对基于模型的强化学习中价值后验方差过度近似导致探索低效的问题，提出收敛于真实方差的新型不确定性贝尔曼方程及近似方案，构建通用策略优化算法QU-SAC，经在线离线实验验证性能优于现有不确定性估计方法。
2024-09-17 cs.AI cs.LG
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara（加州大学圣巴巴拉分校）；Princeton（普林斯顿大学）
离线强化学习试图利用离线/历史数据来优化顺序决策策略，在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势，现有的努力通常会强制使用强大的函数表示模型（例如，神经网络）来学习最佳策略。然而，精确理解函数表示的统计极限仍然是难以捉摸的，即使这样的表示是线性的。为了实现这一目标，我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界，我们设计了方差感知的悲观值迭代（VAPVI），它采用时间非齐次的情节线性马尔可夫决策过程（MDP）的价值函数的条件方差信息. VAPVI利用价值函数的估计方差，在最小二乘悲观值迭代中对Bellman残差进行重新加权，并在最知名的现有结果上提供改进的离线学习边界（而Bellman残差通过设计进行了同等加权）。更重要的是，我们的学习边界表示的系统数量，这提供了自然的实例依赖的特征，以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
Distributionally Robust Reinforcement Learning
Criteo AI Lab（科韬人工智能实验室）
现实世界的应用程序需要RL算法安全地运行。在学习过程中，很可能代理执行次优操作，这可能导致系统的不安全/不良状态。在高维状态/动作空间中，由于低性能动作的数量增加，探索特别脆弱。在这项工作中，我们认为风险厌恶的探索近似RL设置。为了保证学习过程中的安全性，我们提出了分布式鲁棒策略迭代方案，提供了状态值的下界保证。我们的方法引入了一个动态的风险水平，以防止不良的决策，但保留收敛到最优的政策。我们的制定结果在一个有效的算法，占一个简单的重新加权的政策行动在标准的政策迭代计划。我们将我们的方法扩展到连续的状态/动作空间，并提出了一个实用的算法，分布鲁棒的软演员评论家，实现了不同的探索策略：它在短期内采取保守的行动，并在长期内乐观地探索。我们提供了有前途的连续控制任务的实验结果。
2019-06-14 cs.LG stat.ML
Risk-averse Heteroscedastic Bayesian Optimization
ETH Zürich（苏黎世联邦理工学院）
在高风险应用中出现的许多黑盒优化任务需要规避风险的决策。然而，标准的贝叶斯优化（BO）范式仅优化期望值。我们将BO推广到交易均值和输入依赖方差的目标，这两个我们假设是未知的先验。特别是，我们提出了一种新的风险厌恶异方差贝叶斯优化算法（RAHBO），旨在确定一个解决方案，高回报和低噪声方差，同时学习噪声分布的飞行。为此，我们将期望和方差建模为（未知）RKHS函数，并提出了一种新的风险感知采集函数。我们对我们的方法感到遗憾，并提供了一个强大的规则来报告应用程序的最终决策点，其中只有一个解决方案必须确定。我们证明了RAHBO合成基准函数和超参数调整任务的有效性。
2021-11-05 cs.LG
Recursive Entropic Risk Optimization in Discounted MDPs: Sample Complexity Bounds with a Generative Model
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本文研究了在有限折扣马尔可夫决策过程（MDP）中使用递归熵风险度量（ERM）进行风险敏感强化学习的问题，引入了基于模型的算法Model-Based ERM Q-Value Iteration（MB-RS-QVI），并推导了该算法在价值学习和策略学习中的PAC型样本复杂性界，证明了在最坏情况下样本复杂性与|β|/(1-γ)呈指数关系，为递归ERM在风险规避和风险寻求情形下的样本复杂性提供了首次严格保证。
2026-05-18 cs.AI cs.LG math.OC
Efficient Algorithms for Mitigating Uncertainty and Risk in Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；University of New Hampshire（新罕布什尔大学）
本文针对强化学习中的模型不确定性与风险规避问题，提出 CADP 及 ERM-TRC、EVaR-TRC 的规划与无模型 Q-learning 算法，并证明其收敛性与最优策略存在性。
2025-10-20 cs.LG
A Finite-Sample Analysis of an Actor-Critic Algorithm for Mean-Variance Optimization in a Discounted MDP
本文针对折扣MDP中的均值-方差优化问题，分析了带线性函数逼近的TD学习算法，推导出O(1/t)收敛速率的有限样本界，并将SPSA actor更新与LFA critic结合，建立了O(n^{-1/4})的收敛保证，为风险敏感actor-critic方法提供了理论支撑。
2025-03-12 cs.AI cs.LG
Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
在本文中，我们提供了更快的算法近似求解折扣马尔可夫决策过程的多参数制度。给定一个折扣马尔可夫决策过程（DMDP）与$|S|$状态，$|A|$行动，折扣因子$γ\in(0,1)$，并在$[-M, M]$范围内的奖励，我们展示了如何计算$ε$ -最优策略，概率$1 - δ$在时间\[ \tilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} \right) \log\left( \frac{M}ε \right) \log\left( \frac{1}δ \right) \right) ~ . \]这一贡献反映了第一近线性时间，近线性收敛算法求解DMDP的中间值$γ$。我们还展示了如何获得改进的次线性时间算法，我们可以从$O(1)$时间的过渡函数的样本。在此假设下，我们提供了一个算法，计算$ε$ -最优策略的概率$1 - δ$在时间\[ \tilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ\right) \right) ~. \]最后，我们将这两个算法扩展到解决有限时域MDP。我们的算法改进了以前最好的近似计算最优政策的固定地平线MDP在多参数制度。有趣的是，我们通过对近似值迭代的仔细修改来获得我们的结果。我们展示了如何将经典的近似值迭代…
2020-12-23 cs.DS cs.LG math.OC
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
Robust Risk-Sensitive Reinforcement Learning Agents for Trading Markets
University of Alberta（阿尔伯塔大学）；Borealis AI
交易市场代表了部署强化学习代理的现实金融应用，然而，它们面临着巨大的基本挑战，例如高方差和昂贵的探索。此外，市场本质上是一个多主体领域，由许多行动者组成，他们采取行动并改变环境。为了解决这些类型的场景，代理需要表现出某些特性，例如风险意识，对扰动的鲁棒性和低学习方差。我们把这些作为积木，并提出了一个家庭的四个算法。首先，我们贡献了两个算法，使用风险规避的目标函数和方差减少技术。然后，我们将框架扩展到多智能体学习，并假设对手可以接管和干扰学习过程。我们的第三和第四算法在此设置下表现良好，并平衡理论保证与实际使用。此外，我们考虑了环境的多代理性质，我们的工作是第一个扩展经验博弈论分析多代理学习考虑风险敏感的回报。
2021-07-16 cs.LG cs.MA
Momentum-Based Policy Gradient with Second-Order Information
EPFL（洛桑联邦理工学院）；ETH Zurich（苏黎世联邦理工学院）
提出一种无需调参的方差缩减策略梯度算法 SHARP，通过动量将二阶信息融入 SGD，在不使用重要性采样的情况下实现了更快的误差衰减和优异的实验表现。
2023-11-26 cs.AI cs.LG
Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对非线性函数逼近的离线强化学习缺乏实例依赖悔界保证的问题，提出预言机高效的PNLSVI算法，含三个创新组件，实现紧密的函数类复杂度依赖悔界，将相关结果扩展到更通用框架。
2024-10-09 cs.LG math.OC stat.ML
Truncated Variance Reduced Value Iteration
Stanford University（斯坦福大学）
本文提出截断方差缩减值迭代算法，在采样与稀疏离线MDP设置中降低计算$ε$-最优策略的复杂度，并缩小无模型与基于模型方法的样本复杂度差距。
2024-05-21 cs.DS cs.LG math.OC
Conformal Risk-Averse Decision Making with Optimized Certainty Equivalent Risk Control
该研究针对智能体在系统状态不确定时的风险厌恶决策问题，提出基于优化确定性等价（OCE）的风险控制策略，将已知分布下的最优策略简化为CVaR的预测集解，并通过数据驱动校准策略在无线波束成形场景中验证了其OCE风险高概率控制效果。
2026-08-31 cs.AI cs.IT cs.LG
Variance-Aware Off-Policy Evaluation with Linear Function Approximation
Yale University（耶鲁大学）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了基于线性函数逼近的强化学习中的离线策略评估（off-policy evaluation，OPE）问题，即基于行为策略收集的离线数据来估计目标策略的价值函数。我们建议将方差信息的价值函数，以提高样本效率的OPE。更具体地说，时间非齐次的情节线性马尔可夫决策过程（MDP），我们提出了一种算法，VA-OPE，它使用的估计方差的价值函数重新加权贝尔曼残差拟合Q-迭代。我们表明，我们的算法实现了更严格的误差界比最知名的结果。我们还提供了行为策略和目标策略之间的分布偏移的细粒度表征。大量的数值实验证实了我们的理论。
2022-01-04 cs.LG math.OC stat.ML
Adaptive Risk-Tendency: Nano Drone Navigation in Cluttered Environments with Distributional Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
实现评估风险和做出风险意识决策的能力对于将强化学习应用于无人机等安全关键型机器人至关重要。在本文中，我们研究了一个具体的情况下，纳米四轴飞行器机器人学习导航先验未知的混乱的环境下部分可观测性。我们提出了一个分布式的强化学习框架，以产生自适应的风险倾向的政策。具体而言，我们建议使用学习收益率分布的下尾条件方差作为内在不确定性估计，并使用指数加权平均预测（EWAF），以适应风险趋势，根据估计的不确定性。在模拟和真实世界的实证结果中，我们表明：（1）最有效的风险倾向在不同的状态下是不同的，（2）与风险中性政策或风险厌恶政策基线相比，具有自适应风险倾向的代理人取得了更好的绩效。
2022-09-23 cs.AI cs.RO
Bregman Gradient Policy Optimization
University of Pittsburgh（匹兹堡大学）
基于Bregman发散和动量技术，设计了一种新的用于强化学习的Bregman梯度策略优化框架。具体地说，我们提出了一个布雷格曼梯度策略优化（BPENS）算法的基础上的基本动量技术和镜像下降迭代。同时，我们进一步提出了一个加速的Bregman梯度策略优化算法（VR-BPENN）的基础上减少的方差技术。此外，我们提供了一个收敛性分析框架下，我们的Bregman梯度策略优化的非凸设置。我们证明，我们的BGPO达到了寻找$O(ε^{-4})$的样本复杂度$O(ε^{-4})$-每次迭代仅需要一个轨迹的静态策略，并且我们的VR-BGPO达到了已知的最佳样本复杂度$O(ε^{-3})$，这也只需要一个轨迹每次迭代。特别地，通过使用不同的Bregman分歧，我们的Battlefield框架统一了许多现有的策略优化算法，如现有的（方差减少的）策略梯度算法，如自然策略梯度算法。在多个强化学习任务上的大量实验结果证明了我们的新算法的有效性。
2022-03-16 cs.LG cs.RO math.OC
Variance Reduction in Monte Carlo Counterfactual Regret Minimization (VR-MCCFR) for Extensive Form Games using Baselines
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
从交互样本中学习不完全信息博弈策略是一个具有挑战性的问题。这种情况下的一种常用方法，蒙特卡罗反事实后悔最小化（MCCFR），由于方差很大，长期收敛速度很慢。在本文中，我们介绍了一种方差减少技术（VR-MCCFR），适用于任何采样变量的MCCFR。使用这种技术，每次迭代的估计值和更新被重新制定为采样值和状态动作基线的函数，类似于它们在策略梯度强化学习中的使用。新的公式允许从同一事件中的其他估计中自举估计，沿着采样轨迹传播基线的好处;即使从其他估计中自举，估计仍然是无偏的。最后，我们表明，给定一个完美的基线，值估计的方差可以减少到零。实验结果表明，VR-MCCFR带来了一个数量级的加速，而经验方差减少了三个数量级。降低的方差允许CFR+首次与采样一起使用，将加速提高到两个数量级。
2018-09-09 cs.AI cs.GT
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University（同济大学）
本文研究了协作多智能体强化学习（MARL）中的分布式策略梯度，其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数，现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题，提出了一种具有方差缩减和梯度跟踪的分布式策略梯度，并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后，我们提供了一个上界的均方固定间隙，这取决于迭代次数，小批量的大小，历元的大小，问题的参数，和网络拓扑结构。我们进一步建立了样本和通信复杂性，以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Improved Optimization of Finite Sums with Minibatch Stochastic Variance Reduced Proximal Iterations
University of Chicago（芝加哥大学）；Tencent AI Lab（腾讯人工智能实验室）
针对经验风险最小化问题，提出了一种新的小批量随机最优化方法，该方法有效地利用了方差约化的一阶和子采样高阶信息，加快了收敛速度.对于二次目标，我们证明了在合理的假设下，改进的迭代复杂性。我们还提供了经验证据的优势，我们的方法相比，现有的方法在文献中。
2017-10-11 cs.LG math.OC stat.ML
Risk-averse Learning with Non-Stationary Distributions
Technical University of Munich（慕尼黑工业大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Duke University（杜克大学）
针对随机成本分布时变的风险厌恶在线优化，提出基于多次函数查询的零阶CVaR梯度估计算法，并证明凸与强凸情形下的次线性动态遗憾。
2024-04-03 cs.LG cs.SY eess.SY
Risk-averse Batch Active Inverse Reward Design
本文提出RBAIRD方法，通过批量环境处理和风险规避规划器改进AIRD，使智能体能在现实环境中安全学习未知特征并提升对齐效率。
2023-11-20 cs.LG
Contextual Preference Distribution Learning
Mila -- Quebec Artificial Intelligence Institute, Montreal, Quebec, Canada D\' e partement d'informatique et de recherche op\' e rationnelle (DIRO), Universit\' e de Montr\' e al, Montreal, Quebec, Canada HEC Montr\' e al, Montreal, Quebec, Canada
本文提出一种序列学习与优化流程，通过学习偏好分布解决决策问题，尤其在风险规避场景中表现优异，通过参数化分布生成场景以减少决策后惊喜。
2026-03-17 cs.LG stat.ML
Langevin Monte Carlo: random coordinate descent and variance reduction
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wisconsin Institutes for Discovery（威斯康星发现研究院）
本文研究了将随机坐标下降（RCD）与方差缩减技术（SAGA、SVRG）结合以提升Langevin Monte Carlo的计算效率，在欠阻尼框架下实现了每次迭代仅需单方向导数的最优计算成本。
2021-10-07 cs.LG stat.ML
Stochastic Halpern Iteration with Variance Reduction for Stochastic Monotone Inclusions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Pontificia Universidad Católica de Chile（智利天主教大学）
我们研究随机单调包含问题，它广泛出现在机器学习应用中，包括鲁棒回归和对抗学习。我们提出了新的变种随机Halpern迭代递归方差减少。在共强制（更一般地是Lipschitz单调）设置中，我们的算法通过$\mathcal{O}(\frac{1}{ε^3})$随机算子评估获得了算子的$ε$范数，这显着改善了现有单调包含求解器所需的最新技术水平的$\mathcal{O}(\frac{1}{ε^4})$随机算子评估。应用于相同的问题类。我们进一步展示了如何耦合的随机Halpern迭代与预定的重新启动计划，以解决随机单调包含问题的${\mathcal{O}}(\frac{\log(1/ε)}{ε^2})$随机算子评估下额外的锐度或强单调性假设的一个拟议的变种。
2023-01-08 cs.LG math.OC
Variance reduction for Random Coordinate Descent-Langevin Monte Carlo
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Department of Mathematics（数学系）；Madison, WI 53706（威斯康星州麦迪逊市 53706（注：该地址非机构，此处仅按要求提取原文中明确出现的机构相关内容））
对数凹分布函数的抽样问题是贝叶斯统计和机器学习中的一个核心问题。虽然大多数无梯度方法具有缓慢的收敛速度，但提供快速收敛的Langevin蒙特卡罗（LMC）需要计算梯度。在实践中，人们使用有限差分近似作为替代，该方法在高维中是昂贵的。减少每次迭代中的计算成本的自然策略是利用随机梯度近似，诸如随机坐标下降（RCD）或同时扰动随机逼近（SPSA）。我们通过一个反例表明，盲目地应用RCD并不能在最一般的环境中实现目标。由随机性引起的高方差意味着需要更大数量的迭代，并且这平衡了每次迭代中的节省。然后，我们引入了一个新的方差减少的方法，称为随机坐标平均下降（RCAD），并将其与过阻尼和欠阻尼LMC。这两种方法分别称为RCAD-O-LMC和RCAD-U-LMC。该方法仍然处于随机梯度近似框架中，因此每次迭代的计算成本很低。然而，通过采用RCAD，方差减小，因此该方法在与经典过阻尼和欠阻尼LMC相同的迭代次数内收敛。这导致总体上的计算节省。
2020-10-22 cs.LG math.ST stat.ML
Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
三次正则化（CR）是一种最优化方法，由于其能够逃逸鞍点并收敛于非凸优化的二阶稳定解而受到广泛关注。然而，CR遇到了一个高样本复杂度的问题，有限和问题，大的数据大小。已提出CR的各种不精确变体以改善样本复杂性。本文提出了一种随机抽样下的随机方差缩减的正则化方法，并研究了它的收敛性保证和样本复杂度。我们表明，SVRC实现$ε$精度内的二阶稳态解的迭代复杂度为$O(ε^{-3/2})$，这与CR类型方法的最新结果相匹配。此外，我们提出的方差缩减方案显着降低了每次迭代样本的复杂度。我们的SVRC得到的总Hessian样本复杂度是${\Oc}(N^{2/3} ε^{-3/2})$，它比最先进的结果好$O(N^{2/15})$倍。我们还研究了我们的SVRC下的随机不放回抽样方案，它产生了较低的每次迭代的样本复杂度，因此证明了其实用性。
2018-10-09 cs.LG math.OC stat.ML
MSTGD:A Memory Stochastic sTratified Gradient Descent Method with an Exponential Convergence Rate
Guangdong University of Finance and Economics（广东财经大学）；National University of Singapore（新加坡国立大学）
针对当前主流梯度优化算法忽略或混淆了参数更新引起的梯度期望和方差的波动效应，结合分层抽样策略，设计了一种新的具有指数收敛速度的\underline{M}记忆\underline{T}随机修正梯度分解（\underline{MST} GD）算法.具体而言，MSTGD采用两种策略进行方差缩减：第一种策略是根据使用的历史梯度的比例p进行方差缩减，该比例p由迭代前后样本梯度的均值和方差估计得到;第二种策略是按类别分层抽样。在这两种策略下设计的统计量$\bar{G}_{mst}$可以自适应无偏，其方差以几何速率衰减。这使得基于$\bar{G}_{mst}$的MSTGD能够获得$λ^{2(k-k_0)}$形式的指数收敛速率（$λ\in (0,1)$，k是迭代步数，$λ$是与比例p相关的变量）。与声称实现指数收敛速率的大多数其他算法不同，收敛速率与诸如数据集大小N、批量大小n等参数无关，理论和实验结果表明了MSTGD的有效性
2022-02-21 cs.LG stat.ML
Variable-Complexity Weighted-Tempered Gibbs Samplers for Bayesian Variable Selection
University of Cambridge（剑桥大学）
针对高维贝叶斯变量选择中子集加权回火Gibbs采样器方差过高的问题，提出一种变复杂度采样器，在降低每次MCMC迭代计算量的同时减小了Rao-Blackwellized估计量的方差。
2023-04-06 cs.LG stat.CO stat.ME
Learning Bounds for Risk-sensitive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在风险敏感学习中，人们的目标是找到一个假设，最大限度地减少风险厌恶（或风险寻求）的损失度量，而不是标准的预期损失。在本文中，我们提出研究风险敏感学习方案的推广性质，其最优解通过优化的确定性等价物（OCE）来描述：我们的一般方案可以处理各种已知的风险，例如，熵风险，均值方差和条件风险值，作为特殊情况。我们提供了两个学习界限的经验OCE极小的性能。第一个结果给出了一个OCE保证的基础上的Rademacher平均的假设空间，推广和改进现有的预期损失和条件风险价值的结果。第二个结果，基于一种新的方差为基础的表征OCE，给出了一个预期的损失保证与抑制依赖于所选择的OCE的平滑度。最后，我们通过对神经网络的探索性实验，证明了所提出的边界的实际意义。
2021-01-04 cs.LG stat.ML
Minimal Variance Sampling in Stochastic Gradient Boosting
Yandex（Yandex（俄罗斯搜索引擎公司，可译为扬德克斯））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Sberbank（俄罗斯联邦储蓄银行）
随机梯度提升（SGB）是一种广泛使用的基于决策树的提升模型正则化方法。结果表明，在许多情况下，在每次迭代随机抽样可以导致更好的泛化性能的模型，也可以减少学习时间。提出了不同的抽样方法，其中概率不统一，目前还不清楚哪种方法最有效。在本文中，我们制定的随机化问题，在SGB的抽样概率的优化，以最大限度地提高估计精度的分裂评分用于训练决策树。这个优化问题有一个封闭形式的近似最优解，它导致了一种新的采样技术，我们称之为最小方差采样（MVS）。与现有的采样方法相比，该方法既减少了每次提升迭代所需的示例数量，又显著提高了模型的质量。该算法的优越性通过将MVS引入CatBoost中作为子采样的新默认选项得到了证实，CatBoost是一种梯度提升库，可在各种机器学习任务中实现最先进的质量。
2019-10-29 cs.LG stat.ML
Variance Reduced Local SGD with Lower Communication Complexity
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology（香港科技大学）
为了加速机器学习模型的训练，分布式随机梯度下降（SGD）及其变体已被广泛采用，其并行应用多个工人以加速训练。其中，Local SGD因其较低的通讯成本而备受关注。然而，当工作者上的数据分布不相同时，本地SGD需要$O(T^{\frac{3}{4}} N^{\frac{3}{4}})$通信来维护其\emph{linear iteration speedup}属性，其中$T$是迭代的总数，$N$是工作者的数量。在本文中，我们提出了方差减少本地SGD（VRL-SGD），以进一步降低通信复杂性。从理论上证明了VRL-SGD算法消除了对工人间梯度方差的依赖，即使工人访问不同的数据集，也能以较低的通信复杂性度$O(T^{\frac{1}{2}} N^{\frac{3}{2}})$实现\emph{linear iteration speedup}.我们在三个机器学习任务上进行了实验，实验结果表明，当工人之间的数据非常多样化时，VRL-SGD的性能比Local SGD好得多。
2019-12-30 cs.DC cs.LG math.OC
