Shrinking the Variance: Shrinkage Baselines for Reinforcement Learning with Verifiable Rewards
本文提出了一种基于收缩估计的基线方法，用于改进具有可验证奖励的强化学习中策略梯度估计器的方差，通过结合每个提示和跨提示的均值来提高估计准确性。
2026-02-18 cs.LG
The Surrogate Is Not the Reward: Post-Surrogate Primary-Outcome Acquisition in Contextual Bandits
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本研究提出审计替代指标赌博机（ASB），在上下文赌博机中基于决策相关性和残余不确定性分配主要结果采集预算，实现亚线性遗憾并优于单一因素方法。
2026-10-06 cs.LG stat.ML
Admissible Policy Teaching through Reward Design
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究奖励设计策略，激励一个强化学习代理采用一组可接受的政策的政策。奖励设计者的目标是以成本有效的方式修改潜在的奖励函数，同时确保在新的奖励函数下的任何近似最优确定性策略是可接受的，并且在原始奖励函数下表现良好。这个问题可以被看作是最优奖励中毒攻击问题的对偶：奖励设计者不是强迫代理采取特定的策略，而是激励代理避免采取在某些状态下不可接受的行为。也许令人惊讶的是，与最优奖励中毒攻击的问题相比，我们首先证明了可接受的策略教学的奖励设计问题在计算上是具有挑战性的，并且很难找到近似最优的奖励修改。然后，我们继续制定一个代理问题，其最佳解决方案近似的最佳解决方案的奖励设计问题，在我们的设置，但更适合于优化技术和分析。对于这个代理问题，我们提出的表征结果，提供的最优解的值的界限。最后，我们设计了一个局部搜索算法来解决代理问题，并使用基于仿真的实验来展示其实用性。
2022-01-06 cs.AI cs.LG
Fixed-Budget Best-Arm Identification with Heterogeneous Reward Variances
AWS AI Labs（AWS人工智能实验室）
针对固定预算下异质奖励方差的最优臂识别问题，提出两种方差自适应算法，推导了错误识别概率上界，实验验证其性能优于现有带解析保证的算法。
2023-06-13 cs.LG stat.ML
Reward Tweaking: Maximizing the Total Reward While Planning for Short Horizons
Technion Institute of Technology（以色列理工学院）
在强化学习中，折扣因子$γ$控制智能体的有效规划范围。传统上，该参数被认为是MDP的一部分;然而，由于深度强化学习算法在有效规划范围较长时往往变得不稳定，最近的研究将$γ$称为超参数-从而改变了底层MDP，并可能导致代理在原始任务上的次优行为。在这项工作中，我们介绍了\emph{reward tweaking}。奖励调整学习用于折扣设置的代理奖励函数$\tilde r$，其在原始有限时域总奖励任务上诱导最优行为。理论上，我们证明了存在一个替代奖励，导致在原始任务的最优性，并讨论了我们的方法的鲁棒性。此外，我们在高维连续控制任务中进行了实验，结果表明，奖励调整引导代理实现更好的长期回报，尽管它计划短期回报。
2020-06-23 cs.LG stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中，我们被赋予一个目标策略，并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略，使用知识的回报分布的方差。然后，我们介绍了减少方差采样（ReVar）算法，该算法近似的预言机策略时，奖励方差是未知的先验和约束其次优的预言机策略相比。最后，我们经验验证，ReVar导致政策评估的均方误差与Oracle策略相当，并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards
Seoul National University（首尔国立大学）；Upstage
本文提出了一种多步前向轨迹政策优化（NFPO）算法，通过引入N步前向轨迹来改进PPO的近似目标，从而在可验证奖励的强化学习中实现更精确的策略改进。
2026-05-20 cs.AI cs.LG
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
SLPO: Scaling Latent Reasoning via a Surrogate Policy
The Hong Kong Polytechnic University（香港理工大学）；Sichuan University（四川大学）
研究如何让潜在推理器实现测试时扩展，引入代理潜在策略优化（SLPO），通过经验代理策略密度和正确性监督停止头，将结果奖励强化学习引入自回归潜在推理器，在连续和软思维设置中提升了性能。
2026-10-06 cs.AI cs.CL cs.LG
Catoni Contextual Bandits are Robust to Heavy-tailed Rewards
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；OpenAI；Google（谷歌）；Google Research（谷歌研究院）
本文利用Catoni稳健估计量设计上下文赌博机算法，在重尾奖励下实现仅依赖方差、对奖励范围呈对数依赖的遗憾界，并证明其最优性。
2025-02-04 cs.LG stat.ML
Risk-Averse Multi-Armed Bandit Problems under Mean-Variance Measure
Cornell University（康奈尔大学）
主要研究了在长度为$T$的水平上期望总报酬测度下的多臂强盗问题。在本文中，我们解决的问题，多臂土匪问题的风险，并开发下的均值方差，在经济学和金融数学中常用的风险措施的措施平行的结果。我们证明了模型特定的后悔和模型独立的后悔的平均方差的奖励过程是下界$Ω(\log T)$和$Ω(T^{2/3})$，分别。然后，我们表明，变化的UCB政策和DSEE政策的经典风险中性MAB实现这些下限。
2017-08-14 cs.LG
Accelerating PDE Surrogates via RL-Guided Mesh Optimization
UChicago（芝加哥大学）；Fudan University（复旦大学）；UAlbany（纽约大学阿尔巴尼分校）
通过RL引导的网格优化方法，有效减少PDE代理模型训练的数据需求，提升计算效率。
2026-03-02 cs.LG
Reward-estimation variance elimination in sequential decision processes
Harik Shazeer Labs（哈里克·沙齐尔实验室）
策略梯度方法在强化学习中非常有吸引力，因为它们的无模型性质和收敛保证。然而，这些方法在梯度估计中具有高方差，导致差的样本效率。为了缓解这个问题，已经提出了一些减少方差的方法。不幸的是，在具有延迟奖励的挑战性问题中，这些方法要么带来相对适度的改进，要么以引入偏差和破坏收敛为代价来减少方差。一般来说，梯度估计的无偏方法仅部分地减少方差，即使在价值函数和问题动态的精确知识的限制下，也没有完全消除方差，正如人们可能希望的那样。在这项工作中，我们提出了一个无偏的方法，完全消除方差在一些常见的条件下。具有实际意义的是确定性动态的极限和小的政策随机性。在二次价值函数的情况下，如在线性二次高斯模型中，策略随机性不需要很小。我们使用这样的模型来分析所提出的方差消除方法的性能，并将其与标准方差缩减方法进行比较。该方法背后的核心思想是在轨迹的所有未来时间使用控制变量。我们提出了基于模型和无模型的配方。
2018-11-15 cs.LG stat.ML
Reward Estimation for Variance Reduction in Deep Reinforcement Learning
MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）；Université de Montréal（蒙特利尔大学）
强化学习（RL）代理需要为学习行为指定奖励信号。然而，引入腐败或随机奖励可能会在学习中产生高方差。这种破坏可能是目标错误指定、奖励信号的随机性或奖励与代理未知的外部因素的相关性的直接结果。奖励信号的损坏或随机性在机器人技术中可能尤其成问题，因为对于复杂的任务来说，目标规范可能特别困难。虽然已经研究了许多方差减少技术来提高RL过程的鲁棒性，但处理这种随机或损坏的奖励结构仍然很困难。作为在无模型RL方法中处理这种情况的替代方案，我们建议使用奖励和价值函数的估计器。我们证明，这提高了性能下损坏的随机奖励在表格和非线性函数近似设置为各种噪声类型和环境。使用奖励估计是一种鲁棒且易于实现的改进，用于处理无模型RL中的损坏奖励信号。
2018-11-07 cs.AI cs.LG stat.ML
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
From Weighting to Modeling: A Nonparametric Estimator for Off-Policy Evaluation
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（脑启发式智能科学与技术研究院，复旦大学）
本文提出非参数加权方法，通过建模奖励预测降低离策略评估的方差，实现低偏差和高精度的价值估计。
2026-03-10 cs.LG
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
Northwestern University（西北大学）
针对带可验证奖励的强化学习中回合预算浪费问题，提出VSR方法，通过方差最优状态重采样改进GRPO，在数学推理及Sokoban、BabyAI等任务上性能优于GRPO、GiGPO且生成token更少。
2026-10-14 cs.AI cs.LG
DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning
Alibaba Cloud Computing（阿里巴巴云 computing）
针对多奖励强化学习中奖励组合导致训练不稳定、优势组合依赖静态超参数的问题，提出动态方差自适应优势优化方法，通过基于经验奖励方差动态调整组合权重，实现稳定训练与多目标帕累托前沿优化。
2026-05-25 cs.CL cs.LG
Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards
University of California, Berkeley（加州大学伯克利分校）
OBLR-PO通过理论框架优化学习率和基线，提升大型语言模型后训练的稳定性与性能。
2026-08-04 cs.LG stat.ML
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
University of Maryland at College Park（马里兰大学帕克分校）
本文针对非 oblivious 设置下的正则化期望奖励优化问题，应用并分析随机近端梯度方法，并引入基于重要性采样的方差缩减技术（PAGE），将样本复杂度从 O(ε^{-4}) 改进至 O(ε^{-3})，为强化学习中的一般正则化奖励优化提供了新方法。
2024-08-19 cs.LG math.OC
Accelerating RLHF Training with Reward Variance Increase
The Hong Kong Polytechnic University（香港理工大学）
本研究针对基于GRPO的RLHF训练效率难题，提出可证明提升奖励方差且保留偏好与期望的奖励调整模型，设计O(n log n)全局求解算法，集成得到GRPOVI算法，实验证实其可显著加速RLHF训练。
2025-06-17 cs.AI cs.LG math.OC
Discounted Beta-Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards
KAIST（韩国科学技术院）
针对基于可验证奖励的强化学习样本效率低的问题，提出折扣Beta-Bernoulli奖励估计方法，利用历史奖励统计量降低估计方差并避免方差崩溃，在多个推理基准上显著提升性能。
2026-05-23 cs.AI cs.LG
Learning Long-Term Reward Redistribution via Randomized Return Decomposition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）；BIMSA（北京雁栖湖应用数学研究院）；AIR, Tsinghua University（清华大学智能产业研究院）；HeliXon Limited（华深智药）
强化学习的许多实际应用要求智能体从稀疏和延迟的奖励中学习。它挑战代理人将其行为归因于未来结果的能力。在本文中，我们考虑的问题制定的情节强化学习与轨迹反馈。它是指奖励信号的极端延迟，其中智能体只能在每个轨迹的末端获得一个奖励信号。一个流行的范例，这个问题的设置是学习与设计的辅助密集奖励函数，即代理奖励，而不是稀疏的环境信号。在此基础上，提出了一种新的奖励再分配算法--随机返回分解（RRD），用于学习情景强化学习的代理奖励函数.我们建立了一个替代问题的蒙特卡罗抽样，规模最小二乘为基础的奖励再分配的长期问题。我们分析了我们的代理损失函数与现有的方法在文献中，这说明了我们的方法的算法特性。在实验中，我们广泛评估我们提出的方法在各种基准任务与情节奖励，并表现出大幅改善基线算法。
2022-03-17 cs.AI cs.LG stat.ML
What Makes a Reward Model a Good Teacher? An Optimization Perspective
Some Institute（某些研究所）
从优化角度研究奖励模型的有效性，发现奖励方差对优化效率至关重要，准确性不足以保证模型效果。
2026-02-27 cs.AI cs.CL cs.LG
Mean-Variance Optimization in Markov Decision Processes
Technion（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑有限时域马尔可夫决策过程下的性能指标，涉及的平均值和方差的累积奖励。我们发现，无论是随机或基于历史的政策可以提高性能。我们证明了在方差约束下最大化平均报酬的策略的计算复杂性在某些情况下是NP困难的，而在其他情况下是强NP困难的。最后给出了伪多项式精确算法和近似算法。
2011-04-29 cs.AI cs.LG
Adaptive Symmetric Reward Noising for Reinforcement Learning
Rafael ltd（拉斐尔公司）
最近的强化学习算法，虽然在各个领域取得了令人印象深刻的结果，遭受脆弱的训练效果，如回归的结果和高敏感性的初始化和参数。我们声称，一些脆性源于方差差异，即当不同的环境领域-状态和/或行动-有不同的奖励方差。这导致两个问题：首先，Q学习等算法中的“无聊区域陷阱”，在区域之间移动取决于当前区域的方差，并且由于其方差较低，因此很难摆脱无聊区域。第二，“操纵顾问”问题，当在DQN和Actor-Critic算法中使用的值估计函数影响代理更喜欢无聊的区域时，无论平均回报如何，因为它们最大化估计精度而不是奖励。这为探索如何有助于培训提供了新的视角，因为它有助于应对这两个挑战。人类的认知实验表明，噪音奖励信号可能会矛盾地提高表现。我们使用上述两个问题来解释这一点，声称人类和算法可能面临类似的挑战。受这一结果的启发，我们提出了自适应对称奖励噪声（ASRN），即根据奖励的状态估计方差向奖励添加高斯噪声，从而避免了这两个问题，同时不影响环境的平均奖励行为。我们进行了我们的实验中的多臂强盗问题的方差差异。我们证明了Q-学习算法在这个问题中表现出脆性效应，并且ASRN方案可以显着改善结果。我们表明，ASRN有助于DQN算法训练过程达到更好的结果，在端到端的自动驾驶任务使用AirSim驾驶模拟器。
2019-05-24 cs.AI cs.LG stat.ML
Variance-aware robust reinforcement learning with linear function approximation under heavy-tailed rewards
Peking University（北京大学）；University of Toronto（多伦多大学）
本文提出了两个算法，AdaOFUL和VARA，在线序贯决策存在的重尾回报只有有限的方差。对于线性随机强盗，我们通过修改自适应Huber回归和提出AdaOFUL来解决重尾奖励问题。AdaOFUL实现了$\widetilde{O}\big(d\big(\sum_{t=1}^T ν_{t}^2\big)^{1/2}+d\big)$的最新遗憾界，好像奖励是一致有界的，其中$ν_{t}^2$是在$t$回合观察到的奖励的条件方差，$d$是特征维度，并且$\widetilde{O}(\cdot)$隐藏对数依赖性。在AdaOFUL的基础上，我们提出了线性MDP的VARA，它实现了$\widetilde{O}(d\sqrt{HG^*K})$更严格的方差感知遗憾界。在这里，$H$是片段的长度，$K$是片段的数量，而$G^*$是一个较小的实例相关量，当满足MDP上的附加结构条件时，它可以由其他实例相关量限定。我们的后悔界限在三个方面优于当前最先进的界限：（1）它依赖于一个更紧密的依赖于实例的量，并且对$d$和$H$具有最优依赖性，（2）我们可以在MDP上的附加结构条件下得到$G^*$的进一步依赖于实例的界，（3）我们的后悔界即使在奖励只有有限方差时也是有效的，达到了以前的作品无法比拟的一般性水平。总的来说，我们修改后的自适应Huber回归算法可以作为一个有用的积木在重尾奖励的在线问题的算法设计。
2023-03-13 cs.AI cs.LG math.ST
Entropy Regularization for Population Estimation
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；University of Chicago（芝加哥大学）
已知熵正则化可以改善序列决策问题中的探索。我们发现，这种相同的机制也可以导致几乎无偏和较低的方差估计的平均奖励的优化和估计结构化的强盗设置。平均奖励估计（即，人口估计）任务最近已被证明对于公共政策环境是必不可少的，在公共政策环境中，法律约束常常需要精确估计人口度量。我们表明，利用熵和KL散度可以在奖励和估计方差之间产生比现有基线更好的权衡，同时保持几乎无偏。熵正则化的这些性质说明了一个令人兴奋的潜力，桥接最佳的勘探和估计文献。
2022-08-24 cs.LG
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan（密歇根大学）
探索-利用困境是强化学习（RL）的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而，完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金，这是一个功能的后验分布的环境，当添加到奖励计划与平均MDP，结果在一个代理，有效地探索。虽然我们的方法是类似于现有的方法，当给定一个无信息或非结构化的先验，与现有的方法不同，我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性，并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
Decision Variance in Online Learning
Cornell University（康奈尔大学）
传统上，在线学习关注的是预期的回报。本文研究了在收益均值-方差性能测度下的风险规避在线学习问题。同时考虑了强盗和全信息设置。几个现有的政策的性能进行了分析，并建立了新的基本限制风险规避学习。特别是，它表明，虽然对数分布依赖的遗憾时间$T$是可以实现的（类似于风险中性的问题），最坏的情况下（即极大极小）遗憾是下界的$Ω(T)$（相反，$Ω(\sqrt{T})$下界的风险中性的问题）。这种与风险中性对应物的急剧差异是由玩家决策的方差引起的，而在预期奖励标准下的遗憾中不存在这种差异，这有助于由于这种风险度量的非线性而导致过度的均值方差。决策方差在后悔表现中的作用反映了风险厌恶型玩家对稳健决策和结果的渴望。
2019-03-14 cs.LG stat.ML
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Active Feature Acquisition with Generative Surrogate Models
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
在许多现实情况下，在对有限或不确定的数据进行评估时，可以获取更多的相关信息。然而，传统的机器学习方法要么要求预先获取所有特征，要么将其中的一部分视为无法获取的缺失数据。在这项工作中，我们考虑执行主动特征获取（AFA）和查询环境中未观察到的功能，以提高在评估时的预测评估模型。我们的工作重新制定的马尔可夫决策过程（MDP）的基础AFA问题作为生成建模任务，并通过一种新的基于模型的方法优化政策。我们建议学习生成代理模型（GSM），捕捉输入功能之间的依赖关系，以评估潜在的信息增益收购。GSM被用来提供中间奖励和辅助信息，以帮助智能体导航复杂的高维动作空间和稀疏的奖励。此外，我们在一个任务中扩展了AFA，我们在无监督的情况下进行主动实例识别（AIR），其中目标变量是未观察到的特征本身，目标是以具有成本效益的方式收集特定实例的信息。实证结果表明，我们的方法实现了更好的性能比以前的最先进的方法在监督和无监督的任务。
2021-02-11 cs.AI cs.LG
Robust Peak-cost Constrained Reinforcement Learning
Washington State University（华盛顿州立大学）；The Ohio State University（俄亥俄州立大学）
研究鲁棒峰值成本约束强化学习，针对安全关键应用。开发代理优化框架和鲁棒值估计方法，解决模拟器到现实世界的不匹配，在动态扰动下加强安全性并保持奖励性能。
2026-09-29 cs.LG
Can Q-learning solve Multi Armed Bantids?
当一个强化学习（RL）方法必须通过只看收到的奖励来在几个可选策略之间做出决定时，它必须隐式地优化多臂强盗（MAB）问题。这就产生了一个问题：目前的RL算法能够解决MAB问题吗？在我们的实验中，我们表明，在某些情况下，它们无法解决基本的MAB问题，在许多常见情况下，它们很难解决：它们在训练过程中受到结果回归，对初始化敏感和高样本复杂性的影响。我们认为这源于政策之间的方差差异，这导致了两个问题：第一个问题是“无聊的政策陷阱”，其中每个政策都有不同的隐式探索取决于其奖励方差，并且由于其低隐式探索，因此不太可能留下无聊或低方差的政策。第二个问题是“操纵顾问”问题，其中在深度RL算法（如DQN或深度Actor Critic方法）中使用的值估计函数最大化估计精度而不是平均回报，并且在低方差策略中具有更好的损失，这导致网络收敛到次优策略。对人类的认知实验表明，噪音奖励信号可能会矛盾地提高表现。我们使用上述问题来解释这一点，声称人类和算法在决策中可能面临类似的挑战。受这一结果的启发，我们提出了自适应对称奖励噪声（ASRN）方法，通过该方法，我们意味着均衡不同策略的奖励方差，从而避免了这两个问题，而不影响环境的平均奖励行为。我们证明，ASRN计划可以显着改善的结果。
2021-10-21 cs.AI cs.LG
Reinforcement Learning with Perturbed Rewards
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois, Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究表明，强化学习（RL）模型在各种噪声场景中是脆弱的。例如，观察到的奖励信道在实践中经常受到噪声的影响（例如，当通过传感器收集奖励时），因此是不可信的。此外，对于诸如机器人之类的应用，可以操纵深度强化学习（DRL）算法，以通过接收损坏的奖励来产生任意错误。在本文中，我们考虑带扰动报酬的噪声RL问题，可以用混淆矩阵来近似。我们开发了一个强大的RL框架，使代理学习在嘈杂的环境中，只有扰动奖励观察。我们的解决方案框架建立在现有的RL/DRL算法的基础上，首先解决了有偏见的噪声奖励设置，而没有对真实分布的任何假设（例如，零均值高斯噪声，如在以前的作品）。我们的解决方案的核心思想包括估计奖励混淆矩阵和定义一组无偏的代理奖励。我们证明了我们的方法的收敛性和样本的复杂性。在不同DRL平台上的大量实验表明，基于我们估计的代理奖励的训练策略可以实现更高的预期奖励，并且比现有基线收敛得更快。例如，最先进的PPO算法能够获得84.6%和80.8%的改进，平均分数为五个雅达利游戏，出错率分别为10%和30%。
2020-02-01 cs.CR cs.CV cs.LG
DGRO: Enhancing LLM Reasoning via Exploration-Exploitation Control and Reward Variance Management
School of Mathematics and Statistics（数学与统计学学院）；Beijing Jiaotong University（北京交通大学）；Yau Mathematical Sciences Center（叶中科学中心）；Tsinghua University（清华大学）；Department of Mathematical Sciences（数学科学系）；Beijing, China（中国北京）；Zhongguancun Academy（中关村学院）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（燕琪湖数学科学与应用研究所）；Academy of Mathematics and Systems Science（数学与系统科学研究院）；Chinese Academy of Sciences（中国科学院）；Microsoft Research AI4Science（微软研究院AI4Science）
针对现有大语言模型推理强化学习方法依赖手工奖励函数、探索利用权衡难控制等问题，提出解耦组奖励优化算法DGRO，通过解耦正则系数实现探索利用精准控制并管理奖励方差，在Logic数据集达96.9%准确率且数学基准泛化性强。
2025-05-19 cs.AI cs.LG
Asynchronous Parallel Empirical Variance Guided Algorithms for the Thresholding Bandit Problem
University of Rochester（罗切斯特大学）
本文考虑了Locatelli等人最近提出的多臂阈值强盗问题-通过尽可能少的拉动（或回合）来识别预期奖励高于预定义阈值的所有手臂。虽然Locatelli等人提出的算法。[2016]在一定意义上实现了最优轮复杂度，但仍然存在未解决的问题。本文提出了一种异步并行阈值算法及其无参数版本，以提高效率和适用性。一方面，这两种算法在每轮都使用经验方差来指导拉取决策，显著提高了“最优”算法在所有手臂高阶矩有界时的轮复杂度。所提出的算法可以被证明是最优的。另一方面，大多数强盗算法假设在拉取之后可以立即观察到奖励，或者在观察到所有奖励之前不会做出下一个决定。我们提出的异步并行算法允许选择下一个拉与未观察到的奖励从早期的拉，这避免了这样一个不切实际的假设，并显着提高了识别过程。我们的理论分析证明了所提出的异步并行算法的有效性和效率。
2017-07-09 cs.LG stat.ML
K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning
University of Bern, Bern, Switzerland（伯恩大学）
本文提出一种简单有效的奖励归一化替代方法，通过整合一维卡尔曼滤波进行在线奖励估计，递归估计潜在奖励均值，降低高方差回报并适应非平稳环境，实验表明其加速收敛并减少训练方差。
2026-04-24 cs.AI cs.LG
Accelerating Reinforcement Learning Training Using Simulation Surrogate Models
Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯A&M大学工业与系统工程系）；Intuit AI
针对奖励结构、模型参数或系统动态随时间变化的环境，提出使用仿真代理模型加速强化学习训练和再训练，并通过离散事件仿真实验验证其有效性。
2026-05-26 cs.LG stat.ML
Would I have gotten that reward? Long-term credit assignment by counterfactual contribution analysis
Google DeepMind（谷歌DeepMind）；Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）；Princeton Neuroscience Institute, Princeton University（普林斯顿大学普林斯顿神经科学研究所）；Department of Psychology, Princeton University（普林斯顿大学心理学系）
本文提出反事实贡献分析（COCOA）方法，通过量化动作对后续奖励的贡献改进长期信用分配，实验证明其相比HCA具有更低偏差和方差，为样本高效强化学习开辟新路径。
2023-10-31 cs.LG stat.ML
Optimal Reward Shaping: Autonomous Car Parking Case Study
研究非完整约束下无模型强化学习奖励函数设计难题，提出含覆盖门控对齐反馈等的参数化奖励塑造框架，通过联合元优化及基于代理的贝叶斯优化，优化后的深度Q网络代理在停车任务中表现出色。
2026-07-28 cs.LG math.OC
Linear Contextual Bandits with Adversarial Corruptions
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究的线性上下文强盗问题中存在的对抗腐败，玩家和一个可能无限的决策集之间的相互作用被污染的对手，可以腐败的奖励高达腐败水平$C$衡量的总和，在每一轮的奖励上的最大变化。我们提出了一个方差感知算法，是自适应对抗污染的水平$C$。关键算法设计包括（1）观察数据的多级划分方案，（2）自适应腐败程度的置信度集级联，以及（3）可以利用低方差奖励的方差感知置信度集构造。我们进一步证明了该算法的遗憾是$\tilde{O}(C^2d\sqrt{\sum_{t = 1}^T σ_t^2} + C^2R\sqrt{dT})$，其中$d$是上下文向量的维数，$T$是轮数，$R$是噪声的范围，$σ_t^2,t=1\ldots,T$是瞬时奖励的方差.我们还证明了所提出的算法，这是依赖于实例，从而导致更好的性能良好的实际情况下，间隙相关的遗憾界。据我们所知，这是第一个方差感知的腐败鲁棒算法的上下文强盗。对合成数据的实验证实了我们的理论。
2021-10-25 cs.LG stat.ML
Reward Fine-Tuning Two-Step Diffusion Models via Learning Differentiable Latent-Space Surrogate Reward
Zoom Communications（Zoom 公司）
本文提出LaSRO方法，通过在SDXL潜空间学习可微代理奖励，将任意奖励转化为可微形式，以强化学习高效微调两步扩散模型，在超快速图像生成上优于DDPO和Diffusion-DPO等方法。
2025-03-11 cs.LG
Effective Reinforcement Learning through Evolutionary Surrogate-Assisted Prescription
Cognizant Technology Solutions（高知特科技解决方案公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现在有大量的历史数据可用于组织中的决策，包括决策问题，做出了什么决策，以及结果的可取性。使用这些数据，可以学习一个代理模型，并使用该模型，发展一个优化结果的决策策略。本文介绍了一种通用的这样的方法，称为进化代理辅助处方，或ESP。代理是，例如，一个随机森林或神经网络训练的梯度下降，和战略是一个神经网络的演变，以最大限度地提高预测的代理模型。ESP在本文中进一步扩展到顺序决策任务，这使得它有可能在强化学习（RL）基准评估框架。由于大多数评估都是在代理上进行的，ESP比标准RL方法具有更高的样本效率，更低的方差和更低的遗憾。令人惊讶的是，它的解决方案也更好，因为代理和策略网络都规范了决策行为。ESP因此形成了一个有前途的基础，在现实世界中的问题的决策优化。
2020-04-22 cs.LG cs.NE
Risk-Sensitive Markov Decision Processes with Combined Metrics of Mean and Variance
Business School, Sun Yat-Sen University（中山大学商学院）
研究了同时考虑报酬均值和方差的具有长期平均度量的无限阶段离散时间马尔可夫决策过程的最优化问题。这样的绩效指标很重要，因为均值表示平均回报，方差表示风险或公平性。然而，方差度量耦合在所有阶段的奖励，传统的动态规划是不适用的时间一致性原则失效。我们研究这个问题从一个新的角度称为灵敏度为基础的优化理论。推导了一个性能差异公式，该公式可以量化任意两种策略下MDP的均值-方差组合度量的差异。差分公式可以用来产生新的政策，严格改进的均值-方差性能。给出了最优策略的一个必要条件和确定性策略的最优性。我们进一步发展了一种策略迭代形式的迭代算法，证明了该算法在混合和随机策略空间中均收敛于局部最优。特别地，当策略中的平均报酬为常数时，保证算法收敛到全局最优值。最后，我们应用我们的方法来研究在储能系统中的风力发电的波动减少，这表明我们的最优化方法的潜在适用性。
2020-08-09 cs.AI cs.LG math.OC
VCRL: Variance-based Curriculum Reinforcement Learning for Large Language Models
Alibaba Cloud Computing（阿里云计算）
提出VCRL框架，利用rollout组奖励方差动态调整训练样本难度，实现课程强化学习，在数学推理任务上超越现有基线。
2025-09-24 cs.CL cs.LG
Risk-Averse Trust Region Optimization for Reward-Volatility Reduction
Politecnico di Milano（米兰理工大学）；Institute for Scientific Interchange Foundation（科学交流基金会）；Banca IMI（意大利投资银行）
在现实世界的决策问题中，例如在金融、机器人或自动驾驶领域，控制不确定性与最大化预期回报同样重要。风险规避已经在强化学习文献中通过与收益方差相关的风险度量来解决。然而，在许多情况下，风险不仅是从长期角度衡量的，而且是从逐步回报的角度衡量的（例如，在交易中，为了确保投资银行的稳定性，必须每天监测投资组合头寸的风险）。在本文中，我们定义了一种新的风险度量，我们称之为回报波动率，由状态占用度量下的回报方差组成。我们发现，回报波动率的边界的回报方差，以减少前者也约束后者。我们推导出一个策略梯度定理与一个新的目标函数，利用均值波动率的关系，并开发了一个演员只有算法。此外，由于在新的目标函数下定义的贝尔曼方程的线性，可以以风险规避的方式适应具有单调改进保证的公知的策略梯度算法，例如TRPO。最后，我们在两个模拟的金融环境中测试所提出的方法。
2019-12-06 cs.LG math.OC stat.ML
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Microsoft（微软）；Intel Labs（英特尔实验室）
为稀疏目标学习有效策略是深度强化学习（RL）的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释，但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性，但是是高维的黑箱解决方案，几乎没有可解释性。在本文中，我们提出了一种以低维符号树的形式发现密集奖励的方法，从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励，然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现，密集奖励是RL策略解决基准任务的有效信号。值得注意的是，我们显着优于广泛使用的，当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
A Framework for Fair Evaluation of Variance-Aware Bandit Algorithms
University of Mannheim School of Business Informatics and Mathematics（曼海姆大学商学院信息与数学学院）
针对MAB算法评估缺乏标准化的问题，提出基于Bandit Playground的可复现评估框架，系统比较八种经典与方差感知算法，揭示了方差感知方法在高不确定性环境下的优势条件。
2025-10-30 cs.AI cs.LG
Expert Proximity as Surrogate Rewards for Single Demonstration Imitation Learning
National Tsing Hua University（国立清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）；NVIDIA Corporation（英伟达公司）
本文针对单次演示模仿学习中奖励稀疏问题，提出基于过渡判别器的TDIL方法，通过专家状态邻近度构造密集替代奖励，在多个MuJoCo基准和机器人环境中达到专家级性能。
2024-07-07 cs.LG
How Does Variance Shape the Regret in Contextual Bandits?
Massachusetts Institute of Technology（麻省理工学院）；University of Virginia（弗吉尼亚大学）
本文研究通用函数近似下可实现上下文老虎机中方差对遗憾的影响，揭示逃避维度的关键作用，针对弱/强对手推导方差依赖的上下界，并指出特定条件下可改进现有遗憾界。
2024-11-27 cs.LG stat.ML
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
IRPO通过利用多种内在奖励直接优化策略，提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
Variance-Based Risk Estimations in Markov Processes via Transformation with State Lumping
Concordia Institute of Information System Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
方差在风险敏感强化学习中起着至关重要的作用，大多数风险度量都可以通过方差进行分析。在本文中，我们考虑两个法律不变的风险作为例子：均值方差风险和指数效用风险。借助于状态增强变换（SAT），我们证明了这两种风险可以在具有随机转移报酬和随机策略的马尔可夫决策过程（MDP）中得到估计.为了缓解状态空间的扩大，提出了一种新的同位素态的定义状态集总，考虑到特殊的结构转换的转移概率。在数值实验中，我们说明了状态集总在SAT，错误从一个天真的奖励简化，和SAT的有效性的两个风险估计。
2019-07-09 cs.AI cs.LG stat.ML
Surrogate Fitness Metrics for Interpretable Reinforcement Learning
LMU Munich（慕尼黑大学）
本研究提出用替代适应度指标优化轨迹选择，以增强强化学习策略的可解释性，在离散和连续环境中均显著提升演示保真度。
2025-04-20 cs.AI cs.LG
