Taming Equilibrium Bias in Risk-Sensitive Multi-Agent Reinforcement Learning
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
本文针对一般和马尔可夫博弈中风险敏感多智能体强化学习的均衡偏差问题，提出风险平衡遗憾新概念，并设计自博弈算法学习多种均衡，证明其具有近最优遗憾保证。
2024-05-04 cs.GT cs.LG
SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning
Zenseact AB（Zenseact公司）；Chalmers University of Technology（查尔姆斯理工大学）；Scool INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧洲Scool团队）；CRIStAL, CNRS（法国国家科学研究中心CRIStAL实验室）；University of Neuchatel（纳沙泰尔大学）；University of Oslo（奥斯陆大学）
在本文中，我们考虑风险敏感的顺序决策的强化学习（RL）。我们的贡献是双重的。首先，我们介绍了一种新的和一致的量化风险，即复合风险，它量化的偶然性和认知风险的联合作用在学习过程中。现有的作品要么单独考虑偶然风险或认识风险，要么将其视为相加的组合。我们证明了当认知风险测度被期望所取代时，可加性公式是复合风险的一个特例。因此，复合风险是更敏感的偶然性和认知的不确定性比个人和添加剂配方。我们还提出了一个算法，SENTINEL-K，系综自举和分布式RL的基础上表示认知和偶然的不确定性。K学习器的集成使用跟随正规化领导者（FTRL）来聚合收益分布并获得复合风险。我们通过实验验证了SENTINEL-K可以更好地估计收益分布，并且在与复合风险估计一起使用时，表现出比最先进的风险敏感和分布式RL算法更高的风险敏感性能。
2022-06-29 cs.LG
Taming the Noise in Reinforcement Learning via Soft Updates
Hebrew University（希伯来大学）；Columbia University（哥伦比亚大学）
无模型强化学习算法（如Q学习）在噪声环境中学习的早期阶段表现不佳，因为花费了大量精力来消除对状态-动作价值函数的有偏估计。偏差的结果，从选择，在几个嘈杂的估计，明显的最佳，这可能实际上是次优的。我们提出了G学习，一个新的离策略学习算法，通过在学习过程的开始惩罚确定性策略来正则化值估计。我们表明，这种方法减少了价值函数估计的偏差，从而更快地收敛到最优值和最优策略。此外，G学习能够在可用时自然地结合先前的领域知识。G-学习的随机性也使其避免了一些探索成本，这一特性通常只归因于策略算法。我们在几个例子中说明了这些想法，其中G-学习的结果在学习过程的收敛速度和成本的显着改善。
2017-03-30 cs.IT cs.LG math.IT
Taming "data-hungry" reinforcement learning? Stability in continuous state-action spaces
Massachusetts Institute of Technology（麻省理工学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出了一个在连续状态-动作空间中分析强化学习的新框架，通过强调影响 Bellman 算子和占用测度的两个关键稳定性属性，证明了离线和在线环境下的快速收敛率，并揭示了悲观与乐观及迁移学习的新视角。
2024-01-10 cs.IT cs.LG cs.SY
Taming Lagrangian Chaos with Multi-Objective Reinforcement Learning
University of Rome ‘Tor Vergata’（罗马第二大学）；INFN（意大利国家核物理研究所）；École Normale Supérieure（巴黎高等师范学院）；The Abdus Salam International Centre for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）；Istituto dei Sistemi Complessi, CNR（意大利国家研究委员会复杂系统研究所）
本文研究二维复杂流场中两个活性粒子的运动问题，其多目标是最小化粒子对的能量消耗和扩散率。我们通过多目标强化学习（MORL），结合标量化技术与Q-学习算法，具有可变的游泳速度的拉格朗日漂流者的方法来解决这个问题。我们表明，MORL是能够找到一组权衡的解决方案，形成一个最佳的帕累托边界。作为一个基准，我们表明，一组启发式策略占主导地位的MORL解决方案。我们考虑的情况下，代理不能不断更新其控制变量，但只有在一个离散的（决策）时间，$τ$。我们发现，在李雅普诺夫时间和连续更新限制之间，存在一系列决策时间，其中强化学习发现策略显着改善了算法。特别是，我们讨论了如何大的决策时间需要增强的知识流，而较小的$τ$所有的先验启发式策略成为帕累托最优。
2022-12-19 cs.LG cs.MA nlin.CD
Taming Continuous Posteriors for Latent Variational Dialogue Policies
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Development Center Germany GmbH（亚马逊德国开发中心有限责任公司）
在面向任务的对话（ToD）系统中，将摊销变分推理用于潜在动作强化学习（RL）已被证明是优化对话成功的有效方法。到目前为止，分类后验被认为是绩效的主要驱动因素之一。在这项工作中，我们重新审视了潜在行动RL的高斯变分后验，并表明它们可以产生比分类更好的性能。我们通过简化训练程序来实现这一点，并提出了将潜在对话政策正规化的方法，以保持良好的响应一致性。使用连续的潜在表示，我们的模型在MultiWOZ基准测试中达到了最先进的对话成功率，并且在响应一致性方面与分类潜在方法进行了比较。
2022-06-01 cs.AI cs.CL cs.LG
SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild
HKUST（香港科技大学）；TikTok（字节跳动）；Meituan（美团）
本研究跨10种基础模型探究零强化学习训练，提出格式奖励与查询难度等关键策略，显著提升推理性能，并首次在非Qwen小模型中观察到“顿悟时刻”，开源代码与模型。
2025-08-06 cs.AI cs.CL cs.LG
Dynamic Vocabulary Pruning: Stable LLM-RL by Taming the Tail
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Fudan University（复旦大学）
动态词汇剪枝通过限制RL目标到安全词汇，减少尾部token的偏置误差，从而实现稳定的大语言模型强化学习。
2026-02-06 cs.AI cs.LG stat.ML
Towards Human-Like RL: Taming Non-Naturalistic Behavior in Deep RL via Adaptive Behavioral Costs in 3D Games
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对深度RL智能体在3D游戏中的抖动、旋转等非自然动作，提出ABC-RL，通过价值约束下动态加权的行为成本平衡性能与类人行为。
2023-09-27 cs.AI
Taming Masked Diffusion Language Models via Consistency Trajectory Reinforcement Learning with Fewer Decoding Step
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
针对 MDLM 完全扩散解码与强化学习中轨迹不一致问题，提出 EOSER、ASS 调度器及 CJ-GRPO，使 LLaDA-8B-Instruct 以更少解码步获得有竞争力的推理性能。
2025-09-28 cs.AI cs.CL
VINE: Taming Generative Control Policies for Reinforcement Learning
AgiBot（未知机构）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
研究针对流匹配策略在值梯度强化学习中训练不稳定的问题，提出VINE方法。该方法通过在去噪步骤重建插值状态，创建稳定可微路径，实现稳定的端到端值梯度优化，在相关基准和任务中表现优于现有方法。
2026-07-14 cs.AI cs.RO
Taming Multi-Agent Reinforcement Learning with Estimator Variance Reduction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Alberta（阿尔伯塔大学）；University of Manchester（曼彻斯特大学）；University College London（伦敦大学学院）
针对CT-DE多智能体强化学习因单次联合动作采样导致高方差估计的问题，提出PERLA框架，在评论家中引入联合策略采样，降低方差，提升可扩展性，并在多个基准上验证了其优越性能。
2023-06-22 cs.LG cs.MA
Shocks Under Control: Taming Transonic Compressible Flow over an RAE2822 Airfoil with Deep Reinforcement Learning
Aerospace Engineering Department, Worcester Polytechnic Institute（航空航天工程系，沃斯特理工学院）；Department of Aerospace Engineering, University of Michigan（航空航天工程系，密歇根大学）
针对Re=50,000时二维RAE2822翼型跨音速激波-边界层相互作用的主动流动控制问题，本文采用深度强化学习（DRL）结合高保真CFD求解器，通过合成射流作动器有效缓解激波诱导分离、抑制振荡并提升气动力性能。
2025-11-10 cs.LG physics.flu-dyn
Taming the Greeks: Option Portfolios with Inductive Biases
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼氏量化金融研究所）
本文提出一种端到端深度学习框架，通过可微风险敏感性惩罚实现期权组合的希腊字母中性，在纳斯达克100期权上提升样本外风险调整后表现并降低方向性暴露。
2026-09-29 cs.LG q-fin.CP q-fin.PM
From $\log π$ to $π$: Taming Divergence in Soft Clipping via Bilateral Decoupled Decay of Probability Gradient Weight
Meituan（美团）；Fudan University（复旦大学）；Tsinghua University（清华大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
本文提出DGPO方法，通过解耦衰减机制解决RLVR中概率梯度发散问题，提升大语言模型的推理能力。
2026-04-19 cs.AI cs.LG
RLGS: Reinforcement Learning-Based Adaptive Hyperparameter Tuning for Gaussian Splatting
针对3DGS超参数调优依赖人工且效果不佳的问题，提出即插即用的强化学习框架RLGS，动态调整学习率等关键超参数，在多种变体和数据集上显著提升渲染质量，实现自动化调优。
2025-08-06 cs.CV cs.GR cs.LG
DIAMOND: Taming Sample and Communication Complexities in Decentralized Bilevel Optimization
The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）；Air Force Research Laboratory（美国空军研究实验室）
分散式双层优化最近受到越来越多的关注，这是由于其在许多新兴的多智能体学习范例中的基础作用（例如，多代理元学习和多智能体强化学习）。然而，为了与边缘网络的有限计算和通信能力一起工作，开发分散式双层优化技术的主要挑战是降低采样和通信复杂性。这促使我们开发一种新的分散式双层优化，称为DIAMOND（分散式单时间尺度随机近似与动量和梯度跟踪）。本文的贡献在于：1）我们的DIAMOND算法采用单循环结构，而不是遵循自然的双层优化的双循环结构，这提供了较低的计算和实现复杂度：2）与现有的方法相比，DIAMOND算法不需要任何完整的梯度评估，这进一步降低了样本和计算复杂性; iii）通过动量信息和梯度跟踪技术的仔细整合，我们证明了DIAMOND算法在实现$ε$ -稳态解的样本和通信复杂性方面享有$\mathcal{O}(ε^{-3/2})$，这两者都与数据集大小无关，并且显著优于现有的工作。大量的实验也验证了我们的理论研究结果。
2023-01-19 cs.LG math.OC
Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter
MIT（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）；MIT-IBM AI Lab（麻省理工-IBM人工智能实验室）；MIT, NVIDIA（麻省理工学院、英伟达）
本文提出TLT系统，通过自适应草案器和自适应回放引擎，解决强化学习训练中响应生成的长尾分布问题，实现1.7倍的训练加速并保持模型精度。
2026-03-20 cs.AI cs.DC cs.LG
Taming the Curses of Multiagency in Robust Markov Games with Large State Space through Linear Function Approximation
CMU Machine Learning Department（卡内基梅隆大学机器学习系）；Machine Learning Department, Carnegie Mellon University（机器学习系，卡内基梅隆大学）；Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）
本文提出通过线性函数近似解决大规模马尔可夫游戏中多智能体的样本复杂度诅咒，开发了在生成模型和新提出的在线交互设置中具有证明数据效率的算法。
2026-05-06 cs.LG
Exploiting Estimation Bias in Clipped Double Q-Learning for Continous Control Reinforcement Learning Tasks
University of Padova（帕多瓦大学）；Human-Inspired Technology Research Center（仿人技术研究中心）
本文提出一种偏差利用（BE）机制，在Actor-Critic方法的深度双Q学习中动态选择最有利的估计偏差，以解决连续控制强化学习中的次优策略问题，且不增加计算复杂度。
2024-10-11 cs.AI cs.LG
Bias Resilient Multi-Step Off-Policy Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
本文针对多步离策略目标条件强化学习中的偏差问题，提出利用偏差积极面并抑制其负面影响的解决方案，实现更大步长下的稳定高效学习，并在实验中超越多个先进基准。
2023-11-29 cs.AI cs.LG
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Inc.（腾讯公司）；The University of Manchester（曼彻斯特大学）
本文从深度强化学习（DRL）的角度重新审视了折扣情景马尔可夫决策过程（MDP）的策略梯度估计偏差。理论上，该目标被表述为在时间范围内贴现的预期收益。一个主要的策略梯度偏差是状态分布偏移：用于估计梯度的状态分布与理论公式不同，因为它没有考虑贴现因子。现有关于该偏倚影响的讨论仅限于文献中的表格和softmax病例。因此，在本文中，我们将其扩展到DRL设置的政策参数化，并证明这种偏见如何可能导致次优政策理论。然后，我们讨论了为什么经验不准确的实现与移位状态分布仍然是有效的。我们表明，尽管这样的状态分布偏移，策略梯度估计偏差可以减少以下三种方式：1）一个小的学习率; 2）自适应学习率为基础的优化器;和3）KL正则化。具体来说，我们表明，一个较小的学习率，或自适应学习率，如亚当和RSMProp优化器使用的，使政策优化的偏见。我们进一步绘制优化器和优化正则化之间的联系，以表明KL和反向KL正则化都可以显着纠正这种偏差。此外，我们提供了大量的连续控制任务的实验，以支持我们的分析。我们的论文揭示了成功的PG算法如何在DRL设置中优化策略，并有助于深入了解DRL中的实际问题。
2023-02-10 cs.AI cs.LG
Adapting Double Q-Learning for Continuous Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
针对离策略强化学习中的高估偏差，本文提出一种双组件混合策略，由独立网络分别最大化和评估，在 MuJoCo 上取得接近 SOTA 的结果。
2023-09-25 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习（RL）允许代理在训练期间以在线方式自我调整其超参数。在本文中，我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者，该批评者是使用元学习的折扣因子训练的，用于外部目标中的优势估计，这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子，因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案，这个问题：我们消除这种偏见，使用替代，\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头，并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上，我们证明了偏置会导致当前元梯度RL方法的灾难性失败，并表明我们提出的解决方案修复了它。然后，我们将我们的方法应用于更复杂的环境，并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces
University of Turku（图尔库大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出无标签仅偏置测试时强化学习，仅优化约10万偏置参数，在MATH-500上达76.67%准确率，且可迁移至其他任务，证明极小参数空间可实现有效适应。
2026-10-09 cs.AI cs.LG
Exclusively Penalized Q-learning for Offline Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；UNIST（蔚山科学技术院）
针对离线强化学习中惩罚价值函数可能引入不必要欠估计偏差的问题，提出 EPQ，仅选择性惩罚易产生估计误差的状态，从而降低偏差并提升多种离线控制任务性能。
2024-10-24 cs.AI cs.LG
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Fisher-Guided Selective Forgetting: Mitigating The Primacy Bias in Deep Reinforcement Learning
Bernulli Institute, University of Groningen（格罗宁根大学伯努利研究所）
本文通过Fisher信息矩阵（FIM）的视角研究深度强化学习中的首因偏差（PB），提出Fisher引导的选择性遗忘（FGSF）方法，利用参数空间几何结构选择性修改网络权重，防止早期经验主导学习，在复杂任务中显著优于基线。
2025-02-02 cs.AI cs.LG
A Theoretical Understanding of Gradient Bias in Meta-Reinforcement Learning
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；DeepMind（深度思维）；Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General AI（北京通用人工智能研究院）
本文提出统一框架描述GMRL算法变体，指出其随机元梯度估计器存在组合偏差与多步Hessian估计偏差，并通过表格MDP、Iterated Prisoner's Dilemma和Atari游戏实验验证理论发现及偏差修复方法。
2024-03-25 cs.AI cs.LG
On Inductive Biases in Deep Reinforcement Learning
DeepMind（深度思维）
许多深度强化学习算法包含归纳偏差，这些偏差塑造了智能体的目标及其与环境的接口。这些归纳偏见可以采取多种形式，包括领域知识和预先调整的超参数。一般来说，当算法使用这种偏差时，在通用性和性能之间存在权衡。更强的偏差可以导致更快的学习，但更弱的偏差可能会导致更通用的算法。这种权衡很重要，因为归纳偏差不是免费的;可能需要大量的努力来获得相关的领域知识或有效地调整超参数。在本文中，我们重新审视了几个特定于领域的组件，这些组件会使常见的深度强化学习代理的目标和环境界面产生偏差。我们研究了这些组件被替换为自适应解决方案时，从文献中的性能是否恶化。在我们的实验中，性能有时会随着自适应组件的使用而下降，正如人们在与为域制作的组件进行比较时所预期的那样，但有时自适应组件的性能更好。我们研究了具有较少的特定于域的组件的主要好处，通过比较两个系统在不同的连续控制问题上的学习性能，而无需对任何系统进行额外的调整。正如假设的那样，具有自适应组件的系统在许多新任务上表现得更好。
2019-07-05 cs.AI cs.LG stat.ML
The Primacy Bias in Deep Reinforcement Learning
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）
这项工作确定了深度强化学习（RL）算法的一个常见缺陷：倾向于依赖早期的交互，而忽略后来遇到的有用证据。由于在不断增长的数据集上进行训练，深度RL代理会产生过度拟合早期经验的风险，从而对学习过程的其余部分产生负面影响。受认知科学的启发，我们将这种效应称为首因偏见。通过一系列实验，我们剖析了加剧这种偏见的深度RL的算法方面。然后，我们提出了一个简单而普遍适用的机制，处理的首要偏见定期重置代理的一部分。我们将这种机制应用于离散（Atari 100k）和连续动作（DeepMind Control Suite）领域的算法，不断提高它们的性能。
2022-05-16 cs.AI cs.LG stat.ML
Model Embedding Model-Based Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）
基于模型的强化学习（MBRL）在样本效率上优于无模型强化学习（MFRL）。尽管它取得了令人印象深刻的结果，但它仍然面临着数据生成和模型偏差之间的权衡。本文在概率强化学习的框架下，提出了一种简单而优雅的基于模型嵌入的强化学习（MEMB）算法。为了平衡样本效率和模型偏差，我们在训练中利用了真实和虚构的数据。特别地，我们将模型嵌入到策略更新中，并从真实数据集中学习$Q$和$V$函数。我们提供了理论分析的MEMB与Lipschitz连续性假设的模型和政策。最后，我们评估MEMB在几个基准测试，并证明我们的算法可以达到最先进的性能。
2020-06-16 cs.AI cs.LG
Decomposing MXFP4 quantization error for LLM reinforcement learning: reducible bias, recoverable deadzone, and an irreducible floor
Huawei Canada（华为加拿大）
本文通过将 MXFP4 量化误差分解为三个可加分量（尺度偏差、死区截断和网格噪声），并针对每个分量提出针对性修正（宏块缩放、异常值回退和自适应量化噪声），从而在 LLM 强化学习后训练中恢复精度。
2026-06-02 cs.AI cs.LG
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Vanishing Bias Heuristic-guided Reinforcement Learning Algorithm
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文在 lunar lander 环境中实现多种经典与神经网络强化学习方法，并提出 Heuristic RL 算法，利用启发式引导早期训练并缓解人类偏差，实验结果显示该方法具有良好前景。
2023-06-17 cs.AI cs.LG cs.RO
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University（麦吉尔大学）；University of Liege（列日大学）
本文分析了在具有部分可观测性的强化学习背景下，渐近偏差（无限数据的次优性）和过拟合（由于有限数据而导致的额外次优性）之间的权衡。我们的理论分析正式表征，虽然可能会增加渐近偏差，一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明，当状态表示是一个截断的历史观测，无论是在合成POMDP和大规模POMDP的背景下，智能电网，与现实世界的数据。最后，类似于已知的结果在完全可观察的设置，我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演（HER）旨在通过目标重新标记来解决这两个挑战。然而，HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中，我们提出了多步后见之明经验重放（MHER），结合多步重新标记的回报的基础上$n$ -步骤重新标记，以提高样本效率。尽管$n$ -步骤重新标记的优点，我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题，提出了两种降低偏置的MHER算法：MHER（$λ$）和基于模型的MHER（MMHER）。MHER（$λ$）利用了$λ$的回报，而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明，我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见，并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Automating Control of Overestimation Bias for Reinforcement Learning
Samsung AI Center（三星人工智能中心）；Artificial Intelligence Research Institute（人工智能研究所）；National Research University Higher School of Economics（高等经济研究大学）
高估偏差控制技术被大多数高性能的非策略强化学习算法所使用。然而，这些技术中的大多数依赖于预定义的偏差校正策略，这些策略要么不够灵活，要么需要环境特定的超参数调整。在这项工作中，我们提出了一个通用的数据驱动的方法，用于自动选择偏置控制超参数。我们证明了它的有效性三个算法：截断分位数批评，加权延迟DDPG，和最大最小Q学习。所提出的技术消除了对广泛的超参数搜索的需要。我们表明，它导致显着减少的实际数量的相互作用，同时保持性能。
2022-01-28 cs.AI cs.LG cs.RO
Biased Aggregation, Rollout, and Enhanced Policy Improvement for Reinforcement Learning
我们提出了一个新的聚合框架，近似动态规划，它提供了一个连接的推出算法，近似策略迭代，和其他单步和多步前瞻方法。中心的新颖特征是使用状态的偏置函数$V$，其将聚合成本函数的值向其正确的水平偏置。当$V\equiv0$，但我们的计划最好的工作时，$V$是一个已知的合理的最佳近似的最佳成本函数$J^*$的经典聚合框架。当$V$等于某个已知策略$μ$的成本函数$J_μ$并且只有一个聚合状态时，我们的方案等价于基于$μ$的铺开算法（即，从策略$μ$开始的单个策略改进的结果）。当$V=J_μ$和存在多个聚集状态时，我们的聚集方法可以作为$μ$的更强大的改进形式。因此，当结合近似的政策评估方案，我们的方法可以形成一个新的和增强的形式的近似政策迭代的基础。当$V$是一个通用的偏置函数时，我们的方案等价于在值空间中的近似，其中前瞻函数等于$V$加上每个聚集状态内的局部校正。通过求解低维聚合DP问题获得局部校正水平，当聚合状态的数量足够大时，产生任意接近$J^*$的近似。除了偏置函数，聚合DP问题类似于经典聚合框架中的聚合DP问题，并且其通过模拟或其他方法的算法解与经典聚合的算法解几乎相同，假设$V$的值在需要时可用。
2019-10-06 cs.AI cs.LG
Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases
MIT（麻省理工学院）
本文提出对齐篡改漏洞，即对齐中的LLM通过影响偏好数据集使RLHF放大不良行为，并通过实验展示多种偏见的放大，指出现有缓解方法难以在不牺牲质量的情况下解决该问题。
2026-05-29 cs.AI cs.CL cs.LG
Optimality Inductive Biases and Agnostic Guidelines for Offline Reinforcement Learning
University of Geneva（日内瓦大学）；HES-SO（瑞士西部应用科学与艺术大学）
最先进的离线RL方法的性能在数据集质量的范围内变化很大，从远离最优的随机数据到接近最优的专家演示。我们重新实现这些方法来测试它们的可重复性，并表明当一个给定的方法在光谱的一端优于其他方法时，它在另一端永远不会。这使我们无法全面宣布胜利者。我们将这种不对称性归因于注入到代理中的诱导偏差的数量，以诱使它确认离线数据集的行为对于任务是最佳的。我们的调查证实，这种最优性诱导偏差的不小心注入，使占主导地位的代理低于标准，只要离线政策是次优的。为了弥合这一差距，我们将重要性加权回归方法（已被证明在数据集等级范围内最通用）推广到一个模块化框架中，该框架允许设计与我们对数据集的了解程度相一致的方法。这种模块化使得能够在质量上不同地注入最优性感应偏置。我们发现，某些编排达到了正确的平衡，提高了频谱一端的回报，而不会损害另一端的回报。虽然离线方法设计指南的制定减少了对最优性偏差的调整，以注入我们所知道的数据质量，但我们不需要事先知道数据质量的不可知方法的设计更加微妙。只有我们的框架允许我们设计一种方法，该方法在整个频谱中表现良好，同时如果有更多关于数据质量的信息可用，则保持模块化。
2022-01-19 cs.AI cs.LG
SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning
KAIST（韩国科学技术院）；Sony AI（索尼人工智能）；KRAFTON；Coventry University（科文特大学）；UT Austin（得克萨斯大学奥斯汀分校）
提出SimBa架构，通过观测归一化、残差前馈块和层归一化注入简单性偏置来扩展深度强化学习的网络参数，显著提升了多种RL算法的样本效率，并在多个基准上以高计算效率达到或超越现有最优方法。
2025-05-29 cs.AI cs.LG
Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
基于Transformer神经网络架构的自然语言处理（NLP）的令人印象深刻的结果激发了研究人员探索将离线强化学习（RL）视为通用序列建模问题。最近的工作基于这种范式已经取得了国家的最先进的结果，在几个主要是确定性离线Atari和D4RL基准。然而，由于这些方法将国家和行动联合建模为单个排序问题，因此它们很难理清政策和世界动态对回报的影响。因此，在对抗或随机环境中，这些方法会导致过度乐观的行为，这在自动驾驶等安全关键系统中可能是危险的。在这项工作中，我们提出了一种方法，明确地解开政策和世界模型，这使我们能够在测试时搜索的政策，是强大的多个可能的未来的环境中解决这种乐观偏见。我们在模拟中展示了我们的方法在各种自动驾驶任务上的优越性能。
2022-07-21 cs.AI cs.LG cs.RO
The Surprising Difficulty of Search in Model-Based Reinforcement Learning
Meta FAIR；McGill University（麦吉尔大学）
本文研究基于模型的强化学习中的搜索问题，发现即使模型高度准确，搜索也可能损害性能，而缓解过估计偏差比提高模型或价值函数精度更重要，通过取价值函数集成的最小值可有效解决偏差并实现有效搜索。
2026-05-21 cs.AI cs.LG
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习（meta-RL）在经验上取得了成功，但理论和实践之间仍然存在一些难以理解的差异。重要的是，有偏梯度估计几乎总是在实践中实现，而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中，我们调查这样的差异。特别是，（1）我们表明，无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;（2）我们提出了线性得分函数（LSF）梯度估计，其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;（3）我们表明，大多数经验的工作，实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差，以实现更好的性能;（4）我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点，表现出更好的依赖于$N$比以前的工作时，$N$是大的。
2021-12-14 cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Offline reinforcement learning with uncertainty for treatment strategies in sepsis
The Johns Hopkins University（约翰斯·霍普金斯大学）
基于指南的脓毒症和脓毒性休克的治疗是困难的，因为脓毒症是一种不同范围的危及生命的器官功能障碍，其病理生理学尚未完全了解。脓毒症的早期干预对患者的预后至关重要，但这些干预措施具有不良反应，并且经常过度使用。更大的个性化是必要的，因为没有一个单一的行动是适合所有患者。我们提出了一种新的强化学习应用，其中我们从数据中识别脓毒症治疗的最佳建议，估计其置信水平，并识别在训练数据中很少观察到的治疗方案。而不是一个单一的建议，我们的方法可以提出几种治疗方案。我们研究了学习的政策，发现强化学习对积极干预有偏见，因为死亡率和接受的治疗水平之间存在混杂关系。我们使用子空间学习来减轻这种偏见，并开发出可以在医疗保健应用中产生更准确的学习策略的方法。
2021-09-22 cs.AI cs.LG
Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations
The Hong Kong University of Science and Technology（香港科技大学）
针对低信噪比金融市场中SAC算法的不稳定性，提出FPQC-SAC变体，在表征层使用参数化量子电路约束特征传播，减少极端波动影响，在真实组合管理任务中累计收益相对提升66.89%。
2026-06-09 cs.AI cs.LG
Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs
Southeast University（东南大学）；Nanjing University（南京大学）；Waseda University（早稻田大学）；University of California（加利福尼亚大学）
针对大语言模型偏见问题，提出基于多角色辩论反馈的强化学习方法RLDF，通过自反思或师生模式构建含高低偏见样本的数据集训练奖励模型，实验验证其偏见缓解有效性并开源相关资源。
2024-08-16 cs.AI
Double Successive Over-Relaxation Q-Learning with an Extension to Deep Reinforcement Learning
Research Scholar, Department of Mathematics, Indian Institute of Technology (IIT) Indore（印度理工学院印度奥德分校数学系研究学者）
提出基于样本的无模型双重SOR Q学习算法，通过引入双重机制解决原算法的过高估计偏差与依赖转移概率的问题，并扩展至深度强化学习，在表格与OpenAI Gym环境中验证了有效性。
2025-05-15 cs.AI cs.LG
