Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
On Inductive Biases in Deep Reinforcement Learning
DeepMind（深度思维）
许多深度强化学习算法包含归纳偏差，这些偏差塑造了智能体的目标及其与环境的接口。这些归纳偏见可以采取多种形式，包括领域知识和预先调整的超参数。一般来说，当算法使用这种偏差时，在通用性和性能之间存在权衡。更强的偏差可以导致更快的学习，但更弱的偏差可能会导致更通用的算法。这种权衡很重要，因为归纳偏差不是免费的;可能需要大量的努力来获得相关的领域知识或有效地调整超参数。在本文中，我们重新审视了几个特定于领域的组件，这些组件会使常见的深度强化学习代理的目标和环境界面产生偏差。我们研究了这些组件被替换为自适应解决方案时，从文献中的性能是否恶化。在我们的实验中，性能有时会随着自适应组件的使用而下降，正如人们在与为域制作的组件进行比较时所预期的那样，但有时自适应组件的性能更好。我们研究了具有较少的特定于域的组件的主要好处，通过比较两个系统在不同的连续控制问题上的学习性能，而无需对任何系统进行额外的调整。正如假设的那样，具有自适应组件的系统在许多新任务上表现得更好。
2019-07-05 cs.AI cs.LG stat.ML
On overfitting and asymptotic bias in batch reinforcement learning with partial observability
McGill University（麦吉尔大学）；University of Liege（列日大学）
本文分析了在具有部分可观测性的强化学习背景下，渐近偏差（无限数据的次优性）和过拟合（由于有限数据而导致的额外次优性）之间的权衡。我们的理论分析正式表征，虽然可能会增加渐近偏差，一个较小的状态表示降低过拟合的风险。该分析依赖于通过绑定相关联的置信状态的L1误差项来表达状态表示的质量。理论结果的经验表明，当状态表示是一个截断的历史观测，无论是在合成POMDP和大规模POMDP的背景下，智能电网，与现实世界的数据。最后，类似于已知的结果在完全可观察的设置，我们还简要讨论和经验说明如何使用函数逼近器和适应折扣因子可以增强渐近偏差和过度拟合之间的权衡在部分可观察的上下文中。
2019-02-06 cs.AI cs.LG stat.ML
Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases
Institute of Artificial Intelligence, School of Computer Science, Wuhan University, China；Hubei Luojia Laboratory, Wuhan, China；The University of Sydney, Australia；JD Explore Academy, Beijing, China；Nanyang Technological University, Singapore
本文提出TDPO-R算法，通过利用扩散模型的时间归纳偏置和抑制活跃神经元的优先偏置，有效缓解奖励过度优化问题。
2024-06-05 cs.CV cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Automating Control of Overestimation Bias for Reinforcement Learning
Samsung AI Center（三星人工智能中心）；Artificial Intelligence Research Institute（人工智能研究所）；National Research University Higher School of Economics（高等经济研究大学）
高估偏差控制技术被大多数高性能的非策略强化学习算法所使用。然而，这些技术中的大多数依赖于预定义的偏差校正策略，这些策略要么不够灵活，要么需要环境特定的超参数调整。在这项工作中，我们提出了一个通用的数据驱动的方法，用于自动选择偏置控制超参数。我们证明了它的有效性三个算法：截断分位数批评，加权延迟DDPG，和最大最小Q学习。所提出的技术消除了对广泛的超参数搜索的需要。我们表明，它导致显着减少的实际数量的相互作用，同时保持性能。
2022-01-28 cs.AI cs.LG cs.RO
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning
University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
在具有未知或难以处理的动态的随机设置中，用于优化目标的基于导数的方法需要导数的估计。我们推导出一个目标，在自动微分，产生低方差无偏估计的衍生工具在任何顺序。我们的目标是兼容的任意优势估计，它允许控制的偏差和方差的任何阶导数时，使用函数逼近。此外，我们提出了一种方法来权衡偏差和方差的高阶导数贴现的影响，更遥远的因果关系。我们证明了我们的目标的正确性和实用性，在分析听话的MDP和元强化学习连续控制。
2019-09-23 cs.LG stat.ML
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST（韩国科学技术院）
在诸如近端策略优化（PPO）的基于重要性采样（IS）的强化学习算法中，IS权重通常被裁剪以避免学习中的大方差。然而，从裁剪统计的政策更新引起大的偏见，在任务中具有高的动作维度，和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中，我们认为PPO，一个代表性的政策算法，并提出了其改进的维度上的IS权重裁剪，分别剪辑每个动作维度的IS权重，以避免大的偏见，并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务，并重复使用旧的样本，如在离策略学习，以提高样本效率。数值实验结果表明，该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
Exploiting Estimation Bias in Clipped Double Q-Learning for Continous Control Reinforcement Learning Tasks
University of Padova（帕多瓦大学）；Human-Inspired Technology Research Center（仿人技术研究中心）
本文提出一种偏差利用（BE）机制，在Actor-Critic方法的深度双Q学习中动态选择最有利的估计偏差，以解决连续控制强化学习中的次优策略问题，且不增加计算复杂度。
2024-10-11 cs.AI cs.LG
Bias Resilient Multi-Step Off-Policy Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
本文针对多步离策略目标条件强化学习中的偏差问题，提出利用偏差积极面并抑制其负面影响的解决方案，实现更大步长下的稳定高效学习，并在实验中超越多个先进基准。
2023-11-29 cs.AI cs.LG
A Forget-and-Grow Strategy for Deep Reinforcement Learning Scaling in Continuous Control
Computer Science, University of Maryland（大学计算机科学系，马里兰大学）；Shanghai Qi Zhi Institute（上海启智研究院）；Department of Computer Science（计算机科学系）；Technology, Tsinghua University（技术，清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（交叉信息科学研究所，清华大学）；Huawei Noah's Ark Lab（华为诺亚实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出FoG算法，通过经验回放衰减和网络扩展两种机制缓解首因偏差，在40余个连续控制任务上超越BRO、SimBa和TD-MPC2等现有方法。
2025-07-03 cs.LG
Deep Reinforcement Learning for De-Novo Drug Design
University of North Carolina（北卡罗来纳大学）；UNC Eshelman School of Pharmacy（北卡罗来纳大学埃谢尔曼药学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一种新的计算策略从头设计的分子所需的属性称为ReLeaSE（强化学习结构进化）。基于深度和强化学习方法，ReLeaSE集成了两个深度神经网络-生成和预测-分别训练，但联合使用以生成新的目标化学库。ReLeaSE只使用分子的SMILES字符串来简单表示分子。生成模型与堆栈增强记忆网络进行训练，以产生化学上可行的SMILES字符串，并推导出预测模型来预测从头生成的化合物的所需性质。在该方法的第一阶段，生成和预测模型分别训练与监督学习算法。在第二阶段，两个模型都与强化学习方法联合训练，以使新化学结构的生成偏向于具有所需物理和/或生物特性的化学结构。在概念验证研究中，我们采用了ReLeaSE方法来设计偏向结构复杂性或偏向具有最大、最小或特定范围物理特性（如熔点或疏水性）的化合物的化学文库，并开发新型JAK 2推定抑制剂。本文提出的方法可用于生成针对单一所需性质或多种性质优化的新型化合物的靶向化学文库。
2018-05-31 cs.AI cs.LG stat.ML
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
Regret Minimization for Reinforcement Learning by Evaluating the Optimal Bias Function
Tsinghua University（清华大学）
提出了一种基于\emph{Optimism in the Face of Uncertainty}（OFU）原理的强化学习算法，该算法能够有效地学习由有限状态-动作空间的马尔可夫决策过程（MDP）建模的强化学习（RL）。通过计算最优偏置函数$h^{*}$的状态对差，该算法得到了具有$S$状态和$A$动作的MDP的遗憾界$\tilde{O}(\sqrt{SAHT})$ \footnote{The symbol $\tilde{O}$ means $O$ with log factors ignored. }，在$h^{*}$跨度上的上界$H$，即，$sp(h^{*})$是已知的。这个结果比以前最好的后悔界限$\tilde{O}(S\sqrt{AHT}) $ \citep{fruit2019improved}好一个因子$\sqrt{S}$。此外，该遗憾界限与$Ω(\sqrt{SAHT}) $ \citep{jaksch2010near}的下限匹配到对数因子。因此，我们表明，有一个接近最佳的遗憾界的$\tilde{O}(\sqrt{SADT})$的MDPs与有限直径$D$相比，$Ω(\sqrt{SADT}) $ \citep{jaksch2010near}的下限。
2019-12-28 cs.LG stat.ML
Trace-Mediated Peak Bias: Bridging Temporal Credit Assignment and Cognitive Heuristics in Deep Reinforcement Learning
Department of AI, University of Groningen（格罗宁根大学人工智能系）
本文发现深度强化学习中的迹介导峰值偏差（TMPB），揭示了其作为峰值-末端规则的机制基础，并证明自适应优化器通过二阶矩归一化可缓解该偏差。
2026-06-03 cs.AI cs.LG
Breaking the Bias Barrier in Concave Multi-Objective Reinforcement Learning
本研究提出了一种改进的自然策略梯度算法，通过多级蒙特卡洛估计器克服了凹标量化多目标强化学习中的偏见问题，实现了最优样本复杂性保证。
2026-03-09 cs.LG stat.ML
Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Inc.（腾讯公司）；The University of Manchester（曼彻斯特大学）
本文从深度强化学习（DRL）的角度重新审视了折扣情景马尔可夫决策过程（MDP）的策略梯度估计偏差。理论上，该目标被表述为在时间范围内贴现的预期收益。一个主要的策略梯度偏差是状态分布偏移：用于估计梯度的状态分布与理论公式不同，因为它没有考虑贴现因子。现有关于该偏倚影响的讨论仅限于文献中的表格和softmax病例。因此，在本文中，我们将其扩展到DRL设置的政策参数化，并证明这种偏见如何可能导致次优政策理论。然后，我们讨论了为什么经验不准确的实现与移位状态分布仍然是有效的。我们表明，尽管这样的状态分布偏移，策略梯度估计偏差可以减少以下三种方式：1）一个小的学习率; 2）自适应学习率为基础的优化器;和3）KL正则化。具体来说，我们表明，一个较小的学习率，或自适应学习率，如亚当和RSMProp优化器使用的，使政策优化的偏见。我们进一步绘制优化器和优化正则化之间的联系，以表明KL和反向KL正则化都可以显着纠正这种偏差。此外，我们提供了大量的连续控制任务的实验，以支持我们的分析。我们的论文揭示了成功的PG算法如何在DRL设置中优化策略，并有助于深入了解DRL中的实际问题。
2023-02-10 cs.AI cs.LG
Adapting Double Q-Learning for Continuous Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
针对离策略强化学习中的高估偏差，本文提出一种双组件混合策略，由独立网络分别最大化和评估，在 MuJoCo 上取得接近 SOTA 的结果。
2023-09-25 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习（RL）允许代理在训练期间以在线方式自我调整其超参数。在本文中，我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者，该批评者是使用元学习的折扣因子训练的，用于外部目标中的优势估计，这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子，因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案，这个问题：我们消除这种偏见，使用替代，\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头，并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上，我们证明了偏置会导致当前元梯度RL方法的灾难性失败，并表明我们提出的解决方案修复了它。然后，我们将我们的方法应用于更复杂的环境，并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces
University of Turku（图尔库大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出无标签仅偏置测试时强化学习，仅优化约10万偏置参数，在MATH-500上达76.67%准确率，且可迁移至其他任务，证明极小参数空间可实现有效适应。
2026-10-09 cs.AI cs.LG
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Merging Deterministic Policy Gradient Estimations with Varied Bias-Variance Tradeoff for Effective Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
在具有连续动作空间的马尔可夫决策过程（MDP）上的深度强化学习（DRL）通常通过沿着估计的策略梯度（PG）的方向直接训练参数策略来实现。以前的研究表明，这些PG算法的性能在很大程度上取决于估计和使用PG所涉及的偏差方差权衡。平衡这种权衡的一种值得注意的方法是合并策略上和策略外梯度估计。然而，现有的PG合并方法可能是样本效率低，不适合训练直接确定性的政策。为了解决这些问题，本文引入精英PG，并加强其方差减少效果，采用精英主义和政策巩固技术，定期政策培训的基础上，从精英轨迹提取的政策行为知识。同时，我们提出了一个两步的方法来合并精英PG和传统的PG作为一个新的扩展，传统的插值合并方法。在理论和实验两个层面上，我们表明，两步合并和插值合并可以诱导不同的偏差方差权衡在政策培训。它们使我们能够有效地使用精英PG，并减轻他们对训练有素的政策的性能影响。我们的实验还表明，两步合并可以优于插值合并和几个国家的最先进的算法在六个基准控制任务。
2020-05-02 cs.LG stat.ML
Exclusively Penalized Q-learning for Offline Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；UNIST（蔚山科学技术院）
针对离线强化学习中惩罚价值函数可能引入不必要欠估计偏差的问题，提出 EPQ，仅选择性惩罚易产生估计误差的状态，从而降低偏差并提升多种离线控制任务性能。
2024-10-24 cs.AI cs.LG
Vanishing Bias Heuristic-guided Reinforcement Learning Algorithm
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文在 lunar lander 环境中实现多种经典与神经网络强化学习方法，并提出 Heuristic RL 算法，利用启发式引导早期训练并缓解人类偏差，实验结果显示该方法具有良好前景。
2023-06-17 cs.AI cs.LG cs.RO
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演（HER）旨在通过目标重新标记来解决这两个挑战。然而，HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中，我们提出了多步后见之明经验重放（MHER），结合多步重新标记的回报的基础上$n$ -步骤重新标记，以提高样本效率。尽管$n$ -步骤重新标记的优点，我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题，提出了两种降低偏置的MHER算法：MHER（$λ$）和基于模型的MHER（MMHER）。MHER（$λ$）利用了$λ$的回报，而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明，我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见，并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Efficient Bias-Span-Constrained Exploration-Exploitation in Reinforcement Learning
INRIA Lille（里尔法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）；Montanuniversität Leoben（莱奥本矿业大学）
我们介绍SCAL，一种算法，旨在执行有效的勘探开发在任何未知的弱通信马尔可夫决策过程（MDP）的最佳偏置函数的跨度上界$c$是已知的。对于具有$S$状态、$A$动作和$Γ\leq S$可能的下一状态的MDP，我们证明了$\widetilde{O}(c\sqrt{ΓSAT})$的遗憾界，该遗憾界显著地改进了现有的算法（例如，UCRL和PSRL），其遗憾与MDP直径$D$呈线性关系。实际上，最佳偏置跨度是有限的，并且通常比$D$小得多（例如，非交流MDP中的$D=\infty$）。Bartlett和Tewari（2009）最初针对REGAL. C得出了类似的结果，对此没有可用的易处理算法。在本文中，我们放松了REGAL. C的核心优化问题，我们仔细分析了它的属性，我们提供了第一个计算效率高的算法来解决它。最后，我们报告的数值模拟支持我们的理论研究结果，并显示如何SCAL显着优于UCRL在大直径和小跨度的MDP。
2018-07-06 cs.LG stat.ML
Reinforcement Learning via Reasoning from Demonstration
St. Lawrence University（圣劳伦斯大学）
演示是一种很有吸引力的方式，人类提供援助的学习代理。这一领域的大多数方法主要将演示视为行为偏差的来源。但在稀疏奖励任务中，人类似乎更多地将演示视为因果知识的来源。本文提出了一个框架的代理人，受益于这种人类启发的方式演示。在这个框架中，智能体通过观察建立因果模型，并从这些知识中推理，以分解任务，实现有效的强化学习。实验结果表明，从演示推理（RfD）的基本实现是有效的，在一系列稀疏奖励任务。
2020-04-12 cs.AI cs.LG stat.ML
A Theoretical Understanding of Gradient Bias in Meta-Reinforcement Learning
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；DeepMind（深度思维）；Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General AI（北京通用人工智能研究院）
本文提出统一框架描述GMRL算法变体，指出其随机元梯度估计器存在组合偏差与多步Hessian估计偏差，并通过表格MDP、Iterated Prisoner's Dilemma和Atari游戏实验验证理论发现及偏差修复方法。
2024-03-25 cs.AI cs.LG
Overcoming Model Bias for Robust Offline Deep Reinforcement Learning
Siemens Corporate Technology（西门子企业技术）；Technical University of Munich（慕尼黑工业大学）
最先进的强化学习算法主要依赖于被允许与其环境直接交互以收集数百万个观察结果。这使得他们很难将成功转移到工业控制问题上，因为模拟通常非常昂贵或不存在，并且在真实环境中探索可能会导致灾难性事件。最近开发的无模型离线RL算法可以通过减轻价值函数中的外推误差来从单个数据集（包含有限的探索）中学习。然而，训练过程的鲁棒性仍然相对较低，这是使用价值函数的方法中已知的问题。为了提高学习过程的鲁棒性和稳定性，我们使用动态模型来评估策略性能，而不是价值函数，从而产生MOOSE（基于模型的离线策略搜索与集成），该算法通过将策略保持在数据的支持范围内来确保低模型偏差。我们将MOOSE与最先进的无模型离线RL算法{ BRAC，} BEAR和BCQ在工业基准和MuJoCo连续控制任务中的鲁棒性能进行比较，发现MOOSE在几乎所有考虑的情况下都优于其无模型同行，甚至远远超过。
2021-07-22 cs.LG stat.ML
Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases
MIT（麻省理工学院）
本文提出对齐篡改漏洞，即对齐中的LLM通过影响偏好数据集使RLHF放大不良行为，并通过实验展示多种偏见的放大，指出现有缓解方法难以在不牺牲质量的情况下解决该问题。
2026-05-29 cs.AI cs.CL cs.LG
Model Embedding Model-Based Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）
基于模型的强化学习（MBRL）在样本效率上优于无模型强化学习（MFRL）。尽管它取得了令人印象深刻的结果，但它仍然面临着数据生成和模型偏差之间的权衡。本文在概率强化学习的框架下，提出了一种简单而优雅的基于模型嵌入的强化学习（MEMB）算法。为了平衡样本效率和模型偏差，我们在训练中利用了真实和虚构的数据。特别地，我们将模型嵌入到策略更新中，并从真实数据集中学习$Q$和$V$函数。我们提供了理论分析的MEMB与Lipschitz连续性假设的模型和政策。最后，我们评估MEMB在几个基准测试，并证明我们的算法可以达到最先进的性能。
2020-06-16 cs.AI cs.LG
Decomposing MXFP4 quantization error for LLM reinforcement learning: reducible bias, recoverable deadzone, and an irreducible floor
Huawei Canada（华为加拿大）
本文通过将 MXFP4 量化误差分解为三个可加分量（尺度偏差、死区截断和网格噪声），并针对每个分量提出针对性修正（宏块缩放、异常值回退和自适应量化噪声），从而在 LLM 强化学习后训练中恢复精度。
2026-06-02 cs.AI cs.LG
Discovering Diverse Solutions in Deep Reinforcement Learning by Maximizing State-Action-Based Mutual Information
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）
强化学习算法通常仅限于为指定任务学习单个解决方案，即使经常存在不同的解决方案。最近的研究表明，学习一组不同的解决方案是有益的，因为多样性使强大的Few-Shot适应。虽然现有的方法学习不同的解决方案，使用互信息作为无监督的奖励，这样的方法往往遭受由值函数近似引起的梯度估计的偏差。在这项研究中，我们提出了一种新的方法，可以学习不同的解决方案，而不会受到偏见的问题。在我们的方法中，以连续或离散潜变量为条件的策略通过直接最大化互信息的变分下界来训练，而不是像以前的研究那样使用互信息作为无监督奖励。通过对机器人运动任务的大量实验，我们证明了所提出的方法通过学习连续潜变量成功地学习了无穷多个不同的解决方案，这比学习有限数量的解决方案更具挑战性。随后，我们表明，我们的方法使更有效的Few-Shot适应与现有的方法相比。
2022-04-13 cs.AI cs.LG stat.ML
Bias by Necessity: Impossibility Theorems for Sequential Processing with Convergent AI and Human Validation
Stellaris AI Limited（Stellaris AI有限公司）；Brain Investing Limited（Brain Investing有限公司）；The University of Hong Kong（香港大学）
本文探讨了序列信息处理中某些认知偏差是否不可避免，通过三个不可能定理证明了优先效应、锚定和顺序依赖在自回归语言模型中的必要性，并通过实验验证了这些偏差的量化预测。
2026-05-09 cs.AI cs.CL cs.LG
Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
基于Transformer神经网络架构的自然语言处理（NLP）的令人印象深刻的结果激发了研究人员探索将离线强化学习（RL）视为通用序列建模问题。最近的工作基于这种范式已经取得了国家的最先进的结果，在几个主要是确定性离线Atari和D4RL基准。然而，由于这些方法将国家和行动联合建模为单个排序问题，因此它们很难理清政策和世界动态对回报的影响。因此，在对抗或随机环境中，这些方法会导致过度乐观的行为，这在自动驾驶等安全关键系统中可能是危险的。在这项工作中，我们提出了一种方法，明确地解开政策和世界模型，这使我们能够在测试时搜索的政策，是强大的多个可能的未来的环境中解决这种乐观偏见。我们在模拟中展示了我们的方法在各种自动驾驶任务上的优越性能。
2022-07-21 cs.AI cs.LG cs.RO
WD3: Taming the Estimation Bias in Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对深度强化学习中价值函数估计的高低估偏差问题，提出加权延迟深度确定性策略梯度算法WD3，通过加权双评论家输出消除偏差，在连续控制任务上性能达到或超过当前最优水平。
2023-11-04 cs.AI cs.LG
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习（meta-RL）在经验上取得了成功，但理论和实践之间仍然存在一些难以理解的差异。重要的是，有偏梯度估计几乎总是在实践中实现，而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中，我们调查这样的差异。特别是，（1）我们表明，无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;（2）我们提出了线性得分函数（LSF）梯度估计，其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;（3）我们表明，大多数经验的工作，实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差，以实现更好的性能;（4）我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点，表现出更好的依赖于$N$比以前的工作时，$N$是大的。
2021-12-14 cs.LG
Biased Aggregation, Rollout, and Enhanced Policy Improvement for Reinforcement Learning
我们提出了一个新的聚合框架，近似动态规划，它提供了一个连接的推出算法，近似策略迭代，和其他单步和多步前瞻方法。中心的新颖特征是使用状态的偏置函数$V$，其将聚合成本函数的值向其正确的水平偏置。当$V\equiv0$，但我们的计划最好的工作时，$V$是一个已知的合理的最佳近似的最佳成本函数$J^*$的经典聚合框架。当$V$等于某个已知策略$μ$的成本函数$J_μ$并且只有一个聚合状态时，我们的方案等价于基于$μ$的铺开算法（即，从策略$μ$开始的单个策略改进的结果）。当$V=J_μ$和存在多个聚集状态时，我们的聚集方法可以作为$μ$的更强大的改进形式。因此，当结合近似的政策评估方案，我们的方法可以形成一个新的和增强的形式的近似政策迭代的基础。当$V$是一个通用的偏置函数时，我们的方案等价于在值空间中的近似，其中前瞻函数等于$V$加上每个聚集状态内的局部校正。通过求解低维聚合DP问题获得局部校正水平，当聚合状态的数量足够大时，产生任意接近$J^*$的近似。除了偏置函数，聚合DP问题类似于经典聚合框架中的聚合DP问题，并且其通过模拟或其他方法的算法解与经典聚合的算法解几乎相同，假设$V$的值在需要时可用。
2019-10-06 cs.AI cs.LG
Incorporating Cognitive Biases into Reinforcement Learning for Financial Decision-Making
BITC.edu.cn（北京工业大学计算机学院）
本研究将认知偏差融入强化学习框架，旨在实现更接近人类的交易行为并提升风险调整后的收益。
2026-01-13 cs.LG econ.EM
Biases for Emergent Communication in Multi-agent Reinforcement Learning
DeepMind（深度思维）
我们研究的问题，紧急沟通，语言出现，因为扬声器和听众必须沟通信息，以解决任务。在时间上扩展的强化学习领域中，已经证明在没有集中训练代理的情况下难以学习这种通信，部分原因是难以联合探索问题。我们为积极的信号和积极的倾听引入了归纳偏见，这缓解了这个问题。在一个简单的一步环境中，我们展示了这些偏见如何缓解学习问题。我们还将我们的方法应用到一个更广泛的环境中，表明具有这些归纳偏见的代理可以实现更好的性能，并分析由此产生的通信协议。
2019-12-11 cs.CL cs.LG cs.MA
Large Language Models are Biased Reinforcement Learners
Binghamton University（宾汉姆顿大学）；École Normale Supérieure（巴黎高等师范学院）
本文通过多老虎机任务、提示操控、计算认知建模与隐藏层分析，发现LLM存在相对价值编码偏差，并由纳入相对价值的简单RL机制解释。
2024-05-19 cs.AI cs.CL cs.LG
On the Hidden Objective Biases of Group-based Reinforcement Learning
Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant’Anna（机器人与人工智能卓越部门、TeCIP、圣安娜高等学院）；Institute of Informatics and Telematics, National Research Council of Italy（信息与电信研究所、意大利国家研究委员会）；National Doctorate on Artificial Intelligence, Sapienza Università di Roma（人工智能国家博士项目、萨皮恩扎罗马大学）
本文分析了基于群体的强化学习方法中的隐藏目标偏差，揭示了非均匀群体加权、AdamW优化器影响及动量对策略更新的影响，为未来方法设计提供指导。
2026-01-08 cs.AI cs.CL cs.LG
Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs
Southeast University（东南大学）；Nanjing University（南京大学）；Waseda University（早稻田大学）；University of California（加利福尼亚大学）
针对大语言模型偏见问题，提出基于多角色辩论反馈的强化学习方法RLDF，通过自反思或师生模式构建含高低偏见样本的数据集训练奖励模型，实验验证其偏见缓解有效性并开源相关资源。
2024-08-16 cs.AI
Optimality Inductive Biases and Agnostic Guidelines for Offline Reinforcement Learning
University of Geneva（日内瓦大学）；HES-SO（瑞士西部应用科学与艺术大学）
最先进的离线RL方法的性能在数据集质量的范围内变化很大，从远离最优的随机数据到接近最优的专家演示。我们重新实现这些方法来测试它们的可重复性，并表明当一个给定的方法在光谱的一端优于其他方法时，它在另一端永远不会。这使我们无法全面宣布胜利者。我们将这种不对称性归因于注入到代理中的诱导偏差的数量，以诱使它确认离线数据集的行为对于任务是最佳的。我们的调查证实，这种最优性诱导偏差的不小心注入，使占主导地位的代理低于标准，只要离线政策是次优的。为了弥合这一差距，我们将重要性加权回归方法（已被证明在数据集等级范围内最通用）推广到一个模块化框架中，该框架允许设计与我们对数据集的了解程度相一致的方法。这种模块化使得能够在质量上不同地注入最优性感应偏置。我们发现，某些编排达到了正确的平衡，提高了频谱一端的回报，而不会损害另一端的回报。虽然离线方法设计指南的制定减少了对最优性偏差的调整，以注入我们所知道的数据质量，但我们不需要事先知道数据质量的不可知方法的设计更加微妙。只有我们的框架允许我们设计一种方法，该方法在整个频谱中表现良好，同时如果有更多关于数据质量的信息可用，则保持模块化。
2022-01-19 cs.AI cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出OOO框架，通过解耦探索与利用策略，利用离线重训练缓解在线RL中的探索偏差，显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning
本文提出一种结合因果推断与多模态表示学习的反事实奖励模型，通过反事实信任分数缓解RLHF中的多模态偏差，在假新闻检测中达到89.12%准确率并减少虚假相关性和不公平强化信号。
2025-08-27 cs.LG
SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning
KAIST（韩国科学技术院）；Sony AI（索尼人工智能）；KRAFTON；Coventry University（科文特大学）；UT Austin（得克萨斯大学奥斯汀分校）
提出SimBa架构，通过观测归一化、残差前馈块和层归一化注入简单性偏置来扩展深度强化学习的网络参数，显著提升了多种RL算法的样本效率，并在多个基准上以高计算效率达到或超越现有最优方法。
2025-05-29 cs.AI cs.LG
CM-DQN: A Value-Based Deep Reinforcement Learning Model to Simulate Confirmation Bias
New York University Shanghai（上海纽约大学）
本文提出深度强化学习算法 CM-DQN，通过对正负预测误差采用不同更新策略模拟确认偏差，并在连续状态和离散状态环境中验证了确认性偏差能带来更好的学习效果。
2024-08-08 cs.LG
The Surprising Difficulty of Search in Model-Based Reinforcement Learning
Meta FAIR；McGill University（麦吉尔大学）
本文研究基于模型的强化学习中的搜索问题，发现即使模型高度准确，搜索也可能损害性能，而缓解过估计偏差比提高模型或价值函数精度更重要，通过取价值函数集成的最小值可有效解决偏差并实现有效搜索。
2026-05-21 cs.AI cs.LG
Offline reinforcement learning with uncertainty for treatment strategies in sepsis
The Johns Hopkins University（约翰斯·霍普金斯大学）
基于指南的脓毒症和脓毒性休克的治疗是困难的，因为脓毒症是一种不同范围的危及生命的器官功能障碍，其病理生理学尚未完全了解。脓毒症的早期干预对患者的预后至关重要，但这些干预措施具有不良反应，并且经常过度使用。更大的个性化是必要的，因为没有一个单一的行动是适合所有患者。我们提出了一种新的强化学习应用，其中我们从数据中识别脓毒症治疗的最佳建议，估计其置信水平，并识别在训练数据中很少观察到的治疗方案。而不是一个单一的建议，我们的方法可以提出几种治疗方案。我们研究了学习的政策，发现强化学习对积极干预有偏见，因为死亡率和接受的治疗水平之间存在混杂关系。我们使用子空间学习来减轻这种偏见，并开发出可以在医疗保健应用中产生更准确的学习策略的方法。
2021-09-22 cs.AI cs.LG
Inductive Biases for Zero-shot Systematic Generalization in Language-informed Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
本文针对强化学习中的样本效率和系统泛化挑战，基于NPS提出模块化与稀疏性架构级归纳偏置，并赋予记忆核心角色，在BabyAI环境中显著提升了模型的零样本系统泛化与样本效率。
2025-01-25 cs.AI cs.CL cs.LG
