Moderate Actor-Critic Methods: Controlling Overestimation Bias via Expectile Loss
Hanyang University（汉阳大学）
针对无模型强化学习的过高估计偏差问题，提出基于过高估计Q函数与下界凸优化的适度目标，通过状态条件Q值分布的下期望分位数高效估计下界，可无缝集成到DDPG、SAC等算法中，有效缓解偏差。
2025-04-14 cs.LG
Action Candidate Based Clipped Double Q-learning for Discrete and Continuous Action Tasks
Nanjing University of Science and Technology（南京理工大学）
双Q学习是马尔可夫决策过程（MDP）问题中一种流行的强化学习算法。Clipped Double Q-learning是Double Q-learning的一个有效变体，它使用Clipped Double Estimator来近似最大期望动作值。由于截断双Q估计器的低估偏差，在某些随机环境中，截断双Q学习的性能可能会下降。为了减少低估偏差，本文提出了一种基于动作候选的双Q学习裁剪双估计器。具体来说，我们首先从一组估计器中选择一组具有高动作值的精英动作候选者。然后，在这些候选者中，我们从另一组估计量中选择最高值的动作。最后，我们使用第二组估计器中的最大值来裁剪第一组估计器中所选动作的动作值，并且裁剪的值用于近似最大期望动作值。从理论上讲，我们的裁剪双Q学习中的低估偏差随着候选动作数量的减少而单调衰减。此外，候选行动的数量控制高估和低估偏差之间的权衡。此外，我们还通过近似精英连续动作候选人，将我们的裁剪双Q学习扩展到连续动作任务。我们的经验验证，我们的算法可以更准确地估计一些玩具环境中的最大预期动作值，并在几个基准问题产生良好的性能。
2021-05-03 cs.LG
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
On the Estimation Bias in Double Q-Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
双Q学习是一种经典的降低Bellman运算中取最大估计值而引起的高估偏差的方法。它在深度Q学习范式中的变体在产生可靠的值预测和提高学习性能方面表现出了巨大的潜力。然而，如先前的工作所示，双Q学习不是完全无偏的，并且存在低估偏差。在本文中，我们表明，这种低估偏差可能会导致多个非最优不动点下的近似Bellman算子。为了解决收敛到非最优静态解的问题，我们提出了一种简单但有效的方法，作为双Q学习中低估偏差的部分修复。该方法利用近似动态规划来约束目标值。我们广泛评估我们提出的方法在Atari基准任务，并证明其显着改善基线算法。
2022-01-14 cs.AI cs.LG stat.ML
Balanced Q-learning: Combining the Influence of Optimistic and Pessimistic Targets
Deakin University（迪肯大学）
Q学习目标的乐观性质导致高估偏差，这是与标准$Q-$学习相关的固有问题。这种偏见无法解释低回报的可能性，特别是在风险情况下。然而，无论是高估还是低估，偏差的存在并不一定是不可取的。在本文中，我们分析了偏见学习的效用，并表明，特定类型的偏见可能是可取的，这取决于情况。基于这一发现，我们设计了一种新的强化学习算法，平衡Q学习，其中目标被修改为一个悲观和乐观的项，其相关的权重在线确定的凸组合，解析。我们证明了该算法的收敛性在一个表格设置，并实证证明其优越的学习性能在各种环境中。
2021-11-03 cs.AI cs.LG
Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning
Ideas NCBR；University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；Polish Academy of Sciences（波兰科学院）；Tooploox；Nomagic
该研究通过实现60余种整合不同正则化技术的离策略强化学习智能体，在2个模拟基准的14项任务上测试，发现经适当正则化的简单Soft Actor-Critic智能体性能稳健优异，揭示了正则化对强化学习的作用机制。
2024-06-19 cs.LG
Action Candidate Driven Clipped Double Q-learning for Discrete and Continuous Action Tasks
Nanjing University of Science and Technology（南京理工大学）
双Q学习是马尔可夫决策过程（MDP）问题中一种流行的强化学习算法。Clipped Double Q-learning是Double Q-learning的一个有效变体，它使用Clipped Double Estimator来近似最大期望动作值。在某些随机环境中，由于截断双Q估计器的低估偏差，截断双Q学习的性能可能会下降。为了减小低估偏差，本文提出了一种基于动作候选的双Q学习裁剪双估计器。具体来说，我们首先从一组估计量中选择一组具有高动作值的精英动作候选者。然后，在这些候选者中，我们从另一组估计量中选择最高值的动作。最后，我们使用第二组估计器中的最大值来裁剪第一组估计器中所选动作的动作值，并且裁剪的值用于近似最大期望动作值。从理论上讲，我们的裁剪双Q学习中的低估偏差随着候选动作数量的减少而单调衰减。此外，候选行动的数量控制高估和低估偏差之间的权衡。此外，我们还通过近似精英连续动作候选人，将我们的裁剪双Q学习扩展到连续动作任务。我们的经验验证，我们的算法可以更准确地估计一些玩具环境中的最大预期动作值，并在几个基准问题产生良好的性能。
2022-03-22 cs.AI cs.LG
Exclusively Penalized Q-learning for Offline Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；UNIST（蔚山科学技术院）
针对离线强化学习中惩罚价值函数可能引入不必要欠估计偏差的问题，提出 EPQ，仅选择性惩罚易产生估计误差的状态，从而降低偏差并提升多种离线控制任务性能。
2024-10-24 cs.AI cs.LG
OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Gauss Labs Inc.（高斯实验室公司）；Facebook AI Research（脸书人工智能研究院）
我们考虑了离线强化学习（RL）设置，其中代理的目标是仅从数据中优化策略，而无需进一步的环境交互。在离线RL中，分布偏移成为困难的主要来源，这是由于被优化的目标策略与用于数据汇集的行为策略的偏差引起的。这通常会导致动作值的高估，这给使用自举的无模型算法带来了严重的问题。为了缓解这个问题，以前的离线RL算法经常使用复杂的技术，鼓励低估动作值，这引入了一组额外的超参数，需要适当调整。在本文中，我们提出了一种离线RL算法，以更有原则的方式防止高估。与之前的离线RL算法不同，我们的算法OptiDICE直接估计最优策略的平稳分布校正，并且不依赖于策略梯度。使用一组广泛的离线RL基准数据集，我们表明OptiDICE与最先进的方法具有竞争力。
2021-06-21 cs.AI cs.LG
Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
本文提出MICE方法，通过引入内在成本和偏差校正策略，有效控制约束强化学习中的低估偏差，减少约束违反并保持策略性能。
2026-01-17 cs.LG
Reducing Overestimation Bias in Multi-Agent Domains Using Double Centralized Critics
Technical University of Munich（慕尼黑工业大学）；Kyushu Institute of Technology（九州工业大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
许多现实世界的任务需要多个代理一起工作。多智能体强化学习（RL）方法近年来已被提出来解决这些任务，但目前的方法往往无法有效地学习策略。因此，我们调查存在的一个共同的弱点，单代理RL，即价值函数高估偏见，在多代理设置。根据我们的研究结果，我们提出了一种方法，通过使用双中心的批评，减少这种偏见。我们评估它的六个混合合作竞争的任务，显示出显着的优势，比目前的方法。最后，我们研究了多智能体方法在高维机器人任务中的应用，并表明我们的方法可以用来学习分散的策略。
2019-12-02 cs.AI cs.LG cs.MA
ADER:Adapting between Exploration and Robustness for Actor-Critic Methods
已经发现，将非策略强化学习方法与诸如神经网络的函数逼近器相结合会导致对价值函数的高估和次优解。已经提出了诸如TD 3的改进来解决这个问题。然而，我们惊讶地发现，它的性能落后于香草actor-critic方法（如DDPG）在一些原始的环境。在本文中，我们表明，一些情况下的失败可以归因于不足的探索。本文揭示了TD 3中探索性不足的根源，并针对这一问题提出了一种介于探索性和鲁棒性之间的新算法ADER。为了提高探索能力，同时消除高估偏差，我们引入了一个动态的惩罚项的价值估计的不确定性，考虑到不同的不确定性在不同的学习阶段的组成。在几个具有挑战性的环境中的实验表明，该方法在连续控制任务的至高无上的。
2021-09-08 cs.LG
Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shanghai University of Engineering Science（上海工程技术大学）
本文提出CWAC框架，通过分布式评判者、协同加权机制及随机悲观值估计缓解离线强化学习的高估问题，可集成于SAC等算法，在多模拟任务中性能显著提升。
2026-07-30 cs.AI cs.LG
Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty
Turkish Aerospace（土耳其航空航天）
STAC通过引入时间性随机不确定性来缓解强化学习中批评器的过估计问题，采用分布性批评器和dropout正则化提升稳定性和效率。
2026-01-02 cs.AI cs.LG cs.SY
Misspecifying non-compensatory as compensatory IRT: analysis of estimated skills and variance
The Graduate University for Advanced Studies, SOKENDAI（高级研究大学，SOKENDAI）；The Institute of Statistical Mathematics（统计数学研究所）
本文通过理论分析全面研究了将非补偿性 IRT 误设为补偿性模型时对技能估计的影响，发现除已知的高技能低估外还存在原点附近的技能高估，并比较了考虑与不考虑模型误设时估计参数渐近方差的差异。
2025-07-21 cs.LG stat.ME stat.ML
Optimistic critics can empower small actors
针对非对称架构中小型actor导致的性能下降与critic过拟合问题，研究发现价值低估引发的数据收集不佳是主因，并提出缓解价值低估的技术以推动非对称actor-critic方法的发展。
2025-08-14 cs.LG stat.ML
Automating Control of Overestimation Bias for Reinforcement Learning
Samsung AI Center（三星人工智能中心）；Artificial Intelligence Research Institute（人工智能研究所）；National Research University Higher School of Economics（高等经济研究大学）
高估偏差控制技术被大多数高性能的非策略强化学习算法所使用。然而，这些技术中的大多数依赖于预定义的偏差校正策略，这些策略要么不够灵活，要么需要环境特定的超参数调整。在这项工作中，我们提出了一个通用的数据驱动的方法，用于自动选择偏置控制超参数。我们证明了它的有效性三个算法：截断分位数批评，加权延迟DDPG，和最大最小Q学习。所提出的技术消除了对广泛的超参数搜索的需要。我们表明，它导致显着减少的实际数量的相互作用，同时保持性能。
2022-01-28 cs.AI cs.LG cs.RO
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University（清华大学）
在强化学习（RL）中，函数逼近误差容易导致Q值高估，从而大大降低策略性能。本文提出了一种分布式软行动者-批评者（DSAC）算法，这是一种用于连续控制设置的非策略RL方法，通过减轻Q值高估来提高策略性能。我们首先在理论上发现，学习状态-动作回报的分布函数可以有效地减轻Q值高估，因为它能够自适应地调整Q-价值函数的更新步长。然后，通过将收益分布函数嵌入到最大熵RL中，提出了分布式软策略迭代（DSPI）框架。最后，我们提出了DSPI的一个深度非策略行动者-批评者变体，称为DSAC，它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布，以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能，实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
Centralized Cooperative Exploration Policy for Continuous Control Tasks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Tubingen（蒂宾根大学）
深度强化学习（DRL）算法在解决各种复杂控制任务方面表现出色。这种惊人的成功可以部分归因于DRL鼓励智能代理充分探索环境，并在代理培训过程中收集各种经验。因此，勘探发挥了重要作用，在访问的最佳政策日间行车。尽管最近的工作取得了很大的进展，在连续控制任务，探索这些任务仍然没有得到充分的研究。为了明确地鼓励连续控制任务中的探索，我们提出了CCEP（集中式合作探索策略），该策略利用价值函数的低估和高估来维持探索能力。CCEP首先保持两个初始化为不同参数的价值函数，并从一对价值函数生成具有多种探索风格的不同策略。此外，集中式策略框架确保CCEP实现多个策略之间的消息传递，从而有助于协作地探索环境。大量的实验结果表明，CCEP实现了较高的勘探能力。实证分析表明，CCEP学习的政策具有多样性的勘探风格，在更多的勘探地区获得了收益。CCEP的这种探索能力确保了它在实验中显示的多个连续控制任务中优于当前最先进的方法。
2023-01-06 cs.LG
Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
行动者-批评者强化学习（RL）算法在连续控制任务中取得了令人印象深刻的性能。然而，他们仍然遭受两个不平凡的障碍，即，低样本效率和高估偏倚。为此，我们提出了同步双Q学习与保守优势学习（SDQ-CAL）。我们的SDQ-CAL基于对Bellman最优算子的修改和优势学习，增强了非策略行动者-评论者RL的双Q学习。具体而言，SDQ-CAL通过修改奖励来促进最佳动作与其他动作之间的经验区分，从而提高了样本效率。此外，它通过在双重估计量上同时更新一对批评者来减轻高估问题。大量的实验表明，我们的算法实现了更少的偏置值估计，并在一系列连续控制基准任务中实现了最先进的性能。我们在\url{https://github.com/LQNew/SDQ-CAL}上发布了我们方法的源代码。
2022-05-08 cs.AI cs.LG
B3C: A Minimalist Approach to Offline Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
B3C通过引入批评者剪裁和非线性价值分解，有效解决离线多智能体强化学习中的过估计问题，提升性能。
2026-02-12 cs.LG
SQT -- std $Q$-target
Technion（以色列理工学院）；Bosch（博世）
Std $Q$ -target是一种保守的、actor-critic的、集成的、基于$Q$学习的算法，它基于单个关键$Q$ -公式：$Q$ -网络标准差，这是一种“不确定性惩罚”，并且用作高估偏倚问题的最小化解决方案。我们在TD 3/TD 7代码上实现了SQT，并在七个流行的MuJoCo和Bullet任务上对最先进的（SOTA）演员-评论家算法DDPG，TD 3和TD 7进行了测试。我们的研究结果表明，SQT的$Q$ -目标公式优于TD 3的$Q$ -目标公式作为RL高估偏差的保守解决方案，而SQT在所有任务上都表现出明显的性能优势，优于DDPG，TD 3和TD 7。
2024-06-02 cs.AI cs.LG
BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning
由于经济和安全问题，与环境进行在线交互以收集数据样本用于训练强化学习（RL）代理并不总是可行的。离线强化学习的目标是通过使用先前收集的数据集学习有效的策略来解决这个问题。标准的非策略RL算法容易高估分布外（较少探索）动作的值，因此不适合离线RL。行为正则化将学习到的策略约束在数据集的支持集内，已被提出来解决标准策略外算法的局限性。本文对行为正则化离线强化学习进行了改进，提出了BRAC+。首先，我们提出了量化的分布外的行动，并进行比较使用Kullback-Leibler分歧与使用最大均值离散作为正则化协议。我们提出了一个分析上界的KL分歧的行为正则化，以减少与基于样本的估计方差。其次，我们在数学上表明，即使在温和的假设下使用行为正则化策略更新，学习的Q值也会发散。这导致了Q值的过高估计和学习策略的性能恶化。为了缓解这个问题，我们增加了一个梯度惩罚项的政策评估目标。通过这样做，保证Q值收敛。在具有挑战性的离线RL基准测试中，BRAC+比基线行为正则化方法高出40%~87%，比最先进的方法高出6%。
2021-10-02 cs.LG
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
ADDQ: Adaptive Distributional Double Q-Learning
Institute of Mathematics, University of Mannheim, Germany（曼海姆大学数学研究所）；Department of Mathematics and Computer Science, Freie Universität Berlin, Germany（柏林自由大学数学与计算机科学系）
针对Q值估计偏差导致收敛慢的问题，提出基于分布式强化学习的ADDQ方法，通过局部自适应双Q学习控制高估，仅需几行代码即可改进现有算法，并在表格、Atari和MuJoCo环境中验证有效性。
2025-06-24 cs.LG math.OC
Error Controlled Actor-Critic
Xiamen University（厦门大学）；University of Technology Sydney（悉尼科技大学）；Yuan Ze University（元智大学）；Northumbria University（诺森比亚大学）；Aberystwyth University（阿伯里斯特威斯大学）
价值函数的误差不可避免地会引起高估现象，对算法的收敛性产生负面影响。为了减轻近似误差的负面影响，我们提出了误差控制的Actor-Criter，它确保了将近似误差限制在价值函数中。分析了近似误差对actor-critic方法优化过程的影响，给出了Q函数近似器近似误差的上界，并发现在训练策略时限制相邻策略之间的KL-发散度可以降低Q函数近似器的近似误差.一系列连续控制任务的实验结果表明，所提出的actor-critic算法明显降低了近似误差，并显着优于其他无模型RL算法。
2021-09-07 cs.LG
Value Activation for Bias Alleviation: Generalized-activated Deep Double Deterministic Policy Gradients
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Automation, Tsinghua University（清华大学自动化系）
在深度强化学习（Deep Reinforcement Learning，DRL）中，准确地估计价值函数对于智能体执行正确的动作而不是次优的动作至关重要。然而，现有的行动者-批评者方法或多或少地受到低估偏差或高估偏差的影响，这对它们的性能产生了负面影响。在本文中，我们揭示了一个简单而有效的原则：适当的值校正有利于偏差缓解，其中我们提出了广义激活加权算子，使用任何非减函数，即激活函数，作为更好的值估计的权重。特别地，我们将广义激活加权算子集成到值估计中，并引入了一种新的算法，广义激活深度双重确定性策略梯度（GD 3）。我们从理论上表明，GD 3是能够减轻潜在的估计偏差。我们有趣地发现，简单的激活函数导致令人满意的性能，没有额外的技巧，并可能有助于更快的收敛。在许多具有挑战性的连续控制任务上的实验结果表明，具有特定任务激活的GD 3优于常见的基线方法。我们还发现了一个事实，即微调的多项式激活函数在大多数任务上实现了优越的结果。
2021-12-21 cs.AI cs.LG
Addressing Maximization Bias in Reinforcement Learning with Two-Sample Testing
Technische Universität Dresden（德累斯顿工业大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））
针对强化学习价值估计中的最大化偏差，提出基于双样本检验的 TE 与推广 KE，并改造 Q-Learning 和 BDQN，实现可调偏差、收敛保证与性能提升。
2024-08-12 cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Dual-Robust Cross-Domain Offline Reinforcement Learning Against Dynamics Shifts
CityUHK（城市大学 Hong Kong 分校）；UIUC（伊利诺伊大学香槟分校）；Tsinghua University（清华大学）；Yale University（耶鲁大学）；CUHK(SZ)（香港中文大学（深圳））；Tencent（腾讯）
本文提出DROCO算法，通过引入鲁棒跨域Bellman算子和动态价值惩罚等技术，提升跨域离线强化学习在动态偏移下的双鲁棒性。
2026-03-09 cs.LG
Mitigating Estimation Bias with Representation Learning in TD Error-Driven Regularization
School of Automation, Central South University（自动化学院，中南大学）；School of Engineering, University of Newcastle（工程学院，新castle大学）
本文提出了一种基于表示学习的双演员-批评者框架，通过三种凸组合策略和增强的表示来缓解TD误差驱动正则化中的估计偏差，实现灵活的偏差控制和性能提升。
2025-11-20 cs.AI cs.LG
EIA-SEC: Improved Actor-Critic Framework for Multi-UAV Collaborative Control in Smart Agriculture
The University of Tokyo（东京大学）；National Institute of Informatics（国家信息研究所）；The University of Cambridge（剑桥大学）；China Agricultural University（中国农业大学）
EIA-SEC框架通过精英模仿和共享批评机制，提升多无人机在智能农业中的协同控制性能。
2025-12-21 cs.LG
A Geometric Approach to Soft Actor-Critic with Zonotopes for Locomotion Learning
Robotics Institute, Athena Research Center（雅典娜研究中心机器人研究所）；HERON - Hellenic Robotics Center of Excellence（希腊卓越机器人中心）；School of Electrical & Computer Engineering, NTUA（雅典国立技术大学电气与计算机工程学院）
提出 GeZo-SAC 方法，通过 zonotope 几何表示调整 Critic 悲观程度，在 MuJoCo-v5 运动任务上取得高回报，且执行效率高、高估偏差小。
2026-10-30 cs.AI cs.LG
Teach Biped Robots to Walk via Gait Principles and Reinforcement Learning with Adversarial Critics
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；National University of Singapore（新加坡国立大学）
考虑到机器人的非线性和混合动力学特性，控制其稳定行走是一项具有挑战性的任务。强化学习可以通过直接将观察到的状态映射到最大化累积奖励的最佳动作来解决这些问题。然而，局部极小值所造成的不适当的奖励和高估的累积奖励阻碍了最大化的累积奖励。为了提高累积奖励，本文设计了一种基于步行原理的步态奖励，它补偿了不自然运动的局部极小值。此外，提出了一种基于递归神经网络的对抗性双延迟深度确定性（ATD 3）策略梯度算法，通过减轻对累积奖励的高估来进一步提高累积奖励。在Roboschool Walker2d和Webots Atlas模拟器上的实验结果表明，添加步态奖励后，测试奖励分别增加了23.50%和9.63%。使用ATD3_RNN后，测试奖励进一步增加了15.96%和12.68%，原因可能是ATD3_RNN将累积奖励的估计误差从19.86%降低到3.35%。此外，步态奖励和ATD3_RNN训练的机器人与人之间的余弦运动相似度提高了69.23%以上。因此，所设计的步态奖励和ATD3_RNN提高了累积奖励，并教机器人更好地行走。
2019-10-22 cs.LG cs.RO
Bootstrapping Expectiles in Reinforcement Learning
CMAP, Ecole Polytechnique（巴黎综合理工学院CMAP）；INRIA Paris, HeKA（法国国家信息与自动化研究所巴黎分所HeKA团队）；SUPAERO（法国航空航天高等学院）；Cohere（Cohere公司）
本文提出 ExpectRL，用期望分位数损失替代评论家的 $L_2$ 损失以在强化学习中引入悲观主义，在过估计问题和鲁棒强化学习基准上均优于经典方法，并扩展了自动选择悲观程度的机制。
2024-06-06 cs.AI cs.LG
Mildly Conservative Regularized Evaluation for Offline Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（新castle大学工程学院）
针对离线强化学习中的分布偏移与过估计问题，提出MCRE框架和MCRQ算法，通过在Bellman backup中结合TD误差与行为克隆项平衡保守性与性能，在基准数据集上优于现有强基线算法。
2025-08-08 cs.AI cs.LG
CTD4 -- A Deep Continuous Distributional Actor-Critic Agent with a Kalman Fusion of Multiple Critics
The University of Auckland（奥克兰大学）；New Dexterity Lab（新 Dexterity 实验室）
本文提出CTD4，一种面向连续动作空间的连续分布无模型强化学习算法，通过评论家输出连续分布并利用卡尔曼融合集成多评论家以抑制过高估计，在复杂连续控制任务中实现样本高效学习。
2025-02-06 cs.AI cs.LG
WD3: Taming the Estimation Bias in Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对深度强化学习中价值函数估计的高低估偏差问题，提出加权延迟深度确定性策略梯度算法WD3，通过加权双评论家输出消除偏差，在连续控制任务上性能达到或超过当前最优水平。
2023-11-04 cs.AI cs.LG
Controlling Overestimation Bias with Truncated Mixture of Continuous Distributional Quantile Critics
Samsung AI center（三星人工智能中心）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
高估偏差是精确离策略学习的主要障碍之一。本文研究了一种新的方法，以减轻在连续控制设置的高估偏差。我们的方法-截断分位数批评，TQC，-融合了三个想法：分布式表示的批评，截断的批评预测，和合奏的多个批评。分布表示和截断允许任意粒度的高估控制，而集成提供了额外的分数改进。TQC在连续控制基准测试套件的所有环境中的表现都优于当前最先进的技术，在最具挑战性的Humanoid环境中表现出25%的改进。
2020-05-08 cs.AI cs.LG stat.ML
Adaptively Calibrated Critic Estimates for Deep Reinforcement Learning
University of Freiburg（弗莱堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
精确的值估计对于离线强化学习是重要的。基于时间差异学习的算法通常倾向于随着时间的推移而建立过度或低估偏差。在本文中，我们提出了一种通用的方法，称为自适应校准的批评（ACC），使用最近的高方差，但无偏的政策推出，以减轻低方差的时间差异目标的偏见。我们将ACC应用于截断分位数批评，这是一种用于连续控制的算法，允许使用每个环境调整的超参数来调节偏差。由此产生的算法在训练过程中自适应地调整参数，使超参数搜索变得不必要，并在所有不为每个环境调整超参数的算法中，在OpenAI健身房连续控制基准上设置了一个新的最新技术水平。ACC在Meta-World机器人基准测试的不同任务上进一步实现了改进的结果。此外，我们证明了ACC的一般性，通过将其应用到TD 3，并在此设置中显示出更好的性能。
2022-10-21 cs.AI cs.LG cs.RO
