Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty
Turkish Aerospace（土耳其航空航天）
STAC通过引入时间性随机不确定性来缓解强化学习中批评器的过估计问题，采用分布性批评器和dropout正则化提升稳定性和效率。
2026-01-02 cs.AI cs.LG cs.SY
Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shanghai University of Engineering Science（上海工程技术大学）
本文提出CWAC框架，通过分布式评判者、协同加权机制及随机悲观值估计缓解离线强化学习的高估问题，可集成于SAC等算法，在多模拟任务中性能显著提升。
2026-07-30 cs.AI cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning
Ideas NCBR；University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；Polish Academy of Sciences（波兰科学院）；Tooploox；Nomagic
该研究通过实现60余种整合不同正则化技术的离策略强化学习智能体，在2个模拟基准的14项任务上测试，发现经适当正则化的简单Soft Actor-Critic智能体性能稳健优异，揭示了正则化对强化学习的作用机制。
2024-06-19 cs.LG
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University（清华大学）
在强化学习（RL）中，函数逼近误差容易导致Q值高估，从而大大降低策略性能。本文提出了一种分布式软行动者-批评者（DSAC）算法，这是一种用于连续控制设置的非策略RL方法，通过减轻Q值高估来提高策略性能。我们首先在理论上发现，学习状态-动作回报的分布函数可以有效地减轻Q值高估，因为它能够自适应地调整Q-价值函数的更新步长。然后，通过将收益分布函数嵌入到最大熵RL中，提出了分布式软策略迭代（DSPI）框架。最后，我们提出了DSPI的一个深度非策略行动者-批评者变体，称为DSAC，它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布，以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能，实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
行动者-批评者强化学习（RL）算法在连续控制任务中取得了令人印象深刻的性能。然而，他们仍然遭受两个不平凡的障碍，即，低样本效率和高估偏倚。为此，我们提出了同步双Q学习与保守优势学习（SDQ-CAL）。我们的SDQ-CAL基于对Bellman最优算子的修改和优势学习，增强了非策略行动者-评论者RL的双Q学习。具体而言，SDQ-CAL通过修改奖励来促进最佳动作与其他动作之间的经验区分，从而提高了样本效率。此外，它通过在双重估计量上同时更新一对批评者来减轻高估问题。大量的实验表明，我们的算法实现了更少的偏置值估计，并在一系列连续控制基准任务中实现了最先进的性能。我们在\url{https://github.com/LQNew/SDQ-CAL}上发布了我们方法的源代码。
2022-05-08 cs.AI cs.LG
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
Invariance to Quantile Selection in Distributional Continuous Control
Ruhr West University of Applied Sciences（鲁尔西应用科学大学）
近年来，分布式强化学习产生了许多最先进的成果。随着时间的推移，越来越多的样本有效的离散动作域的分布算法已经开发出来，这些算法主要在它们参数化值分布近似值的方式以及它们如何量化这些分布之间的差异方面有所不同。在这项工作中，我们转移三个最著名的和成功的这些算法（QR-DQN，IQN和CQNF）的连续动作域扩展两个强大的演员评论家算法（TD 3和SAC）与分布的批评。我们调查是否相对性能的离散动作空间的方法转化为连续的情况下。为此，我们在一组连续控制任务的pybullet实现上进行了经验比较。我们的研究结果表明定性不变性的数量和位置的分布原子的确定性，连续的行动设置。
2022-12-29 cs.AI cs.LG
ADER:Adapting between Exploration and Robustness for Actor-Critic Methods
已经发现，将非策略强化学习方法与诸如神经网络的函数逼近器相结合会导致对价值函数的高估和次优解。已经提出了诸如TD 3的改进来解决这个问题。然而，我们惊讶地发现，它的性能落后于香草actor-critic方法（如DDPG）在一些原始的环境。在本文中，我们表明，一些情况下的失败可以归因于不足的探索。本文揭示了TD 3中探索性不足的根源，并针对这一问题提出了一种介于探索性和鲁棒性之间的新算法ADER。为了提高探索能力，同时消除高估偏差，我们引入了一个动态的惩罚项的价值估计的不确定性，考虑到不同的不确定性在不同的学习阶段的组成。在几个具有挑战性的环境中的实验表明，该方法在连续控制任务的至高无上的。
2021-09-08 cs.LG
More Test-Time Compute Can Hurt: Overestimation Bias in LLM Beam Search
NVIDIA Research（NVIDIA研究实验室）；Bar-Ilan University（巴伊兰大学）；University of Groningen（格罗宁根大学）
研究探讨了束搜索宽度对LLM输出质量的影响，通过极值理论分析发现，过宽的搜索会引入系统性过估计偏差，提出基于信噪比的束宽选择方法。
2026-03-17 cs.AI cs.LG
Mitigating Estimation Bias with Representation Learning in TD Error-Driven Regularization
School of Automation, Central South University（自动化学院，中南大学）；School of Engineering, University of Newcastle（工程学院，新castle大学）
本文提出了一种基于表示学习的双演员-批评者框架，通过三种凸组合策略和增强的表示来缓解TD误差驱动正则化中的估计偏差，实现灵活的偏差控制和性能提升。
2025-11-20 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Quantile-Coupled Flow Matching for Distributional Reinforcement Learning
Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所）；Bristol Robotics Laboratory, University of the West of England（布里斯托尔机器人实验室，西英格兰大学）；Dyson Institute of Engineering & Technology（戴森工程与技术研究院）
本文提出FlowIQN，通过分位数对齐的流路径改进流匹配批评者，解决分布性强化学习中分布Bellman算子在p-瓦瑟斯坦距离下的收缩性问题，提升瓦瑟斯坦返回分布精度并兼容DRL流程。
2026-05-08 cs.LG cs.RO
A Geometric Approach to Soft Actor-Critic with Zonotopes for Locomotion Learning
Robotics Institute, Athena Research Center（雅典娜研究中心机器人研究所）；HERON - Hellenic Robotics Center of Excellence（希腊卓越机器人中心）；School of Electrical & Computer Engineering, NTUA（雅典国立技术大学电气与计算机工程学院）
提出 GeZo-SAC 方法，通过 zonotope 几何表示调整 Critic 悲观程度，在 MuJoCo-v5 运动任务上取得高回报，且执行效率高、高估偏差小。
2026-10-30 cs.AI cs.LG
QuEst: Enhancing Estimates of Quantile-Based Distributional Measures Using Model Predictions
UNC Chapel Hill（UNC夏洛特山分校）；Columbia University（哥伦比亚大学）；Google Deepmind（谷歌DeepMind）
QuEst提出一个融合少量观测数据与大量模型插补数据的框架，为基于分位数的分布测度提供点估计和置信区间，并扩展至多维指标及方差优化，在多个领域验证了有效性。
2025-07-07 cs.LG stat.ML
From Distributional to Quantile Neural Basis Models: the case of Electricity Price Forecasting
CNR, Institute of Intelligent Industrial Technologies and Systems for Advanced Manufacturing（CNR，智能工业技术与系统研究所）
该研究提出Quantile Neural Basis Model，将分位数广义可加模型的可解释性融入端到端神经网络，无需参数化分布假设，在电力价格预测中实现了与现有神经网络相当的性能并提供了模型行为见解。
2025-09-17 cs.LG
ADDQ: Adaptive Distributional Double Q-Learning
Institute of Mathematics, University of Mannheim, Germany（曼海姆大学数学研究所）；Department of Mathematics and Computer Science, Freie Universität Berlin, Germany（柏林自由大学数学与计算机科学系）
针对Q值估计偏差导致收敛慢的问题，提出基于分布式强化学习的ADDQ方法，通过局部自适应双Q学习控制高估，仅需几行代码即可改进现有算法，并在表格、Atari和MuJoCo环境中验证有效性。
2025-06-24 cs.LG math.OC
CTD4 -- A Deep Continuous Distributional Actor-Critic Agent with a Kalman Fusion of Multiple Critics
The University of Auckland（奥克兰大学）；New Dexterity Lab（新 Dexterity 实验室）
本文提出CTD4，一种面向连续动作空间的连续分布无模型强化学习算法，通过评论家输出连续分布并利用卡尔曼融合集成多评论家以抑制过高估计，在复杂连续控制任务中实现样本高效学习。
2025-02-06 cs.AI cs.LG
Distributional Advantage Actor-Critic
Carnegie Mellon University（卡内基梅隆大学）
在传统的强化学习中，智能体通过估计价值函数来近似最优策略，从而最大化在其与环境交互期间收集的奖励。通常情况下，给定状态s和动作a，对应的值是预期的奖励折扣总和。然后，最优动作被选择为具有由价值函数估计的最大值的动作a。然而，最近的发展表明，在深度Q学习的背景下，当价值函数被价值分布取代时，理论和实验证据都显示出优越的性能[1]。在本文中，我们开发了一种新的算法，结合优势演员评论家的值分布估计分位数回归。我们评估了这种新算法，称为分布式优势演员-评论家（DA 2C或QR-A2 C）的各种任务，并观察到它至少达到基线算法一样好，并在一些任务中表现优于基线，具有较小的方差和增加的稳定性。
2018-06-10 cs.AI cs.LG stat.ML
Combinations of distributional regression algorithms with application in uncertainty estimation of corrected satellite precipitation products
National Technical University of Athens（雅典国立技术大学）
本文面向卫星降水产品校正的空间预测，提出结合GAMLSS、分布回归森林及堆叠、等权平均的分布回归集成方法，并通过大型多源降水数据验证其在分位数性能与稳定性上的优势。
2025-01-06 cs.LG stat.AP stat.ME
Quantile QT-Opt for Risk-Aware Vision-Based Robotic Grasping
University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
强化学习（RL）的分布式视角已经产生了一系列成功的Q-学习算法，从而在街机游戏环境中实现了最先进的性能。然而，它还没有被分析如何将这些发现从一个离散的设置转化为复杂的实际应用，其特点是嘈杂的，高维的和连续的状态动作空间。在这项工作中，我们提出了分位数QT-选项（Q2-Opt），最近推出的分布式Q-连续域的学习算法的分布变体，并检查其行为在一系列模拟和真实的基于视觉的机器人抓取任务。在Q2-Opt中没有演员，这使得我们可以直接与文献中以前的离散实验进行比较，而无需演员-评论家架构引起的额外复杂性。我们证明了Q2-Opt实现了卓越的基于视觉的物体抓取成功率，同时也具有更高的采样效率。分布式公式还允许我们实验各种风险失真指标，这些指标为我们提供了机器人如何使用深度RL控制策略在实践中具体管理风险的指示。作为额外的贡献，我们在虚拟环境中进行批量RL实验，并将其与离散设置的最新发现进行比较。令人惊讶的是，我们发现，从街机游戏环境中获得的文献中先前的批次RL结果并不适用于我们的设置。
2020-06-04 cs.LG cs.RO stat.ML
SPQR: Controlling Q-ensemble Independence with Spiked Random Model for Reinforcement Learning
Seoul National University（首尔大学）；Hodoo AI Labs（Hodoo AI实验室）
本文针对深度强化学习中的高估偏差问题，基于随机矩阵理论提出了 spiked Wishart Q-ensemble 独立性正则化（SPQR），通过将独立性假设检验转化为谱分布间的 KL 散度，在多个在线和离线 RL 基准上优于基线算法。
2024-01-06 cs.AI cs.LG stat.ML
Directional Ensemble Aggregation for Actor-Critics
Department of Mathematics and Computer Science University of Southern Denmark（数学与计算机科学系 欧洲南部大学）
针对连续控制离策略强化学习中静态集成聚合粗糙且无法自适应的问题，提出定向集成聚合DEA，通过两个可学习定向参数结合方向加权Bellman误差自适应调整保守性与探索，在多基准和学习模式下效果优于静态策略。
2025-07-31 cs.LG stat.ML
Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation
University of Seoul（首尔市立大学）
本文提出用非对称拉普拉斯分布无限混合作为VAE解码器，以突破高斯性假设限制，并建立其与分位估计的理论联系，在合成数据生成中展现出灵活调节数据隐私水平的优势。
2023-10-27 cs.LG stat.ML
Multi Pseudo Q-learning Based Deterministic Policy Gradient for Tracking Control of Autonomous Underwater Vehicles
Tsinghua University（清华大学）；University of Macau（澳门大学）
研究了一类动力学未知且输入受限的欠驱动自主水下机器人（AUV）的轨迹跟踪问题。与现有的策略梯度方法采用单一的actor-critics，但不能实现令人满意的跟踪控制精度和稳定的学习不同，我们提出的算法可以实现高水平的跟踪控制精度的AUV和稳定的学习，通过应用一个混合的actor-critics架构，其中多个actor-critics被训练学习一个确定性的政策和行动-价值函数，分别。具体地说，对于批评家，期望绝对贝尔曼误差为基础的更新规则被用来选择最差的批评家在每个时间步更新。随后，为了计算出具有更精确目标值的损失函数，针对连续动作空间，提出了伪Q学习方法，该方法使用子贪婪策略代替Q学习中的贪婪策略，并提出了多伪Q学习方法（MPQ），以减少对动作价值函数的高估，并使学习过程稳定.对于参与者，应用确定性策略梯度来更新权重，并将最终学习的策略定义为所有参与者的平均值，以避免大而坏的更新。此外，定性地给出了学习的稳定性分析。通过在两种不同参考轨迹的AUV上的应用，验证了基于MPQ的确定性策略梯度（MPQ-DPG）算法的有效性和通用性。仿真结果表明，MPQ-DPG具有较高的跟踪控制精度和稳定的学习能力。此外，研究结果还证实了增加演员和评论家的数量会进一步提高表演效果。
2019-09-07 cs.AI cs.LG stat.ML
Better Exploration with Optimistic Actor-Critic
Microsoft Research Cambridge（微软研究院剑桥分院）；University of California San Diego（加州大学圣迭戈分校）
Actor-critic方法是一种无模型强化学习，已成功应用于连续控制中的挑战性任务，通常可以实现最先进的性能。然而，这些方法在现实世界中的大规模采用是困难的，因为它们的样本效率很低。我们从理论和经验两方面解决这个问题。在理论方面，我们确定了两种现象，防止有效的探索，在现有的国家的最先进的算法，如软演员批评。首先，将贪婪的演员更新与对评论家的悲观估计相结合，导致避免代理不知道的动作，我们称之为悲观探索不足的现象。第二，目前的算法是方向不明的，采样动作的概率相等，方向与当前均值相反。这是一种浪费，因为我们通常更需要沿着某些方向采取行动。为了解决这两种现象，我们引入了一种新算法：乐观演员批评者，它逼近状态-动作值函数的置信下限和置信上限。这使我们能够在面对不确定性时应用乐观原则，使用上限进行定向探索，同时仍然使用下限以避免高估。我们在几个具有挑战性的连续控制任务中评估OAC，实现最先进的样品效率。
2019-10-28 cs.LG stat.ML
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tsinghua University（清华大学）
如何获得好的值估计是强化学习（RL）的关键问题之一。目前的价值估计方法，如DDPG和TD3，遭受不必要的高估或低估的偏见。在本文中，我们探讨了长期以来被忽视的双重行动者的潜力，以更好地在连续设置的价值函数估计。首先，我们发现并证明了双演员的偏见缓解属性，通过建立双演员在单批评和双批评，以处理高估偏差DDPG和低估偏差TD3分别。接下来，我们有趣地发现，双重演员有助于提高智能体的探索能力。最后，为了减少双重评价者对评价值估计的不确定性，我们进一步提出在双重评价者结构下对评价者网络进行正则化，从而产生了双重评价者正则化评价者（DARC）算法。具有挑战性的连续控制任务的大量实验结果表明，DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
EIA-SEC: Improved Actor-Critic Framework for Multi-UAV Collaborative Control in Smart Agriculture
The University of Tokyo（东京大学）；National Institute of Informatics（国家信息研究所）；The University of Cambridge（剑桥大学）；China Agricultural University（中国农业大学）
EIA-SEC框架通过精英模仿和共享批评机制，提升多无人机在智能农业中的协同控制性能。
2025-12-21 cs.LG
Adaptively Calibrated Critic Estimates for Deep Reinforcement Learning
University of Freiburg（弗莱堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
精确的值估计对于离线强化学习是重要的。基于时间差异学习的算法通常倾向于随着时间的推移而建立过度或低估偏差。在本文中，我们提出了一种通用的方法，称为自适应校准的批评（ACC），使用最近的高方差，但无偏的政策推出，以减轻低方差的时间差异目标的偏见。我们将ACC应用于截断分位数批评，这是一种用于连续控制的算法，允许使用每个环境调整的超参数来调节偏差。由此产生的算法在训练过程中自适应地调整参数，使超参数搜索变得不必要，并在所有不为每个环境调整超参数的算法中，在OpenAI健身房连续控制基准上设置了一个新的最新技术水平。ACC在Meta-World机器人基准测试的不同任务上进一步实现了改进的结果。此外，我们证明了ACC的一般性，通过将其应用到TD 3，并在此设置中显示出更好的性能。
2022-10-21 cs.AI cs.LG cs.RO
Aggressive Q-Learning with Ensembles: Achieving Both High Sample Efficiency and High Asymptotic Performance
New York University（纽约大学）；New York University Shanghai（上海纽约大学）；University of California, Berkeley（加州大学伯克利分校）
无模型深度强化学习（DRL）的最新进展表明，简单的无模型方法在挑战高维连续控制任务时可以非常有效。特别是，截断分位数批评（TQC）在MuJoCo基准测试中实现了最先进的渐进训练性能，并具有批评的分布表示;随机Encoding Double Q-Learning（REDQ）实现了高样本效率，与使用高更新数据比和目标随机化的最先进的基于模型的方法相比具有竞争力。在本文中，我们提出了一种新的无模型算法，侵略性Q学习与集成（AQE），它提高了REDQ的样本效率性能和TQC的渐近性能，从而在训练的所有阶段提供整体的最先进的性能。此外，AQE非常简单，既不需要批评者的分布表示，也不需要目标随机化。AQE的有效性得到了我们广泛的实验、消融和理论结果的进一步支持。
2022-11-17 cs.AI cs.LG
Exploration with Multi-Sample Target Values for Distributional Reinforcement Learning
University of Oxford（牛津大学）；University of British Columbia（英属哥伦比亚大学）；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
分布式强化学习（RL）旨在学习一个价值网络，该网络预测给定状态的收益的完全分布，通常通过基于分位数的批评来建模。这种方法已经成功地集成到常见的RL方法中，用于连续控制，从而产生了分布式软演员-批评（DSAC）等算法。在本文中，我们介绍了多样本目标值（MTV）的分布RL，作为一个原则性的替代单样本目标值估计，在目前的实践中普遍采用。改进后的分布估计进一步有助于基于UCB的勘探。这两个想法结合在一起，产生了我们的分布式RL算法E2 DC（Extra Exploration with Distributional Critics）。我们在一系列连续控制任务上评估了我们的方法，并在困难的任务（如人形机器人控制）上展示了最先进的无模型性能。我们通过可视化和分析学习的分布及其在训练过程中的演变来进一步了解该方法。
2022-02-06 cs.AI cs.LG
FastDSAC: Unlocking the Potential of Maximum Entropy RL in High-Dimensional Humanoid Control
本文提出FastDSAC框架，通过维度熵调节和连续分布批评机，有效提升最大熵随机策略在复杂连续控制中的性能，实验证明其在Basketball和Balance Hard任务中表现优异。
2026-03-13 cs.AI cs.LG
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院）；Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院）；Department of Engineering Science, University West（工程科学系，西大学）；Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院）
本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
