ADDQ: Adaptive Distributional Double Q-Learning
Institute of Mathematics, University of Mannheim, Germany(曼海姆大学数学研究所);Department of Mathematics and Computer Science, Freie Universität Berlin, Germany(柏林自由大学数学与计算机科学系)
针对Q值估计偏差导致收敛慢的问题,提出基于分布式强化学习的ADDQ方法,通过局部自适应双Q学习控制高估,仅需几行代码即可改进现有算法,并在表格、Atari和MuJoCo环境中验证有效性。
2025-06-24 cs.LG math.OC
Cross Learning in Deep Q-Networks
Department of Industrial Engineering Auburn University(奥本大学工业工程系)
在这项工作中,我们提出了一种新的交叉Q-学习算法,旨在缓解基于值的强化学习方法中众所周知的高估问题,特别是在深度Q-网络中,高估被函数逼近误差夸大。我们的算法建立在双Q学习的基础上,通过维护一组并行模型并基于随机选择的网络估计Q值,从而减少高估偏差和方差。通过在一些基准测试环境中的测试,我们证明了该方法的优势,实验结果表明,该方法在降低高估偏差和稳定训练方面有显著的性能改善,进一步导致更好的衍生策略。
2020-09-29 cs.AI
Some approaches used to overcome overestimation in Deep Reinforcement Learning algorithms
讨论了在深度强化学习(RL)算法框架下,不同作者研究的与统计噪声相关的一些现象。以下算法进行了检查:深度Q网络(DQN),双DQN,深度确定性策略梯度(DDPG),双延迟DDPG(TD 3),和爬山算法。首先,我们考虑高估,这是由噪声引起的有害属性。然后,我们处理用于勘探的噪声,这是有用的噪声。我们将讨论在TD 3中为与关节体(如HopperBulletEnv和Walker 2DBulletEnv)相关的典型PyBullet环境设置噪声参数。在附录中,关于爬山算法,考虑与噪声相关的另一个示例-自适应噪声的示例。
2022-11-10 cs.LG stat.ML
Elastic Step DQN: A novel multi-step algorithm to alleviate overestimation in Deep QNetworks
Deakin University(迪肯大学);Federation University(联邦大学);UNSW(新南威尔士大学)
Deep Q-Networks算法(DQN)是第一个使用深度神经网络的强化学习算法,在许多Atari学习环境中成功超越人类水平。然而,发散和不稳定的行为一直是DQN长期存在的问题。不稳定行为通常以$Q$值的高估为特征,通常称为高估偏倚。为了解决高估偏差和发散行为,已经提出了一些启发式扩展。值得注意的是,多步更新已被证明可以大大减少不稳定的行为,同时提高代理的训练性能。然而,代理通常对多步更新范围($n$)的选择非常敏感,我们的经验实验表明,$n$的静态值选择不当在许多情况下会导致比单步DQN更差的性能。受$n$ -step DQN的成功和多步更新对高估偏差的影响的启发,本文提出了一种新的算法,我们称之为“弹性步长DQN”(ES-DQN)。它动态地改变步长的水平在多步更新的基础上访问的状态的相似性。我们的实证评估表明,ES-DQN在几个OpenAI Gym环境中的性能优于固定$n$更新的$n$ -step,Double DQN和Average DQN,同时减轻了高估偏差。
2022-10-07 cs.LG
Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning
研究基于深度Q网络的高估偏差问题,提出集成弹性深度Q网络算法,结合自适应弹性多步回报与基于集成的目标聚合,改进回报构建并应用视域相关的集成聚合,在多环境评估中表现良好。
2026-07-07 cs.AI cs.LG
Smoothed Q-learning
University College London(伦敦大学学院)
在强化学习中,Q-学习算法可证明收敛于最优解。然而,正如其他人所证明的那样,Q学习也会高估值,从而花费太长时间探索无用的状态。双Q学习是一种可证明收敛的替代方案,可以减轻一些高估问题,尽管有时会以较慢的收敛速度为代价。我们引入了一种替代算法,用平均值代替最大运算,从而也产生了一种可证明收敛的非策略算法,该算法可以减轻高估,但保持与标准Q学习相似的收敛性。
2023-03-15 cs.LG
Self-correcting Q-Learning
Columbia University(哥伦比亚大学)
已知Q-学习算法受到最大化偏差的影响,即动作值的系统性高估,这是最近重新受到关注的重要问题。双Q学习已经被提出作为一种有效的算法,以减轻这种偏见。然而,这是以低估动作值为代价的,除了增加的内存需求和较慢的收敛。在本文中,我们介绍了一种新的方法来解决的最大化偏差的形式“自我校正算法”近似的最大值的期望值。我们的方法平衡了传统Q学习中使用的单估计器的高估和双Q学习中使用的双估计器的低估。将该策略应用于Q学习,得到自校正Q学习。我们从理论上证明了这种新算法具有与Q学习相同的收敛保证,同时更准确。从经验上讲,它在高方差回报的域中表现得比双Q学习更好,甚至在零或低方差回报的域中比Q学习更快地收敛。这些优势转移到我们称之为自校正DQN的Deep Q Network实现中,并且在Atari 2600域中的几个任务上优于常规DQN和Double DQN。
2021-02-02 cs.LG
Addressing Function Approximation Error in Actor-Critic Methods
McGill University(麦吉尔大学);University of Amsterdam(阿姆斯特丹大学)
在基于值的强化学习方法(如深度Q学习)中,已知函数近似误差会导致高估的值估计和次优策略。我们发现,这个问题仍然存在的演员,评论家设置,并提出新的机制,以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上,通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系,并建议延迟策略更新,以减少每次更新的错误,进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法,在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University(比尔肯特大学)
在基于值的深度强化学习方法中,价值函数的近似会导致高估偏差并导致次优策略。我们发现,在旨在克服高估偏差的深度演员-评论家方法中,如果代理接收到的强化信号具有较高的方差,则会出现显著的低估偏差。为了最大限度地减少低估,我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念,通过最大值和最小值运算符的嵌套组合来计算critic目标,以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改,在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
Finite-Time Analysis for Double Q-learning
The Ohio State University(俄亥俄州立大学);National University of Singapore(新加坡国立大学);Peng Cheng Laboratory(鹏城实验室);Southern University of Science and Technology(南方科技大学)
虽然Q学习是在强化学习中找到最佳动作价值函数(从而找到最优策略)的最成功的算法之一,但是其实现经常遭受由随机采样引起的Q函数值的大幅高估。\citet{hasselt2010double}中提出的双Q学习算法通过在两个Q估计器之间随机切换更新来克服这样的高估问题,并且因此在实践中获得了显著的普及。然而,双Q学习的理论认识是相当有限的。到目前为止,只建立了渐近收敛性,这并没有表征算法收敛的速度有多快。在本文中,我们提供了第一个非渐近(即,双Q学习的有限时间分析。我们表明,同步和异步双Q学习保证收敛到$ε$ -精确的邻域的全局最优值,通过采取$\tildeΩ\left(\left( \frac{1}{(1-γ)^6ε^2}\right)^{\frac{1}ω} +\left(\frac{1}{1-γ}\right)^{\frac{1}{1-ω}}\right)$迭代,其中$ω\in(0,1)$是衰减参数的学习率,和$γ$是折扣因子。我们的分析开发了新的技术来推导两个相互连接的随机过程之间的差异,这是新的随机逼近文献的有限时间界限。
2020-10-12 cs.LG math.OC stat.ML
On the Estimation Bias in Double Q-Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
双Q学习是一种经典的降低Bellman运算中取最大估计值而引起的高估偏差的方法。它在深度Q学习范式中的变体在产生可靠的值预测和提高学习性能方面表现出了巨大的潜力。然而,如先前的工作所示,双Q学习不是完全无偏的,并且存在低估偏差。在本文中,我们表明,这种低估偏差可能会导致多个非最优不动点下的近似Bellman算子。为了解决收敛到非最优静态解的问题,我们提出了一种简单但有效的方法,作为双Q学习中低估偏差的部分修复。该方法利用近似动态规划来约束目标值。我们广泛评估我们提出的方法在Atari基准任务,并证明其显着改善基线算法。
2022-01-14 cs.AI cs.LG stat.ML
Action Candidate Driven Clipped Double Q-learning for Discrete and Continuous Action Tasks
Nanjing University of Science and Technology(南京理工大学)
双Q学习是马尔可夫决策过程(MDP)问题中一种流行的强化学习算法。Clipped Double Q-learning是Double Q-learning的一个有效变体,它使用Clipped Double Estimator来近似最大期望动作值。在某些随机环境中,由于截断双Q估计器的低估偏差,截断双Q学习的性能可能会下降。为了减小低估偏差,本文提出了一种基于动作候选的双Q学习裁剪双估计器。具体来说,我们首先从一组估计量中选择一组具有高动作值的精英动作候选者。然后,在这些候选者中,我们从另一组估计量中选择最高值的动作。最后,我们使用第二组估计器中的最大值来裁剪第一组估计器中所选动作的动作值,并且裁剪的值用于近似最大期望动作值。从理论上讲,我们的裁剪双Q学习中的低估偏差随着候选动作数量的减少而单调衰减。此外,候选行动的数量控制高估和低估偏差之间的权衡。此外,我们还通过近似精英连续动作候选人,将我们的裁剪双Q学习扩展到连续动作任务。我们的经验验证,我们的算法可以更准确地估计一些玩具环境中的最大预期动作值,并在几个基准问题产生良好的性能。
2022-03-22 cs.AI cs.LG
Value Activation for Bias Alleviation: Generalized-activated Deep Double Deterministic Policy Gradients
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Automation, Tsinghua University(清华大学自动化系)
在深度强化学习(Deep Reinforcement Learning,DRL)中,准确地估计价值函数对于智能体执行正确的动作而不是次优的动作至关重要。然而,现有的行动者-批评者方法或多或少地受到低估偏差或高估偏差的影响,这对它们的性能产生了负面影响。在本文中,我们揭示了一个简单而有效的原则:适当的值校正有利于偏差缓解,其中我们提出了广义激活加权算子,使用任何非减函数,即激活函数,作为更好的值估计的权重。特别地,我们将广义激活加权算子集成到值估计中,并引入了一种新的算法,广义激活深度双重确定性策略梯度(GD 3)。我们从理论上表明,GD 3是能够减轻潜在的估计偏差。我们有趣地发现,简单的激活函数导致令人满意的性能,没有额外的技巧,并可能有助于更快的收敛。在许多具有挑战性的连续控制任务上的实验结果表明,具有特定任务激活的GD 3优于常见的基线方法。我们还发现了一个事实,即微调的多项式激活函数在大多数任务上实现了优越的结果。
2021-12-21 cs.AI cs.LG
Efficient Continuous Control with Double Actors and Regularized Critics
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Tsinghua University(清华大学)
如何获得好的值估计是强化学习(RL)的关键问题之一。目前的价值估计方法,如DDPG和TD3,遭受不必要的高估或低估的偏见。在本文中,我们探讨了长期以来被忽视的双重行动者的潜力,以更好地在连续设置的价值函数估计。首先,我们发现并证明了双演员的偏见缓解属性,通过建立双演员在单批评和双批评,以处理高估偏差DDPG和低估偏差TD3分别。接下来,我们有趣地发现,双重演员有助于提高智能体的探索能力。最后,为了减少双重评价者对评价值估计的不确定性,我们进一步提出在双重评价者结构下对评价者网络进行正则化,从而产生了双重评价者正则化评价者(DARC)算法。具有挑战性的连续控制任务的大量实验结果表明,DARC显着优于国家的最先进的方法具有更高的样本效率。
2021-06-06 cs.LG
Double Successive Over-Relaxation Q-Learning with an Extension to Deep Reinforcement Learning
Research Scholar, Department of Mathematics, Indian Institute of Technology (IIT) Indore(印度理工学院印度奥德分校数学系研究学者)
提出基于样本的无模型双重SOR Q学习算法,通过引入双重机制解决原算法的过高估计偏差与依赖转移概率的问题,并扩展至深度强化学习,在表格与OpenAI Gym环境中验证了有效性。
2025-05-15 cs.AI cs.LG
In Hindsight: A Smooth Reward for Steady Exploration
University of Hildesheim(希尔德斯海姆大学)
在经典的Q学习中,目标是通过迭代地使用Bellman方程作为更新来最大化折扣奖励之和,以尝试估计最优策略的动作价值函数。传统上,损失函数被定义为行动价值和预期(折扣)回报之间的时间差,但它只关注未来,导致高估错误。我们通过引入后见之明因子扩展了成熟的Q学习技术,后见之明因子是一个额外的损失项,它考虑了模型的进展情况,并将历史时间差异作为奖励的一部分。这种修改的效果检查在一个确定性的连续状态空间函数估计问题,高估现象显着减少,并在提高稳定性的结果。后见之明因素的潜在影响被建模为自适应学习率,与现有的自适应优化器不同,它考虑了先前估计的动作值。所提出的方法优于Q学习的变化,具有整体较高的平均奖励和较低的动作值,这支持确定性评估,并证明后见之明因素有助于降低高估误差。经过1000万帧的训练后获得的100集的平均得分表明,后见之明因子在各种ATARI游戏中的表现优于深度Q网络,双深度Q网络和决斗网络。
2019-06-24 cs.LG stat.ML
Finite-Time Analysis of Simultaneous Double Q-learning
Department of Electrical Engineering, Korea Advanced Institute of Science(韩国科学技术院电子工程系)
本文提出了一种改进的双Q学习算法SDQ,通过切换系统框架实现有限时间分析,提升收敛速度并保持缓解过估计偏差的能力。
2026-01-12 cs.LG cs.SY eess.SY
ViZDoom: DRQN with Prioritized Experience Replay, Double-Q Learning, & Snapshot Ensembling
ViZDoom是一个强大的第一人称射击游戏强化学习环境,其特点是大量的潜在状态信息。在本文中,双Q学习和优先级的经验重放方法进行了测试,在一定的ViZDoom战斗场景下,使用竞争深度递归Q网络(DRQN)架构。此外,被称为快照集成的集成技术采用特定的退火学习率,以观察在这两种方法下的集成功效的差异。一般来说,退火学习率对于深度神经网络模型的训练很重要,因为它们会改变现状,并对抗模型趋于局部最优的趋势。虽然这两种变体的性能都超过了游戏中内置的人工智能智能体,但说明了双Q学习的已知稳定效果,并通过在智能体开发的早期显示即时结果,再次验证了优先级经验重放的有用性,但在这种情况下,价值高估会加速。此外,还观察到一些独特的行为,以发展优先级经验重放(PER)和双Q(DDQ)的变种,和PER和DDQ的快照集成证明了一个有价值的方法,以提高性能的ViZDoom海洋。
2018-01-03 cs.AI
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理,而无需任何交互。为了解决OOD(分布外)行动的高估问题,保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外,这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计(DCE),它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时,引入了V-函数,避免了分布内作用的误差。此外,我们的算法使用了一个可控的惩罚项,改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明,两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Action Candidate Based Clipped Double Q-learning for Discrete and Continuous Action Tasks
Nanjing University of Science and Technology(南京理工大学)
双Q学习是马尔可夫决策过程(MDP)问题中一种流行的强化学习算法。Clipped Double Q-learning是Double Q-learning的一个有效变体,它使用Clipped Double Estimator来近似最大期望动作值。由于截断双Q估计器的低估偏差,在某些随机环境中,截断双Q学习的性能可能会下降。为了减少低估偏差,本文提出了一种基于动作候选的双Q学习裁剪双估计器。具体来说,我们首先从一组估计器中选择一组具有高动作值的精英动作候选者。然后,在这些候选者中,我们从另一组估计量中选择最高值的动作。最后,我们使用第二组估计器中的最大值来裁剪第一组估计器中所选动作的动作值,并且裁剪的值用于近似最大期望动作值。从理论上讲,我们的裁剪双Q学习中的低估偏差随着候选动作数量的减少而单调衰减。此外,候选行动的数量控制高估和低估偏差之间的权衡。此外,我们还通过近似精英连续动作候选人,将我们的裁剪双Q学习扩展到连续动作任务。我们的经验验证,我们的算法可以更准确地估计一些玩具环境中的最大预期动作值,并在几个基准问题产生良好的性能。
2021-05-03 cs.LG
Learning Tennis Strategy Through Curriculum-Based Dueling Double Deep Q-Networks
Independent Researcher(独立研究者)
本文提出基于课程学习的对战双深Q网络,用于优化网球策略,通过模拟环境实现高胜率和高效发回球表现,但存在防守偏见问题。
2025-12-20 cs.AI cs.LG
Transfer Learning in Multi-Agent Reinforcement Learning with Double Q-Networks for Distributed Resource Sharing in V2X Communication
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
本文讨论了车辆到一切(V2X)通信网络中的分散频谱共享问题。目的是提供车辆到基础设施(V2I)和车辆到车辆(V2V)链路的资源高效共存。最近关于该主题的工作提出了一种基于深度Q学习的多智能体强化学习(MARL)方法,该方法利用了基于指纹的深度Q网络(DQN)架构。这项工作考虑了这个框架的扩展,结合双Q学习(通过双DQN)和迁移学习。背后的动机是双Q学习可以缓解传统Q学习中存在的动作值高估的问题,而迁移学习可以利用专家模型获得的知识来加速MARL设置中的学习。所提出的算法在现实的V2X环境中进行评估,其中合成数据是基于几何传播模型生成的,该模型包含模拟环境的特定位置的地理描述符(建筑物,树叶和车辆的轮廓)。所提出的方法的优点是通过数值模拟证明。
2021-07-13 cs.IT cs.LG eess.SP
An Information-Theoretic Optimality Principle for Deep Reinforcement Learning
我们从方法上解决了深度强化学习中Q值高估的问题,以有效地处理高维状态空间。从信息论的概念,我们引入了一个内在的惩罚信号,鼓励减少Q值估计。由此产生的算法包含广泛的学习结果,其中包含深度Q网络作为特例。不同的学习成果可以通过相应地调整拉格朗日乘数来展示。此外,我们提出了一种新的调度方案,这个拉格朗日乘子,以确保有效和强大的学习。在Atari上的实验中,我们的算法在游戏性能和样本复杂度方面都优于其他算法(例如深度和双深度Q网络)。这些结果仍然有效,根据最近提出的决斗架构。
2018-11-20 cs.AI cs.LG stat.ML
Mitigating Estimation Bias with Representation Learning in TD Error-Driven Regularization
School of Automation, Central South University(自动化学院,中南大学);School of Engineering, University of Newcastle(工程学院,新castle大学)
本文提出了一种基于表示学习的双演员-批评者框架,通过三种凸组合策略和增强的表示来缓解TD误差驱动正则化中的估计偏差,实现灵活的偏差控制和性能提升。
2025-11-20 cs.AI cs.LG
An approach of deep reinforcement learning for maximizing the net present value of stochastic projects
School of Finance and Business, Shanghai Normal University, China(金融与商业学院,上海Normal大学);School of Information and Mechanical and Electrical Engineering, Shanghai Normal University, China(信息与机械电子工程学院,上海Normal大学);School of Management, Northwestern Polytechnical University, Xi’an, China(管理学院,西北工业大学)
针对随机活动持续时间和现金流的项目优化问题,本文将其建模为离散时间MDP并提出DDQN方法,该方法在复杂环境中优于传统策略,且双网络架构和目标网络提升了性能与训练稳定性。
2025-11-17 cs.AI cs.LG
Improve Value Estimation of Q Function and Reshape Reward with Monte Carlo Tree Search
本文针对非完美信息游戏Uno中Q值高估和奖励稀疏问题,提出利用蒙特卡洛树搜索平均Q值估计并重塑奖励的通用算法,实验证明其优于多种传统方法。
2024-10-23 cs.AI cs.LG cs.MA
Revisiting the Softmax Bellman Operator: New Benefits and New Perspective
Duke University(杜克大学);Baidu Research(百度研究院)
在强化学习(RL)中,softmax对价值函数本身的影响通常被认为是有问题的,因为它会导致次优值(或Q)函数,并干扰Bellman算子的收缩特性。令人惊讶的是,尽管存在这些问题,并且独立于其对探索的影响,softmax Bellman算子在与深度Q学习相结合时,在实践中会导致具有优越策略的Q函数,甚至优于其双Q学习对应物。为了更好地理解这种情况是如何发生的以及为什么会发生,我们重新审视了softmax Bellman算子的理论性质,并证明了$(i)$在逆温度参数下指数快速地收敛到标准Bellman算子,并且$(ii)$的Q函数与最优Q函数的距离是有界的。仅凭这些并不能解释其优越的性能,所以我们还表明,softmax算子可以减少高估误差,这可能会给一些洞察为什么一个次优算子导致更好的性能在存在价值函数近似。不同的贝尔曼运营商之间的比较,然后提出,显示选择它们时的权衡。
2019-05-19 cs.AI cs.LG stat.ML
Expert Q-learning: Deep Reinforcement Learning with Coarse State Values from Offline Expert Examples
University of Oslo(奥斯陆大学);Oslo Metropolitan University(奥斯陆都市大学);Norwegian University of Science and Technology(挪威科技大学);Oslo University Hospital(奥斯陆大学医院);Centre for Artificial Intelligence Research, University of Agder(阿格德尔大学人工智能研究中心)
本文提出专家Q学习算法,通过离线专家粗粒度状态值分解Q值,融入半监督学习,在奥赛罗游戏中相比基线Q学习更稳健且抗过估计偏差。
2024-06-25 cs.AI cs.LG
Approximating two value functions instead of one: towards characterizing a new family of Deep Reinforcement Learning algorithms
Montefiore Institute(蒙特菲奥雷研究所);Université de Liège(列日大学);University of Groningen(格罗宁根大学)
本文朝着表征一个新的\textit{model-free}深度强化学习(DRL)算法家族前进了一步。这些算法的目的是联合学习状态-价值函数($V$)的近似以及状态-动作价值函数($Q$)的近似。我们的分析从深入研究深度质量-价值学习(DQV)算法开始,DRL算法已被证明优于流行的技术,如深度Q学习(DQN)和双深度Q学习(DDQN)\cite{sabatelli2018deep}。为了研究为什么DQV的学习动态允许该算法执行得如此之好,我们制定了一组研究问题,帮助我们表征一个新的家庭的DRL算法。在我们的研究结果中,我们提出了一些具体的情况下,DQV的性能可能会受到损害,并介绍了一种新的\textit{off-policy} DRL算法,称为DQV-Max,它可以优于DQV。然后,我们研究的行为的$V$和$Q$功能,学习DQV和DQV-Max,并表明,这两种算法可能在几个DRL测试台上表现得很好,因为他们不太容易遭受高估偏差的$Q$功能。
2019-10-14 cs.AI cs.LG stat.ML