Generalization and Regularization in DQN
University of Alberta(阿尔伯塔大学);Google Research(谷歌研究院);DeepMind Alberta(DeepMind 阿尔伯塔)
深度强化学习算法已经显示出在高维任务中学习复杂控制策略的令人印象深刻的能力。然而,尽管在流行的基准测试中性能不断提高,但当在非常相似的环境中进行评估时,通过深度强化学习算法学习的策略可能难以推广。在本文中,我们提出了一个协议来评估泛化强化学习通过不同模式的Atari 2600游戏。通过该协议,我们评估了DQN的泛化能力,DQN是最传统的深度强化学习算法之一,我们提供的证据表明,DQN对训练环境过度专业化。然后,我们全面评估dropout和$\ell_2$正则化的影响,以及重用学习的表示来提高DQN的泛化能力的影响。尽管正则化在深度强化学习中没有得到充分利用,但我们证明了它实际上可以帮助DQN学习更多的一般特征。这些特性可以在类似的任务中重复使用和微调,从而大大提高DQN的样本效率。
2020-01-17 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Decorrelation
University of Alberta(阿尔伯塔大学);Huawei Noah’s Ark(华为诺亚方舟实验室);Huawei Hi-Silicon(华为海思)
学习高维数据的有效表示是强化学习(RL)中的一个挑战性问题。深度强化学习(DRL),如深度Q网络(DQN),通过从卷积网络学习深度编码表示,在计算机游戏中取得了显着的成功。在本文中,我们提出了一个简单但非常有效的方法,表示学习与DRL算法。我们的关键见解是,DRL算法学习的特征是高度相关的,这会干扰学习。通过添加惩罚潜在特征中相关性的正则化损失(仅需少量计算),我们逐步地对深度神经网络表示的特征进行去相关。在49个Atari游戏上,使用相同的正则化因子,我们的去相关算法在人类标准化分数方面执行$70\%$,这是$40\%$优于DQN。特别是,我们在39场比赛中的表现比DQN好,有4场比赛关系密切,在$6$比赛中只输了一点点。实验结果还表明,去相关方法适用于分位数回归DQN(QR-DQN),并显着提高性能。对失败博弈的进一步实验表明,我们的去相关算法可以通过微调正则化因子战胜DQN和QR-DQN。
2019-05-08 cs.AI cs.LG stat.ML
Adaptive Traffic Control with Deep Reinforcement Learning: Towards State-of-the-art and Beyond
University of Washington(华盛顿大学);NEC Laboratories America Inc.(NEC美国实验室公司)
在这项工作中,我们研究了自适应数据引导的交通规划和控制使用强化学习(RL)。我们从经典方法的简单使用转向深度RL社区的最先进方法。我们在我们的算法中嵌入了几种最新的技术,这些技术改进了原始的深度Q网络(DQN)的离散控制,并讨论了随后与流量相关的解释。我们提出了一种新的基于DQN的流量控制算法(称为TC-DQN+)作为快速,更可靠的交通决策的工具。我们引入了一种新的形式的奖励函数,进一步讨论使用说明性的例子与传统的交通控制方法的比较。
2020-07-21 cs.LG stat.ML
Model-Based Regularization for Deep Reinforcement Learning with Transcoder Networks
提出了一种新的基于值的深度强化学习优化目标。我们通过添加模型学习组件来扩展传统的深度Q网络(DQN),从而产生转码器网络。模型的预测误差作为额外的正则化器被包括在基本DQN损失中。这个增强的目标导致更丰富的训练信号,在每个时间步长提供反馈。此外,由于学习环境模型与RL问题具有共同的结构,因此我们假设所产生的目标提高了样本效率和性能。我们从经验上证实了我们的假设,从Atari基准的20场比赛中获得优于香草DQN的结果,而无需基于模型的正则化。
2018-11-20 cs.LG stat.ML
Deep Reinforcement Learning for Intelligent Transportation Systems
Columbia University(哥伦比亚大学);Imperial College London(帝国理工学院);Nokia-Bell Laboratories(诺基亚贝尔实验室)
智能交通系统(ITS)被认为在改善交通流量和减少拥堵方面发挥着关键作用,这是一个影响全球城市地区的普遍问题。快速发展的车辆通信和边缘云计算技术为智能交通管理提供了关键推动力。然而,在实际相关的规模上操作可行的实时致动机制涉及巨大的挑战,例如,策略迭代和传统的强化学习(RL)技术由于状态空间爆炸而遭受较差的可扩展性。受这些问题的启发,我们探索了深度Q网络(DQN)优化交通灯控制策略的潜力。作为一个初始的基准,我们建立的DQN算法产生的“阈值”的政策,在一个单一的交集。接下来,我们将研究DQN算法的可扩展性及其在沿主动脉具有多个交叉点的线性网络拓扑中的性能。我们证明了DQN算法产生智能行为,如“绿波”模式的出现,反映了他们学习有利的交通灯驱动的能力。
2018-12-03 cs.LG stat.ML
Full Gradient DQN Reinforcement Learning: A Provably Convergent Scheme
INRIA Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安蒂波利斯);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本研究针对DQN强化学习算法的理论缺陷,基于常微分方程方法分析其随机逼近特性,提出了具备可靠理论基础的改进方案FG-DQN,实验验证其在样本问题上性能优于原始DQN。
2021-05-04 cs.LG math.OC math.PR
Langevin DQN
Stanford University(斯坦福大学)
深度探索是强化学习中的一个重要挑战,解决深度探索的算法依赖于通过集成或其他超模型、探索奖金或访问计数分布来表示认知不确定性。一个悬而未决的问题是,深度探索是否可以通过增量强化学习算法来实现,该算法跟踪单点估计,而不需要额外的复杂性来考虑认知的不确定性。我们对这个问题的回答是肯定的。特别是,我们开发的朗之万DQN,DQN的变化,不同的只是在扰动参数更新与高斯噪声,并通过计算研究表明,所提出的算法实现了深入的探索。我们还提供了一些关于Langevin DQN如何实现深度探索的直觉。此外,我们提出了一个修改的Langevin DQN算法,以提高计算效率。
2021-02-23 cs.AI cs.LG stat.ML
Deep Q-Network (DQN) multi-agent reinforcement learning (MARL) for Stock Trading
Georgia Institute of Technology(佐治亚理工学院)
本文提出融合CNN、LSTM与DQN的集成深度学习框架,通过图像化技术指标和时序特征学习最优买卖持有策略,以应对市场噪声和泛化难题。
2025-05-06 cs.LG
Deep Reinforcement Learning with Modulated Hebbian plus Q Network Architecture
Loughborough University(拉夫堡大学);UNIST(蔚山国家科学技术研究院);HRL Laboratories(HRL实验室);Vanderbilt University(范德堡大学)
本文提出了一种新的神经网络结构,它结合了调制Hebbian网络(MOHN)和DQN,我们称之为调制Hebbian加Q网络结构(MOHQA)。假设是这样的组合允许MOHQA解决困难的部分可观察马尔可夫决策过程(POMDP)问题,这会损害基于时间差(TD)的RL算法,如DQN,因为TD误差不能很容易地从观察中得出。其关键思想是使用具有生物启发神经轨迹的Hebbian网络,以便在混淆观察和稀疏奖励导致不准确的TD错误时弥合动作和奖励之间的时间延迟。在MOHQA中,DQN学习低级特征和控制,而MOHN通过将奖励与过去的状态和动作相关联来帮助高级决策。因此,所提出的架构结合了两个模块显着不同的学习算法,一个Hebbian关联网络和一个经典的DQN管道,利用两者的优势。在一组POMDP和MALMO环境上的仿真表明,该算法改进了DQN的结果,甚至优于A2C,QRDQN+LSTM和REINFORCE算法对一些具有混淆刺激和稀疏奖励的POMDP的控制测试。
2021-10-14 cs.LG stat.ML
Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning
研究基于深度Q网络的高估偏差问题,提出集成弹性深度Q网络算法,结合自适应弹性多步回报与基于集成的目标聚合,改进回报构建并应用视域相关的集成聚合,在多环境评估中表现良好。
2026-07-07 cs.AI cs.LG
Qualitative Measurements of Policy Discrepancy for Return-Based Deep Q-Network
深度Q网络(DQN)和基于返回的强化学习是近年来提出的两种很有前途的算法。DQN为复杂的序贯决策问题带来了进步,而基于返回的算法在利用样本轨迹方面具有优势。在本文中,我们提出了一个通用的框架,结合DQN和大多数基于返回的强化学习算法,命名为R-DQN。通过引入基于返回值的强化学习,可以有效地提高传统DQN的性能。为了进一步改进R-DQN,我们设计了一个策略,该策略具有两个度量,可以定性地度量政策差异。此外,我们给出了这两个测量的建议的R-DQN框架的界限。我们表明,我们的策略的算法可以准确地表达的迹系数,并实现更好的近似返回。在OpenAI Gym库中的几个代表性任务上进行的实验验证了所提出的测量方法的有效性。结果还表明,我们的策略的算法优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG stat.ML
An FPGA-Based On-Device Reinforcement Learning Approach using Online Sequential Learning
Keio University(庆应义塾大学)
DQN(Deep Q-Network)是一种使用深度神经网络执行用于强化学习的Q学习的方法。DQN需要大的缓冲器和用于经验重放的批处理,并且依赖于基于反向传播的迭代优化,使得它们难以在资源有限的边缘设备上实现。在本文中,我们提出了一个轻量级的设备上的强化学习方法,低成本的FPGA设备。它利用了最近提出的基于神经网络的设备学习方法,该方法不依赖于反向传播方法,而是使用基于OS-ELM(在线顺序极端学习机)的训练算法。此外,我们还提出了一种L2正则化和谱归一化相结合的设备上强化学习方法,使神经网络的输出值能够适应一定的范围,从而使强化学习变得稳定。所提出的强化学习方法是为PYNQ-Z1板作为低成本FPGA平台而设计的。使用OpenAI Gym的评估结果表明,当隐藏层节点数为64时,所提出的算法及其FPGA实现完成CartPole-v0任务的速度比传统的基于DQN的方法快29.77倍和89.40倍。
2023-03-12 cs.LG stat.ML
A Comparative Study of Deep Reinforcement Learning Models: DQN vs PPO vs A2C
Autonomous University of Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心)
本研究在BreakOut Atari环境中比较DQN、PPO和A2C三种深度强化学习模型,评估其学习效率、策略与适应性,为游戏学习应用提供关键见解。
2024-07-19 cs.LG
NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration
Jilin University(吉林大学)
深度强化学习在当今的应用越来越广泛,尤其是在各种复杂的控制任务中。对噪声网络的有效探索是深度强化学习中最重要的问题之一。嘈杂的网络往往会为代理人产生稳定的输出。然而,这种趋势并不总是足以找到一个稳定的政策,代理,这降低了效率和稳定性在学习过程中。本文在NoisyNets的基础上,提出了一种NROWAN-DQN算法,降噪和在线权重调整NoisyNet-DQN。首先,我们为NoisyNet-DQN开发了一种新的降噪方法,使智能体执行稳定的动作。其次,我们设计了一个在线的权重调整策略,以减少噪音,提高了稳定的性能,并为代理获得更高的分数。最后,我们在四个标准域上对该算法进行了评估,并分析了超参数的性质。我们的研究结果表明,NROWAN-DQN优于以前的算法在所有这些领域。此外,NROWAN-DQN还显示出更好的稳定性。NROWAN-DQN分数的方差显著降低,特别是在一些行动敏感的环境中。这意味着在某些需要高稳定性的环境中,NROWAN-DQN将比NoisyNets-DQN更合适。
2020-06-19 cs.AI cs.LG stat.ML
Ensemble Consensus-based Representation Deep Reinforcement Learning for Hybrid FSO/RF Communication Systems
Atlantic Technological University(大西洋理工大学);Al Yamamah University(亚马玛大学);Lahore Leads University(拉合尔利兹大学);National University of Technology(国立理工大学)
FSO/RF混合系统需要一种有效的FSO和RF链路切换机制,以实现两者的优势互补,从而提高系统容量。网络条件的动态变化,如雾、灰尘和沙尘暴,使链路切换问题和控制复杂性变得更加复杂。为了解决这个问题,我们开始研究深度强化学习(DRL)的混合FSO/RF系统的链路切换。具体来说,在这项工作中,我们专注于演员/评论称为演员/评论FSO/RF和深度Q网络(DQN)称为DQN-FSO/RF的FSO/RF链路切换下的大气干扰。要制定的问题,我们定义的状态,行动,和奖励功能的混合FSO/RF系统。DQN-FSO/RF频繁更新与混合FSO/RF系统中的环境交互的部署策略,导致高切换成本。为了克服这个问题,我们将这个问题提升到基于集成共识的表示学习来进行深度强化,称为DQNEnsemble-FSO/RF。所提出的新颖的DQNEnsemble-FSO/RF DRL方法使用基于异步线程集合的共识学习特征表示来更新部署的策略。实验结果证实,建议的DQNEnsemble-FSO/RF的共识学习功能切换实现更好的性能比演员/关键FSO/RF,DQN-FSO/RF,和MyOpic FSO/RF链路切换,同时保持切换成本显着较低。
2022-11-07 cs.LG
Shallow Updates for Deep Reinforcement Learning
The Technion - Israel Institute of Technology(以色列理工学院);UC Berkeley(加州大学伯克利分校)
深度强化学习(DRL)方法,如深度Q网络(DQN),已经在各种具有挑战性的高维领域取得了最先进的成果。这一成功主要归功于深度神经网络学习丰富的域表示以近似价值函数或策略的能力。另一方面,具有线性表示的批量强化学习方法更稳定,并且需要更少的超参数调整。然而,大量的特征工程是必要的,以达到良好的效果。在这项工作中,我们提出了一种混合方法-最小二乘深度Q网络(LS-DQN),它将DRL算法学习的丰富特征表示与线性最小二乘方法的稳定性相结合。我们通过定期重新训练DRL网络的最后一个隐藏层来实现这一点,并进行批量最小二乘更新。我们方法的关键是最小二乘更新的贝叶斯正则化项,这可以防止对最近数据的过度拟合。我们在五款Atari游戏上测试了LS-DQN,并展示了比vanilla DQN和Double-DQN显著的改进。我们还研究了我们的方法的优越性能的原因。有趣的是,我们发现性能的提高可以归因于LS方法在优化最后一层时使用的大批量。
2017-11-02 cs.AI cs.LG stat.ML
M$^2$DQN: A Robust Method for Accelerating Deep Q-learning Network
UniDT;Research Institute of Intelligent Complex Systems, Fudan University(复旦大学智能复杂系统研究院);Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学类脑智能科学与技术研究院)
深度Q学习网络(Deep Q-learning Network,DQN)是将强化学习与深度神经网络相结合的一种成功方法,它使强化学习得到了广泛的应用。当将DQN或其他强化学习算法应用于现实世界问题时,一个具有挑战性的问题是数据汇集。因此,如何提高数据效率是强化学习研究的重要问题之一。在本文中,我们提出了一个使用深度Q网络中的最大平均损失(M $^2$ DQN)的框架。在训练步骤中,我们不是对一批经验进行采样,而是从经验回放中采样几批经验,并更新参数,以使这些批次的最大TD误差最小化。该方法可以通过替换损失函数与DQN算法中的大多数现有技术相结合。我们验证了这个框架的有效性与最广泛使用的技术之一,双DQN(DDQN),在几个健身房游戏。结果表明,我们的方法导致学习速度和性能的大幅改善。
2022-09-16 cs.AI cs.LG
Reinforcement Learning using Augmented Neural Networks
University of Kent(肯特大学)
神经网络允许Q学习强化学习代理,如深度Q网络(DQN),以近似从状态空间到价值函数的复杂映射。然而,当与其他函数逼近器(例如瓦片编码或其泛化、径向基函数(RBF))相比时,这也带来缺点,因为它们由于神经网络中存在的全局化更新的副作用而引入不稳定性。这种不稳定性甚至不会在没有任何隐藏层的神经网络中消失。在本文中,我们表明,简单的修改结构的神经网络可以提高稳定性的DQN学习时,多层感知器用于函数逼近。
2018-06-20 cs.LG stat.ML
An Optimistic Perspective on Offline Reinforcement Learning
Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
使用记录交互的固定离线数据集的非策略强化学习(RL)是现实世界应用中的重要考虑因素。本文使用DQN重播数据集研究了离线RL,该数据集包括DQN代理在60个Atari 2600游戏上的整个重播体验。我们证明了最近的非策略深度RL算法,即使只在这个固定数据集上训练,也优于完全训练的DQN代理。为了增强离线设置中的泛化能力,我们提出了一种鲁棒的Q-学习算法--随机包围混合算法(REM),该算法在多个Q值估计的随机凸组合上强制执行最优Bellman一致性。在DQN重放数据集上训练的离线REM超过了强大的RL基线。消融研究强调了离线数据集大小和多样性以及算法选择在我们的积极结果中的作用。总的来说,这里的结果提出了一个乐观的观点,即在足够大和多样化的离线数据集上训练的鲁棒RL算法可以产生高质量的策略。DQN重播数据集可以作为离线RL基准,并且是开源的。
2020-06-22 cs.AI cs.LG stat.ML
Uniform State Abstraction For Reinforcement Learning
University of York(约克大学);L3S Research Center, Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心)
基于潜力的奖励塑造结合基于适当定义的抽象知识的潜力函数已被证明可以显着提高强化学习的学习速度。多网格强化学习(MRL)进一步表明,这种抽象的知识,在一个潜在的功能的形式,可以学习几乎完全从代理与环境的互动。然而,我们发现,MRL面临着无法很好地扩展到深度学习的问题。在本文中,我们扩展和改进了MRL,以利用现代深度学习算法,如深度Q网络(DQN)。我们表明,DQN增强我们的方法在连续控制任务上的表现显着优于其香草对应物和DQN增强MRL。
2020-04-06 cs.AI cs.LG stat.ML
Some approaches used to overcome overestimation in Deep Reinforcement Learning algorithms
讨论了在深度强化学习(RL)算法框架下,不同作者研究的与统计噪声相关的一些现象。以下算法进行了检查:深度Q网络(DQN),双DQN,深度确定性策略梯度(DDPG),双延迟DDPG(TD 3),和爬山算法。首先,我们考虑高估,这是由噪声引起的有害属性。然后,我们处理用于勘探的噪声,这是有用的噪声。我们将讨论在TD 3中为与关节体(如HopperBulletEnv和Walker 2DBulletEnv)相关的典型PyBullet环境设置噪声参数。在附录中,关于爬山算法,考虑与噪声相关的另一个示例-自适应噪声的示例。
2022-11-10 cs.LG stat.ML
An Arbitration Control for an Ensemble of Diversified DQN variants in Continual Reinforcement Learning
Department of AI-based Convergence, Dankook University(人工智能融合系, Dankook大学);Department of Artificial Intelligence, Dankook University(人工智能系, Dankook大学)
针对深度强化学习模型在持续学习场景下的灾难性遗忘问题,受大脑决策机制启发,提出基于多样化DQN变体集成的仲裁控制框架ACED-DQN,通过优先选择高可靠性智能体,在静态和持续环境中均实现显著性能提升。
2025-09-05 cs.LG cs.MA
Deep Q-Network Based Multi-agent Reinforcement Learning with Binary Action Agents
University of Kashmir(克什米尔大学)
用于强化学习(RL)的基于深度Q网络(DQN)的多智能体系统(MAS)使用各种方案,其中智能体必须学习和通信。然而,学习是特定于每个代理和通信可以令人满意地设计的代理。随着更复杂的深度QNetworks脱颖而出,多智能体系统的整体复杂性增加,导致训练困难,需要更高的资源和更多的训练时间,微调困难等问题。为了解决这些问题,我们提出了一个简单但有效的基于DQN的MAS用于RL,它使用共享状态和奖励,但特定于代理的动作,用于更新DQN的经验重放池,其中每个代理是DQN。与传统的基于DQN的方法相比,该方法的优点是整体简单,收敛速度更快,性能更好。应该注意的是,该方法可以扩展到任何DQN。因此,我们分别在三个独立的任务上使用简单的DQN和DDQN(双Q学习),即Cartpole-v1(OpenAI Gym环境),LunarLander-v2(OpenAI Gym环境)和Maze Traffic(自定义环境)。所提出的方法在这些任务上分别以适当的幅度优于基线。
2020-08-06 cs.AI cs.LG cs.MA
Control of Continuous Quantum Systems with Many Degrees of Freedom based on Convergent Reinforcement Learning
The University of Tokyo(东京大学)
随着实验量子技术的发展,量子控制因实现可控的人工量子系统而日益受到人们的关注。然而,由于量子力学系统通常难以解析处理,因此采用启发式策略和数值算法来搜索适当的控制协议,并且深度学习,特别是深度强化学习(RL),是控制问题的一种有前途的通用候选解决方案。虽然已经有一些成功的应用深度强化学习的量子控制问题,大多数现有的强化学习算法遭受不稳定性和不令人满意的再现性,并需要大量的微调和大量的计算预算,这两个限制了它们的适用性。为了解决Q学习的不稳定性问题,本文研究了Q学习的非收敛性问题。然后,我们研究了现有收敛方法的弱点,我们开发了一种新的收敛Q学习算法,我们称之为收敛深度Q网络(C-DQN)算法,作为传统深度Q网络(DQN)算法的替代方案。我们证明了C-DQN的收敛性,并将其应用于Atari 2600基准测试。我们证明了当DQN失败时,C-DQN仍然可以成功学习。然后,我们将该算法应用于量子四次振子和量子刚体的测量反馈冷却问题。我们建立了物理模型并分析了它们的性质,我们发现,尽管C-DQN和DQN都可以学习冷却系统,但C-DQN的行为更稳定,当DQN不稳定时,C-DQN可以实现更好的性能。由于DQN的性能具有较大的方差和缺乏一致性,C-DQN可以成为研究复杂控制问题的较好选择。
2022-12-21 cs.LG quant-ph
Research on Short-Video Platform User Decision-Making via Multimodal Temporal Modeling and Reinforcement Learning
School of Media & Communication, Shanghai Jiaotong University(上海交通大学媒体与传播学院);Columbia University(哥伦比亚大学);McGill University(麦吉尔大学)
本文提出MT-DQN模型,通过融合Transformer、TGNN和DQN优化短视频推荐策略,实验显示其相比基线模型在F1、NDCG@5、MSE和MAE指标上均获显著提升。
2025-09-13 cs.IR cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno(内华达大学里诺分校)
众所周知,深度学习分类器天生容易受到有意扰动输入的操纵,称为对抗性示例。在这项工作中,我们建立了基于深度Q网络(DQN)的强化学习技术也容易受到对抗性输入扰动的影响,并验证了对抗性示例在不同DQN模型之间的可移植性。此外,我们提出了一种新的攻击类的基础上,这个漏洞,使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制,利用对抗性示例的可转移性来实现对DQN的策略诱导攻击,并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
Importance of using appropriate baselines for evaluation of data-efficiency in deep reinforcement learning for Atari
University of Birmingham(伯明翰大学)
强化学习(RL)在过去几年中取得了巨大的进步。尽管如此,RL社区的共识是,目前使用的方法,尽管它们有很多好处,但数据效率极低,特别是在Atari这样的丰富视觉领域。为了避免这个问题,引入了新的方法,这些方法通常声称比最先进的DQN算法的流行变体更有效。然而,在本文中,我们证明了新提出的技术只是在实验中使用了不公平的基线。也就是说,我们证明了效率的实际提高来自于允许算法对每个数据样本进行更多的训练更新,而不是采用新方法。通过允许DQN更频繁地执行网络更新,我们设法达到了与最近提出的改进类似或更好的结果,而复杂性和计算成本通常只是一小部分。此外,根据研究结果,我们认为,类似于本文中提出的修改后的DQN的代理应该被用作未来任何旨在提高深度强化学习样本效率的工作的基线。
2020-03-31 cs.LG stat.ML
CT-DQN: Control-Tutored Deep Reinforcement Learning
University of Naples Federico II(那不勒斯费德里科二世大学);Scuola Superiore Meridionale(南方高等学校);University of Salerno(萨勒诺大学);University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
深度强化学习控制的主要挑战之一是需要大量的训练来学习策略。受此启发,我们提出了控制辅导深度Q网络(CT-DQN)算法的设计,这是一种利用控制导师的深度强化学习算法,即,外生控制律,以减少学习时间。导师可以使用系统的近似模型来设计,而无需任何关于系统动态知识的假设。如果单独使用,不期望它能够实现控制目标。在学习过程中,导师偶尔会建议一个行动,从而部分指导探索。我们在OpenAI Gym的三个场景中验证了我们的方法:倒立摆,月球着陆器和赛车。我们证明,CT-DQN是能够实现更好的或等效的数据效率相对于经典的函数逼近解决方案。
2022-12-02 cs.LG cs.SY eess.SY
Distributional Reinforcement Learning for Efficient Exploration
University of Alberta(阿尔伯塔大学);Huawei Noah’s Ark(华为诺亚方舟实验室);University of Oxford(牛津大学);Huawei Hi-Silicon(华为海思);University of Waterloo(滑铁卢大学)
在分布式强化学习(RL)中,价值函数的估计分布同时对参数和内在不确定性进行建模.我们提出了一种新的和有效的探索方法,深度RL有两个组成部分。第一个是一个衰减的时间表,以抑制内在的不确定性。第二个是从学习分布的上分位数计算的探索奖金。在Atari 2600游戏中,我们的方法在14个硬游戏中的12个中优于QR-DQN(在49个游戏中,QR-DQN的累积奖励平均获得483%,在Venture中获得巨大胜利)。我们还比较了我们的算法与QR-DQN在一个具有挑战性的三维驾驶模拟器(CARLA)。结果表明,我们的算法实现接近最优的安全奖励比QRDQN快两倍。
2019-05-13 cs.AI cs.LG stat.ML
Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection
A3Data(A3数据公司)
针对金融异常检测的类不平衡问题,提出语义帕累托深度Q网络框架,合成交易特征,优化向量奖励,映射帕累托前沿,经实验验证可打破零召回陷阱,提升少数类召回率,为金融异常发现提供新途径。
2026-07-13 cs.AI cs.LG
DQN-TAMER: Human-in-the-Loop Reinforcement Learning with Intractable Feedback
The University of Tokyo(东京大学);Preferred Networks, Inc.(Preferred Networks 公司)
探索问题一直是强化学习(RL)面临的最大挑战之一,也是RL在机器人领域应用的一大障碍。即使使用最先进的强化学习算法,构建一个学习良好的智能体也往往需要太多的试验,主要是因为很难将其行为与遥远的未来的奖励相匹配。对此的一个补救措施是训练一个代理,该代理具有来自人类观察者的实时反馈,该观察者立即对某些行为给予奖励。这项研究解决了一系列的挑战,引入这样一个人在环RL计划。这项工作的第一个贡献是我们用精确建模的人类观察者进行的实验:二进制,延迟,随机性,不可持续性和自然反应。我们还提出了一种名为DQN-TAMER的RL方法,它有效地利用了人类反馈和远程奖励。我们发现DQN-TAMER代理在迷宫和出租车模拟环境中的表现优于其基线。此外,我们展示了一个真实世界的人在环RL应用程序,其中相机自动识别用户的面部表情作为对代理的反馈,而代理探索迷宫。
2018-10-28 cs.HC cs.LG
A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工业大学);Hiroshima City University(广岛市立大学)
深度Q学习方法是最常用的深度强化学习算法之一,其使用深度神经网络来近似动作-价值函数的估计。深度Q网络(DQN)的训练通常限于基于一阶梯度的方法。本文试图通过引入二阶Nesterov加速拟牛顿方法来加速深度Q网络的训练。我们评估了所提出的方法的性能,深度强化学习使用双DQN全局路由。实验结果表明,与一阶Adam和RMSprop方法训练的DQN相比,该方法可以获得更好的路由解决方案。
2020-10-15 cs.LG
Pathfinding in Random Partially Observable Environments with Vision-Informed Deep Reinforcement Learning
Clarkson University(克拉克森大学)
深度强化学习是一种用于解决各种环境中问题的技术,从Atari视频游戏到股票交易。该方法利用深度神经网络模型来基于对给定环境的观察做出决策,目标是最大化奖励函数,该奖励函数可以包含实现目标的成本和奖励。为了寻路,奖励条件可以包括到达指定的目标区域以及移动的成本。在这项工作中,多个深度Q网络(DQN)代理被训练在部分可观察的环境中运行,目标是在最短的旅行时间内到达目标区域。代理基于其周围环境的视觉表示进行操作,因此具有有限的观察环境的能力。对DQN、DQN-GRU和DQN-LSTM进行了比较,以检查每个模型在两种不同类型输入下的能力。通过这种评估,它被证明,具有等效的训练和类似的模型架构,DQN模型能够优于其经常性的同行。
2022-09-11 cs.CV cs.LG
CM-DQN: A Value-Based Deep Reinforcement Learning Model to Simulate Confirmation Bias
New York University Shanghai(上海纽约大学)
本文提出深度强化学习算法 CM-DQN,通过对正负预测误差采用不同更新策略模拟确认偏差,并在连续状态和离散状态环境中验证了确认性偏差能带来更好的学习效果。
2024-08-08 cs.LG
Balancing a CartPole System with Reinforcement Learning -- A Tutorial
Edge Hill University(边山大学)
在本文中,我们提供了实现各种强化学习(RL)算法来控制Cart-Pole系统的细节。特别是,我们描述了各种RL概念,如Q学习,深度Q网络(DQN),双DQN,决斗网络,(优先级)经验重放,并显示它们对学习性能的影响。在此过程中,读者将被介绍用于实现上述概念的OpenAI/Gym和Keras实用程序。据观察,具有PER的DQN在所有其他架构中提供最佳性能,能够在150集内解决问题。
2020-06-12 cs.LG cs.RO
Dynamic Operating System Scheduling Using Double DQN: A Reinforcement Learning Approach to Task Optimization
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Illinois Institute of Technology(伊利诺伊理工学院);New York University(纽约大学)
本文提出一种基于 Double DQN 的操作系统调度算法,能动态调整任务优先级与资源分配,显著提升任务效率、吞吐量及响应速度,尤其在 I/O 密集型任务下表现优异。
2025-03-31 cs.LG
State of the Art Control of Atari Games Using Shallow Reinforcement Learning
Franklin & Marshall College(富兰克林与马歇尔学院);University of Alberta(阿尔伯塔大学)
最近推出的Deep Q-Networks(DQN)算法作为深度神经网络和强化学习的首批成功组合之一,已经引起了人们的关注。它的承诺在街机学习环境(ALE)中得到了证明,这是一个具有挑战性的框架,由数十个Atari 2600游戏组成,用于评估AI的一般能力。它比以前的方法取得了更好的结果,表明它学习良好表示的能力是相当强大和通用的。本文试图了解DQN令人印象深刻的表现背后的原则,并更好地了解其成功的背景。我们系统地评估了DQN网络编码的关键代表性偏见的重要性,提出了简单的线性表示,利用这些概念。阐明这些特点,我们得到了一个计算上实用的功能集,实现竞争力的性能DQN在ALE。除了深入了解DQN的优点和缺点外,我们还为ALE提供了一个通用的表示,大大减轻了学习每个游戏表示的负担。此外,我们还提供了一个简单的,可重复的基准比较,在ALE未来的工作。
2016-04-21 cs.LG
2048: Reinforcement Learning in a Delayed Reward Environment
针对 2048 中延迟稀疏奖励导致的信用分配难题,提出统一分布式多步 RL 框架并比较多种智能体,新型 H-DQN 显著提升最高分并达到 4096 方块。
2025-07-24 cs.AI cs.LG
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Google research(谷歌研究);Deepmind(深度思维);The Technion - Israel Institute of Technology(以色列理工学院)
当每个状态下有许多可用动作时,学习如何行动对于强化学习(RL)代理来说是一项具有挑战性的任务,特别是当许多动作是冗余或不相关的时候。在这种情况下,有时更容易了解哪些行动不采取。在这项工作中,我们提出了一种消除干扰的深度Q网络(AE-DQN)架构,该架构将深度RL算法与消除次优动作的动作消除网络(AEN)相结合。AEN被训练来预测无效的动作,由环境提供的外部消除信号监督。仿真结果表明,在基于文本的游戏超过一千个离散的动作香草DQN相当大的加速和增加的鲁棒性。
2019-02-24 cs.LG stat.ML
Classifying Options for Deep Reinforcement Learning
Imperial College London(帝国理工学院)
在本文中,我们将分层强化学习的一种方法-选项框架-与深度Q网络(DQN)相结合,通过在策略网络上使用不同的“选项头”,以及在不同选项之间进行选择的监督网络。我们利用我们的设置,以调查的影响,建筑的限制,在子任务的积极和消极的转移,在一系列的网络能力。我们的经验表明,我们的增强DQN具有较低的样本复杂度,同时学习子任务与负迁移,而不会降低性能时,学习子任务与正迁移。
2017-06-19 cs.AI cs.LG stat.ML
Adapting to Reward Progressivity via Spectral Reinforcement Learning
RMIT University(皇家墨尔本理工大学)
在本文中,我们考虑了具有渐进奖励的强化学习任务;也就是说,奖励的大小往往会随着时间的推移而增加。我们假设这种属性对于基于值的深度强化学习代理来说可能是有问题的,特别是如果代理必须首先在任务的相对无回报区域取得成功,以便到达更多有回报的区域。为了解决这个问题,我们提出了Spectral DQN,它将奖励分解为频率,这样只有在发现大奖励时才会激活高频。这使得训练损失得到平衡,从而在小奖励区域和大奖励区域之间提供更均匀的权重。在两个具有极端奖励累进性的领域中,标准的基于价值的方法显着挣扎,Spectral DQN能够取得更大的进展。此外,当对一组六款标准的Atari游戏进行评估时,Spectral DQN仍然具有竞争力:虽然它在一款游戏中表现不佳,但它在三款游戏中轻松超越了基准。这些结果表明,该方法并不过拟合其目标问题,并表明频谱DQN可能具有超越解决奖励累进性的优势。
2021-04-29 cs.LG
Bayesian Meta-reinforcement Learning for Traffic Signal Control
Didichuxing AI Lab(滴滴出行AI实验室)
近年来,基于Meta强化学习的交通信号控制方法得到了越来越多的关注,与传统的控制方法相比,该方法具有更好的性能。然而,以往的方法缺乏鲁棒性的适应性和训练过程中的复杂情况下的稳定性,这在很大程度上限制了它在现实世界中的交通信号控制的应用。在本文中,我们提出了一种新的基于值的贝叶斯Meta强化学习框架BM-DQN鲁棒地加快学习过程中,在新的情况下,利用良好的训练先验知识从现有的情况下学习。这个框架是基于我们提出的快速适应变化,顺应EM贝叶斯元学习和快速更新的优势DQN,它允许快速适应新的情况下,持续学习能力和鲁棒性的不确定性。限制二维导航和交通信号控制的实验表明,我们提出的框架适应更快,更强大的新的场景比以前的方法,特别是更好的持续学习能力在异构场景。
2021-10-22 cs.LG stat.ML
Graying the black box: Understanding DQNs
The Technion, Israel Institute of Technology(以色列理工学院)
近年来,人们对使用深度表示进行强化学习的兴趣越来越大。在本文中,我们提出了一种非盲分析深度Q网络(DQN)的方法和工具。此外,我们提出了一个新的模型,半聚合马尔可夫决策过程(SAMDP),和一个算法,自动学习它。SAMDP模型允许我们直接从特征中识别时空抽象,并可在未来的工作中用作子目标检测器。使用我们的工具,我们揭示了DQN学习的特征以分层的方式聚合状态空间,解释了它的成功。此外,我们能够理解和描述DQN为三种不同的Atari2600游戏学习的策略,并提出在强化学习中解释、调试和优化深度神经网络的方法。
2017-04-24 cs.AI cs.LG cs.NE
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg(奥格斯堡大学)
许多深度强化学习算法的一个重要组成部分是经验重放,它作为存储机制或记忆的经验。这些经验用于训练,并帮助智能体稳定地找到通过问题空间的完美轨迹。然而,经典的经验重放只使用它实际产生的经验,但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法,在不确定的离散环境中创建合成的经验,以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估,我们表明它可以支持智能体更快地学习,甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
Estimating Risk and Uncertainty in Deep Reinforcement Learning
Ecole des Ponts Paristech(巴黎高科路桥学院)
强化学习代理面临两种类型的不确定性。认知的不确定性源于有限的数据,是有用的探索,而随机的不确定性来自随机环境,必须考虑在风险敏感的应用。我们强调了同时估计这两者所面临的挑战,并提出了一个框架来解开和估计这些不确定性的学习Q值。我们推导出这些不确定性的无偏估计,并引入了一个不确定性感知的DQN算法,我们展示了安全的学习行为,并在MinAtar测试平台上优于其他DQN变体。
2020-09-09 cs.AI cs.LG stat.ML
Pixel to policy: DQN Encoders for within & cross-game reinforcement learning
Halıcıoğlu Data Science Institute(哈利哲奥卢数据科学研究所);University of California, San Diego(加州大学圣地亚哥分校)
本研究比较了从零开始训练与迁移学习在强化学习中的性能,利用DQN迁移预训练编码器开发通用游戏智能体,在多环境中以极低训练量超越人类水平并取得显著奖励。
2023-08-01 cs.AI cs.LG cs.RO
DQN with model-based exploration: efficient learning on environments with sparse rewards
University of Toronto(多伦多大学)
我们提出了基于模型探索的深度Q网络(DQN),这是一种结合了无模型和基于模型的方法的算法,可以更好地探索和学习具有稀疏奖励的环境。DQN是一种通用的无模型算法,自Minh等人首次提出以来,已被证明在包括Atari 2600游戏在内的各种任务中表现良好。然而,与许多其他强化学习(RL)算法一样,当环境中的奖励稀疏时,DQN遭受较差的样本效率。因此,存储在重放存储器中的大多数转换没有信息奖励信号,并且为Q网络的收敛和训练提供有限的价值。然而,一个见解是,这些转换可以用来学习环境的动态作为一个监督学习问题。转换还提供了访问状态分布的信息。我们的算法利用这两个观测值在探索过程中执行一步规划,以选择导致最不可能被看到的状态的动作,从而提高探索的性能。我们在OpenAI健身房的两个经典环境中展示了我们的代理的性能:Mountain Car和Lunar Lander。
2019-03-22 cs.LG stat.ML
A Controlled Study of Double DQN and Dueling DQN Under Cross-Environment Transfer
Dhanani School of Science and Engineering(丹尼尼科学与工程学院)
本文通过对比DDQN和对战DQN在跨环境迁移中的表现,发现DDQN在迁移中更稳定,而对战DQN则易出现负迁移。
2026-02-11 cs.AI cs.LG
Exploiting the potential of deep reinforcement learning for classification tasks in high-dimensional and unstructured data
Universidad Autónoma de Occidente(西方自治大学)
本文提出了一个框架,有效地学习特征选择政策,使用较少的功能,以达到高的分类精度对大型非结构化数据。它使用深度卷积自动编码器(DCAE)来学习紧凑的特征空间,并结合最近提出的强化学习(RL)算法,如双DQN和Retrace。
2019-12-20 cs.LG stat.ML
GCN-Driven Reinforcement Learning for Probabilistic Real-Time Guarantees in Industrial URLLC
Department of Electrical and Computer Engineering(电气与计算机工程系);Iowa State University(爱荷华州立大学)
本研究提出GCN-DQN强化学习框架,动态学习链路优先级以优化工业URLLC干扰协调,相比LDP和CNN方法显著提升SINR,实现低开销高性能。
2025-09-08 cs.LG cs.NI
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University(南洋理工大学)
由深度Q网络(DQN)算法解决的大量实际工作表明,随机策略尽管简单,但却是最常用的探索方法。然而,大多数现有的随机探索方法要么探索新的行动,无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中,我们提出了一种新的偏好引导的$ε$贪婪探索算法,可以有效地学习动作分布符合景观的Q值DQN,而不引入额外的偏见。具体来说,我们设计了一个双架构,由两个分支组成,其中一个是DQN的副本,即Q分支。另一个分支,我们称之为偏好分支,学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策,并通过实验表明,推断出的动作偏好分布与相应的Q值的景观一致。因此,偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作,即,具有较大Q值的动作可以被更频繁地采样,而具有较小Q值的动作仍然有机会被探索,从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索,随机策略,数据效率,深度强化学习,深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
Lane Change Decision-making through Deep Reinforcement Learning with Rule-based Constraints
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
由于交通环境的复杂性和不确定性,自动驾驶决策是一个巨大的挑战。结合基于规则的约束条件,提出了一种基于深度Q网络的自动驾驶换道决策方法。通过高层横向决策和底层基于规则的轨迹修改相结合,可以实现安全高效的换道行为。通过设置我们的状态表示和奖励函数,经过训练的代理能够在类似真实世界的模拟器中采取适当的行动。在模拟器上对生成的策略进行了10次评估,结果表明,基于规则的DQN方法优于基于规则的方法和DQN方法。
2019-04-02 cs.AI cs.LG cs.RO
Human-Level Control without Server-Grade Hardware
Northeastern University(东北大学)
深度Q网络(Deep Q-Network,DQN)是强化学习的一个重要里程碑,它首次证明了人类级别的控制策略可以通过奖励最大化直接从原始视觉输入中学习。即使在其引入多年后,DQN仍然与研究界高度相关,因为它的许多创新已被后继方法所采用。然而,尽管在此期间硬件有了重大进步,但DQN最初的Atari 2600实验仍然需要昂贵的成本才能完全复制。这对那些买不起最先进的硬件或无法访问大规模云计算资源的研究人员构成了巨大的障碍。为了促进对深度强化学习研究的更好访问,我们引入了一种DQN实现,该实现利用了一种新颖的并发和同步执行框架,旨在最大限度地利用异构CPU-GPU桌面系统。仅使用一个NVIDIA GeForce GTX 1080 GPU,我们的实施将2亿帧Atari实验的训练时间从25小时减少到仅9小时。我们论文中介绍的思想应该可以推广到大量的非策略深度强化学习方法。
2021-11-01 cs.LG
Hybrid DQN-TD3 Reinforcement Learning for Autonomous Navigation in Dynamic Environments
本文提出结合高层DQN和低层TD3的分层路径规划框架,配合奖励塑造与LiDAR安全门,在动态环境中提升了导航成功率、样本效率和泛化能力。
2025-10-30 cs.AI cs.LG cs.RO