Towards a Deep Reinforcement Learning Approach for Tower Line Wars
University of Agder(阿格德大学)
近年来,强化学习取得了许多突破,最值得注意的可能是深度强化学习成功地玩并赢得了相对先进的计算机游戏。毫无疑问,当第一个AI掌握击败专业实时战略游戏玩家所需的复杂游戏时,深度强化学习将发挥重要作用。要做到这一点,需要有一个针对和促进人工智能研究的游戏环境,特别是深度强化学习。一些游戏环境已经存在,然而,这些要么过于简单,如雅达利2600或复杂,如暴雪娱乐的星际争霸II。我们提出了一个介于Atari 2600和星际争霸II之间的游戏环境,特别针对深度强化学习算法的研究。游戏环境是暴雪娱乐公司《魔兽争霸III》中塔线战争的一个变体。此外,作为环境可以包含深度增强算法的概念证明,我们提出并应用了深度Q增强架构。该架构简化了状态空间,使其适用于Q学习,并反过来提高了性能相比,目前最先进的方法。我们的实验表明,所提出的架构可以很好地学习游戏环境,并且比标准的Deep Q学习高出33%,这反过来证明了游戏环境的有用性。
2017-12-17 cs.AI
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Index Selection for NoSQL Database with Deep Reinforcement Learning
提出了一种新的NoSQL数据库索引选择方法。针对不同的工作负载,选择不同的索引及其参数来优化数据库性能。该方法建立了一个深度强化学习模型,以选择一个最佳的指标,为给定的固定工作负载和适应不断变化的工作负载。实验结果表明,深度强化学习索引选择方法(DRLISA)相对于传统的单索引结构,在性能上有不同程度的提高。
2020-06-16 cs.AI cs.DB
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology(佐治亚理工学院)
我们描述了一种方法,通过扩展深度强化学习来建模人类反馈的置信度和一致性,使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈,利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验,我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明,我们的技术是强大的高度innacurate人类反馈,也可以操作时,没有人的反馈。
2021-06-22 cs.AI
Modern Deep Reinforcement Learning Algorithms
Moscow State University(莫斯科国立大学)
强化学习的最新进展是将经典理论成果与深度学习范式相结合,导致许多人工智能任务的突破,并催生了深度强化学习(DRL)作为一个研究领域。在这项工作中,最新的DRL算法进行了审查,重点放在他们的理论依据,实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
PGN: A perturbation generation network against deep reinforcement learning
Northwestern Polytechnical University(西北工业大学)
提出PGN生成模型,通过生成对抗样本攻击深度强化学习智能体,实现定向与非定向攻击,并引入动作一致性比率衡量隐蔽性,实验证明其攻击有效、隐蔽且速度快。
2023-12-20 cs.AI cs.LG
Toolpath design for additive manufacturing using deep reinforcement learning
Northwestern University(西北大学)
金属基增材制造工艺的刀具路径优化目前受到其设计空间的高维性的阻碍。在这项工作中,提出了一个强化学习平台,动态学习刀具路径策略,以建立一个任意的一部分。为此,研究了三种突出的无模型强化学习公式来设计增材制造工具路径,并针对密集和稀疏奖励结构的两种情况进行了演示。结果表明,这种基于学习的刀具路径设计方法取得了很高的分数,特别是当一个密集的奖励结构。
2020-09-30 cs.AI
Connecting Deep-Reinforcement-Learning-based Obstacle Avoidance with Conventional Global Planners using Waypoint Generators
Berlin Institute of Technology(柏林工业大学)
深度强化学习已经成为高度动态环境中一种有效的动态避障方法。它有可能取代过于保守或效率低下的导航方法。然而,将深度强化学习集成到现有的导航系统中仍然是一个开放的前沿,因为基于深度强化学习的导航具有短视的性质,这阻碍了其广泛集成到当前的导航系统中。在本文中,我们提出了一个中间规划器的概念,将基于深度强化学习的避障与使用航路点生成的传统全局规划方法相连接。因此,我们将不同的航路点生成器集成到现有的导航系统中,并将联合系统与传统系统进行比较。我们发现在安全性、效率和路径平滑度方面的性能有所提高,尤其是在高度动态的环境中。
2021-04-08 cs.AI cs.RO
Whatever Does Not Kill Deep Reinforcement Learning, Makes It Stronger
Kansas State University(堪萨斯州立大学)
最近的发展已经确定了深度强化学习(RL)通过对抗性扰动对策略操纵攻击的脆弱性。在本文中,我们研究了深度RL对训练时和测试时攻击的鲁棒性和弹性。通过实验结果,我们证明了在非连续训练时间攻击下,深度Q网络(DQN)代理可以通过反应性地调整策略来恢复和适应对抗条件。我们的研究结果还表明,在对抗性扰动下学习的策略对测试时攻击更鲁棒。此外,我们比较了$ε$贪婪和参数空间噪声探测方法在对抗性扰动的鲁棒性和弹性方面的性能。
2017-12-23 cs.AI
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University(萨尔兰大学)
近年来,基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同,他们的特点取决于那些底层的学习方法。在这里,我们考虑一个基准规划问题,从强化学习域,赛道,调查来自不同的深度(强化)学习方法的代理的属性。我们比较了深度监督学习的性能,特别是模仿学习,以及赛道模型的强化学习。我们发现,模仿学习产生的代理人遵循更危险的路径。相比之下,深度强化学习的决策更具预见性,即,避免出现更有可能做出致命决定的状态。我们的评估表明,对于这个顺序决策问题,深度强化学习在许多方面表现最好,即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta(阿尔伯塔大学)
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者,都有自己的奉献者社区。近年来,这两个小组都非常积极地在各自的领域中开发新的进展,并设计出尖端技术来解决复杂的连续控制任务。在这里,在深度强化学习的背景下,我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外,我们对两个阵营中最先进的技术进行了彻底的比较,包括连续控制;进化方法和深度强化学习方法。结果表明,没有持续的赢家。
2018-03-07 cs.AI cs.LG
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文综述分布式深度强化学习方法与关键组件,并开发发布一个多玩家多智能体分布式深度强化学习工具箱,在Wargame环境中验证其可用性,同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Federated Deep Reinforcement Learning
Sun Yat-Sen University(中山大学);WeBank(微众银行)
在深度强化学习中,当状态的特征空间较小且训练数据有限时,构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功,但由于许多隐私感知应用中数据和/或模型的隐私性,通常不允许将数据或模型从代理直接迁移到另一代理。在本文中,我们提出了一种新的深度强化学习框架,联邦建立模型的高质量的代理考虑他们的隐私,即联邦深度强化学习(FedRL)。为了保护数据和模型的隐私,我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中,我们评估我们的FedRL框架在两个不同的领域,网格世界和Text 2Action域,通过比较各种基线。
2020-02-09 cs.AI cs.LG
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University(斯坦福大学)
我们提出了一个新的深度Meta强化学习器,我们称之为深度情节值迭代(DEVI)。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练,我们表明,DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化,即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Abstraction for Deep Reinforcement Learning
DeepMind(深度思维);Imperial College London(伦敦帝国理工学院);Santa Fe Institute(圣塔菲研究所)
我们在深度强化学习的背景下解决抽象问题。类比推理和联想记忆的各种成熟方法可能会对这个问题产生影响,但由于需要端到端的可微性,它们存在困难。我们回顾了人工智能和机器学习的发展,这些发展可以促进它们的采用。
2022-04-29 cs.AI cs.LG
A New Approach for Resource Scheduling with Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学)
随着深度学习的快速发展,近年来深度强化学习(Deep Reinforcement Learning,DRL)开始出现在资源调度领域。本文在前人研究的基础上,介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比,该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。
2018-06-21 cs.AI cs.LG
A Deep-Reinforcement Learning Approach for Software-Defined Networking Routing Optimization
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);CA Technologies(CA科技公司)
在本文中,我们设计和评估了深度强化学习代理,优化路由。我们的代理自动适应当前的交通状况,并提出量身定制的配置,试图最大限度地减少网络延迟。实验表明,非常有前途的性能。此外,这种方法相对于传统的优化算法提供了重要的操作优势。
2017-09-20 cs.AI cs.NI
An Introduction to Deep Reinforcement Learning
McGill University(麦吉尔大学);Google Brain(谷歌大脑);Facebook(脸书)
深度强化学习是强化学习(RL)和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此,深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面,以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology(密苏里科技大学)
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序,并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数,这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
Deep Reinforcement Learning: An Overview
National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
近年来,一种称为深度学习的特定机器学习方法获得了巨大的吸引力,因为它在模式识别、语音识别、计算机视觉和自然语言处理等广泛应用中获得了惊人的结果。最近的研究还表明,深度学习技术可以与强化学习方法相结合,以学习高维原始数据输入问题的有用表示。本章回顾了深度强化学习的最新进展,重点介绍了最常用的深度架构,如自动编码器、卷积神经网络和递归神经网络,这些架构已经成功地与强化学习框架结合在一起。
2018-06-23 cs.AI cs.LG stat.ML
A View on Deep Reinforcement Learning in System Optimization
Intel Labs(英特尔研究院);University of California, Berkeley(加州大学伯克利分校)
许多现实世界的系统问题需要对配置和管理系统所采取的行动的长期后果进行推理。这些具有延迟和通常顺序聚集的奖励的问题通常是固有的强化学习问题,并且提供了利用深度强化学习最近的实质性进展的机会。然而,在某些情况下,尚不清楚为什么深度强化学习很适合解决这个问题。有时,它的性能并不比最先进的解决方案更好。在其他情况下,随机搜索或贪心算法可能优于深度强化学习。在本文中,我们回顾、讨论和评估了在系统优化中使用深度强化学习的最新趋势。我们提出了一组基本指标,以指导未来的工作,在系统优化中使用深度强化学习的有效性评估。我们的评估包括挑战、问题类型、它们在深度强化学习环境中的形成、嵌入、使用的模型、效率和鲁棒性。最后,我们讨论了进一步推动强化学习在系统优化中的集成所面临的挑战和潜在的方向。
2019-09-04 cs.AI cs.LG cs.SY
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University(赫瑞-瓦特大学)
本文介绍了“SimpleDS”,这是一个简单且公开可用的对话系统,经过深度强化学习训练。与之前的强化学习对话系统相比,该系统通过直接从最后一个系统的原始文本和(嘈杂的)用户响应执行动作选择来避免手动特征工程。我们的初步结果,在餐厅领域,表明它确实是可能的,以诱导合理的对话行为的方法,其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域,并代表着构建对视觉世界有更高理解的自主系统的一步。目前,深度学习使强化学习能够扩展到以前难以解决的问题,例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术,允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中,我们首先介绍强化学习的一般领域,然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法,包括深度$Q$网络,信任区域策略优化和异步优势演员-评论家。同时,我们强调了深度神经网络的独特优势,重点是通过强化学习进行视觉理解。最后,我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Massachusetts Institute of Technology (MIT)(麻省理工学院)
我们提出了一个名为DeepTraffic的交通模拟,其中车辆子集的规划系统由神经网络处理,作为无模型,非策略强化学习过程的一部分。DeepTraffic的主要目标是让成千上万的学生、教育工作者和研究人员能够亲自动手学习深度强化学习,以通过大规模的公开竞争激励和推动对深度Q学习网络变体和超参数配置的探索和评估。本文研究了由DeepTraffic竞赛的第一次迭代产生的策略网络的众包超参数调整,其中数千名参与者积极搜索超参数空间。
2019-01-03 cs.AI cs.NE cs.RO
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services(亚马逊云科技)
我们提出了DeepSim,一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域,并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块,如冲突检测,行为控制,域随机化,产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中,我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文介绍了一种新的强化学习架构,该架构具有深度神经网络,旨在处理以自然语言为特征的状态和动作空间,如基于文本的游戏中所发现的。该架构被称为深度强化相关网络(DRRN),它用独立的嵌入向量表示动作和状态空间,并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN,显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明,该模型是在提取意义,而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素,分析典型评估与设计范式,介绍缩放定律理论基础,通过大规模实验表明相关研究结论有误,为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
Arena-Rosnav: Towards Deployment of Deep-Reinforcement-Learning-Based Obstacle Avoidance into Conventional Autonomous Navigation Systems
Berlin Institute of Technology(柏林工业大学);Chair Industry Grade Networks and Clouds(工业级网络与云研究室);Faculty of Electrical Engineering, and Computer Science(电气工程与计算机科学学院);Berlin Institute of Technology, Berlin, Germany(柏林工业大学(德国柏林));Chair Industry Grade Networks and Clouds, Faculty of Electrical Engineering, and Computer Science, Berlin Institute of Technology, Berlin, Germany(柏林工业大学电气工程与计算机科学学院工业级网络与云研究室(德国柏林))
近年来,移动机器人已成为各行各业的重要工具,尤其是在物流领域。深度强化学习作为替代规划方法出现,以取代过于保守的方法,并承诺更有效和灵活的导航。然而,深度强化学习方法由于其倾向于局部最小值和缺乏长期记忆而不适合于远程导航,这阻碍了其广泛集成到移动机器人的工业应用中。在本文中,我们提出了一种导航系统,将基于深度强化学习的本地规划器整合到传统的导航堆栈中,用于远程导航。因此,提出了一个用于训练和测试深度强化学习算法以及经典方法的框架。我们评估了我们的深度强化学习增强型导航系统与各种传统规划器的对比,发现我们的系统在安全性、效率和鲁棒性方面优于它们。
2021-09-23 cs.AI cs.RO
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC(维迪亚游戏有限责任公司)
深度强化学习容易出现过拟合,Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练,验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践,使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明,该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Fast deep reinforcement learning using online adjustments from the past
DeepMind(深度思维)
我们提出了短暂值调整(EVA):一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值,其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法,将情景记忆结构结合到强化学习代理中:基于槽的存储,基于内容的检索和基于记忆的规划。我们表明,EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏,如雅达利游戏,或简单的任务,如在迷宫中导航。这仍然是一个悬而未决的问题,如何解决更复杂的环境中,奖励是稀疏的,状态空间是巨大的。在本文中,我们提出了一种分而治之的深度强化学习解决方案,并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比,最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Object Detection with Deep Reinforcement Learning
McGill University(麦吉尔大学)
目标定位一直是计算机视觉领域的一个重要课题。基于关注像素的特征,提出了图像中目标的定位方法。最近,研究人员提出了将目标定位作为一个动态决策过程的方法,可以通过强化学习方法来解决。在这个项目中,我们实现了一种新的基于深度强化学习的主动目标定位算法。我们比较了两种不同的动作设置为这个MDP:层次的方法和动态的方法。我们进一步通过研究不同的超参数和各种架构变化对模型的性能进行了一些消融研究。
2022-08-09 cs.AI cs.CV
Dopamine: A Research Framework for Deep Reinforcement Learning
Google Brain(谷歌大脑)
深度强化学习(deep RL)研究近年来有了显著增长。现在有许多软件产品为基准测试提供了稳定、全面的实现。与此同时,最近的深度RL研究在目标上变得更加多样化。在本文中,我们介绍了多巴胺,这是一种新的深度RL研究框架,旨在支持一些多样性。Dopamine是开源的,基于TensorFlow,并提供一些最先进的深度RL代理的紧凑和可靠的实现。我们通过对深度RL研究中不同研究目标的分类来补充这一产品。虽然绝不是详尽无遗的,但我们的分析突出了该领域研究的异质性,以及像我们这样的框架的价值。
2018-12-14 cs.AI cs.LG
Deep Reinforcement Learning for Motion Planning of Mobile Robots
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所 IIS);Friedrich-Alexander-University Erlangen-Nuremberg (FAU)(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学(FAU))
本文提出了一种新的运动和轨迹规划算法的非完整移动机器人,使用深度强化学习的最新进展。从随机初始状态开始,即,位置,速度和方向,机器人达到任意的目标状态,同时考虑运动学和动力学约束。我们的深度强化学习代理不仅处理连续的状态空间,还执行连续的动作,即,车轮的加速度和转向角的自适应。我们评估我们的运动和轨迹规划的移动机器人在仿真环境中的差分驱动。
2019-12-19 cs.AI cs.RO
Robot path planning using deep reinforcement learning
Universidad Autónoma de Yucatán(尤卡坦自治大学)
自主导航对于移动机器人来说是一个挑战,特别是在未知环境中。通常,机器人需要多个传感器来绘制环境地图,定位自己,并制定到达目标的计划。然而,强化学习方法通过学习要采取的最佳行动,为无地图导航任务提供了一种替代方案。在本文中,深度强化学习代理使用深度Q网络方法的变体,D3QN和彩虹算法来实现避障和面向目标的导航任务。代理人在模拟环境中进行培训和评估。此外,在奖励功能的修改所造成的代理的行为和性能的变化进行分析。
2023-03-06 cs.AI cs.RO
Challenges of Applying Deep Reinforcement Learning in Dynamic Dispatching
Hitachi Industrial AI Lab(日立工业人工智能实验室)
动态调度的目标是在正确的时间将正确的资源巧妙地分配到正确的位置。动态调度是矿业生产优化的核心问题之一。从理论上讲,深度强化学习(RL)应该是解决这个问题的天然选择。然而,该行业依赖于直觉,甚至人类的直觉,这往往是短视和次优的解决方案。在本文中,我们回顾了使用深度RL解决采矿业动态调度问题的主要挑战。
2020-11-09 cs.AI cs.LG
A Deep Reinforcement Learning Strategy for UAV Autonomous Landing on a Platform
Zhejiang University(浙江大学)
随着工业的发展,无人机出现在各个领域。近年来,深度强化学习在游戏领域取得了令人瞩目的成绩,我们致力于将深度强化学习算法应用于机器人领域,将强化学习算法从游戏场景走向现实应用场景。我们受到OpenAI Gym的LunarLander的启发,决定在强化学习领域进行一次大胆的尝试,来控制无人机。目前,将强化学习算法应用于机器人控制的工作还比较缺乏,与机器人控制相关的物理仿真平台只适合于经典算法的验证,不适合接入强化学习算法进行训练。在本文中,我们将面对这个问题,弥合物理仿真平台和智能代理之间的差距,将智能代理连接到物理仿真平台,让代理在近似真实世界的模拟器中学习和完成无人机飞行任务。提出了一种基于Gazebo的物理仿真平台(ROS-RL)的强化学习框架,并在该框架中使用三种连续动作空间强化学习算法来处理无人机自主着陆问题。实验证明了算法的有效性,基于强化学习的无人机自主着陆任务取得了圆满成功。
2022-09-07 cs.AI cs.RO
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的,包括从原始图像像素学习控制策略。然而,估计状态和状态-动作价值函数的算法通常假设完全观测的状态,并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中,我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数,并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法:在Doom和Minecraft中学习第一人称3D导航,以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Unsupervised deep clustering and reinforcement learning can accurately segment MRI brain tumors with very small training sets
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
目的:医学成像中的病变分割是评价治疗反应的关键。我们最近表明,强化学习可以应用于放射图像的病变定位。此外,我们证明了强化学习解决了监督式深度学习的重要局限性;即,它可以消除对大量带注释的训练数据的需求,并且可以提供监督式方法中缺乏的有价值的直觉。然而,我们没有解决病变/感兴趣结构分割的基本任务。在这里,我们介绍一种结合无监督深度学习聚类和强化学习的方法来分割MRI上的脑部病变。材料与方法:我们最初使用无监督深度学习聚类对图像进行聚类,以生成每个MRI图像的候选病变掩模。然后,用户为10个训练图像中的每一个选择最佳掩模。然后,我们训练了一个强化学习算法来选择掩码。我们在10张图像的单独测试集上测试了相应的训练后的深度Q网络。为了进行比较,我们还在同一组训练/测试图像上训练和测试了U-net监督深度学习网络。结果如下:虽然监督方法很快过拟合训练数据,并且在测试集上表现不佳(平均Dice得分为16%),但无监督深度聚类和强化学习的平均Dice得分为83%。结论:我们已经证明了无监督深度聚类和强化学习在分割脑肿瘤方面的原理证明应用。该方法代表了人类联盟的AI,需要放射科医生的最小输入,而不需要手动跟踪注释。
2021-03-19 cs.AI cs.CV
Deep Reinforcement Learning With Macro-Actions
University of Massachusetts(马萨诸塞大学)
深度强化学习已被证明是一个强大的框架,用于从复杂的高维感官输入到复杂任务(如Atari域)中的动作学习策略。在本文中,我们探索了时间抽象形式的输出表示建模,以提高深度强化学习方法的收敛性和可靠性。我们专注于宏观行动,并评估这些不同的雅达利2600游戏,在那里我们表明,他们在学习速度产生显着的改善。此外,我们还证明了它们甚至可以获得比DQN更好的分数。我们对收敛性和最终结果进行了分析和解释,揭示了深度RL方法在稀疏奖励信号方面存在的问题。
2016-06-15 cs.AI cs.LG cs.NE
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University(庆应义塾大学);Sony AI(索尼AI)
在本文中,我们介绍了d3rlpy,一个开源的离线深度强化学习(RL)库。d3rlpy支持一组离线深度RL算法,以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题,我们使用D4RL和Atari 2600数据集进行了大规模基准测试,以确保实现质量,并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到:\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
Posterior Sampling for Deep Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学)
本文提出首个可扩展的深度强化学习后验采样算法PSDRL,结合潜在状态空间模型的不确定性量化与基于值函数近似的持续规划,在Atari基准上实现了高样本与计算效率。
2023-05-17 cs.AI cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University(纽约大学);University of Strathclyde(思克莱德大学);University of Hertfordshire(赫特福德大学);Maastricht University(马斯特里赫特大学)
深度强化学习已经学会了玩很多游戏,但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因,我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家(A2 C)算法,这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的,这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现,其中几个游戏可靠地欺骗了深度强化学习器,并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式,进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学,这可以帮助我们更好地理解(深度)强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
OSS Mentor A framework for improving developers contributions via deep reinforcement learning
East China Normal University(华东师范大学);Tongji University(同济大学)
在开源项目治理中,人们一直在关注如何衡量开发人员的贡献。然而,极其稀疏的工作集中在使开发人员能够改进他们的贡献上,尽管这是重要和有价值的。在本文中,我们介绍了一个名为开源软件(OSS)Mentor的深度强化学习框架,它可以从经验知识中进行训练,然后自适应地帮助开发人员提高他们的贡献。大量的实验表明,OSS Mentor显着优于优秀的实验结果。此外,这是第一次提出的框架探索深度强化学习技术来管理开源软件,这使我们能够设计一个更强大的框架,以提高开发人员的贡献。
2022-10-24 cs.AI cs.SE
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London(帝国理工学院)
深度强化学习系统在许多复杂的双人游戏(围棋、国际象棋、象棋)中表现优于世界级的人类玩家。然而,由于易处理性的考虑,极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中,我们考虑简单的游戏(Noughts-and-Crosses和Hexapawn),其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾,以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中,正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差(更高的累积极大极小遗憾)。此外,MIGO的学习规则相对容易理解,并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge(剑桥大学);rlcore;Helmut Schmidt University(赫尔穆特·施密特大学)
强化学习(RL)任务的实现、执行和测试具有挑战性,这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成,后端图形定义,和分布式执行。为此,我们引入RLgraph,一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的,可增量测试的,并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
在本文中,我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现,奖励的系统应考虑整体的交通效率,而不是个别车辆的行驶效率。总之,合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
In value-based deep reinforcement learning, a pruned network is a good network
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Google DeepMind(谷歌DeepMind)
针对深度强化学习智能体参数利用低效问题,提出采用渐进幅度剪枝的稀疏训练方法,使基于价值的智能体以少量参数实现显著性能提升。
2024-06-25 cs.AI cs.LG
A Survey on Explainable Deep Reinforcement Learning
Northwestern University(西北大学)
本综述针对深度强化学习(DRL)的黑箱不可解释性问题,系统梳理了可解释深度强化学习(XRL)的多维度解释技术、评估框架及应用场景,并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
Exploring More When It Needs in Deep Reinforcement Learning
Beijing Institute of Technology(北京理工大学)
提出了一种深度强化学习中的策略探索机制,即在Agent需要时进行更多的探索,称为“噪声加噪声”(Add Noise to Noise,AN 2N)。其核心思想是:当深度强化学习智能体处于历史表现不佳的状态时,它需要进行更多的探索。因此,我们使用累积奖励来评估智能体在过去的哪些状态下表现不佳,并使用余弦距离来衡量当前状态是否需要进一步探索。该方法表明,Agent策略的探索机制有利于有效探索。我们将提出的探索机制AN 2N与深度确定性策略梯度(DDPG)、软执行者-评论者(SAC)算法相结合,并将其应用于连续控制任务领域,如halfCheetah、Hopper和Swimmer,在性能和收敛速度上都取得了相当大的改善。
2021-09-28 cs.AI cs.LG