Deep Reinforcement Learning for Conversational AI
DA-IICT（达尔彭加信息与通信技术学院）
深度强化学习正在彻底改变人工智能领域。目前，它是构建智能自治系统的一个很好的起点，可以更好地了解视觉世界。使用深度学习可以扩展深度强化学习，并完成令人惊叹的任务，例如在玩视频游戏时使用像素。本文讨论了深度强化学习的关键概念，包括奖励函数、强化学习与监督学习的区别以及强化的实现模型。在对话式人工智能领域实施强化学习的关键挑战，以及详细讨论。还讨论了基于深度强化学习（以及深度学习）的各种会话模型。总之，本文讨论了深度强化学习的关键方面，这些方面对于设计高效的对话式AI至关重要。
2017-09-15 cs.AI
Synergy of Machine and Deep Learning Models for Multi-Painter Recognition
National Technical University of Athens（雅典国家技术大学）
针对数字化艺术藏品的画家识别需求，本研究结合迁移学习与传统机器学习方法，在WikiArt相关数据集上验证了RegNet提特征+SVM分类的最优性能（最高85%），还构建了含62位艺术家的大型绘画识别新数据集。
2023-04-28 cs.AI cs.CV
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Hierarchical Reinforcement Learning with Deep Nested Agents
Iowa State University（爱荷华州立大学）
近年来，深度分层强化学习得到了很多关注，因为它能够在非分层框架无法学习有用策略的挑战性环境中产生最先进的结果。然而，随着问题领域变得越来越复杂，深度分层强化学习可能会变得低效，导致收敛时间更长，性能更差。我们介绍了深嵌套代理框架，这是一个深层次的强化学习的变体，其中来自主代理的信息被传播到低级别的$nested$代理，将此信息到嵌套代理的状态。我们证明了深度嵌套代理框架的有效性和性能，通过将其应用于Minecraft中的三个场景，并与深度非分层单代理框架以及深度分层框架进行比较。
2018-05-18 cs.AI
Placement Optimization with Deep Reinforcement Learning
Google Brain（谷歌大脑）
布局优化是系统和芯片设计中的一个重要问题，它包括将图中的节点映射到有限的资源集合上，以在约束条件下优化目标。在本文中，我们首先激励强化学习作为一个解决方案的布局问题。然后，我们概述了什么是深度强化学习。接下来，我们将放置问题公式化为强化学习问题，并展示如何使用策略梯度优化来解决这个问题。最后，我们描述了我们从各种布局优化问题中训练深度强化学习策略中学到的经验教训。
2020-03-18 cs.AI
Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
目的：放射学中的人工智能主要受到以下因素的阻碍：1）需要大型注释数据集。2)非通用性限制了新扫描仪/机构的部署。（3）可解释性和可解释性不足。我们相信，强化学习可以解决所有这三个缺点，具有强大而直观的算法，可在小数据集上训练。据我们所知，强化学习尚未直接应用于放射图像的计算机视觉任务。在这项原理证明工作中，我们训练了一个深度强化学习网络来预测脑肿瘤的位置。材料和方法：使用BraTS脑肿瘤成像数据库，我们在70个对比后T1加权2D图像切片上训练深度Q网络。我们这样做是与图像探索相一致的，奖励和惩罚旨在定位病变。为了与监督式深度学习进行比较，我们在相同的70张图像上训练了一个关键点检测卷积神经网络。我们将这两种方法应用于一个单独的30个图像测试集。结果：强化学习的预测在训练过程中不断提高，而监督式深度学习的预测则迅速出现分歧。强化学习预测测试集病变位置的准确率为85%，而监督深度网络的准确率约为7%。结论：强化学习预测病变的准确性很高，这对于如此小的训练集来说是前所未有的。我们相信，强化学习可以推动放射学AI超越监督式深度学习的固有局限性，进行更多临床医生驱动的研究，最终走向真正的临床应用。
2020-08-06 cs.AI
Heuristic Algorithm-based Action Masking Reinforcement Learning (HAAM-RL) with Ensemble Inference Method
AgileSoDA（敏捷软件定义架构公司）；Hankuk University of Foreign Studies（韩国外国语大学）
本文提出HAAM-RL强化学习方法，结合动作掩蔽与集成推理优化汽车喷漆颜色分批重排问题，较传统启发式算法性能提升16.25%，展现出优化复杂制造过程的有效性。
2024-03-21 cs.AI cs.LG
Multi-Objective Deep Reinforcement Learning
University of Oxford（牛津大学）
我们提出了深度乐观线性支持学习（DOL）来解决高维多目标决策问题，其中目标的相对重要性事先未知。使用来自高维输入的特征，DOL计算包含目标的凸组合的所有潜在最优解的凸覆盖集。据我们所知，这是深度强化学习首次成功学习多目标策略。此外，我们还提供了一个测试平台，其中包含两个实验，可用作深度多目标强化学习的基准。
2016-10-09 cs.AI
Towards a Deep Reinforcement Learning Approach for Tower Line Wars
University of Agder（阿格德大学）
近年来，强化学习取得了许多突破，最值得注意的可能是深度强化学习成功地玩并赢得了相对先进的计算机游戏。毫无疑问，当第一个AI掌握击败专业实时战略游戏玩家所需的复杂游戏时，深度强化学习将发挥重要作用。要做到这一点，需要有一个针对和促进人工智能研究的游戏环境，特别是深度强化学习。一些游戏环境已经存在，然而，这些要么过于简单，如雅达利2600或复杂，如暴雪娱乐的星际争霸II。我们提出了一个介于Atari 2600和星际争霸II之间的游戏环境，特别针对深度强化学习算法的研究。游戏环境是暴雪娱乐公司《魔兽争霸III》中塔线战争的一个变体。此外，作为环境可以包含深度增强算法的概念证明，我们提出并应用了深度Q增强架构。该架构简化了状态空间，使其适用于Q学习，并反过来提高了性能相比，目前最先进的方法。我们的实验表明，所提出的架构可以很好地学习游戏环境，并且比标准的Deep Q学习高出33%，这反过来证明了游戏环境的有用性。
2017-12-17 cs.AI
Chinese Painting Style Transfer Using Deep Generative Models
本文研究并利用最先进深度生成模型进行传统中国画风格迁移，提出结合多种风格迁移模型的算法，将“工笔”和“水墨”风格应用于现代图像，并通过定性和定量评估验证性能。
2023-10-17 cs.AI cs.CV cs.LG
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
Visual Sensor Network Reconfiguration with Deep Reinforcement Learning
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
提出了一种基于深度强化学习（RL）的动态视觉传感器网络重构方法。我们的RL代理使用修改后的异步优势演员批评框架和最近提出的关系网络模块在其网络架构的基础上。为了解决当前无模型强化学习方法中样本效率低下的问题，我们在一个抽象的模拟环境中训练我们的系统，该环境代表来自动态场景的输入。我们的系统验证使用输入从现实世界的情况和预先存在的目标检测和跟踪算法。
2018-08-13 cs.AI cs.CV cs.LG
Index Selection for NoSQL Database with Deep Reinforcement Learning
提出了一种新的NoSQL数据库索引选择方法。针对不同的工作负载，选择不同的索引及其参数来优化数据库性能。该方法建立了一个深度强化学习模型，以选择一个最佳的指标，为给定的固定工作负载和适应不断变化的工作负载。实验结果表明，深度强化学习索引选择方法（DRLISA）相对于传统的单索引结构，在性能上有不同程度的提高。
2020-06-16 cs.AI cs.DB
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Modern Deep Reinforcement Learning Algorithms
Moscow State University（莫斯科国立大学）
强化学习的最新进展是将经典理论成果与深度学习范式相结合，导致许多人工智能任务的突破，并催生了深度强化学习（DRL）作为一个研究领域。在这项工作中，最新的DRL算法进行了审查，重点放在他们的理论依据，实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
PGN: A perturbation generation network against deep reinforcement learning
Northwestern Polytechnical University（西北工业大学）
提出PGN生成模型，通过生成对抗样本攻击深度强化学习智能体，实现定向与非定向攻击，并引入动作一致性比率衡量隐蔽性，实验证明其攻击有效、隐蔽且速度快。
2023-12-20 cs.AI cs.LG
Connecting Deep-Reinforcement-Learning-based Obstacle Avoidance with Conventional Global Planners using Waypoint Generators
Berlin Institute of Technology（柏林工业大学）
深度强化学习已经成为高度动态环境中一种有效的动态避障方法。它有可能取代过于保守或效率低下的导航方法。然而，将深度强化学习集成到现有的导航系统中仍然是一个开放的前沿，因为基于深度强化学习的导航具有短视的性质，这阻碍了其广泛集成到当前的导航系统中。在本文中，我们提出了一个中间规划器的概念，将基于深度强化学习的避障与使用航路点生成的传统全局规划方法相连接。因此，我们将不同的航路点生成器集成到现有的导航系统中，并将联合系统与传统系统进行比较。我们发现在安全性、效率和路径平滑度方面的性能有所提高，尤其是在高度动态的环境中。
2021-04-08 cs.AI cs.RO
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University（萨尔兰大学）
近年来，基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同，他们的特点取决于那些底层的学习方法。在这里，我们考虑一个基准规划问题，从强化学习域，赛道，调查来自不同的深度（强化）学习方法的代理的属性。我们比较了深度监督学习的性能，特别是模仿学习，以及赛道模型的强化学习。我们发现，模仿学习产生的代理人遵循更危险的路径。相比之下，深度强化学习的决策更具预见性，即，避免出现更有可能做出致命决定的状态。我们的评估表明，对于这个顺序决策问题，深度强化学习在许多方面表现最好，即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Federated Deep Reinforcement Learning
Sun Yat-Sen University（中山大学）；WeBank（微众银行）
在深度强化学习中，当状态的特征空间较小且训练数据有限时，构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功，但由于许多隐私感知应用中数据和/或模型的隐私性，通常不允许将数据或模型从代理直接迁移到另一代理。在本文中，我们提出了一种新的深度强化学习框架，联邦建立模型的高质量的代理考虑他们的隐私，即联邦深度强化学习（FedRL）。为了保护数据和模型的隐私，我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中，我们评估我们的FedRL框架在两个不同的领域，网格世界和Text 2Action域，通过比较各种基线。
2020-02-09 cs.AI cs.LG
Abstraction for Deep Reinforcement Learning
DeepMind（深度思维）；Imperial College London（伦敦帝国理工学院）；Santa Fe Institute（圣塔菲研究所）
我们在深度强化学习的背景下解决抽象问题。类比推理和联想记忆的各种成熟方法可能会对这个问题产生影响，但由于需要端到端的可微性，它们存在困难。我们回顾了人工智能和机器学习的发展，这些发展可以促进它们的采用。
2022-04-29 cs.AI cs.LG
A New Approach for Resource Scheduling with Deep Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）
随着深度学习的快速发展，近年来深度强化学习（Deep Reinforcement Learning，DRL）开始出现在资源调度领域。本文在前人研究的基础上，介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比，该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。
2018-06-21 cs.AI cs.LG
A Deep-Reinforcement Learning Approach for Software-Defined Networking Routing Optimization
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；CA Technologies（CA科技公司）
在本文中，我们设计和评估了深度强化学习代理，优化路由。我们的代理自动适应当前的交通状况，并提出量身定制的配置，试图最大限度地减少网络延迟。实验表明，非常有前途的性能。此外，这种方法相对于传统的优化算法提供了重要的操作优势。
2017-09-20 cs.AI cs.NI
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology（密苏里科技大学）
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序，并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数，这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University（赫瑞-瓦特大学）
本文介绍了“SimpleDS”，这是一个简单且公开可用的对话系统，经过深度强化学习训练。与之前的强化学习对话系统相比，该系统通过直接从最后一个系统的原始文本和（嘈杂的）用户响应执行动作选择来避免手动特征工程。我们的初步结果，在餐厅领域，表明它确实是可能的，以诱导合理的对话行为的方法，其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文综述分布式深度强化学习方法与关键组件，并开发发布一个多玩家多智能体分布式深度强化学习工具箱，在Wargame环境中验证其可用性，同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
An Introduction to Deep Reinforcement Learning
McGill University（麦吉尔大学）；Google Brain（谷歌大脑）；Facebook（脸书）
深度强化学习是强化学习（RL）和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此，深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面，以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning: An Overview
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）
近年来，一种称为深度学习的特定机器学习方法获得了巨大的吸引力，因为它在模式识别、语音识别、计算机视觉和自然语言处理等广泛应用中获得了惊人的结果。最近的研究还表明，深度学习技术可以与强化学习方法相结合，以学习高维原始数据输入问题的有用表示。本章回顾了深度强化学习的最新进展，重点介绍了最常用的深度架构，如自动编码器、卷积神经网络和递归神经网络，这些架构已经成功地与强化学习框架结合在一起。
2018-06-23 cs.AI cs.LG stat.ML
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素，分析典型评估与设计范式，介绍缩放定律理论基础，通过大规模实验表明相关研究结论有误，为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
A View on Deep Reinforcement Learning in System Optimization
Intel Labs（英特尔研究院）；University of California, Berkeley（加州大学伯克利分校）
许多现实世界的系统问题需要对配置和管理系统所采取的行动的长期后果进行推理。这些具有延迟和通常顺序聚集的奖励的问题通常是固有的强化学习问题，并且提供了利用深度强化学习最近的实质性进展的机会。然而，在某些情况下，尚不清楚为什么深度强化学习很适合解决这个问题。有时，它的性能并不比最先进的解决方案更好。在其他情况下，随机搜索或贪心算法可能优于深度强化学习。在本文中，我们回顾、讨论和评估了在系统优化中使用深度强化学习的最新趋势。我们提出了一组基本指标，以指导未来的工作，在系统优化中使用深度强化学习的有效性评估。我们的评估包括挑战、问题类型、它们在深度强化学习环境中的形成、嵌入、使用的模型、效率和鲁棒性。最后，我们讨论了进一步推动强化学习在系统优化中的集成所面临的挑战和潜在的方向。
2019-09-04 cs.AI cs.LG cs.SY
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Massachusetts Institute of Technology (MIT)（麻省理工学院）
我们提出了一个名为DeepTraffic的交通模拟，其中车辆子集的规划系统由神经网络处理，作为无模型，非策略强化学习过程的一部分。DeepTraffic的主要目标是让成千上万的学生、教育工作者和研究人员能够亲自动手学习深度强化学习，以通过大规模的公开竞争激励和推动对深度Q学习网络变体和超参数配置的探索和评估。本文研究了由DeepTraffic竞赛的第一次迭代产生的策略网络的众包超参数调整，其中数千名参与者积极搜索超参数空间。
2019-01-03 cs.AI cs.NE cs.RO
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services（亚马逊云科技）
我们提出了DeepSim，一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域，并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块，如冲突检测，行为控制，域随机化，产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中，我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文介绍了一种新的强化学习架构，该架构具有深度神经网络，旨在处理以自然语言为特征的状态和动作空间，如基于文本的游戏中所发现的。该架构被称为深度强化相关网络（DRRN），它用独立的嵌入向量表示动作和状态空间，并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN，显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明，该模型是在提取意义，而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Combining Semantic Guidance and Deep Reinforcement Learning For Generating Human Level Paintings
Australian National University（澳大利亚国立大学）
基于笔划的非真实感图像的生成是计算机视觉领域的一个重要问题。作为在这个方向上的努力，最近大量的研究工作集中在教机器“如何绘画”，以类似于人类画家的方式。然而，以前的方法的适用性已被限制到数据集的前景对象的位置，规模和显着性的变化很小。因此，我们发现这些方法难以覆盖真实世界图像所具有的粒度和多样性。为此，我们提出了一个语义指导流水线，1）一个双层绘画过程，用于在训练时学习前景和背景画笔之间的区别。2)我们还通过神经对齐模型将不变性引入前景对象的位置和尺度，该模型以端到端的方式将对象定位和空间Transformer网络相结合，以放大到特定的语义实例。3)然后，通过最大化基于新的引导反向传播的焦点奖励来放大聚焦对象的区别特征。所提出的代理不需要对人类笔画数据进行任何监督，并成功地处理了前景对象属性的变化，从而为CUB-200 Birds和Stanford Cars-196数据集生成了更高质量的画布。最后，我们通过评估我们的方法在具有挑战性的Virtual-KITTI数据集上的扩展，证明了我们的方法在具有多个前景对象实例的复杂数据集上的进一步功效。源代码和模型可在https://github.com/1jsingh/semantic-guidance上获得。
2021-06-15 cs.CG cs.CV cs.LG
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏，如雅达利游戏，或简单的任务，如在迷宫中导航。这仍然是一个悬而未决的问题，如何解决更复杂的环境中，奖励是稀疏的，状态空间是巨大的。在本文中，我们提出了一种分而治之的深度强化学习解决方案，并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比，最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
DeepPainter: Painter Classification Using Deep Convolutional Autoencoders
Bar-Ilan University（巴伊兰大学）；University of Maryland（马里兰大学）
在本文中，我们描述了画家分类的问题，并提出了一种新的方法，基于深度卷积自动编码器神经网络。虽然以前的方法依赖于图像处理和手动特征提取的绘画，我们的方法操作的原始像素水平，没有任何预处理或手动特征提取。我们首先在绘画数据集上训练深度卷积自动编码器，然后使用它来初始化分类阶段的监督卷积神经网络。所提出的方法大大优于以前的方法，将3-画家分类问题的以前的最新技术水平从90.44%的准确度（以前的最新技术水平）提高到96.52%的准确度，即，出错率降低了63%。
2017-11-23 cs.CV cs.LG cs.NE
Deep Reinforcement Learning With Macro-Actions
University of Massachusetts（马萨诸塞大学）
深度强化学习已被证明是一个强大的框架，用于从复杂的高维感官输入到复杂任务（如Atari域）中的动作学习策略。在本文中，我们探索了时间抽象形式的输出表示建模，以提高深度强化学习方法的收敛性和可靠性。我们专注于宏观行动，并评估这些不同的雅达利2600游戏，在那里我们表明，他们在学习速度产生显着的改善。此外，我们还证明了它们甚至可以获得比DQN更好的分数。我们对收敛性和最终结果进行了分析和解释，揭示了深度RL方法在稀疏奖励信号方面存在的问题。
2016-06-15 cs.AI cs.LG cs.NE
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge（剑桥大学）；rlcore；Helmut Schmidt University（赫尔穆特·施密特大学）
强化学习（RL）任务的实现、执行和测试具有挑战性，这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成，后端图形定义，和分布式执行。为此，我们引入RLgraph，一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的，可增量测试的，并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Interactive Feedback in a Human-Robot Environment
Universidad Central de Chile（智利中央大学）；Deakin University（迪肯大学）；Universidade de Pernambuco（伯南布哥大学）
机器人每天都在扩大其在家庭环境中的存在，在家庭场景中执行任务的情况更加常见。未来，机器人将越来越多地执行更复杂的任务，因此能够尽快从不同来源获得经验。解决这个问题的一个可行的方法是交互式反馈，其中培训师建议学习者从特定状态采取哪些行动以加快学习过程。此外，深度强化学习最近已被广泛用于机器人技术，以自主学习环境并获得新技能。然而，使用深度强化学习时的一个开放问题是从原始输入图像学习任务所需的时间过长。在这项工作中，我们提出了一个深度的强化学习方法与交互式反馈，学习人类机器人场景中的家庭任务。我们使用模拟机器人手臂比较了三种不同的学习方法，用于组织不同对象的任务;所提出的方法是（i）深度强化学习（DeepRL）;（ii）使用先前训练的人工代理作为顾问的交互式深度强化学习（agent-IDeepRL）;以及（iii）使用人类顾问的交互式深度强化学习（human-IDeepRL）。我们证明，互动的方法提供的学习过程中的优势。所获得的结果表明，学习者代理，使用代理-IDeepRL或人类-IDeepRL，完成给定的任务更早，有更少的错误相比，自主的DeepRL方法。
2020-08-11 cs.AI cs.MA cs.RO
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而，强化学习的机器人应用通常会损害学习过程的自主性，以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制，但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务，因为它们明显具有较高的样本复杂度。在本文中，我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务，并且可以有效地学习深度神经网络策略，以便在真实的物理机器人上进行训练。我们证明，训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明，我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理（I2As），这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法（规定如何使用模型来达成策略）相比，I2A学习解释来自学习环境模型的预测，通过将预测用作深度策略网络中的附加上下文，以任意方式构建隐式计划。与几个基线相比，I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；POSTECH（浦项科技大学）；Institute for Convergence Research and Education in Advanced Technology, Yonsei University（延世大学尖端技术融合研究与教育学院）
Paint-it提出基于深度卷积PBR参数化的文本驱动纹理优化方法，利用SDS在15分钟内为3D网格生成高质量PBR纹理图，有效滤除噪声并支持大规模网格及重新光照等应用。
2024-05-07 cs.AI cs.CV cs.GR
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
在本文中，我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现，奖励的系统应考虑整体的交通效率，而不是个别车辆的行驶效率。总之，合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Modelling resource allocation in uncertain system environment through deep reinforcement learning
Pandit Deendayal Energy University（潘迪特·德恩达亚尔能源大学）
强化学习在机电一体化、机器人等资源受限的控制系统中有着广泛的应用。资源分配问题主要使用传统的预定义技术和现代深度学习方法来解决。用于资源分配的预定义和大多数深度学习方法的缺点是在不确定系统环境的情况下无法满足需求。利用深度强化学习，可以在遵循一定准则的前提下，解决不确定系统环境中的资源分配问题。此外，强化学习具有长时间适应新的不确定环境的能力。本文对各种深度强化学习方法进行了详细的比较分析，通过应用不同的组件来修改强化学习的架构，使用噪声层，优先重放，装袋，决斗网络和其他相关组合，以获得性能的改善和计算成本的降低。通过对给定的资源分配仿真环境的探索，证明了采用Noisy Bagging对偶双深Q网络可以有效解决不确定环境下的资源分配问题，通过最大化报酬，效率达到97.7%.
2021-06-17 cs.AI cs.LG cs.MA
A domain adaptive deep learning solution for scanpath prediction of paintings
Université d’Orléans（奥尔良大学）；Bournemouth University（伯恩茅斯大学）
文化遗产的理解和保护是社会的一个重要问题，因为它代表了社会特性的一个基本方面。绘画是文化遗产的重要组成部分，也是不断研究的主题。然而，观众对绘画的感知方式与所谓的人类视觉系统（HVS）行为密切相关。本文着重于对一定数量的绘画作品进行观看者在视觉体验过程中的眼动分析。在进一步的细节中，我们介绍了一种新的方法来预测人类的视觉注意力，这会影响人类的几个认知功能，包括对场景的基本理解，然后将其扩展到绘画图像。拟议中的新架构摄取图像并返回扫描路径，这是一系列具有很高吸引观众注意力的点。我们使用FCNN（全卷积神经网络），其中我们利用可微通道选择和Soft-Argmax模块。我们还将可学习的高斯分布纳入网络瓶颈，以模拟自然场景图像中的视觉注意过程偏差。此外，为了减少不同领域（即自然图像，绘画）之间的变化的影响，我们敦促模型使用梯度反转分类器从其他领域学习无监督的一般特征。我们的模型所获得的结果优于现有的国家的最先进的准确性和效率。
2022-09-22 cs.CV
