Playing 2048 With Reinforcement Learning
Stanford University（斯坦福大学）
《2048》是一款非常容易上瘾的游戏。这是很容易学习的游戏，但很难掌握，因为创建的游戏显示，只有约1%的游戏出数亿曾经玩过已经赢得了。在本文中，我们想探讨强化学习技术，以赢得2048年。我们采用的方法包括深度Q学习和束搜索，其中束搜索达到2048 28.5的时间。
2021-10-20 cs.AI
FlapAI Bird: Training an Agent to Play Flappy Bird Using Reinforcement Learning Techniques
Stanford University（斯坦福大学）
强化学习是自动化游戏中最流行的方法之一。该方法允许智能体估计其状态的期望效用，以便在未知环境中做出最优动作。我们试图将强化学习算法应用于Flappy Bird游戏。我们实现了SARSA和Q-Learning，并对其进行了一些修改，如$ε$ -贪婪策略，离散化和向后更新。我们发现SARSA和Q-Learning的表现优于基线，经常达到1400+的分数，最高的游戏分数为2069。
2020-04-08 cs.AI
Reinforcement learning with human advice: a survey
Laboratoire de Neurosciences Cognitives Computationnelles (LNC2)（计算认知神经科学实验室（LNC2））；INSERM U960（法国国家健康与医学研究院 U960）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）；Sorbonne Université（索邦大学）；CNRS UMR 7222（法国国家科学研究中心 UMR 7222）
在本文中，我们概述了现有的方法，将人类的建议整合到强化学习过程中。我们首先提出了一个分类的不同形式的建议，可以提供给学习代理。然后，我们描述的方法，可用于解释的意见时，其含义是没有事先确定。最后，我们回顾了不同的方法整合到学习过程中的建议。
2020-11-24 cs.AI
A Survey of Reinforcement Learning Techniques: Strategies, Recent Development, and Future Directions
强化学习是设计强调实时响应的人工智能系统的核心组成部分之一。强化学习影响系统在具有或不具有关于环境模型的先前知识的任意环境内采取动作。在本文中，我们对强化学习进行了全面的研究，重点关注各个方面，包括挑战，不同最先进技术的最新发展以及未来的发展方向。本文的基本目标是提供一个框架，用于介绍强化学习的可用方法，该方法信息量足够大，并且易于为该领域的新研究人员和学者考虑最新的关注点。首先，我们以一种易于理解和可比的方式说明了强化学习的核心技术。最后，我们分析和描述了强化学习方法的最新发展。我的分析指出，大多数模型都专注于调整策略值，而不是在特定的推理状态下调整其他东西。
2020-01-27 cs.AI
Playing a Strategy Game with Knowledge-Based Reinforcement Learning
arago GmbH（arago有限公司）
本文提出基于知识的强化学习KB-RL，融合多专家知识与强化学习冲突解决策略，在FreeCiv策略游戏中实现完整通关并战胜电脑玩家，且随经验增加持续缩短获胜回合数。
2019-08-15 cs.AI
Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay
University Politehnica of Bucharest（布加勒斯特理工大学）
本文介绍了一种使用深度强化学习从Arcade学习环境中学习如何玩最难的Atari 2600游戏的新方法。所提出的方法，人类检查点重放，包括使用从人类游戏中采样的检查点作为学习过程的起点。这是为了弥补当前探索策略的困难，例如ε贪婪，在稀疏奖励的游戏中找到成功的控制策略。与其他深度强化学习架构一样，我们的模型使用了一个卷积神经网络，它只接收原始像素输入来估计状态价值函数。我们在Atari平台上最具挑战性的两款游戏Montezuma's Revenge和Private Eye上测试了我们的方法。我们得到的结果显示了显着的改善相比，以前的学习方法，以及在一个随机的球员。我们还提出了一种使用人类游戏体验来训练深度强化学习代理的方法，我们称之为人类体验重播。
2016-07-18 cs.AI
Reinforcement Learning for ConnectX
IIT Bombay（印度理工学院孟买分校）
ConnectX是一款双人游戏，推广了流行的游戏Connect 4。目标是让X个硬币穿过M x N棋盘的一行、一列或对角线。第一个这样做的玩家赢得比赛。参数（M，N，X）允许在每个游戏中改变，使得ConnectX成为一个新颖且具有挑战性的问题。在本文中，我们提出了我们的工作的实施和修改的各种强化学习算法发挥ConnectX。
2022-10-15 cs.AI
Universal Reinforcement Learning Algorithms: Survey and Experiments
Australian National University（澳大利亚国立大学）；Future of Humanity Institute, University of Oxford（牛津大学人类未来研究所）
许多最先进的强化学习（RL）算法通常假设环境是遍历马尔可夫决策过程（MDP）。相比之下，通用强化学习（URL）领域关注的是尽可能少地对环境做出假设的算法。通用贝叶斯代理AIXI和一系列相关的URL算法已经在此设置中开发。虽然许多理论上的最优性结果已被证明为这些代理人，一直没有实证调查他们的行为。我们提出了一个简短的和可访问的调查，这些URL算法在一个统一的符号和框架下，随着一些实验的结果，定性地说明了所产生的政策的一些属性，以及它们的相对性能部分可观察的网格环境。我们还提出了一个开源的参考实现的算法，我们希望这将有助于进一步理解和实验，这些想法。
2017-05-30 cs.AI
A Survey of Exploration Methods in Reinforcement Learning
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
探索是强化学习算法的重要组成部分，其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据，因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中，我们提供了（顺序）强化学习中的现代探索方法的调查，以及探索方法的分类。
2021-09-02 cs.AI cs.LG
A Survey on the Verification of Reinforcement Learning Policies
TU Wien（维也纳工业大学）；Massachusetts Institute of Technology（麻省理工学院）
综述强化学习策略验证，引入分类法沿验证范式、时间范围和保证强度三个轴阐明现有方法关系，统一理论基础，明确假设局限，确定新兴方向，为RL验证提供统一视角。
2026-07-21 cs.AI
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；New York University（纽约大学）
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中，都设计了三个新游戏。在前三个版本中，培训和测试级别是分开设计的。自2020年起，每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后，我们提出了一种新的强化学习技术与一般的视频游戏玩双观察，假设它更有可能观察到类似的局部信息在不同的水平，而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图，而是将游戏屏幕的编码，转换的全局和局部观察作为两个同时输入，旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的，并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI
Applying supervised and reinforcement learning methods to create neural-network-based agents for playing StarCraft II
近年来，人们提出了多种方法来创建用于玩各种复杂的实时计算机游戏（如星际争霸II或Dota 2）的代理，然而，它们要么将大量的专家知识嵌入到代理中，要么使用对大多数研究人员来说过于庞大的计算资源。我们提出了一个神经网络架构，用于玩星际争霸II的完整双人比赛，该架构采用通用监督和强化学习进行训练，可以在具有单个GPU的单个消费级PC上进行训练。我们还表明，我们的实现了一个不平凡的性能相比，在游戏中脚本机器人。除了在一张选定的地图上进行游戏外，我们对游戏没有任何简化的假设，而且我们使用很少的专业知识。原则上，我们的方法可以应用于任何RTS游戏的小修改。虽然我们的结果在最终性能方面远远落后于最先进的大规模方法，但我们相信我们的工作可以作为其他小规模实验的坚实基线。
2021-09-26 cs.AI
Learning to Play Two-Player Perfect-Information Games without Knowledge
LAMSADE, Université Paris-Dauphine, PSL, CNRS, France（巴黎第七大学LAMSADE研究所，巴黎-dauphine大学，PSL，CNRS，法国）；CRIL, Univ. Artois and CNRS, F-62300 Lens, France（CRIL研究所，阿维尼昂大学，CNRS，法国）；Normandie University, UNICAEN, CNRS, GREYC, 14 000 Caen, France（诺曼底大学，UNICAEN，CNRS，GREYC，法国）
本文提出树自举推广、无界深度极小极大修改、强化启发式和新动作选择分布等技术，通过无知识自对弈强化学习训练 Hex 程序，在 11 和 13 路棋盘上超越 Mohex 3HNN。
2025-05-07 cs.AI
Towards a Deep Reinforcement Learning Approach for Tower Line Wars
University of Agder（阿格德大学）
近年来，强化学习取得了许多突破，最值得注意的可能是深度强化学习成功地玩并赢得了相对先进的计算机游戏。毫无疑问，当第一个AI掌握击败专业实时战略游戏玩家所需的复杂游戏时，深度强化学习将发挥重要作用。要做到这一点，需要有一个针对和促进人工智能研究的游戏环境，特别是深度强化学习。一些游戏环境已经存在，然而，这些要么过于简单，如雅达利2600或复杂，如暴雪娱乐的星际争霸II。我们提出了一个介于Atari 2600和星际争霸II之间的游戏环境，特别针对深度强化学习算法的研究。游戏环境是暴雪娱乐公司《魔兽争霸III》中塔线战争的一个变体。此外，作为环境可以包含深度增强算法的概念证明，我们提出并应用了深度Q增强架构。该架构简化了状态空间，使其适用于Q学习，并反过来提高了性能相比，目前最先进的方法。我们的实验表明，所提出的架构可以很好地学习游戏环境，并且比标准的Deep Q学习高出33%，这反过来证明了游戏环境的有用性。
2017-12-17 cs.AI
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Learning to Play: Reinforcement Learning and Games
本书围绕强化学习在游戏领域的研究，涵盖多种核心技术，采用Python编写示例并结合主流框架，助力读者掌握AI博弈的相关方法。
2026-10-14 cs.AI
The PlayStation Reinforcement Learning Environment (PSXLE)
University of Cambridge（剑桥大学）
我们提出了一个新的基准测试环境，用于评估强化学习（RL）算法：PlayStation学习环境（PSXLE），一个经过修改的PlayStation模拟器，可以暴露一个简单的控制API，从而实现丰富的游戏状态表示。我们认为，PlayStation作为一个合适的进展代理评估，并提出了这样的评估框架。我们为PlayStation游戏构建了一个支持OpenAI Gym接口的动作驱动抽象，并通过运行OpenAI Baselines演示了它的使用。
2019-12-12 cs.AI cs.LG
Unifying Causal Reinforcement Learning: Survey, Taxonomy, Algorithms and Applications
Department of Computer Science and Software Engineering, University of Western Australia（计算机科学与软件工程系，西澳大利亚大学）
本文综述了因果强化学习的分类、算法和应用，探讨了其在解决经典强化学习局限性方面的潜力及未来研究方向。
2025-12-19 cs.AI
A Short Survey On Memory Based Reinforcement Learning
National Institute of Technology, Warangal（瓦朗加尔国立理工学院）
强化学习（Reinforcement learning，RL）是机器学习的一个分支，用于解决各种顺序决策问题。由于深度学习的最新进展，新提出的Deep-RL算法已经能够在复杂的高维环境中表现得非常好。然而，即使在许多领域取得成功之后，这些方法的主要挑战之一是有效决策所需的与环境的高度相互作用。从大脑中寻求灵感，这个问题可以通过将基于实例的学习通过将决策偏向于高回报经验的记忆来解决。本文回顾了各种最近的强化学习方法，将外部记忆解决决策和他们的调查。我们提供了不同方法的概述-以及它们的优点和缺点，应用程序和用于基于内存的模型的标准实验设置。这篇评论希望成为一个有用的资源，提供关键的洞察力，在该领域的最新进展，并提供帮助，在未来的进一步发展。
2019-04-14 cs.AI
Monte Carlo Q-learning for General Game Playing
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高等计算机科学研究所）；Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高等计算机科学研究所）；Leiden University, Leiden, the Netherlands（莱顿大学，荷兰莱顿）
在AlphaGo最近的突破性成果之后，我们看到了人们对游戏中的强化学习的浓厚兴趣。一般博弈（GGP）为强化学习提供了一个很好的测试平台。在GGP中，给出了一个游戏规则的规范。GGP问题可以通过强化学习来解决。Q学习是一种典型的强化学习方法，并且已经被（Banerjee & Stone，IJCAI 2007）用于GGP。在本文中，我们在GGP中实现了三个小棋盘游戏（Tic-Tac-Toe，Connect Four，Hex）的Q学习，以与Banerjee等人进行比较。正如预期的那样，Q学习收敛，尽管比MCTS慢得多。借鉴MCTS的思想，我们用蒙特卡洛搜索增强Q学习，给出QM学习。这种增强提高了纯Q学习的性能。我们相信，QM学习也可以用于进一步提高大型游戏的强化学习性能，我们将在未来的工作中进行测试。
2018-05-21 cs.AI
Supervised and Reinforcement Learning from Observations in Reconnaissance Blind Chess
JKU Linz（林茨约翰·开普勒大学）；University of Alberta（阿尔伯塔大学）
在这项工作中，我们采用了一种受原始AlphaGo系统启发的训练方法来玩侦察盲棋的不完全信息游戏。只使用观察结果而不是对游戏状态的完整描述，我们首先在公开的游戏记录上训练一个受监督的代理。接下来，我们通过策略上强化学习算法近端策略优化的自我发挥来提高代理的性能。我们不使用任何搜索来避免由博弈状态的部分可观测性引起的问题，并且在玩游戏时仅使用策略网络来生成移动。通过这种方法，我们在RBC排行榜上获得了1330的ELO，在撰写本文时，我们的代理位于第27位。我们看到，自我发挥显着提高性能，代理发挥可以接受的好，没有搜索，没有对真正的游戏状态的假设。
2022-08-03 cs.AI
Distributed Deep Reinforcement Learning: Learn how to play Atari games in 21 minutes
Intel（英特尔）；Biz On Sp. z o.o.（Biz On 有限责任公司）；Polish Academy of Sciences（波兰科学院）
我们在分布式深度强化学习（DDRL）中进行了一项研究，重点关注最先进的深度强化学习算法（称为Batch Asynchronous Advantage ActorCritic（BA3C））的可扩展性。我们表明，使用亚当优化算法的批量大小高达2048进行大规模机器学习计算是一个可行的选择。结合对优化器超参数的仔细检查，在节点级别上使用同步训练（同时保持算法的本地单节点部分异步）并最小化模型的内存占用，使我们能够实现最多64个CPU节点的线性扩展。这相当于在768个CPU内核上的训练时间为21分钟，而在使用具有24个内核的单节点时，基线单节点实现的训练时间为10小时。
2018-04-09 cs.AI
Suphx: Mastering Mahjong with Deep Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）；Kyoto University（京都大学）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Nankai University（南开大学）
人工智能（AI）在许多领域都取得了巨大的成功，而游戏AI自诞生以来就被广泛认为是其滩头阵地。近年来，关于游戏AI的研究逐渐从相对简单的环境（例如，完全信息游戏如围棋、国际象棋、将棋或两个玩家的完全信息游戏如单挑德州扑克）到更复杂的游戏（例如，多玩家信息游戏，如多玩家德州扑克和StartCraft II）。麻将是一种流行于世界各地的多人信息博弈游戏，但由于其复杂的玩法/评分规则和丰富的隐藏信息，对人工智能研究非常具有挑战性。我们为麻将设计了一个名为Suphx的人工智能，它基于深度强化学习，并引入了一些新技术，包括全局奖励预测，预言指导和运行时策略自适应。Suphx在稳定排名方面表现出比大多数顶级人类玩家更强的表现，并且在Tenhou平台上所有官方排名的人类玩家中排名超过99.99%。这是计算机程序第一次在麻将中胜过大多数顶级人类玩家。
2020-04-01 cs.AI
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Personalized Dynamic Difficulty Adjustment -- Imitation Learning Meets Reinforcement Learning
Faculty of EECS Leibniz University Hannover Hannover, Germany
针对电子游戏难度与玩家技能不匹配影响体验的问题，提出结合模仿学习与强化学习的双智能体框架，用于格斗游戏场景下的个性化动态难度调整。
2024-08-13 cs.AI
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales（新南威尔士大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Technology Sydney（悉尼科技大学）
鉴于深度强化学习（DRL）在推荐系统研究中的出现以及近年来取得的一些丰硕成果，本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后，我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题，并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料，并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
Reinforcement Learning for Ridesharing: An Extended Survey
Lyft Rideshare Labs（来福车拼车实验室）；University of North Carolina（北卡罗来纳大学）；University of Michigan（密歇根大学）
在本文中，我们提出了一个全面的，深入的调查文献的强化学习方法的决策优化问题，在一个典型的共乘系统。涵盖了关于共乘匹配，车辆重新定位，共乘，路由和动态定价主题的论文。大多数文献都是在过去几年中出现的，几个核心挑战将继续得到解决：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放的仿真环境，以促进进一步的研究和开发。随后，我们讨论了一些强化学习研究在这个重要领域的挑战和机遇。
2022-10-24 cs.AI cs.LG
A Survey on Explainable Deep Reinforcement Learning
Northwestern University（西北大学）
本综述针对深度强化学习（DRL）的黑箱不可解释性问题，系统梳理了可解释深度强化学习（XRL）的多维度解释技术、评估框架及应用场景，并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文综述了因果强化学习领域，探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战，并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey
深度强化学习增强了强化学习框架，并利用了深度神经网络的强大表示。最近的工作已经证明了深度强化学习在各个领域的显着成功，包括金融，医学，医疗保健，视频游戏，机器人和计算机视觉。在这项工作中，我们提供了一个详细的审查和国家的最先进的研究进展，深度强化学习在计算机视觉。我们从理解深度学习、强化学习和深度强化学习的理论开始。然后，我们提出了一个分类的深度强化学习方法，并讨论其优点和局限性。特别是，我们根据深度强化学习在计算机视觉中的应用将其分为七个主要类别，即（i）地标定位（ii）目标检测;（iii）目标跟踪;（iv）2D图像和3D图像体积数据的配准（v）图像分割;（vi）视频分析;以及（vii）其他应用。这些类别中的每一个都将通过强化学习技术、网络设计和性能进行进一步分析。此外，我们还对现有的公开数据集进行了全面的分析，并检查了源代码的可用性。最后，我们提出了一些开放的问题，并讨论了计算机视觉中深度强化学习的未来研究方向
2021-08-25 cs.AI cs.CV
Building a 3-Player Mahjong AI using Deep Reinforcement Learning
University of Cambridge（剑桥大学）
麻将是19世纪末在中国开发的一种流行的多人信息游戏，具有一些对人工智能研究非常具有挑战性的特征。Sanma是日本Riichi麻将的3人版本，具有独特的特点，包括较少的瓷砖，因此，更具侵略性的游戏风格。因此，它本身具有挑战性和巨大的研究兴趣，但尚未进行探索。在本文中，我们介绍了Meowjong，一个使用深度强化学习的Sanma AI。我们定义了一个信息丰富和紧凑的2维数据结构编码的可观察的信息在一个三马游戏。我们为Sanma的5个动作--丢弃、Pon、Kan、Kita和Riichi预训练了5个卷积神经网络（CNN），并使用Monte Carlo策略梯度方法通过自我强化学习增强了主要动作的模型，即丢弃模型。Meowjong的模型通过监督学习实现了与4人麻将AI相当的测试精度，并从强化学习中获得了显着的进一步增强。作为Sanma的第一个AI，我们声称Meowjong在这个游戏中是最先进的。
2022-05-14 cs.AI cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick（华威大学）
我们介绍了一个新的虚拟环境，模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏，具有相对复杂的动作空间（允许从13张牌的初始开始手牌玩1，2，3，4或5张牌组合）。因此，它对许多当前的强化学习方法提出了挑战。然后，我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏，纯粹通过自我游戏来学习，并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平，而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology（代尔夫特理工大学）；VU Amsterdam（阿姆斯特丹自由大学）
深度强化学习（DRL）和演化策略（ES）在许多顺序决策问题中已经超越了人类控制，但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势，分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后，在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后，混合算法的好处，结合DRL和ES的概念突出。最后，有一个关于他们如何在现实世界中的应用程序进行比较的指示，他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Provable Self-Play Algorithms for Competitive Reinforcement Learning
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）
自我游戏，即算法通过与自己比赛而无需任何直接监督来学习，已成为现代强化学习（RL）中实现超人性能的新武器。然而，强化学习中的大多数验证理论仅适用于智能体在固定环境中进行游戏的设置;自我游戏算法是否可以证明有效，特别是当需要管理探索/开发权衡时，这在很大程度上仍然是开放的。我们研究了马尔可夫博弈下竞争性强化学习中的自我博弈，马尔可夫决策过程对两人博弈的推广。我们介绍了一个自我发挥的算法-值迭代与上/下置信界（VI-ULCB）-并表明，它实现了遗憾$\tilde{\mathcal{O}}(\sqrt{T})$后，发挥$T$步骤的游戏，其中的遗憾是衡量代理的性能对\emph{fully adversarial}对手谁可以利用代理的策略在\emph{any}步骤。我们还介绍了一个探索，然后利用风格的算法，它实现了一个稍差的遗憾$\tilde{\mathcal{O}}(T^{2/3})$，但保证运行在多项式时间，即使在最坏的情况下。据我们所知，我们的工作提出了竞争性强化学习的第一条可证明样本有效的自我发挥算法。
2020-07-09 cs.AI cs.LG stat.ML
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University（霍华德大学）
对于不同的物联网（IoT）应用，连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战，物联网系统具有许多攻击向量，安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近，研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一，强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同，强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中，我们全面调查了针对不同物联网系统的不同类型的网络攻击，然后我们提出了强化学习和基于深度强化学习的安全解决方案，以打击不同物联网系统中的不同类型的攻击。此外，我们提出了用于保护CPS系统的强化学习（即，具有反馈和控制的物联网），如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文，读者可以更深入地了解使用强化学习的物联网安全攻击和对策，以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展，聚焦二者交叉的离线基于模型强化学习领域，总结现有方法解决分布偏移问题的思路，提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Deep Reinforcement Learning in Ice Hockey for Context-Aware Player Evaluation
Simon Fraser University（西蒙弗雷泽大学）
已经提出了各种机器学习模型来评估职业运动员的表现。然而，他们只有有限的能力来模拟玩家的表现如何取决于游戏环境。本文提出了一种捕获游戏上下文的新方法：我们应用深度强化学习（DRL）从国家曲棍球联盟（NHL）的3M逐场比赛事件中学习动作值Q函数。神经网络表示使用基于占有的LSTM集成了连续上下文信号和游戏历史。学习的Q函数用于评估玩家在不同游戏情境下的行为。为了评估玩家的整体表现，我们引入了一个新的游戏影响指标（GIM），聚合玩家的行动的价值。实证评估表明，GIM是一致的，在整个赛季，并与标准的成功措施和未来的工资高度相关。
2018-07-16 cs.AI cs.LG stat.ML
Beyond Reasoning: RL-Policy Guided LLM Inference for Efficient Strategy in Liar's Poker
Allometry Labs（Allometry实验室）；Graduate School of Business, Columbia University（哥伦比亚大学商学院）；Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学萨德尔商学院）
本文提出Solly，首个在简化版骗子扑克中达到精英人类水平的AI，通过自我对战与深度强化学习实现超越人类和大语言模型的策略与表现。
2026-11-10 cs.AI cs.MA
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
A Survey on Transformers in Reinforcement Learning
Tsinghua University（清华大学）；Peking University（北京大学）；BAAI（北京智源人工智能研究院）；Tencent Inc.（腾讯公司）；Washington University in St.Louis（圣路易斯华盛顿大学）
本文系统综述了Transformer在强化学习中的应用动机、进展与分类，梳理各子领域现状并展望未来研究方向。
2023-09-20 cs.AI cs.LG
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文综述分布式深度强化学习方法与关键组件，并开发发布一个多玩家多智能体分布式深度强化学习工具箱，在Wargame环境中验证其可用性，同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
New Challenges in Reinforcement Learning: A Survey of Security and Privacy
University of Technology Sydney（悉尼科技大学）；City University of Macau（澳门城市大学）
强化学习（Reinforcement Learning，RL）是人工智能的重要分支之一。由于其在动态环境中的自适应和决策能力，强化学习已广泛应用于医疗保健、数据市场、自动驾驶和机器人等多个领域。然而，其中一些应用程序和系统已被证明容易受到安全或隐私攻击，导致服务不可靠或不稳定。大量的研究集中在强化学习中的这些安全和隐私问题上。然而，很少有调查对现有问题和最先进的解决办法进行系统审查和比较，以跟上新出现的威胁的步伐。因此，我们在此提出了这样一个全面的审查，解释和总结的挑战与安全和隐私的强化学习从一个新的角度，即马尔可夫决策过程（MDP）。在本调查中，我们首先介绍与该领域相关的关键概念。接下来，我们将分别讨论与MDP流程的状态、操作、环境和奖励函数相关的安全和隐私问题。我们进一步强调了与强化学习相关的安全和隐私方法的特殊性。最后，我们讨论了该领域未来可能的研究方向。
2022-12-31 cs.AI cs.CR cs.LG
Diffusion Models for Reinforcement Learning: A Survey
Shanghai Jiao Tong University（上海交通大学）；Shanghai Marine Electronic Equipment Research Institute（上海船舶电子设备研究所）
本文综述了扩散模型在强化学习中的应用，系统梳理了RL面临的挑战、现有方法的分类及成功案例，并展望未来研究方向。
2024-02-23 cs.AI cs.LG
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
DeepMind
国际象棋是人工智能历史上研究最广泛的领域。最强大的程序是基于复杂的搜索技术，特定领域的适应性和手工制作的评估功能的组合，这些功能已经由人类专家在几十年内进行了改进。相比之下，AlphaGo Zero程序最近在围棋比赛中取得了超人的表现，这是通过自玩游戏的tabula rasa强化学习实现的。在本文中，我们将这种方法概括为一个单一的AlphaZero算法，可以实现，白板，超人的性能在许多具有挑战性的领域。从随机游戏开始，除了游戏规则之外没有任何领域知识，AlphaZero在24小时内在国际象棋和将棋（日本象棋）以及围棋游戏中达到了超人水平，并且令人信服地击败了世界冠军程序。
2017-12-05 cs.AI cs.LG
Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning
Nagoya University（名古屋大学）；RIKEN（理化学研究所）；Japan Science and Technology Agency（日本科学技术振兴机构）
本文提出基于多智能体深度强化学习的统一框架，在连续状态空间中评估足球有球与无球球员的行动价值，并通过与传统指标和专家评分的对比验证了其有效性。
2023-12-01 cs.AI cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Pretraining in Deep Reinforcement Learning: A Survey
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
在过去的几年里，将强化学习（RL）与深度学习结合起来的进展非常迅速。从游戏到机器人技术的各种突破激发了人们对设计复杂RL算法和系统的兴趣。然而，RL中的主流工作流程是学习tabula rasa，这可能会导致计算效率低下。这排除了RL算法的持续部署，并可能排除没有大规模计算资源的研究人员。在机器学习的许多其他领域，预训练范式已被证明可以有效地获取可转移的知识，这些知识可用于各种下游任务。最近，我们看到了对深度RL预训练的兴趣激增，并取得了可喜的成果。然而，许多研究都是基于不同的实验设置。由于强化学习的性质，这一领域的预训练面临着独特的挑战，因此需要新的设计原则。在这项调查中，我们试图系统地回顾深度强化学习的预训练方面的现有工作，提供这些方法的分类，讨论每个子领域，并关注开放问题和未来方向。
2022-11-08 cs.AI cs.LG
A Survey of Reinforcement Learning for Large Language Models under Data Scarcity: Challenges and Solutions
Peking University（北京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；National University of Singapore（新加坡国立大学）；Nankai University（南开大学）；Tongji University（同济大学）；Nanjing University（南京大学）；University of Wollongong（沃林根大学）；Shanghai Jiao Tong University（上海交通大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文综述了在数据稀缺条件下大型语言模型强化学习的挑战与解决方案，提出三级框架，梳理现有方法并分析其优劣，为高效强化学习提供理论基础。
2026-04-19 cs.AI cs.LG
