Temporal-Difference Learning Using Distributed Error Signals
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）
针对生物奖励学习中信用分配难题，提出人工多巴胺算法，证明同步分布式TD误差足以学习复杂强化学习任务，性能可与反向传播算法媲美。
2024-11-06 cs.LG cs.NE
Utilizing Reinforcement Learning for de novo Drug Design
Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学与哥德堡大学）；AstraZeneca（阿斯利康）
提出强化学习从头药物设计统一框架，系统比较在策略、离策略算法与回放策略，提升针对 DRD2 的活性分子生成及结构多样性。
2024-01-30 cs.LG q-bio.BM
Teaching robots to perceive time -- A reinforcement learning approach (Extended version)
KTH Royal Institute of Technology（瑞典皇家理工学院）；Institute for Systems and Robotics, Instituto Superior Técnico（高等技术学院系统与机器人研究所）
时间知觉是个体对时间的现象学体验。在本文中，我们研究如何复制参与时间感知的神经机制，使机器人向时间认知迈出一步。我们的框架遵循双重生物启发的方法。第一步包括从传感器测量估计时间的流逝，因为环境刺激影响时间的感知。传感器数据被建模为高斯过程，代表自然环境的二阶统计。两个事件之间的估计经过时间是从它们之间收集的数据的联合分布的最大似然估计计算的。此外，时间在大脑中究竟是如何编码的仍然未知，但有强有力的证据表明多巴胺能神经元参与了计时机制。由于它们的阶段性活动与时间差异学习模型的奖励预测误差具有相似的行为，后者被用来复制这种行为。因此，这种方法的第二步包括在强化学习问题中应用代理对经过时间的估计，其中使用称为微刺激的特征表示。我们通过将其应用于最初用小鼠进行的实验来验证我们的框架，并得出结论，使用该框架的机器人能够再现动物大脑的计时机制。
2019-12-20 cs.AI cs.LG cs.SY
Learning sparse representations in reinforcement learning
University of California, Merced（加州大学默塞德分校）
强化学习（RL）算法允许人工智能体改进其行为选择，以增加其环境中的奖励体验。时间差（TD）学习--一种无模型强化学习方法--是强化学习中中脑多巴胺系统和基底神经节的主要解释。这些算法通常通过学习价值函数（预期的未来奖励）来学习从代理的当前感测状态到所选动作（称为策略函数）的映射。TD学习方法在广泛的控制任务中非常成功，但随着环境状态空间的增长，学习可能会变得非常缓慢。这激发了学习智能体状态的内部表示的方法，有效地减小了状态空间的大小并重构了状态表示以支持泛化。然而，TD学习加上人工神经网络，作为一个函数逼近器，已被证明无法学习一些相当简单的控制任务，挑战这种解释的奖励为基础的学习。我们假设，这种失败不会出现在大脑中，因为在皮层中普遍存在的侧抑制，产生稀疏分布的内部表示，支持学习预期的未来奖励。稀疏合取表示可以避免灾难性干扰，同时仍然支持泛化。我们通过计算模拟为这一猜想提供支持，展示了三个有问题的经典控制任务的学习稀疏表示的好处：水坑世界，山地车和Acrobot。
2019-09-04 cs.AI cs.LG cs.NE
An introduction to reinforcement learning for neuroscience
Sainsbury Wellcome Centre（桑斯伯里惠康中心）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
本文为神经科学中的强化学习提供了数学背景与方法导论，涵盖从经典时间差分到深度、元及分布式RL算法，并探讨了其在神经科学中的新见解与局限性。
2024-12-18 cs.LG q-bio.NC
Faults in Deep Reinforcement Learning Programs: A Taxonomy and A Detection Approach
Polytechnique Montréal（蒙特利尔理工学院）
在工业界和学术界，越来越多的人需要在各个领域使用深度学习（DL）来解决现实世界的问题。深度强化学习（DRL）是深度学习在强化学习（RL）领域的应用。像任何软件系统一样，DRL应用程序可能会因为程序中的错误而失败。在本文中，我们提出了第一次尝试分类故障发生在DRL程序。我们手动分析了使用知名DRL框架（OpenAI Gym，Dopamine，Keras-rl，Tensorforce）开发的761个DRL程序工件（来自Stack Overflow帖子和GitHub问题），并确定了开发人员/用户报告的错误。通过几轮讨论，我们对识别出的故障进行了标记和分类。由此产生的分类验证使用在线调查与19开发人员/研究人员。为了允许DRL程序中的故障的自动检测，我们已经定义了一个元模型的DRL程序和开发DRLinter，基于模型的故障检测方法，利用静态分析和图形转换。DRLinter的执行流程包括解析DRL程序以生成符合我们的元模型的模型，并在模型上应用检测规则来识别故障发生。DRLinter的有效性进行了评估，使用15个合成DRL程序，我们注入故障中观察到的分析工件的分类。结果表明，DRLinter能够成功地检测出所有合成故障程序中的故障。
2021-11-28 cs.LG cs.SE
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而，一旦解决，这些环境变得不那么有价值，需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena，这是一个用于强化学习研究和实验的新平台，它具有一系列高质量的环境，暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务，由原始像素和额外的数值组成，所有这些都支持单人和双人模式，允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理，以获得类似人类的行为，证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性，提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research
Salesforce Research（Salesforce研究院）
本文提出领域无关框架WarpSci，通过消除CPU与GPU间的数据传输并在单个或多个GPU上并发执行数千个仿真，解决高维海量数据环境下强化学习的关键系统瓶颈，从而支持数据驱动的科学研究。
2024-08-01 cs.AI cs.LG
OR-Gym: A Reinforcement Learning Library for Operations Research Problems
Carnegie Mellon University（卡内基梅隆大学）
强化学习（RL）已被广泛应用于游戏中，并在许多领域超过了最佳的人类水平的性能，但在工业或商业环境中的用例很少。我们介绍OR-Gym，这是一个用于开发强化学习算法以解决运筹学问题的开源库。在本文中，我们将强化学习应用到背包，多维装箱，多级供应链，多阶段资产配置模型问题，以及基准的RL解决方案对MILP和启发式模型。这些问题用于物流、金融、工程，并且在许多业务操作设置中很常见。我们开发环境的基础上，在文献中的原型模型，并实现各种优化和启发式模型，以基准的RL结果。通过将一系列经典的优化问题重新定义为RL任务，我们试图为运筹学社区提供一种新的工具，同时也为RL社区中的许多问题和挑战打开了大门。
2020-10-17 cs.AI cs.LG
Revisiting Rainbow: Promoting more Insightful and Inclusive Deep Reinforcement Learning Research
Google Research（谷歌研究院）
自DQN引入以来，绝大多数强化学习研究都集中在使用深度神经网络作为函数逼近器的强化学习上。新方法通常在一组现在已经成为标准的环境中进行评估，例如Atari 2600游戏。虽然这些基准有助于标准化评估，但它们的计算成本具有不幸的副作用，即扩大了那些能够充分访问计算资源的人与那些无法访问计算资源的人之间的差距。在这项工作中，我们认为，尽管社区的大规模环境的重点，传统的小规模环境仍然可以产生有价值的科学见解，并可以帮助减少贫困社区的准入门槛。为了证实我们的主张，我们根据经验重新审视了引入彩虹算法的论文[Hessel et al.，2018年]，并提出了一些新的见解彩虹使用的算法。
2021-05-21 cs.AI cs.LG
Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology（麻省理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）被认为是一种潜在的改进现实世界自治系统的框架，它吸引了多个不同领域的关注。然而，在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中，我们专注于这个问题，审查和评估的研究工作，从域不可知论和特定领域的社区。一方面，我们提供了一个全面的总结DRL的挑战，并总结了不同的建议，以减轻他们，这有助于确定领域不可知论研究的五个差距。另一方面，从特定领域的角度来看，我们讨论了不同的成功案例，并讨论了为什么其他模型可能无法部署。最后，我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
OffSeeker: Online Reinforcement Learning Is Not All You Need for Deep Research Agents
Fudan University（复旦大学）；Tencent Hunyuan（腾讯文言）；The University of Hong Kong（香港大学）
本文提出OffSeeker，通过离线训练和任务合成框架，无需在线强化学习即可构建高效深度研究代理。
2026-02-22 cs.AI cs.LG
CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
快速城市化、分布式可再生能源、储能和电动汽车的日益整合为电网带来了新的挑战。在美国，建筑物约占总电力需求的70%，需求响应有可能将电力峰值减少约20%。释放这种潜力需要在分布式系统上运行的控制系统，理想情况下是数据驱动和无模型的。为此，强化学习（RL）算法在过去几年中获得了越来越多的关注。然而，需求响应强化学习的研究一直缺乏标准化的水平，推动了强化学习研究在计算机科学社区的巨大进步。为了解决这个问题，我们创建了CityLearn，这是一个OpenAI Gym环境，允许研究人员实现，共享，复制和比较他们的RL实现以进行需求响应。在这里，我们讨论了这种环境和CityLearn挑战赛，这是我们组织的一项RL竞赛，旨在推动该领域的进一步发展。
2020-12-18 cs.AI cs.LG
rlpyt: A Research Code Base for Deep Reinforcement Learning in PyTorch
University of California, Berkeley（加州大学伯克利分校）
自从最近出现用于游戏和模拟机器人控制的深度强化学习以来，大量新算法蓬勃发展。大多数是无模型算法，可以分为三个家族：深度Q学习，策略梯度和Q值策略梯度。这些都是沿着不同的研究方向发展的，因此很少有代码库（如果有的话）包含所有三种类型。然而，这些算法共享一个共同的深度强化学习机制的很大深度。我们很高兴分享rlpyt，它在一个单一的存储库中，在一个共享的、优化的基础设施之上实现了所有三个算法家族。它包含使用PyTorch（一个领先的深度学习库）在Python中实现的许多常见深度RL算法的模块化实现。rlpyt被设计为一个高吞吐量的代码库，用于深度RL中的中小规模研究。本白皮书总结了它的功能、实现的算法以及与以前工作的关系，最后给出了详细的实现和使用说明。rlpyt可在https://github.com/astooke/rlpyt上获得。
2019-09-24 cs.AI cs.LG
Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms
本文聚焦强化学习研究进展关键要素，分析典型评估与设计范式，介绍缩放定律理论基础，通过大规模实验表明相关研究结论有误，为深度强化学习的缩放、能力和复杂性提供核心分析。
2026-07-10 cs.AI cs.LG
OmniSafe: An Infrastructure for Accelerating Safe Reinforcement Learning Research
Peking University（北京大学）
本文提出了OmniSafe框架，通过整合跨领域的安全强化学习算法并强调安全要素，旨在简化研究流程、解决现有框架缺失问题，从而加速AI安全研究。
2023-05-16 cs.AI cs.LG
The Formalism-Implementation Gap in Reinforcement Learning Research
Google DeepMind（谷歌DeepMind）；Université de Montréal（蒙特利尔大学）；Mila - Québec AI Institute（魁北克AI研究院）
本文指出当前RL研究过度侧重性能提升而忽视基础认知的问题，提出应强化RL科学研究、明确基准与数学形式化的映射，并以ALE为例说明饱和基准仍可用于深化认知与推动实际部署。
2025-10-28 cs.AI cs.LG
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Deep Reinforcement Learning and Transportation Research: A Comprehensive Review
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度强化学习（DRL）是一种新兴的方法，正在改变许多复杂的交通决策问题的解决方式。研究人员越来越多地转向这种强大的基于学习的方法来解决交通领域的挑战性问题。虽然在文献中已经报道了许多有前途的应用，但仍然缺乏对许多DRL算法及其使用和适应的全面综合。本文的目的是填补这一空白，进行全面的，综合性的审查，日间行车灯在交通运输中的应用。首先，我们提供了一个概述的DRL的数学背景，流行的和有前途的DRL算法，和一些非常有效的DRL扩展。在此概述的基础上，约150 DRL的研究，出现在交通文献中，分为七个不同的类别，进行了系统的调查。在此次审查的基础上，我们继续研究日间行车灯技术在交通领域应用的适用性、优点、缺点以及常见和特定应用问题。最后，我们建议未来的研究方向和目前可用的资源，实际实施DRL。
2020-10-13 cs.AI cs.LG
Reinforcement Learning for Education: Opportunities and Challenges
MPI-SWS（马克斯·普朗克软件系统研究所）；Carleton College（卡尔顿学院）；Worcester Polytechnic Institute（伍斯特理工学院）
这篇调查文章源于作者在教育数据采掘（EDM）2021会议上组织的RL4ED研讨会。我们组织了这次研讨会，作为社区建设工作的一部分，汇集了对强化学习（RL）和教育（ED）广泛领域感兴趣的研究人员和从业人员。本文旨在提供研讨会活动的概述，并总结了在该领域的RL教育的主要研究方向。
2021-07-15 cs.AI cs.LG
Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning
HK PolyU（香港理工大学）；SJTU（上海交通大学）；EIT, Ningbo（宁波工程学院）；NTU（National University of Technology）；HKU（香港大学）；INFIFORCE
Plasticine是首个开源框架，用于评估深度强化学习中的塑性优化，提供多种缓解方法和评估指标，帮助研究者系统量化塑性损失并分析动态。
2026-02-10 cs.AI cs.LG
Reinforcement Learning for Generative AI: State of the Art, Opportunities and Open Research Challenges
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本综述探讨强化学习在生成式AI中的应用，涵盖三类应用场景，并深入分析该领域的机遇与挑战。
2024-02-08 cs.AI cs.LG
JORLDY: a fully customizable open source framework for reinforcement learning
Kakao Enterprise（Kakao企业）
近年来，强化学习（RL）在学术界和工业界都得到了广泛的研究。然而，只有少数RL框架是为研究人员或想要学习RL的学生开发的。作为回应，我们提出了一个开源的强化学习框架“加入我们的强化学习框架来开发你的”（JORLDY）。JORLDY提供了20多种广泛使用的RL算法，这些算法都是用Pytorch实现的。此外，JORLDY还支持多种RL环境，包括OpenAI gym、Unity ML-Agents、Mujoco、Super Mario Bros和Procgen。此外，算法组件如Agent、网络、环境等可以自由定制，用户可以方便地修改和添加算法组件。我们期望JORLDY能够支持各种RL研究，并为RL领域的进一步发展做出贡献。JORLDY的源代码在以下Github上提供：https://github.com/kakaoenterprise/JORLDY
2022-04-11 cs.AI cs.LG
AndroidEnv: A Reinforcement Learning Platform for Android
DeepMind（深度思维）
我们介绍AndroidEnv，这是一个基于Android生态系统的强化学习（RL）研究开源平台。AndroidEnv允许RL代理通过通用触摸屏界面与人类常用的各种应用和服务进行交互。由于代理训练在Android设备的真实模拟上进行，因此它们有可能部署在真实设备上。在这份报告中，我们给出了一个环境的概述，突出了它为研究提供的重要功能，我们提出了一些流行的强化学习代理建立在这个平台上的一组任务的实证评估。
2021-05-27 cs.AI cs.LG
Scilab-RL: A software framework for efficient reinforcement learning and cognitive modeling research
Hamburg University of Technology（汉堡工业大学）；Institute for Data Science Foundations（数据科学基础研究所）
针对认知建模与强化学习研究缺乏整合多类功能的模块化工具套件的问题，提出聚焦目标条件强化学习的Scilab-RL软件框架，可降低实验时间成本、提升研究效率。
2024-01-25 cs.AI cs.LG cs.RO
CORL: Research-oriented Deep Offline Reinforcement Learning Library
Tinkoff
CORL 是一个面向研究的深度离线强化学习开源库，通过单文件实现、实验跟踪和 D4RL 基准测试，为离线及离线到在线算法提供可靠、透明且易于分析的实现与评估工具。
2023-10-26 cs.AI cs.LG
IntentRL: Training Proactive User-intent Agents for Open-ended Deep Research via Reinforcement Learning
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
IntentRL通过强化学习训练主动用户意图代理，提升开放性深度研究的意图识别与任务性能。
2026-02-03 cs.AI cs.LG
Reinforcement Learning for Ridesharing: An Extended Survey
Lyft Rideshare Labs（来福车拼车实验室）；University of North Carolina（北卡罗来纳大学）；University of Michigan（密歇根大学）
在本文中，我们提出了一个全面的，深入的调查文献的强化学习方法的决策优化问题，在一个典型的共乘系统。涵盖了关于共乘匹配，车辆重新定位，共乘，路由和动态定价主题的论文。大多数文献都是在过去几年中出现的，几个核心挑战将继续得到解决：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放的仿真环境，以促进进一步的研究和开发。随后，我们讨论了一些强化学习研究在这个重要领域的挑战和机遇。
2022-10-24 cs.AI cs.LG
A survey on intrinsic motivation in reinforcement learning
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息与图像系统实验室）
强化学习（RL）研究领域非常活跃，有许多新的贡献;特别是考虑到深度RL（DRL）的新兴领域。然而，仍然需要解决一些科学和技术挑战，其中我们可以提到抽象行动的能力或探索环境的困难，这些都可以通过内在动机（IM）来解决。在这篇文章中，我们提供了一个调查的作用，内在动机的DRL。我们对每个类别的不同类型的内在动机和细节进行了分类，其优点和局限性与上述挑战有关。此外，我们对目前正在研究或在DRL的研究领域根本没有解决的大量当前研究问题进行了深入调查。我们选择从学习如何完成任务的角度来审视这些研究成果。因此，我们建议，解决当前的挑战可能会导致一个更大的发展架构，可以解决大多数任务。我们描述了这个开发架构的基础上，由RL算法和IM模块压缩信息的几个积木。
2019-11-19 cs.AI cs.LG
Market Making Strategies with Reinforcement Learning
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文研究强化学习做市策略，通过奖励工程、MORL及POW-dTS策略加权算法应对库存管理与市场非平稳性，实验显示其性能显著优于传统基线。
2025-07-24 cs.AI cs.LG
Intrinsic Motivation in Model-based Reinforcement Learning: A Brief Review
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）；AIRI
强化学习的研究领域包含了广泛的解决智能体控制问题的方法。尽管已经取得了进展，但创建高度自主智能体的任务仍然是一个重大挑战。这个问题的一个潜在解决方案是内在动机，这是一个来自发展心理学的概念。本综述认为现有的方法确定内在动机的基础上获得的代理世界模型。我们提出了一个系统的方法，目前在这一领域的研究，其中包括三类方法，区分的方式，他们利用世界模型在代理的组件：互补的内在奖励，探索政策，和内在动机的目标。建议的统一框架描述了使用世界模型和内在动机，以提高学习的代理的体系结构。在这一领域的研究开发新技术的潜力也进行了审查。
2023-01-24 cs.AI cs.LG
SocialAI 0.1: Towards a Benchmark to Stimulate Research on Socio-Cognitive Abilities in Deep Reinforcement Learning Agents
Inria（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
构建能够参与与人类的社会互动的嵌入式自主智能体是人工智能的主要挑战之一。这个问题激发了许多关于具身语言使用的研究方向。目前的方法集中在语言作为一种沟通工具，在非常简单和非多样化的社会情况下：语言的“自然性”被降低到高词汇量和可变性的概念。在本文中，我们认为，要实现人类水平的人工智能，需要更广泛的关键社交技能：1）在复杂多变的社会环境中使用语言; 2）在不断发展的社会世界中，在多模态环境中进行复杂的具体沟通。在这项工作中，我们解释了认知科学的概念如何帮助人工智能绘制通往类人智能的路线图，重点是其社会维度。然后，我们研究了最近SOTA Deep RL方法在即将推出的SocialAI的第一个网格世界环境中进行测试时的局限性，SocialAI是评估Deep RL代理社交技能的基准。视频和代码可在https://sites.google.com/view/socialai01上获得。
2021-04-27 cs.AI cs.LG
ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning
Gwangju Institute of Science and Technology（光州科学技术院）；Korea University（高丽大学）
本文提出ARCLE强化学习环境以应对抽象与推理语料库（ARC）的归纳推理挑战，通过近端策略优化、非分解策略和辅助损失有效缓解了动作空间和目标达成问题，并提出了MAML、GFlowNets和世界模型等未来研究方向。
2024-07-30 cs.AI cs.LG
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI（开放人工智能研究中心）
本技术报告的目的是双重的。首先，它介绍了一套具有挑战性的连续控制任务（与OpenAI Gym集成），基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动，滑动和拾取放置，以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励，并遵循多目标强化学习（RL）框架，其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路，其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
Research on Edge Computing and Cloud Collaborative Resource Scheduling Optimization Based on Deep Reinforcement Learning
Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出一种基于深度强化学习（DRL）的边缘云协同资源调度优化方法，有效提升了任务处理效率与资源利用率并控制任务迁移，实验证明其优于传统算法，未来将致力于提升学习效率与容错能力。
2025-04-10 cs.AI cs.DC cs.LG
Deep Reinforcement Learning and its Neuroscientific Implications
DeepMind；University College London（伦敦大学学院）
强大的人工智能的出现正在定义神经科学的新研究方向。到目前为止，这项研究主要集中在使用监督学习训练的深度神经网络，例如图像分类。然而，最近人工智能工作的另一个领域迄今为止受到神经科学家的关注较少，但可能具有深刻的神经科学意义：深度强化学习。深度强化学习为研究学习、表征和决策之间的相互作用提供了一个全面的框架，为脑科学提供了一套新的研究工具和广泛的新假设。在本综述中，我们对深度RL进行了高层次的介绍，讨论了它在神经科学中的一些初步应用，并调查了它对大脑和行为研究的更广泛影响，最后列出了下一阶段研究的机会。
2020-07-07 cs.AI cs.LG q-bio.NC
ViZDoom: A Doom-based AI Research Platform for Visual Reinforcement Learning
Institute of Computing Science, Poznan University of Technology（波兹南工业大学计算科学研究所）
深度神经网络的最新进展带来了有效的基于视觉的强化学习方法，这些方法已被用于从像素数据中获得Atari 2600游戏中的人类水平控制器。然而，Atari 2600游戏并不像现实世界的任务，因为它们涉及非现实的2D环境和第三人称视角。在这里，我们提出了一个新的测试平台，用于从原始视觉信息中进行强化学习研究，该信息在半现实的3D世界中采用第一人称视角。该软件名为ViZDoom，基于经典的第一人称射击游戏Doom。它允许开发使用屏幕缓冲区玩游戏的机器人。ViZDoom是轻量级的，快速的，并通过一个方便的用户场景机制高度可定制。在实验部分，我们通过尝试学习两种场景的机器人来测试环境：基本的移动和射击任务和更复杂的迷宫导航问题。使用具有Q学习和经验回放的卷积深度神经网络，对于这两种情况，我们都能够训练表现出类似人类行为的合格机器人。结果证实了ViZDoom作为AI研究平台的实用性，并暗示在3D逼真的第一人称视角环境中进行视觉强化学习是可行的。
2016-09-20 cs.AI cs.CV cs.LG
Reinforcement Learning based Air Combat Maneuver Generation
Istanbul Technical University（伊斯坦布尔理工大学）
人工智能技术的出现为空战领域的许多研究铺平了道路。无人机自主机动决策是一个突出的研究方向，国内外学者和许多研究人员对此进行了研究。精心的研究产生了一些结果，但包括强化学习（RL）的决策变得更有效。为了使智能体以最佳方式达到其目标，已经进行了许多研究和实验，最突出的是遗传算法（GA）、A星、RRT和其他各种优化技术。但是强化学习是众所周知的成功之道。在DARPHA Alpha空战试验中，强化学习战胜了一名由波音公司训练的真正的资深F16人类飞行员。这一型号由Heron Systems开发。在此之后，强化学习引起了人们的极大关注。本研究针对具有杜宾飞行器动力学特性的无人机，利用双延迟深度确定性策略梯度（TD 3）和经验重放（HER），在两种不同的环境下进行了试验和仿真。
2022-01-14 cs.AI
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh（爱丁堡大学）
自主智能体的开发是人工智能和机器学习的核心研究领域，它可以与其他智能体交互以完成给定的任务。为了实现这一目标，自主智能体研究小组开发了用于自主系统控制的新型机器学习算法，特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为，目标和组成;以及基于内在动机，课程学习，因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述，并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA
Baconian: A Unified Open-source Framework for Model-Based Reinforcement Learning
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
基于模型的强化学习（MBRL）是强化学习（RL）算法中的一种，它通过对系统动态特性进行建模和逼近，提高了采样效率。它已被广泛应用于机器人技术，自动驾驶等研究，尽管它的普及，仍然缺乏一些复杂的和可重用的开源框架，以促进MBRL的研究和实验。为了填补这一空白，我们开发了一个灵活的和模块化的框架，Baconian，它允许研究人员通过自定义或构建我们提供的模块和算法来轻松实现MBRL测试平台。我们的框架可以使用户从零开始重新实现流行的MBRL算法，从而大大节省了用户的MBRL实验的努力。
2021-03-16 cs.AI cs.LG stat.ML
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Seattle Children's Hospital（西雅图儿童医院）；University of California, Berkeley（加州大学伯克利分校）
本文提出RLER方法，通过演进标准与策略模型共进化，开发出首个开源深度研究模型DR Tulu，其在多个长文深度研究基准上表现优异，且成本显著低于现有模型。
2026-05-15 cs.AI cs.CL cs.LG
Self-supervised Learning for Segmentation and Quantification of Dopamine Neurons in Parkinson's Disease
Arizona State University（亚利桑那州立大学）；Genentech Inc.（基因泰克公司）
针对帕金森病中多巴胺神经元量化依赖人工且主观的问题，提出首个基于自监督学习的端到端框架，实现高精度分割与计数，并提供公开数据集，加速药物疗效研究。
2023-10-12 cs.CV cs.LG
A Review of Nine Physics Engines for Reinforcement Learning Research
Institute of Cognitive Science, Osnabrück University（奥斯纳布吕克大学认知科学研究所）
本文综述了Brax、MuJoCo等九个常用于强化学习的物理仿真引擎，基于流行度、功能、可用性等维度进行评估，发现MuJoCo性能领先而Unity易用但保真度不足，为研究者选择仿真工具提供了决策参考。
2024-08-23 cs.AI cs.LG cs.MA
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University（东北大学）
强化学习（Reinforcement learning，RL）是空间机器人领域中一个很有前途的研究领域，它可以提高机器人的自主性和决策能力，但由于环境的随机性和不确定性，传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索，很少有人类反馈，更快，更安全的月球表面运动或多机器人系统的协调和协作。然而，使用RL和机器学习的空间机器人应用研究面临许多障碍，特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台，称为强化学习，用于基于仿真的机器人训练，或RL STaR，有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台，以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
Towards automating Codenames spymasters with deep reinforcement learning
University of Waterloo（滑铁卢大学）
虽然大多数强化学习研究都集中在竞争游戏上，但很少有人将其应用于合作多人游戏或基于文本的游戏。Codenames是一个涉及非对称合作和自然语言处理的棋盘游戏，这使得它成为推进RL研究的绝佳候选者。据我所知，这项工作是第一个将代号制定为马尔可夫决策过程，并将一些着名的强化学习算法（如SAC，PPO和A2C）应用于环境。虽然上述算法都不收敛于Codenames环境，但它们也不收敛于称为ClickPixel的简化环境，除非电路板尺寸很小。
2022-12-28 cs.AI cs.CL cs.LG
Decision-Making in Reinforcement Learning
Gautam Buddha University（乔达摩佛陀大学）
在这项研究工作中，研究了概率决策方法，例如贝叶斯和玻尔兹曼策略，以及各种确定性探索策略，例如贪婪，ε-贪婪和随机方法。在这项研究工作中，概率和确定性决策方法之间进行了比较研究，实验在OpenAI健身房环境中进行，解决推车杆问题。这项研究工作讨论了深度强化学习中的贝叶斯决策方法，以及关于辍学，它如何降低计算成本。对各种勘探方法进行了比较。它还讨论了探索在深度强化学习中的重要性，以及改进探索策略如何在科学和技术方面有所帮助。这项研究工作表明，从长远来看，概率决策方法比确定性方法更好。当存在不确定性时，贝叶斯丢弃方法被证明是优于所有其他方法在这项研究工作中。
2019-06-01 cs.AI
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation
Korea University（高丽大学）；Hallym University（翰林大学）
量子计算的出现使研究人员能够将量子电路应用于许多现有的研究。利用量子电路和量子微分编程技术，人们进行了许多研究，如\textit{Quantum Machine Learning}（QML）。特别是量子强化学习是检验量子机器学习可能性的一个很好的领域，大量的研究正在进行中。本研究将介绍使用变分量子电路的量子强化学习的概念，并通过实施和实验确认其可能性。我们将首先介绍量子强化学习的背景知识和工作原理，然后使用PennyLane库指导实现方法。我们还将讨论量子强化学习的力量和可能性，从通过这项工作获得的实验结果。
2021-08-16 cs.LG
Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
Rethinking the Design of Reinforcement Learning-Based Deep Research Agents
本文提出了一种基于强化学习的深度研究代理设计，通过改进奖励机制、训练算法、样本过滤和测试策略，实现了在多个基准测试中的最优性能。
2026-02-21 cs.AI
Evolutionary Reinforcement Learning: A Survey
Southern University of Science and Technology（南方科技大学）；Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）
本文综述进化计算与强化学习融合的进化强化学习（EvoRL），按超参数优化、策略搜索、探索等方向分类，并展望高效方法、基准与平台等未来方向。
2023-08-30 cs.AI cs.LG cs.NE
Improving Reinforcement Learning with Human Assistance: An Argument for Human Subject Studies with HIPPO Gym
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；École de technologie supérieure (ETS)（高等技术学院（ETS））
强化学习（RL）是一种流行的机器学习范例，用于游戏，机器人控制和其他顺序决策任务。然而，RL代理通常具有很长的学习时间和很高的数据要求，因为它们开始时是随机的。为了在复杂任务中更好地学习，本文认为外部教师通常可以显着帮助RL Agent学习。OpenAI Gym是RL研究的通用框架，包括大量的标准环境和代理，使RL研究变得更加容易。本文介绍了我们新的开源RL框架，Openai Gym的人类输入解析平台（HIPPO Gym），以及创建它的设计决策。这个平台的目标是促进人类RL研究，再次降低门槛，以便更多的研究人员可以快速研究人类教师可以帮助RL代理的不同方式，包括从演示中学习示教学习，从反馈中学习或课程学习。
2021-02-02 cs.AI cs.HC cs.LG
Modular Object-Oriented Games: A Task Framework for Reinforcement Learning, Psychology, and Neuroscience
Massachusetts Institute of Technology（麻省理工学院）；Center for Brains, Minds and Machines, MIT（麻省理工学院脑、心智与机器中心）；McGovern Institute of Brain Research, MIT（麻省理工学院麦戈文脑科学研究所）
近年来，研究模拟游戏的趋势在人工智能、认知科学、心理学和神经科学领域获得了动力。这些领域的交叉点最近也有所增长，因为研究人员越来越多地使用人工代理和人类或动物主题来研究此类游戏。然而，实现游戏可能是一项耗时的工作，并且可能需要研究人员处理不容易定制的复杂代码库。此外，研究人工智能、人类心理学和动物神经生理学的跨学科研究人员面临着额外的挑战，因为现有的平台只针对其中一个领域。在这里，我们介绍模块化面向对象游戏，这是一个轻量级，灵活，可定制的Python任务框架，专为机器学习，心理学和神经生理学研究人员设计。
2021-02-25 cs.AI cs.LG q-bio.NC
