用于仿真中更快强化学习的跳时技术

MAP传播算法：使用强化学习代理团队的快速学习

MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents

University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

几乎所有最先进的深度学习算法都依赖于误差反向传播，这在生物学上通常被认为是不可信的。训练人工神经网络的另一种方法是将网络中的每个单元视为强化学习代理，因此网络被视为一组代理。因此，所有单元都可以通过REINFORCE进行训练，这是一种由全局信号调制的局部学习规则，与生物学上观察到的突触可塑性形式更一致。虽然这种学习规则遵循期望的回报梯度，但它具有高方差，因此学习速度慢，使其无法训练深度网络。因此，我们提出了一种新的算法，称为MAP传播，以减少这种变化显着，同时保留本地属性的学习规则。实验表明，MAP传播可以解决常见的强化学习任务，在应用于演员-评论家网络时，速度与反向传播相似。因此，我们的工作允许在深度强化学习中更广泛地应用代理团队。

2021-10-05cs.AIcs.LG

TurboHopp：利用一致性模型加速分子骨架跃迁

TurboHopp: Accelerated Molecule Scaffold Hopping with Consistency Models

AIGEN Sciences（AIGEN科学公司）；Cornell University（康奈尔大学）；Korea University（高丽大学）

针对3D-SBDD生成模型处理速度慢的瓶颈，提出加速的口袋条件化3D骨架跃迁模型TurboHopp，结合一致性模型实现高达30倍推理加速与更优质量，并利用RLCM优化分子输出，广泛适用于药物发现场景。

2025-02-01cs.AIcs.LGq-bio.BM

通过更慢的在线网络实现更快的深度强化学习

Faster Deep Reinforcement Learning with Slower Online Network

Amazon Web Services（亚马逊云科技）；Brown University（布朗大学）；Seoul National University（首尔国立大学）

本文提出通过让在线网络靠近目标网络的更新机制，增强 DQN 和 Rainbow 对噪声更新的鲁棒性，并在 Atari 基准上取得显著性能提升。

2023-04-17cs.AIcs.LG

强化学习智能体中神经元放电的高温提取

Distilling Neuron Spike with High Temperature in Reinforcement Learning Agents

Peking University（北京大学）

脉冲神经网络（SNN）与深度神经网络（DNN）相比，具有更快的处理速度、更低的能耗和更强的生物可解释性，有望接近强AI。强化学习类似于生物学中的学习。研究SNN与RL的结合具有重要意义。提出了基于STBP的尖峰蒸馏网络的强化学习方法。该方法利用蒸馏有效避免了STBP的弱点，在分类上可以达到SOTA性能，并且可以得到体积更小、收敛速度更快、功耗更低的SNN强化学习模型。实验表明，该方法比传统的SNN强化学习和DNN强化学习方法收敛更快，约快1000 epoch，得到的SNN比DNN小200倍。我们还将SDN部署到北大nc64c芯片上，证明SDN的功耗比DNN更低，在大规模设备上SDN的功耗比DNN低600倍以上。SDN为SNN强化学习提供了一种新的途径，并能达到SOTA性能，证明了SNN强化学习进一步发展的可能性。

2021-08-05cs.AIcs.LGcs.NE

使用神经情节控制的更快深度Q学习

Faster Deep Q-learning using Neural Episodic Control

Kanazawa University（金泽大学）

通过深度学习估计Q值的深度强化学习的研究近年来引起了研究者的兴趣。在深度强化学习中，重要的是有效地学习智能体通过探索环境收集的经验。我们提出了NEC 2DQN，提高了学习速度的一个穷人样本效率算法，如DQN通过使用良好的一个，如NEC在学习开始。在Pong的实验中，我们证明了它能够比Double DQN或N-step DQN更快地学习。

2018-06-03cs.AIcs.LG

约束采样强化学习：为更快的学习提供专业知识

Constraint Sampling Reinforcement Learning: Incorporating Expertise For Faster Learning

Stanford University（斯坦福大学）；Adobe Research（Adobe 研究院）

在线强化学习（RL）算法通常难以部署在复杂的面向人类的应用中，因为它们可能学习缓慢并且早期性能较差。为了解决这个问题，我们引入了一个实用的算法，将人类的洞察力，以加快学习。我们的算法，约束采样强化学习（CSRL），结合了先验领域的知识作为约束/限制的RL政策。它采用多个潜在的策略约束，以保持对单个约束的错误指定的鲁棒性，同时利用有用的约束来快速学习。给定一个基本RL学习算法（例如，UCRL，DQN，Rainbow），我们提出了一个具有消除方案的上置信度，该方案利用约束之间的关系及其观察到的性能，以自适应地在它们之间切换。我们实例化我们的算法与DQN型算法和UCRL作为基础算法，并评估我们的算法在四个环境中，包括三个模拟器的基础上，真实的数据：建议，教育活动排序，艾滋病治疗排序。在所有情况下，CSRL都比基线更快地学习好的策略。

2021-12-30cs.AI

通过将高级知识嵌入深度强化学习更快更安全地进行训练

Faster and Safer Training by Embedding High-Level Knowledge into Deep Reinforcement Learning

Shenzhen University（深圳大学）；Shanghai Research Center for Brain Science and Brain-Inspired Intelligence（上海脑科学与类脑研究中心）；Zhangjiang Laboratory（张江实验室）；Dorabot Inc.（达闼机器人有限公司）；Hong Kong University of Science and Technology（香港科技大学）

深度强化学习已成功应用于许多动态决策领域，特别是那些具有非常大的状态空间的领域。然而，众所周知，深度强化学习可能非常缓慢且资源密集。由此产生的系统往往是脆弱的，难以解释。在本文中，我们试图通过提出一个规则插入学习（RIL）框架，将高级规则嵌入到深度强化学习中来解决其中的一些问题。有了一些好的规则，这个框架不仅可以加速学习过程，还可以避免灾难性的探索，从而使系统即使在训练的早期阶段也相对稳定。此外，由于规则是高级的，易于解释，因此可以轻松地维护，更新和与其他类似任务共享。

2019-10-22cs.AI

MolHop：基于智能体强化学习的支架跳跃式分子设计

MolHop: Scaffold-Hopping Molecular Design with Agentic Reinforcement Learning

State Key Laboratory of Physical Chemistry of Solid Surface, College of Chemistry and Chemical Engineering, Xiamen University（厦门大学化学化工学院固体表面物理化学国家重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）

MolHop是一种跨支架分子发现的智能体强化学习框架，通过分层动作空间与轨迹记忆提升跨支架分子发现能力，MolHop-9B性能优于多款生成式基线模型。

2026-10-15cs.CLcs.LG

利用自进化先验跳跃启动强化学习以实现极端单足运动

Jump-Start Reinforcement Learning with Self-Evolving Priors for Extreme Monopedal Locomotion

State Key Laboratory of Intelligent Green Vehicle and Mobility, School of Vehicle and Mobility, Tsinghua University, Beijing, China（智能绿色车辆与移动 state key laboratory，车辆与移动学院，清华大学，北京，中国）；College of AI, Tsinghua University, Beijing, China（人工智能学院，清华大学，北京，中国）；SunrisingAI Ltd., Beijing, China（SunrisingAI有限公司，北京，中国）

本文提出 JumpER 框架，通过自进化先验与三阶段课程引导强化学习，首次实现四足机器人在不可预测地形上的稳健单足跳跃，可跨越 60 厘米间隙及不规则踏脚石。

2025-07-01cs.LGcs.RO

基于虚拟策略梯度的倒立摆平衡混合强化学习方法

A Hybrid Approach for Reinforcement Learning Using Virtual Policy Gradient for Balancing an Inverted Pendulum

Center for Research in Scientific Computation, North Carolina State University（北卡罗来纳州立大学科学计算研究中心）

利用策略梯度算法，我们训练了一个单隐层神经网络来平衡一个物理上精确的模拟单级倒立摆。然后，训练好的权重和偏差可以转移到一个物理代理，在那里它们足够强大，可以平衡一个真正的倒立摆。这种训练模拟的混合方法可以比现实世界中更快地完成数千次试运行，从而大大减少训练时间和更多迭代，产生更强大的模型。与现有的强化学习方法相比，所得到的控制更平滑，学习速度更快，并且能够承受强制干扰。

2021-02-06cs.LGcs.RO

基于人工建议的安全强化学习定向策略梯度

Directed Policy Gradient for Safe Reinforcement Learning with Human Advice

Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）

许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。

2018-08-13cs.AIcs.LGstat.ML

基于知识图谱的深度强化学习迁移

Transfer in Deep Reinforcement Learning using Knowledge Graphs

School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）

文本冒险游戏，玩家必须通过文本描述来理解世界，并通过文本描述来宣布行动，为语言中的基础行动提供了一块垫脚石。先前的工作已经证明，使用知识图谱作为状态表示和问答来预训练深度Q网络有助于更快的控制策略转移。在本文中，我们探讨了使用知识图谱作为一种表示领域知识转移训练文本冒险玩强化学习代理。我们的方法在多个计算机生成和人类创作的游戏中进行了测试，这些游戏在领域和复杂性方面各不相同，并证明我们的迁移学习方法可以让我们更快地学习更高质量的控制策略。

2019-08-19cs.AIcs.CLcs.LG

基于类车机器人的事件摄像机强化学习探索

Exploration of Reinforcement Learning for Event Camera using Car-like Robots

The University of Tokyo（东京大学）；Keio University（庆应义塾大学）

我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低，与使用标准摄像机的现有基于视觉的学习应用相比，可以实现更快的机器人控制。为了处理强化学习的事件流，我们引入了一个类似图像的功能，并证明了在模拟器中训练代理的两个任务的可行性：快速避碰和障碍物跟踪。最后，我们在现实世界中设置了一个带有事件摄像机的机器人，然后转移了在模拟器中训练的代理，从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中，通过端到端学习方法，为需要快速控制的各种机器人应用（如自动驾驶汽车和无人机）开辟了新的可能性。

2020-04-02cs.AIcs.LGcs.RO

启发式规划的Meta-强化学习

Meta-Reinforcement Learning for Heuristic Planning

University of Leeds（利兹大学）

在Meta-强化学习（meta-RL）中，智能体在一组任务上进行训练，以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的，以代表测试任务的预期分布，因此全部用于训练。我们表明，给定一组训练任务，如果训练任务选择得当，学习可以更快，更有效（导致测试任务中更好的性能）。我们提出了一个任务选择算法，信息理论任务选择（ITTS），基于信息论，优化用于元强化学习训练的任务集，而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关，又彼此足够不同。我们再现了文献中不同的元RL实验，并表明ITTS提高了所有实验的最终性能。

2021-07-06cs.AIcs.LG

CaiRL：一个高性能的强化学习环境工具包

CaiRL: A High-Performance Reinforcement Learning Environment Toolkit

University of Agder（阿格德大学）

本文解决了迫切需要一个平台，有效地提供了一个框架运行强化学习（RL）的实验。我们提出了CaiRL环境工具包作为一个有效的，兼容的，更可持续的替代训练学习代理，并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而，很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的，Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包，具有相同的灵活性，但工作速度要快几个数量级，以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包，该工具包具有内置的JVM和Flash支持，用于运行传统的Flash游戏，以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性，并将其执行速度与OpenAI Gym进行了比较。此外，我们还说明了CaiRL可以作为OpenAI Gym的直接替代品，因为减少了环境计算时间，可以利用更快的训练速度。

2022-10-03cs.AIcs.LG

使用主动模拟器的快速强化学习

Faster Reinforcement Learning Using Active Simulators

Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）

在这项工作中，我们提出了几种在线方法来建立一个\emph{learning curriculum}从一组给定的目标任务特定的训练任务，以加快强化学习（RL）。与从头开始训练目标任务相比，这些方法可以减少RL代理所需的总训练时间。与传统的迁移学习不同，我们考虑从几个训练任务中创建一个序列，以便在减少训练的总时间方面提供最大的好处。我们的方法利用迄今为止看到的课程任务上的代理的学习轨迹来决定接下来要训练哪些任务。我们的方法的一个有吸引力的特点是，它们是弱耦合到RL算法的选择，以及迁移学习方法。此外，当有领域信息可用时，我们的方法可以结合这些知识以进一步加快学习。我们的实验表明，这些方法可以用来获得合适的学习课程，加快两个不同领域的整体训练时间。

2017-11-21cs.LG

PipelineRL：面向长序列生成的更快同策略强化学习

PipelineRL: Faster On-policy Reinforcement Learning for Long Sequence Generation

ServiceNow AI Research（ServiceNow人工智能研究）

本文提出 PipelineRL，通过异步生成与训练及在途权重更新，在长序列 LLM 强化学习中兼顾加速器利用率和数据同策略性，实现约 2 倍加速并开源。

2025-09-26cs.LG

ReversedQ: 在回合制在线强化学习中更快的Q学习机会

ReversedQ: Opportunities for Faster Q-Learning in Episodic Online Reinforcement Learning

University of Maryland（马里兰大学）

本文研究了在回合有限的马尔可夫决策过程（MDPs）中使用无模型Q学习的效率问题，提出了ReversedQ方法，通过改进价值函数更新顺序、更新频率和初始化来提升学习速度，实验表明其在多个任务中均优于现有方法。

2026-05-20cs.LG

无信号交叉口自动驾驶的州辍学课程强化学习

State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections

Carnegie Mellon University（卡内基梅隆大学）

穿越交叉路口是自动驾驶车辆面临的一个挑战性问题，特别是在交叉路口没有交通控制的情况下。最近，深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中，我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致：1）强化学习代理的更快的训练过程，以及2）与没有课程训练的代理相比，更好的性能。我们的主要贡献是两方面的：1）提出了一个独特的课程，用于训练深度强化学习代理，和2）显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。

2022-07-10cs.AIcs.LGcs.RO

基于增强SMILES的双循环强化学习实现更快且更多样的从头分子优化

Faster and more diverse de novo molecular optimization with double-loop reinforcement learning using augmented SMILES

Odyssey Therapeutics（奥德赛治疗公司）；King's College（国王学院）

提出双循环强化学习结合SMILES增强，通过内循环重用评分计算并防止模式崩溃，实现更快、更多样且可重复的从头分子优化。

2023-03-03cs.LGphysics.chem-ph

RL STaR平台：用于机器人仿真训练的强化学习

RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots

Tohoku University（东北大学）

强化学习（Reinforcement learning，RL）是空间机器人领域中一个很有前途的研究领域，它可以提高机器人的自主性和决策能力，但由于环境的随机性和不确定性，传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索，很少有人类反馈，更快，更安全的月球表面运动或多机器人系统的协调和协作。然而，使用RL和机器学习的空间机器人应用研究面临许多障碍，特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台，称为强化学习，用于基于仿真的机器人训练，或RL STaR，有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台，以及研究人员如何通过演示使用它。

2020-09-21cs.AIcs.LGcs.RO

SKooP：用于强化学习的更快、更通用的有腿机器人运动的对称库普曼预测

SKooP: Symmetric Koopman Predictions for Faster and More Generalizable Legged Robot Locomotion with Reinforcement Learning

Italian Institute of Technology (IIT)（意大利理工学院）；University of Manchester（曼彻斯特大学）；Dynamic Legged Systems Laboratory, IIT（意大利理工学院动态腿式系统实验室）；Generative Bionics S.R.L（生成仿生学有限公司）；DAUIN, Politecnico di Torino（都灵理工大学DAUIN）；Rehab Technologies Lab, IIT（意大利理工学院康复技术实验室）；Newcastle University（纽卡斯尔大学）

研究针对强化学习样本效率低问题展开，提出SKooP方法，结合形态对称与库普曼模型优势，在学习策略时学习系统动力学模型，将其预测用于评论家，还纳入群对称，验证了该方法能减少收敛时间并增加学习奖励，且策略可转移。

2026-07-17cs.LGcs.RO

基于Transformer强化学习的分子从头设计

Molecular De Novo Design through Transformer-based Reinforcement Learning

University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）

本研究提出基于Transformer的生成模型微调方法用于分子从头设计，利用其优于RNN的序列学习能力捕捉长程依赖，在多类分子生成任务中性能超过RNN基线方法，可应用于骨架跃迁等场景。

2024-03-08cs.AIcs.LG

优化深度强化学习用于自适应机械臂控制

Optimizing Deep Reinforcement Learning for Adaptive Robotic Arm Control

School of Computer Science, University of Galway（计算机科学学院，Galway大学）

本文通过TPE优化SAC和PPO算法的超参数，显著提升了七自由度机械臂控制任务的算法性能和训练效率。

2024-06-12cs.AIcs.RO

避免干扰：一种强化学习方法

Avoiding Jammers: A Reinforcement Learning Approach

研究了部分可观测马尔可夫决策过程（POMDP）模型下认知雷达的抗干扰性能。首先，我们得到了一个明确的表达的干扰动力学的不确定性，这铺平了道路，照亮的性能指标的概率被干扰的雷达超出了传统的信号噪声比（$\mathsf{SNR}$）为基础的分析。考虑到在强化学习（RL）框架中开发的两种跳频策略，在各种不确定性值下，使用深度Q网络（DQN）和长短期记忆（LSTM）网络来分析该性能度量。最后，用softmax算子代替RL算法中对两种网络架构的目标网络的要求。仿真结果表明，该算子较传统的目标网络性能有较大的提高。

2019-11-27cs.LGeess.SPstat.ML

LoopTune：利用强化学习优化张量计算

LoopTune: Optimizing Tensor Computations with Reinforcement Learning

Rice University（莱斯大学）；Meta AI；Dabun AI

针对传统编译器性能不足、自动调优耗时长等问题，提出深度强化学习编译器LoopTune，结合图表示与LoopNest代码生成器，可快速针对CPU优化张量计算，性能比肩手动调优库。

2023-11-08cs.LGcs.PL

愤怒的小鸟：贝叶斯强化学习

Angrier Birds: Bayesian reinforcement learning

Stanford University（斯坦福大学）

我们训练一个强化学习者来玩简化版的愤怒的小鸟游戏。以类似于可由计算机视觉算法产生的输出的方式向学习者提供游戏状态。我们通过在随机最小二乘值迭代（RLSVI）中进行更系统的探索，提高了具有线性函数近似的常规ε-贪婪Q学习的效率，RLSVI是一种从最优策略的后验分布中对其策略进行采样的算法。随着更大的状态-动作空间，有效的探索变得越来越重要，RLSVI的快速学习证明了这一点。

2016-01-07cs.AIcs.LG

基于逻辑神经网络的外部知识强化学习

Reinforcement Learning with External Knowledge by using Logical Neural Networks

IBM Research AI（IBM研究院人工智能部门）

传统的深度强化学习方法是样本效率低下的，并且通常需要在收敛之前进行大量的训练试验。由于这样的方法在不受约束的动作集上操作，它们可能导致无用的动作。最近的神经符号框架称为逻辑神经网络（LNNs）可以同时提供神经网络和符号逻辑的关键属性。LNN的功能是作为一个端到端的可微网络，最大限度地减少新的矛盾损失，学习可解释的规则。在本文中，我们利用LNN使用基本逻辑运算（如AND和NOT）定义推理图，以加快强化学习的收敛速度。具体来说，我们提出了一种集成的方法，使无模型强化学习从外部知识源在一个基于LNN的逻辑约束框架，如动作屏蔽和指南。我们的结果经验证明，我们的方法收敛速度比无模型强化学习方法，没有这样的逻辑约束。

2021-03-03cs.AI

基于深度强化学习的资源调度新方法

A New Approach for Resource Scheduling with Deep Reinforcement Learning

University of Electronic Science and Technology of China（电子科技大学）

随着深度学习的快速发展，近年来深度强化学习（Deep Reinforcement Learning，DRL）开始出现在资源调度领域。本文在前人研究的基础上，介绍了在线资源调度算法DeepRM 2和离线资源调度算法DeepRM_Off。与DRL算法DeepRM和启发式算法相比，该算法在平均减速时间、作业完成时间和奖励方面具有更快的收敛速度和更好的调度效率。

2018-06-21cs.AIcs.LG

PGN：一种针对深度强化学习的扰动生成网络

PGN: A perturbation generation network against deep reinforcement learning

Northwestern Polytechnical University（西北工业大学）

提出PGN生成模型，通过生成对抗样本攻击深度强化学习智能体，实现定向与非定向攻击，并引入动作一致性比率衡量隐蔽性，实验证明其攻击有效、隐蔽且速度快。

2023-12-20cs.AIcs.LG

简化时序一致性强化学习

Simplified Temporal Consistency Reinforcement Learning

Aalto University（阿尔托大学）

该研究提出一种仅靠潜时序一致性训练的潜动力学模型的简单表示学习方法，在基于模型和无模型强化学习场景下均实现高性能，训练速度显著快于现有方法且样本效率优异。

2023-06-15cs.LGcs.RO

多目标强化学习

Many-Goals Reinforcement Learning

University of Michigan（密歇根大学）

全目标更新利用Q学习的非策略性质来更新智能体在世界中的每个转变中可能具有的所有可能目标，并由Kaelbling（1993）引入到强化学习（RL）中。在以前的工作中，这主要是在小状态RL问题中进行的探索，这些问题允许表格表示，并且所有可能的目标都可以明确枚举并单独学习。在本文中，我们经验性地探索了在深度神经网络（简称DeepRL）的RL背景下更新许多（而不是所有）目标的想法的3种不同扩展。首先，在Kaelbling的方法的直接适应，我们探讨如果多目标更新可以用来实现掌握非表格视觉观察域。其次，我们探讨了多目标更新是否可以用于预训练网络，以便随后在感兴趣的单个主要任务上更快更好地学习。第三，我们探讨了多目标更新是否可以用来提供辅助任务更新，以训练网络更快，更好地学习一个感兴趣的主要任务。我们为3个扩展中的每一个提供了与基线的比较。

2018-06-22cs.AIcs.LGstat.ML

在线强化学习中规划的新视角

A New View on Planning in Online Reinforcement Learning

University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能教席）

本文提出目标空间规划（GSP）方法，通过将背景规划约束到抽象子目标并仅学习局部子目标条件模型，避免了学习全局转移动态，从而显著提升多种基础学习器在不同领域的速度。

2024-06-03cs.AIcs.LG

基于分解和强化学习的多域数据包分类

Many Field Packet Classification with Decomposition and Reinforcement Learning

University at Buffalo（布法罗大学）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）

可扩展的数据包分类是支持防火墙、入侵检测和差异化服务等可扩展网络应用的关键要求。随着核心网线路速率的不断提高，设计一个可扩展的分组分类解决方案成为一个巨大的挑战。在本文中，我们提出了一个可扩展的基于学习的数据包分类引擎，通过建立一个有效的数据结构，为不同的规则与多个字段。我们的方法包括将字段分解为子集，并使用深度强化学习程序在这些子集上构建单独的决策树。为了分解规则集的给定字段，我们考虑不同的分组度量，如单个字段的标准差，并引入一种新的度量称为多样性指数（DI）。我们检查不同的分解方案，并使用深度强化学习为每个方案构建决策树，并比较结果。结果表明，SD分解度量比DI度量快11.5%，比随机2快25%，比随机1快40%。此外，我们的基于学习的选择方法可以适用于不同的规则集，由于其规则的独立性。

2022-05-16cs.AIcs.NIcs.PF

基于信息论的Meta任务选择-强化学习

Information-theoretic Task Selection for Meta-Reinforcement Learning

School of Computing（计算学院）；University of Leeds（利兹大学）

在Meta-强化学习（meta-RL）中，智能体在一组任务上进行训练，以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的，以代表测试任务的预期分布，因此全部用于训练。我们表明，给定一组训练任务，如果训练任务选择得当，学习可以更快，更有效（导致测试任务中更好的性能）。我们提出了一个任务选择算法，信息理论任务选择（ITTS），基于信息论，优化用于元强化学习训练的任务集，而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关，又彼此足够不同。我们再现了文献中不同的元RL实验，并表明ITTS提高了所有实验的最终性能。

2021-07-01cs.LG

基于一阶逻辑的神经符号强化学习

Neuro-Symbolic Reinforcement Learning with First-Order Logic

IBM Research（IBM研究院）

深度强化学习（RL）方法在收敛之前通常需要多次试验，并且不提供训练策略的直接可解释性。为了实现快速收敛和可解释的策略在强化学习，我们提出了一种新的基于文本的游戏强化学习方法与最近的神经符号框架称为逻辑神经网络，它可以学习符号和可解释的规则在其可微网络。该方法首先从文本观察和外部词义网络（ConceptNet）中提取一阶逻辑事实，然后在网络中用可直接解释的逻辑算子训练策略。我们的实验结果表明，在TextWorld基准测试中，使用该方法进行RL训练的收敛速度明显快于其他最先进的神经符号方法。

2021-10-21cs.AIcs.CLcs.LG

混合深度强化学习和安全舒适自动驾驶规划

Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving

Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）

我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。

2022-12-30cs.AIcs.RO

强化学习的周期性内集群知识蒸馏

Periodic Intra-Ensemble Knowledge Distillation for Reinforcement Learning

National Tsing Hua University（国立清华大学）；Preferred Networks（优选网络）

非策略集成强化学习（RL）方法在一系列RL基准任务中表现出令人印象深刻的结果。最近的工作表明，直接模仿专家的政策，在监督的方式之前或期间的培训，使更快的政策改进的RL代理。受这些最新见解的启发，我们提出了周期性集群内知识蒸馏（PIEKD）。PIEKD是一个学习框架，它使用一组策略在环境中发挥作用，同时通过知识蒸馏在组中的策略之间定期共享知识。我们的实验表明，PIEKD提高了一个国家的最先进的RL方法在样本效率的几个具有挑战性的MuJoCo基准任务。此外，我们进行消融研究，以更好地了解PIEKD。

2020-02-01cs.AIcs.LG

语言就是力量：在强化学习中使用自然语言表示状态

Language is Power: Representing States Using Natural Language in Reinforcement Learning

强化学习的最新进展已经显示出其解决复杂现实任务的潜力。然而，随着任务维度的增加，强化学习方法往往会遇到困难。为了克服这一点，我们探索的方法来表示嵌入在状态的语义信息。虽然先前的方法集中于原始形式的信息（例如，原始视觉输入），我们建议使用自然语言来表示状态。语言可以表示复杂的场景和概念，使其成为表示的有利候选者。在ViZDoom领域内的经验证据表明，基于自然语言的代理比基于视觉的代理更强大，收敛速度更快，性能更好，显示了使用自然语言表示进行强化学习的好处。

2020-02-05cs.AIcs.CLcs.LG

具有可证明测试时安全性的约束元强化学习

Constrained Meta Reinforcement Learning with Provable Test-Time Safety

Sycamore Lab, EPFL, Lausanne, Switzerland（苏黎世联邦理工学院萨克森实验室，瑞士拉瓦尔）

提出一种约束元强化学习算法，在测试任务上以可证明的安全性和样本复杂度保证学习近似最优策略，并证明样本复杂度下界。

2026-05-26cs.LG

BubbleSpec: 将长尾气泡转化为投机性回滚草稿以同步强化学习

BubbleSpec: Turning Long-Tail Bubbles into Speculative Rollout Drafts for Synchronous Reinforcement Learning

Shanghai Jiao Tong University（上海交通大学）

本文提出BubbleSpec框架，通过利用更快rank的空闲时间预生成回滚结果，提升同步强化学习的效率，减少50%的解码步骤并提高1.8倍的回滚吞吐量。

2026-05-09cs.AIcs.LG

约束规划中搜索树规模最小化的强化学习：调度基准上的新结果

Reinforcement Learning for Search Tree Size Minimization in Constraint Programming: New Results on Scheduling Benchmarks

Faculty of Electrical Engineering, Czech Technical University in Prague（电气工程系，布拉格捷克技术大学）；Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（捷克信息学、机器人学与自动化研究所，布拉格捷克技术大学）

本文将多臂老虎机强化学习算法引入失败导向搜索以最小化搜索树规模，并在JSSP和RCPSP调度基准上取得显著加速和下界改进。

2025-08-27cs.LG

使用连续课程学习加速强化学习

Accelerating Reinforcement Learning for Reaching using Continuous Curriculum Learning

University of Groningen（格罗宁根大学）

强化学习由于具有顺序决策的特点，在机器人行为训练中显示出巨大的潜力。然而，所需的大量互动和信息丰富的训练数据是取得进展的主要障碍。在这项研究中，我们专注于加速强化学习（RL）训练和提高多目标达成任务的性能。具体来说，我们提出了一个精确的基于连续课程学习（PCCL）的方法，在训练过程中的要求是逐步调整，而不是固定的参数在一个静态的时间表。为此，我们探索各种持续的课程策略，控制培训过程。使用通用机器人5e在模拟和现实世界的多目标到达实验中测试这种方法。实验结果支持静态训练时间表是次优的假设，并且使用适当的衰减函数用于课程学习以更快的方式提供优异的结果。

2020-12-21cs.AIcs.RO

设计可解释的深度强化学习近似

Designing Interpretable Approximations to Deep Reinforcement Learning

University of Southern California（南加州大学）

在不断扩展的研究和应用领域中，深度神经网络（DNN）为算法性能设定了标准。然而，根据处理能力和执行时间限制等附加约束，或可验证的安全保证等要求，在实践中实际使用此类高性能DNN可能并不可行。近年来，人们开发了许多技术来将复杂的DNN压缩或提取为更小、更快或更容易理解的模型和控制器。这项工作旨在识别简化模型，不仅保持所需的性能水平，而且还可以简洁地解释DNN所代表的潜在知识。我们说明了所提出的方法在基准强化学习任务的背景下对决策树变体和内核机器进行评估的有效性。

2021-06-19cs.AIcs.LG

ROLL：具有对象推理的视觉自监督强化学习

ROLL: Visual Self-Supervised Reinforcement Learning with Object Reasoning

Carnegie Mellon University（卡内基梅隆大学）

当前基于图像的强化学习（RL）算法通常在不执行对象级推理的情况下对整个图像进行操作。这导致了低效的目标抽样和无效的奖励功能。在本文中，我们通过结合对象级推理和遮挡推理来改进以前的视觉自监督RL。具体来说，我们使用未知对象分割来忽略场景中的干扰项，以获得更好的奖励计算和目标生成;我们还通过采用新的辅助损失和训练方案来实现遮挡推理。我们证明，我们提出的算法，ROLL（强化学习与对象级学习），学习速度显着更快，并实现了更好的最终性能相比，以前的方法在几个模拟视觉控制任务。项目视频和代码可在https://sites.google.com/andrew.cmu.edu/roll上获得。

2020-11-13cs.LGcs.RO

整合显著性排序与强化学习以增强目标检测

Integrating Saliency Ranking and Reinforcement Learning for Enhanced Object Detection

University of Malta（马耳他大学）

本研究结合显著性排序与强化学习优化目标检测，通过初始框预测和DQN细化提升精度，在Pascal VOC 2007上达到51.4 mAP，超越现有RL单目标检测器。

2024-08-13cs.AIcs.CVcs.LG

上下文决策Transformer：通过层次化思维链进行强化学习

In-Context Decision Transformer: Reinforcement Learning via Hierarchical Chain-of-Thought

School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Jilin University（吉林大学）；Lehigh University（利哈伊大学）

针对上下文强化学习中序列过长导致计算成本高的问题，提出上下文决策Transformer（IDT），通过引入人类决策的层次结构重构序列，利用高层决策指导多步低层动作，在长步长任务中实现高效自我改进并大幅提升在线评估速度。

2024-05-31cs.AIcs.LG

用于部分可观测强化学习的深度Transformer Q网络

Deep Transformer Q-Networks for Partially Observable Reinforcement Learning

Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）

现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。

2022-11-10cs.AIcs.LG

基于端到端强化学习的移动机械手全身控制

Whole-Body Control of a Mobile Manipulator using End-to-End Reinforcement Learning

ETH Zürich（苏黎世联邦理工学院）

移动操作通常是通过顺序执行基地和机械手的运动。然而，这种简化导致效率的损失，并且在某些情况下导致工作空间大小的减小。尽管已经提出了不同的方法来解决全身控制（WBC）在线，他们要么是有限的运动学模型或不允许反应，在线避障。为了克服这些缺点，在这项工作中，我们提出了一个端到端的强化学习（RL）的WBC方法。我们在仿真中将我们学习的控制器与最先进的基于采样的方法进行了比较，并实现了更快的总体任务时间。此外，我们验证了我们的移动机械手RoyalPanda在具有挑战性的狭窄走廊环境中学习的政策。

2020-02-25cs.LGcs.RO

BBQ-Networks：面向任务的对话系统深度强化学习的有效探索

BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems

我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略（如ε-greedy，Boltzmann，bootstrapping和基于内在奖励的策略）学习得更快。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。

2017-11-20cs.AIcs.CLcs.LG

StepScorer: 通过分步评分与心理遗憾建模加速强化学习

StepScorer: Accelerating Reinforcement Learning with Step-wise Scoring and Psychological Regret Modeling

INDEPENDENT RESEARCHER（独立研究者）

StepScorer通过分步评分与心理遗憾建模，加速强化学习收敛，适用于连续控制任务和延迟反馈环境。

2026-02-03cs.LG

参数高效的基于人类反馈的强化学习

Parameter Efficient Reinforcement Learning from Human Feedback

Google DeepMind（谷歌DeepMind）；Google（谷歌）

本研究提出将LoRA微调应用于奖励建模与强化学习的PE-RLHF方案，经多数据集基准测试，其性能与传统RLHF相当，却能显著降低训练时间与内存占用，推动大模型对齐技术的普及。

2024-09-12cs.AIcs.CLcs.LG

基于深度强化学习的分子从头设计

Molecular De Novo Design through Deep Reinforcement Learning

AstraZeneca R&D Gothenburg（阿斯利康研发哥德堡）

这项工作介绍了一种方法来调整基于序列的生成模型的分子从头设计，通过增强情节的可能性，可以学习生成具有某些特定的理想特性的结构。我们演示了该模型如何执行一系列任务，例如生成查询结构的类似物，并生成预测对生物靶标具有活性的化合物。作为原理证明，该模型首先经过训练，生成不含硫的分子。作为第二个例子，该模型经过训练以生成药物塞来昔布的类似物，这是一种可用于从单个分子开始的支架跳跃或文库扩增的技术。最后，当调整模型以产生预测为对2型多巴胺受体有活性的化合物时，模型产生的结构中超过95%被预测为有活性的，包括实验证实的活性物质，这些活性物质既没有被包括在生成模型中，也没有被包括在活性预测模型中。

2017-08-29cs.AI

外部知识助推的深度强化学习

Deep Reinforcement Learning Boosted by External Knowledge

National Institute of Informatics（国立信息学研究所）

深度强化学习的最新改进已经允许解决许多2D领域的问题，例如Atari游戏。然而，在复杂的3D环境中，需要大量的学习片段，这可能太耗时甚至不可能，特别是在现实世界的场景中。我们提出了一个新的架构，结合外部知识和深度强化学习只使用视觉输入。我们的系统的一个关键概念是通过添加环境特征信息和结合两个决策源来增强图像输入。我们评估我们的方法在3D部分可观察的环境中从微软马尔默平台的性能。实验评估显示出更高的性能和更快的学习相比，一个单一的强化学习模型。

2017-12-12cs.LG