Unveiling the Significance of Toddler-Inspired Reward Transition in Goal-Oriented Reinforcement Learning
Seoul National University（首尔大学）；AI Institute of Seoul National University (AIIS)（首尔大学人工智能研究院）
本研究受幼儿学习启发，探讨强化学习中从稀疏到密集奖励的转换，发现S2D转换能提升样本效率、成功率，并平滑损失景观以增强泛化。
2024-03-18 cs.AI cs.LG
Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对露天矿卡车调度中强化学习依赖复杂奖励工程的问题，提出课程启发的自适应直接策略指导方法，通过时间增量调整PPO并采用最短处理时间教师策略引导探索，在OpenMines中实现10%性能提升和更快收敛，增强了对奖励设计的鲁棒性。
2025-02-28 cs.AI cs.LG
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统，结合高效逼真的驾驶模拟器，在自动驾驶领域进行大规模实验，证明策略性能随规模提升，最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
BIMRL: Brain Inspired Meta Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
样本效率是强化学习（RL）中的一个关键问题。一个高效的智能体必须能够利用其先前的经验来快速适应类似但新的任务和情况。Meta-RL是正式化和解决这个问题的一种尝试。受元RL最新进展的启发，我们引入了BIMRL，这是一种新型的多层架构，以及一种新型的大脑启发记忆模块，可以帮助智能体在几集内快速适应新任务。我们还利用这个记忆模块来设计一个新的内在奖励，将指导代理的探索。我们的架构受到认知神经科学发现的启发，并与大脑不同区域的连接和功能知识相兼容。我们经验验证我们提出的方法的有效性，通过竞争或超越性能的一些强大的基线在多个MiniGrid环境。
2022-10-29 cs.AI cs.LG cs.RO
Pgx: Hardware-Accelerated Parallel Game Simulators for Reinforcement Learning
Kyoto University（京都大学）；ATR（国际电气通信基础技术研究所）；The University of Tokyo（东京大学）
本文提出基于 JAX 并针对 GPU/TPU 优化的棋盘游戏强化学习环境套件 Pgx，通过自动向量化与并行化实现比 Python 现有实现快 10-100 倍的模拟速度，并提供基准环境、小型游戏集和基线模型以加速 RL 研究。
2024-01-15 cs.AI cs.LG
JaxWildfire: A GPU-Accelerated Wildfire Simulator for Reinforcement Learning
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
JaxWildfire是一种基于JAX的GPU加速野火模拟器，利用单元格自动机模型实现高效模拟，加速RL训练以优化野火扑灭策略。
2025-12-05 cs.AI cs.LG
Reinforcement Learning in a Physics-Inspired Semi-Markov Environment
National Research Council of Canada（加拿大国家研究委员会）；University of Victoria（维多利亚大学）；University of Waterloo（滑铁卢大学）；Vector Institute for Artificial Intelligence（Vector人工智能研究所）
强化学习（RL）在科学发现和设计中的许多应用中具有巨大的潜力。最近的工作包括，例如，治疗药物的分子的新结构和组合物的设计。然而，现有的许多与RL在科学领域的应用相关的工作都假设可用的状态表示服从马尔可夫性质。由于与时间、成本、传感器精度和科学知识差距相关的原因，许多科学设计和发现问题不满足马尔可夫性质。因此，应该使用马尔可夫决策过程（MDP）以外的方法来计划/找到最优策略。在本文中，我们提出了一个物理启发的半马尔可夫RL环境，即相变环境。此外，我们评估的性能基于值的RL算法的MDP和部分可观察的MDP（POMDP）的建议的环境。我们的研究结果表明，深度递归Q网络（DRQN）的性能显著优于深度Q网络（DQN），并且DRQN受益于事后经验重放的训练。使用半马尔可夫RL和POMDPs科学实验室的影响进行了讨论。
2020-04-15 cs.AI cs.LG
Deep Reinforcement Learning with Quantum-inspired Experience Replay
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
本文提出了一种受量子计算启发的新的训练范式，用于具有经验重放的深度强化学习（DRL）。与传统的DRL经验重放机制不同，本文提出的量子启发经验重放深度强化学习（DRL-QER）根据经验的复杂度和重放次数（也称为转换）自适应地从重放缓冲区中选择经验，以实现探索和利用之间的平衡。在DRL-QER中，转换首先以量子表示形式表示，然后对转换执行准备操作和折旧操作。在这个过程中，准备操作反映了时间差异误差（TD误差）和经验的重要性之间的关系，同时考虑到折旧操作，以确保过渡的多样性。在Atari 2600游戏上的实验结果表明，DRL-QER算法在大多数游戏上的训练效率优于DRL-PER和DCRL算法，并且适用于双网络和决斗网络等基于记忆的DRL方法。
2021-01-06 cs.AI cs.LG quant-ph
Quantum Decision Transformers (QDT): Synergistic Entanglement and Interference for Offline Reinforcement Learning
AI-WEINBERG, AI Experts（AI-WEINBERG人工智能专家）
量子决策变压器通过结合量子启发的注意力和前馈网络，显著提升了离线强化学习中长周期信用分配和复杂状态-动作依赖性的处理能力。
2025-12-09 cs.AI cs.LG
Mahjax: A GPU-Accelerated Mahjong Simulator for Reinforcement Learning in JAX
The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究院AIP）；Nara Institute of Science and Technology（奈良科学技術大學）；Kobe University（Kobe大学）；Kyoto University（京都大学）；ATR；The University of Sydney（悉尼大学）
本文提出Mahjax，一种基于JAX实现的麻将环境，利用GPU加速大规模并行化，以解决麻将游戏中的高维状态空间和随机性问题，为强化学习提供高效的训练平台。
2026-05-20 cs.AI cs.LG
Reinforcement Learning Enhanced Quantum-inspired Algorithm for Combinatorial Optimization
Russian Quantum Center（俄罗斯量子中心）；University of Oxford（牛津大学）
量子硬件和量子启发算法在组合优化中越来越受欢迎。然而，这些算法可能需要对每个问题实例进行仔细的超参数调整。我们使用一个强化学习代理结合量子启发算法来解决伊辛能量最小化问题，这相当于最大割问题。代理通过调整算法的一个参数来控制算法，目标是改进最近看到的解决方案。我们提出了一种新的重新缩放排名奖励（R3）方法，该方法可以实现稳定的单人版本的自我游戏训练，帮助智能体摆脱局部最优。任何问题实例的训练都可以通过应用来自在随机生成的问题上训练的代理的迁移学习来加速。我们的方法允许采样高质量的解决方案，伊辛问题的概率高，优于基线的几何学和黑盒超参数优化方法。
2020-02-14 cs.AI cs.LG stat.ML
Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions
针对在线强化学习样本效率低的问题，本文提出利用少量专家演示和可任意重置的模拟器，通过选择合适的辅助起始状态分布（以情节长度信息实现）加速学习，在稀疏奖励硬探索环境中实现了最先进的样本效率。
2025-07-07 cs.AI cs.LG cs.RO
Toward Safe and Accelerated Deep Reinforcement Learning for Next-Generation Wireless Networks
Queen’s University（女王大学）；Cairo University（开罗大学）；University of Calgary（卡尔加里大学）
深度强化学习（Deep Reinforcement Learning，DRL）算法近年来在无线网络领域得到了广泛的关注。它们被认为是解决下一代网络中动态无线资源管理（RRM）问题的有前途的方法。由于DRL算法能够构建无线网络环境的近似和不断更新的模型，因此可以处理此类环境的多方面复杂性。然而，一些挑战阻碍了商业网络中DRL的实际采用。在本文中，我们首先讨论了两个关键的实际挑战，面临的，但很少解决时，开发基于DRL的RRM解决方案。我们认为，这是不可避免的，以解决这些DRL相关的挑战，DRL找到自己的方式RRM商业解决方案。特别是，我们讨论了需要有安全和加速的DRL为基础的RRM解决方案，减轻DRL算法所表现出的收敛速度慢和性能不稳定。然后，我们审查和分类的主要方法中使用的RRM域开发安全和加速DRL为基础的解决方案。最后，进行了案例研究，以证明具有安全和加速的基于DRL的RRM解决方案的重要性。我们采用多种变体的迁移学习（TL）技术，以加速智能无线电接入网络（RAN）切片DRL为基础的控制器的收敛。我们还提出了一种基于TL的混合方法和基于S形函数的奖励，作为基于DRL的RAN切片中安全探索的示例。
2022-09-16 cs.AI cs.LG cs.NI
Accelerated Portfolio Optimization and Option Pricing with Reinforcement Learning
Magnative AI
本文提出用强化学习动态调整迭代求解器的块预条件子尺寸，以加速投资组合优化和期权定价中大型线性系统的收敛，并在真实矩阵上验证其可显著降低计算成本、支持实时决策。
2025-06-23 cs.AI cs.LG q-fin.CP
Accelerated Reinforcement Learning
策略梯度方法被广泛应用于强化学习算法中，以在参数化策略空间中搜索更好的策略。它们在策略空间中进行梯度搜索，并且已知收敛非常缓慢。Nesterov开发了一种用于凸优化问题的加速梯度搜索算法。这最近已扩展到非凸和随机优化。我们使用Nesterov的加速策略梯度搜索著名的演员-评论家算法，并使用ODE方法的收敛性。我们测试了这个算法的调度问题。这里，传入作业根据队列长度被调度到四个队列中的一个。实验结果表明，使用Nesterov加速的算法比不使用加速的算法具有更好的性能。据我们所知，这是Nesterov的加速第一次与演员批评家算法一起使用。
2018-04-24 cs.LG
CDRL: A Reinforcement Learning Framework Inspired by Cerebellar Circuits and Dendritic Computational Strategies
Academy of Medical Engineering and Translational Medicine（医学工程与转化医学学院）
CDRL通过借鉴小脑回路和树突计算策略，提出了一种提升强化学习样本效率、鲁棒性和泛化能力的生物启发架构。
2026-02-17 cs.AI cs.LG cs.NE
XQC: Well-conditioned Optimization Accelerates Deep Reinforcement Learning
本文提出XQC算法，通过优化批评网络的条件数提升样本效率，结合批量归一化、权重归一化和分布交叉熵损失，在多个连续控制任务中取得最佳性能。
2026-03-13 cs.AI cs.LG
Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Microsoft Research（微软研究院）；Vanderbilt University（范德比尔特大学）
本文提出一种任务驱动的深度Q学习算法，利用LTL自动机表示和部分环境模型指导探索，加速未知随机动力学下LTL任务策略学习，并在机器人导航实验中验证了效率提升。
2025-04-22 cs.AI cs.LG cs.RO
Efficient Off-Policy Reinforcement Learning via Brain-Inspired Computing
University of California, Irvine（加州大学欧文分校）；Intel Labs（英特尔实验室）
本文提出QHD，一种基于脑启发超维计算的离策略强化学习算法，在桌面和嵌入式平台上相比DQN实现12.3至34.6倍速度提升，同时保持更高或相当的奖励质量。
2023-06-21 cs.AI cs.LG cs.NE
Accelerated Methods for Deep Reinforcement Learning
University of Berkeley（伯克利大学）
深度强化学习（RL）近年来取得了许多成功，但实验周转时间仍然是研究和实践中的一个关键瓶颈。我们研究如何为现代计算机优化现有的深度RL算法，特别是CPU和GPU的组合。我们确认，策略梯度和Q值学习算法可以适应学习使用许多并行模拟器实例。我们进一步发现，可以使用比标准大得多的批量进行训练，而不会对样品复杂性或最终性能产生负面影响。我们利用这些事实来建立一个统一的框架，并行化，大大加快实验在这两类算法。所有的神经网络计算都使用GPU，加速了数据汇集和训练。我们的研究结果包括使用整个DGX-1学习成功的策略，在雅达利游戏在短短几分钟内，使用同步和异步算法。
2019-01-10 cs.AI cs.DC cs.LG
Brain-Inspired Planning for Better Generalization in Reinforcement Learning
McGill University（麦吉尔大学）
本论文受人类大脑规划机制启发，提出空间抽象注意力、Skipper任务分解框架和可行性评估器，以提升强化学习智能体的零样本系统化泛化能力并避免妄想性规划。
2025-11-09 cs.AI cs.LG
Gaussian RAM: Lightweight Image Classification via Stochastic Retina-Inspired Glimpse and Reinforcement Learning
Seoul National University（首尔大学）
以往对图像分类的研究主要集中在网络的性能上，而不是实时操作或模型压缩。我们提出了高斯深度循环视觉注意力模型（GDRAM）--一种基于强化学习的轻量级深度神经网络，用于大规模图像分类，其性能优于使用整个图像作为输入的传统CNN（卷积神经网络）。受生物视觉识别过程的启发，我们的模型模拟了具有高斯分布的视网膜的随机位置。我们评估了大型杂乱MNIST，大型CIFAR-10和大型CIFAR-100数据集的模型，这些数据集的宽度和高度都调整为128。
2020-11-12 cs.CV cs.LG
PEPS: Quantum-Inspired Reinforcement Learning for Coherent Reasoning Traces in LLMs
Department of Computing Sciences, Villanova University（计算机科学系，维拉诺瓦大学）
本研究提出一种基于PEPS保真度奖励的量子启发强化学习方法，通过结构一致性引导训练，显著提升大语言模型在多步推理任务中的连贯性。
2025-09-24 cs.AI
Reinforcement Learning to Accelerate Primal-Dual Hybrid Gradient for Linear Programming
Georgia Institute of Technology（佐治亚理工学院）
提出GALLOP，用强化学习联合学习PDHG算法的连续参数与离散重启决策，在六个LP族上减少1.9-5.6倍迭代次数，最高16倍加速，且策略可泛化至更大规模问题。
2026-10-02 cs.AI cs.LG math.OC
DIPPER: Direct Preference Optimization to Accelerate Primitive-Enabled Hierarchical Reinforcement Learning
DIPPER提出一种结合直接偏好优化与强化学习的层次化方法，通过原语信息正则化缓解非平稳性和不可行子目标生成问题，在复杂机器人任务上优于现有层次化和非层次化基线。
2024-12-31 cs.LG
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Adaptive Intelligent Secondary Control of Microgrids Using a Biologically-Inspired Reinforcement Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Nevada, Reno（内华达大学雷诺分校）
本文提出一种基于生物启发强化学习的微电网自适应智能二次控制器，利用情绪学习模型应对系统不确定性与故障，在仿真中有效维持电压和频率稳定，优于基准控制器。
2019-05-02 cs.AI cs.LG cs.SY
Accelerated Reinforcement Learning for Temporal Logic Control Objectives
Washington University in St. Louis（圣路易斯华盛顿大学）
本文讨论了移动机器人的学习控制策略的问题，建模为未知的马尔可夫决策过程（MDP），这是任务与时间逻辑任务，如排序，覆盖，或监视。MDP捕捉工作空间结构和控制决策结果的不确定性。控制目标是合成一个控制策略，最大限度地提高完成一个高层次的任务，指定为线性时序逻辑（LTL）公式的概率。为了解决这个问题，我们提出了一种新的加速基于模型的强化学习（RL）算法的LTL控制目标，能够学习控制策略显着快于相关方法。它的采样效率依赖于偏向探索方向，可能有助于任务满意度。这是通过利用LTL任务的自动机表示以及不断学习的MDP模型来实现的。最后，我们提供了比较实验，证明了样本效率的建议方法对最近RL方法的LTL目标。
2022-07-12 cs.LG cs.RO
A reinforcement learning strategy to automate and accelerate h/p-multigrid solvers
Universidad Politécnica de Madrid（马德里理工大学）；Center for Computational Simulation（计算模拟中心）；School of Aeronautics（航空学院）
本文提出利用近端策略优化算法自动调整 h/p-multigrid 方法的数值参数，从而提升高阶求解器的稳定性与效率，并在一维对流扩散和非线性 Burgers 方程的稳态模拟中验证了其加速效果和鲁棒性。
2024-07-18 cs.LG physics.comp-ph
From Sparse to Dense: Toddler-inspired Reward Transition in Goal-Oriented Reinforcement Learning
Seoul National University（首尔大学）；Sungshin Women’s University（诚信女子大学）
受幼儿自然学习过程启发，本文提出在目标导向强化学习中从稀疏奖励过渡到基于势函数的密集（S2D）奖励的方法，实验证明该方法显著提升了学习性能与泛化能力。
2025-01-29 cs.AI cs.LG cs.RO
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Towards Brain-inspired System: Deep Recurrent Reinforcement Learning for Simulated Self-driving Agent
Tongji University（同济大学）；Fudan University（复旦大学）；Technical University of Munich（慕尼黑工业大学）
实现智能化的一个有效途径是模拟人脑中的各种智能行为。近年来，生物启发式学习方法应运而生，它们不同于经典的数学规划原理。从大脑灵感的角度来看，随着越来越多的神经科学研究表明强化学习和特定的神经基质之间存在显着联系，强化学习在解决决策任务方面获得了额外的兴趣。由于大量的研究集中在人类大脑和强化学习上，科学家们已经研究了机器人如何以类似人类的方式，以自动驾驶代理控制的形式自主处理复杂的任务。在这项研究中，我们提出了一种端到端的架构，使用新的深度Q网络架构结合递归来解决模拟自动驾驶领域的问题。本研究的主要贡献是我们使用大脑启发的试错技术训练驱动代理，这符合现实世界的情况。此外，在所提出的学习网络中有三个创新：原始屏幕输出是驱动代理可以依赖的唯一信息，增强长情节差异的加权层，以及克服稀疏性问题并加速学习的改进重放机制。该网络在第三方OpenAI Gym环境下进行了训练和测试。经过几集的训练后，最终的驱动代理在给定的场景中执行高级行为。我们希望在未来，拟议的大脑启发学习系统将激发切实可行的自动驾驶控制解决方案。
2019-03-29 cs.AI
TauRieL: Targeting Traveling Salesman Problem with a deep reinforcement learning inspired architecture
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC））
在本文中，我们提出了TauRieL和目标旅行商问题（TSP），因为它在理论和应用科学中具有广泛的适用性。TauRieL利用一个演员-评论家启发的架构，采用普通的前馈网络，以获得一个策略更新向量$v$。然后，我们使用$v$来改进状态转移矩阵，我们从生成的政策。此外，状态转移矩阵允许求解器从预先计算的解（例如最近邻）进行初始化。在在线学习设置中，TauRieL将训练和搜索统一起来，可以在几秒钟内生成接近最佳的结果。Actor-Critic架构中神经网络的输入是原始的2-D输入，这一决定背后的设计思想是保持神经网络比具有宽嵌入的架构相对较小，同时省略嵌入的任何分布式表示。因此，与最先进的离线技术相比，TauRieL在每个TSP实例中生成TSP解决方案的速度快两个数量级，在最坏情况下性能影响为6.1%。
2019-05-14 cs.AI cs.LG cs.NE
PID-Inspired Inductive Biases for Deep Reinforcement Learning in Partially Observable Control Tasks
Carnegie Mellon University（卡内基梅隆大学）
本文受PID控制器启发，提出两种历史编码架构，通过求和与差分累积观测信息，在部分可观测控制任务中提升策略鲁棒性和性能，运动控制任务平均性能达先前最优方法的1.7倍。
2023-10-25 cs.AI cs.LG
Control of a Nature-inspired Scorpion using Reinforcement Learning
Indian Institute of Science（印度科学理工学院）
一个能够在崎岖地形上机动和侦察的陆地机器人在绘制未知区域的地图方面非常有用。它也可以用来代替人类探索危险区域。一个模仿蝎子的地面机器人将能够不被发现地穿越，并可用于监视目的。因此，本文提出了建模的蝎子启发机器人和强化学习（RL）为基础的控制器导航。机器蝎子采用串联四杆机构进行腿部运动。它也有一个活跃的尾巴和一个可移动的爪子。控制器被训练为将机器人蝎子导航到目标航路点。仿真结果表明，有效的机器人蝎子导航。
2020-08-31 cs.AI cs.RO cs.SY
Search Inspired Exploration in Reinforcement Learning
Faculty of Mechanical Engineering, Delft University of Technology, The Netherlands（达特穆斯大学机械工程学院）；Chair of Machine Learning and Reasoning, RWTH Aachen University, Germany（亚琛工业大学机器学习与推理研究所）
SIERL通过子目标选择机制在稀疏奖励环境中提升探索效率，有效引导智能体探索最有信息的区域。
2026-01-31 cs.LG
Utility-inspired Reward Transformations Improve Reinforcement Learning Training of Language Models
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；London School of Economics（伦敦政治经济学院）
针对LLM强化学习训练中线性奖励聚合的缺陷，提出基于Inada条件的效用启发奖励变换，增强低值敏感性、降低高值敏感性，使模型更 helpful 且更少 harmful。
2025-02-25 cs.AI cs.CL cs.LG
Model-based deep reinforcement learning for accelerated learning from flow simulations
TU Dresden（德累斯顿工业大学）
针对流动模拟计算成本高导致强化学习落地难的问题，提出交替使用模拟轨迹与环境模型集成采样轨迹的基于模型强化学习方法，在流体弹球测试中最高减少85%训练时间，更复杂场景节省更显著。
2024-04-10 cs.CE cs.LG physics.flu-dyn
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）
针对HER因违反同策略假设难用于同策略算法的问题，研究验证了后见经验回放（HER）可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化（PPO）。
2024-10-29 cs.LG
Reinforcement Learning with Brain-Inspired Modulation can Improve Adaptation to Environmental Changes
University of Lethbridge（莱斯布里奇大学）
强化学习（RL）的发展使算法在高度复杂但基本上是静态的问题中取得了令人印象深刻的性能。相比之下，生物学习似乎更重视对不断变化的世界的适应效率。在这里，我们建立在最近提出的神经元学习规则，假设每个神经元可以通过预测自己的未来活动来优化其能量平衡。这一假设导致了神经元的学习规则，它使用突触前输入来调节预测误差。我们认为，类似的RL规则将使用动作概率来调节奖励预测误差。这种调节使代理人对负面体验更加敏感，并且在形成偏好时更加谨慎。我们将所提出的规则嵌入到表格和深度Q网络RL算法中，并发现它在简单但高度动态的任务中优于传统算法。我们认为，新规则包含了生物智能的核心原则，这是允许算法以类似人类的方式适应变化的重要组成部分。
2022-05-19 cs.AI
MinAtar: An Atari-Inspired Testbed for Thorough and Reproducible Reinforcement Learning Experiments
University of Alberta（阿尔伯塔大学）
Arcade Learning Environment（ALE）是一个用于评估强化学习代理的流行平台。雅达利游戏的吸引力很大程度上来自于这样一个事实，即雅达利游戏展示了我们期望从智能代理中获得的能力，并且不偏向于任何特定的解决方案。ALE的挑战包括（1）从原始像素提取相关信息的表示学习问题，以及（2）利用动作和奖励之间复杂的延迟关联的行为学习问题。通常，我们感兴趣的研究问题更多地属于后者，但表示学习问题增加了显着的计算费用。我们介绍MinAtar，简称微型雅达利，一套新的环境，捕捉特定雅达利游戏的一般机制，同时简化了代表性的复杂性，更专注于行为的挑战。MinAtar由五款Atari游戏组成：Seaquest，Breakout，Asterix，Freeway和Space Invaders。每个MinAtar环境为代理提供10 x10 xn二进制状态表示。每个游戏都在10 x10的网格上进行，其中n个通道对应于游戏特定的对象，例如游戏Breakout中的球，球拍和砖块。为了调查MinAtar带来的行为挑战，我们评估了一个较小版本的DQN架构以及具有资格跟踪的在线演员-评论家。随着表示学习问题的简化，我们可以用显著更少的计算开销来执行实验。在我们的实验中，我们使用节省的计算时间来执行步长参数扫描和更多的运行比典型的ALE。像这样的实验提高了可重复性，并使我们能够得出更有信心的结论。我们希…
2019-06-07 cs.AI cs.LG
MIRACLE: Inverse Reinforcement and Curriculum Learning Model for Human-inspired Mobile Robot Navigation
Purdue University（普渡大学）
针对紧急场景下社会感知导航的计算与适应难题，提出MIRACLE模型，利用游戏化数据和深度逆最大熵强化学习实现类人机器人导航。
2023-12-07 cs.LG cs.RO
Financial Decision Making using Reinforcement Learning with Dirichlet Priors and Quantum-Inspired Genetic Optimization
本文提出结合Dirichlet分布和量子启发式遗传优化的强化学习框架，用于动态预算分配，以提高企业财务决策的适应性与准确性。
2025-08-27 cs.LG cs.NE
A Graph Neural Network-Based QUBO-Formulated Hamiltonian-Inspired Loss Function for Combinatorial Optimization using Reinforcement Learning
University of Dhaka（达卡大学）
本研究针对PI-GNN框架求解图组合优化时约束满足率低的问题，搭建RL与QUBO哈密顿量的桥梁，提出结合GNN的蒙特卡洛树搜索策略，相较PI-GNN最多降低44%的约束违反数。
2023-11-27 cs.AI cs.LG
BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
该研究提出BCPPO算法，通过带随机样本掩码的成本预测网络分歧结合巴舍利耶公式生成平滑惩罚，在175次运行的多任务测试中，其平均回报更高、平均CVaR更低，实现了奖励与安全的实用平衡。
2026-09-01 cs.AI cs.LG
Human-Inspired Multi-Level Reinforcement Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Army Educational Outreach Program（陆军教育推广计划）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）
本文提出了一种受人类启发的多级强化学习方法，通过提取多级信息实现有效学习，结合低级奖励信号和高级方向信息，提升策略优化效果。
2025-11-22 cs.AI cs.LG
Accelerated Intravascular Ultrasound Imaging using Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research（飞利浦研究院）
针对血管内超声导管物理通道有限的信息瓶颈问题，提出基于深度强化学习、结合actor-critic方法与Gumbel top-$K$采样的逐帧自适应采集框架，在保证图像质量的同时提升成像帧率。
2022-01-24 cs.CV cs.LG eess.SP
Biologically inspired architectures for sample-efficient deep reinforcement learning
Imperial College London（帝国理工学院）
深度强化学习在用于函数逼近的神经网络中的样本效率和过度参数化方面需要付出沉重的代价。在这项工作中，我们使用张量因式分解，以学习更紧凑的表示强化学习政策。我们的经验表明，在低数据的制度，它是可能的学习在线政策与2至10倍的总系数，几乎没有性能损失。我们还利用了二阶优化的进展，并使用小波散射理论来进一步减少学习系数的数量，方法是完全放弃学习最顶层的卷积层滤波器。我们评估我们的结果对Atari套件对最近的基线算法，代表了国家的最先进的数据效率，并得到可比的结果与数量级增益的重量简约。
2019-11-25 cs.LG cs.NE stat.ML
Quantum-Inspired Episode Selection for Monte Carlo Reinforcement Learning via QUBO Optimization
Phystech School of Applied Mathematics and Computer Science（菲斯特科技应用数学与计算机科学学院）；MIPT Russia（莫斯科国立信息安全大学俄罗斯分校）；Research Center for Artificial Intelligence Innopolis University Russia（人工智能研究中心因诺普利斯大学俄罗斯分校）；Q Deep Innopolis Russia（Q深度因诺普利斯俄罗斯）；Innopolis University Russia（因诺普利斯大学俄罗斯分校）；Laboratory of Quantum Computing Innopolis University Russia（量子计算实验室因诺普利斯大学俄罗斯分校）
通过QUBO优化的量子启发式方法提升蒙特卡洛强化学习的收敛速度和策略质量
2026-01-24 cs.LG cs.RO
Statistical Convergence of Transformer Encoder-Accelerated Robust Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出一种Transformer热启动的鲁棒强化学习算法，采用R-污染模型和保形预测，通过预认证停止规则在扰动迷宫环境中显著减少初始误差并加速收敛，同时提供更紧密的误差界限。
2026-09-22 cs.LG cs.SY eess.SY
JAX-LOB: A GPU-Accelerated limit order book simulator to unlock large scale reinforcement learning for trading
University of Oxford（牛津大学）
本研究推出首款支持GPU的限价订单簿模拟器JAX-LOB，可并行处理数千个订单簿并降低单消息处理耗时，集成JAX生态后可用于交易领域的大规模强化学习训练及最优执行问题研究。
2023-08-25 cs.AI cs.CE cs.LG
Actor-Accelerated Policy Dual Averaging for Reinforcement Learning in Continuous Action Spaces
School of Chemical and Biomolecular Engineering, Georgia Institute of Technology, GA, USA（化学与生物分子工程学院，佐治亚理工学院，美国加利福尼亚州）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, GA, USA（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院，美国加利福尼亚州）
本文提出加速器PDA，通过学习策略网络加速连续动作空间中的强化学习，提升性能并保持收敛保证。
2026-03-10 cs.LG
Brain-Inspired Hardware for Artificial Intelligence: Accelerated Learning in a Physical-Model Spiking Neural Network
Kirchhoff Institute for Physics, Heidelberg University（海德堡大学基尔霍夫物理研究所）；Department of Physiology, University of Bern（伯尔尼大学生理学系）；University of Bern（伯尔尼大学）；Heidelberg University（海德堡大学）；Kirchhoff Institute for Physics（基尔霍夫物理研究所）
人工智能的未来发展将受益于新的、非传统的大脑启发计算基底的存在。神经形态计算机的目标是提供这样一种基底，以再现大脑在自适应、低功耗信息处理方面的能力。我们提出了BrainScaleS-2混合信号神经形态系统的原型芯片的结果，该系统采用物理模型方法，相对于生物实时的，脉冲神经网络动力学加速1000倍。使用嵌入式可塑性处理器，我们都模拟乒乓街机视频游戏，并实现了本地可塑性规则，使强化学习，允许片上神经网络学习玩游戏。实验证明了所采用的方法的关键方面，如加速和灵活的学习，高能效和抗噪声能力。
2019-10-01 cs.AI cs.ET cs.NE
