Model-free Reinforcement Learning with Stochastic Reward Stabilization for Recommender Systems
Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
针对推荐系统中用户反馈随机导致无模型强化学习性能下降的问题，提出两种模型无关的随机奖励稳定化框架，用监督模型学习的反馈替代直接随机反馈，实验验证其优于多种RL推荐基线。
2023-08-25 cs.IR cs.LG
Lyapunov Exponent as Physics-Informed Dense Reward: RL Discovery of Stabilization Beyond the Kapitza Pendulum
该研究针对强化学习中稳定垂直运动倒立摆的问题，提出将李雅普诺夫特征指数作为密集奖励信号，智能体借此成功找到卡皮察摆振荡运动并抑制摆动，让摆处于直立位置。
2026-07-16 cs.LG
KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems
California Institute of Technology（加州理工学院）；University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
学习一个动态系统需要稳定未知的动态，以避免状态爆破。然而，目前的强化学习（RL）方法缺乏稳定性保证，这限制了它们对安全关键系统控制的适用性。我们提出了一个基于模型的RL框架，正式的稳定性保证，Krasovskii约束RL（KCRL），采用Krasovskii的家庭的李雅普诺夫函数作为稳定性约束。所提出的方法使用特征表示（例如，随机傅立叶特征）来学习系统动态直到置信区间。然后，它解决了一个受约束的政策优化问题的稳定性约束的基础上Krasovskii的方法使用原始对偶方法恢复稳定的政策。我们表明，KCRL是保证学习稳定的政策，在有限数量的相互作用与潜在的未知系统。我们还通过KCRL框架导出了未知非线性动力系统镇定的样本复杂性上界。
2022-06-03 cs.LG cs.SY eess.SY
System stabilization with policy optimization on unstable latent manifolds
Virginia Tech（弗吉尼亚理工大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
针对强化学习镇定动力系统时数据收集受限的难题，提出在不稳定极小潜流形上构建的强化学习方法，仅需少量样本即可实现复杂物理系统的镇定，效果优于状态空间法和通用潜流形方法。
2024-07-08 cs.LG cs.NA math.DS
Meta-reinforcement learning with minimum attention
Department of EECS（电气与计算机工程系）；Department of Mathematics（数学系）；University of Michigan（密歇根大学）；Morgan State University（摩根州立大学）
本文研究了将最小注意力应用于强化学习作为奖励的一部分，探索其与元学习和稳定性的联系，通过模型基于元学习和梯度基元策略学习，在高维非线性动态中实现高效适应与能量效率提升。
2026-10-02 cs.LG math.OC stat.ML
Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）
我们提出了一种新的强化学习训练算法，它将深度Q学习的强度与约束优化方法相结合，以收紧最优性并鼓励更快的奖励传播。我们的新技术通过大幅减少训练时间，使深度强化学习更加实用。我们评估了我们的方法在具有挑战性的街机学习环境的49场比赛中的表现，并报告了训练时间和准确性的显着改善。
2016-11-05 cs.LG stat.ML
Joint Learning-Based Stabilization of Multiple Unknown Linear Systems
基于学习的线性系统控制近年来受到了广泛的关注。在流行的设置中，真正的动态模型是未知的决策者，需要通过应用控制输入的系统交互式学习。与单系统自适应控制的有效强化学习策略的成熟文献不同，多系统联合学习的结果目前还没有。特别是，快速和可靠的关节稳定的重要问题仍然没有得到解决，所以是这项工作的重点。我们提出了一种新的联合学习为基础的稳定算法快速学习稳定政策的所有系统下研究，从数据的不稳定状态轨迹。所提出的方法是非常有效的，它稳定的家庭动力系统在极短的时间内。
2022-01-01 cs.AI cs.LG cs.SY
Stochastic Reinforcement Learning with Stability Guarantees for Control of Unknown Nonlinear Systems
University of Waterloo（滑铁卢大学）
针对未知非线性高维系统的传统强化学习镇定方法易出现平衡点振荡的问题，本文提出一种将学习到的增益矩阵整合进神经策略的强化学习算法，在仿真中优于SAC、PPO等算法，还提供了可行性与收敛性理论分析并验证了渐近稳定性。
2024-09-12 cs.LG cs.SY eess.SY
Enabling Off-Policy Imitation Learning with Deep Actor Critic Stabilization
Amazon Alexa（亚马逊Alexa）；Indian Institute of Science（印度科学研究院）
本文提出一种结合非策略学习的对抗模仿学习算法，通过双Q网络稳定化和价值学习（无需奖励函数推断）来提高样本效率，从而更高效地匹配专家行为。
2026-05-18 cs.AI cs.LG
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech（佐治亚理工学院）
模仿学习（IL）由一组工具组成，这些工具利用专家演示来快速学习策略。然而，如果专家是次优的，IL可以产生性能较差的政策相比，强化学习（RL）。在本文中，我们的目标是提供一个算法，结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点，表明这些算法可以被视为单一方法的变体。然后，我们提出了LOKI，策略学习的策略，首先执行一个小的，但随机数的IL迭代之前切换到策略梯度RL方法。我们表明，如果切换时间是适当的随机化，LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后，我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
Time Hopping technique for faster reinforcement learning in simulations
本预印本已被作者撤回修改
2011-09-06 cs.AI cs.LG cs.RO
Never Worse, Mostly Better: Stable Policy Improvement in Deep Reinforcement Learning
NVIDIA Research（英伟达研究院）；Technion - Israel Institute of Technology（以色列理工学院）；Indian Institute of Technology, Indore（印度理工学院印多尔分校）
近年来，在应用深度强化学习（RL）解决各种领域的挑战性问题方面取得了重大进展。然而，收敛的各种方法已被证明遭受不一致，由于算法的不稳定性和方差，以及随机性在基准环境。特别是，尽管代理的表现平均而言可能会有所改善，但在训练的后期阶段可能会突然恶化。在这项工作中，我们研究的方法，以提高代理的学习过程中，通过提供保守的更新，无论是获得的历史或参考基准政策。我们的方法，称为EVEREST，通过参考政策的置信区间获得高置信度的改善。通过大量的实证分析，我们证明了我们的方法在性能和稳定性方面的好处，在连续控制和Atari基准测试中有显着的改进。
2022-08-18 cs.AI cs.LG stat.ML
Continuous Deep Q-Learning with Simulator for Stabilization of Uncertain Discrete-Time Systems
Osaka University（大阪大学）
强化学习（RL）在实际系统的镇定问题中的应用受到限制，因为智能体需要许多经验来学习最优策略，并且可能在其探索过程中确定危险行为。如果我们知道真实系统的数学模型，则仿真器是有用的，因为它使用具有给定系统参数向量的数学模型来预测真实系统的行为。我们可以比与真实系统交互更有效地收集许多经验。然而，很难准确地识别系统参数向量。如果我们有一个识别错误，由模拟器获得的经验可能会降低学习策略的性能。因此，我们提出了一个实用的RL算法，包括两个阶段。在第一阶段，我们选择多个系统参数向量。然后，我们为每个系统参数向量建立了一个数学模型，称为虚拟系统。我们使用连续深度Q-学习算法获得多个虚拟系统的最优Q函数。在第二阶段，我们用一个线性近似函数来表示真实系统的Q函数，该线性近似函数的基函数是在第一阶段学习的最优Q函数。智能体通过与真实系统的在线交互来学习Q函数。通过数值模拟，我们证明了我们所提出的方法的实用性。
2021-04-19 cs.LG cs.SY eess.SY
RL$^2$: Fast Reinforcement Learning via Slow Reinforcement Learning
UC Berkeley, Department of Electrical Engineering and Computer Science（加州大学伯克利分校电气工程与计算机科学系）；OpenAI
深度强化学习（deep RL）在自动学习复杂行为方面取得了成功;然而，学习过程需要大量的试验。相比之下，动物可以在几次试验中学习新的任务，受益于它们对世界的先前知识。本文试图弥合这一差距。与其设计一个"快速"的强化学习算法，我们建议将其表示为一个递归神经网络（RNN），并从数据中学习。在我们提出的方法RL $^2$中，算法被编码在RNN的权重中，这些权重通过通用（"慢"）RL算法缓慢学习。RNN接收典型RL算法将接收的所有信息，包括观察、动作、奖励和终止标志;并且它在给定的马尔可夫决策过程（MDP）中保持其状态。RNN的激活将“快速”RL算法的状态存储在当前（以前未见过的）MDP上。我们评估RL $^2$实验上的小规模和大规模的问题。在小规模方面，我们训练它来解决随机生成的多臂强盗问题和有限的MDP。在RL $^2$被训练之后，它在新的MDP上的性能接近于具有最优性保证的人类设计的算法。在大规模方面，我们测试RL $^2$基于视觉的导航任务，并表明它的规模高达高维问题。
2016-11-10 cs.AI cs.LG cs.NE
Combating Spatial Disorientation in a Dynamic Self-Stabilization Task Using AI Assistants
Colorado State University（科罗拉多州立大学）；Brandeis University（布兰迪斯大学）；Emory University School of Medicine（埃默里大学医学院）
本研究探讨AI助手在动态自稳定任务中对抗空间定向障碍的潜力，通过训练数字孪生和强化学习等模型提供纠正提示，发现基于强化学习的助手虽客观更有效但人类信任度和偏好度较低。
2024-09-09 cs.AI cs.HC cs.LG
Fast deep reinforcement learning using online adjustments from the past
DeepMind（深度思维）
我们提出了短暂值调整（EVA）：一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值，其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法，将情景记忆结构结合到强化学习代理中：基于槽的存储，基于内容的检索和基于记忆的规划。我们表明，EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Control-Tutored Reinforcement Learning: Towards the Integration of Data-Driven and Model-Based Control
University of Naples Federico II（那不勒斯费德里科二世大学）；Scuola Superiore Meridionale（南方高等研究院）；University of Salerno（萨莱诺大学）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
我们提出了一个架构，其中的反馈控制器上的近似模型的环境协助学习过程，以提高其数据效率。这种架构，我们称之为控制辅导Q学习（CTQL），有两种可选的风格。前者基于定义奖励函数，以便可以使用布尔条件来确定何时采用控制导师策略，而后者称为概率CTQL（pCTQL），而是基于在学习期间以一定概率执行对导师的调用。通过将OpenAI Gym中定义的倒立摆的稳定性视为代表性问题，这两种方法都得到了验证，并完全针对Q-Learning进行了基准测试。
2021-12-11 cs.LG cs.SY eess.SY
Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency
Cornell University（康奈尔大学）；The University of Tokyo（东京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提供了一个理论表征的政策外评估（OPE）在强化学习中使用函数近似的边际重要性权重和$q$ -功能时，这些估计使用最近的极大极小方法。根据各种组合的可实现性和完整性的假设，我们表明，极大极小的方法使我们能够实现快速的收敛速度的权重和质量函数，其特征在于由临界不等式\citep{bartlett2005}。基于这个结果，我们分析了OPE的收敛速度。特别是，我们引入了新的替代完整性条件，在此条件下OPE是可行的，我们提出了第一个有限样本结果，在非表格环境中具有一阶效率，即，在首项中具有最小系数。
2022-07-24 cs.LG math.ST stat.ML
Soft-SVeRL: Self-Verified Reinforcement Learning with Soft Rewards
Cohere Labs（Cohere实验室）
针对部分可验证任务，提出基于检查表分解的软奖励框架Soft-RLVR及其自验证变体Soft-SVeRL，通过密集部分信用信号提升强化学习训练效果，并解决自验证中的奖励膨胀问题。
2026-05-27 cs.CL cs.LG
Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning
South China University of Technology（华南理工大学）
分层强化学习（HRL）利用时间上扩展的动作或选项从更高维的角度做出决策，以减轻稀疏奖励问题，这是强化学习中最具挑战性的问题之一。大多数现有的HRL算法要么需要针对特定环境进行大量的手动设计，要么需要大量的探索来自动从数据中学习选项。为了实现快速探索，而不使用手动设计，我们设计了一个多目标的HRL算法，由一个高层次的政策管理器和一个低层次的政策工人。Manager在每个时间步为Worker提供多个子目标。每个子目标对应一个控制环境的选项。虽然智能体在训练开始时可能会表现出一些混乱，因为它是由三个不同的子目标指导的，但智能体的行为策略将快速学习如何在不同场合对来自高级控制器的多个子目标做出响应。通过利用多个子目标，探索效率显着提高。我们在Atari的Montezuma的复仇环境中进行实验，这是一个著名的稀疏奖励环境，在这样做的过程中，我们实现了与最先进的HRL方法相同的性能，同时大大降低了训练时间成本。
2019-05-13 cs.AI cs.LG stat.ML
Fast Value Tracking for Deep Reinforcement Learning
Purdue University（普渡大学）
针对深度强化学习忽略随机动态与不确定性量化的问题，提出基于Kalman filtering和SGMCMC的LKTD采样算法，通过收敛至平稳分布实现价值函数与模型参数的不确定性量化与监控，提升RL鲁棒性。
2024-03-19 cs.AI cs.LG stat.ML
EntroPIC: Towards Stable Long-Term Training of LLMs via Entropy Stabilization with Proportional-Integral Control
Tencent Hunyuan（腾讯文言）；The Hong Kong University of Science and Technology（香港科学与技术大学）
EntroPIC通过比例-积分控制实现LLM长期训练的熵稳定，提升探索效率和训练稳定性。
2026-01-31 cs.AI cs.LG
Fast Reinforcement Learning for Anti-jamming Communications
Guangzhou University（广州大学）；Xiamen University（厦门大学）
本文提出了一种用于抗干扰通信的快速强化学习算法，该算法以概率$τ$选择先前动作，并以概率$(1-τ)$应用$ε$ -贪婪。设计了一个基于前几个动作的平均值的动态阈值，并将概率$τ$公式化为类高斯函数来指导无线设备。作为一个具体的例子，所提出的算法在一个无线通信系统中实现对多个干扰。实验结果表明，该算法在信噪比和收敛速度方面优于Q学习、深度Q网络（DQN）、双DQN（DDQN）和基于优先经验应答的DDQN（PDDQN）。
2020-02-13 cs.LG eess.SP
FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control
University of California, Berkeley（加州大学伯克利分校）；University of Warsaw（华沙大学）
FastTD3是一种简单、快速且强大的RL算法，通过并行模拟、大批量更新、分布式评论家和精心调整的超参数，显著加快人形机器人在流行套件中的训练速度，并在单张A100 GPU上3小时内稳定解决多项HumanoidBench任务。
2025-06-01 cs.AI cs.LG cs.RO
Fast Rates for Inverse Reinforcement Learning
EPFL（瑞士联邦理工学院）
本文研究了熵正则化min-max逆强化学习在有限时间 horizon MDPs中的结构和统计特性，证明了在有限样本下，轨迹级KL散度和参数误差以O(n^{-1})速度收敛。
2026-08-07 cs.AI cs.LG stat.ML
Fast Reinforcement Learning with Incremental Gaussian Mixture Models
这项工作提出了一种新的算法，集成了数据有效的函数逼近与连续状态空间中的强化学习。一种能够从单次通过的数据中学习的在线和增量算法，称为增量高斯混合网络（IGMN），被用作联合状态和Q值空间的样本有效函数逼近器，所有这些都在单个模型中，从而产生简洁和数据有效的算法，即，一种强化学习算法，它从与环境的很少交互中学习。结果进行了分析，以解释所获得的算法的属性，它是观察到的IGMN函数逼近器的使用带来了一些重要的优势，强化学习与传统的神经网络训练的梯度下降方法。
2020-11-02 cs.AI cs.LG cs.NE
Model-Free Output Feedback Stabilization via Policy Gradient Methods
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（人工智能与自动化学院，华中科技大学）；College of Automation, Nanjing University of Posts and Telecommunications（自动化学院，南京邮电大学）
本文提出了一种无模型学习方法，用于部分可观测线性动态系统的输出反馈稳定化，通过策略梯度方法解决稳定问题并验证了算法的有效性。
2026-09-29 cs.LG cs.SY eess.SY
Approximating Shapley Explanations in Reinforcement Learning
University of Bath（巴斯大学）
本文提出FastSVERL方法，通过近似Shapley值实现强化学习解释的可扩展计算，以应对时间依赖、离线数据和智能体行为演化等挑战。
2025-11-08 cs.LG
Fast and Data Efficient Reinforcement Learning from Pixels via Non-Parametric Value Approximation
University of New South Wales（新南威尔士大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了非参数近似的轨迹间返回（NAIT），一个强化学习算法的离散动作，基于像素的环境，是高度的样本和计算效率。NAIT是一种惰性学习方法，其更新相当于情节完成时的情节蒙特卡洛，但它允许在情节正在进行时稳定地纳入奖励。我们使用一个固定的域不可知表示，简单的基于距离的探索和基于邻近图的查找，以促进非常快的执行。我们在ATARI 100k的26和57游戏变体上对NAIT进行了经验评估，尽管它很简单，但它在在线设置中实现了具有竞争力的性能，在墙时间内加速超过100倍。
2022-03-07 cs.AI cs.LG
Multi-Task Reinforcement Learning for Quadrotors
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Robotics and Perception Group（机器人与感知组）
本文提出一种基于多评论家架构和共享任务编码器的多任务强化学习框架，利用四旋翼共享物理动力学提升样本效率，实现高速稳定、速度跟踪和自主竞速等多样化机动，并在仿真和真实环境中验证其优于基线方法。
2024-12-17 cs.LG cs.RO
Learning and Querying Fast Generative Models for Reinforcement Learning
DeepMind
基于基于模型的强化学习（RL）的一个关键挑战是综合计算效率高且准确的环境模型。我们表明，精心设计的生成模型，学习和操作紧凑的状态表示，所谓的状态空间模型，大大降低了预测结果的行动序列的计算成本。大量的实验表明，状态空间模型准确地捕捉动态的雅达利游戏从街机学习环境从原始像素。状态空间模型的计算速度提高，同时保持高精度，使其在强化学习中的应用是可行的：我们证明，代理查询这些模型的决策优于强大的无模型基线的游戏MSPACMAN，展示了使用学习环境模型进行规划的潜力。
2018-02-08 cs.LG
Faster Deep Reinforcement Learning with Slower Online Network
Amazon Web Services（亚马逊云科技）；Brown University（布朗大学）；Seoul National University（首尔国立大学）
本文提出通过让在线网络靠近目标网络的更新机制，增强 DQN 和 Rainbow 对噪声更新的鲁棒性，并在 Atari 基准上取得显著性能提升。
2023-04-17 cs.AI cs.LG
Distilling Neuron Spike with High Temperature in Reinforcement Learning Agents
Peking University（北京大学）
脉冲神经网络（SNN）与深度神经网络（DNN）相比，具有更快的处理速度、更低的能耗和更强的生物可解释性，有望接近强AI。强化学习类似于生物学中的学习。研究SNN与RL的结合具有重要意义。提出了基于STBP的尖峰蒸馏网络的强化学习方法。该方法利用蒸馏有效避免了STBP的弱点，在分类上可以达到SOTA性能，并且可以得到体积更小、收敛速度更快、功耗更低的SNN强化学习模型。实验表明，该方法比传统的SNN强化学习和DNN强化学习方法收敛更快，约快1000 epoch，得到的SNN比DNN小200倍。我们还将SDN部署到北大nc64c芯片上，证明SDN的功耗比DNN更低，在大规模设备上SDN的功耗比DNN低600倍以上。SDN为SNN强化学习提供了一种新的途径，并能达到SOTA性能，证明了SNN强化学习进一步发展的可能性。
2021-08-05 cs.AI cs.LG cs.NE
HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）
提出HyperController算法，将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数，实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking
Imperial College London（伦敦帝国理工学院）
深度强化学习在过去几年中一直是机器学习发展最快的领域之一，许多库已经开源以支持研究。然而，大多数代码库具有陡峭的学习曲线或有限的灵活性，无法满足基础研究中快速原型的需求。本文介绍了Tonic，这是一个Python库，允许研究人员快速实现新想法并通过提供以下功能来衡量其重要性：1）通用可配置模块2）几个基线代理：使用这些模块构建的A2C、TRPO、PPO、MPO、DDPG、D4PG、TD3和SAC 3）支持TensorFlow 2和PyTorch 4）支持OpenAI Gym的连续控制环境，DeepMind Control Suite和PyBullet 5）脚本以可重复的方式进行实验，绘制结果，并与经过训练的代理一起玩6）提供的代理在70个连续控制任务上的基准。评估是在公平的条件下进行的，具有相同的种子，训练和测试循环，同时共享一般的改进，如非终端超时和观察归一化。最后，为了演示Tonic如何简化实验，实现并评估了一种名为TD4的新型代理。
2021-05-19 cs.LG
A Fast Anti-Jamming Cognitive Radar Deployment Algorithm Based on Reinforcement Learning
School of Mathematical Sciences University of Chinese Academy of Sciences（数学科学学院 中国科学院大学）；Information Science Academy China Electronics Technology Group Corporation（信息科学院 中国电子科技集团）
本文提出基于强化学习的快速抗干扰认知雷达部署算法FARDA，通过高效神经网络推理实现雷达部署速度提升7000倍，覆盖能力与进化算法相当。
2026-01-05 cs.AI cs.LG
Policy Augmentation: An Exploration Strategy for Faster Convergence of Deep Reinforcement Learning Algorithms
Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人机认知研究所（IHMC））
尽管深度强化学习算法取得了进步，但开发有效的探索策略仍然是一个悬而未决的问题。大多数现有的探索策略或者基于简单的算法，或者需要环境的模型，或者训练额外的深度神经网络来生成增强路径。在本文中，一个革命性的算法，称为策略增强，介绍。策略增强是基于一个新开发的归纳矩阵完成方法。该算法增加了未探索的状态动作对的值，帮助代理采取行动，这将导致高价值的回报，而代理是在早期的情节。使用高价值的推出来训练深度强化学习算法可以加快深度强化学习算法的收敛速度。我们的实验表明，优越的性能的政策增强。代码可以在https://github.com/arashmahyari/PolicyAugmentation上找到。
2021-02-10 cs.AI cs.CV cs.LG
Reinforcement Learning with Fast and Forgetful Memory
University of Cambridge（剑桥大学）；Toshiba Europe Ltd.（东芝欧洲有限公司）
针对强化学习中借用监督学习记忆模型存在的训练效率差异问题，提出专门适配RL的快速遗忘记忆模型，可直接替代RNN，在多基准中获更高奖励且训练速度快两个数量级。
2023-10-06 cs.AI cs.LG
Dyna-Style Reinforcement Learning Modeling and Control of Non-linear Dynamics
本文提出结合SINDy与TD3的Dyna-风格强化学习框架，用于高效控制非线性系统，通过数据驱动建模提升策略学习效率和控制精度。
2025-12-24 cs.LG cs.SY eess.SY
CRAX: Fast Safe Reinforcement Learning Benchmarking
Eindhoven University of Technology（埃因霍温理工大学）
提出基于JAX加速的安全RL基准CRAX，利用MJX物理引擎实现高达100倍加速，包含6个环境套件和3个智能体任务，评估6种方法揭示性能与安全权衡。
2026-09-30 cs.AI cs.LG
Fast ML-driven Analog Circuit Layout using Reinforcement Learning and Steiner Trees
University of Trieste（的里雅斯特大学）；Infineon Technologies Austria（英飞凌科技奥地利公司）；Infineon Technologies AG（英飞凌股份公司）
本文提出一种AI驱动方法，将模拟电路布局建模为马尔可夫决策过程，用强化学习自动生成布局，并引入斯坦纳树进行全局布线，最终将运行时间降至人工的1.5%。
2024-05-27 cs.LG
Fast Reinforcement Learning for Energy-Efficient Wireless Communications
State University of New York at Buffalo（纽约州立大学布法罗分校）；University of California at Los Angeles (UCLA)（加利福尼亚大学洛杉矶分校）
我们认为，在衰落信道上的延迟敏感数据（例如，多媒体数据）的能量有效的点对点传输的问题。关于该主题的现有研究利用以物理层为中心的解决方案，即功率控制和自适应调制和编码（AMC），或者基于动态功率管理（DMC）的系统级解决方案;然而，在延迟约束下，在存在随机和先验未知的业务和信道条件的情况下。在本报告中，我们提出了这样一个框架。我们将随机优化问题表示为马尔可夫决策过程（MDP），并使用强化学习在线求解。所提出的在线方法的优点在于：（i）它不需要业务到达和信道统计的先验知识来确定联合最优功率控制、AMC和MIMO策略;（ii）它利用了关于系统的部分信息，使得与使用传统的强化学习算法时相比需要学习更少的信息;以及（iii）它消除了对动作探索的需要，动作探索严重限制了传统强化学习算法的自适应速度和运行时性能。我们的研究结果表明，所提出的学习算法可以收敛到两个数量级的速度比一个国家的最先进的学习算法的物理层功率控制和三个数量级的速度比传统的强化学习算法。
2013-06-05 cs.LG
MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
几乎所有最先进的深度学习算法都依赖于误差反向传播，这在生物学上通常被认为是不可信的。训练人工神经网络的另一种方法是将网络中的每个单元视为强化学习代理，因此网络被视为一组代理。因此，所有单元都可以通过REINFORCE进行训练，这是一种由全局信号调制的局部学习规则，与生物学上观察到的突触可塑性形式更一致。虽然这种学习规则遵循期望的回报梯度，但它具有高方差，因此学习速度慢，使其无法训练深度网络。因此，我们提出了一种新的算法，称为MAP传播，以减少这种变化显着，同时保留本地属性的学习规则。实验表明，MAP传播可以解决常见的强化学习任务，在应用于演员-评论家网络时，速度与反向传播相似。因此，我们的工作允许在深度强化学习中更广泛地应用代理团队。
2021-10-05 cs.AI cs.LG
A Method for Fast Autonomy Transfer in Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）；Kennesaw State University（肯尼索州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出MCAC算法，通过利用多环境的预训练critic价值函数，无需大量计算即可实现快速自主性迁移，实验证明其迁移速度比基线快22.76倍且奖励更高。
2024-07-29 cs.AI cs.LG
Exploration of Reinforcement Learning for Event Camera using Car-like Robots
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低，与使用标准摄像机的现有基于视觉的学习应用相比，可以实现更快的机器人控制。为了处理强化学习的事件流，我们引入了一个类似图像的功能，并证明了在模拟器中训练代理的两个任务的可行性：快速避碰和障碍物跟踪。最后，我们在现实世界中设置了一个带有事件摄像机的机器人，然后转移了在模拟器中训练的代理，从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中，通过端到端学习方法，为需要快速控制的各种机器人应用（如自动驾驶汽车和无人机）开辟了新的可能性。
2020-04-02 cs.AI cs.LG cs.RO
QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning
Harvard University（哈佛大学）；Amazon Advertising（亚马逊广告）；Georgia Institute of Technology（佐治亚理工学院）；DeepMind（深度思维）；Google Research, Brain（谷歌研究院大脑团队）
深度强化学习在实现任务级自主性方面继续显示出巨大的潜力，然而，其计算和能量需求仍然非常高。在本文中，我们通过将量化应用于强化学习来解决这个问题。为此，我们引入了一种新的强化学习（RL）训练范式，\textit{ActorQ}，以加快演员-学习者分布式RL训练。\textit{ActorQ}利用8位量化参与者来加速数据汇集，而不影响学习收敛。我们的量化分布式RL训练系统\textit{ActorQ}展示了端到端的加速\blue{between 1.5 $\times$ and 5.41$\times$}，以及在一系列任务（Deepmind Control Suite）和不同RL算法（D4 PG，DQN）上的全精度训练的更快收敛。此外，我们比较了\textit{ActorQ}与标准强化学习\blue{algorithms}在各种任务上的碳排放量（二氧化碳的千克数）。在各种设置中，我们表明\textit{ActorQ}通过实现\blue{carbon emission improvements between 1.9$\times$ and 3.76$\times$}来实现更环保的强化学习，而不是在全精度中训练RL代理。我们相信，这是未来许多关于实现计算节能和可持续强化学习的工作中的第一个。源代码可在此处提供给公众用途：\url{https://github.com/harvard-ed…
2022-11-14 cs.AI cs.LG cs.RO
Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning
TU Delft（代尔夫特理工大学）；Leiden University（莱顿大学）；Southeast University（东南大学）
规划和强化学习是序贯决策的两种关键方法。多步近似实时动态规划，一种最近成功的算法类，其中AlphaZero [Silver等人，2018]就是一个例子，它通过在学习循环中嵌套规划来结合两者。然而，计划和学习的结合带来了一个新的问题：我们应该如何平衡计划，学习和行动的时间？这种权衡的重要性以前没有被明确研究过。我们表明，它实际上是至关重要的，计算结果表明，我们不应该计划太长，也不太短。从概念上讲，我们确定了一个新的频谱规划学习算法，其范围从穷举搜索（长规划）到无模型RL（无规划），中途达到最佳性能。
2020-05-15 cs.AI cs.LG
Fast Approximate Solutions using Reinforcement Learning for Dynamic Capacitated Vehicle Routing with Time Windows
TCS Research（塔塔咨询服务研究院）
本文开发了一种内在的并行化，快速，近似学习为基础的解决方案，通用类的能力限制车辆路径问题的时间窗口和动态路由（CVRP-TWDR）。考虑到车队中的车辆作为分散的代理，我们假设使用基于强化学习（RL）的适应是在动态环境中实时路线形成的关键使能因素。该方法允许每个代理（车辆）独立评估服务每个客户的价值，并使用集中式分配启发式算法，根据生成的值最终确定分配。我们表明，通过这种方法产生的解决方案是显着快于精确的配方和国家的最先进的元算法，而合理地接近最佳的解决方案的质量。我们描述的实验在静态的情况下（当所有的客户需求和时间窗口是已知的提前），以及动态的情况下（客户可以弹出在执行过程中的任何时间）。在大型分布外测试数据上使用单个训练模型的结果证明了所提出方法的可扩展性和灵活性。
2021-04-14 cs.AI cs.LG
Fast TRAC: A Parameter-Free Optimizer for Lifelong Reinforcement Learning
Harvard College（哈佛学院）；Harvard University（哈佛大学）
针对终身强化学习中的可塑性丧失问题，本文基于在线凸优化理论提出无参数优化器TRAC，无需调参和分布偏移先验，在多环境实验中验证了其缓解可塑性丧失、快速适应分布偏移的优异效果。
2024-10-30 cs.AI cs.LG
RLPlanner: Reinforcement Learning based Floorplanning for Chiplets with Fast Thermal Analysis
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出RLPlanner，一种基于强化学习的芯粒布局规划工具，结合快速热评估方法，在相似运行时间内相比模拟退火方法将线长与温度联合目标平均优化20.28%。
2024-01-16 cs.AR cs.LG
Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Cambridge（剑桥大学）
机器人模拟器对于学术研究和教育以及安全关键应用的开发至关重要。强化学习环境--简单的模拟加上奖励函数形式的问题规范--对于标准化学习算法的开发（和基准测试）也很重要。然而，全尺寸模拟器通常缺乏可移植性和并行性。反之亦然，许多强化学习环境在玩具般的问题中权衡现实主义和高样本吞吐量。虽然公共数据集极大地受益于深度学习和计算机视觉，但我们仍然缺乏软件工具来同时开发-并公平地比较-控制理论和强化学习方法。在本文中，我们基于Bullet物理引擎为多个四轴飞行器提出了一个开源的OpenAI Gym-like环境。它的多智能体和基于视觉的强化学习界面，以及对逼真碰撞和空气动力学效果的支持，使其成为同类产品中的第一个。我们通过几个例子展示了它的使用，无论是控制（轨迹跟踪与PID控制，多机器人飞行与下洗，等）。或强化学习（单智能体和多智能体稳定任务），希望能激发未来结合控制理论和机器学习的研究。
2021-07-25 cs.LG cs.RO
Fast Adaptive Task Offloading in Edge Computing based on Meta Reinforcement Learning
University of Exeter（埃克塞特大学）；The University of Sydney（悉尼大学）；British Telecom（英国电信）
多访问边缘计算（MEC）旨在将云服务扩展到网络边缘，以减少网络流量和服务延迟。MEC中的一个基本问题是如何有效地将移动应用的异构任务从用户设备（UE）卸载到MEC主机。最近，人们提出了许多基于深度强化学习（DRL）的方法，通过与由UE、无线信道和MEC主机组成的MEC环境交互来学习卸载策略。然而，这些方法对新环境的适应性较弱，因为它们具有低的样本效率，并且需要完全重新训练来学习针对新环境的更新策略。为了克服这一弱点，提出了一种基于Meta强化学习的任务卸载方法，该方法能够以少量的梯度更新和样本快速适应新的环境。我们将移动应用程序建模为有向无环图（DAG），并通过自定义序列到序列（seq2seq）神经网络来实现卸载策略。为了有效地训练seq2seq网络，我们提出了一种方法，协同一阶近似和裁剪代理目标。实验结果表明，这种新的卸载方法可以减少高达25%的延迟相比，三个基线，同时能够快速适应新的环境。
2020-10-24 cs.DC cs.LG
Multi-Agent Reinforcement Learning for Fast-Timescale Demand Response of Residential Loads
Mila（米拉研究所）
为了整合大量的可再生能源，电网必须能够应对发电过程中的高幅度、快速时间尺度变化。通过需求响应的频率调节有可能协调时间灵活的负载，如空调，以抵消这些变化。现有的离散控制方法与动态约束的斗争提供令人满意的性能快速时标动作选择数百代理。我们提出了一个分散的代理训练多代理近端策略优化本地化通信。我们探讨两种通信框架：手工设计，或通过有针对性的多智能体通信学习。由此产生的政策执行良好，稳健的频率调节，并无缝扩展到任意数量的房屋恒定的处理时间。
2023-01-06 cs.AI cs.LG cs.MA
Beyond Reinforcement Learning: Fast and Scalable Quantum Circuit Synthesis
University of Bonn（波恩大学）
本文提出一种基于监督学习和随机束搜索的量子电路合成方法，通过近似最小描述长度实现快速且高效的量子门序列生成，提升了复杂电路的成功率和合成效率。
2026-02-18 cs.LG quant-ph
