Revisiting the Minimalist Approach to Offline Reinforcement Learning
Tinkoff
针对离线强化学习中微小设计选择对基线影响研究不足的问题，提出在TD3+BC基础上集成此类设计元素的极简算法ReBRAC，在多个基准上达到无集成方法的最优性能。
2023-10-24 cs.AI cs.LG
Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械数据科学研究所，亚琛RWTH大学）
本文提出Dyna-SAuR算法，通过学习不确定性感知的动力学模型，同时学习安全过滤器和控制策略，有效减少高维系统中的失败率，实验表明其在CartPole和MuJoCo Walker任务中性能显著优于现有方法。
2026-11-09 cs.LG
Revisiting Design Choices in Offline Model-Based Reinforcement Learning
University of Oxford（牛津大学）
离线强化学习使智能体能够利用预先收集的环境转换的大型数据集来学习控制策略，从而避免对潜在昂贵或不安全的在线数据汇集的需求。最近在离线基于模型的强化学习方面取得了重大进展，这些方法利用了学习的动力学模型。这通常涉及构建概率模型，并使用模型不确定性来惩罚数据不足的奖励，求解悲观MDP，从而降低真实MDP的界限。然而，现有的方法表现出理论与实践之间的崩溃，悲观回报应该受到模型与真实动态的总变化距离的限制，而是通过基于估计的模型不确定性的惩罚来实现。这催生了各种各样的不确定性分析，不同方法之间几乎没有比较。在本文中，我们比较了这些算法，并设计了新的协议来研究它们与其他超参数的相互作用，例如模型的数量或假想的滚动范围。使用这些见解，我们表明，使用贝叶斯优化选择这些关键超参数会产生与现有手动调整的最先进方法中目前使用的配置截然不同的优越配置，并导致更强的性能。
2022-03-16 cs.AI cs.LG
Revisiting Model-based Value Expansion
Technical University of Darmstadt（达姆施塔特工业大学）
基于模型的值扩展方法有望提高价值函数目标的质量，从而提高价值函数学习的有效性。然而，到目前为止，这些方法正在被Dyna风格的算法所超越，这些算法具有概念上更简单的一步价值函数目标。这表明，在实践中，价值扩张的理论依据似乎并不成立。我们提供了一个深入的实证研究，揭示了价值扩张方法在实践中失败的原因，认为是复合模型的错误。通过利用基于GPU的物理模拟器，我们能够有效地使用真正的动态分析内部的基于模型的强化学习循环。在真实动态和学习动态之间进行广泛的比较，可以揭示这个黑匣子。本文对价值扩张中的实际问题有了更好的理解。我们提供了未来的研究方向，通过实证检验目前的方法的最大理论性能。
2022-03-28 cs.LG
AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting
针对强化学习训练混合难度样本时的梯度饥饿、策略退化等问题，提出自适应课程强化学习框架AdaCuRL，通过动态难度匹配、历史回顾等机制，在多推理基准上显著提升LLMs和MLLMs性能。
2025-11-12 cs.AI cs.CL cs.LG
Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）
几个现实世界的场景，如远程控制和传感，是由行动和观察延迟。延迟的存在降低了强化学习（RL）算法的性能，通常会导致算法无法学习任何实质性内容。本文正式描述了马尔可夫决策过程（MDP）的概念与随机延迟，并表明延迟MDP可以转化为等价的标准MDP（无延迟）显着简化的成本结构。我们采用这种等价性来推导出一个无模型的延迟解析RL框架，并表明即使是建立在这个框架上的简单RL算法，在行动和观察具有随机延迟的环境中也能获得接近最优的奖励。延迟分辨深度Q网络（DRDQN）算法在包括多步和随机延迟的各种环境上进行基准测试，并且相对于当前建立的算法，在实现接近最优的奖励和最小化其计算开销方面都产生更好的性能。
2021-08-17 cs.AI cs.LG cs.SY
Revisiting Temporal Regularization for Smooth Control in Deep Reinforcement Learning
Kyung Hee University（庆熙大学）
本研究重新审视时序正则化，证明其能提供空间平滑性，并提出CATS方法结合时序惩罚与线性渐进提升，在减少动作振荡的同时保持任务性能，经仿真和实物实验验证有效。
2026-11-09 cs.LG cs.RO
Style-Agnostic Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们提出了一种新的方法学习风格无关的表示使用风格迁移和对抗学习的强化学习框架。这里的风格是指与任务无关的细节，例如图像中背景的颜色，在不同风格的环境中推广学习到的策略仍然是一个挑战。专注于学习风格不可知的表示，我们的方法训练演员从固有的对抗风格扰动生成器生成的各种图像风格，它在演员和生成器之间进行最小-最大游戏，而不需要数据增强的专家知识或对抗训练的额外类标签。我们验证了我们的方法在Procgen和Distracting Control Suite基准测试中比最先进的方法具有竞争力或更好的性能，并进一步研究了从我们的模型中提取的特征，表明该模型更好地捕获了不变量，并且较少受到转换风格的干扰。该代码可在https://github.com/POSTECH-CVLab/style-agnostic-RL上获得。
2022-08-31 cs.CV cs.LG
Stealing That Free Lunch: Exposing the Limits of Dyna-Style Reinforcement Learning
Department of Computer Science, University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校计算机科学系）；Department of Aerospace Engineering and Engineering Mechanics, University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校航空航天工程与工程力学系）
本文揭示Dyna式离策略基于模型的强化学习算法在DeepMind控制套件中性能显著下降，表明跨基准评估不存在免费午餐，并深化了对模型强化学习基本挑战的理解。
2025-06-20 cs.LG
Revisiting Sparse Rewards for Goal-Reaching Reinforcement Learning
Ocado Technology（奥卡多科技）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
该研究针对目标达成强化学习中稀疏奖励常被忽视的问题，对比最短时间任务的稀疏奖励与密集奖励范式，发现稀疏奖励可习得更优策略，还确定初始策略目标命中率为学习成功的早期指标，并在四种实体机器人平台验证了2-3小时从零学习像素级策略的可行性。
2024-07-08 cs.LG cs.RO
Revisiting Peng's Q($λ$) for Modern Reinforcement Learning
Columbia University（哥伦比亚大学）；DeepMind（深度思维公司）
非策略多步强化学习算法由保守和非保守算法组成：前者主动切割痕迹，而后者不。最近，Munos等人（2016）证明了保守算法收敛于最优Q函数。相比之下，非保守算法被认为是不安全的，并且具有有限的理论保证或没有理论保证。尽管如此，最近的研究表明，非保守算法在经验上优于保守算法。由于经验结果和理论的缺乏，我们对非保守算法的代表性例子Peng的Q（$λ$）进行了理论分析。我们证明了它也收敛到一个最优的政策，提供的行为政策慢慢跟踪一个贪婪的政策，类似于保守的政策迭代。这样的结果被证明是正确的，但尚未得到证实。我们还实验与彭的Q（$λ$）在复杂的连续控制任务，确认彭的Q（$λ$）往往优于保守的算法，尽管它的简单。这些结果表明，被认为是不安全的Peng's Q（$λ$）是一个理论上合理和实际上有效的算法。
2021-02-27 cs.AI cs.LG stat.ML
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Revisiting Generative Policies: A Simpler Reinforcement Learning Algorithmic Perspective
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xi’an Jiaotong University（西安交通大学）；SenseTime Research（商汤科技研究院）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文比较分析生成式策略的训练与部署技术，将现有目标归纳为更简单的GMPO和数值稳定的GMPP，并通过GenerativeRL验证其在多个离线RL数据集上的先进性能。
2024-12-02 cs.AI cs.LG
Revisiting Scalable Hessian Diagonal Approximations for Applications in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Vector Institute（矢量研究所）
本文重新审视BL89的Hessian对角近似方案，提出改进方法HesScale，以接近梯度的计算成本获得高质量近似，并在强化学习中验证其能加快二阶优化并提升步长缩放稳定性。
2024-07-03 cs.AI cs.LG
Revisiting Maximum Entropy Inverse Reinforcement Learning: New Perspectives and Algorithms
The University of Queensland（昆士兰大学）；Intuitive Surgical（直觉外科公司）
我们为最大熵（MaxEnt）逆强化学习（IRL）提供了新的视角和推理算法，IRL提供了一种原则性的方法，在许多一致的奖励函数中找到与给定专家演示一致的最不明确的奖励函数。首先，我们提出了一个广义MaxEnt制定的基础上最小化KL发散，而不是最大化的熵。这改进了MaxEnt IRL模型（用于随机MDP）的先前启发式推导，允许MaxEnt IRL和相对熵IRL的统一视图，并且导致MaxEnt IRL模型的无模型学习算法。其次，对现有推理算法和实现的仔细审查表明，它们近似计算学习模型所需的边际。我们提供的例子来说明这一点，并提出了一个高效和准确的推理算法。我们的算法可以处理可变长度的演示;此外，虽然基本版本需要的时间平方的最大演示长度L，该算法的改进版本减少到线性使用填充技巧。实验表明，我们的精确算法相比，近似的奖励学习。此外，我们的算法可扩展到涉及驾驶员行为预测的大型真实数据集。我们提供与OpenAI Gym接口兼容的优化实现。我们的新见解和算法可能会导致对原始MaxEnt IRL模型的进一步兴趣和探索。
2021-06-05 cs.LG cs.RO
Revisiting Value Iteration: Unified Analysis of Discounted and Average-Reward Cases
本文通过统一几何分析，证明在特定条件下价值迭代在折扣和平均奖励设置中均具有更快的几何收敛速度。
2026-03-11 cs.LG
Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities
FusionBrain Lab, Russia（融合脑实验室，俄罗斯）；Institute of Numerical Mathematics, Russia（数值数学研究所，俄罗斯）
通过生成概率重新审视强化学习中LLM推理的探索，提出ARM机制平衡置信度，提升生成多样性与准确性。
2026-02-06 cs.CL cs.LG
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
Revisiting Adam for Streaming Reinforcement Learning
本文研究了在线环境下传统更新方法的有效性，发现C51在流式强化学习中表现优异，基于此提出Adaptive Q(λ)算法，性能超越现有方法。
2026-05-07 cs.AI cs.LG
Revisiting Gaussian mixture critics in off-policy reinforcement learning: a sample-based approach
DeepMind（深度思维）
Actor-Critic算法利用分布式策略评估，在许多具有挑战性的控制任务上经常表现出优于非分布式算法的性能。该行为的示例包括分别与DDPG和MPO相比的D4 PG和DMPO算法[Barth-Maron等人，2018; Hoffman等人，2020年]。然而，这两个代理依赖于C51 critics.C51方法的一个主要缺点是它的要求有关的最小值和最大值的先验知识的政策可以达到以及使用的箱数，这固定的分辨率的分布估计。虽然DeepMind控制任务套件使用标准化的奖励和情节长度，从而使整个套件能够通过这些超参数的单一设置来解决，但情况往往并非如此。本文重新审视了一个自然的替代方案，消除了这一要求，namelya混合高斯，和一个简单的基于样本的损失函数，训练它在一个关闭的政策制度。我们经验性地评估了其在广泛的连续控制任务上的性能，并证明了它消除了对这些分布超参数的需要，并在各种具有挑战性的任务（例如，人形，狗，四足动物和机械手领域）上实现了最先进的性能。最后我们在Acme代理库中提供了一个实现。
2022-04-22 cs.AI cs.LG
Revisiting Space Mission Planning: A Reinforcement Learning-Guided Approach for Multi-Debris Rendezvous
Julius-Maximilians-Universität Würzburg（维尔茨堡大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
本研究提出一种基于掩码PPO强化学习的空间碎片访问序列优化方法，结合Izzo改编的Lambert求解器进行多碎片交会规划，相比遗传与贪婪算法平均减少约10.96%和13.66%的任务时间。
2024-09-25 cs.AI cs.LG cs.RO
Analog Circuit Design with Dyna-Style Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
在这项工作中，我们提出了一种基于学习的模拟电路设计方法，其目标是在一定的设计约束条件下优化电路性能。使这个问题具有挑战性的优化的方面之一是，用仿真来测量候选配置的性能可能在计算上是昂贵的，特别是在布局后设计中。此外，大量的设计约束和相关量之间的相互作用使得问题复杂。因此，为了更好地促进支持人类设计师，期望获得关于可行解的整个空间的知识。为了应对这些挑战，我们从基于模型的强化学习中获得灵感，并提出了一种具有两个关键属性的方法。首先，它学习奖励模型，即，代理模型的性能由神经网络近似，减少了所需的仿真次数。其次，它使用一个随机策略生成器来探索满足约束的多样解空间。我们将这些结合在Dyna风格的优化框架中，我们称之为DynaOpt，并根据经验评估两级运算放大器的电路基准的性能。结果表明，与使用无模型方法进行20，000次电路仿真来训练策略相比，DynaOpt仅用500次仿真就从头开始学习，从而实现了更好的性能。
2020-11-16 cs.LG
Revisiting Parameter Sharing in Multi-Agent Deep Reinforcement Learning
Swarm Labs（蜂群实验室）；Department of Computer Science, University of Maryland, College Park（马里兰大学帕克分校计算机科学系）
本文形式化智能体指示概念并证明其可收敛到最优策略，同时提出将参数共享扩展到异构观测与动作空间的方法，并通过实验验证其有效性。
2023-10-31 cs.AI cs.LG cs.MA
Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective
Beijing Institute of Technology（北京理工大学）；Qwen Business Unit of Alibaba（阿里巴巴Qwen业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出ConSPO方法，通过对比序列级策略优化，解决GRPO在目标函数上的似然错配和信用分配不敏感问题，在推理任务上超越强基线。
2026-09-21 cs.AI cs.LG
Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages
Tsinghua University（清华大学）；The University of Sydney（悉尼大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；JD Explore Academy（京东探索研究院）；Nanyang Technological University（南洋理工大学）
该研究系统探究视觉强化学习中影响可塑性的三大核心因素，提出基于评论家可塑性水平动态调整重放比的Adaptive RR方法，有效缓解高重放比下的可塑性损失，提升样本效率。
2024-05-19 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Inc.（腾讯公司）；The University of Manchester（曼彻斯特大学）
本文从深度强化学习（DRL）的角度重新审视了折扣情景马尔可夫决策过程（MDP）的策略梯度估计偏差。理论上，该目标被表述为在时间范围内贴现的预期收益。一个主要的策略梯度偏差是状态分布偏移：用于估计梯度的状态分布与理论公式不同，因为它没有考虑贴现因子。现有关于该偏倚影响的讨论仅限于文献中的表格和softmax病例。因此，在本文中，我们将其扩展到DRL设置的政策参数化，并证明这种偏见如何可能导致次优政策理论。然后，我们讨论了为什么经验不准确的实现与移位状态分布仍然是有效的。我们表明，尽管这样的状态分布偏移，策略梯度估计偏差可以减少以下三种方式：1）一个小的学习率; 2）自适应学习率为基础的优化器;和3）KL正则化。具体来说，我们表明，一个较小的学习率，或自适应学习率，如亚当和RSMProp优化器使用的，使政策优化的偏见。我们进一步绘制优化器和优化正则化之间的联系，以表明KL和反向KL正则化都可以显着纠正这种偏差。此外，我们提供了大量的连续控制任务的实验，以支持我们的分析。我们的论文揭示了成功的PG算法如何在DRL设置中优化策略，并有助于深入了解DRL中的实际问题。
2023-02-10 cs.AI cs.LG
Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment
Ubisoft La Forge, Bordeaux, France（育碧La Forge，法国波尔多）
本文提出SCIQL方法，通过结合离线目标条件RL技术与新的门控优势加权回归机制，在保持风格对齐的同时提升任务性能。
2026-06-28 cs.AI cs.LG cs.RO
Revisiting Data Augmentation in Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Duke Kunshan University（昆山杜克大学）
本文分析了深度强化学习中数据增强方法之间的联系与组件影响，提出引入 tangent prop 正则化项，在多数环境中实现最先进性能并提升了复杂环境下的样本效率与泛化能力。
2024-02-19 cs.AI cs.CV cs.LG
Reinforced Rewards Framework for Text Style Transfer
University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
风格转换处理的是将一段文本的风格属性转换为另一段文本的风格属性，同时确保保留核心内容的算法。由于文本风格转换在定制文本生成中的广泛应用，文本风格转换领域引起了人们的极大兴趣。现有的作品评估的风格转移模型的基础上的内容保存和转移强度。在这项工作中，我们提出了一个基于强化学习的框架，直接奖励这些目标指标的框架，从而更好地转移目标风格。我们提出的框架的基础上，自动和人工评价三个独立的任务，其中我们转移的文本风格从正式到非正式的，高兴奋低兴奋，现代英语，英语，反之亦然，在所有三种情况下，我们的性能得到了改善。与现有的最先进的框架相比，所提出的框架的性能有所改善，这表明该方法是可行的。
2020-05-11 cs.AI cs.CL cs.LG
Revisiting Entropy in Reinforcement Learning for Large Reasoning Models
TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院 TJUNLP 实验室，中国）；Independent Researcher（独立研究者）；College of Computer and Information Engineering, Tianjin Normal University, China（天津师范大学计算机与信息工程学院，中国）
本文研究了强化学习可验证奖励中大语言模型熵崩溃问题，分析了熵与响应多样性、校准及性能的关系，提出正优势重加权方法以调节熵并保持性能。
2026-04-19 cs.AI cs.CL cs.LG
Revisiting Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning
State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院）；University of Science and Technology of China（中国科学技术大学）；University of Chinese Academy of Sciences（中国科学院大学）；StepFun Inc（StepFun公司）
本文重新审视熵正则化在强化学习中的应用，提出自适应熵正则化框架，通过动态平衡探索与利用提升数学推理性能。
2026-04-17 cs.AI cs.CL cs.LG
Style Miner: Find Significant and Stable Explanatory Factors in Time Series with Constrained Reinforcement Learning
Huawei EI Innovation Lab（华为EI创新实验室）
在高维时间序列分析中，必须有一组关键因子（即风格因子）来解释观测变量的变化。例如，金融中的波动性建模依赖于一组风险因素，气候学中的气候变化研究依赖于一组因果因素。理想的低维风格因素应该平衡显著性（具有高解释力）和稳定性（一致，无显著波动）。然而，以前的监督和无监督特征提取方法很难解决的折衷。在本文中，我们提出了风格矿工，一个强化学习方法来生成风格因素。我们首先制定的问题作为一个约束马尔可夫决策过程的解释能力的回报和稳定性的约束。然后，我们设计细粒度的即时奖励和成本，并使用拉格朗日启发式自适应地平衡它们。在真实世界的金融数据集上进行的实验表明，Style Miner的性能大大优于现有的基于学习的方法，并且与人类专家提出的行业知名因素相比，R平方解释力提高了10%。
2023-03-21 cs.AI cs.LG q-fin.RM
Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）
线性函数表示等低复杂度模型在实现样本高效强化学习（RL）方面发挥着关键作用。目前的文件涉及到一个场景与基于值的线性表示，它假设的线性可实现的最佳Q函数（也称为“线性$Q^{\star}$问题”）。虽然线性可实现性本身一般不允许样本有效的解决方案，但大的次优差距的存在是一个潜在的游戏规则改变者，这取决于所使用的采样机制。非正式地说，当生成模型可用时，样本效率可以通过较大的次优差距来实现，但不幸的是，当我们转向标准在线RL设置时，这是不可行的。在本文中，我们取得了进展，了解这个线性$Q^{\star}$的问题，通过调查一个新的采样协议，该协议以在线/探索的方式绘制样本，但允许回溯和重新访问以前的状态在一个控制和罕见的方式。该协议比标准的在线RL设置更灵活，同时与实际相关，并且比生成模型更具限制性。我们开发了一个算法，适合这种设置，实现了一个样本的复杂性，规模多项式的特征维度，地平线，和逆次优差距，但不是状态/动作空间的大小。我们的研究结果强调了RL中采样协议和低复杂度结构表示之间的基本相互作用。
2021-10-18 cs.IT cs.LG math.IT
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University（北京大学）
经验重放使非策略强化学习（RL）代理能够利用过去的经验来最大化累积奖励。优先经验重放，加权经验的大小，他们的时间差误差（$|\text{TD}|$）显着提高学习效率。但是，$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题，通过将$|\text{TD}|$与经验价值联系起来，经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外，我们成功地将我们的理论框架扩展到最大熵RL，通过推导软Q学习的这些值度量的上下界，这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量：$|\text{TD}|$和经验值。我们的经验表明，在实践中的界限，并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
Deterministic and Discriminative Imitation (D2-Imitation): Revisiting Adversarial Imitation for Sample Efficiency
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
样本效率对于模仿学习方法在现实世界中的应用是至关重要的。许多研究通过将对抗性模仿扩展到非策略来提高样本效率，而不管这些非策略扩展可能改变原始目标或涉及复杂的优化。我们重新审视了对抗性模仿的基础，并提出了一种不需要对抗性训练或最小最大优化的非策略样本有效方法。我们的公式利用了两个关键的见解：（1）Bellman方程和静态状态-动作分布方程之间的相似性使我们能够推导出一种新的时间差（TD）学习方法;（2）使用确定性策略简化了TD学习。结合起来，这些见解产生了一个实用的算法，确定性和判别性模仿（D2-模仿），它的操作首先将样本划分到两个重放缓冲区，然后通过离线策略强化学习学习确定性策略。我们的实证结果表明，D2-模仿是有效的，在实现良好的样本效率，优于几个政策外扩展方法的对抗性模仿在许多控制任务。
2022-04-13 cs.LG
Dyna-Style Reinforcement Learning Modeling and Control of Non-linear Dynamics
本文提出结合SINDy与TD3的Dyna-风格强化学习框架，用于高效控制非线性系统，通过数据驱动建模提升策略学习效率和控制精度。
2025-12-24 cs.LG cs.SY eess.SY
Revisiting a Design Choice in Gradient Temporal Difference Learning
University of Oxford（牛津大学）；University of Virginia（弗吉尼亚大学）
本文重新审视梯度时序差分学习中的中间算法$A^\ op$TD，证明其变体$A_t^\ op$TD能有效解决致命三要素，且只需一组参数和一个学习率，收敛速度与同策略TD学习相当。
2025-02-28 cs.LG
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Identifying Reaction-Aware Driving Styles of Stochastic Model Predictive Controlled Vehicles by Inverse Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Arizona State University（亚利桑那州立大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对现有ME-IRL方法未充分体现自动驾驶车辆反应特性的问题，本文设计反应感知新特征，用改进的ME-IRL从SMPC生成的轨迹中识别驾驶风格，经仿真与实验验证有效。
2023-08-23 cs.AI cs.LG cs.RO
Learning Personalized Driving Styles via Reinforcement Learning from Human Feedback
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海启智研究院）；Peking University（北京大学）；LiAuto；Tsinghua University（清华大学）
针对生成式轨迹模型难以捕捉个性化驾驶风格的问题，提出人类反馈驱动微调框架TrajHF，结合多条件去噪器与人类反馈强化学习，在NavSim基准上达到最先进性能，实现个性化自适应轨迹生成。
2025-09-26 cs.CV cs.LG cs.RO
Revisiting Tree Search for LLMs: Gumbel and Sequential Halving for Budget-Scalable Reasoning
本文提出ReSCALE，通过将Gumbel采样和顺序削减替代传统方法，实现大语言模型在推理中的可扩展推理能力提升，解决了搜索预算增加时准确率下降的问题。
2026-03-22 cs.AI cs.LG
Towards Revealing the Effectiveness of Small-Scale Fine-tuning in R1-style Reinforcement Learning
本研究提出重蒸馏技术，通过从RL训练策略采样提升小规模SFT效率，以少量样本匹配RL性能，并揭示R1风格RL机制。
2025-08-05 cs.AI cs.LG
Quantile Q-Learning: Revisiting Offline Extreme Q-Learning with Quantile Regression
School of Mathematics, Southeast University（东南大学数学学院）
本文提出一种基于分位数回归的离线Q学习方法，通过估计温度系数β来改进极值Q学习的稳定性与泛化能力，实验表明其在多个基准任务中表现优异。
2026-04-14 cs.LG
Revisiting Experience Replayable Conditions
National Institute of Informatics (NII)（情报信息研究所（NII））；The Graduate University for Advanced Studies (SOKENDAI)（高级研究生院（SOKENDAI））
该研究重审强化学习的经验可回放条件，指出策略提升不稳定性是关键因素，从度量学习视角提出两类稳定化技巧，让经验回放可用于同策略的优势演员-评论家算法，性能比肩顶尖离策略算法软演员-评论家。
2024-07-09 cs.LG
One More Time: Revisiting Neural Quantum States from a Reinforcement Learning Perspective
Mila Quebec AI Institute, Université de Montréal（Mila 魁北克人工智能研究所，蒙特利尔大学）；QuTech and Kavli Institute of Nanoscience, Delft University of Technology（QuTech 与卡夫利纳米科学研究所，代尔夫特理工大学）；CIFAR AI Chair（CIFAR 人工智能主席）
将变分能量最小化视为优势策略梯度问题，提出近端波函数优化（PWO）算法，通过裁剪概率比和相位增量实现稳定优化，在自旋系统中优于现有方法，并首次优化了15亿参数的NQS模型。
2026-07-03 cond-mat.dis-nn cs.LG quant-ph
Revisiting Design Choices in Proximal Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
近端策略优化（PPO）是一种流行的深度策略梯度算法。在标准实现中，PPO使用裁剪概率比来正则化策略更新，并使用连续高斯分布或离散Softmax分布来参数化策略。这些设计选择被广泛接受，并受到MuJoCo和Atari基准测试的经验性能比较的激励。我们重新审视这些做法以外的制度，目前的基准，并暴露标准PPO的三种故障模式。我们解释了为什么标准的设计选择在这些情况下是有问题的，并表明替代目标和政策参数化的选择可以防止故障模式。我们希望我们的工作可以提醒人们，强化学习中的许多算法设计选择都与特定的模拟环境有关。我们不应该隐含地接受这些选择作为更一般算法的标准部分。
2020-09-23 cs.LG stat.ML
Revisiting DAgger in the Era of LLM-Agents
Georgia Institute of Technology（佐治亚理工学院）；ETH Zurich（苏黎世联邦理工学院）
本文提出通过DAgger算法改进长周期LLM代理，通过学生与教师策略的回合级插值收集轨迹，并利用教师提供的监督标签训练学生，有效缓解协变量偏移并提升性能。
2026-05-13 cs.LG
Physics-informed Dyna-Style Model-Based Deep Reinforcement Learning for Dynamic Control
University of Notre Dame（圣母大学）
基于模型的强化学习（MBRL）被认为通过学习环境的预测模型，与无模型算法相比具有高得多的样本效率。然而，MBRL的性能高度依赖于学习模型的质量，该模型通常以黑盒方式构建，并且在数据分布之外可能具有较差的预测准确性。学习模型的缺陷可能会妨碍策略的充分优化。虽然已经提出了一些基于不确定性分析的补救措施来缓解这个问题，模型偏差仍然是MBRL的一个很大的挑战。在这项工作中，我们建议利用环境的基础物理学的先验知识，其中的管理法律是（部分）已知的。特别是，我们开发了一个物理知情的MBRL框架，其中控制方程和物理约束被用来通知模型学习和策略搜索。通过引入环境的先验信息，可以显著提高学习模型的质量，同时显著减少所需的与环境的交互，从而导致更好的样本效率和学习性能。的有效性和优点已被证明在一些经典的控制问题，其中的环境是由规范的常/偏微分方程。
2021-07-31 cs.LG math.OC
Empirical Evaluation of Supervision Signals for Style Transfer Models
Technical University of Darmstadt（达姆施塔特工业大学）；Merck KGaA（默克集团）
近年来，语篇风格迁移越来越受到研究界的关注。然而，所提出的方法在许多方面各不相同，这使得很难评估模型组成部分的单独贡献。在风格转换中，最重要的组成部分是用于在缺乏并行训练数据的情况下指导学习的优化技术。在这项工作中，我们经验性地比较了在训练过程中提供监督信号的主导优化范式：反向翻译，对抗训练和强化学习。我们发现，反向翻译具有特定于模型的限制，这抑制了训练风格迁移模型。强化学习表现出最好的性能增益，而对抗训练尽管很受欢迎，但并没有提供比后一种选择更好的优势。在这项工作中，我们还尝试了最小风险训练，这是机器翻译社区中的一种流行技术，据我们所知，尚未在风格转换任务中进行经验评估。我们填补了这一研究空白，并以经验证明其有效性。
2021-01-15 cs.CL cs.LG
Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
近年来，强化学习（RL）在高关节机器人系统的运动控制中表现出了优异的性能。这样的方法通常涉及繁琐的奖励函数调谐以实现期望的运动风格。诸如对抗运动先验的模仿学习方法旨在通过鼓励预定义的运动风格来减少这个问题。在这项工作中，我们提出了一种方法来增强基于对抗运动先验的RL的概念，以允许多种离散可切换的风格。我们表明，多种风格和技能可以同时学习，没有显着的性能差异，即使在结合运动数据的技能。我们的方法在几个真实世界的实验中验证了轮腿四足机器人显示技能从现有的RL控制器和轨迹优化，如躲避和行走，和新的技能，如四足和人形配置之间的切换。对于后一项技能，机器人需要站起来，在两个轮子上导航，然后坐下。而不是调整坐下来的运动，我们验证了站起来的运动的反向播放，帮助机器人发现可行的坐下的行为，并避免繁琐的奖励功能调整。
2022-03-23 cs.AI cs.LG cs.RO
Multi-Objective Reinforcement Learning for Adaptable Personalized Autonomous Driving
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所）；Center for Robotics（机器人中心）
本文提出基于多目标强化学习与偏好驱动优化的端到端自动驾驶方法，通过连续权重向量在运行时动态调节效率、舒适性、速度和激进性等驾驶风格，无需重训策略，并在CARLA中验证了其适应能力与安全性。
2025-07-18 cs.CV cs.LG cs.RO
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG（大众汽车公司）；Technische Universität Darmstadt（达姆施塔特工业大学）
行为和运动规划在自动驾驶中起着重要的作用。传统上，行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性，可能会发生不可预测的情况，其中行为规划者无法匹配预定义的行为模板。最近，已经引入了通用规划器，其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而，出现了两个挑战：首先，该函数必须将复杂的特征空间映射到奖励。其次，奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中，我们提出了一种方法，依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外，我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明，我们能够学习奖励函数超过手动专家调整的水平，没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
本文提出跨领域RL语料库Guru，系统研究LLM推理的强化学习，发现预训练暴露少的领域需领域内训练，并发布Guru-7B/32B模型，在17任务上超越基线7.9%和6.7%。
2025-06-17 cs.AI cs.CL cs.LG
