Q-Distribution guided Q-learning for offline reinforcement learning: Uncertainty penalized Q-value via consistency model
HKUST（香港科技大学）；HKUST (GZ)（香港科技大学（广州））；SUSTech（南方科技大学）
针对离线强化学习中分布外动作Q值易高估的问题，提出基于一致性模型估计不确定性、对分布外区域Q值做悲观调整的QDQ方法，兼具理论保障与D4RL基准上的性能提升。
2025-01-12 cs.LG stat.ML
Benchmark for Out-of-Distribution Detection in Deep Reinforcement Learning
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
基于强化学习（RL）的解决方案正被广泛应用于机器人、医疗保健和工业自动化等领域。大多数关注的是这些解决方案何时工作得很好，但当它们与分布输入一起出现时就会失败。RL策略与大多数机器学习模型有相同的缺点。RL的分布外检测在文献中通常没有很好地涵盖，并且缺乏该任务的基准。在这项工作中，我们提出了一个基准来评估OOD检测方法在强化学习设置，通过修改非视觉标准环境的物理参数或损坏的视觉环境的状态观察。我们讨论了如何生成自定义RL环境，可以产生OOD数据，并评估三个不确定性方法的OOD检测任务。我们的研究结果表明，集成方法具有最好的OOD检测性能，在多个环境中具有较低的标准差。
2021-12-05 cs.LG
Variational OOD State Correction for Offline Reinforcement Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（计算机科学与技术学院，南京航空航天大学，信息科技部模式分析与机器智能重点实验室）
针对离线强化学习中的状态分布偏移问题，提出密度感知安全感知（DASP）变分方法，通过优化高数据密度行动促进安全决策，并在MuJoCo和AntMaze上验证有效性。
2025-07-08 cs.AI cs.LG cs.RO
Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）；University of Technology Sydney（悉尼科技大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
离线强化学习（RL）旨在从先前收集的数据集中学习策略，而无需探索环境。直接将离线策略算法应用于离线强化学习通常会由于分布外（OOD）操作引起的外推错误而失败。以前的方法通过惩罚OOD动作的Q值或限制训练策略接近行为策略来解决这个问题。然而，这样的方法通常防止价值函数的泛化超出离线数据，也缺乏OOD数据的精确表征。在本文中，我们提出了离线RL（PBRL），一个纯粹的不确定性驱动的离线算法，没有明确的政策约束的Pessierity Bootstrapping。具体而言，PBRL通过自举Q函数的不一致性进行不确定性量化，并通过基于估计的不确定性惩罚价值函数来执行悲观更新。为了解决外推误差，我们进一步提出了一种新的OOD采样方法。我们表明，这样的OOD抽样和悲观的自举产生可证明的不确定性量化的线性MDPs，从而提供了PBRL的理论基础。在D4RL基准测试上的大量实验表明，PBRL算法比现有算法具有更好的性能。
2022-02-23 cs.LG
Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
研究在大规模视觉-语言-动作模型中，通过将离线监督纳入强化学习，结合离线与在线训练优点，提升训练效率。经实验验证，该混合方法在保持强大分布外能力的同时，所需训练预算减半，实现效率与性能双赢。
2026-07-23 cs.AI cs.CV cs.LG
Beyond Penalization: Diffusion-based Out-of-Distribution Detection and Selective Regularization in Offline Reinforcement Learning
School of Computer Science and Technology, Tongji University, Shanghai, China（同济大学计算机科学与技术学院，上海，中国）；MOE Key Lab of Embedded System and Service Computing, Tongji University, Shanghai, China（教育部嵌入式系统与服务计算重点实验室，同济大学，上海，中国）；Shanghai Innovation Institute（上海创新研究院）
本文提出DOSER框架，通过扩散模型捕捉行为策略和状态分布，利用单步去噪重构误差检测分布外动作，并通过评估预测转移区分有益与有害动作，提供理论保证和实验验证。
2026-05-06 cs.AI cs.LG
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理，而无需任何交互。为了解决OOD（分布外）行动的高估问题，保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外，这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计（DCE），它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时，引入了V-函数，避免了分布内作用的误差。此外，我们的算法使用了一个可控的惩罚项，改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明，两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Synthetic Monitoring Environments for Reinforcement Learning
Technical University Munich（慕尼黑技术大学）
本文提出合成监控环境（SMEs），通过可配置的任务特征和已知最优策略，为强化学习提供精确评估框架，用于分析算法在分布内和分布外性能的差异。
2026-03-06 cs.LG stat.ML
Imagination-Limited Q-Learning for Offline Reinforcement Learning
East China Normal University（华东师范大学）；Fudan University（复旦大学）
针对离线强化学习中分布外动作价值估计过乐观的问题，提出想象受限Q学习方法，通过动力学模型想象并裁剪OOD动作价值，在理论上证明收敛性与误差界特性，在D4RL基准上取得最优性能。
2025-05-18 cs.AI cs.LG
Dealing with the Unknown: Pessimistic Offline Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）已被证明是有效的，在这些领域中，代理可以通过主动与其操作环境交互来学习策略。然而，如果我们将RL方案更改为离线设置，其中代理只能通过静态数据集更新其策略，则出现离线强化学习中的一个主要问题，即分布偏移。我们提出了一种Pessiphon离线强化学习（PessORL）算法，通过操纵价值函数，主动引导智能体回到它熟悉的区域。我们专注于由分布外（OOD）状态引起的问题，并故意惩罚训练数据集中不存在的状态处的高值，以便学习到的悲观价值函数在状态空间内的任何地方都有真实值的下限。我们评估的PessORL算法在各种基准任务，在那里我们表明，我们的方法获得更好的性能显式处理OOD状态相比，这些方法只考虑OOD行动。
2021-11-09 cs.LG cs.RO
Constrained Policy Optimization with Explicit Behavior Density for Offline Reinforcement Learning
HKUST（香港科技大学）；Kuaishou Technology（快手科技）；HKUST(GZ)（香港科技大学（广州））；SUSTech（南方科技大学）
针对离线RL中OOD动作估计导致的过度保守或识别不准问题，提出CPED，用flow-GAN显式估计行为策略密度并在安全区域内优化策略，兼具理论保证与更优实验回报。
2024-03-05 cs.LG
MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning
Harbin Engineering University（哈尔滨工程大学）
针对离线多目标强化学习对分布外偏好泛化不足的问题，提出基于扩散模型与滑动引导的MODULI方法，生成对齐偏好的轨迹，在D4MORL基准上超越现有基线。
2025-05-27 cs.AI cs.LG
Grid-Mapping Pseudo-Count Constraint for Offline Reinforcement Learning
Sun Yat-Sen University（中山大学）
提出网格映射伪计数方法（GPC），将计数思想扩展到连续域，结合SAC形成GPC-SAC，在D4RL上性能更优且计算成本更低。
2024-11-07 cs.AI cs.LG
On the Practical Consistency of Meta-Reinforcement Learning Algorithms
University of Oxford（牛津大学）
一致性是元学习算法的理论属性，它确保在某些假设下，它可以适应测试时的任何任务。一个悬而未决的问题是，与不一致的算法相比，理论上的一致性是否以及如何转化为实践。在本文中，我们实证研究这个问题上的一组代表性的元RL算法。我们发现，理论上一致的算法确实通常可以适应分布外（OOD）的任务，而不一致的不能，虽然他们仍然可以在实践中失败的原因，如穷人的探索。我们进一步发现，理论上不一致的算法可以通过继续更新OOD任务的所有代理组件，并适应以及或更好地比原来一致的。我们的结论是，理论上的一致性确实是一个理想的属性，不一致的元RL算法可以很容易地保持一致，以享受相同的好处。
2021-12-01 cs.AI cs.LG stat.ML
Smaller Abstract State Spaces Enable Cross-Scale Generalization in Reinforcement Learning
Department of Computer Science（计算机科学系）；University of Saskatchewan（萨斯喀彻温大学）；Saskatoon, Saskatchewan, Canada（加拿大萨斯喀彻温省萨斯喀彻温市）
本文提出了一种理论模型，通过扩展POMDP中的状态抽象框架，定义了 successor-weighted model reduction，从而在强化学习代理中实现跨尺度泛化，并分析了抽象状态空间大小对泛化能力的影响。
2026-05-19 cs.AI cs.LG
RL Is Neither a Panacea Nor a Mirage: Understanding Supervised vs. Reinforcement Learning Fine-Tuning for LLMs
PolyTechnique Montreal（蒙特利尔大学）；Mila（Mila研究院）；McGill（麦吉尔大学）；UDeM（UDeM大学）
本文通过24点游戏OOD变体与谱诊断分析SFT和RL-FT对LLM表示及OOD性能的影响，发现RL主要抵消SFT引起的方向漂移，并提出低秩UV合并和浅层重置等低成本恢复方法。
2025-08-22 cs.AI cs.LG
Uncertainty-Aware Rank-One MIMO Q Network Framework for Accelerated Offline Reinforcement Learning
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电子工程学院）；Department of Artificial Intelligence, Korea University（韩国大学人工智能系）
本文提出考虑不确定性的秩一MIMO Q网络框架，通过量化数据不确定性提升离线强化学习的效率与性能。
2026-02-23 cs.LG cs.RO
Rotation-Preserving Supervised Fine-Tuning
Mila - Quebec AI Institute（魁北克AI研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；CIFAR AI Chair（CIFAR人工智能主席）；Google DeepMind（谷歌DeepMind）
本文提出RPSFT方法，通过保持预训练奇异子空间的投影旋转来提升模型在领域内和领域外任务间的平衡性能，改进了标准SFT的不足。
2026-05-08 cs.AI cs.LG
When to ASK: Uncertainty-Gated Language Assistance for Reinforcement Learning
本文提出ASK方法，通过结合小型语言模型和训练好的RL策略，提升模型在分布外任务中的泛化能力，通过不确定性门控机制选择性利用语言模型进行决策，实验显示其在迁移任务中表现稳健。
2026-04-02 cs.AI cs.LG
Uncertainty-based Meta-Reinforcement Learning for Robust Radar Tracking
Infineon Technologies AG（英飞凌科技股份公司）；Technichal University of Munich（慕尼黑工业大学）
如今，深度学习（DL）方法往往克服了传统信号处理方法的局限性。然而，DL方法在实际应用中几乎没有应用。这主要是由于有限的鲁棒性和训练数据与测试数据之间的分布偏移。为此，最近的工作提出了不确定性机制来提高其可靠性。此外，元学习旨在提高DL模型的泛化能力。利用这一点，本文提出了一种基于不确定性的Meta-强化学习（Meta-RL）方法与分布外（OOD）检测。所提出的方法在看不见的环境中执行给定的任务，并提供有关其复杂性的信息。这是通过确定估计奖励的一阶和二阶统计量来完成的。使用有关其复杂性的信息，所提出的算法能够指出何时跟踪是可靠的。为了评估所提出的方法，我们基准它的雷达跟踪数据集。在那里，我们表明，我们的方法在看不见的跟踪场景中的峰值性能比相关的Meta-RL方法高出16%，基线性能高出35%，而检测OOD数据的F1分数为72%。这表明我们的方法对环境变化具有鲁棒性，并可靠地检测OOD场景。
2022-10-26 cs.LG eess.SP
Offline Meta-Reinforcement Learning with Flow-Based Task Inference and Adaptive Correction of Feature Overgeneralization
FLORA通过流任务推断和特征过泛化适应性修正，提升离线元强化学习在复杂任务中的适应性和策略性能。
2026-01-12 cs.LG
Layer by layer, module by module: Choose both for optimal OOD probing of ViT
Inria（法国国家信息与自动化研究所）；com（42网络）；IRISA（法国雷恩信息与自动化系统研究所）；Univ. Rennes 2（雷恩第二大学）
本文研究了ViT中不同层和模块在OOD探测中的表现，发现中间层和模块级激活在不同分布偏移下具有不同优势。
2026-03-05 cs.CV cs.LG stat.ML
Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning
Apple Inc.（苹果公司）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习承诺从以前收集的静态数据集中学习有效的策略，而无需探索。然而，现有的Q-学习和Actor-Critic基于离线策略的RL算法在从分布外（OOD）动作或状态引导时失败。我们假设，从现有的方法中缺失的一个关键成分是在离线设置的不确定性的适当处理。我们提出了不确定性加权演员-评论家（UWAC），一种检测OOD状态-动作对并相应地降低其在训练目标中的贡献的算法。在实现方面，我们采用了一种实用有效的基于丢弃的不确定性估计方法，该方法比现有RL算法引入的开销非常小。根据经验，我们观察到UWAC在训练过程中大大提高了模型的稳定性。此外，UWAC在各种竞争性任务上的表现优于现有的离线RL方法，并在从人类专家收集的稀疏演示数据集上实现了超过最先进基线的显着性能提升。
2021-05-17 cs.LG
Reasoner for Real-World Event Detection: Scaling Reinforcement Learning via Adaptive Perplexity-Aware Sampling Strategy
Meituan（美团）
本文提出自适应困惑度感知强化学习框架APARL，通过双环动态课程学习架构提升大语言模型在真实客服对话中异常事件检测的OOD泛化能力，F1平均提升17.19%。
2025-07-02 cs.AI cs.LG
Reliable Conditioning of Behavioral Cloning for Offline Reinforcement Learning
UCLA（加州大学洛杉矶分校）；Meta AI Research（Meta人工智能研究院）
行为克隆（BC）通过监督学习模仿离线轨迹，为离线RL提供了一个简单的解决方案。最近的进展（Chen等人，2021; Janner等人，2021; Emmons等人，2021年）已经表明，通过以期望的未来回报为条件，BC可以与基于价值的同行竞争，同时享受更多的简单性和培训稳定性。虽然有希望，我们表明，这些方法可能是不可靠的，因为它们的性能可能会显着下降时，条件高，分布外（ood）的回报。这在实践中是至关重要的，因为我们通常期望通过以ood值为条件，策略的性能优于离线数据集。我们发现，这种不可靠性产生的次优的训练数据和模型架构。我们提出了ConserWeightive Behavioral Cloning（CWBC），这是一种简单有效的方法，用于提高条件BC的可靠性，其中有两个关键组成部分：轨迹加权和保守正则化。轨迹加权增加了高返回轨迹的权重，以减少BC方法的训练-测试间隙，而保守正则化器鼓励策略保持接近数据分布，以获得良好的条件。我们在RvS的背景下研究CWBC（Emmons等人，2021）和决策Transformers（Chen等人，2021年），并显示CWBC显着提高了他们在各种基准上的表现。
2023-02-03 cs.AI cs.LG
Mildly Conservative Q-Learning for Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Computer Science, Peking University（北京大学计算机学院）
本文提出轻度保守Q学习（MCQ），通过为分布外动作分配伪Q值进行主动训练，在离线强化学习中实现温和而足够的保守性，既避免错误高估又保持泛化能力，在D4RL基准及离线到在线迁移中显著优于现有方法。
2024-02-21 cs.AI cs.LG
MICRO: Model-Based Offline Reinforcement Learning with a Conservative Bellman Operator
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对离线强化学习的分布偏移问题，提出带保守贝尔曼算子的基于模型的算法MICRO，通过在状态不确定集选最小Q值兼顾性能与鲁棒性，降低计算成本，在基准测试中表现更优且抗扰动能力强。
2024-04-17 cs.AI cs.LG
On the Role of DAG topology in Energy-Aware Cloud Scheduling : A GNN-Based Deep Reinforcement Learning Approach
Université Grenoble Alpes, CNRS, Grenoble INP, G-SCOP（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，G-SCOP实验室）
本文研究了单工作流无队列调度场景，提出基于GNN的深度强化学习调度器以最小化完成时间和能耗，分析了GNN调度器在分布外条件下的失效原因，揭示了当前GNN调度器的局限性。
2026-04-10 cs.AI cs.LG
Less is More: Clustered Cross-Covariance Control for Offline RL
Central South University（中南大学）；Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
本文提出了一种用于离线强化学习的聚类交叉协方差控制方法，通过分区缓冲区采样和梯度修正惩罚，减少分布偏移带来的影响，提升策略学习的稳定性和性能。
2026-01-31 cs.LG
Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble
Seoul National University（首尔国立大学）；Neural Processing Research Center（神经处理研究中心）；DeepMetrics（深度度量）
离线强化学习（offline RL）的目标是从先前收集的静态数据集中找到最优策略，由于来自分布外（out-of-distribution，OOD）数据点的函数近似误差，离线RL具有算法困难。为此，离线RL算法采用约束或惩罚项，显式地引导策略保持接近给定数据集。然而，现有方法通常需要准确估计行为策略或从OOD数据点采样，这本身可能是一个不平凡的问题。此外，这些方法没有充分利用深度神经网络的泛化能力，并且经常陷入太接近给定数据集的次优解。在这项工作中，我们提出了一种基于不确定性的离线RL方法，该方法考虑了Q值预测的置信度，并且不需要对数据分布进行任何估计或采样。我们证明了裁剪Q学习，一种广泛用于在线RL的技术，可以成功地惩罚具有高预测不确定性的OOD数据点。令人惊讶的是，我们发现，通过简单地增加Q网络的数量以及裁剪的Q学习，有可能在各种任务上大大优于现有的离线RL方法。基于这一观察结果，我们提出了一种集成多样化的演员-评论家算法，与朴素集成相比，该算法将所需集成网络的数量减少到十分之一，同时在大多数D4 RL基准测试中实现了最先进的性能。
2021-10-05 cs.AI cs.LG
ReGen: Reinforcement Learning for Text and Knowledge Base Generation using Pretrained Language Models
IBM Research（IBM研究院）
从文本中自动构建相关知识库，以及从知识库中生成语义有意义的文本是机器学习的长期目标。在本文中，我们提出了ReGen，一个双向生成的文本和图形利用强化学习（RL），以提高性能。图线性化使我们能够将这两个任务重新构建为序列到序列生成问题，而不管生成方向如何，这反过来又允许使用强化学习进行序列训练，其中模型本身被用作其自己的批评者，从而导致自我批评序列训练（SCST）。我们提出了一项广泛的调查，证明通过SCST使用RL有利于在WebNLG+ 2020和TekGen数据集上生成图形和文本。我们的系统在WebNLG+ 2020上提供了最先进的结果，大大改进了WebNLG 2020+挑战赛的文本到图形和图形到文本生成任务的结果。
2021-08-27 cs.CL cs.LG
Unveiling Markov Heads in Pretrained Language Models for Offline Reinforcement Learning
Pennsylvania State University（宾夕法尼亚州立大学）；Queen Mary University of London（伦敦玛丽女王大学）；Microsoft Research Asia（微软亚洲研究院）
本文揭示预训练语言模型中的 Markov 头导致 DT 只关注最后 token，并提出带 MoA 的 GPT2-DTMA，在保持短期任务性能的同时显著改善长期任务。
2025-06-06 cs.LG
TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Macquarie University（麦考瑞大学）
我们考虑一个离线强化学习（RL）设置，其中代理需要从通过推出多个行为策略收集的数据集中学习。这种设置存在两个挑战：1）由于不同行为策略引起的动作覆盖的变化，优化RL信号和行为克隆（BC）信号之间的最佳权衡在不同状态上变化。以前的方法无法通过仅控制全局权衡来处理这一点。2)对于给定的状态，不同行为策略生成的动作分布可能有多种模式。许多以前的方法中的BC正则化器是均值寻求的，导致在模式中间选择分布外（OOD）动作的策略。在本文中，我们通过使用自适应加权的反向Kullback-Leibler（KL）发散作为基于TD 3算法的BC正则化器来解决这两个挑战。我们的方法不仅用每个状态的权重来权衡RL和BC信号（即，在具有窄动作覆盖的状态上进行强BC正则化，反之亦然），而且由于反向KL的模式搜索特性，还避免了选择OOD动作。从经验上讲，我们的算法可以优于现有的离线RL算法在MuJoCo运动任务与标准的D4 RL数据集，以及混合数据集，结合标准数据集。
2022-12-05 cs.AI cs.LG stat.ML
PORL: Pretrained Offline Reinforcement Learning for the Job Shop Scheduling Problem
Rosenheim University of Applied Sciences（罗森海姆应用科学大学）
本文提出PORL，一种结合在线预训练与离线微调的混合强化学习方法，用于作业车间调度，通过KL约束减少策略偏移，在分布偏移下优于独立离线强化学习，且对数据质量不敏感。
2026-09-28 cs.AI cs.LG
Chart-RVR: Reinforcement Learning with Verifiable Rewards for Explainable Chart Reasoning
University of Virginia（弗吉尼亚大学）；Morgan Stanley（摩根士丹利）
本文提出Chart-RVR框架，通过结合GRPO与三种自动可验证奖励对LVLMs进行微调，显著提升了模型在分布内外图表推理任务上的准确性与思维链可解释性。
2025-10-13 cs.CV cs.LG
Generative OOD-regularized Model-based Policy Optimization
University of California, San Diego（加州大学圣地亚哥分校）；Abiomed（阿比omed）
提出GORMPO算法，利用生成式密度估计在稀疏状态-动作空间中限制策略更新到高密度区域，以解决离线强化学习中的分布外动作问题，并在真实医疗数据集和离线RL数据集上优于基线方法。
2026-11-10 cs.AI cs.LG
RL Fine-Tuning Heals OOD Forgetting in SFT
Mila - Quebec AI Institute（魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；CIFAR AI Chair（CIFAR人工智能主席）；Google DeepMind（谷歌DeepMind）
研究通过分析SFT和RL对ID和OOD推理的影响，发现RL能修复后期SFT导致的OOD能力下降，且与奇异向量旋转相关。
2026-05-08 cs.AI cs.LG
History Compression via Language Models in Reinforcement Learning
Johannes Kepler University Linz（林茨约翰·开普勒大学）；ELLIS Unit Linz（欧洲学习与智能系统实验室林茨分部）；Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究所）
在部分可观测马尔可夫决策过程（POMDP）中，代理通常使用过去的表示来近似底层MDP。我们建议利用冻结的预训练语言Transformer（PLT）的历史表示和压缩，以提高样本效率。为了避免Transformer的训练，我们引入了FrozenHopfield，它自动将观察与预训练的令牌嵌入相关联。为了形成这些关联，现代Hopfield网络存储这些令牌嵌入，这些令牌嵌入通过查询来检索，这些查询通过随机但固定的观测投影获得。我们的新方法，HELM，使演员-评论家网络架构，包含一个预先训练的语言Transformer的历史表示作为一个内存模块。由于不需要学习过去的表示，HELM比竞争对手更有效。在Minigrid和Procgen环境中，HELM取得了最新的成果。我们的代码可在https://github.com/ml-jku/helm上获得。
2023-02-21 cs.CL cs.LG stat.ML
When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
在离线强化学习（RL）中，深度Q函数在分布外（OOD）区域的误差积累是影响策略学习的一个重要问题。不幸的是，现有的离线RL方法往往过于保守，不可避免地会损害数据分布之外的泛化性能。在我们的研究中，一个有趣的观察是，深度Q函数在训练数据的凸包内很好地近似。受此启发，我们提出了一种新方法DOGE（Distance-sensitive Offline RL with better GEneralization）。DOGE将数据集几何与离线RL中的深度函数近似器结合在一起，并在可推广的OOD领域进行开发，而不是严格限制数据分布中的策略。具体来说，DOGE训练了一个状态条件距离函数，可以很容易地插入到标准的行动者-批评者方法中作为策略约束。简单而优雅，我们的算法在D4 RL基准测试中比最先进的方法具有更好的泛化能力。理论分析表明，我们的方法的优越性，现有的方法是完全基于数据分布或支持的限制。
2023-02-08 cs.AI cs.LG cs.RO
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Guaranteeing Out-Of-Distribution Detection in Deep RL via Transition Estimation
Nanyang Technological University（南洋理工大学）
本文针对深度强化学习中分布外执行定义不明确的问题，基于马尔可夫决策过程的转移分布提出OOD转移定义，并利用条件变分自编码器近似转移动态，构建基于重构损失的一致性检测器，以预定置信水平保证OOD检测。
2025-03-07 cs.LG
When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Stony Brook University（石溪大学）；Rutgers University（罗格斯大学）
针对Dyna风格强化学习中估计模型不准确导致效率下降的问题，提出分布外数据过滤器以移除偏离真实环境的模拟数据，理论上提升数据质量，并在MBPO算法实验中证明其能用更少交互达到更高最优性。
2024-10-16 cs.LG cs.SY eess.SY
Fostering Intrinsic Motivation in Reinforcement Learning with Pretrained Foundation Models
TECNALIA（泰克纳尔利亚科技公司）；University of the Basque Country（巴斯克大学）
本文研究如何利用 CLIP 等基础模型的预训练嵌入为强化学习提供内在动机，并证明完整状态信息和情节新颖性项能显著提升 MiniGrid 中的样本效率与学习速度。
2024-11-25 cs.AI cs.LG
Pretrained Visual Representations in Reinforcement Learning
University of Lincoln（林肯大学）
比较视觉强化学习中从头训练CNN与使用预训练视觉表示（PVR）的性能，发现PVR能减少缓冲区大小并加快训练，且休眠比率与模型性能强相关。
2024-07-24 cs.LG cs.RO
Contextual Conservative Q-Learning for Offline Reinforcement Learning
离线强化学习是一种在离线数据集上无需在线交互的有效学习策略，由于其潜在的实际应用前景而受到了持续的研究关注。然而，由于分布偏移而产生的外推误差仍会导致离线策略对过渡到分布外（out-of-distribution，OOD）状态的动作估计过高，从而降低了离线策略的可靠性和鲁棒性。在本文中，我们提出了上下文保守的Q学习（C-CQL）学习一个鲁棒可靠的政策，通过捕获的上下文信息通过逆动力学模型。由于扰动状态是OOD状态的一种常见类型，在逆动力学模型的监督下，它倾向于学习在扰动状态下产生稳定过渡的策略。以这种方式，我们使学习的策略更有可能生成过渡，该过渡的目的是离线数据集的经验下一个状态分布，即，稳定可靠的过渡。此外，我们从理论上揭示了C-CQL是保守Q学习（CQL）和积极状态偏差校正（SDC）的推广。最后，实验结果表明，所提出的C-CQL在大多数离线Mujoco套件和嘈杂的Mujoco设置的环境中实现了最先进的性能。
2023-01-16 cs.AI cs.LG cs.RO
Offline Guarded Safe Reinforcement Learning for Medical Treatment Optimization Strategies
Emory University（埃默里大学）；Tokyo University of Agriculture and Technology（东京农工大学）；LY Corporation；Norwegian University of Science and Technology（挪威科技大学）
针对离线强化学习在医疗中的分布外风险，提出OGSRL框架，通过OOD守护者和安全成本约束双重机制，在保证安全的同时改进治疗策略，并具备理论上的安全与接近最优性保证。
2025-05-22 cs.LG cs.SY eess.SY
Arithmetic Actor Heads and Training Stabilization for Out-of-Distribution Reinforcement Learning
Central South University（中南大学）
针对分布外幅度变化导致RL策略退化问题，基于SAC和BAPR提出CS-BAPR家族，结合六种训练稳定化设置与多种算术Actor头（NAU、KAN、MLP）以提升鲁棒性。
2026-10-20 cs.LG
A Unified Taxonomy and Evaluation Framework for Distributional Shifts in Reinforcement Learning
IMT Atlantique（IMT大西洋）；Flinders University（弗林德斯大学）；IRL Crossing；Priori Analytica；CNRS（法国国家科学研究中心）
提出一种统一因果起源分类法，将强化学习中的分布偏移按因果来源（内部/外部）和时间边界（显式/隐式/混合）分类，统一了分布内/外泛化与非平稳性分析。
2026-11-10 cs.AI cs.LG
CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning
Salesforce Research（Salesforce研究院）
程序合成或代码生成的目的是生成满足问题规格说明的程序。最近使用大规模预训练语言模型（LM）的方法已经显示出有希望的结果，但它们有一些关键的限制。特别是，他们经常遵循一个标准的监督微调过程，训练一个代码生成模型，只从自然语言的问题描述和地面实况程序对。这种范式在很大程度上忽略了问题规范中一些重要但潜在有用的信号，如单元测试，因此在解决复杂的看不见的编码任务时往往导致性能低下。为了解决这些局限性，我们提出了“CodeRL”，这是一个通过预训练的LM和深度强化学习（RL）进行程序合成任务的新框架。具体来说，在训练过程中，我们把代码生成LM作为一个演员网络，并引入一个评论家网络，该网络被训练来预测生成的程序的功能正确性，并提供密集的反馈信号的演员。在推理过程中，我们引入了一个新的生成过程中的关键抽样策略，允许模型自动再生程序的基础上，从例子单元测试和评论家的分数反馈。对于模型骨干，我们扩展了CodeT 5的编码器-解码器架构，增强了学习目标，更大的模型大小和更好的预训练数据。我们的方法不仅在具有挑战性的APPS基准测试中获得了新的SOTA结果，而且在更简单的MBPP基准测试中获得了新的SOTA结果，显示了强大的zero-shot传输能力。
2022-11-03 cs.CL cs.LG cs.PL
Diverse Randomized Value Functions: A Provably Pessimistic Approach for Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
针对离线RL中OOD动作的值估计不可靠问题，提出多样化随机化值函数与多样性正则化，以更少网络实现LCB悲观惩罚，并在理论和实验上验证其性能与参数效率。
2024-04-09 cs.AI cs.LG
Temporal Distance-aware Transition Augmentation for Offline Model-based Reinforcement Learning
Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学）；Department of Intelligent Semiconductors, Soongsil University, Seoul, South Korea（智能半导体系，顺斯大学）
针对离线基于模型强化学习在稀疏奖励长视野任务中表现不佳的问题，提出TempDATA框架，在时间结构化潜在空间生成增强转换并学习捕捉时间距离的潜在抽象，在多个基准上取得更优性能。
2025-05-19 cs.AI cs.LG cs.RO
CS-GBA: A Critical Sample-based Gradient-guided Backdoor Attack for Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；SJTU Paris Elite Institute of Technology（上海交通大学巴黎精英技术学院）
CS-GBA提出了一种基于关键样本的梯度引导后门攻击方法，通过优化攻击预算和隐蔽性，有效对抗安全约束算法。
2026-01-15 cs.LG
DiDrive: A Risk-Aware Hierarchical Diffusion Framework for Safe Offline Reinforcement Learning in Autonomous Driving
College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院）；Maynooth International College of Engineering, Fuzhou University（福州大学梅努斯国际工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对离线强化学习在自动驾驶中面临的分布偏移等挑战，提出含RHDif架构与3DICE范式的DiDrive框架，在CARLA基准的高密度交通场景中表现优于基线，为安全自动驾驶决策提供稳健路径。
2026-09-03 cs.LG cs.RO
Interactive Distillation for Cooperative Multi-Agent Reinforcement Learning
Minwoo Cho；Batuhan Altundas；Matthew Gombolay
HINT通过交互式蒸馏框架提升多智能体协作强化学习的性能，采用分层强化学习和伪非策略方法，在复杂任务中实现显著的成功率提升。
2026-01-08 cs.LG cs.MA
