Synthetic Data is Sufficient for Zero-Shot Visual Generalization from Offline Data
University College London AI Centre（伦敦大学学院人工智能中心）
本文提出一种两步合成数据生成方法，先增强原始离线数据再在潜在空间用扩散模型生成额外数据，在不改动现有离线RL算法的前提下显著提升视觉策略的零样本泛化能力。
2025-08-17 cs.AI cs.CV cs.LG
Exploiting Generalization in Offline Reinforcement Learning via Unseen State Augmentations
Georgia Institute of Technology（佐治亚理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Southern California（南加州大学）
本文提出一种未见状态增强策略，通过对已见状态进行价值引导扰动并利用认知不确定性过滤，使离线强化学习能够在模型和价值估计可泛化的区域利用未见状态，从而在多个任务中实现更保守的Q值估计和性能提升。
2023-09-24 cs.AI cs.LG stat.ML
Compositional Conservatism: A Transductive Approach in Offline Reinforcement Learning
Seoul National University（首尔大学）
针对离线RL的分布偏移问题，本文提出COCOA，通过逆向动力学模型在直推重参数化的组合输入空间中实现与行为保守性正交的保守性，并在D4RL上验证其可稳定提升四种SOTA算法。
2024-04-06 cs.AI cs.LG cs.RO
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University（麦吉尔大学）；Quebec AI Institute（魁北克人工智能研究所）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
强化学习（RL）代理被广泛用于解决复杂的顺序决策任务，但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明，使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力，即使用自监督学习（SSL），但它们在离线RL设置中挣扎，即从静态数据集学习。我们发现，在RL的泛化在线算法的性能可能会受到阻碍，由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架，称为广义相似性函数（GSF），它使用对比学习训练离线RL代理聚合观察的基础上，他们的预期未来行为的相似性，在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明，GSF是一般的，足以恢复现有的SSL目标，同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试，离线Procgen。
2021-11-29 cs.AI cs.LG
Offline Reinforcement Learning with Behavioral Supervisor Tuning
Imperial College London（帝国理工学院）
提出TD3-BST算法，通过训练不确定性模型引导策略在数据集支持范围内选择动作，无需针对数据集调整超参数即可在基准测试中取得最佳性能。
2024-07-27 cs.AI cs.LG
Towards Instance-Optimal Offline Reinforcement Learning with Pessimism
UC Santa Barbara（加州大学圣巴巴拉分校）
我们研究了离线强化学习（offline RL）问题，其目标是使用来自策略$μ$的数据在未知的马尔可夫决策过程（MDP）中学习一个奖励最大化策略.特别是，我们认为离线RL的样本复杂性问题的有限时域MDPs。以往的研究工作基于不同的数据覆盖假设来研究这个问题，并且它们的学习保证由覆盖系数来表示，而覆盖系数缺乏系统量的显式表征。在这项工作中，我们分析了自适应Pessibility Value Iteration（APVI）算法，并推导出次优上界，几乎匹配\[ O\left(\sum_{h=1}^H\sum_{s_h,a_h}d^{π^\star}_h(s_h,a_h)\sqrt{\frac{\mathrm{Var}_{P_{s_h,a_h}}{(V^\star_{h+1}+r_h)}}{d^μ_h(s_h,a_h)}}\sqrt{\frac{1}{n}}\right). \]在补充，我们还证明了每个实例的信息理论下界下的弱假设，$d^μ_h(s_h,a_h)>0$如果$d^{π^\star}_h(s_h,a_h)>0$。与前面的极大极小下界不同，每个实例的下界（通过局部极大极小）是一个更强的标准，因为它分别适用于单个实例。这里，$π^\star$是最优策略，$μ$是行为策略，$d_h^μ$是边际状态-动作概率。我们将上述方程称为内在离线强化学习界，因为它直接包含了所有现有的最优结果：均匀…
2021-10-17 cs.AI cs.LG stat.ML
Offline RL Policies Should be Trained to be Adaptive
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
离线RL算法必须考虑这样一个事实，即它们提供的数据集可能会使环境的许多方面未知。应对这一挑战的最常见方法是采用悲观或保守的方法，避免与训练数据集中的行为太不相似的行为。然而，完全依赖保守主义也有缺点：绩效对保守主义的确切程度很敏感，保守目标可以恢复高度次优的政策。在这项工作中，我们建议离线RL方法在存在不确定性的情况下应该是自适应的。我们表明，在贝叶斯意义上的离线RL中采取最佳行动涉及解决隐式POMDP。因此，离线RL的最佳策略必须是自适应的，这不仅取决于当前状态，而是所有的过渡到目前为止看到evaluation.We提出了一个无模型的算法近似这种最佳的自适应策略，并证明了学习这种自适应策略的离线RL基准的有效性。
2022-07-05 cs.AI cs.LG stat.ML
Enhancing Robustness of Offline Reinforcement Learning Under Data Corruption via Sharpness-Aware Minimization
本文提出通过尖锐意识最小化提升离线强化学习在数据腐蚀下的鲁棒性，通过整合SAM优化器改进IQL和RIQL算法，在D4RL基准测试中显著提升性能。
2025-11-14 cs.AI cs.LG
Revisiting the Minimalist Approach to Offline Reinforcement Learning
Tinkoff
针对离线强化学习中微小设计选择对基线影响研究不足的问题，提出在TD3+BC基础上集成此类设计元素的极简算法ReBRAC，在多个基准上达到无集成方法的最优性能。
2023-10-24 cs.AI cs.LG
Mildly Conservative Regularized Evaluation for Offline Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（新castle大学工程学院）
针对离线强化学习中的分布偏移与过估计问题，提出MCRE框架和MCRQ算法，通过在Bellman backup中结合TD误差与行为克隆项平衡保守性与性能，在基准数据集上优于现有强基线算法。
2025-08-08 cs.AI cs.LG
Belief-Based Offline Reinforcement Learning for Delay-Robust Policy Optimization
Northwestern University（西北大学）；University of Southampton（南安普顿大学）
DT-CORL通过基于信念的变压器预测器和约束离线强化学习框架，实现延迟鲁棒的策略优化，提升仿真到现实的迁移性能。
2026-02-11 cs.AI cs.LG
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Macquarie University（麦考瑞大学）
我们考虑一个离线强化学习（RL）设置，其中代理需要从通过推出多个行为策略收集的数据集中学习。这种设置存在两个挑战：1）由于不同行为策略引起的动作覆盖的变化，优化RL信号和行为克隆（BC）信号之间的最佳权衡在不同状态上变化。以前的方法无法通过仅控制全局权衡来处理这一点。2)对于给定的状态，不同行为策略生成的动作分布可能有多种模式。许多以前的方法中的BC正则化器是均值寻求的，导致在模式中间选择分布外（OOD）动作的策略。在本文中，我们通过使用自适应加权的反向Kullback-Leibler（KL）发散作为基于TD 3算法的BC正则化器来解决这两个挑战。我们的方法不仅用每个状态的权重来权衡RL和BC信号（即，在具有窄动作覆盖的状态上进行强BC正则化，反之亦然），而且由于反向KL的模式搜索特性，还避免了选择OOD动作。从经验上讲，我们的算法可以优于现有的离线RL算法在MuJoCo运动任务与标准的D4 RL数据集，以及混合数据集，结合标准数据集。
2022-12-05 cs.AI cs.LG stat.ML
Diffusion World Model: Future Modeling Beyond Step-by-Step Rollout for Offline Reinforcement Learning
Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta
提出Diffusion World Model（DWM），通过单次前向传播同时预测多步未来状态与奖励，集成于离线强化学习的值估计，在D4RL上较一步模型提升44%性能。
2024-10-15 cs.AI cs.LG
Pessimistic Value Iteration for Multi-Task Data Sharing in Offline Reinforcement Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern University（西北大学）；Tianjin University（天津大学）；Yale University（耶鲁大学）；Northwestern Polytechnical University（西北工业大学）
本文提出基于不确定性的多任务数据共享方法，通过悲观值迭代统一单任务与多任务离线强化学习，理论证明其最优性差距仅取决于共享数据覆盖范围，并在三个挑战性领域上超越现有方法。
2024-04-30 cs.AI cs.LG
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara（加州大学圣巴巴拉分校）；Princeton（普林斯顿大学）
离线强化学习试图利用离线/历史数据来优化顺序决策策略，在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势，现有的努力通常会强制使用强大的函数表示模型（例如，神经网络）来学习最佳策略。然而，精确理解函数表示的统计极限仍然是难以捉摸的，即使这样的表示是线性的。为了实现这一目标，我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界，我们设计了方差感知的悲观值迭代（VAPVI），它采用时间非齐次的情节线性马尔可夫决策过程（MDP）的价值函数的条件方差信息. VAPVI利用价值函数的估计方差，在最小二乘悲观值迭代中对Bellman残差进行重新加权，并在最知名的现有结果上提供改进的离线学习边界（而Bellman残差通过设计进行了同等加权）。更重要的是，我们的学习边界表示的系统数量，这提供了自然的实例依赖的特征，以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
Offline Meta Learning of Exploration
Technion（以色列理工学院）
考虑以下离线Meta强化学习（OMRL）问题的实例：给定$N$传统RL代理的完整训练日志，在$N$不同任务上训练，设计一个元代理，可以快速最大化来自相同任务分布的新的、看不见的任务的奖励。特别是，虽然每个传统的RL代理都探索和利用了自己不同的任务，但元代理必须识别数据中导致在看不见的任务中进行有效探索/利用的错误。在这里，我们采用贝叶斯RL（BRL）视图，并试图从离线数据中学习贝叶斯最优策略。基于最近的VariBAD BRL方法，我们开发了一种基于自适应神经信念估计的离线BRL方法，该方法学习规划探索策略。然而，学习从离线数据中推断这样的信念带来了一个新的可识别性问题，我们称之为MDP模糊性。我们描述了问题的特征，并通过数据汇集和修改程序提出了解决方案。最后，我们评估了我们的框架在不同的领域，包括困难的稀疏奖励任务，并证明学习有效的探索行为，这是定性不同的探索由任何RL代理在数据中。
2021-02-12 cs.AI cs.LG stat.ML
Revisiting Bellman Errors for Offline Model Selection
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）
本文重新审视基于贝尔曼误差的离线模型选择，解释先前悲观结果的原因，提出更准确的MSBE估计器，并在Atari等离散控制任务上取得优异性能。
2023-06-06 cs.AI cs.LG stat.ML
Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning
Duke University（杜克大学）
针对分布鲁棒离线强化学习，提出在线性参数化设定下实现函数逼近的极小极大最优与计算高效算法，并开创实例依赖的次优性分析，揭示了鲁棒离线RL中函数逼近的独特性与难度。
2025-03-03 cs.AI cs.LG stat.ML
See Me, Believe Me: Causality, Intersectionality, and Interventions Improving the Appearance of Patients
Brown University（布朗大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本研究构建结构化因果模型（SCM）探究医疗记录中证言不公的人口统计特征交叉性，通过有选择性编辑医生记录或用LLM修改，发现针对性编辑可改善患者经历感知、转移责任至外部因素。
2026-08-11 cs.AI cs.LG
What are the Statistical Limits of Offline RL with Linear Function Approximation?
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Washington, Seattle（西雅图华盛顿大学）；Microsoft Research（微软研究院）
离线强化学习试图利用离线（观察）数据来指导（因果）顺序决策策略的学习。希望离线强化学习与函数逼近方法（处理维数灾难）相结合，可以提供一种方法来帮助减轻现代顺序决策问题中过度的样本复杂性负担。然而，在何种程度上，这种更广泛的方法可以是有效的是没有得到很好的理解，在文献中主要是由充分的条件。这项工作的重点是什么是必要的代表性和分布条件，允许可证明的样本有效的离线强化学习的基本问题。也许令人惊讶的是，我们的主要结果表明，即使：i）我们具有可实现性，因为\emph{every}策略的真价值函数在给定的特征集合中是线性的，以及2）我们的非策略数据在所有特征上具有良好的覆盖（在强光谱条件下），那么任何算法（信息理论上）需要在问题范围内呈指数的多个离线样本，以便非平凡地估计给定策略的\emph{any}的值。我们的研究结果强调，样本有效的离线政策评估是根本不可能的，除非显着更强的条件下举行，这样的条件包括要么具有低分布偏移（离线数据分布接近的政策的分布进行评估）或显着更强的代表性条件（超出可实现性）。
2020-10-22 cs.AI cs.LG math.OC
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale
Google Deepmind（谷歌DeepMind）；University of Southern California（南加州大学）
针对不完美专家离线演示如何引导 MDP 在线学习的问题，提出 iPSRL 分析算法及可计算的 iRLSVI，将 RLSVI 与模仿学习结合，并显著降低贝叶斯遗憾。
2023-07-16 cs.AI cs.LG
Data-Driven Offline Decision-Making via Invariant Representation Learning
UC Berkeley（加州大学伯克利分校）
离线数据驱动决策的目标是使用先前收集的静态数据集，在没有主动交互的情况下，综合优化黑盒效用函数的决策。这些问题以多种形式出现：离线强化学习（RL），我们必须产生优化长期奖励的行动，从记录的数据中产生强盗，目标是确定正确的手臂，以及离线基于模型的优化（MBO）问题，我们必须找到最佳设计，只提供对静态数据集的访问。所有这些设置中的一个关键挑战是分布偏移：当我们对从离线数据训练的模型的输入进行优化时，很容易产生一个错误地看起来很好的分布外（OOD）输入。与利用悲观主义或保守主义来解决这个问题的现有方法相反，在本文中，我们将离线数据驱动的决策制定为领域自适应，其目标是在仅对数据集（“源域”）进行训练时，对优化决策（“目标域”）的值进行准确预测。这种观点导致了不变目标模型（IOM），我们通过在训练数据集的学习表示和优化决策之间强制执行不变性来解决分布偏移的方法。在IOM中，如果优化的决策与训练数据集差异太大，表示将被迫丢失大部分区分好设计和坏设计的信息，使所有选择看起来都很平庸。重要的是，当优化器意识到这种代表性的权衡时，它应该选择不要偏离训练分布太远，从而导致分布偏移和学习性能之间的自然权衡。
2022-11-25 cs.AI cs.LG
MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning
Harbin Engineering University（哈尔滨工程大学）
针对离线多目标强化学习对分布外偏好泛化不足的问题，提出基于扩散模型与滑动引导的MODULI方法，生成对齐偏好的轨迹，在D4MORL基准上超越现有基线。
2025-05-27 cs.AI cs.LG
On Sample-Efficient Offline Reinforcement Learning: Data Diversity, Posterior Sampling, and Beyond
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出数据多样性概念，统一版本空间、正则化优化和后验采样三类离线RL算法，证明它们在标准假设下样本效率可比，并首次提出具有频率派次优性界的无模型后验采样算法。
2024-02-06 cs.AI cs.LG stat.ML
Generative Pretraining for Black-Box Optimization
University of California, Los Angeles（加州大学洛杉矶分校）
针对高维黑盒优化中离线数据预训练方法泛化性不足的问题，提出生成式框架BONET，通过自回归模型和单调轨迹采样预训练优化器，在Design-Bench上取得最优平均表现。
2023-08-21 cs.AI cs.LG
DmC: Nearest Neighbor Guidance Diffusion Model for Offline Cross-domain Reinforcement Learning
Applied Artificial Intelligence Initiative, Deakin University（应用人工智能倡议，德肯大学）；AI Center, VNPT Media, Vietnam（人工智能中心，越南VNPT媒体）
DmC提出利用k近邻估计域接近度并引导扩散模型生成对齐源样本，解决有限目标数据下跨域离线强化学习的数据不平衡和部分域重叠问题，显著提升性能。
2025-10-27 cs.AI cs.LG
MESA: Offline Meta-RL for Safe Adaptation and Fault Tolerance
安全探索对于在风险敏感环境中使用强化学习（RL）至关重要。最近的工作学习风险措施，衡量违反约束的概率，然后可以用来实现安全。然而，学习这样的风险措施，需要与环境的显着互动，导致过度的约束违反在学习过程中。此外，这些措施不容易转移到新的环境。我们将安全探索作为离线元RL问题，其目标是利用各种环境中安全和不安全行为的示例，快速将学习到的风险措施适应具有以前看不见的动态的新环境。然后，我们提出了安全适应的元学习（MESA），这是一种元学习安全RL风险度量的方法。跨5个连续控制域的仿真实验表明，MESA可以利用来自一系列不同环境的离线数据，在保持任务性能的同时，将看不见的环境中的约束违反减少到2倍。有关代码和补充材料，请参见https://tinyurl.com/safe-meta-rl。
2021-12-07 cs.AI cs.LG cs.RO
State-Constrained Offline Reinforcement Learning
Mathematics Institute, University of Warwick（沃里克大学数学研究所）；Warwick Manufacturing Group, University of Warwick（沃里克大学制造集团）；Department of Statistics, University of Warwick（沃里克大学统计系）；Alan Turing Institute, London, UK（艾伦·图灵研究所）
提出状态约束的离线强化学习框架，允许策略采取导致分布内状态的分布外动作，并基于理论提出深度学习算法StaCQ，在D4RL基准上达到最先进性能。
2025-07-14 cs.AI cs.LG stat.ML
The In-Sample Softmax for Offline Reinforcement Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Oxford（牛津大学）
针对离线强化学习中分布外动作导致的自举高估问题，提出样本内 softmax 及其 Actor-Critic 算法，证明其收敛性并取得优于或可比现有方法的效果。
2023-04-19 cs.AI cs.LG
Age of Semantics in Cooperative Communications: To Expedite Simulation Towards Real via Offline Reinforcement Learning
VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）；Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）；Auburn University（奥本大学）；University of Electro-Communications（电气通信大学）；University of Oulu（奥卢大学）
信息年龄度量不能正确描述状态更新的内在语义。在智能反射面辅助协作中继通信系统中，我们提出了语义年龄（AoS）来衡量状态更新的语义新鲜度。具体来说，我们专注于从源节点（SN）到目的地，这是制定为一个马尔可夫决策过程（MDP）的状态更新。SN的目标是在最大发射功率约束下最大化AoS和能量消耗的预期满意度。为了寻求最优控制策略，我们首先在策略时间差学习框架下推导出在线深度行动者-批评者（DAC）学习方案。然而，在实践中实施在线DAC在SN和系统之间无限重复的相互作用中提出了关键挑战，这可能是危险的，特别是在勘探期间。然后，我们提出了一种新的离线DAC计划，估计最优控制政策，从以前收集的数据集没有任何进一步的互动与系统。数值实验验证了理论结果，并表明，我们的离线DAC计划显着优于在线DAC计划和最具代表性的基线方面的平均效用，表现出强大的鲁棒性数据集的质量。
2022-09-19 cs.AI cs.LG
How to Leverage Unlabeled Data in Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
离线强化学习（RL）可以从静态数据集学习控制策略，但与标准RL方法一样，它需要对每个转换进行奖励注释。在许多情况下，用奖励来标记大型数据集可能是昂贵的，特别是如果这些奖励必须由人类标记者提供，而收集各种未标记的数据可能相对便宜。我们如何在离线RL中最好地利用这些未标记的数据？一个自然的解决方案是从标记的数据中学习一个奖励函数，并用它来标记未标记的数据。在本文中，我们发现，也许令人惊讶的是，一个简单得多的方法，简单地应用零奖励未标记的数据导致有效的数据共享在理论和实践中，而无需学习任何奖励模型。虽然这种方法一开始看起来很奇怪（也不正确），但我们提供了广泛的理论和实证分析，说明了它如何权衡奖励偏差，样本复杂性和分布变化，通常会产生良好的结果。我们描述了这种简单策略有效的条件，并进一步表明，用一个简单的重新加权方法扩展它可以进一步减轻使用不正确的奖励标签引入的偏见。我们的实证评估证实了这些研究结果在模拟机器人运动，导航和操作设置。
2022-07-08 cs.AI cs.LG cs.RO
ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion
Nanyang Technological University（南洋理工大学）
提出ParetoPilot，一种无需外部代理模型的零代理扩散框架，通过推断-扰动-引导引擎在无条件去噪步骤中隐式推断目标方向、正交化并行引力场和边缘感知排斥力，实现离线多目标优化的帕累托最优设计。
2026-07-07 cs.AI cs.LG cs.NE
Efficient Online Reinforcement Learning with Offline Data
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）
本文证明通过最小修改现有离策略RL算法即可有效利用离线数据提升在线学习效率，并通过消融实验给出实用建议，在多个基准上实现2.5倍性能提升且无额外计算开销。
2023-05-31 cs.AI cs.LG
Imagination-Limited Q-Learning for Offline Reinforcement Learning
East China Normal University（华东师范大学）；Fudan University（复旦大学）
针对离线强化学习中分布外动作价值估计过乐观的问题，提出想象受限Q学习方法，通过动力学模型想象并裁剪OOD动作价值，在理论上证明收敛性与误差界特性，在D4RL基准上取得最优性能。
2025-05-18 cs.AI cs.LG
Is Value Functions Estimation with Classification Plug-and-play for Offline Reinforcement Learning?
ETH Zürich（苏黎世联邦理工学院）
本文实证研究了在离线强化学习中用交叉熵分类目标替代均方误差回归的影响，发现该替换对不同算法和任务的效果差异显著，对其实际应用具有重要指导意义。
2024-11-16 cs.AI cs.LG
Diffusion Policies creating a Trust Region for Offline Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对扩散Q学习训练推理慢、加速易降性能的问题，提出含扩散策略与单步策略的DTQL双策略方法，通过扩散信任域损失关联二者，在多数D4RL基准任务上性能更优且训练推理效率更高。
2024-10-31 cs.AI cs.LG
(Re)$^2$H2O: Autonomous Driving Scenario Generation via Reversely Regularized Hybrid Offline-and-Online Reinforcement Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
针对自动驾驶测试场景生成需求，提出(Re)$^2$H2O反向正则化混合离线-在线强化学习方法，结合真实与仿真数据优势，生成更多样且具对抗性的高风险场景，可泛化多模型并用于AV性能微调。
2023-06-10 cs.AI cs.LG
Agent-Controller Representations: Principled Offline RL with Rich Exogenous Information
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；University of Montreal（蒙特利尔大学）；Quebec AI Institute（魁北克人工智能研究所）；Beijing Institute of Technology（北京理工大学）；Meta；Microsoft Research（微软研究院）；McGill University（麦吉尔大学）
针对像素观测中复杂时变外生信息干扰离线RL的问题，本文提出基于多步逆模型的ACRO表示学习方法，并通过新基准从理论和实验验证其显著优于基线。
2023-08-14 cs.AI cs.CV cs.LG
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University（南京大学）
本文提出算法依赖型可学习性，设计轨迹学习框架，提出UGTL方法，在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25，验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
Double Pessimism is Provably Efficient for Distributionally Robust Offline Reinforcement Learning: Generic Algorithm and Robust Partial Coverage
Stanford University（斯坦福大学）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
本文提出适用于分布鲁棒离线强化学习的双重悲观原理及通用算法框架$P^2MPO$，证明其在鲁棒部分覆盖数据下样本高效，还拓展至鲁棒马尔可夫博弈求解鲁棒纳什均衡。
2023-08-22 cs.AI cs.LG math.OC
Bridging Offline Reinforcement Learning and Imitation Learning: A Tale of Pessimism
UC Berkeley（加州大学伯克利分校）；University of Chicago（芝加哥大学）
提出一种统一模仿学习与离线RL的新框架，基于悲观主义的LCB算法能适应未知数据组成，在近专家数据集上实现更快的1/N收敛速率，并在上下文老虎机和MDPs中展现自适应最优性。
2023-07-03 cs.AI cs.LG math.OC
Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning
University of Durham（杜伦大学）
本研究将测试时训练框架应用于离线强化学习，提出决策泰坦模型，在X-Maze环境中验证其能学习超出上下文窗口20倍的长期依赖，并揭示时间嵌入与信息编码对泛化能力的关键影响。
2026-10-02 cs.AI cs.LG
Synthetic Experience Replay
University of Oxford（牛津大学）
本文提出基于扩散模型的合成经验回放方法SynthER，通过对有限经验进行上采样，在离线和在线强化学习设置中提升样本效率与训练效果，无需修改算法即可支持更大网络训练。
2023-10-27 cs.AI cs.LG stat.ML
