Offline Adaptation of Quadruped Locomotion using Diffusion Models
Oxford Robotics Institute, Department of Engineering Science, University of Oxford（牛津机器人研究所、工程科学系、牛津大学）
本文提出首个将无分类器引导扩散模型应用于四足运动的框架，实现多技能插值与训练后离线适应新行为，并可在ANYmal机器人机载CPU上高效运行。
2025-06-03 cs.AI cs.LG cs.RO
ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control
Tel Aviv University（特拉维夫大学）；Lightricks（Lightricks公司）；Adobe Research（Adobe研究）
ParetoSlider提出多目标强化学习框架，通过连续变化的偏好权重训练单个扩散模型，实现推理时对冲突目标的精细控制。
2026-04-22 cs.CV cs.LG
Pareto Continual Learning: Preference-Conditioned Learning and Adaption for Dynamic Stability-Plasticity Trade-off
City University of Hong Kong（香港城市大学）；HK Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of Science and Technology of China（中国科学技术大学）
本文提出 ParetoCL 框架，将持续学习中的稳定性-可塑性权衡转化为多目标优化问题，通过偏好条件化模型学习 Pareto 最优解集，实现推理期间的动态适应，优于现有方法。
2025-03-30 cs.AI cs.LG
Swapped goal-conditioned offline reinforcement learning
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
离线目标条件强化学习（GCRL）由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能，我们提出了一个目标交换过程，生成额外的轨迹。为了减轻噪声和外推误差的问题，我们提出了一种通用的离线强化学习方法，称为确定性Q优势策略梯度（DQAPG）。在实验中，DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法，目标交换进一步改善了测试结果。值得注意的是，所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能，而先前的方法失败了。
2023-02-17 cs.AI cs.LG
ParetoHqD: Fast Offline Multiobjective Alignment of Large Language Models using Pareto High-quality Data
ParetoHqD通过利用帕累托高质量数据实现大语言模型的多目标对齐，提升对齐效果和效率。
2025-12-29 cs.CL cs.LG
Rethinking Goal-conditioned Supervised Learning and Its Connection to Offline RL
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；Eindhoven University of Technology（埃因霍温理工大学）；King’s College London（伦敦国王学院）；Tencent Robotics X（腾讯机器人实验室）
使用自监督学习解决具有稀疏奖励的目标条件任务是有希望的，因为其简单性和稳定性优于当前的强化学习（RL）算法。最近的一项工作，称为目标条件监督学习（GCSL），提供了一个新的学习框架，通过迭代重新标记和模仿自我生成的经验。在本文中，我们重新审视GCSL的理论属性-优化的目标达到目标的下限，并扩展GCSL作为一种新的离线目标条件强化学习算法。所提出的方法被称为加权GCSL（WGCSL），其中我们引入了一个先进的复合权重，包括三个部分（1）折扣权重的目标重新标记，（2）目标条件指数优势权重，（3）最佳优势权重。理论上，WGCSL被证明优化的目标条件RL目标的等价下界，并通过迭代方案产生单调改进的政策。单调属性适用于任何行为策略，因此WGCSL可以应用于在线和离线设置。为了评估离线目标条件RL设置中的算法，我们提供了一个基准，包括一系列点和模拟机器人域。在引入的基准测试的实验表明，WGCSL可以始终优于GCSL和现有的国家的最先进的离线方法在完全离线的目标条件设置。
2022-02-14 cs.AI cs.LG
What is Essential for Unseen Goal Generalization of Offline Goal-conditioned RL?
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
本文研究离线GCRL对未见目标的OOD泛化，结合实证发现与理论分析提出GOAT，并在含9个IID和17个OOD任务的新基准上显著超越现有方法。
2023-06-02 cs.AI cs.LG
How Far I'll Go: Offline Goal-Conditioned Reinforcement Learning via $f$-Advantage Regression
University of Pennsylvania（宾夕法尼亚大学）
离线目标条件强化学习（GCRL）承诺以从纯离线数据集达到不同目标的形式进行通用技能学习。我们提出了$\textbf{Go}$ al-条件$f$ - $\textbf{A}$优势$\textbf{R}$回归（GoFAR），一种新的基于回归的离线GCRL算法来自状态占用匹配的角度来看，关键的直觉是，达到目标的任务可以制定为一个动态遵守模仿者代理和专家代理之间的状态占用匹配问题，直接传送到目标。与之前的方法相比，GoFAR不需要任何事后重新标记，并且对其价值和政策网络进行了无交错优化。这些独特的功能赋予GoFAR更好的离线性能和稳定性以及统计性能保证，这是以前的方法无法实现的。此外，我们证明了GoFAR的训练目标可以重新调整，从纯粹的离线源域数据中学习一个独立于代理的目标条件规划器，这使得zero-shot转移到新的目标域。通过大量的实验，我们验证了GoFAR在各种问题设置和任务中的有效性，显着优于现有的最先进的。值得注意的是，在一个真正的机器人灵巧的操作任务，而没有其他方法取得有意义的进展，GoFAR获得复杂的操作行为，成功地实现了不同的目标。
2022-11-10 cs.AI cs.LG
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
OGBench: Benchmarking Offline Goal-Conditioned RL
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
针对离线目标条件强化学习缺乏标准基准的问题，提出包含8类环境、85个数据集及6种算法参考实现的OGBench，可评估算法拼接、长horizon推理等能力，揭示其优缺点以助力新算法研发。
2025-02-13 cs.AI cs.LG
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Syracuse University（雪城大学）
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题，提出CauCRL算法，通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models
University of Warwick（华威大学）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；University of Liverpool（利物浦大学）
针对无模型离线目标条件强化学习在数据有限和泛化未见目标上的局限，提出基于模型的GOPlan框架，通过优势加权条件GAN预训练先验策略、用学习模型规划生成想象数据微调策略，在多任务中取得最优性能且小数据和分布外目标泛化能力更强。
2024-05-16 cs.AI cs.LG
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Goal-conditioned Offline Planning from Curious Exploration
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文针对无额外环境交互的离线场景，提出将基于模型的规划与基于图的价值聚合相结合，以纠正目标条件价值函数中的估计伪影，从而显著提升零样本目标到达性能。
2023-11-28 cs.AI cs.LG
Diversity-Driven Offline Multi-Objective Optimization via Nested Pareto Set Learning
Shanghai Institute of AI for Education（上海人工智能教育研究院）；School of Computer Science（计算机科学学院）；East China Normal University（华东师范大学）；Shanghai Innovation Institute（上海创新研究院）
针对离线多目标优化中的分布外问题，提出DOMOO方法，通过累积风险控制、嵌套帕累托集学习和多样性驱动选择策略，在合成和真实基准上实现了收敛性和多样性的最佳平均排名。
2026-06-16 cs.LG
Goal-Conditioned Predictive Coding for Offline Reinforcement Learning
Brown University（布朗大学）
本文提出目标条件预测编码（GCPC），通过两阶段框架利用序列模型编码轨迹表示并学习目标条件策略，在三个离线强化学习基准上验证了序列建模对决策任务的显著提升作用。
2023-10-28 cs.AI cs.LG
Offline Policy Learning via Skill-step Abstraction for Long-horizon Goal-Conditioned Tasks
Sungkyunkwan University（成均馆大学）
针对长时程目标条件任务中奖励稀疏的挑战，提出GLvSA框架，通过技能步骤抽象离线分解目标并分层学习策略，在迷宫和厨房环境中实现高效零样本与少样本适应。
2024-08-21 cs.AI cs.LG
Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
Centrum Wiskunde & Informatica (CWI)（数学和计算机科学中心（CWI））；Eindhoven University of Technology（埃因霍温理工大学）
该研究针对帕累托条件强化学习的帕累托条件网络，提出命令空间反事实解释方法CF-ZOO，通过边界种子方向搜索生成可操作的直观解释。
2026-08-18 cs.AI cs.HC cs.LG
GO-DICE: Goal-Conditioned Option-Aware Offline Imitation Learning via Stationary Distribution Correction Estimation
Rice University（莱斯大学）
针对现有离线模仿学习难以处理长时序任务、目标变化需重训练的问题，提出分层策略学习的GO-DICE方法，在平稳分布空间学习目标条件的子任务转换与执行策略，在Mujoco抓取任务中表现更优，还可利用不完美演示和部分分割提升性能。
2023-12-17 cs.AI cs.LG
Pareto-Optimal Offline Reinforcement Learning via Smooth Tchebycheff Scalarization
Profluent Bio, Inc.（Profluent生物公司）
本文提出STOMP算法，通过平滑切比雪夫标量化方法解决多目标强化学习中的非凸帕累托前沿问题，验证了其在蛋白质工程任务中的有效性。
2026-09-15 cs.AI cs.LG q-bio.BM
Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
School of Engineering, WestLake University（西湖大学工程学院）；University of Cambridge（剑桥大学）
针对离线到在线强化学习中的分布偏移问题，提出Q条件状态熵（QCSE）作为内在奖励，通过最大化状态熵并隐式实现状态边际匹配，提升在线微调性能，实验显示在CQL和Cal-QL上分别提升约13%和8%。
2024-05-28 cs.AI cs.LG
Provably Efficient Offline Goal-Conditioned Reinforcement Learning with General Function Approximation and Single-Policy Concentrability
UC Berkeley（加州大学伯克利分校）；Meta AI；UT Austin（德克萨斯大学奥斯汀分校）
本文针对离线目标条件强化学习，提出首个在通用函数逼近和单策略集中性假设下可证明高效且无需极小极大优化的算法，通过利用目标函数强凸性实现样本复杂度保证，并在真实环境中验证了优越性。
2023-10-11 cs.AI cs.LG
Improving Offline Goal-Conditioned Reinforcement Learning via Selective Reward Stimulation
The Hong Kong University of Science and Technology（香港科技大学）
针对离线目标条件强化学习中稀疏奖励和长时程依赖导致的奖励传播延迟问题，提出RSIQL方法，通过在进展中间状态引入额外奖励信号，以简单非分层结构提升性能，实验验证其优于目标条件IQL并媲美分层方法。
2026-09-18 cs.LG
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
Learning Goal-Conditioned Policies Offline with Self-Supervised Reward Shaping
Meta AI；Inria（法国国家信息与自动化研究所）
开发可以通过从预先收集的数据集学习来执行多种技能的代理是机器人技术中的一个重要问题，其中与环境的在线交互非常耗时。此外，为每一个期望的技能手动设计奖励函数是禁止的。先前的工作通过从离线数据集学习目标条件策略来应对这些挑战，而无需手动指定奖励，通过事后重新标记。这些方法遭受的问题稀疏的奖励，并在长期任务失败。在这项工作中，我们提出了一个新的自监督学习阶段的预收集的数据集，以了解模型的结构和动态，并形成一个密集的奖励函数离线学习策略。我们评估我们的方法在三个连续的控制任务，并表明我们的模型显着优于现有的方法，特别是在涉及长期规划的任务。
2023-01-05 cs.AI cs.LG cs.RO
Goal-Conditioned Data Augmentation for Offline Reinforcement Learning
McGill University（麦吉尔大学）
针对离线强化学习中次优数据集最优示范不足的问题，提出基于扩散模型的目标条件数据增强方法GODA，结合面向回报的目标条件、可控缩放及自适应门控机制生成高回报样本，在D4RL基准和交通信号控制任务上表现优于现有方法。
2025-09-02 cs.AI cs.LG cs.RO
Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea（首尔国立大学电气与计算机工程系）；Department of Automotive Engineering, Ajou University, Gyeonggi-do, South Korea（全州大学汽车工程系）
提出 Chain-of-Goals 分层策略 (CoGHP)，通过自回归生成潜在子目标序列，利用 MLP-Mixer 统一架构建模层次决策，在长视界任务中优于离线基线方法。
2026-06-23 cs.AI cs.LG
Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning
Seoul National University（首尔国立大学）
针对离线目标条件强化学习中价值函数错误泛化的瓶颈，提出潜在对齐价值学习（LAVL）算法，通过潜在表示价值泛化与分层规划的统一框架，在OGBench的22个数据集上20个取得最优性能。
2026-05-25 cs.LG
Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning
Department of Electrical and Computer Engineering (ECE), Seoul National University（电子与计算机工程系，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence (IPAI), Seoul National University（人工智能跨学科项目，首尔国立大学）；ASRI / INMC, Seoul National University（ASRI/INMC，首尔国立大学）
针对离线目标条件强化学习在长视野任务中高级策略生成子目标困难及优势估计符号错误的问题，提出选项感知时间抽象值学习（OTA），通过将时间抽象融入时间差分学习缩短有效视野，显著提升了高级策略在复杂基准任务上的性能。
2025-11-04 cs.AI cs.LG
A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets
International Research Center for Neurointelligence, The University of Tokyo（国际神经智能研究中心，东京大学）；ATR Neural Information Analysis Laboratories（ATR神经信息分析实验室）；Department of Information Science, Kyoto University（京都大学信息科学系）
本文研究了基于偏好条件的多目标强化学习，通过平滑Tchebycheff标量化方法证明了偏好与帕累托最优回报向量的唯一性和连续性，并提出CMDPI算法实现O(1/k)的收敛速度。
2026-05-09 cs.LG
Confidence-Conditioned Value Functions for Offline Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
本文提出置信度条件价值函数，使离线强化学习策略能在评估时动态调整保守程度，并在多个离散控制任务上优于现有保守离线RL算法。
2023-10-30 cs.AI cs.LG
Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation
Stanford University（斯坦福大学）；Robotics at Google（谷歌机器人部门）
我们研究的问题，学习一系列基于视觉的操作任务，从一个大型的离线数据集的机器人交互。为了实现这一目标，人类需要简单有效的方法来指定机器人的任务。目标图像是任务规范的一种流行形式，因为它们已经扎根于机器人的观察空间。然而，目标图像也有许多缺点：它们不便于人类提供，它们可能过度指定所需的行为，导致稀疏的奖励信号，或者在非目标达成任务的情况下指定任务信息不足。自然语言为任务规范提供了一种方便灵活的选择，但也带来了在机器人的观察空间中建立语言的挑战。为了可扩展地学习这种基础，我们建议利用离线机器人数据集（包括高度次优的，自主收集的数据）和众包的自然语言标签。有了这些数据，我们学习了一个简单的分类器，它可以预测状态的变化是否完成了语言指令。这提供了一个语言条件的奖励函数，然后可以用于离线多任务RL。在我们的实验中，我们发现，在语言条件下的操作任务，我们的方法优于目标图像规格和语言条件下的模仿技术超过25%，并能够执行视觉任务从自然语言，如“打开右抽屉”和“移动订书机”，在弗兰卡Panda机器人。
2021-10-31 cs.AI cs.LG cs.RO
Language-Conditioned Offline RL for Multi-Robot Navigation
University of Cambridge（剑桥大学）
本文提出一种基于预训练LLM嵌入和离线强化学习的多机器人导航策略，仅需20分钟数据即可在真实机器人上实现低延迟控制和零样本泛化。
2024-07-29 cs.AI cs.LG cs.RO
Offline Goal-Conditioned Reinforcement Learning for Safety-Critical Tasks with Recovery Policy
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Center for Intelligent Control and Telescience（智能控制与遥科学中心）
针对离线目标条件强化学习中目标达成与安全约束难以兼顾的问题，提出 RbSL 恢复式监督学习方法，并在机器人取物基准和真实 Panda 机械臂上验证其显著优于现有方法。
2024-03-04 cs.AI cs.LG cs.RO
SMORE: Score Models for Offline Goal-Conditioned Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI；UMass Amherst（马萨诸塞大学阿默斯特分校）
本文提出无判别器的离线GCRL方法SMORe，通过混合分布匹配与凸对偶目标学习动作分数，以有效利用次优数据，并在机器人操作和运动基准上显著优于现有方法。
2024-02-29 cs.AI cs.LG cs.RO
When does return-conditioned supervised learning work for offline reinforcement learning?
New York University（纽约大学）；MILA（蒙特利尔学习算法研究所）；Microsoft Research（微软研究院）
最近的一些工作已经提出了一类算法的离线强化学习（RL）的问题，我们将称为返回条件监督学习（RCSL）。RCSL算法学习以状态和轨迹返回为条件的动作分布。然后，他们以实现高回报为条件来定义政策。在本文中，我们提供了一个严格的RCSL的能力和局限性的研究，这是至关重要的缺失在以前的工作。我们发现，RCSL返回的最优策略下的一组假设，比那些需要更传统的动态规划为基础的算法更强大。我们提供了具体的MDPs和数据集的例子来说明这些假设的必要性和RCSL的局限性。最后，我们提出的经验证据表明，这些限制也将导致在实践中的问题，在简单的点质量环境和D4RL基准的数据集上提供说明性的实验。
2023-01-11 cs.LG
HIQL: Offline Goal-Conditioned RL with Latent States as Actions
University of California, Berkeley（加利福尼亚大学伯克利分校）；Princeton University（普林斯顿大学）
针对离线目标条件强化学习中远距离目标价值函数难估计的问题，提出分层算法HIQL，通过高低层策略利用子目标结构提升鲁棒性，在长时序、高维图像等任务上表现优于现有方法。
2024-03-10 cs.AI cs.LG cs.RO
Goal-conditioned Offline Reinforcement Learning through State Space Partitioning
University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）
针对离线目标条件强化学习中的分布偏移与长视野多模态问题，提出基于状态空间价值划分的双优势加权方法DAWOG，性能优于现有基准算法，且保证策略不弱于行为策略。
2024-05-16 cs.LG
Offline Goal-Conditioned Reinforcement Learning with Projective Quasimetric Planning
Ubisoft la Forge；University of Angers（昂热大学）；Inria（法国国家科学研究中心）
本文提出ProQ框架，通过学习非对称距离和结合拉格朗日检测器，实现目标条件强化学习中子目标生成与长期目标达成的稳健控制。
2026-01-30 cs.LG
QHyer: Q-conditioned Hybrid Attention-mamba Transformer for Offline Goal-conditioned RL
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；Institute of Artificial Intelligence（人工智能研究院）；Robotics, Xi'an Jiaotong University（机器人技术，西安交通大学）；Computer Science, University College London（计算机科学，伦敦大学学院）；School of Engineering, Westlake University（工程学院，西湖大学）
本文提出QHyer，通过引入状态条件化的Q估计器和混合注意力-门控架构，解决离线目标条件强化学习中长期依赖建模和稀疏奖励下的行为拼接问题，验证了其在非马尔可夫和马尔可夫数据集上的优越性能。
2026-05-08 cs.LG
The Operable Pareto Front: Distilling Offline Search into Run-Time Control for Multi-Objective UAV Edge-Computing Scheduling
Tianjin University（天津大学）；Shandong Agriculture and Engineering University（山东农业工程学院）
针对多目标无人机边缘计算调度，提出偏好条件决策变换器PrefDT，将离线搜索提炼为运行时控制，一次训练即可输出帕累托前沿任意点，并在仿真中优于26种方法变体。
2026-09-17 cs.LG cs.NI
Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care
本文评估了三种离线多目标强化学习算法在重症护理中的性能，发现PEDA DT在灵活性和多目标决策方面表现优异，为个性化医疗决策提供了新思路。
2025-12-08 cs.LG
Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning
提出一种基于切比雪夫标量化的偏好条件贝尔曼算子，用于计算多目标马尔可夫决策过程中的确定性帕累托最优策略，并证明其单调收敛到帕累托前沿的覆盖集。
2026-06-26 cs.AI cs.LG
The Offline-Frontier Shift: Diagnosing Distributional Limits in Generative Multi-Objective Optimization
LIT AI Lab and Institute for Machine Learning JKU Linz, Austria（LIT人工智能实验室和机器学习研究所，约翰·肯普夫大学（JKU）林茨分校，奥地利）；School of Computing, Engineering and Technology RGU, Aberdeen, Scotland（计算、工程与技术学院 RGU，阿伯丁，苏格兰）；Linz Center of Mechatronics GmbH Linz, Austria（林茨机电研究中心 GmbH，林茨，奥地利）
研究揭示了离线多目标优化中生成方法在非hypervolume指标下的表现不足，指出离线前沿位移是根本限制，并提出通过分布外采样解决该问题。
2026-05-12 cs.LG
PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning
Hanyang University（汉阳大学）
PathBridger是一种分层离线目标条件强化学习方法，通过构建状态空间桥并结合逆动力学模型解码为动作块，在OGBench任务尤其是多目标Cube操作任务上性能显著提升。
2026-09-01 cs.LG cs.RO
S2P: State-conditioned Image Synthesis for Data Augmentation in Offline Reinforcement Learning
Seoul National University（首尔国立大学）
离线强化学习（Offline RL）由于无法在训练过程中与物理环境交互，因此会受到先天分布偏移的影响。为了缓解这种限制，基于状态的离线RL利用从记录的经验中学习的动态模型，并增强预测的状态转换以扩展数据分布。为了在基于图像的RL上利用这种好处，我们首先提出了一个生成模型S2P（State2Pixel），它从代理的相应状态合成代理的原始像素。它能够弥合RL算法中状态和图像域之间的差距，并通过状态空间中基于模型的转换来虚拟地探索不可见的图像分布。通过实验，我们证实了我们的基于S2P的图像合成不仅提高了基于图像的离线RL性能，而且在看不见的任务上显示出强大的泛化能力。
2022-09-30 cs.CV cs.LG cs.RO
Population-Free Pareto Tracking for Sample-Efficient Multi-Policy MORL
College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院）
提出MPFT框架，通过无自进化种群的帕累托跟踪机制，结合单目标极端策略初始化，高效逼近完整帕累托前沿，显著提升样本效率并减少智能体-环境交互。
2026-05-29 cs.LG
Reachability Weighted Offline Goal-conditioned Resampling
Department of Electrical Engineering and Automation, Aalto University（电气工程与自动化系，艾尔沃斯大学）
本文针对离线目标条件强化学习中均匀采样产生大量不可达样本的问题，提出可达性加权采样（RWS），利用PU学习训练可达性分类器为采样分配优先级，在多个机器人操作任务上显著提升策略性能。
2025-06-03 cs.LG
Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning
本文提出一种预算条件可达性方法，用于安全离线强化学习，通过解耦奖励最大化与累积安全成本约束，实现安全策略学习。
2026-03-31 cs.AI cs.LG cs.RO
Physics-informed Value Learner for Offline Goal-Conditioned Reinforcement Learning
针对离线目标条件强化学习在数据覆盖有限和长时程任务中的挑战，提出基于程函偏微分方程的物理信息正则化损失，结合分层隐式Q学习形成Eik-HIQL方法，显著提升性能与泛化能力。
2025-10-09 cs.LG
Phasic Self-Imitative Reduction for Sparse-Reward Goal-Conditioned Reinforcement Learning
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Shanghai Qi Zhi Institute（上海期智研究院）
最近的趋势是利用监督学习（SL）的力量来实现更有效的强化学习（RL）方法。我们提出了一种新的阶段性方法，通过交替在线RL和离线SL来解决稀疏奖励目标条件问题。在在线阶段，我们执行RL训练并收集展示数据，而在离线阶段，我们对数据集中的成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用了额外的技术，包括任务简化以生成更多可行的轨迹和基于值差的内在奖励以缓解稀疏奖励问题。我们称之为Phasic self-Imitative Reduction（PAIR）。PAIR大大优于非相位RL和相位SL基线稀疏奖励目标条件的机器人控制问题，包括一个具有挑战性的堆叠任务。PAIR是第一个从头开始学习堆叠6个立方体的RL方法，只有0/1的成功奖励。
2022-06-24 cs.AI cs.LG
Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）
提出CFHRL框架，通过自适应递归细化子目标并基于可学习可达性成本停止细化，解决长视界离线目标条件强化学习中的弱监督和累积误差问题。
2026-05-27 cs.LG
Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment
Ubisoft La Forge, Bordeaux, France（育碧La Forge，法国波尔多）
本文提出SCIQL方法，通过结合离线目标条件RL技术与新的门控优势加权回归机制，在保持风格对齐的同时提升任务性能。
2026-06-28 cs.AI cs.LG cs.RO
Compositional Transduction with Latent Analogies for Offline Goal-Conditioned Reinforcement Learning
Department of Electrical and Computer Engineering and ASRI, Seoul National University（电气与计算机工程系和首尔国立大学ASRI）；Independent researcher（独立研究者）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出了一种基于潜在类比的组合转导方法，用于解决离线目标条件强化学习中面对新情境时的目标泛化问题，通过引入新的类比表示方法，提升了在不同情境下的目标达到能力。
2026-05-20 cs.LG
