Diffusion-Based Offline RL for Improved Decision-Making in Augmented ARC Task
Gwangju Institute of Science and Technology(光州科学技术院);Korea University(高丽大学)
针对 ARC 训练数据不足的问题,提出基于规则的 SOLAR 数据集及其生成器,并利用离线 RL 方法 LDCQ 训练智能体,验证了其在 ARC 任务中多步决策与答案识别的有效性。
2024-10-15 cs.AI cs.CV cs.LG
Agentic Planning with Reasoning for Image Styling via Offline RL
Adobe Research(Adobe研究)
本文提出基于推理的代理规划框架,通过结构化规划和工具链提升图像风格化效果,采用合成数据生成和离线强化学习方法,验证在视觉质量和指令遵循上的优越性。
2026-11-10 cs.LG
Rethinking Goal-conditioned Supervised Learning and Its Connection to Offline RL
Tsinghua University(清华大学);University of Cambridge(剑桥大学);Eindhoven University of Technology(埃因霍温理工大学);King’s College London(伦敦国王学院);Tencent Robotics X(腾讯机器人实验室)
使用自监督学习解决具有稀疏奖励的目标条件任务是有希望的,因为其简单性和稳定性优于当前的强化学习(RL)算法。最近的一项工作,称为目标条件监督学习(GCSL),提供了一个新的学习框架,通过迭代重新标记和模仿自我生成的经验。在本文中,我们重新审视GCSL的理论属性-优化的目标达到目标的下限,并扩展GCSL作为一种新的离线目标条件强化学习算法。所提出的方法被称为加权GCSL(WGCSL),其中我们引入了一个先进的复合权重,包括三个部分(1)折扣权重的目标重新标记,(2)目标条件指数优势权重,(3)最佳优势权重。理论上,WGCSL被证明优化的目标条件RL目标的等价下界,并通过迭代方案产生单调改进的政策。单调属性适用于任何行为策略,因此WGCSL可以应用于在线和离线设置。为了评估离线目标条件RL设置中的算法,我们提供了一个基准,包括一系列点和模拟机器人域。在引入的基准测试的实验表明,WGCSL可以始终优于GCSL和现有的国家的最先进的离线方法在完全离线的目标条件设置。
2022-02-14 cs.AI cs.LG
Multi-layered Network Exploration via Random Walks: From Offline Optimization to Online Learning
The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Bytedance(字节跳动);Microsoft Research(微软研究院)
多层网络探测(MuLaNE)问题是从许多应用中抽象出来的一个重要问题。在MuLaNE中,有多个网络层,每个节点都有一个重要性权重,每个层都通过随机游走进行探索。MuLaNE任务是将总随机游走预算$B$分配到每个网络层,使得随机游走访问的唯一节点的总权重最大化。我们从离线优化到在线学习系统地研究了这个问题。对于离线优化设置的网络结构和节点的权重是已知的,我们提供了基于贪婪的常数比近似算法重叠的网络,和贪婪或基于动态规划的最优解非重叠的网络。对于在线学习设置,最初既不知道网络结构也不知道节点权重。我们采用组合多臂强盗框架和设计算法学习随机游走相关参数和节点权重,同时优化多轮预算分配,并证明他们达到对数遗憾界。最后,我们在真实世界的社交网络数据集上进行实验,以验证我们的理论结果。
2021-06-09 cs.AI cs.LG
Offline Meta-Reinforcement Learning with Advantage Weighting
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
本文介绍了离线Meta强化学习(离线元RL)问题设置,并提出了一种算法,在这种设置表现良好。离线元RL类似于广泛成功的监督学习策略,即在大量固定的预先收集的数据(可能来自各种任务)上预训练模型,并将模型微调为具有相对较少数据的新任务。也就是说,在离线元RL中,我们对来自多个任务的固定的、预先收集的数据进行元训练,以便用来自新任务的非常少量的数据(少于5个轨迹)来适应新任务。由于离线的性质,用于离线元RL的算法可以利用最大可能的可用训练数据池,并消除元训练期间潜在的不安全或昂贵的数据汇集。这种设置继承了离线RL的挑战,但它有很大的不同,因为离线RL通常不考虑a)转移到新任务或b)来自测试任务的有限数据,这两种情况我们都在离线元RL中面临。针对离线元RL设置,我们提出了具有优势权重的元演员评论(MACAW),这是一种基于优化的元学习算法,它使用简单的监督回归目标进行元训练的内部和外部循环。在常见的元强化学习基准的离线变体上,我们根据经验发现这种方法能够实现完全离线的Meta强化学习,并比以前的方法取得了显着的收益。
2021-07-21 cs.AI cs.LG stat.ML
Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology(西门子技术);Technical University of Munich(慕尼黑工业大学)
在离线强化学习中,需要从单个预先收集的数据集中学习策略。通常,策略因此在训练期间被正则化,以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法,它直接约束的政策,而不是在其权重空间,并在实验中证明了其有效性。
2021-07-12 cs.LG
Harnessing Mixed Offline Reinforcement Learning Datasets via Trajectory Weighting
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research Montreal(微软蒙特利尔研究院)
针对混合离线数据集,提出轨迹加权采样策略,生成高回报人工数据集,与任意离线RL算法结合,提升策略性能,实验验证在CQL、IQL和TD3+BC上有效。
2023-06-22 cs.AI cs.LG
Reasoning with Latent Diffusion in Offline Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
提出一种利用潜在扩散建模压缩潜在技能的离线RL方法,通过批量约束避免外推误差并处理多模态数据,在D4RL基准上取得最先进性能。
2023-09-12 cs.LG
SuperRL: Reinforcement Learning with Supervision to Boost Language Model Reasoning
Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司)
针对稀疏奖励下强化学习采样困难且未利用离线正确轨迹的问题,提出SuperRL框架,自适应交替RL与SFT,提升样本效率、泛化与鲁棒性。
2025-08-08 cs.AI
OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models
UC San Diego(加州大学圣迭戈分校);The University of New South Wales(新南威尔士大学);East China Normal University(华东师范大学);Adobe Research(奥多比研究中心);CSIRO’s Data61(联邦科学与工业研究组织数据61部门)
本研究针对大语言模型离线思维链评估不足的问题,提出OCEAN框架,通过知识图谱结合强化学习构建评估估计量并实现离策略优化,可高效提升思维链对齐效果且不损害模型通用能力。
2024-10-31 cs.CL cs.LG
Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning
Apple Inc.(苹果公司);Carnegie Mellon University(卡内基梅隆大学)
离线强化学习承诺从以前收集的静态数据集中学习有效的策略,而无需探索。然而,现有的Q-学习和Actor-Critic基于离线策略的RL算法在从分布外(OOD)动作或状态引导时失败。我们假设,从现有的方法中缺失的一个关键成分是在离线设置的不确定性的适当处理。我们提出了不确定性加权演员-评论家(UWAC),一种检测OOD状态-动作对并相应地降低其在训练目标中的贡献的算法。在实现方面,我们采用了一种实用有效的基于丢弃的不确定性估计方法,该方法比现有RL算法引入的开销非常小。根据经验,我们观察到UWAC在训练过程中大大提高了模型的稳定性。此外,UWAC在各种竞争性任务上的表现优于现有的离线RL方法,并在从人类专家收集的稀疏演示数据集上实现了超过最先进基线的显着性能提升。
2021-05-17 cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本文将离线策略正则化方法扩展至多目标强化学习,提出过滤偏好不一致示范和高表达能力正则化两种方案,并集成偏好条件标量化更新与正则化权重自适应,利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Offline Exploration-Aware Fine-Tuning for Long-Chain Mathematical Reasoning
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院自然语言处理实验室,中国沈阳);Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯公司微信人工智能部门模式识别中心,中国)
本文提出OXA微调方法,通过优化两个目标提升数学推理能力,实验显示在六个基准测试中OXA相比传统SFT在Pass@1和Pass@$k$上平均提升6和5分。
2026-03-17 cs.CL cs.LG
Recall-Extend Dynamics: Enhancing Small Language Models through Controlled Exploration and Refined Offline Integration
本文提出Recall-Extend Dynamics(RED)方法,通过受控探索、熵变化比率调节离线SFT权重以及基于样本准确率的策略转移机制,平衡离线蒸馏与在线强化学习,从而增强小语言模型的推理能力。
2025-08-21 cs.AI cs.CL cs.LG
Beyond the Known: Decision Making with Counterfactual Reasoning Decision Transformer
Applied AI Institute, Deakin University, Australia(应用人工智能研究所,德肯大学,澳大利亚);School of IT, Deakin University, Australia(信息学院,德肯大学,澳大利亚)
本文提出CRDT框架,通过生成和利用反事实经验增强DT在数据有限、动态变化及未见场景中的决策与轨迹拼接能力,并在Atari和D4RL上验证其优于传统DT。
2025-05-14 cs.AI cs.LG
Distance Weighted Supervised Learning for Offline Interaction Data
Stanford University(斯坦福大学)
针对序列决策中离线交互数据利用难题,提出距离加权监督学习DWSL方法,通过监督学习建模状态时间步分布近似最短路径提取策略,理论上可收敛至数据约束下的最优策略,实验中在多数据集尤其是高维图像领域性能优于现有目标条件IL和RL算法。
2023-04-26 cs.LG
OGER: A Robust Offline-Guided Exploration Reward for Hybrid Reinforcement Learning
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳研究院);Hithink RoyalFlush Information Network, Hangzhou, China(杭州Hithink RoyalFlush信息网络);Computer and Information Science, University of Macau, Macau, China(澳门大学计算机与信息科学学院)
提出OGER框架,通过多教师协作训练和基于熵的辅助探索奖励,统一离线教师引导与在线强化学习,提升大语言模型在数学推理和泛化任务中的探索能力。
2026-05-27 cs.AI
Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea(首尔国立大学电气与计算机工程系);Department of Automotive Engineering, Ajou University, Gyeonggi-do, South Korea(全州大学汽车工程系)
提出 Chain-of-Goals 分层策略 (CoGHP),通过自回归生成潜在子目标序列,利用 MLP-Mixer 统一架构建模层次决策,在长视界任务中优于离线基线方法。
2026-06-23 cs.AI cs.LG
FairDICE: Fairness-Driven Offline Multi-Objective Reinforcement Learning
Korea University(韩国大学);Yonsei University(延世大学);Gauss Labs Inc.(Gauss实验室公司)
针对离线多目标强化学习中非线性公平福利目标优化的空白,提出FairDICE框架,借助分布校正估计实现无需偏好权重搜索的稳定高效学习,在基准测试中取得优于基线的公平感知性能。
2025-11-18 cs.AI cs.LG
Offline Behavior Distillation
School of Computer Science, The University of Sydney(悉尼大学计算机学院);College of Computing & Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对离线强化学习大数据导致的训练低效问题,提出离线行为蒸馏框架及动作值加权PBC目标,以线性折扣复杂度实现更优蒸馏性能、更快收敛和更强泛化能力。
2024-10-30 cs.AI cs.LG
FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning
Iowa State University(爱荷华州立大学)
针对离线强化学习中安全与性能难以平衡的问题,提出FAWAC方法,通过可行性条件约束策略更新并改进AWR算法,还提出诱惑性数据集处理策略,在标准基准上实现了安全与性能的有效平衡。
2024-12-12 cs.LG
Importance Weighted Actor-Critic for Optimal Conservative Offline Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
针对离线强化学习数据覆盖不足问题,提出结合边缘化重要性采样与Actor-Critic的A-Crab算法,兼具最优收敛速率、弱覆盖假设、性能更优的优势,并通过理论与实验验证有效性。
2023-10-09 cs.LG
REGEN: Replay-recycling for Expert-to-Generalist distillation with Offline Reinforcement Learning
vivo AI Lab(vivo人工智能实验室);Department of Computer Science, Sun Yat-Sen University(中山大学计算机科学系)
针对大语言模型强化学习扩展的挑战,提出REGEN方法,通过回收重放记忆并运用离线强化学习算法训练通用模型,解耦训练过程,降低成本,在多任务上以低成本达类似准确率,还可能变革在线强化学习及扩展训练阶段。
2026-10-14 cs.AI cs.LG
Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL
University of Cambridge(剑桥大学);DAMTP(应用数学与理论物理系)
针对大语言模型零样本提示优化中被忽视的查询依赖问题及评估难、成本高的挑战,提出基于离线逆强化学习的Prompt-OIRL方法,通过离线奖励模型和N选最佳策略实现高效经济的查询依赖提示优化。
2024-03-07 cs.AI cs.CL cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST(韩国科学技术院)
针对离线强化学习中设计奖励信号成本高的问题,提出基于大型视觉语言模型的奖励生成方法RG-VLM,无需人类参与即可从离线数据生成奖励,能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
A Simple Solution for Offline Imitation from Observations and Examples with Possibly Incomplete Trajectories
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对基于观测的离线模仿在不完整轨迹下 DICE 方法优化不稳定的问题,提出 TAILO,用判别器缩放的未来轨迹折扣和进行加权行为克隆,实验表明其更鲁棒有效。
2023-11-02 cs.AI cs.LG
Reliable Conditioning of Behavioral Cloning for Offline Reinforcement Learning
UCLA(加州大学洛杉矶分校);Meta AI Research(Meta人工智能研究院)
行为克隆(BC)通过监督学习模仿离线轨迹,为离线RL提供了一个简单的解决方案。最近的进展(Chen等人,2021; Janner等人,2021; Emmons等人,2021年)已经表明,通过以期望的未来回报为条件,BC可以与基于价值的同行竞争,同时享受更多的简单性和培训稳定性。虽然有希望,我们表明,这些方法可能是不可靠的,因为它们的性能可能会显着下降时,条件高,分布外(ood)的回报。这在实践中是至关重要的,因为我们通常期望通过以ood值为条件,策略的性能优于离线数据集。我们发现,这种不可靠性产生的次优的训练数据和模型架构。我们提出了ConserWeightive Behavioral Cloning(CWBC),这是一种简单有效的方法,用于提高条件BC的可靠性,其中有两个关键组成部分:轨迹加权和保守正则化。轨迹加权增加了高返回轨迹的权重,以减少BC方法的训练-测试间隙,而保守正则化器鼓励策略保持接近数据分布,以获得良好的条件。我们在RvS的背景下研究CWBC(Emmons等人,2021)和决策Transformers(Chen等人,2021年),并显示CWBC显着提高了他们在各种基准上的表现。
2023-02-03 cs.AI cs.LG
Adversarially Trained Weighted Actor-Critic for Safe Offline Reinforcement Learning
Washington State University(华盛顿州立大学);ShanghaiTech University(上海科技大学);New Jersey Institute of Technology(新泽西理工学院)
该研究提出安全离线强化学习算法WSAC,以双人Stackelberg博弈框架结合对抗训练的加权评论家,在理论上实现多项安全改进与收敛保证,并在连续控制任务中性能超越现有基线。
2024-10-31 cs.LG
Latent-Variable Advantage-Weighted Policy Optimization for Offline RL
Tsinghua University(清华大学);Stanford University(斯坦福大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society, CUHK Shenzhen(香港中文大学(深圳)深圳市人工智能与机器人研究院)
离线强化学习方法有望从预先收集的数据集中学习策略,而无需查询环境中的新转换。这种设置特别适合于连续控制机器人应用,对于这些应用,基于试错法的在线数据汇集成本高且可能不安全。在实践中,离线数据集通常是异构的,即,在各种情况下收集的数据,例如来自多个人类演示者或来自具有不同目的的策略的数据。不幸的是,这样的数据集可能会加剧数据底层的行为策略和要学习的最优策略之间的分布偏移,导致性能不佳。为了应对这一挑战,我们建议利用潜在变量的政策,可以代表更广泛的一类政策分布,从而更好地遵守训练数据分布,同时最大限度地提高回报通过政策的潜在变量。正如我们在一系列模拟运动,导航和操作任务上的经验表明,我们的方法被称为潜在变量加权策略优化(LAPO),在异构数据集上将下一个性能最佳的离线强化学习方法的平均性能提高了49%,在具有窄分布和有偏分布的数据集上提高了8%。
2022-03-16 cs.LG
OGBench: Benchmarking Offline Goal-Conditioned RL
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
针对离线目标条件强化学习缺乏标准基准的问题,提出包含8类环境、85个数据集及6种算法参考实现的OGBench,可评估算法拼接、长horizon推理等能力,揭示其优缺点以助力新算法研发。
2025-02-13 cs.AI cs.LG
OPERA: Automatic Offline Policy Evaluation with Re-weighted Aggregates of Multiple Estimators
Stanford University(斯坦福大学);Cohere
针对离线策略评估(OPE)算法选型难的问题,本文提出OPERA算法,可自适应融合多类OPE估计器,具备一致性,能在医疗、机器人领域选出更优策略,提升了通用离线RL离策略评估框架的易用性。
2024-10-31 cs.AI cs.LG stat.ML
Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning
本文提出基于搜索的偏好加权(SPW)方案,通过从专家演示中搜索相似状态-动作对来分配信用,统一偏好与演示反馈,提升离线偏好强化学习在机器人操作任务中的性能。
2025-10-10 cs.AI cs.LG
Prioritized offline Goal-swapping Experience Replay
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
在目标条件离线强化学习中,智能体从先前收集的数据中学习,以达到任意目标。由于离线数据仅包含有限数量的轨迹,因此主要挑战是如何生成更多数据。目标交换通过切换轨迹目标来生成额外的数据,但在这样做的同时会产生大量无效的轨迹。为了解决这个问题,我们提出了优先目标交换经验重放(PGSER)。PGSER使用预训练的Q函数为允许达到目标的目标交换转换分配更高的优先级权重。在实验中,PGSER在广泛的基准任务中显着改善了基线,包括挑战以前不成功的灵巧手操作任务。
2023-03-05 cs.AI cs.LG
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题,提出SAMG范式,通过冻结离线评论家提供状态-动作级引导,无需重训离线数据,在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tencent AI Lab(腾讯人工智能实验室)
离线强化学习(RL)的一个很有前途的范例是约束学习到的策略保持接近数据集的行为,称为策略约束离线RL。然而,现有的工作严重依赖于数据的纯度,表现出性能下降,甚至灾难性的失败时,从污染的数据集包含不同级别的不纯轨迹学习。例如,在一个实施例中,专家级、中级等,而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况,我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后,我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明,所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法,在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Bellman-consistent Pessimism for Offline Reinforcement Learning
UIUC(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Google Research(谷歌研究院)
本文提出Bellman一致性悲观方法,通过在初始状态对与Bellman方程一致的函数集实施悲观策略,解决了离线强化学习中过度悲观阻碍策略发现的问题,在理论保证和样本复杂度上优于现有方法。
2023-10-23 cs.AI cs.LG stat.ML
Learning Clinical-Trial Strategy: Offline Policy Training for Decision Agents
本研究将肿瘤学临床开发建模为离线决策问题,构建时间数据集,对比4种离线目标与4种LLM智能体,发现奖励加权行为克隆表现最优,证明结构化离线学习可用于规划临床实验。
2026-08-05 cs.AI cs.LG
Offline RL by Reward-Weighted Fine-Tuning for Conversation Optimization
Adobe Research(Adobe研究院)
本文提出通过奖励加权微调实现离线强化学习,用于对话优化,相比传统方法在奖励和语言质量上取得显著提升。
2026-02-16 cs.CL cs.LG
Diffusion Self-Weighted Guidance for Offline Reinforcement Learning
Initiative for Data & AI, Universidad de Chile(数据与人工智能倡议,智利大学);AMTC & Dept. of Electrical Eng., Universidad de Chile(AMTC与电气工程系,智利大学);Department of Mathematics, Imperial College London(数学系,伦敦帝国学院)
本文提出自加权引导方法,通过扩散模型直接生成所需分数,无需额外网络,实现高效的离线强化学习
2025-12-23 cs.LG stat.ML
Decoupled Prioritized Resampling for Offline RL
Tsinghua University(清华大学);Sea AI Lab
本文提出即插即用的离线优先经验回放OPER,通过高回报转移优先权重诱导改进行为策略,并以OPER-A和OPER-R两种策略显著提升五类离线RL基线性能。
2025-01-08 cs.AI cs.LG
Reachability Weighted Offline Goal-conditioned Resampling
Department of Electrical Engineering and Automation, Aalto University(电气工程与自动化系,艾尔沃斯大学)
本文针对离线目标条件强化学习中均匀采样产生大量不可达样本的问题,提出可达性加权采样(RWS),利用PU学习训练可达性分类器为采样分配优先级,在多个机器人操作任务上显著提升策略性能。
2025-06-03 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University(复旦大学智能医学信息研究所)
针对离线强化学习中数据腐败导致策略过度保守的问题,提出抗腐败优势加权回归(CAWR),通过鲁棒损失函数和优势优先经验回放过滤不良探索,在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Discrete Flow Matching for Offline-to-Online Reinforcement Learning
Department of Computer Science, University of Kentucky(卡内基梅隆大学计算机科学系)
本文提出DRIFT方法,通过离散流匹配损失和路径空间惩罚,提升离线到在线强化学习的稳定性与性能,实验显示其在离散动作空间任务中表现优异。
2026-11-17 cs.AI cs.LG
Projected State-action Balancing Weights for Offline Reinforcement Learning
Texas A&M University(德州农工大学);George Washington University(乔治华盛顿大学)
离线策略评估(OPE)被认为是强化学习(RL)中的一个基本且具有挑战性的问题。本文重点研究了基于预先收集的数据的目标策略的价值估计,该数据是在无限时域马尔可夫决策过程的框架下从可能不同的策略中产生的。受RL中的边缘重要性采样方法和因果推理中协变量平衡思想的启发,我们提出了一种新的具有近似投影状态-动作平衡权重的策略值估计器。我们得到了这些权重的收敛速度,并证明了所提出的值估计是半参数有效的技术条件下。在渐近性方面,我们的结果与轨迹的数量和每个轨迹处的决策点的数量都成比例。因此,当决策点的数量出现分歧时,仍然可以用有限数量的受试者实现一致性。此外,我们开发了一个必要和充分条件,建立适定性的Bellman运营商在关闭的政策设置,其特点是困难的OPE,可能是独立的利益。数值实验表明,我们提出的估计有前途的性能。
2022-06-09 cs.LG stat.ME
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining
Shanghai Jiao Tong University(上海交通大学)
提出一种基于模型的强化学习方法,通过世界模型衡量任务相关性并利用相似性权重自适应迁移物理动力学知识和源动作演示,显著提升新任务的在线训练效率。
2024-06-05 cs.AI cs.LG cs.RO
What is Essential for Unseen Goal Generalization of Offline Goal-conditioned RL?
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
本文研究离线GCRL对未见目标的OOD泛化,结合实证发现与理论分析提出GOAT,并在含9个IID和17个OOD任务的新基准上显著超越现有方法。
2023-06-02 cs.AI cs.LG
Goal-conditioned Offline Reinforcement Learning through State Space Partitioning
University of Warwick(华威大学);Alan Turing Institute(阿兰·图灵研究所)
针对离线目标条件强化学习中的分布偏移与长视野多模态问题,提出基于状态空间价值划分的双优势加权方法DAWOG,性能优于现有基准算法,且保证策略不弱于行为策略。
2024-05-16 cs.LG
Fast and Stable Diffusion Planning through Variational Adaptive Weighting
本文提出一种变分最优的不确定性感知加权函数及其闭式多项式逼近方法,用于扩散规划中的自适应损失加权,在Maze2D和Kitchen基准上以少10倍的训练步骤达到竞争性能。
2025-06-20 cs.AI cs.LG
COOPO: Cyclic Offline-Online Policy Optimization Algorithm
Department of Mechanical Engineering, Iowa State University(伊阿华州立大学机械工程系);Department of Computer Science, Iowa State University(伊阿华州立大学计算机科学系);Department of Industrial and Manufacturing Systems Engineering, Iowa State University(伊阿华州立大学工业与制造系统工程系);Translational AI Center, Iowa State University(伊阿华州立大学转化人工智能中心)
本文提出COOPO算法,通过循环离线训练和在线微调来解决离线强化学习的分布偏移和性能受限问题,以及在线强化学习的环境交互成本高问题,通过周期性回归离线训练减少遗忘和漂移,提升样本效率和性能。
2026-05-18 cs.AI cs.LG
Q-Value Weighted Regression: Reinforcement Learning with Limited Data
University of Warsaw(华沙大学);Google(谷歌);Google Brain(谷歌大脑)
离线环境下的样本效率和性能已经成为深度强化学习的重大挑战。我们介绍了Q值加权回归(QWR),这是一种简单的RL算法,在这些方面表现出色。QWR是优势加权回归(AWR)的扩展,AWR是一种非策略的行动者-评论家算法,在连续控制任务上表现非常好,也是在离线设置中,但样本效率低,并且难以处理高维观测空间。我们对AWR进行了分析,解释了它的缺点,并使用这些见解来激励QWR。我们的实验表明,QWR匹配的国家的最先进的算法,无论是在任务上的连续和离散的行动。特别是,QWR在MuJoCo套件上产生的结果与SAC相当,并且-使用相同的超参数集-在一组Atari游戏上产生的结果与高度调整的Rainbow实现相当。我们还验证了QWR在离线RL设置中表现良好。
2021-02-12 cs.LG
Model-based Offline RL via Robust Value-Aware Model Learning with Implicitly Differentiable Adaptive Weighting
CityUHK(城大);Tencent(腾讯);UChicago(芝加哥大学);HKUST(GZ)(香港科技大学(广州))
ROMI通过鲁棒价值感知模型学习和隐式可微适应加权方法,改进离线RL中的模型更新稳定性与泛化能力。
2026-03-09 cs.LG
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
本文提出SPaRK离线强化学习框架,通过双目标奖励和稀有优先利用策略训练Llama-3.1 8B模型,在保持准确性的同时显著提升了LLM的工具选择多样性与推理能力。
2025-07-15 cs.LG cs.MA
Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);New York University (Shanghai)(纽约大学(上海))
针对当前SFT-RL流程中离线SFT数据分布与在线RL策略分布不匹配的问题,提出基于策略评估的离线学习损失重加权方法PEAR,通过重要性采样重加权SFT损失,提升后续RL训练效果。
2026-05-28 cs.AI cs.CL cs.LG
MGDA: Model-based Goal Data Augmentation for Offline Goal-conditioned Weighted Supervised Learning
Xi’an Jiaotong University(西安交通大学);Westlake University(西湖大学)
针对GCWSL缺乏轨迹拼接能力的问题,提出基于模型的目标数据增强方法MGDA,利用动力学模型并引入局部Lipschitz连续性假设采样合适目标,有效减轻复合误差并显著提升了拼接能力与性能。
2024-12-20 cs.LG