An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本研究提出一种离线适配框架,无需人工设定目标偏好,仅通过演示即可隐式推断多目标强化学习的预期策略,还可扩展至满足安全约束,经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Preference-Guided Diffusion for Multi-Objective Offline Optimization
TU Munich(慕尼黑技术大学);Stanford University(斯坦福大学);Helmholtz AI(海德堡人工智能研究所);Gladstone Institutes(加利福尼亚大学旧金山分校格拉德石研究所)
本文提出基于偏好的扩散模型,用于生成多目标离线优化中的帕累托最优解,通过引入多样性感知的偏好引导,提升生成解的质量与分布性。
2025-12-17 cs.AI cs.LG
Scaling Pareto-Efficient Decision Making Via Offline Multi-Objective RL
University of California, Los Angeles(加州大学洛杉矶分校)
针对多目标强化学习中偏好未知的离线决策问题,本文构建了含180万条演示的D4MORL离线数据集,并提出基于偏好与回报条件策略的PEDA算法,可高效逼近帕累托前沿。
2023-04-30 cs.AI cs.LG
Yes, Q-learning Helps Offline In-Context RL
Reinforcement Learning Journal(强化学习期刊)
本文在离线上下文强化学习框架中整合RL目标,通过150多个数据集实验证明,直接优化RL目标相比算法蒸馏平均提升约30%性能,且价值学习中的保守性带来额外改进。
2026-08-14 cs.AI cs.LG
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research(谷歌研究院)
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习(RL)领域的兴趣,以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL,主要集中在离线策略优化上,旨在完全从离线数据中找到回报最大化的策略。在本文中,我们考虑了一种稍微不同的方法,将离线数据纳入顺序决策。我们的目标是回答这样一个问题,即应用于离线数据集的无监督目标能够学习状态表示,从而提高下游任务的性能,这些下游任务是否是在线RL,专家演示的模仿学习,甚至是基于同一离线数据集的离线策略优化?通过利用标准离线RL数据集进行的各种实验,我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能,否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如,奖励预测、连续或离散表示、预训练或微调--是最重要的,以及在哪些环境中。
2021-02-11 cs.AI cs.LG
MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning
Harbin Engineering University(哈尔滨工程大学)
针对离线多目标强化学习对分布外偏好泛化不足的问题,提出基于扩散模型与滑动引导的MODULI方法,生成对齐偏好的轨迹,在D4MORL基准上超越现有基线。
2025-05-27 cs.AI cs.LG
The Offline-Frontier Shift: Diagnosing Distributional Limits in Generative Multi-Objective Optimization
LIT AI Lab and Institute for Machine Learning JKU Linz, Austria(LIT人工智能实验室和机器学习研究所,约翰·肯普夫大学(JKU)林茨分校,奥地利);School of Computing, Engineering and Technology RGU, Aberdeen, Scotland(计算、工程与技术学院 RGU,阿伯丁,苏格兰);Linz Center of Mechatronics GmbH Linz, Austria(林茨机电研究中心 GmbH,林茨,奥地利)
研究揭示了离线多目标优化中生成方法在非hypervolume指标下的表现不足,指出离线前沿位移是根本限制,并提出通过分布外采样解决该问题。
2026-05-12 cs.LG
ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion
Nanyang Technological University(南洋理工大学)
提出ParetoPilot,一种无需外部代理模型的零代理扩散框架,通过推断-扰动-引导引擎在无条件去噪步骤中隐式推断目标方向、正交化并行引力场和边缘感知排斥力,实现离线多目标优化的帕累托最优设计。
2026-07-07 cs.AI cs.LG cs.NE
AETDICE: Unified Framework and Offline Optimization for Nonlinear Multi-Objective RL
Korea University(高丽大学);Yonsei University(延世大学);Gauss Labs Inc.(Gauss Labs公司)
提出AET框架统一非线性MORL的SER和ESR范式,并基于此设计AETDICE离线算法,通过增广状态空间的密度比估计实现静态数据集优化。
2026-07-01 cs.AI cs.LG
Towards Universal Offline Black-Box Optimization via Learning Language Model Embeddings
Nanjing University(南京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出利用语言模型嵌入统一异构数值表示,通过下一 token 预测和潜在空间学习实现跨领域、变维度的通用离线黑盒优化。
2025-06-08 cs.AI cs.LG cs.NE
Offline Model-Based Optimization via Policy-Guided Gradient Search
School of EECS, Washington State University(华盛顿州立大学电气工程与计算机科学学院)
本文将离线优化重构为离线强化学习问题,提出策略引导梯度搜索,使搜索策略直接从离线数据学习,并可与现有代理模型结合显著提升性能。
2024-05-08 cs.AI cs.LG
Learning Control Policies for Variable Objectives from Offline Data
Siemens AG, Technology(西门子股份公司技术部门)
本文提出可变目标策略(VOP),一种基于模型的策略搜索扩展方法,通过将目标作为输入使策略在运行时无需重新训练或收集数据即可调整行为或重新平衡优化目标。
2023-08-11 cs.LG
JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data
UC Berkeley(加州大学伯克利分校);FAIR(FAIR(Meta AI 研究院))
多任务贝叶斯优化(MBO)的目标是最大限度地减少准确优化目标黑盒函数所需的查询数量,并允许访问其他辅助函数的离线评估。当离线数据集很大时,现有方法的可扩展性是以牺牲表达性和推理质量为代价的。我们提出了JUMBO,MBO算法,通过基于来自训练两个高斯过程(GP)的采集信号的组合来查询额外的数据来避开这些限制:直接在输入域中操作的冷GP和在使用离线数据预训练的深度神经网络的特征空间中操作的暖GP。这样的分解可以动态地控制从在线和离线数据导出的信息的可靠性,并且预训练的神经网络的使用允许大的离线数据集的可扩展性。从理论上讲,我们推导出的遗憾界的JUMBO,并表明,它实现了无遗憾的条件下,类似于GP-UCB(Srinivas等。2010)。从经验上讲,我们证明了显着的性能改善现有的方法在两个现实世界的优化问题:超参数优化和自动化电路设计。
2022-03-10 cs.AI cs.LG
POPO: Pessimistic Offline Policy Optimization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
离线强化学习(RL),也被称为批处理RL,旨在优化来自大型预记录数据集的策略,而无需与环境交互。这种设置提供了利用不同的、预先收集的数据集来获得策略的承诺,而无需进行昂贵的、有风险的、积极的探索。然而,常用的基于Q学习或actor-critic的离线算法在从静态数据集学习时表现不佳。在这项工作中,我们研究了为什么非策略RL方法无法从价值函数的角度在离线设置学习,我们提出了一种新的离线RL算法,我们称之为悲观离线策略优化(POPO),它学习一个悲观的价值函数,以获得一个强大的政策。我们发现POPO表现得非常好,并且可以扩展到具有高维状态和动作空间的任务,在基准任务上比较或优于几种最先进的离线RL算法。
2021-01-04 cs.AI cs.LG
Multi-objective Optimization of Notifications Using Offline Reinforcement Learning
LinkedIn Corporation(领英公司)
移动通知系统在各种应用中发挥着重要作用,可以向用户发送警报和提醒,以通知他们有关新闻,事件或消息。在本文中,我们将近实时通知决策问题表示为马尔可夫决策过程,在该过程中,我们针对奖励中的多个目标进行优化。我们提出了一个端到端的离线强化学习框架来优化顺序通知决策。我们使用基于保守Q学习的双深度Q网络方法来解决离线学习的挑战,该方法减轻了分布偏移问题和Q值高估。我们说明了我们完全部署的系统,并通过离线和在线实验证明了所提出的方法的性能和好处。
2022-07-07 cs.LG stat.ML
Diversity By Design: Leveraging Distribution Matching for Offline Model-Based Optimization
University of Pennsylvania(宾夕法尼亚大学)
针对离线基于模型的优化中缺乏设计多样性的问题,提出DynAMO方法,将多样性显式化为分布匹配目标,在保证候选方案高质量的同时显著提升设计多样性。
2025-05-01 cs.AI cs.LG
[Re] FairDICE: A Fair Tradeoff in Multi-objective Offline RL
University of Amsterdam(阿姆斯特丹大学)
该研究探讨了多目标离线强化学习中公平权衡的问题,提出FairDICE算法通过自适应学习多目标权重来实现公平妥协,但发现代码错误导致其在连续环境中退化为标准行为克隆,并需修正超参数以提升实验有效性。
2026-05-21 cs.LG
Learning Surrogates for Offline Black-Box Optimization via Gradient Matching
Princeton University(普林斯顿大学);Lewis-Sigler Institute of Integrative Genomics, Princeton University(普林斯顿大学刘易斯-西格勒整合基因组学研究所);Washington State University(华盛顿州立大学);School of Electrical Engineering and Computer Science, Washington State University(华盛顿州立大学电气与计算机工程学院)
针对离线黑盒优化中代理模型不完美导致的性能差距问题,提出理论框架显式界定优化质量,并设计黑盒梯度匹配算法构建有效代理模型,在多个真实基准上优于先前方法。
2025-02-26 cs.AI cs.LG
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University(南京大学)
本文提出算法依赖型可学习性,设计轨迹学习框架,提出UGTL方法,在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25,验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
From Function to Distribution Modeling: A PAC-Generative Approach to Offline Optimization
Texas A&M University(德克萨斯A&M大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究离线优化问题,提出将优化视为从生成模型中采样的过程,通过重加权技术并利用PAC下界联合学习权重函数与基于分数的生成模型,在标准基准上展现出鲁棒的竞争性能。
2024-01-04 cs.LG
Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care
本文评估了三种离线多目标强化学习算法在重症护理中的性能,发现PEDA DT在灵活性和多目标决策方面表现优异,为个性化医疗决策提供了新思路。
2025-12-08 cs.LG
COOPO: Cyclic Offline-Online Policy Optimization Algorithm
Department of Mechanical Engineering, Iowa State University(伊阿华州立大学机械工程系);Department of Computer Science, Iowa State University(伊阿华州立大学计算机科学系);Department of Industrial and Manufacturing Systems Engineering, Iowa State University(伊阿华州立大学工业与制造系统工程系);Translational AI Center, Iowa State University(伊阿华州立大学转化人工智能中心)
本文提出COOPO算法,通过循环离线训练和在线微调来解决离线强化学习的分布偏移和性能受限问题,以及在线强化学习的环境交互成本高问题,通过周期性回归离线训练减少遗忘和漂移,提升样本效率和性能。
2026-05-18 cs.AI cs.LG
CROP: Conservative Reward for Model-based Offline Policy Optimization
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统全国重点实验室,中国科学院自动化研究所)
本文提出CROP算法,通过同时最小化估计误差和随机动作奖励,实现保守奖励估计,缓解离线强化学习中的分布偏移问题。
2026-04-13 cs.AI cs.LG
Enhancing Online Reinforcement Learning with Meta-Learned Objective from Offline Data
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川省人工智能研究院);Duke Kunshan University(昆山杜克大学)
针对稀疏奖励下在线强化学习难学最优策略的问题,提出可适配多种离策略RL的GILD模块,从离线数据元学习目标以注入内在动机,在MuJoCo稀疏奖励任务上性能超越现有最优方法。
2025-01-13 cs.LG
Offline Trajectory Optimization for Offline Reinforcement Learning
Shandong University(山东大学);Leiden University(莱顿大学);Westlake University(西湖大学)
提出OTTO离线轨迹优化方法,通过World Transformers生成长时序模拟轨迹,并利用基于不确定性的World Evaluator评估与校正数据,有效提升了离线RL算法在复杂环境中的性能。
2025-07-10 cs.AI cs.LG
Online Optimization for Offline Safe Reinforcement Learning
Washington State University(华盛顿州立大学);University of Minnesota(明尼苏达大学);Oregon State University(俄勒冈州立大学);New Jersey Institute of Technology(新泽西理工学院)
针对离线安全强化学习,提出将问题转化为极小极大目标,结合离线RL与在线优化,实现近似最优,并在DSRL基准上验证了安全性与高奖励。
2025-10-24 cs.AI cs.LG stat.ML
Offline Stochastic Optimization of Black-Box Objective Functions
Duke University(杜克大学);Colorado State University(科罗拉多州立大学)
本文提出随机离线黑盒优化(SOBBO)框架,分别通过可微代理和保守场约束梯度估计处理大数据与稀缺数据场景,提升优化鲁棒性、收敛性与数据效率。
2024-12-03 cs.LG
Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning
Seoul National University(首尔国立大学)
本文提出APPO算法,将离线偏好强化学习建模为策略与模型的双人博弈,在不依赖显式置信集的情况下实现可处理的保守性,并给出样本复杂度界,是首个兼具统计效率与实际适用性的离线PbRL方法。
2025-06-03 cs.AI cs.LG
DeepCO: Offline Combinatorial Optimization Framework Utilizing Deep Learning
Hitachi, Ltd.(株式会社日立)
组合优化在许多现代工业应用中起着重要作用。由于安全和/或成本问题,大量的问题是离线设置。虽然基于模拟的方法似乎很难实现复杂的系统,在这项研究中,我们提出了DeepCO,一个利用深度学习的离线组合优化框架。我们也设计了旅行商问题(TSP)的离线变化模型仓库操作序列优化问题进行评估。在历史数据有限的情况下,本文提出的分布正则化优化方法在离线TSP实验中的性能优于现有的基线方法,平均减少路径长度5.7%,在现实问题中显示出巨大的潜力。
2020-07-20 cs.LG math.OC stat.ML
OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation
KAIST(韩国科学技术院);Mila, Quebec AI Institute(魁北克人工智能研究所Mila);McGill University(麦吉尔大学);Gauss Labs Inc.(高斯实验室公司);Facebook AI Research(脸书人工智能研究院)
我们考虑了离线强化学习(RL)设置,其中代理的目标是仅从数据中优化策略,而无需进一步的环境交互。在离线RL中,分布偏移成为困难的主要来源,这是由于被优化的目标策略与用于数据汇集的行为策略的偏差引起的。这通常会导致动作值的高估,这给使用自举的无模型算法带来了严重的问题。为了缓解这个问题,以前的离线RL算法经常使用复杂的技术,鼓励低估动作值,这引入了一组额外的超参数,需要适当调整。在本文中,我们提出了一种离线RL算法,以更有原则的方式防止高估。与之前的离线RL算法不同,我们的算法OptiDICE直接估计最优策略的平稳分布校正,并且不依赖于策略梯度。使用一组广泛的离线RL基准数据集,我们表明OptiDICE与最先进的方法具有竞争力。
2021-06-21 cs.AI cs.LG
Model-based Offline Policy Optimization with Adversarial Network
Nanjing University of Posts and Telecommunications(南京邮电大学);Jiangsu Key Laboratory of Big Data Security and Intelligent Processing(江苏省大数据安全与智能处理重点实验室)
提出基于对抗网络的模型驱动离线策略优化框架MOAN,利用对抗学习构建泛化能力更强的转移模型并量化不确定性,在离线RL基准上超越现有最先进方法。
2023-09-05 cs.AI cs.LG
Generalized Preference Optimization: A Unified Approach to Offline Alignment
Google DeepMind(谷歌DeepMind)
本文提出广义偏好优化(GPO)框架,统一了DPO、IPO和SLiC等离线偏好优化算法,并揭示了离线正则化与KL散度正则化的联系,为对齐实践提供了新工具和经验见解。
2026-10-06 cs.AI cs.LG stat.ML
A cGAN Ensemble-based Uncertainty-aware Surrogate Model for Offline Model-based Optimization in Industrial Control Problems
Siemens Technology(西门子技术公司)
针对工业控制中含噪数据建模与无反馈参数优化问题,提出基于cGAN集成的不确定性感知代理模型,在离散与连续控制案例中均优于多个基线方法。
2024-03-24 cs.AI cs.LG cs.SY
Meta-Black-Box-Optimization through Offline Q-function Learning
South China University of Technology(华南理工大学)
本文提出离线元黑盒优化框架Q-Mamba,将动态算法配置转化为长序列决策,通过Q函数分解、保守Q学习及Mamba架构实现高效稳定的离线策略学习,性能优于现有在线/离线基线。
2025-05-04 cs.LG cs.NE
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京国家信息科学与技术研究中心)
离线强化学习(RL)的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络,这可能会带来额外的推理成本,并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧,这可能与支持集的固有的基于密度的定义不匹配,从而无法有效地避免分布外的动作。本文提出了支持策略优化(SPOT),这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集,并提出了一个简单但有效的基于密度的正则化项,该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计,SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
DROMO: Distributionally Robust Offline Model-based Policy Optimization
Affiliated High School of South China Normal University(华南师范大学附属中学)
研究了基于模型控制的离线强化学习问题,其目标是从经验回放中学习一个动力学模型,并在学习的模型下获得一个面向悲观的智能体.当前基于模型的约束包括显式不确定性惩罚和隐式保守正则化,其将分布外状态-动作对的Q值向下推,而分布内状态-动作对的Q值向上推。虽然前者所依赖的不确定性估计可以对复杂动态进行松散校准,但后者的性能略好。为了扩展正则化的基本思想而不进行不确定性量化,我们提出了分布式鲁棒离线基于模型的策略优化(DROMO),它利用分布式鲁棒优化中的思想来惩罚超出标准经验分布外Q值最小化的更广泛的分布外状态-动作对。我们从理论上表明,我们的方法优化了地面实况政策评估的下限,它可以被纳入任何现有的策略梯度算法。我们还分析了DROMO的线性和非线性实例化的理论性质。
2021-09-15 cs.AI cs.LG
Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization
Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室);Shanghai Innovation Institute(上海创新研究院);Meituan(美团)
针对离线多智能体强化学习中的分布外联合动作和次优收敛问题,提出顺序更新策略的 InSPO 算法,避免 OOD 动作并增强协调,理论保证单调改进与收敛于 QRE。
2024-12-18 cs.AI cs.LG
Offline Contextual Bandits with Overparameterized Models
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
监督学习的最新结果表明,虽然过参数化模型具有过拟合的能力,但它们实际上具有很好的泛化能力。我们问是否同样的现象发生在离线上下文土匪。我们的结果好坏参半。基于值的算法受益于与过参数化监督学习相同的泛化行为,但基于策略的算法没有。我们表明,这种差异是由于他们的目标的\emph{action-stability}。一个目标是动作稳定的,如果存在一个预测(动作值向量或动作分布),无论观察到哪个动作都是最优的。基于价值的目标是行动稳定的,而基于政策的目标是不稳定的。我们正式证明了上界的遗憾过参数化值为基础的学习和下限的遗憾基于政策的算法。在我们对大型神经网络的实验中,基于动作稳定值的目标和基于不稳定策略的目标之间的这种差距导致了显著的性能差异。
2021-06-16 cs.LG stat.ML
Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs
McGill University(麦吉尔大学);Mila;University of Massachusetts(马萨诸塞大学);Facebook AI Research(Facebook人工智能研究院);Microsoft Research(微软研究院)
研究了离线强化学习(RL)环境下约束条件下的安全策略改进(SPI)问题。我们考虑这样的场景:(i)我们有一个在已知基线策略下收集的数据集,(ii)从环境中接收到多个奖励信号,诱导尽可能多的目标进行优化。我们提出了一个SPI制定这个RL设置,考虑到算法的用户的偏好,以处理不同的奖励信号的权衡,同时确保新的政策执行至少以及沿每个单独的目标的基线政策。我们建立在传统的SPI算法上,并提出了一种基于安全策略迭代与基线引导的新方法(SPIBB,Laroche等人,2019年),它为真实环境中的代理性能提供了高概率保证。我们展示了我们的方法在合成网格世界安全任务上的有效性,以及在现实世界的重症监护环境中学习静脉输液和血管加压药治疗败血症的政策。
2021-10-29 cs.LG
Offline Neural Contextual Bandits: Pessimism, Optimization and Generalization
Applied AI Institute(应用人工智能研究所);Deakin University(迪肯大学);University of Oxford(牛津大学)
离线策略学习(OPL)利用先验收集的现有数据进行策略优化,而无需任何主动探索。尽管流行和最近的兴趣在这个问题上,其理论和算法的基础,在函数逼近设置仍然欠发达。在本文中,我们考虑这个问题的轴上的分布转移,优化和推广离线上下文土匪神经网络。特别是,我们提出了一个可证明有效的离线上下文土匪与神经网络功能近似,不需要任何功能的假设上的回报。我们表明,我们的方法可证明推广到看不见的情况下,比现有的OPL工程分布转移的温和条件。值得注意的是,与任何其他OPL方法不同,我们的方法使用随机梯度下降以在线方式从离线数据中学习,使我们能够将在线学习的好处利用到离线设置中。此外,我们表明,我们的方法是计算效率更高,并有一个更好的依赖于有效尺寸的神经网络比在线对应。最后,我们证明了我们的方法在一系列合成和现实世界的OPL问题的经验有效性。
2022-03-13 cs.AI cs.LG stat.ML
ROMO: Retrieval-enhanced Offline Model-based Optimization
Shanghai Jiao Tong University(上海交通大学);China Mobile Research Institute(中国移动研究院);China Mobile (Zhejiang) Research & Innovation Institute(中国移动(浙江)研究院);ShanghaiTech University(上海科技大学)
本文研究受约束的离线黑盒优化问题,提出检索增强方法 ROMO,通过聚合离线数据集相关样本提供可信预测并用于基于梯度的优化,在多项基准任务上超越现有方法。
2023-10-19 cs.AI cs.LG
Multi-layered Network Exploration via Random Walks: From Offline Optimization to Online Learning
The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Bytedance(字节跳动);Microsoft Research(微软研究院)
多层网络探测(MuLaNE)问题是从许多应用中抽象出来的一个重要问题。在MuLaNE中,有多个网络层,每个节点都有一个重要性权重,每个层都通过随机游走进行探索。MuLaNE任务是将总随机游走预算$B$分配到每个网络层,使得随机游走访问的唯一节点的总权重最大化。我们从离线优化到在线学习系统地研究了这个问题。对于离线优化设置的网络结构和节点的权重是已知的,我们提供了基于贪婪的常数比近似算法重叠的网络,和贪婪或基于动态规划的最优解非重叠的网络。对于在线学习设置,最初既不知道网络结构也不知道节点权重。我们采用组合多臂强盗框架和设计算法学习随机游走相关参数和节点权重,同时优化多轮预算分配,并证明他们达到对数遗憾界。最后,我们在真实世界的社交网络数据集上进行实验,以验证我们的理论结果。
2021-06-09 cs.AI cs.LG
Diversity-Driven Offline Multi-Objective Optimization via Nested Pareto Set Learning
Shanghai Institute of AI for Education(上海人工智能教育研究院);School of Computer Science(计算机科学学院);East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院)
针对离线多目标优化中的分布外问题,提出DOMOO方法,通过累积风险控制、嵌套帕累托集学习和多样性驱动选择策略,在合成和真实基准上实现了收敛性和多样性的最佳平均排名。
2026-06-16 cs.LG
Supported Trust Region Optimization for Offline Reinforcement Learning
Tsinghua University(清华大学);Dalian University of Technology(大连理工大学)
针对离线强化学习的分布外问题,提出支撑信任区域优化(STR),在行为策略支撑内约束策略,保证策略改进,并在 MuJoCo 和 AntMaze 上取得最优性能。
2023-11-15 cs.AI cs.LG
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University(南京大学);UIUC(伊利诺伊大学)
本文研究了在一般函数逼近下离线强化学习的理论方面,扩展了理论保证到大或连续动作空间上的参数策略类,并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
Latent Adversarial Regularization for Offline Preference Optimization
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Siebel School of Computing(塞贝尔计算学院);Data Science, University of Illinois at Urbana-Champaign(数据科学,伊利诺伊大学厄巴纳-香槟分校)
本文提出GANPO,通过潜在空间正则化提升语言模型的离线偏好优化性能,增强鲁棒性并减少计算开销。
2026-02-02 cs.AI cs.LG
Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL
University of Cambridge(剑桥大学);DAMTP(应用数学与理论物理系)
针对大语言模型零样本提示优化中被忽视的查询依赖问题及评估难、成本高的挑战,提出基于离线逆强化学习的Prompt-OIRL方法,通过离线奖励模型和N选最佳策略实现高效经济的查询依赖提示优化。
2024-03-07 cs.AI cs.CL cs.LG
Belief-Based Offline Reinforcement Learning for Delay-Robust Policy Optimization
Northwestern University(西北大学);University of Southampton(南安普顿大学)
DT-CORL通过基于信念的变压器预测器和约束离线强化学习框架,实现延迟鲁棒的策略优化,提升仿真到现实的迁移性能。
2026-02-11 cs.AI cs.LG
Is Value Learning Really the Main Bottleneck in Offline RL?
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
该研究针对离线RL性能常不及模仿学习的问题,通过实证分析发现策略提取算法选择和测试时策略泛化才是主要瓶颈,而非普遍认为的价值学习,并提出两种测试时策略改进方法提升性能。
2024-10-28 cs.AI cs.LG
ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
本文提出ROAD框架,通过双层优化解决离线数据与在线策略间分布偏移问题,提升稳定性和性能。
2026-05-14 cs.AI cs.LG
COMBO: Conservative Offline Model-Based Policy Optimization
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
基于模型的算法从记录的经验中学习动态模型,并在学习的模型下执行某种悲观规划,已经成为离线强化学习(离线RL)的一种有前途的范例。然而,这种基于模型的算法的实际变体依赖于显式的不确定性量化来合并悲观主义。使用复杂模型(如深度神经网络)进行不确定性估计可能很困难且不可靠。我们通过开发一种新的基于模型的离线RL算法COMBO克服了这一限制,该算法在学习模型下通过推出生成的支持状态-动作元组上正则化价值函数。这导致对不支持状态-动作元组的价值函数的保守估计,而不需要显式的不确定性估计。我们从理论上表明,我们的方法优化了真正的政策价值的下限,这个界限比以前的方法更紧,我们的方法满足离线设置的政策改善保证。通过实验,我们发现COMBO在广泛研究的离线RL基准测试(包括基于图像的任务)上的表现与之前的离线无模型和基于模型的方法一样好或更好。
2022-01-27 cs.AI cs.LG cs.RO
Offline Policy Optimization in RL with Variance Regularizaton
University of Toronto(多伦多大学);Vector Institute(向量研究所);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Princeton University(普林斯顿大学);Northwestern University(西北大学);Google Research(谷歌研究院);Deepmind Montreal(深度思维蒙特利尔分所)
从固定的离线数据集学习策略是将强化学习(RL)算法扩展到实际应用的关键挑战。这通常是因为非策略RL算法由于数据集和目标策略之间的不匹配而遭受分布偏移,导致高方差和价值函数的高估。在这项工作中,我们提出了离线RL算法的方差正则化,使用平稳分布校正。我们表明,通过使用Fenchel对偶,我们可以避免双采样问题计算的方差正则化的梯度。所提出的离线方差正则化(OVAR)算法可以用来增强任何现有的离线策略优化算法。我们表明,正则化导致离线策略优化目标的下限,这有助于避免高估错误,并解释了我们的方法在一系列连续控制域中的优势,与现有的最先进的算法相比。
2022-12-29 cs.LG
Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning
Jilin University(吉林大学)
针对离线强化学习中扩散模型中间能量难以估计的问题,提出解析能量引导策略优化(AEPO),通过闭式解与神经网络逼近对数期望,在D4RL基准上超越多种基线方法。
2025-05-03 cs.AI cs.LG
CoDrift: Compositional Drifting for Offline Reinforcement Learning
Xi’an Jiaotong University(西安交通大学)
CoDrift是面向离线强化学习的组合框架,通过组合三类目标场生成策略,在OGBench和D4RL的73个任务中,于离线和离线转在线设置均取得最优平均排名。
2026-08-26 cs.LG cs.RO