Offline Reinforcement Learning with Realizability and Single-policy Concentrability
Princeton University(普林斯顿大学);Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
离线强化学习(RL)的样本效率保证通常依赖于对两个函数类的强假设(例如,Bellman-completeness)和数据覆盖率(例如,所有策略集中性)。尽管当局最近已致力放宽这些假设,但现时的工作只能放宽其中一项因素,而对另一项因素的强有力假设则维持不变。作为一个重要的开放问题,我们能否在对这两个因素的弱假设下实现样本有效的离线RL?在本文中,我们肯定地回答了这个问题。我们分析了一个简单的算法的基础上的原始-对偶制定的MDP,其中的双重变量(折扣占用率)建模使用的密度比函数对离线数据。通过适当的正则化,我们证明了该算法具有多项式样本复杂度,仅在可实现和单策略集中下。我们还提供了基于不同假设的替代分析,以阐明离线RL的原始-对偶算法的性质。
2022-06-27 cs.LG stat.ML
Offline RL Without Off-Policy Evaluation
New York University(纽约大学)
离线强化学习(RL)的大多数现有方法都采用了一种涉及离线评估的迭代演员-评论家方法。在本文中,我们表明,简单地做一个步骤的约束/正则化的政策改进使用的政策Q估计的行为政策执行得出奇的好。这种一步算法在D4 RL基准测试的大部分上击败了以前报道的迭代算法的结果。一步基线实现了这种强大的性能,同时比以前提出的迭代算法更简单,对超参数更鲁棒。我们认为,迭代方法的相对较差的性能是在做关闭政策评估固有的高方差的结果,并放大了对这些估计的政策的反复优化。此外,我们假设一步算法的强大性能是由于环境和行为政策的有利结构的组合。
2021-12-03 cs.LG stat.ML
Near-Optimal Provable Uniform Convergence in Offline Policy Evaluation for Reinforcement Learning
UC Santa Barbara(加州大学圣巴巴拉分校);Salesforce Research(赛富时研究院)
强化学习(RL)中的离线策略评估(OPE)问题是将RL应用于实际应用的关键一步。现有的OPE工作主要集中在评估一个固定的目标策略$π$,这并不提供有用的离线策略学习的界限,因为$π$将依赖于数据。我们解决这个问题,同时评估所有的政策在一个政策类$Π$ -统一收敛OPE -并获得近最佳的误差范围的一些全球/本地的政策类。我们的研究结果意味着,基于模型的规划实现了最佳的情节复杂性$\widetilde{O}(H^3/d_mε^2)$在确定一个$ε$ -最佳的政策下的时间不均匀的情节MDP模型($H$是规划的视野,$d_m$是一个数量,反映了探索的日志记录政策$μ$)。据我们所知,这是第一次最优速率被证明是可能的离线RL设置和文件是第一个系统地研究一致收敛OPE。
2020-12-01 cs.AI cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分(IPS)加权,其要求日志记录策略具有\emph{full support},即对于评估策略的任何上下文/动作的非零概率。然而,许多现实世界的系统并不保证这样的日志记录策略,特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency},离线学习无法找到最优策略。我们提出了一种新的方法,使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作,而离线学习用于从记录数据中利用支持的动作,避免不必要的探索。我们的方法确定了一个最优的政策,理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
离线强化学习(RL)完全从静态数据集学习策略,从而避免了与在线数据汇集相关的挑战。离线RL的实际应用将不可避免地需要从数据集中学习,其中所展示的行为的可变性在状态空间中不均匀地变化。例如,在红灯时,几乎所有的人类驾驶员都会停车,但在并入高速公路时,一些驾驶员会快速,有效和安全地并入,而许多人则会犹豫或危险地并入。无论是理论上还是经验上,我们都表明,基于分布约束的典型离线RL方法无法从具有这种非均匀可变性的数据中学习,因为需要在整个状态空间中保持与行为策略相同的程度。理想情况下,只要学习策略在行为策略的支持范围内,学习策略应该可以自由选择每个状态如何紧密地遵循行为策略,以最大化长期回报。为了实例化这一原则,我们在保守Q学习(CQL)中重新加权数据分布,以获得近似的支持约束公式。重新加权的分布是当前策略和额外策略的混合,该额外策略被训练成挖掘在行为策略下可能发生的不良行为。我们的方法,CQL(ReDS),是简单的,理论上的动机,并提高了性能在广泛的离线RL问题在雅达利游戏,导航和基于像素的操作。
2022-11-21 cs.LG stat.ML
Robust Offline Policy Learning with Observational Data from Multiple Sources
Stanford University(斯坦福大学)
针对多源异构观测数据下的个性化决策策略学习问题,提出一种结合双重鲁棒离线策略评估与无遗憾学习的极小化极大遗憾优化算法,确保在源分布混合下实现一致较低的遗憾并达到最小最坏情况混合遗憾。
2024-10-11 cs.LG stat.ML
CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning
Inephany Ltd(Inephany有限公司);Department of Statistics, University of Oxford(牛津大学统计系);University of Cape Town Cape Town, South Africa(南非开普敦大学);The University of Edinburgh(爱丁堡大学)
CODA通过在线扩散生成合成经验,解决多智能体离线强化学习中的协调问题,提升联合行为适应性。
2026-04-25 cs.LG stat.ML
Bayesian Optimization for Policy Search via Online-Offline Experimentation
Facebook(脸书)
在线现场实验是评估现实世界交互式机器学习系统变化的黄金标准。然而,我们探索复杂的多维策略空间的能力--比如在推荐和排名问题中发现的那些--往往受到可以同时运行的实验数量有限的限制。为了减轻这些限制,我们用离线模拟器增强在线实验,并应用多任务贝叶斯优化来调整实时机器学习系统。我们描述了在这些类型的应用程序中出现的实际问题,包括使用模拟器和多任务内核的假设所产生的偏见。我们测量的经验学习曲线,显示了大量的收益,包括数据有偏见的离线实验,并显示这些学习曲线是如何与多任务高斯过程推广的理论结果是一致的。我们发现,改进的内核推理是一个显着的驱动程序的多任务泛化。最后,我们展示了几个贝叶斯优化的例子,通过结合离线和在线实验,有效地调整了一个活的机器学习系统。
2019-04-29 cs.LG stat.ML
Trajectory Data Suffices for Statistically Efficient Policy Evaluation in Fixed-Horizon Offline RL with Linear $q^π$-Realizability and Concentrability
University of Alberta(阿尔伯塔大学)
本文研究在轨迹数据假设下,利用线性 $q^π$-可实现性和集中性,实现固定视界离线强化学习中策略评估的统计有效学习,并改进了策略优化的样本复杂度分析。
2026-05-31 cs.LG stat.ML
A Behavior Regularized Implicit Policy for Offline Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce Research(赛富时研究院)
离线强化学习可以从固定的数据集进行学习,而无需与环境进行进一步的交互。缺乏环境相互作用使得策略训练容易受到远离训练数据集的状态-动作对的影响,并且容易错过奖励动作。为了训练更有效的代理,我们提出了一个框架,支持学习一个灵活的,但规范化的全隐式政策。我们进一步提出了一个简单的修改经典的政策匹配方法正则化的对偶形式的詹森-香农发散和积分概率距离。我们从理论上证明了策略匹配方法的正确性,以及我们的修改的正确性和良好的有限样本性质。我们的框架通过GAN结构提供了一个有效的实例,连同技术,明确平滑的状态动作映射的强大的泛化超出静态数据集。在D4 RL基准上的大量实验和烧蚀研究验证了我们的框架和算法设计的有效性。
2022-10-07 cs.LG stat.ML
Active Offline Policy Selection
DeepMind(深度思维)
本文讨论的问题,在域中的政策选择与丰富的记录数据,但有限的互动预算。解决这个问题将使离线强化学习策略在工业、机器人和推荐等领域的安全评估和部署成为可能。已经提出了几种脱离策略评估(OPE)技术来仅使用记录的数据来评估策略的价值。但是,OPE的评估与完全在线评估之间仍有很大差距。然而,大量的在线互动在实践中往往是不可能的。为了克服这个问题,我们引入了主动离线策略选择-一种新的顺序决策方法,结合记录的数据与在线交互,以确定最佳的政策。我们使用OPE估计来启动在线评估。然后,为了明智地利用有限的环境相互作用,我们决定下一个政策评估的基础上贝叶斯优化方法的内核,代表政策的相似性。我们使用多个基准,包括现实世界的机器人技术,大量的候选政策,以表明所提出的方法提高了最先进的OPE估计和纯在线政策评估。
2022-05-06 cs.AI cs.LG stat.ML
Offline Policy Evaluation and Optimization under Confounding
University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学);Pinterest
该研究针对离线强化学习中未观测混杂因子导致的策略评估与优化难题,梳理混杂MDP的评估场景分类,提出不同场景下带理论保障的价值估计算法与策略改进算法,实验验证其在网格世界和医疗场景中效果优于现有方法。
2023-11-07 cs.LG stat.ML
MOPO: Model-based Offline Policy Optimization
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
离线强化学习(RL)是指完全从大量先前收集的数据中学习策略的问题。这种问题设置提供了利用这些数据集来获取策略的希望,而无需任何昂贵或危险的主动探索。然而,由于离线训练数据和学习策略访问的那些状态之间的分布转移,这也是具有挑战性的。尽管最近取得了重大进展,但最成功的方法是无模型的,并将政策限制在数据的支持下,排除了对不可见状态的泛化。在本文中,我们首先观察到,现有的基于模型的RL算法已经产生显着的收益相比,无模型的方法在离线设置。然而,标准的基于模型的强化学习方法,设计用于在线设置,不提供一个明确的机制,以避免离线设置的分布转移问题。相反,我们建议修改现有的基于模型的强化学习方法,通过动态的不确定性人为地惩罚奖励来应用它们。我们从理论上证明,该算法最大限度地降低了真正的MDP下的政策的回报。我们还描述了离开批处理数据的支持的收益和风险之间的权衡。我们的算法,基于模型的离线策略优化(MOPO),优于标准的基于模型的RL算法和现有的最先进的无模型离线RL算法对现有的离线RL基准和两个具有挑战性的连续控制任务,需要从不同的任务收集的数据进行概括。该代码可在https://github.com/tianheyu927/mopo上获得。
2020-11-22 cs.AI cs.LG stat.ML
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University(爱荷华州立大学)
本文提出了一种潜在安全约束策略方法,通过条件变分自动编码器和受约束奖励-回报最大化框架,实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Evaluation-Time Policy Switching for Offline Reinforcement Learning
University of Warwick(华威大学);Nanyang Technological University(南洋理工大学)
本文提出离线RL评估时策略切换方法,利用认知与偶然不确定性在离策略RL和BC智能体间动态选择,提升多基准表现并可安全扩展至离线到在线微调。
2025-03-15 cs.AI cs.LG stat.ML
Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
如何在离线强化学习(RL)中选择由不同训练算法产生的策略和价值函数-这对于超参数调整至关重要-是一个重要的开放问题。现有的基于离政策评估(OPE)的方法通常需要额外的函数近似,因此需要超参数,从而造成鸡和蛋的情况。在本文中,我们设计了超参数无算法的基础上BVFT [XJ 21],价值函数选择的最新理论进展的政策选择,并证明其有效性在离散行动基准,如雅达利。为了解决性能下降,由于穷人的批评,在连续的行动领域,我们进一步结合BVFT与OPE得到最好的两全其美,并获得一个超参数调整方法的Q函数为基础的OPE与理论保证作为副产品。
2021-11-02 cs.AI cs.LG stat.ML
Stateful Offline Contextual Policy Evaluation and Learning
我们研究了关闭政策的评估和学习,从序列数据中的结构化类马尔可夫决策过程中产生的反复与外源序列的到来与上下文的相互作用,产生未知的个人层面的代理行动的反应。这个模型可以被认为是一个离线概括的上下文强盗资源约束。我们正式的相关因果结构的问题,如动态个性化定价和其他运营管理问题中存在的潜在高维用户类型。关键的见解是,个人层面的响应通常不会受到状态变量的因果影响,因此可以很容易地跨时间步和状态进行概括。当这是真的,我们研究的影响(双重强大的)关闭政策的评估和学习,而不是利用单时间步评估,估计期望通过人口的数据,在一个单一的到达,在边际MDP的拟合值迭代。我们研究样本的复杂性和分析错误放大,导致的持久性,而不是衰减,随着时间的推移,混淆错误。在动态和容量限制定价的模拟中,我们在这类相关问题中显示了改进的样本外政策性能。
2021-10-19 cs.LG stat.ML
CASP: Support-Aware Offline Policy Selection for Two-Stage Recommender Systems
Texas A\&M University(德克萨斯大学)
CASP通过结合双重鲁棒价值估计和支持负担惩罚,解决两阶段推荐系统中策略选择的可靠性问题,确保在价值估计和支撑可信度冲突时选择低负担策略。
2026-04-24 cs.IR cs.LG stat.ML
OPERA: Automatic Offline Policy Evaluation with Re-weighted Aggregates of Multiple Estimators
Stanford University(斯坦福大学);Cohere
针对离线策略评估(OPE)算法选型难的问题,本文提出OPERA算法,可自适应融合多类OPE估计器,具备一致性,能在医疗、机器人领域选出更优策略,提升了通用离线RL离策略评估框架的易用性。
2024-10-31 cs.AI cs.LG stat.ML
Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds
Visva-Bharati University(维萨瓦巴拉蒂大学);S. N. Bose National Centre for Basic Sciences(S.N. 玻色基础科学国立中心)
BCPO通过贝叶斯方法构建可信下界,将不确定性转化为保守策略改进,提升离线强化学习的鲁棒性和稳定性。
2026-03-06 stat.ME stat.ML
Offline Reinforcement Learning for Human-Guided Human-Machine Interaction with Private Information
Northwestern University(西北大学);George Washington University(乔治华盛顿大学);Yale University(耶鲁大学);University of Miami(迈阿密大学)
受训练聊天机器人以提高客户满意度等人机交互的启发,我们研究了涉及私人信息的人引导的人机交互。我们将这种交互建模为两个玩家的回合制游戏,其中一个玩家(Alice,人类)引导另一个玩家(Bob,机器)朝着共同的目标前进。具体来说,我们在这个游戏中专注于离线强化学习(RL),目标是为Alice和Bob找到一个策略对,基于先验收集的离线数据集最大化他们的预期总回报。离线设置带来了两个挑战:(i)我们无法收集Bob的私人信息,导致使用标准RL方法时出现混淆偏差,以及(ii)用于收集数据的行为策略与我们想要学习的策略之间的分布不匹配。为了解决混杂偏差,我们将Bob之前的行为视为Alice当前决策的工具变量,以便调整未测量的混杂。我们开发了一个新的识别结果,并使用它提出了一个新的关闭政策评估(OPE)的方法来评估政策对在这个两个玩家回合制游戏。为了解决分布不匹配的问题,我们利用悲观主义的思想,并使用我们的OPE方法来开发一个离线学习算法,为Alice和Bob找到一个理想的策略对。最后,我们证明了在温和的假设下,如部分覆盖的离线数据,通过我们的方法获得的政策对收敛到最优的一个令人满意的速度。
2022-12-23 cs.LG stat.ME stat.ML
Hallucinated Adversarial Control for Conservative Offline Policy Evaluation
ETH Zurich(苏黎世联邦理工学院)
本文提出 HAMBO 方法,通过在模型认知不确定性区域内幻觉最坏情况轨迹,为离线策略性能提供可证明有效的紧下界,并在连续控制任务中验证其可靠性。
2023-05-26 cs.AI cs.LG stat.ML
Support-aware offline policy selection for advertising marketplaces
Department of Mathematics(数学系);Embry-Riddle Aeronautical University(埃姆伯里-瑞德尔航空大学)
本文提出了一种支持感知的离线决策框架,用于广告市场的保留策略选择,通过将记录证据转化为保守决策对象,以确保验证的可靠性,而非仅依赖点估计排名。
2026-05-20 cs.AI cs.LG stat.ML
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University(康奈尔大学)
我们研究了自然随机策略的有效离策略评估,这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价,其中大多数工作考虑明确规定的政策的评价。至关重要的是,具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题,导致基于当前实践的政策,并提高政策在实践中的可实施性。与经典的情况下,一个预先指定的评估政策,评估自然随机政策时,效率界,衡量最佳可实现的估计误差,膨胀,因为评估政策本身是未知的。在本文中,我们推导出两种主要类型的自然随机政策:倾斜政策和修改的治疗政策的效率界。然后,我们提出了有效的非参数估计,在非常宽松的条件下达到效率界。这些也享有(部分)双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
Federated Offline Reinforcement Learning: Collaborative Single-Policy Coverage Suffices
Carnegie Mellon University(卡内基梅隆大学);California Institute of Technology(加州理工学院)
本文提出联邦离线强化学习算法FedLCB-Q,通过协作覆盖状态-动作空间实现线性加速,样本复杂度接近集中式,且通信高效。
2024-02-08 cs.LG cs.MA stat.ML
To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning
London School of Economics(伦敦政治经济学院)
本文针对离线强化学习中的策略切换问题,提出基于最优传输的平衡切换框架及Net Actor-Critic算法,并在机器人控制和交通灯基准上验证了其有效性。
2025-02-26 cs.IT cs.LG math.IT
MoMA: Model-based Mirror Ascent for Offline Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学)
本文提出 MoMA 算法,在离线数据部分覆盖下采用无限制策略类和一般函数逼近,结合保守价值估计与镜像上升更新,并给出次优性理论保证及数值验证。
2024-01-21 cs.LG math.ST stat.ME
What are the Statistical Limits of Offline RL with Linear Function Approximation?
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);Amazon(亚马逊);University of Washington, Seattle(西雅图华盛顿大学);Microsoft Research(微软研究院)
离线强化学习试图利用离线(观察)数据来指导(因果)顺序决策策略的学习。希望离线强化学习与函数逼近方法(处理维数灾难)相结合,可以提供一种方法来帮助减轻现代顺序决策问题中过度的样本复杂性负担。然而,在何种程度上,这种更广泛的方法可以是有效的是没有得到很好的理解,在文献中主要是由充分的条件。这项工作的重点是什么是必要的代表性和分布条件,允许可证明的样本有效的离线强化学习的基本问题。也许令人惊讶的是,我们的主要结果表明,即使:i)我们具有可实现性,因为\emph{every}策略的真价值函数在给定的特征集合中是线性的,以及2)我们的非策略数据在所有特征上具有良好的覆盖(在强光谱条件下),那么任何算法(信息理论上)需要在问题范围内呈指数的多个离线样本,以便非平凡地估计给定策略的\emph{any}的值。我们的研究结果强调,样本有效的离线政策评估是根本不可能的,除非显着更强的条件下举行,这样的条件包括要么具有低分布偏移(离线数据分布接近的政策的分布进行评估)或显着更强的代表性条件(超出可实现性)。
2020-10-22 cs.AI cs.LG math.OC
Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL
Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)
本文研究了平均回报MDP中的离线强化学习,提出基于目标策略的精确样本复杂度界,并首次处理一般弱连通MDP,引入改进的悲观折扣价值迭代算法。
2026-04-21 cs.IT cs.LG math.IT