Policy Regret for Embedding Model Routing: Contextual Bandits with Low-Rank Experts
Operations Research Center, MIT(麻省理工学院运筹学研究中心);Sloan School of Management, MIT(麻省理工学院斯隆管理学院);Department of EECS, MIT(麻省理工学院电气工程与计算机科学系)
针对推荐系统中嵌入模型路由问题,形式化为具有低秩专家的对抗性上下文线性赌博机,提出Hypentropy策略梯度算法,实现$\tilde{\mathcal O}(s\sqrt{M T})$线性化策略遗憾。
2026-09-28 cs.AI cs.LG stat.ML
Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Princeton University(普林斯顿大学);University of Technology Sydney(悉尼科技大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
离线强化学习(RL)旨在从先前收集的数据集中学习策略,而无需探索环境。直接将离线策略算法应用于离线强化学习通常会由于分布外(OOD)操作引起的外推错误而失败。以前的方法通过惩罚OOD动作的Q值或限制训练策略接近行为策略来解决这个问题。然而,这样的方法通常防止价值函数的泛化超出离线数据,也缺乏OOD数据的精确表征。在本文中,我们提出了离线RL(PBRL),一个纯粹的不确定性驱动的离线算法,没有明确的政策约束的Pessierity Bootstrapping。具体而言,PBRL通过自举Q函数的不一致性进行不确定性量化,并通过基于估计的不确定性惩罚价值函数来执行悲观更新。为了解决外推误差,我们进一步提出了一种新的OOD采样方法。我们表明,这样的OOD抽样和悲观的自举产生可证明的不确定性量化的线性MDPs,从而提供了PBRL的理论基础。在D4RL基准测试上的大量实验表明,PBRL算法比现有算法具有更好的性能。
2022-02-23 cs.LG
Off-policy evaluation for learning-to-rank via interpolating the item-position model and the position-based model
Amazon Music ML(亚马逊音乐机器学习部门);Cornell University(康奈尔大学)
工业推荐系统的一个关键需求是在将推荐策略部署到生产环境之前离线评估推荐策略的能力。不幸的是,广泛使用的政策外评估方法要么对用户的行为做出强烈的假设,这可能导致过度的偏见,要么他们做出较少的假设,并遭受较大的方差。我们通过开发一种新的估计器来解决这个问题,该估计器缓解了两种最流行的排名策略估计器的问题,即基于位置的模型和项目位置模型。特别是,新的估计,称为国际刑警组织,解决了一个潜在的错误指定的基于位置的模型的偏差,同时提供了一个适应性的偏差方差权衡相比,项目位置模型。我们提供的理论论据以及实证结果,突出了我们的新的估计方法的性能。
2022-10-15 cs.IR cs.LG stat.CO
Pessimistic Backward Policy for GFlowNets
POSTECH(浦项科技大学);KAIST(韩国科学技术院)
针对GFlowNets因训练轨迹不足导致高奖励对象利用不足的问题,提出悲观反向策略PBP-GFN,通过最大化观测流对齐真实奖励,在8个基准任务上实现了高奖励发现能力与多样性的兼顾,性能优于现有方法。
2024-10-29 cs.LG
Clipped-Objective Policy Gradients for Pessimistic Policy Optimization
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory(应用物理实验室)
本文提出裁剪目标策略梯度(COPG),通过用等效裁剪的基本策略梯度替代PPO的重要性采样目标,实现更悲观的目标,促进探索,在连续动作空间的多任务等场景中提升学习性能,且不增加计算成本。
2023-11-10 cs.LG
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC(微软研究院纽约分院);Netflix(奈飞公司)
本文提出首个通用的预言机高效悲观离线策略优化算法,通过归约为监督学习实现广泛适用性,并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文针对离线强化学习零样本泛化问题,提出悲观经验风险最小化和悲观近端策略优化两种方法,并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think
Criteo AI Lab(Criteo人工智能实验室)
本文通过隐式悲观主义解释离策略强化学习目标的有效性,并提出稳定诱导分布的改进方法。
2026-05-27 cs.LG
Optimistic Model Rollouts for Pessimistic Offline Policy Optimization
National University of Defense Technology(国防科技大学);Artificial Intelligence Research Center(人工智能研究中心)
本文提出 ORPO 框架,通过构建乐观 MDP 生成更多分布外模型推演,再在悲观 MDP 中用惩罚奖励优化策略,从而提升离线强化学习的泛化能力,实验性能超越 P-MDP 基线 30%。
2024-01-11 cs.LG
Pessimistic Risk-Aware Policy Learning in Contextual Bandits
本文提出统一框架优化Lipschitz连续风险函数,涵盖均值-方差、熵风险等,通过新型经验集中不等式推导数据依赖的次优界,无须强叠加假设,达到最小最大最优。
2026-05-15 cs.LG stat.ML
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中,我们提出了广义悲观主义学习(GPL),一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是,我们建议学习这个惩罚与批评双TD学习,一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差,而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合,我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Belief-Enriched Pessimistic Q-Learning against Adversarial State Perturbations
Tulane University(杜兰大学)
针对强化学习智能体易受对抗状态扰动的问题,提出融合信念状态推断与扩散状态纯化的悲观Q学习算法,在强攻击下表现优异且训练开销与正则化方法相当。
2024-03-06 cs.LG
POLAR: A Pessimistic Model-based Policy Learning Algorithm for Dynamic Treatment Regimes
Department of Applied Mathematics and Statistics, Johns Hopkins University(约翰霍普金斯大学应用数学与统计学系);School of Business, The George Washington University(乔治华盛顿大学商学院)
POLAR是一种新型悲观模型基于策略学习算法,为动态治疗方案优化提供统计和计算保证,通过量化不确定性并抑制高不确定动作,实现更优的策略学习。
2026-01-28 cs.IT cs.LG math.IT
Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium Learning from Offline Datasets
The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);Fudan University(复旦大学);Northwestern University(西北大学);Yale University(耶鲁大学)
我们研究情节两个球员零和马尔可夫游戏(MG)在离线设置,其中的目标是找到一个近似的纳什均衡(NE)的政策对收集的先验数据集的基础上。当数据集在所有策略对上不具有均匀覆盖时,找到近似NE涉及三个方面的挑战:(i)行为策略和最优策略之间的分布转移,(ii)处理大状态空间的函数近似,以及(iii)用于均衡求解的极小极大优化。我们提出了一个基于悲观的算法,被称为悲观极小极大值迭代(PMVI),它克服了分布的变化,通过构建悲观估计的价值函数为双方球员和输出的政策对解决NE的基础上的两个价值函数。此外,我们建立了一个依赖于数据的上界的次优恢复一个次线性率,而无需假设均匀覆盖的数据集。我们还证明了一个信息理论的下限,这表明在上限的数据依赖项是内在的。我们的理论结果还强调了“相对不确定性”的概念,它表征了在离线MG中实现样本效率的充分必要条件。据我们所知,我们提供了第一个接近minimax最优结果离线MG函数逼近。
2022-12-30 cs.GT cs.LG stat.ML
Logarithmic Smoothing for Pessimistic Off-Policy Evaluation, Selection and Learning
Criteo AI Lab(Criteo人工智能实验室);CREST, ENSAE(法国国家统计与经济研究所CREST中心);ESSEC Business School(埃塞克商学院)
针对离线上下文赌博机的策略评估、选择与学习问题,提出对数平滑估计量LS,通过构建更紧的经验集中界实现悲观主义原则,实验验证了其通用性与优异性能。
2024-10-30 cs.LG stat.ML
Pessimistic Model Selection for Offline Deep Reinforcement Learning
National University of Singapore(新加坡国立大学);IBM Research(IBM研究院);Georgia Tech(佐治亚理工学院);George Washington University(乔治华盛顿大学)
深度强化学习(Deep Reinforcement Learning,DRL)在序列决策问题的求解中有着广泛的应用前景。尽管其有前途的性能,但在现实世界的场景中部署DRL时存在实际差距。一个主要的障碍是过度拟合问题,导致DRL学习到的策略的泛化性差。特别是,对于具有观测数据的离线DRL,模型选择是一项具有挑战性的任务,因为与具有模拟环境的在线设置相比,没有地面实况可用于性能演示。在这项工作中,我们提出了一个悲观的模型选择(PMS)方法离线DRL的理论保证,它具有一个可证明有效的框架,在一组候选模型中找到最佳的政策。两个改进的方法也提出了解决DRL模型在确定最优策略的潜在偏差。数值研究表明,我们的方法优于现有的方法的性能。
2021-11-29 cs.AI cs.CE cs.LG
Pessimistic Latent Task-aware Optimization for Robust Offline Meta-Reinforcement Learning
Seoul National University(首尔大学)
针对离线元强化学习的支持外泛化问题,提出PLATO方法,通过扰动隐变量合成反事实任务并结合悲观权重更新策略,在8个MuJoCo基准上提升了支持外回报且分布内性能具竞争力。
2026-10-22 cs.AI cs.LG
Pessimistic Model-based Offline Reinforcement Learning under Partial Coverage
Cornell University(康奈尔大学)
我们研究了基于模型的离线强化学习与一般函数近似,而无需对离线数据分布的全覆盖假设。我们提出了一个算法名为约束悲观策略优化(CPPO),利用一个通用的功能类,并使用一个约束模型类编码悲观。假设地面实况模型属于我们的函数类(即,函数类中的可实现性),CPPO具有PAC保证,离线数据仅提供部分覆盖,即,它可以学习与离线数据所覆盖的任何策略竞争的策略。然后,我们证明,这种算法框架可以应用于许多专门的马尔可夫决策过程中,额外的结构假设可以进一步完善的概念,部分覆盖。两个显著的例子是:(1)具有表示学习的低秩MDP,其中使用由未知地面实况特征表示测量的相对条件数来定义部分覆盖条件;(2)因子化MDP,其中使用与各个因子相关联的基于密度比的集中性系数来定义部分覆盖条件。
2023-01-10 cs.AI cs.LG stat.ML
Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data
Purdue University(普渡大学);London School of Economics and Political Science(伦敦政治经济学院);ByteDance(字节跳动);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
针对观测数据中混杂和分布偏移问题,提出PESCAL算法,利用前门准则的中介变量消除偏差,并悲观学习中介分布下界,简化算法并提供理论保证和实验验证。
2024-03-18 cs.AI cs.LG stat.ML
Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
离线或批处理强化学习试图使用历史数据学习接近最优的策略,而无需主动探索环境。针对许多离线数据集的覆盖率不足和样本稀缺性,最近引入了悲观主义原则以减轻估计值的高偏差。虽然基于模型的算法的悲观变体(例如,具有较低置信界限的值迭代)进行了理论研究,但它们的无模型对应物(不需要明确的模型估计)尚未得到充分研究,特别是在样本效率方面。为了解决这一不足,我们研究了有限时域马尔可夫决策过程的背景下的Q-学习的悲观变体,并在单策略集中性假设下描述了其样本复杂性,该假设不需要状态-动作空间的完全覆盖。此外,方差减少悲观Q-学习算法提出了实现接近最优的样本复杂度。总之,这项工作突出了无模型算法在离线RL中与悲观主义和方差减少结合使用时的效率。
2022-06-10 cs.LG stat.ML
State-Aware Proximal Pessimistic Algorithms for Offline Reinforcement Learning
Qiyuan Lab(启元实验室);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室)
悲观主义在离线强化学习(RL)中具有重要意义。一大类离线RL算法通过显式或隐式行为正则化来满足悲观主义。然而,大多数研究只将策略分歧视为行为的规则化,忽略了离线状态分布与学习策略分布的差异对策略分歧的影响,从而可能导致对某些状态的悲观不足和对另一些状态的悲观过度。考虑到这个问题,我们提出了一个原则性的算法框架离线RL,称为\emph{State-Aware Proximal Pessimism}(SA-PP)。SA-PP的核心思想是利用学习策略和离线数据集之间的折扣静态分布比率,以状态方式调节行为正则化的程度,从而可以以更合适的方式实现悲观主义。我们首先提供了理论上的SA-PP比以前的算法的优越性的理由,证明SA-PP产生一个较低的次优上限在广泛的设置。此外,我们提出了一个新的算法命名为\emph{State-Aware Conservative Q-Learning}(SA-CQL),通过建立SA-PP的代表性的CQL算法的帮助下,DualDICE估计折扣稳态分布比率。在标准的离线RL基准测试上的大量实验表明,SA-CQL在大部分基准测试上都优于流行的基线,并获得了最高的平均回报。
2022-11-28 cs.AI cs.LG
Semi-pessimistic Reinforcement Learning
London School of Economics and Political Science(伦敦经济政治学院);University of California at Berkeley(加州大学伯克利分校);The Alan Turing Institute(艾伦·图灵研究所);University of Manchester(曼彻斯特大学)
本文提出半悲观强化学习方法,利用大量未标记数据缓解离线强化学习中的分布偏移,通过优化奖励函数下界简化学习,并保证性能提升,在帕金森病自适应脑深部刺激中展现应用价值。
2025-05-25 cs.AI cs.LG stat.ML
Ranking metrics on non-shuffled traffic
Criteo AI Lab(科韬人工智能实验室)
排名指标是一系列主要用于评估推荐系统的指标。然而,他们通常遭受的事实,奖励是由推荐项目显示给用户的顺序影响。克服这种位置偏差的经典方法是均匀地打乱推荐的比例,但这种方法可能导致糟糕的用户体验。然而,使用随机策略来生成建议是常见的,我们提出了一种新的方法来克服位置偏差,通过利用用于收集数据集的策略的随机性。
2019-09-17 cs.LG stat.ML
Optimistic Policy Learning under Pessimistic Adversaries with Regret and Violation Guarantees
Dept. of Electrical and Computer Engineering, NJIT, Newark, NJ, USA(电气与计算机工程系,新泽西理工学院,新泽西州纽克尔,美国)
本文提出RHC-UCRL算法,通过建模外生因素为对抗策略,实现策略在对抗环境下的最优与安全,提供子线性后悔和约束违反保证。
2026-04-17 cs.AI cs.LG
On the Optimality of Batch Policy Optimization Algorithms
University of Alberta(阿尔伯塔大学);Carnegie Mellon University(卡内基梅隆大学);Google Research, Brain Team(谷歌研究院,大脑团队);DeepMind;Amazon(亚马逊)
批量策略优化考虑在与环境交互之前利用现有数据进行策略构建。虽然近年来对这个问题的兴趣显著增加,但其理论基础仍然不发达。为了提高对这个问题的理解,我们提供了三个结果,其特点的限制和可能性的批处理策略优化的有限武装随机土匪设置。首先,我们介绍了一类信心调整的指数算法,统一的乐观和悲观的原则,在一个共同的框架,这使得一般的分析。对于这个家庭,我们表明,任何信心调整指数算法是最小最大最优的,无论是乐观的,悲观的或中立的。我们的分析表明,依赖于实例的最优性,通常用于建立在线随机强盗算法的最优性,不能实现任何算法在批量设置。特别是,对于在某些环境中表现最佳的任何算法,存在另一种环境,在这种环境中,相同的算法遭受任意更大的遗憾。因此,为了建立一个框架,区分算法,我们引入了一个新的加权极大极小准则,认为固有的困难的最优值预测。我们演示了如何使用这个标准来证明常用的批处理策略优化的悲观原则。
2021-04-06 cs.LG
Pessimistic asynchronous sampling in high-cost Bayesian optimization
National Research Council(美国国家研究委员会);Air Force Research Laboratory(美国空军研究实验室);University at Buffalo(布法罗大学)
本文提出悲观预测异步贝叶斯优化策略,通过并行分配实验减少高成本优化所需实验次数,并在高维空间中降低陷入局部最优的风险。
2024-10-22 cs.LG
Robust Model-Based Reinforcement Learning with an Adversarial Auxiliary Model
University of Antwerp(安特卫普大学);imec(校际微电子中心);IDLab(IDLab研究院)
本文针对强化学习策略在近似MDP中鲁棒性不足的问题,提出在RMDP框架下引入对抗更新的辅助悲观模型,并将其集成到RMBPO算法中,在MuJoCo任务上验证了该方法能显著提升策略鲁棒性。
2024-07-01 cs.AI cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出OOO框架,通过解耦探索与利用策略,利用离线重训练缓解在线RL中的探索偏差,显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty
Turkish Aerospace(土耳其航空航天)
STAC通过引入时间性随机不确定性来缓解强化学习中批评器的过估计问题,采用分布性批评器和dropout正则化提升稳定性和效率。
2026-01-02 cs.AI cs.LG cs.SY
Mitigating Mismatch within Reference-based Preference Optimization
Sydney AI Centre, The University of Sydney(悉尼人工智能中心,悉尼大学);CFAR, A*STAR(CFAR,A*STAR);CSIRO, Data61(CSIRO,Data61);Southeast University(东南大学);Nanyang Technological University(南洋理工大学)
HyPO通过有条件地去偏参考信号缓解基于参考的偏好优化中的不匹配问题,提升推理对齐性能。
2026-02-12 cs.AI cs.LG
Constrained Policy Optimization via Bayesian World Models
ETH Zurich(苏黎世联邦理工学院)
在高风险的现实世界应用中部署强化学习时,提高样本效率和安全性是至关重要的挑战。我们提出了LAMBDA,一种新的基于模型的方法,通过约束马尔可夫决策过程建模的安全关键任务的政策优化。我们的方法利用贝叶斯世界模型,并利用由此产生的不确定性,以最大限度地提高乐观的任务目标的上限,以及悲观的安全约束的上限。我们展示了LAMBDA的安全健身房基准套件在样本效率和约束违反方面的最先进的性能。
2022-02-06 cs.AI cs.LG cs.RO
Pessimistic Value Iteration for Multi-Task Data Sharing in Offline Reinforcement Learning
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern University(西北大学);Tianjin University(天津大学);Yale University(耶鲁大学);Northwestern Polytechnical University(西北工业大学)
本文提出基于不确定性的多任务数据共享方法,通过悲观值迭代统一单任务与多任务离线强化学习,理论证明其最优性差距仅取决于共享数据覆盖范围,并在三个挑战性领域上超越现有方法。
2024-04-30 cs.AI cs.LG
The Importance of Pessimism in Fixed-Dataset Policy Optimization
Mila;McGill University(麦吉尔大学);OpenAI;Google Research(谷歌研究院)
我们研究了固定数据集策略优化算法的预期收益的最坏情况保证。我们的核心贡献是一个统一的概念和数学框架的算法研究在这一制度。该分析表明,对于朴素方法,错误的值高估的可能性导致难以满足的要求:为了保证我们选择接近最优的策略,我们可能需要数据集提供每个策略的值的信息。为了避免这种情况,算法可以遵循悲观主义原则,即我们应该选择在最坏的可能世界中发挥最佳作用的策略。我们展示了为什么悲观算法可以实现良好的性能,即使数据集是不是每一个政策的信息,并得出家庭的算法,遵循这一原则。这些理论研究结果通过表格网格世界上的实验和四个MinAtar环境上的深度学习实验进行了验证。
2020-11-29 cs.AI cs.LG
Tactical Optimism and Pessimism for Deep Reinforcement Learning
Grenoble INP(格勒诺布尔国立理工学院);Gatsby Unit, UCL(伦敦大学学院盖茨比研究组);University of Oxford(牛津大学);Microsoft Research(微软研究院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);University of California, Berkeley(加州大学伯克利分校)
近年来,深度偏离策略的行动者-批评者算法已经成为连续控制强化学习的主要方法。这种改进性能的主要驱动因素之一是使用悲观值更新来解决函数近似错误,这在以前会导致令人失望的性能。然而,悲观主义的一个直接后果是减少了探索,这与乐观主义在不确定性面前的功效的理论支持背道而驰。那么,哪种方法最好呢?在这项工作中,我们表明,最有效的乐观程度可以在不同的任务和学习过程中有所不同。受此启发,我们引入了一个新的深度行动者-批评者框架,战术乐观和悲观(TOP)估计,它在线在乐观和悲观价值学习之间切换。这是通过将选择公式化为多臂强盗问题来实现的。我们在一系列连续控制任务中表明,TOP优于依赖于固定乐观度的现有方法,在具有挑战性的基于像素的环境中开创了一个新的艺术状态。由于我们的变化易于实现,我们相信这些见解可以很容易地融入到众多的非策略算法中。
2022-04-06 cs.LG
Wasserstein Barycenter Soft Actor-Critic
WBSAC 通过结合悲观和乐观策略的 Wasserstein 聚合,提升连续控制任务中的样本效率。
2026-02-24 cs.LG cs.SY eess.SY
A Unified Framework of Policy Learning for Contextual Bandit with Confounding Bias and Missing Observations
Yale University(耶鲁大学);Northwestern University(西北大学)
我们研究离线上下文强盗问题,我们的目标是获得一个最佳的政策,使用观测数据。然而,这些数据通常包含两个缺陷:(i)未观察到一些混淆行为的变量,以及(ii)在收集的数据中存在缺失的观察结果。未观察到的混杂因素导致混杂偏倚,缺失的观察结果导致偏倚和低效率问题。为了克服这些挑战并从观测数据集中学习最优策略,本文提出了一种新的策略学习算法CAP-Adjusted Pessimism(CAP)策略学习,该算法将奖励函数形成为积分方程组的解,建立置信度集,并由灰色系统采取悲观行动。温和的假设的数据,我们开发了一个上限的次优的CAP离线上下文强盗问题。
2023-03-20 cs.AI cs.LG stat.ML
Best of Both Worlds Policy Optimization
Google Research(谷歌研究院)
策略优化方法是实践中流行的强化学习算法。最近的工作已经建立了理论基础,证明了$\sqrt{T}$遗憾界,即使损失是敌对的。在最坏的情况下,这样的界限很紧,但往往过于悲观。在这项工作中,我们表明,在表马尔可夫决策过程(MDP),通过适当地设计正则化,探索奖金和学习率,可以实现更有利的polylog $(T)$遗憾时,损失是随机的,而不牺牲最坏情况下的保证,在对抗制度。据我们所知,这也是第一次一个缺口依赖polylog $(T)$遗憾界的政策优化。具体来说,我们通过在策略更新中利用Tsallis熵或Shannon熵正则化器来实现这一点。然后,我们表明,在已知的过渡,我们可以进一步获得一个一阶遗憾界的对抗制度,利用对数障碍正则化。
2023-02-18 cs.AI cs.LG stat.ML
Towards Robust Off-Policy Evaluation via Human Inputs
New York University(纽约大学);Harvard University(哈佛大学)
政策外评估(OPE)方法是评估高风险领域(如医疗保健)政策的重要工具,在这些领域,直接部署通常是不可行的,不道德的或昂贵的。当部署环境预计会发生变化(即数据集变化)时,OPE方法必须在这些变化中对策略进行健壮的评估。现有的方法考虑对一个大类的变化,可以任意改变任何可观察到的环境属性的鲁棒性。这通常会导致对实用程序的高度悲观的估计,从而使可能在部署中有用的策略无效。在这项工作中,我们解决了上述问题,通过调查领域知识如何可以帮助提供更现实的估计政策的效用。我们利用人类输入的环境方面可能会发生变化,并调整OPE方法,只考虑这些方面的变化。具体来说,我们提出了一个新的框架,鲁棒OPE(ROPE),它考虑了基于用户输入的数据中的协变量子集的变化,并估计这些变化下的最坏情况下的效用。然后,我们开发计算效率高的算法OPE是强大的上下文土匪和马尔可夫决策过程的上述变化。我们还从理论上分析了这些算法的样本复杂度。对来自医疗保健领域的合成和真实世界数据集的广泛实验表明,我们的方法不仅准确地捕捉了现实的数据集变化,而且还导致了不那么悲观的政策评估。
2022-09-18 cs.LG stat.ML
Stackelberg Batch Policy Learning
University of California Irvine(加州大学欧文分校)
针对批量强化学习现有最坏情况最优算法忽略分层决策结构的问题,提出基于Stackelberg博弈的StackelLearner算法,具备理论收敛与遗憾界保证,实验性能优于或持平现有最优方法。
2023-10-02 cs.LG stat.ML
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal(蒙特利尔大学);Mila - Québec AI Institute(蒙特利尔人工智能研究所);Université Laval(拉瓦尔大学);IID - Institut Intelligence et Données(智能与数据研究所);LawZero;CIFAR AI Chair(CIFAR人工智能主席)
提出SHAPO算法,通过锐度感知策略更新隐式重加权梯度,放大罕见不安全动作的影响,抑制安全动作的贡献,从而在欠探索区域实现保守行为,提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
A Risk-Sensitive Approach to Policy Optimization
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory(应用物理实验室);Microsoft Corporation(微软公司)
本文提出一种直接优化基于累积分布函数的风险敏感目标的策略梯度方法,适用于连续/离散动作空间及有无约束场景,并在Safety Gym环境中证明悲观风险概况可增强探索、降低成本并提高回报。
2023-11-16 cs.LG
Matrix Low-Rank Trust Region Policy Optimization
King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出基于低秩矩阵的模型替代神经网络来估计TRPO参数,通过矩阵补全技术强制低秩性,在降低计算和样本复杂度的同时保持相当的累积奖励。
2024-05-27 cs.AI cs.LG
Mitigating Preference Hacking in Policy Optimization with Pessimism
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
本文提出悲观 RLHF 目标及 P3O、PRPO 算法,通过面对不确定性的悲观主义可证明地缓解偏好黑客问题,并在摘要与助手任务中验证其鲁棒性。
2025-03-10 cs.AI cs.LG
Mind the Gap: Offline Policy Optimization for Imperfect Rewards
Tsinghua University(清华大学);JD Technology(京东科技);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
奖励函数是强化学习(RL)中必不可少的,作为激励智能体解决给定任务的指导信号,然而,也是众所周知的难以设计。在许多情况下,只有不完美的奖励是可用的,这对RL代理造成了重大的性能损失。在这项研究中,我们提出了一个统一的离线策略优化方法,\textit{RGM (Reward Gap Minimization)},它可以巧妙地处理不同类型的不完美奖励。RGM被制定为一个双层优化问题:上层优化的奖励校正项,执行访问分布匹配w.r.t.一些专家数据;较低层用校正的奖励解决悲观RL问题。通过利用较低层的二元性,我们得到了一个易于处理的算法,使基于采样的学习没有任何在线交互。综合实验表明,RGM实现了优越的性能,现有的方法在不同的设置不完美的奖励。此外,RGM可以有效地纠正错误的或不一致的奖励对专家的偏好和检索有用的信息,从有偏见的奖励。
2023-02-03 cs.AI cs.LG
Improving Sample Efficiency in Evolutionary RL Using Off-Policy Ranking
Indian Institute of Science(印度科学学院)
演化策略是一种基于自然进化思想的黑箱优化技术。在每一次迭代中,关键的一步需要根据一些适应度得分对候选解决方案进行排名。对于强化学习(RL)中的ES方法,该排名步骤需要评估多个策略。这目前是通过基于策略的方法来完成的:每个策略的得分是通过使用该策略与环境进行多次交互来估计的。这导致了大量浪费的交互,因为一旦完成排名,只有与排名最高的策略相关联的数据用于后续学习。为了提高样本效率,我们提出了一种新的关闭政策的替代排名,基于适应度函数的局部近似。我们证明了我们的想法的背景下,一个国家的最先进的ES方法称为增强随机搜索(ARS)。在MuJoCo任务中的模拟表明,与原始ARS相比,我们的非策略变体在达到奖励阈值方面具有相似的运行时间,但只需要大约70%的数据。它的表现也优于最近的信任区域ES。我们相信我们的想法应该是可扩展的其他ES方法。
2023-02-21 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Matrix Low-Rank Approximation For Policy Gradient Methods
King Juan Carlos University(胡安·卡洛斯国王大学)
本文提出基于低秩矩阵的策略模型,利用矩阵补全技术估计策略梯度方法参数,在减少计算和样本复杂度的同时保持与神经网络相当的聚合奖励。
2024-05-27 cs.AI cs.LG
Unified Off-Policy Learning to Rank: a Reinforcement Learning Perspective
University of Science and Technology of China(中国科学技术大学);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学);Penn State University(宾夕法尼亚州立大学);Oregon State University(俄勒冈州立大学)
本文将排序过程统一建模为马尔可夫决策过程,提出点击模型无关的统一离策略学习排序方法CUOLR,利用离线强化学习在无需去偏和先验知识的情况下适应多种点击模型,并在大规模数据集上取得优于现有方法的鲁棒性能。
2023-10-28 cs.IR cs.LG
Learning an Optimal Assortment Policy under Observational Data
Stern School of Business, New York University(纽约大学斯特恩商学院);Center for Data Science, Peking University(北京大学数据科学中心);Department of Management Science & Engineering, Stanford University(斯坦福大学管理科学与工程系)
针对多项式逻辑(MNL)模型下的离线品类优化问题,提出结合排序分解与悲观估计的PRB算法,证明其接近极小极大最优,并揭示“最优项目覆盖”是高效离线学习的充要条件,放宽了数据观测要求。
2025-08-24 cs.LG math.OC math.ST
Recommendation Ranking Off-Policy Evaluation under Ranking-Dependent Examination via Examination-Relevance Decomposition
Waseda University(早稻田大学)
针对推荐排序离线策略评估中点击偏差问题,提出基于检验-相关性分解的LE-IIPS与ED-DR估计器,后者在检验概率正确或排名无关检验下无偏,大样本时MSE更低。
2026-09-29 cs.IR cs.LG
You May Not Need Ratio Clipping in PPO
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Microsoft Research(微软研究院)
近端策略优化(PPO)方法通过利用一组采样数据迭代地执行代理目标的多个小批量优化时期来学习策略。比率裁剪PPO是一种流行的变体,它裁剪目标策略和用于收集样本的策略之间的概率比。比率裁剪产生原始代理目标的悲观估计,并且已被证明对于强大的性能至关重要。我们在本文中表明,这种比率裁剪可能不是一个好的选择,因为它可能无法有效地约束比率。相反,可以直接优化多个时期的原始代理目标;关键是找到适当的条件,以便在每次迭代中提前停止优化时期。我们的理论分析揭示了如何确定何时停止优化时期,并调用由此产生的算法提前停止策略优化(ESPO)。我们比较ESPO与PPO在许多连续的控制任务,并表明ESPO显着优于PPO。此外,我们表明,ESPO可以很容易地扩展到分布式培训与许多工人,以及提供强大的性能。
2022-01-31 cs.AI cs.LG
Online Learning with Off-Policy Feedback
Universitat Pompeu Fabra(庞培法布拉大学)
研究了在一个称为非策略反馈的部分可观测性模型下对抗性强盗问题的在线学习问题。在这个顺序决策问题中,学习者不能直接观察到它的回报,而是看到另一个未知策略并行运行(行为策略)所获得的回报。在这种情况下,学习者面临的不是标准的探索-利用困境,而是另一个挑战:由于他们无法控制的有限观察,学习者可能无法同样好地估计每个策略的价值。为了解决这个问题,我们提出了一套算法,保证遗憾的界限,规模与任何比较器的政策和行为政策之间的不匹配的自然概念,实现对比较器的观察覆盖良好的性能提高。我们还提供了一个扩展的设置对抗线性上下文土匪,并通过一组实验验证了理论保证。我们的关键算法思想是适应最近在非策略强化学习背景下流行的悲观奖励估计器的概念。
2022-07-18 cs.LG stat.ML
Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出离线价值排序算法VR,在统一EM框架中同时优化长期奖励和排序指标,无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
When to Trust Your Model: Model-Based Policy Optimization
University of California, Berkeley(加州大学伯克利分校)
设计有效的基于模型的强化学习算法是困难的,因为数据生成的容易性必须与模型生成的数据的偏差相权衡。本文从理论和实证两个方面研究了模型的使用在政策优化中的作用。我们首先制定和分析了一个基于模型的强化学习算法,保证在每一步的单调改善。在实践中,这种分析是过于悲观,并表明,真正的政策外数据总是优于模型生成的政策上的数据,但我们表明,模型泛化的经验估计可以纳入这样的分析,以证明模型的使用。受此分析的启发,我们证明了一个简单的过程,使用短模型生成的推出分支从真实数据具有更复杂的基于模型的算法的好处,而没有通常的陷阱。特别是,这种方法超越了以前的基于模型的方法的样本效率,匹配最好的无模型算法的渐近性能,并扩展到导致其他基于模型的方法完全失败的范围。
2021-11-29 cs.AI cs.LG stat.ML