Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
针对离线策略分层强化学习中子目标重标记导致的价值更新偏差问题，提出HTB方法，通过时间感知引导、多步回报及非负残差约束，在AntFall任务上显著优于HIRO。
2026-10-06 cs.AI cs.LG
Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）；University of Technology Sydney（悉尼科技大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
离线强化学习（RL）旨在从先前收集的数据集中学习策略，而无需探索环境。直接将离线策略算法应用于离线强化学习通常会由于分布外（OOD）操作引起的外推错误而失败。以前的方法通过惩罚OOD动作的Q值或限制训练策略接近行为策略来解决这个问题。然而，这样的方法通常防止价值函数的泛化超出离线数据，也缺乏OOD数据的精确表征。在本文中，我们提出了离线RL（PBRL），一个纯粹的不确定性驱动的离线算法，没有明确的政策约束的Pessierity Bootstrapping。具体而言，PBRL通过自举Q函数的不一致性进行不确定性量化，并通过基于估计的不确定性惩罚价值函数来执行悲观更新。为了解决外推误差，我们进一步提出了一种新的OOD采样方法。我们表明，这样的OOD抽样和悲观的自举产生可证明的不确定性量化的线性MDPs，从而提供了PBRL的理论基础。在D4RL基准测试上的大量实验表明，PBRL算法比现有算法具有更好的性能。
2022-02-23 cs.LG
CueLearner: Bootstrapping and local policy adaptation from relative feedback
Autonomous Systems Lab, ETH Zurich, Switzerland（自主系统实验室，苏黎世联邦理工学院）；Robotics Systems Lab, ETH Zurich, Switzerland（机器人系统实验室，苏黎世联邦理工学院）
本文提出CueLearner方法，将相对反馈与离策略强化学习结合，通过引导探索提升样本效率，并能适应环境或用户偏好变化，在稀疏奖励任务和真实导航场景中验证了有效性。
2025-07-07 cs.LG cs.RO
Parametric bootstrapping in a generalized extreme value regression model for binary response
当我们研究代表罕见事件的二元响应变量$Y$和潜在预测变量$\mathbf{X}$之间的关系时，广义极值（GEV）回归往往更适合。特别地，我们使用GEV分布的分位数函数作为链接函数。Bootstrapping将准确性的度量（偏倚、方差、置信区间、预测误差、假设检验）分配给样本估计值。该技术允许使用随机抽样方法估计几乎任何统计量的抽样分布。Bootstrapping通过从近似分布中采样时测量估计量的属性来估计估计量的属性。本文首先对广义极值回归模型进行拟合，然后用参数Bootstrap方法检验假设，估计广义极值回归模型参数的置信区间，并给出一个实际数据应用。
2021-05-02 stat.AP stat.ME
Flattening Hierarchies with Policy Bootstrapping
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种通过自举子目标策略训练平坦目标条件策略的方法，解决长horizon任务中GCRL扩展难题，实现高维控制性能提升。
2026-01-02 cs.AI cs.LG cs.RO
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
Target Networks and Over-parameterization Stabilize Off-policy Bootstrapping with Function Approximation
Department of Computing Science, University of Alberta（谷歌DeepMind）；School of Data Science, The Chinese University of Hong Kong, Shenzhen；School of Computational Science；Google DeepMind；CIFAR AI Chair, Amii；The work was done while the author was at Google.
本文证明目标网络与过参数化线性函数逼近相结合，可为离策略自举价值估计建立更弱收敛条件，并扩展至截断轨迹与 Q-learning 控制。
2025-10-19 cs.AI cs.LG
Bootstrapping Whittle Estimators
在时间序列分析中，通过优化频域目标函数来拟合参数模型是一种很有吸引力的参数估计方法。惠特尔估计是这方面的一个突出例子。在弱条件和（现实的）假设下，真实的谱密度的基本过程不一定属于参数类的谱密度拟合，分布的惠特尔估计通常取决于难以估计的基本过程的特性。这使得实施渐近结果的建设置信区间或评估的变异性估计，在实践中困难。本文提出了一种频域Bootstrap方法来估计Whittle估计量的分布，该方法在不仅允许（可能的）模型误设而且允许由大范围平稳随机过程满足的弱相依条件的假设下是渐近有效的.自举程序的适应开发，以纳入不同的修改Whittle估计在文献中提出的，如例如，锥形，去偏或边界扩展Whittle估计，也被认为是。仿真结果表明，所提出的自助方法的能力和其良好的有限样本性能。还提供了现实生活中的数据分析。
2021-07-23 math.ST stat.ME stat.TH
Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient
DeepMind（深度思考）；Princeton University（普林斯顿大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种基于稀疏线性函数逼近的高维批量强化学习（RL）的统计分析方法。当有大量的候选特征时，我们的结果揭示了这样一个事实，即稀疏感知方法可以使批量RL更具样本效率。我们首先考虑政策外的政策评估问题。为了评估一个新的目标政策，我们分析了一个Lasso拟合Q-评价方法，并建立了一个有限样本的误差界，没有多项式依赖于周围的维度。为了减少Lasso偏差，我们进一步提出了一个后模型选择估计，通过组Lasso选择的功能，适用于拟合Q-评价。在一个额外的信号强度假设下，我们推导出一个更清晰的依赖于实例的误差界，该误差界依赖于测量目标策略的数据分布和占用度量之间的分布失配的发散函数。此外，我们研究了批量策略优化的Lasso拟合Q-迭代，并根据相关特征的数量与数据协方差的受限最小特征值之间的比率建立了有限样本误差界。最后，我们补充的结果与minimax下限批处理数据的政策评估/优化，几乎匹配我们的上限。结果表明，具有良好的条件下的数据是至关重要的稀疏批量策略学习。
2020-11-08 cs.LG math.ST stat.ML
VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）；Zhongguancun Academy（中关村学院）；Hefei SpinX Technology（合肥星旋科技）
针对视觉-语言-动作（VLA）模型在线RL的策略漂移与效率瓶颈，提出含ACoB算法及ACoB-Stream架构的VLA-Precision框架，在9项高精度化学任务上实现高成功率与效率提升。
2026-09-21 cs.AI cs.HC cs.LG
Off-Policy Fitted Q-Evaluation with Differentiable Function Approximators: Z-Estimation and Inference Theory
Peking University（北京大学）；Princeton University（普林斯顿大学）
非策略评估（OPE）是强化学习（RL）的基石之一。采用各种函数逼近器，特别是深度神经网络的拟合Q评估（Fitted Q Evaluation，简称QFE）已经取得了实际的成功。虽然统计分析已经证明了EEE是表格，线性和几个非参数函数族的最小最大最优，其实际性能与更一般的函数逼近器是理论上了解较少。我们专注于与一般可微函数逼近器，使我们的理论适用于神经函数逼近的CNOE。我们使用Z-估计理论来处理这个问题，并建立了以下结果：ZTE估计误差是渐近正态的，具有显式方差，其由在地面真值处的函数类的切空间、奖励结构和由于偏离策略学习而引起的分布偏移共同确定;有限样本的误差界由相同的方差项控制，也可以由函数类依赖的发散度来定界，其测量偏离策略的分布偏移如何与函数逼近器交织。此外，我们还研究了自举法估计误差分布推断和估计置信区间，伴随着一个Cramer-Rao下界，我们的上限相匹配。Z-估计分析为研究RL中的离策略估计提供了一个可推广的理论框架，并为具有可微函数逼近器的随机误差估计提供了尖锐的统计理论。
2022-02-10 cs.LG stat.ML
Relative Entropy Regularized Reinforcement Learning for Efficient Encrypted Policy Synthesis
School of Aeronautics and Astronautics, Purdue University（航空宇航工程学院，普渡大学）；ASRI, the Department of Electrical and Computer Engineering, Seoul National University（ASRI，电气电子工程系，首尔国立大学）；Japan Society for the Promotion of Science（日本学术振兴会）
该研究提出高效加密策略合成方法，证明相对熵正则化强化学习框架的线性无最小化值迭代结构可直接集成带自举的全同态加密，分析了加密误差下的收敛性与误差界，并通过数值模拟验证了该框架的有效性。
2025-06-14 cs.LG cs.SY eess.SY
Greedy-Step Off-Policy Reinforcement Learning
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
大多数策略评估算法都是基于Bellman期望和最优性方程的理论，由此衍生出两种流行的策略评估方法--策略迭代（PI）和值迭代（VI）。然而，由于多步偏离策略校正的大的方差，多步自举经常与基于PI的方法中的离策略学习处于交叉目的。相比之下，基于VI的方法是自然的off-policy，但受到one-step learning.本文中，我们推导出一个新的多步Bellman最优性方程，利用多步自举的最优价值函数的潜在结构。通过这个新方程，我们得到了一个新的多步数值迭代方法，该方法收敛于指数收缩率为$\mathcal{O}(γ^n)$的最优价值函数，但计算复杂度仅为线性计算复杂性.实验表明，本文提出的方法可靠、易于实现，在一系列标准基准数据集上的性能达到了最佳水平。
2021-12-15 cs.AI cs.LG cs.MA
Proximal Deterministic Policy Gradient
University of Padova（帕多瓦大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了两种简单的技术，以改善离政策强化学习（RL）算法。首先，我们制定了一个随机的近点迭代的政策外RL。目标网络充当优化变量的角色，价值网络计算邻近算子。其次，我们利用两个价值函数通常采用的国家的最先进的政策外的算法，以提供一个改进的行动价值估计，通过引导有限的增加计算资源。此外，我们证明了显着的性能改善，在标准的连续控制RL基准的最先进的算法。
2020-08-03 cs.LG stat.ML
Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight
University of Zurich（苏黎世大学）；Robotics and Perception Group（机器人与感知组）
针对视觉敏捷四旋翼飞行中策略探索低效的问题，提出结合强化学习与模仿学习的三阶段框架，通过教师策略训练、蒸馏与自适应微调，在模拟与真实场景中显著提升了鲁棒性与性能。
2024-11-12 cs.CV cs.LG cs.RO
Temporal difference learning adapts to incomplete coverage: an oracle inequality over subgraphs
University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）
针对强化学习中价值函数估计的引导更新与展开方法，提出子图贝尔曼算子实现插值，其估计器结合两者优势，误差上界趋近TD最优方差且具MC自适应性，下界证明附加项必要，为调和TD与MC提供最优自适应框架。
2026-10-28 cs.LG math.ST stat.ML
A Generalized Bootstrap Target for Value-Learning, Efficiently Combining Value and Feature Predictions
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；CIFAR（加拿大高等研究院）；Meta AI Research（Meta人工智能研究院）
估计价值函数是强化学习算法的核心组成部分。时间差（TD）学习算法使用自举，即，它们使用后续时间步长处的值估计来朝向学习目标更新价值函数。可替换地，价值函数可以朝着通过单独预测后继特征（SF）--依赖于策略的模型--并将它们与瞬时奖励线性组合而构造的学习目标更新。我们专注于估计价值函数时使用的自举目标，并提出了一个新的备份目标，$η$返回混合，它隐含地结合了价值预测知识（TD方法使用）与（继任者）特征预测知识-参数$η$捕获多少依赖于每个。我们说明，将预测知识，通过一个$ηγ$折扣SF模型，使更有效地利用采样的经验，相比，无论是极端的，即引导完全的价值函数估计，或引导的产品分别估计的后继功能和瞬时奖励模型。我们的经验表明，这种方法导致更快的政策评估和更好的控制性能，表格和非线性函数近似，表明可扩展性和一般性。
2022-01-05 cs.AI cs.LG
A Principled Path to Fitted Distributional Evaluation
Texas A&M University（德克萨斯A&M大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；George Washington University（乔治华盛顿大学）
本文针对分布离策略评估缺乏统一设计框架的问题，提出构建有理论依据的 FDE 方法的指导原则，开发新方法并证明现有方法，实验显示其优越性能。
2025-10-19 cs.LG stat.ML
An Empirical Comparison of Off-policy Prediction Learning Algorithms on the Collision Task
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
偏离策略预测（Off-policy prediction）--从遵循另一个策略时生成的数据中学习一个策略的价值函数--是强化学习中最具挑战性的子问题之一。本文展示了11种使用线性函数近似的突出的离策略学习算法的实证结果：5种服从TD方法、2种强调TD方法、非策略TD（$λ$）、Vtrace以及修改后适用于预测设置的Tree Backup和ABQ版本。我们的实验使用了碰撞任务，这是一个小型的理想化的政策外问题，类似于自动驾驶汽车试图预测它是否会与障碍物相撞。我们根据算法的学习率、渐近误差水平以及对步长和自举参数的敏感性来评估算法的性能。通过这些措施，11个算法可以在碰撞任务中部分排序。在顶层，两个强调TD算法学习最快，达到最低的错误，并且对参数设置具有鲁棒性。在中间层，五个顺从TD算法和非策略TD（$λ$）对引导参数更敏感。底层包括Vtrace、Tree Backup和ABQ;这些算法并不比其他算法更快，并且具有更高的渐近误差。我们的结果是明确的这项任务，当然，更多的任务实验之前，可以作出全面评估的算法的优点。
2021-06-11 cs.AI cs.LG
Logically-Constrained Neural Fitted Q-Iteration
University of Oxford（牛津大学）
我们提出了一种有效的训练连续状态马尔可夫决策过程（MDP）的Q-函数的方法，使得所得到的政策的轨迹满足给定的线性时序逻辑（LTL）属性。LTL是一种模态逻辑，可以表达与时间相关的逻辑属性（包括“安全性”），这些属性与自然语言中的模式非常相似。我们将LTL属性转换成一个有限的确定性Buchi自动机，并构建一个在飞行同步产品MDP。控制策略，然后合成通过定义一个自适应的奖励函数，并通过应用修改后的神经拟合Q-迭代算法的同步结构，假设没有先验知识是从原来的MDP。所提出的方法进行评估，在数值研究中，以测试所产生的控制策略的质量，并与传统的方法进行比较，如MDP抽象（Voronoi量化器）和近似动态规划（拟合值迭代）的政策合成。
2019-03-14 cs.FL cs.LG cs.LO
Fitted Occupancy-Ratio Evaluation without Bellman Completeness
Stanford University（斯坦福大学）
针对离线强化学习分布偏移下的离策略评估问题，提出拟合占用比评估方法FORE，通过伴随贝尔曼递归估计占用比，仅需占用比可实现性，无需贝尔曼完备性等条件，保障离线策略评估收敛性。
2026-07-29 cs.LG stat.ML
Finite-Sample Analysis for SARSA with Linear Function Approximation
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；The Ohio State University（俄亥俄州立大学）
SARSA是一种在强化学习中学习马尔可夫决策过程策略的策略算法。研究了非独立同分布情形下线性函数逼近的SARSA算法。数据，其中单个样本轨迹可用。通过足够平滑的Lipschitz连续政策改进算子，SARSA已被证明渐进收敛于\cite{perkins2003convergent,melo2008analysis}。然而，其非渐近分析是具有挑战性的，并且由于非独立同分布而仍未解决。样本和行为策略随时间动态变化的事实。在本文中，我们开发了一种新的技术，明确地描述了一类随机逼近过程的随机偏差随时间变化的马尔可夫转移核。我们的方法使非渐近收敛分析这种类型的随机近似算法，这可能是独立的利益。使用我们的偏置表征技术和梯度下降类型的分析，我们提供了有限样本分析的SARSA算法的均方误差。然后，我们进一步研究了拟合SARSA算法，其中包括原始SARSA算法和它的变种在\cite{perkins2003convergent}作为特殊情况。该拟合SARSA算法为\textit{iterative}在策略上的拟合策略迭代提供了一个更通用的框架，该框架具有更大的存储空间和计算效率。对于这种拟合的SARSA算法，我们还提供了它的有限样本分析。
2019-11-19 cs.LG stat.ML
Bootstrapping Reinforcement Learning with Sub-optimal Policies for Autonomous Driving
The Ohio State University（俄亥俄州立大学）
针对强化学习在自动驾驶中样本效率低、探索不足的问题，提出结合基于规则的次优换道控制器与SAC算法引导智能体训练，提升了驾驶性能与学习效率，且可扩展至更多驾驶场景。
2025-09-04 cs.AI cs.LG cs.RO
Soft Fitted Q-Iteration without Bellman Completeness: Occupancy Reweighting and Temperature Annealing
Department of Statistics, University of Washington（华盛顿大学统计学系）
本文分析了在无Bellman完备性条件下软拟合Q迭代的稳定性机制，提出静态重加权软拟合Q迭代方法，证明其在近似可实现性和受控加权误差下具有有限样本局部线性收敛性。
2026-09-01 cs.LG stat.ML
Breaking the Deadly Triad with a Target Network
University of Oxford（牛津大学）；Huawei Technologies（华为技术有限公司）；University of Alberta（阿尔伯塔大学）
针对离策略学习、函数逼近与自举导致的致命三角不稳定问题，提出带双投影的目标网络更新规则，并结合岭正则化证明多类线性 TD 与 Q-learning 算法收敛。
2023-09-29 cs.LG
Safe Policy Improvement with an Estimated Baseline Policy
Delft University of Technology（代尔夫特理工大学）；Microsoft Research Montréal（微软蒙特利尔研究院）
先前的工作已经表明了现有算法在批量强化学习设置中的不可靠性，并提出了基于基线引导的安全策略改进（SPIBB）修复：在不确定的状态-动作对中重现基线策略，以控制训练策略性能的方差。然而，在许多现实世界的应用中，如对话系统、药物测试或作物管理，数据是在人类监督下收集的，基线仍然未知。在本文中，我们应用SPIBB算法与基线估计建立的数据。我们正式显示安全的政策改善保证在真正的基线，即使没有直接存取到它。我们的经验实验有限和连续状态的任务支持的理论研究结果。它表现出很少的性能损失与SPIBB相比，当基线策略，更重要的是，大大和显着优于竞争算法在安全策略的改进，并在平均性能。
2020-12-28 cs.AI cs.LG stat.ML
Approximated Multi-Agent Fitted Q Iteration
Polytechnique Montréal（蒙特利尔理工学院）；Mila（米拉人工智能研究所）；GERAD（决策分析与研究小组）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种高效的多智能体批量强化学习近似方法AMAFQI，其计算量随智能体数量呈线性增长而非指数增长，在保持与FQI相似性能的同时显著减少了计算时间。
2023-04-05 cs.LG cs.SY eess.SY
Finite-Sample Theory for Fitted Q-Iteration When Actions Are Functions
The George Washington University（乔治华盛顿大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对动作是函数的离线强化学习，提出在评论家相对覆盖条件下研究平滑正则化策略搜索，为拟合Q迭代提供有限样本遗憾保证，并验证其有效性。
2026-09-30 cs.LG math.ST stat.ME
Improving Offline RL by Blending Heuristics
Princeton University（普林斯顿大学）；Boston University（波士顿大学）；Broad Institute（布罗德研究所）；MIT and Harvard（麻省理工学院与哈佛大学）；Microsoft Research（微软研究院）
提出HUBL技术，通过混合蒙特卡洛启发式值与自举值改进离线强化学习，降低复杂度，平均提升四种先进算法在27个数据集上的策略质量9%。
2024-03-16 cs.LG
Robust Fitted-Q-Evaluation and Iteration under Sequentially Exogenous Unobserved Confounders
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
针对离线强化学习中序列未观测混杂因素问题，提出带偏差校正的正交化鲁棒拟合Q迭代算法，兼具计算效率与统计性能，经仿真和脓毒症医疗数据验证有效，还可实现乐观强化学习的热启动。
2025-10-28 cs.LG math.OC stat.ML
Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation
Princeton University（普林斯顿大学）
本文研究了具有函数逼近的批量数据强化学习的统计理论。考虑非策略评估问题，即根据未知行为策略生成的日志记录来估计新目标策略的累积值。我们研究了一种基于回归的拟合Q迭代方法，并证明了它等价于一种基于模型的方法，该方法估计了过渡算子的条件均值嵌入。我们证明了这种方法是信息理论上最优的，并具有几乎最小的估计误差。特别地，利用马尔可夫过程的收缩性质和鞅集中度，我们建立了有限样本实例相关的误差上界和近似匹配的极大极小下界。政策评估误差严重依赖于一个受限制的$χ^2$ -发散之间的长期分布的目标政策和过去的数据分布的函数类。这种受限的$χ^2$发散既依赖于实例又依赖于函数类。它表征了政策外评估的统计极限。此外，我们提供了一个易于计算的信心界的政策评估，这可能是有用的乐观规划和安全的政策改进。
2020-02-21 cs.LG math.ST stat.ML
Solving Robotics Tasks with Prior Demonstration via Exploration-Efficient Deep Reinforcement Learning
Unicontrol；Maersk McKinney Møller Institute, University of Southern Denmark（马士基麦金尼·莫勒研究所，南丹麦大学）
本文提出DRLR框架，通过改进动作选择模块和使用SAC策略，有效缓解引导误差和防止过拟合，成功应用于真实机器人任务。
2026-01-08 cs.LG cs.RO
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine（加州大学欧文分校）；The George Washington University（乔治华盛顿大学）
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发，我们开发了一个非参数识别结果，通过一系列所谓的V桥函数的帮助下，随时间变化的代理变量的政策价值估计。然后，我们开发了一个合适的Q评估型算法来估计V桥函数递归，其中一个非参数工具变量（NPIV）的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题，我们建立了有限样本误差界估计的V-桥功能，从而评估政策的价值，在样本量，地平线的长度和所谓的（本地）措施在每一步的不适定性。据我们所知，这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Generalized Fitted Q-Iteration with Clustered Data
Department of Statistics, London School of Economics and Political Science, London, UK（伦敦政治经济学院统计系）；Department of Biostatistics, University of Michigan, Ann Arbor, Michigan, USA（密歇根大学生物统计学系）；Michigan Institute for Data and AI in Society (MIDAS), University of Michigan, Ann Arbor, Michigan, USA（密歇根大学数据与人工智能社会研究所）
针对医疗场景中常见的聚类数据强化学习问题，提出融入广义估计方程的广义拟合Q迭代算法，理论上证明了其最优性与一致性，实验显示其较标准方法平均遗憾值降低一半。
2025-10-04 cs.LG
Continuous-Time Fitted Value Iteration for Robust Policies
Technical University of Darmstadt（达姆施塔特工业大学）；Technion – Israel Institute of Technology（以色列理工学院）；NVIDIA（英伟达）；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
求解Hamilton-Jacobi-Bellman方程在控制、机器人学和经济学等许多领域都很重要。特别是对于连续控制，求解这个微分方程及其扩展的Hamilton-Jacobi-Isaacs方程是很重要的，因为它产生了在给定任务上实现最大回报的最优策略。在Hamilton-Jacobi-Isaacs方程的情况下，其中包括一个对手控制环境和最小化奖励，所获得的政策也是强大的扰动的动态。本文提出了连续拟合值迭代法（cFVI）和鲁棒拟合值迭代法（rFVI）。这些算法利用非线性控制仿射动力学和可分离的状态和动作奖励的许多连续控制问题，以获得最佳的政策和最佳的对手在封闭的形式。这个解析表达式简化了微分方程，使我们能够解决的最佳价值函数使用价值迭代的连续行动和状态，以及对抗的情况。值得注意的是，所得到的算法不需要离散化的状态或动作。我们将由此产生的算法，古田摆和cartpole。我们表明，这两种算法获得的最优策略。在物理系统上的鲁棒性Sim 2 Real实验表明，该策略成功地实现了在现实世界中的任务。当改变钟摆的质量时，我们观察到与深度强化学习算法和该算法的非鲁棒版本相比，鲁棒值迭代更鲁棒。实验的视频显示在https://sites.google.com/view/rfvi
2021-10-05 cs.LG cs.RO
Whispering to a Blackbox: Bootstrapping Frozen OCR with Visual Prompts
Duke University（杜克大学）
通过视觉提示框架Whisperer，利用行为克隆方法提升冻结OCR模型的性能，减少字符错误率8%。
2026-03-05 cs.AI cs.LG
Functional Natural Policy Gradients
本文提出了一种交叉拟合的去偏装置，用于从离线数据中学习策略。即使对于复杂度大于Donsker的策略类，其结果在策略类复杂度和环境动态复杂度之间进行权衡，实现了√N的后悔界。
2026-04-03 cs.LG stat.ML
Hyperparameter Selection Methods for Fitted Q-Evaluation with Error Guarantee
IBM Research - Tokyo（IBM东京研究院）
我们关心的问题的超参数选择的拟合Q-评价（QFE）。离线策略评估（OPE）是一种最先进的离线策略评估方法，它对于没有环境模拟器的强化学习是必不可少的。然而，与其他OPE方法一样，CNOE本身并不是超参数自由的，这破坏了实际应用中的实用性。我们通过提出一个近似超参数选择（AHS）的框架来解决这个问题，该框架定义了一个没有超参数的定量和可解释的方式的最优性概念（称为选择标准）。然后，我们推导出四个AHS方法，每个方法都有不同的特点，如分布失配容忍度和时间复杂度。我们还证实，在实验中，由理论给出的误差范围与经验观测相匹配。
2022-02-18 cs.LG stat.ML
Bootstrapping Task Spaces for Self-Improvement
Meta Superintelligence Labs（Meta超智能实验室）；University of Oxford（牛津大学）
ExIt通过自适应课程强化学习方法，使大语言模型在推理时实现多步骤自我改进，提升任务性能。
2026-02-22 cs.LG
Safe Policy Improvement Approaches and their Limitations
Ludwig-Maximilians University（路德维希-马克西米利安大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子技术研究院）
安全策略改进（SPI）是安全关键应用中离线强化学习的重要技术，因为它以高概率改进行为策略。我们将文献中的各种SPI方法分为两组，基于它们如何利用状态-动作对的不确定性。专注于软SPIBB（安全策略改进与软基线引导）算法，我们表明，他们的索赔被证明是安全的并不成立。基于这一发现，我们开发的适应，先进的软SPIBB算法，并证明他们是可证明的安全。一个启发式的适应，低近似软SPIBB，产生最好的性能在所有SPIBB算法在两个基准广泛的实验。我们还检查了可证明安全的算法的安全保证，并表明，大量的数据是必要的，这样的安全界限在实践中变得有用。
2022-08-01 cs.LG
Curriculum Offline Imitation Learning
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
离线强化学习（RL）任务要求智能体从预先收集的数据集中学习，而不需要与环境进行进一步的交互。尽管有可能超越行为策略，但基于RL的方法通常是不切实际的，因为训练不稳定性和自举外推误差，这总是需要通过在线评估进行仔细的超参数调整。相比之下，离线模仿学习（IL）没有这样的问题，因为它直接学习策略而不通过自举估计价值函数。然而，IL通常受限于行为策略的能力，并且倾向于从由策略混合收集的数据集中学习平庸的行为。在本文中，我们的目标是利用IL，但减轻这样的缺点。观察到行为克隆是能够模仿邻居的政策与更少的数据，我们提出了\textit{Curriculum Offline Imitation Learning (COIL)}，它利用了一个经验挑选策略，模仿从适应性的邻居的政策，具有较高的回报，并改善了目前的政策沿课程阶段。在连续控制基准测试中，我们将COIL与基于模仿和基于RL的方法进行了比较，表明它不仅避免了在混合数据集上学习平庸的行为，而且甚至与最先进的离线RL方法竞争。
2022-01-12 cs.AI cs.LG
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子科技）
安全策略改进（SPI）旨在可证明的保证，学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping（Soft-SPIBB），我们在他们的方法中发现了理论问题，提供了一个正确的理论，并推导出一个新的算法，该算法在有限马尔可夫决策过程（MDP）上可证明是安全的。此外，我们提供了一个启发式算法，表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外，我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性：而平均性能的算法，将不确定性作为一个惩罚的动作值是较高的，积极限制的政策集更一致地产生良好的政策，因此，更安全。
2022-01-28 cs.AI cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University（汉阳大学）
针对离线强化学习中策略正则化角色耦合问题，提出角色自适应策略优化（RAPO），按价值学习与执行角色独立调整更新系数，在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
RL Token: Bootstrapping Online RL with Vision-Language-Action Models
本文提出RL Token方法，通过轻量级在线强化学习微调预训练的视觉-语言-动作模型，提升真实任务的精度与速度，实验证明在四个真实机器人任务中显著提高任务效率和成功率。
2026-04-30 cs.LG cs.RO
Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs
McGill University（麦吉尔大学）；Mila；University of Massachusetts（马萨诸塞大学）；Facebook AI Research（Facebook人工智能研究院）；Microsoft Research（微软研究院）
研究了离线强化学习（RL）环境下约束条件下的安全策略改进（SPI）问题。我们考虑这样的场景：（i）我们有一个在已知基线策略下收集的数据集，（ii）从环境中接收到多个奖励信号，诱导尽可能多的目标进行优化。我们提出了一个SPI制定这个RL设置，考虑到算法的用户的偏好，以处理不同的奖励信号的权衡，同时确保新的政策执行至少以及沿每个单独的目标的基线政策。我们建立在传统的SPI算法上，并提出了一种基于安全策略迭代与基线引导的新方法（SPIBB，Laroche等人，2019年），它为真实环境中的代理性能提供了高概率保证。我们展示了我们的方法在合成网格世界安全任务上的有效性，以及在现实世界的重症监护环境中学习静脉输液和血管加压药治疗败血症的政策。
2021-10-29 cs.LG
Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning
University of Maryland（马里兰大学）
本文提出语义软引导方法，通过自我蒸馏技术无需强化学习提升LLM长上下文推理能力，实验显示在数学和编程基准测试中准确率显著提升。
2025-12-04 cs.AI cs.CL cs.IT
REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation
UC Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）；University of Washington（华盛顿大学）
本文提出REBOOT系统，通过整合样本高效强化学习与重放缓冲区引导技术，重用不同任务数据作为新任务训练起点，并结合基于模仿的拾取策略和学习的奖励函数实现真实世界自动重置，显著提升了四指机械手灵巧操作技能的学习效率。
2023-09-06 cs.AI cs.LG cs.RO
Is Q-learning an Ill-posed Problem?
Siemens AG（西门子公司）；TU Munich (TUM)（慕尼黑工业大学）
该研究针对连续环境下Q-learning的不稳定性问题，通过逐步消除误差源的实验发现，Q-learning的核心迭代学习任务本身可能是不适定的，质疑了其作为强化学习通用方案的可靠性。
2025-02-21 cs.AI cs.LG
LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs
MIT（麻省理工学院）
针对LLM强化学习中标量奖励浪费文本理据及在线反馈易泄露或导致崩溃的问题，提出LANPO，用语言反馈引导探索、数值奖励驱动优化，并显著提升数学推理性能。
2025-10-18 cs.AI cs.LG
Chaining Value Functions for Off-Policy Learning
DeepMind；University College London（伦敦大学学院）
为了积累知识并改进其行为策略，强化学习代理可以学习与用于生成其经验的策略不同的策略的“非策略”。这对学习反事实很重要，或者因为经验是在它自己的控制之外产生的。然而，离策略学习是不平凡的，标准的学习算法可能是不稳定和发散的。在本文中，我们讨论了一个新的家庭的政策外预测算法是收敛的建设。这个想法是首先学习关于数据生成行为的on-policy，然后在这个on-policy估计上引导一个off-policy值估计，从而构建一个部分off-policy的值估计。可以重复该过程以构建价值函数的链，每次在链中的先前估计上引导新的估计。链中的每一步都是稳定的，因此完整的算法保证是稳定的。在温和的条件下，当我们增加链的长度时，这任意地接近于非政策TD解。因此，即使在偏离策略TD发散的情况下，它也可以计算解。我们证明了该方案是收敛的，对应于逆密钥矩阵的迭代分解。此外，它可以被解释为估计一个新的目标-我们称之为“k步远征”-在无限期地继续执行行为政策之前，先执行目标政策200多步。经验上，我们评估的想法，挑战MDPs，如贝尔德的反例，并观察到有利的结果。
2022-02-02 cs.AI cs.LG stat.ML
OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation
KAIST（韩国科学技术院）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Gauss Labs Inc.（高斯实验室公司）；Facebook AI Research（脸书人工智能研究院）
我们考虑了离线强化学习（RL）设置，其中代理的目标是仅从数据中优化策略，而无需进一步的环境交互。在离线RL中，分布偏移成为困难的主要来源，这是由于被优化的目标策略与用于数据汇集的行为策略的偏差引起的。这通常会导致动作值的高估，这给使用自举的无模型算法带来了严重的问题。为了缓解这个问题，以前的离线RL算法经常使用复杂的技术，鼓励低估动作值，这引入了一组额外的超参数，需要适当调整。在本文中，我们提出了一种离线RL算法，以更有原则的方式防止高估。与之前的离线RL算法不同，我们的算法OptiDICE直接估计最优策略的平稳分布校正，并且不依赖于策略梯度。使用一组广泛的离线RL基准数据集，我们表明OptiDICE与最先进的方法具有竞争力。
2021-06-21 cs.AI cs.LG
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
