Moderate Actor-Critic Methods: Controlling Overestimation Bias via Expectile Loss
Hanyang University（汉阳大学）
针对无模型强化学习的过高估计偏差问题，提出基于过高估计Q函数与下界凸优化的适度目标，通过状态条件Q值分布的下期望分位数高效估计下界，可无缝集成到DDPG、SAC等算法中，有效缓解偏差。
2025-04-14 cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs
MIT（麻省理工学院）
针对LLM强化学习中标量奖励浪费文本理据及在线反馈易泄露或导致崩溃的问题，提出LANPO，用语言反馈引导探索、数值奖励驱动优化，并显著提升数学推理性能。
2025-10-18 cs.AI cs.LG
Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）；University of Technology Sydney（悉尼科技大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
离线强化学习（RL）旨在从先前收集的数据集中学习策略，而无需探索环境。直接将离线策略算法应用于离线强化学习通常会由于分布外（OOD）操作引起的外推错误而失败。以前的方法通过惩罚OOD动作的Q值或限制训练策略接近行为策略来解决这个问题。然而，这样的方法通常防止价值函数的泛化超出离线数据，也缺乏OOD数据的精确表征。在本文中，我们提出了离线RL（PBRL），一个纯粹的不确定性驱动的离线算法，没有明确的政策约束的Pessierity Bootstrapping。具体而言，PBRL通过自举Q函数的不一致性进行不确定性量化，并通过基于估计的不确定性惩罚价值函数来执行悲观更新。为了解决外推误差，我们进一步提出了一种新的OOD采样方法。我们表明，这样的OOD抽样和悲观的自举产生可证明的不确定性量化的线性MDPs，从而提供了PBRL的理论基础。在D4RL基准测试上的大量实验表明，PBRL算法比现有算法具有更好的性能。
2022-02-23 cs.LG
UNIQ: Conformal Calibration for Adaptive Conservatism in Offline Reinforcement Learning
IIIT Delhi（印度德里国际信息技术学院）
提出UNIQ方法，通过共形预测校准不确定性，实现状态自适应的保守性惩罚，在D4RL基准上以接近IQL的内存开销提升性能。
2026-05-28 cs.LG
Accelerating Inverse Reinforcement Learning with Expert Bootstrapping
Cornell University（康奈尔大学）
本研究提出两种利用专家演示加速逆强化学习的方法：将专家转换放入回放缓冲区及在Q值引导中使用专家动作，显著提升MuJoCo任务上的学习速度。
2024-02-04 cs.LG
Bootstrapping Reinforcement Learning with Sub-optimal Policies for Autonomous Driving
The Ohio State University（俄亥俄州立大学）
针对强化学习在自动驾驶中样本效率低、探索不足的问题，提出结合基于规则的次优换道控制器与SAC算法引导智能体训练，提升了驾驶性能与学习效率，且可扩展至更多驾驶场景。
2025-09-04 cs.AI cs.LG cs.RO
Understanding and Stabilizing Deep Q-Learning via Controlled Bootstrapping and Regulated Value Dynamics
School of Computer Science, Peking University（北京大学计算机学院）
本研究系统分析深度Q学习的不稳定性来源，提出受控自举等稳定原则，在Atari-100K和Procgen上实现了竞争力性能与更优训练稳定性。
2026-08-18 cs.AI cs.LG
h1: Bootstrapping LLMs to Reason over Longer Horizons via Reinforcement Learning
University of Oxford（牛津大学）；Princeton University（普林斯顿大学）；Microsoft AI Frontiers（微软人工智能前沿）
本文提出一种基于课程强化学习和结果奖励的方法，利用现有短跨度数据合成复杂任务链，有效提升大模型在长跨度推理上的性能，并在多个基准上实现显著泛化。
2025-10-15 cs.AI cs.LG
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University（清华大学）
离线强化学习（RL）显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中，我们采用了一个不同的框架，它学习V函数而不是Q函数，以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化，我们提出了期望V学习（EVL），它平滑地插入最优值学习和行为克隆之间。此外，我们沿着离线轨迹引入隐式规划，以增强学习的V值并加速收敛。同时，我们提出了一种新的离线方法，称为基于价值的情景记忆（VEM）。我们提供了我们提出的VEM方法的收敛特性的理论分析，并在D4RL基准测试的实证结果表明，我们的方法在大多数任务，特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Whispering to a Blackbox: Bootstrapping Frozen OCR with Visual Prompts
Duke University（杜克大学）
通过视觉提示框架Whisperer，利用行为克隆方法提升冻结OCR模型的性能，减少字符错误率8%。
2026-03-05 cs.AI cs.LG
Offline Reinforcement Learning with Implicit Q-Learning
University of California, Berkeley（加州大学伯克利分校）
离线强化学习需要协调两个相互冲突的目标：学习一种策略，该策略改善了收集数据集的行为策略，同时最小化与行为策略的偏差，以避免由于分布偏移而导致的错误。这种权衡是至关重要的，因为大多数当前的离线强化学习方法需要在训练过程中查询看不见的动作的值以改进策略，因此需要将这些动作约束为分布，或者正则化它们的值。我们提出了一种离线RL方法，它永远不需要评估数据集之外的操作，但仍然能够通过泛化使学习的策略在数据中的最佳行为上得到实质性的改进。我们工作中的主要见解是，我们可以通过将状态价值函数视为随机变量来隐式地近似策略改进步骤，而不是评估来自最新策略的看不见的动作，其中随机性由动作确定（同时仍对动态进行整合，以避免过度乐观），然后取该随机变量的状态条件上期望值来估计该状态下最佳行动的值。这利用了函数近似器的泛化能力来估计给定状态下最佳可用动作的值，而无需直接查询具有该不可见动作的Q函数。我们的算法在拟合这个上限期望价值函数和将其备份到Q函数之间交替。然后，我们提取的政策，通过加权行为克隆。我们称我们的方法隐式Q学习（IQL）。IQL在D4RL上展示了最先进的性能，D4RL是离线强化学习的标准基准。我们还证明了IQL实现强大的性能微调使用离线初始化后的在线交互。
2021-10-12 cs.LG
Discovering Reinforcement Learning Algorithms
DeepMind（深度思维）
强化学习（RL）算法根据几种可能的规则之一更新代理的参数，这些规则是通过多年的研究手动发现的。从数据中自动发现更新规则可以产生更有效的算法，或者更好地适应特定环境的算法。虽然之前已经尝试解决这个重大的科学挑战，它仍然是一个悬而未决的问题，它是否是可行的发现替代RL的基本概念，如价值函数和时间差学习。本文介绍了一种新的元学习方法，发现一个完整的更新规则，其中包括“预测什么”（例如价值函数）和“如何从它学习”（例如自举）通过与一组环境的交互。该方法的输出是一个RL算法，我们称之为学习策略梯度（LPG）。实证结果表明，我们的方法发现自己的替代概念的价值函数。此外，它还发现了一种自举机制来维护和使用其预测。令人惊讶的是，当仅在玩具环境中训练时，LPG有效地推广到复杂的Atari游戏，并实现了非平凡的性能。这显示了从数据中发现通用RL算法的潜力。
2021-01-05 cs.AI cs.LG
SVR-R1: Bootstrapping Multi-modal Reasoning with Self-verification in Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta
SVR-R1是一个多轮强化学习框架，将模型自身验证转化为学习信号。通过GRPO和异步多轮展开框架实现，无需外部监督。在视觉语言推理基准上评估，大幅提高准确率，弥合推理时自我优化与强化学习训练交叉点，还将开源以促研究。
2026-07-14 cs.AI
Is Q-learning an Ill-posed Problem?
Siemens AG（西门子公司）；TU Munich (TUM)（慕尼黑工业大学）
该研究针对连续环境下Q-learning的不稳定性问题，通过逐步消除误差源的实验发现，Q-learning的核心迭代学习任务本身可能是不适定的，质疑了其作为强化学习通用方案的可靠性。
2025-02-21 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain（谷歌大脑）
在本文中，我们重新审视了由Hallak等人（2017）开创的强化学习（COP-TD）的政策外校正方法。在这种方法下，在线更新的价值函数被重新加权，以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的，它不能容易地转移到非线性函数逼近。首先，它需要一个投影到概率单纯形上的步骤;其次，即使描述离策略学习算法的预期行为的算子是收敛的，但它并不知道是一个收缩映射，因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为，发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚，可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域，我们发现折扣COP-TD在实践中表现得更好，比软正常化处罚。最后，我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估，在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning
University of Maryland（马里兰大学）
本文提出语义软引导方法，通过自我蒸馏技术无需强化学习提升LLM长上下文推理能力，实验显示在数学和编程基准测试中准确率显著提升。
2025-12-04 cs.AI cs.CL cs.IT
Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
针对离线策略分层强化学习中子目标重标记导致的价值更新偏差问题，提出HTB方法，通过时间感知引导、多步回报及非负残差约束，在AntFall任务上显著优于HIRO。
2026-10-06 cs.AI cs.LG
The In-Sample Softmax for Offline Reinforcement Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Oxford（牛津大学）
针对离线强化学习中分布外动作导致的自举高估问题，提出样本内 softmax 及其 Actor-Critic 算法，证明其收敛性并取得优于或可比现有方法的效果。
2023-04-19 cs.AI cs.LG
Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）
GOLF通过整合群体层面的自然语言反馈，提升强化学习的探索效率和样本效率，实现2.2倍的改进。
2026-03-04 cs.AI cs.CL
Any-step Dynamics Model Improves Future Predictions for Online and Offline Reinforcement Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies（Polixir科技公司）
提出任意步动力学模型（ADM），通过直接预测减少自举误差，并在在线和离线强化学习中提升样本效率与性能。
2024-05-27 cs.LG
Sequence Compression Speeds Up Credit Assignment in Reinforcement Learning
The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室、瑞士意大利语区大学、瑞士南部应用科学大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；AI Initiative, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学人工智能计划）
本文提出 Chunked-TD 算法，通过学习到的世界模型对轨迹进行分块压缩，在必要时自举以平滑偏差-方差权衡，从而加速强化学习中的信用分配，且比传统 TD($λ$) 更快解决问题。
2024-06-04 cs.AI cs.LG
Deep Reinforcement Learning and the Deadly Triad
DeepMind（深度思维）；University of Lille（里尔大学）
我们从强化学习理论中知道，时间差学习在某些情况下可能会失败。Sutton和Barto（2018）确定了函数近似、自举和离策略学习的致命三位一体。当这三个属性结合在一起时，学习可以随着价值估计变得无界而发散。然而，一些算法成功地结合了这三个属性，这表明我们的理解至少存在部分差距。在这项工作中，我们调查了致命的三合会在实践中的影响，在一系列流行的深度强化学习模型的背景下-用经验重放训练的深度Q网络-分析这个系统的组件如何在致命三合会的出现中发挥作用，以及代理的表现
2018-12-06 cs.AI cs.LG
Statistics and Samples in Distributional Reinforcement Learning
DeepMind；Google Brain（谷歌大脑）
我们提出了一个统一的框架，设计和分析分布式强化学习（DRL）算法的递归估计统计的回报分布。我们的主要观点是，DRL算法可以分解为一些统计估计和方法的组合，用于估算与该统计数据集一致的回报分布。有了这个新的理解，我们能够提供现有的DRL算法的改进分析，以及构建一个新的算法（EDRL）的基础上估计的预期收益分布。我们将EDRL与各种MDP上的现有方法进行比较，以说明我们分析的具体方面，并开发了该算法的深度RL变体ER-DQN，我们在Atari-57游戏套件上进行了评估。
2019-02-21 cs.LG stat.ML
Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations
The Hong Kong University of Science and Technology（香港科技大学）
针对低信噪比金融市场中SAC算法的不稳定性，提出FPQC-SAC变体，在表征层使用参数化量子电路约束特征传播，减少极端波动影响，在真实组合管理任务中累计收益相对提升66.89%。
2026-06-09 cs.AI cs.LG
DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
提出DenoiseRL框架，通过强化学习从弱模型的错误推理中学习，无需外部监督或强教师模型，提升推理性能和训练效率。
2026-07-31 cs.AI
Behavior-Consistent Deep Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种行为一致的深度强化学习方法，通过控制策略的分布相似性来减少跨训练运行的策略分歧，从而提高稳定性和性能。
2026-08-24 cs.AI cs.LG
A Generalized Bootstrap Target for Value-Learning, Efficiently Combining Value and Feature Predictions
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；CIFAR（加拿大高等研究院）；Meta AI Research（Meta人工智能研究院）
估计价值函数是强化学习算法的核心组成部分。时间差（TD）学习算法使用自举，即，它们使用后续时间步长处的值估计来朝向学习目标更新价值函数。可替换地，价值函数可以朝着通过单独预测后继特征（SF）--依赖于策略的模型--并将它们与瞬时奖励线性组合而构造的学习目标更新。我们专注于估计价值函数时使用的自举目标，并提出了一个新的备份目标，$η$返回混合，它隐含地结合了价值预测知识（TD方法使用）与（继任者）特征预测知识-参数$η$捕获多少依赖于每个。我们说明，将预测知识，通过一个$ηγ$折扣SF模型，使更有效地利用采样的经验，相比，无论是极端的，即引导完全的价值函数估计，或引导的产品分别估计的后继功能和瞬时奖励模型。我们的经验表明，这种方法导致更快的政策评估和更好的控制性能，表格和非线性函数近似，表明可扩展性和一般性。
2022-01-05 cs.AI cs.LG
Watch-Think-Interact: Bootstrapping Long-Horizon Multi-Turn Streaming Video Reasoning with Reinforcement Learning
East China Normal University（华东师范大学）；University of Science and Technology of China（中国科学技术大学）；Xiamen University（厦门大学）
针对流式视频多轮推理中在线状态遗漏视觉细节的问题，提出WTI闭环框架，结合自然语言记忆与选择性回忆，并构建WTI-82K数据集及Stream-GDPO强化学习算法，在StreamingBench和OVO-Bench上取得最优性能。
2026-09-30 cs.AI
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
Greedy-Step Off-Policy Reinforcement Learning
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
大多数策略评估算法都是基于Bellman期望和最优性方程的理论，由此衍生出两种流行的策略评估方法--策略迭代（PI）和值迭代（VI）。然而，由于多步偏离策略校正的大的方差，多步自举经常与基于PI的方法中的离策略学习处于交叉目的。相比之下，基于VI的方法是自然的off-policy，但受到one-step learning.本文中，我们推导出一个新的多步Bellman最优性方程，利用多步自举的最优价值函数的潜在结构。通过这个新方程，我们得到了一个新的多步数值迭代方法，该方法收敛于指数收缩率为$\mathcal{O}(γ^n)$的最优价值函数，但计算复杂度仅为线性计算复杂性.实验表明，本文提出的方法可靠、易于实现，在一系列标准基准数据集上的性能达到了最佳水平。
2021-12-15 cs.AI cs.LG cs.MA
Stabilizing Off-Policy Q-Learning via Bootstrapping Error Reduction
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
非策略强化学习旨在利用从先前策略中收集的经验进行样本有效学习。然而，在实践中，常用的非策略近似动态规划方法的基础上Q-学习和actor-critic方法是高度敏感的数据分布，只能取得有限的进展，而不收集额外的政策上的数据。作为迈向更强大的离线策略算法的一步，我们研究了离线策略体验是固定的并且没有与环境进一步交互的设置。我们确定自举错误的一个关键来源，在目前的方法不稳定。自举错误是由于从位于训练数据分布之外的动作进行自举，并且它通过Bellman备份操作符累积。我们从理论上分析了自举错误，并论证了如何在备份中仔细地约束动作选择来减轻它。基于我们的分析，我们提出了一个实用的算法，自举错误累积减少（BEAR）。我们证明了BEAR能够在一系列连续控制任务中从不同的非策略分布（包括随机和次优演示）中鲁棒地学习。
2019-11-25 cs.LG stat.ML
Statistical Bootstrapping for Uncertainty Estimation in Off-Policy Evaluation
Google Research（谷歌研究院）
在强化学习中，通常使用经验观察到的转换和奖励来通过基于模型或Q拟合的方法估计策略的价值。尽管这些技术很简单，但通常会对保单的真实价值产生有偏差的估计。在这项工作中，我们调查的潜力，统计引导被用来作为一种方式，采取这些有偏估计，并产生校准的置信区间的政策的真实价值。我们确定的条件-特别是，足够的数据大小和足够的覆盖范围-在此设置下的统计自举是保证产生正确的置信区间。在实际情况下，这些条件往往不成立，因此我们讨论并提出了可以用来减轻其影响的机制。我们评估了我们提出的方法，并表明它可以在各种条件下产生准确的置信区间，包括具有挑战性的连续控制环境和小数据制度。
2020-07-27 cs.LG stat.ML
Ensemble Bootstrapping for Q-Learning
Viterbi Faculty of Electrical Engineering, Technion Institute of Technology（以色列理工学院电气工程维特比学院）
Q学习（QL）是一种常用的强化学习算法，由于最优Bellman算子中的最大化项而存在过估计偏差。这种偏差可能导致次优行为。双Q学习通过使用两个估计器来解决这个问题，但会导致低估偏差。类似于Q学习中的过度估计，在某些情况下，估计不足的偏差可能会降低性能。在这项工作中，我们引入了一种新的偏差减少算法，称为Ensemble Bootstrapped Q-Learning（EBQL），这是Double-Q-learning对集成的自然扩展。我们分析我们的方法从理论和经验。理论上，我们证明了EBQL类更新产生较低的MSE时，估计一组独立的随机变量的最大均值。从经验上讲，我们表明，存在域的估计和估计不足的结果在次优性能。最后，我们展示了一套ATARI游戏的EBQL的深度RL变体比其他深度QL算法的优越性能。
2021-04-20 cs.AI cs.LG stat.ML
Safe Policy Improvement with Baseline Bootstrapping
Microsoft Research（微软研究院）
本文考虑批强化学习（Batch RL）中的安全策略改进（SPI）：从固定的数据集并且不直接存取真实环境，训练保证执行至少与用于收集数据的基线策略一样好的策略。我们的方法称为SPI with Baseline Bootstrapping（SPIBB），灵感来自于knows-what-it-knows范式：当不确定性很高时，它会使用基线引导训练的策略。我们的第一个算法，$Π_b$ -SPIBB，带有SPI理论保证。我们还实现了一个变体，$Π_{\leq b}$ -SPIBB，这在实践中甚至更有效。我们将我们的算法应用到一个激励随机gridworld域，并进一步证明随机生成的MDP的SPIBB相对于现有算法的优越性，不仅在安全性，而且在平均性能。最后，我们实现了一个无模型版本的SPIBB，并显示其好处的导航任务与深度RL实现称为SPIBB-DQN，这是，据我们所知，第一个RL算法依赖于神经网络表示能够有效地和可靠地从批量数据训练，没有任何与环境的交互。
2019-06-07 cs.AI cs.LG stat.ML
Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight
University of Zurich（苏黎世大学）；Robotics and Perception Group（机器人与感知组）
针对视觉敏捷四旋翼飞行中策略探索低效的问题，提出结合强化学习与模仿学习的三阶段框架，通过教师策略训练、蒸馏与自适应微调，在模拟与真实场景中显著提升了鲁棒性与性能。
2024-11-12 cs.CV cs.LG cs.RO
Bootstrapping Fitted Q-Evaluation for Off-Policy Inference
Deepmind（深度思维）；Princeton University（普林斯顿大学）；University of Alberta（阿尔伯塔大学）
Bootstrapping提供了一种灵活有效的方法来评估批处理强化学习的质量，但其理论特性还不太清楚。在本文中，我们研究了使用自举在离政策评估（OPE），特别是，我们专注于拟合Q-评估（QFE），这是已知的最小最优的表格和线性模型的情况下。我们提出了一个自举的方法来推断的政策评估误差的分布，并证明了这种方法是渐近有效的和分布一致的政策外统计推断。为了克服自举的计算限制，我们进一步调整子采样过程，提高了一个数量级的运行时间。我们在经典RL环境中数值评估了Boottrapping方法的置信区间估计，估计偏离策略评估器的方差，估计多个偏离策略评估器之间的相关性。
2022-05-22 cs.LG math.ST stat.ML
CueLearner: Bootstrapping and local policy adaptation from relative feedback
Autonomous Systems Lab, ETH Zurich, Switzerland（自主系统实验室，苏黎世联邦理工学院）；Robotics Systems Lab, ETH Zurich, Switzerland（机器人系统实验室，苏黎世联邦理工学院）
本文提出CueLearner方法，将相对反馈与离策略强化学习结合，通过引导探索提升样本效率，并能适应环境或用户偏好变化，在稀疏奖励任务和真实导航场景中验证了有效性。
2025-07-07 cs.LG cs.RO
Retimed Bellman Flows: Escaping the Impossible Triangle of Velocity Bootstrapping
提出重定时贝尔曼流（ReBF），通过动态偏移教师查询时间并解耦噪声生成，构建条件无偏速度目标，解决速度自举的结构困境，在合成MRP和38个离线强化学习任务上显著提升性能。
2026-09-29 cs.LG
Principled Exploration via Optimistic Bootstrapping and Backward Induction
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Tencent Robotics X（腾讯 Robotics X）；Tianjin University（天津大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
一种可证明有效的探索的原则方法是将置信上限（UCB）作为奖励并入价值函数中。然而，UCB被指定用于处理线性和表格设置，并且与深度强化学习（DRL）不兼容。在本文中，我们提出了一个原则性的探索方法DRL通过乐观引导和反向归纳（OB 2 I）。OB 2 I通过DRL中的非参数bootstrap构建了通用的UCB奖金。UCB奖金估计乐观探索的状态-动作对的认知不确定性。我们在线性环境中建立了拟议的UCB奖金和LSVI-UCB之间的理论联系。我们传播未来的不确定性在一个时间一致的方式通过情节向后更新，这利用了理论上的优势，并在经验上提高了样本效率。我们在MNIST迷宫和Atari套件中的实验表明，OB 2 I优于几种最先进的探索方法。
2021-05-17 cs.LG
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg（奥格斯堡大学）
许多深度强化学习算法的一个重要组成部分是经验重放，它作为存储机制或记忆的经验。这些经验用于训练，并帮助智能体稳定地找到通过问题空间的完美轨迹。然而，经典的经验重放只使用它实际产生的经验，但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法，在不确定的离散环境中创建合成的经验，以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估，我们表明它可以支持智能体更快地学习，甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
LEMMA: Bootstrapping High-Level Mathematical Reasoning with Learned Symbolic Abstractions
MIT（麻省理工学院）；Stanford University（斯坦福大学）
人类通过发展抽象层次来驯服数学推理的复杂性。有了适当的抽象，解决困难的问题，可以表达简洁，从而使他们更容易被发现。在本文中，我们提出了学习数学抽象（LEMMA）：一个算法，实现这一想法的强化学习代理在数学领域。LEMMA通过一个抽象步骤增强了专家迭代，在这个步骤中，到目前为止找到的解决方案将根据新的更高级别的操作进行重新访问和重写，然后这些操作将可用于解决新问题。我们评估LEMMA的两个数学推理任务-方程求解和分数简化-在一步一步的方式。在这两个领域中，LEMMA提高了现有代理的能力，解决了更多的问题，并且比训练期间看到的更有效地推广到更难的问题。
2022-11-16 cs.AI
Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning
Google Research（谷歌研究院）；MILA, Université de Montréal（蒙特利尔大学MILA）；UC Berkeley（加州大学伯克利分校）
我们在使用自举的基于值的深度RL方法中发现了一种隐式的参数化不足现象：当使用深度神经网络近似的价值函数使用梯度下降进行训练时，使用迭代回归到由值网络的先前实例生成的目标值上，更多的梯度更新会降低当前值网络的表达能力。我们通过学习值网络特征的排名下降来表征这种表达能力的损失，并表明这通常对应于性能下降。我们在Atari和Gym基准测试中展示了这种现象，无论是离线还是在线RL设置。我们正式分析这种现象，并表明它是从一个病态的相互作用之间的自举和基于梯度的优化。我们进一步表明，通过控制秩崩溃来减轻隐式欠参数化可以提高性能。
2021-10-25 cs.LG stat.ML
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略（如ε-greedy，Boltzmann，bootstrapping和基于内在奖励的策略）学习得更快。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
Safe Policy Improvement with Soft Baseline Bootstrapping
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Microsoft Research Montréal（蒙特利尔微软研究院）
批处理强化学习（Batch RL）包括使用与另一个策略（称为行为策略）一起收集的轨迹来训练策略。安全策略改进（SPI）提供了高概率的保证，即经过训练的策略比行为策略表现得更好，在这种情况下也称为基线。以前的工作表明，SPI目标提高了平均性能相比，使用基本RL目标，归结为解决MDP与最大似然。在这里，我们在这项工作的基础上，通过允许在更广泛的策略集上进行策略搜索，更精确地改进了SPI与基线引导算法（SPIBB）。而不是二进制分类的状态-动作对成两个集合（\textit{uncertain}和\textit{safe-to-train-on}的），我们采用了一种更软的策略，通过限制政策的变化，根据本地模型的不确定性，控制在值估计的误差。该方法可以承担更多的风险，不确定的行动，同时保持可证明的安全，因此是保守性比国家的最先进的方法。我们提出了两种算法（一个最佳的和一个近似的）来解决这个约束优化问题，经验表明，显着改善现有的SPI算法的有限MDP和无限MDP与神经网络函数近似。
2019-07-11 cs.AI cs.LG stat.ML
Evolutionary Discovery of Reinforcement Learning Algorithms via Large Language Models
Machine Perception and Interaction Lab, Örebro University（厄勒布鲁大学机器感知与交互实验室）
本文提出一种基于进化算法发现强化学习算法的方法，通过搜索可执行的更新规则来发现新的算法，并通过超参数优化提升性能，实验表明其在多个基准上表现优异。
2026-03-30 cs.AI cs.LG
Relative Entropy Regularized Reinforcement Learning for Efficient Encrypted Policy Synthesis
School of Aeronautics and Astronautics, Purdue University（航空宇航工程学院，普渡大学）；ASRI, the Department of Electrical and Computer Engineering, Seoul National University（ASRI，电气电子工程系，首尔国立大学）；Japan Society for the Promotion of Science（日本学术振兴会）
该研究提出高效加密策略合成方法，证明相对熵正则化强化学习框架的线性无最小化值迭代结构可直接集成带自举的全同态加密，分析了加密误差下的收敛性与误差界，并通过数值模拟验证了该框架的有效性。
2025-06-14 cs.LG cs.SY eess.SY
Bootstrapping Adaptive Human-Machine Interfaces with Offline Reinforcement Learning
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Université de Montréal（蒙特利尔大学）；MILA（蒙特利尔学习算法研究所）
提出结合离线预训练与在线微调的强化学习算法，通过推断用户长期意图对高维噪声指令去噪并提供共享自治，显著提升了自适应人机界面在导航等任务中的表现。
2023-09-07 cs.HC cs.LG cs.RO
Flattening Hierarchies with Policy Bootstrapping
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出一种通过自举子目标策略训练平坦目标条件策略的方法，解决长horizon任务中GCRL扩展难题，实现高维控制性能提升。
2026-01-02 cs.AI cs.LG cs.RO
Bootstrapping Skills
Technion - Israel Institute of Technology（以色列理工学院）；Google Deepmind（谷歌DeepMind）
马尔可夫决策过程（Markov Decision Process，MDP）中的策略表示的整体方法寻找可以表示为从状态到动作的函数的单个策略。为了使整体方法成功（这并不总是可能的），复杂的特征表示通常是必要的，因为策略是一个复杂的对象，必须规定在整个状态空间中采取什么动作。这在具有复杂动力学的大域中尤其如此。使用复杂的整体方法在MDP中学习和规划也是计算效率低下的。我们提出了一种不同的方法，我们限制政策空间的政策，可以表示为简单的组合，参数化的技能-一种类型的时间扩展的行动，一个简单的政策表示。我们引入了通过引导（LSB）的学习技能，它可以使用广泛的强化学习（RL）算法作为“黑盒”来迭代学习参数化技能。最初，学习到的技能是短视的，但算法的每次迭代都允许技能相互引导，从而提高过程中的每项技能。我们证明，这个引导过程返回一个接近最优的政策。此外，我们的实验表明，LSB可以解决MDP，给定相同的代表性的权力，不能解决的单片方法。因此，使用学习到的技能进行规划会产生更好的策略，而不需要复杂的策略表示。
2015-06-11 cs.AI
Faster Deep Reinforcement Learning with Slower Online Network
Amazon Web Services（亚马逊云科技）；Brown University（布朗大学）；Seoul National University（首尔国立大学）
本文提出通过让在线网络靠近目标网络的更新机制，增强 DQN 和 Rainbow 对噪声更新的鲁棒性，并在 Atari 基准上取得显著性能提升。
2023-04-17 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Bootstrap Your Own Skills: Learning to Solve New Tasks with Large Language Model Guidance
University of Southern California（南加州大学）；Google AI（谷歌人工智能）；National Taiwan University（国立台湾大学）；KAIST（韩国科学技术院）
BOSS方法利用大语言模型引导技能自举，使智能体从原始技能出发，以极少监督学习解决新任务，在家庭环境中零样本执行未见长时程任务优于现有方法。
2023-10-17 cs.AI cs.LG cs.RO
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习（RL）的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要，其中构建未知环境的表示对于解决任务至关重要。在这里，我们介绍了Bootstrap Latents预测（PBL），这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上，并专注于捕获有关环境动态的结构化信息。具体来说，PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应，使智能体能够更多地了解环境动态的关键方面。此外，通过完全在潜在空间中定义预测任务，PBL提供了使用涉及像素图像，语言指令，奖励等多模态观察的灵活性。我们在实验中表明，PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
