Offline Planning and Online Learning under Recovering Rewards
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
受新兴应用如实时流媒体电子商务、促销和推荐的启发,我们引入并解决了一类具有以下两个特征的非平稳多臂强盗问题:(i)决策者可以在每个时间段内从$N$不同的臂中提取并收集最多$K\,(\ge 1)$的奖励;(ii)手臂的预期回报在被拉动后立即下降,然后随着手臂空闲时间的增加而非参数地恢复。随着最大化的目标,在$T$的时间周期的预期累积奖励,我们设计了一类“定期政策”,共同设置一个时期,拉每个arm.For建议的政策,我们证明了性能保证离线问题和在线问题。对于离线问题,当所有的模型参数是已知的,建议的周期性政策获得的近似比是在$1-\mathcal O(1/\sqrt{K})$的顺序,这是渐近最优的$K$增长到无穷大。针对模型参数未知且需要动态学习的在线问题,将离线周期策略与置信上界过程相结合,构造在线策略。提出的在线策略被证明是近似有$\widetilde{\mathcal O}(N\sqrt{T})$遗憾对离线基准。我们的框架和政策设计可以揭示更广泛的离线规划和在线学习应用程序与非固定和恢复奖励。
2021-12-21 cs.DM cs.LG math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside(加州大学河滨分校);Caltech(加州理工学院)
本文提出学习增强去中心化在线优化算法LADO,在去中心化多智能体网络中结合基准策略与机器学习策略,兼顾最坏情况鲁棒性和平均性能,并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Policy Mirror Descent with Temporal Difference Learning: Sample Complexity under Online Markov Data
Wenye Li(李文悦);Hongxu Chen(陈红旭);Jiacai Liu(刘家才);Ke Wei(魏凯)
本文提出基于时间差学习的策略镜像下降算法,通过自适应步长实现在线马尔可夫数据下的样本复杂性优化。
2025-12-30 cs.LG math.OC
Regret Analysis of Policy Optimization over Submanifolds for Linearly Constrained Online LQG
Department of Mechanical and Industrial Engineering, Northeastern University, Boston, USA(机械与工业工程系,东北大学,波士顿,美国)
本文研究线性约束下在线 LQG 控制问题,提出基于黎曼流形的在线牛顿法(ONM)算法,利用代价函数二阶信息即时生成控制器,并证明了基于路径长度的遗憾界限。
2025-07-13 cs.LG cs.SY eess.SY
FORESEE: Prediction with Expansion-Compression Unscented Transform for Online Policy Optimization
University of Michigan(密歇根大学)
该研究提出扩张-压缩无迹变换的状态预测方法,结合约束梯度下降变体以滚动时域方式优化策略,在性能比肩Monte Carlo的同时大幅降低计算成本,已在四旋翼稳定等任务中验证有效性。
2024-02-01 cs.LG cs.RO cs.SY
Online Optimal Control with Affine Constraints
Harvard University(哈佛大学);IBM Research(IBM研究院)
研究了线性动态系统在有界随机干扰下,状态和动作具有仿射约束的在线最优控制问题。假设系统的动力学和约束是已知的和时不变的,但凸阶段代价函数反向变化。为了解决这个问题,我们提出了在线梯度下降与缓冲区(OGD-BZ)。理论上,我们证明了OGD-BZ与适当的参数,可以保证系统满足所有的约束,无论任何允许的干扰。此外,我们研究了OGD-BZ的政策后悔,比较OGD-BZ的性能与最优线性政策的性能在事后。我们发现,OGD-BZ可以实现一个政策遗憾的上限,即是平方根的地平线长度乘以一些对数项的地平线长度在适当的算法参数。
2021-07-13 cs.LG cs.SY eess.SY
Policy Optimization as Online Learning with Mediator Feedback
Politecnico di Milano(米兰理工大学)
策略优化(PO)是一种广泛使用的方法来解决连续控制任务。在本文中,我们引入了中介反馈的概念,框架PO作为一个在线学习问题的政策空间。与标准的强盗反馈相比,额外的可用信息允许重用由一个策略生成的样本来估计其他策略的性能。基于这一观察,我们提出了一种算法,随机化探索策略优化通过多个重要性采样截断(RANDOMIST),在PO中的遗憾最小化,采用随机探索策略,不同于现有的乐观方法。当政策空间是有限的,我们表明,在某些情况下,它是可能实现不断的遗憾,而总是享受对数遗憾。我们还得到了问题相关的后悔下界。然后,我们将随机扩展到紧凑的政策空间。最后,我们提供了有限的和紧凑的政策空间的数值模拟,与PO和强盗基线。
2020-12-15 cs.AI cs.LG stat.ML
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory(阿贡国家实验室)
我们已经开发了一个模型,在线连续或终身强化学习(RL)的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练,使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移,其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Active Offline Policy Selection
DeepMind(深度思维)
本文讨论的问题,在域中的政策选择与丰富的记录数据,但有限的互动预算。解决这个问题将使离线强化学习策略在工业、机器人和推荐等领域的安全评估和部署成为可能。已经提出了几种脱离策略评估(OPE)技术来仅使用记录的数据来评估策略的价值。但是,OPE的评估与完全在线评估之间仍有很大差距。然而,大量的在线互动在实践中往往是不可能的。为了克服这个问题,我们引入了主动离线策略选择-一种新的顺序决策方法,结合记录的数据与在线交互,以确定最佳的政策。我们使用OPE估计来启动在线评估。然后,为了明智地利用有限的环境相互作用,我们决定下一个政策评估的基础上贝叶斯优化方法的内核,代表政策的相似性。我们使用多个基准,包括现实世界的机器人技术,大量的候选政策,以表明所提出的方法提高了最先进的OPE估计和纯在线政策评估。
2022-05-06 cs.AI cs.LG stat.ML
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Microsoft Research(微软研究院)
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为,后悔的标准定义变得不够,如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾,试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置,我们表明,没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面,如果对手的记忆是有界的,我们提出了一个一般的技术,转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体,如转换后悔,内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind(深度思考);OpenAI;University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
蒙特卡罗树搜索(MCTS)算法执行基于模拟的搜索以在线改进策略。在搜索过程中,模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题,但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法,策略梯度搜索(PGS),通过策略梯度更新在线适应神经网络模拟策略,避免了搜索树的需要。在Hex中,PGS实现了与MCTS相当的性能,并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
Policy Finetuning: Bridging Sample-Efficient Offline and Online Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Salesforce Research(Salesforce研究院)
最近的理论工作在两种环境中广泛研究了样本有效的强化学习(RL):在环境中交互式学习(在线RL)或从离线数据集学习(离线RL)。然而,现有的算法和理论学习接近最优的政策,在这两个设置是相当不同的和断开。为了弥补这一差距,本文提出了政策微调的理论研究,即在线强化学习,学习者有额外的访问“参考政策”$μ$接近最优政策$π_\star$在一定意义上。研究了具有$S$状态、$A$动作和水平长度$H$的情景马尔可夫决策过程(MDP)的策略微调问题.我们首先设计了一个尖锐的离线约简算法-它简单地执行$μ$并在收集的数据集上运行离线策略优化-在$\widetilde{O}(H^3SC^\star/\varepsilon^2)$事件中找到$\varepsilon$接近最优的策略,其中$C^\star$是$μ$和$π_\star$之间的单策略集中系数。这个离线结果是第一个匹配此设置中的样本复杂度下限的结果,并解决了离线RL中最近的一个未决问题。然后,我们建立了一个$Ω(H^3S\min\{C^\star, A\}/\varepsilon^2)$样本复杂度下限的任何政策微调算法,包括那些可以自适应地探索环境。这意味着--也许令人惊讶的是--最优策略微调算法要么是离线约简,要么是不使用$μ$的纯在线RL算法。最后,我们设计了一个新的混合离线/在线算法的政策微调,实现更好的样本复杂度比香草离线减少和纯在线R…
2022-02-11 cs.LG stat.ML
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
COOPO: Cyclic Offline-Online Policy Optimization Algorithm
Department of Mechanical Engineering, Iowa State University(伊阿华州立大学机械工程系);Department of Computer Science, Iowa State University(伊阿华州立大学计算机科学系);Department of Industrial and Manufacturing Systems Engineering, Iowa State University(伊阿华州立大学工业与制造系统工程系);Translational AI Center, Iowa State University(伊阿华州立大学转化人工智能中心)
本文提出COOPO算法,通过循环离线训练和在线微调来解决离线强化学习的分布偏移和性能受限问题,以及在线强化学习的环境交互成本高问题,通过周期性回归离线训练减少遗忘和漂移,提升样本效率和性能。
2026-05-18 cs.AI cs.LG
Flow-Based Policy for Online Reinforcement Learning
Tsinghua University(清华大学);Shanghai Research Institute for Intelligent Autonomous Systems,Tongji University(上海智能自主系统研究所,同济大学)
本研究提出在线强化学习框架FlowRL,通过基于状态速度场的流策略建模与Wasserstein-2正则化约束,对齐流优化与RL目标,在基准测试中取得了有竞争力的性能。
2025-06-15 cs.AI cs.LG
Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
UC San Diego(加利福尼亚大学圣迭戈分校)
本文提出Policy Decorator,一种模型无关的残差策略方法,通过在线交互优化大型模仿学习模型,在ManiSkill和Adroit基准上显著提升了策略性能并保持了平滑运动。
2024-12-18 cs.AI cs.LG cs.RO
Explaining Fast Improvement in Online Imitation Learning
Georgia Tech(佐治亚理工学院);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
在线模仿学习(IL)是一种算法框架,其利用与专家策略的交互来进行有效的策略优化。在这里,通过对一系列损失函数执行在线学习来优化策略,这些损失函数鼓励学习者模仿专家的动作,并且如果在线学习没有遗憾,则代理可以证明学习到类似专家的策略。在线IL已经在许多应用中取得了经验性的成功,有趣的是,在实践中观察到的其政策改进速度通常比现有理论表明的要快得多。在这项工作中,我们提供了一个解释这种现象。令$ξ$表示策略类偏差,并假设在线IL损失函数是凸的、平滑的和非负的。我们证明,$N$轮后的在线IL随机反馈,政策改善$\tilde{O}(1/N + \sqrt{ξ/N})$在预期和高概率。换句话说,我们表明,在在线IL中采用足够表达的策略类有两个好处:策略改进速度增加和性能偏差降低。
2021-02-22 cs.LG cs.RO stat.ML
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题,提出一种非整体式探索的新方法,在不修改离线策略的前提下协调其利用优势与在线策略的探索优势,性能优于PEX方法。
2024-10-31 cs.LG
Online Hyper-parameter Tuning in Off-policy Learning via Evolutionary Strategies
Columbia University(哥伦比亚大学);Google Brain Robotics(谷歌大脑机器人部门)
已知离策略学习算法对超参数的选择敏感。然而,与超参数可以经由例如元梯度来优化的接近策略算法不同,类似的技术不能直接应用于离策略学习。在这项工作中,我们提出了一个框架,需要应用进化策略在线超参数调整离策略学习。我们的公式与元梯度密切相关,并利用相对低维搜索空间的黑盒优化的优势。我们表明,我们的方法优于最先进的离策略学习基线与静态超参数和最近的工作在广泛的连续控制基准。
2020-06-13 cs.LG cs.NE stat.ML
Optimistic Natural Policy Gradient: a Simple Efficient Policy Optimization Framework for Online RL
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind);University of Alberta(阿尔伯塔大学)
本文提出乐观自然策略梯度(Optimistic NPG),将经典 NPG 与乐观策略评估结合以鼓励探索,首次在计算高效的同时在线性 MDP 中实现最优维度依赖的样本复杂度,并成为一般函数逼近下首个达到多项式样本复杂度的策略优化算法。
2023-12-04 cs.LG stat.ML
Online Policy Gradient for Model Free Learning of Linear Quadratic Regulators with $\sqrt{T}$ Regret
School of Computer Science, Tel Aviv University(特拉维夫大学计算机科学学院);Google Research(谷歌研究院)
我们考虑的任务是学习控制一个线性动态系统下固定的二次成本,被称为线性二次调节器(LQR)的问题。虽然无模型方法在实践中通常是有利的,但到目前为止,只有依赖于昂贵的系统辨识的基于模型的方法已被证明可以实现与时间范围T的最佳依赖性成比例的遗憾。我们提出了第一个无模型算法,实现了类似的遗憾保证。我们的方法依赖于一个有效的策略梯度计划,和一个新的和更严格的分析,在政策空间的探索在这种情况下。
2021-02-25 cs.LG stat.ML
Can RLHF be More Efficient with Imperfect Reward Models? A Policy Coverage Perspective
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
该研究从策略覆盖视角出发,利用不完美奖励模型提升在线RLHF的样本效率,提出TPO算法及模块化迁移策略,可集成多种优化方法,在摘要任务上验证了有效性。
2025-05-18 cs.AI cs.LG stat.ML
Robust Policy Expansion for Offline-to-Online RL under Diverse Data Corruption
Tsinghua University(清华大学);Tencent(腾讯);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对离线到在线强化学习在数据损坏下性能下降的问题,提出基于逆概率加权的鲁棒策略扩展方法RPEX,在D4RL数据集上实现最先进性能。
2025-10-16 cs.AI cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出OOO框架,通过解耦探索与利用策略,利用离线重训练缓解在线RL中的探索偏差,显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Soft Policy Optimization: Online Off-Policy RL for Sequence Models
Meta Platforms, Inc.(元平台公司)
本文提出软策略优化SPO,一种无需价值模型、可从任意在线和离线轨迹学习的Soft RL方法,在代码竞赛中比PPO更快、更省内存、更稳定且策略更多样。
2025-03-07 cs.AI cs.LG
Robust Data-Collection Policy Learning for Low-Variance Online Policy Evaluation
California Institute of Technology(加州理工学院);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学);University of California, Riverside(加州大学河滨分校);University of Virginia(弗吉尼亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究针对强化学习在线策略评估的高方差问题,提出双循环梯度算法学习鲁棒行为策略,其对转移扰动敏感性更低,可降低真实环境评估成本。
2026-08-26 cs.LG stat.ML
Robot Policy Transfer with Online Demonstrations: An Active Reinforcement Learning Approach
Vrije Universiteit (VU) Amsterdam(阿姆斯特丹自由大学)
本文提出主动LfD算法Policy Transfer with Online Demonstrations,在有限演示预算下优化在线专家演示查询的时机与内容,显著提升机器人跨环境、任务和实体的策略迁移性能。
2025-03-17 cs.AI cs.LG cs.RO
Online Policy Distillation with Decision-Attention
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出带决策注意力的在线策略蒸馏框架OPD-DA,通过为每个策略生成不同权重衡量群体成员重要性,解决无教师模型时多策略在线互学中的同质化问题,并在Atari平台的PPO和DQN任务上验证其有效性。
2024-06-08 cs.AI cs.LG
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);INRIA(法国国家信息与自动化研究所)
通过使用蒙特卡罗树搜索或模型预测控制,多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond},多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中,我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难,软策略更新:即使在没有近似的情况下,相反的1步贪婪的情况下,单调的政策改善是不能保证的,除非更新步长足够大。特别关心这个困难,我们制定和分析在线和近似算法,使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics(上海财经大学数学学院);Stern School of Business, New York University(纽约大学斯特恩商学院);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
针对强化学习中存在异常值污染和重尾奖励的问题,提出一种完全在线的鲁棒策略评估程序,建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断,经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
Online Markov decision processes with policy iteration
Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学)
在线马尔可夫决策过程(MDP)是经典马尔可夫决策过程的推广,它包含了不断变化的奖励函数。在本文中,我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是,它可以很容易地与函数逼近相结合,从而可以有效地处理大的和可能连续的状态空间。通过实验,我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Improving TD3-BC: Relaxed Policy Constraint for Offline Learning and Stable Online Fine-Tuning
University of Warwick(华威大学);Alan Turing Institute(艾伦·图灵研究所)
从固定数据集发现最佳行为的能力有可能将强化学习(RL)的成功转移到数据汇集存在严重问题的领域。在这种离线设置中,一个关键的挑战是克服对数据中不存在的动作的高估偏差,如果没有能力通过与环境的交互进行校正,则可以在训练期间传播和复合,从而导致高度次优的策略。减少这种偏差的一个简单方法是通过行为克隆(BC)引入策略约束,鼓励代理选择更接近源数据的行为。通过在RL和BC之间找到正确的平衡,这种方法已经被证明是令人惊讶的有效的,同时需要对它们所基于的底层算法进行最小的更改。到目前为止,这种平衡一直保持不变,但在这项工作中,我们探索了在初始训练后将这种平衡向RL倾斜的想法。使用TD 3-BC,我们证明,通过继续训练离线的政策,同时减少BC组件的影响,我们可以产生精细的政策,优于原来的基线,以及匹配或超过更复杂的替代品的性能。此外,我们证明了这种方法可以用于稳定的在线微调,允许在部署过程中安全地改进策略。
2022-11-21 cs.AI cs.LG stat.ML
Online Policy Optimization for Robust MDP
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tsinghua University(清华大学)
强化学习(RL)在许多合成环境中(如视频游戏和围棋)已经超过了人类的表现。然而,端到端RL模型的实际部署并不常见,因为RL模型对环境的轻微扰动非常敏感。鲁棒马尔可夫决策过程(MDP)框架-其中转移概率属于标称模型周围的不确定性集-提供了一种开发鲁棒模型的方法。虽然之前的分析表明,RL算法在假设访问生成模型的情况下是有效的,但目前尚不清楚RL在更现实的在线设置下是否有效,这需要在探索和利用之间保持谨慎的平衡。在这项工作中,我们考虑在线鲁棒MDP通过与一个未知的标称系统。我们提出了一个鲁棒的乐观策略优化算法,可证明是有效的。为了解决对抗性环境引起的额外不确定性,我们的模型具有通过Fenchel共轭导出的新的乐观更新规则。我们的分析建立了第一个遗憾的在线强大的MDPs。
2022-09-28 cs.LG stat.ML
Human Alignment of Large Language Models through Online Preference Optimisation
Google DeepMind(谷歌DeepMind)
本文证明IPO与Nash-MD在线版本的等价性,并据此提出IPO-MD算法,通过混合策略采样和偏好模型自博弈优化,在摘要任务上验证了其有效性。
2024-03-13 cs.AI cs.LG stat.ML
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University(弗吉尼亚共同体大学);University of Virginia(弗吉尼亚大学)
研究离线到在线强化学习中有限交互预算下的主动策略选择问题,提出基于未来性能上置信界主动选策略微调的方法,经实验验证其优于现有基线,能更有效利用预算,推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
PROTO 通过在标准 RL 目标中加入迭代演化的正则化项,以信赖域式更新逐步放宽约束,实现稳定且高效的离线到在线强化学习微调,并可与任意离线预训练方法对接。
2023-05-25 cs.AI cs.LG cs.RO
Doubly Robust Interval Estimation for Optimal Policy Evaluation in Online Learning
North Carolina State University(北卡罗来纳州立大学);University of California Irvine(加州大学欧文分校)
针对在线学习中相依数据和未知最优策略导致的策略评估难题,本文推导常用 bandit 算法的探索概率,提出兼具一致性双重保护与渐近正态置信区间的 DREAM 方法。
2024-08-02 cs.LG math.ST stat.ME
Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only
Westlake University(西湖大学)
本文提出PORL方法,仅利用离线预训练策略进行在线强化学习微调,无需预训练Q函数,通过在线阶段快速初始化Q函数避免悲观估计,达到与先进算法相当的性能,并支持直接微调行为克隆策略。
2025-05-22 cs.AI cs.LG cs.RO
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh(爱丁堡大学);National University of Defense Technology(国防科技大学);Samsung AI Centre, Cambridge(三星人工智能中心(剑桥))
Off-Policy Actor-Critic(Off-PAC)方法已被证明在各种连续控制任务中是成功的。通常,批评家的动作-价值函数使用时间差来更新,并且批评家反过来为演员提供损失,演员训练它采取具有更高预期回报的动作。在本文中,我们介绍了一种新颖而灵活的元批评家,观察学习过程和元学习的演员,加速和提高演员批评家学习的额外损失。与普通评论家相比,元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比,元评论家可以快速在线学习单个任务,而不是缓慢地学习一系列任务。至关重要的是,我们的元批评框架是为基于政策的学习者设计的,目前提供了最先进的强化学习样本效率。我们证明,在线元批评学习导致的改进,在各种连续控制环境中,结合当代的非PAC方法DDPG,TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Best of Both Worlds in Online Control: Competitive Ratio and Policy Regret
Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所);Google AI Princeton(谷歌人工智能普林斯顿团队);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院);Department of Computer Science, Princeton University(普林斯顿大学计算机科学系)
我们从两个不同的角度考虑线性动力系统在线控制的基本问题:后悔最小化和竞争分析。我们证明了最优竞争策略是很好的近似凸参数化的政策类,称为扰动行动控制(DAC)的政策。使用这种结构的结果,我们表明,最近提出的几个在线控制算法实现了两全其美:次线性遗憾与事后选择的最佳DAC政策,最佳竞争比,添加剂的修正,增长次线性的时间范围。我们进一步得出结论,次线性后悔与最优竞争策略是可以实现的线性动态系统是未知的,甚至当一个稳定的控制器的动态是不可用的先验。
2022-11-21 cs.LG
EXPO: Stable Reinforcement Learning with Expressive Policies
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
EXPO通过构建实时策略最大化Q值,提升样本效率,适用于基于离线数据的策略微调和在线训练。
2026-04-30 cs.AI cs.LG
Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
针对现有深度强化学习机制依赖策略类别与骨干网络假设、换用新策略时性能下降的问题,提出策略无关强化学习PA-RL,通过优化动作结合监督损失实现多策略类别的离线训练与在线微调,性能和样本效率最高提升2倍,还首次实现7B通用机器人策略OpenVLA的自主在线微调。
2024-12-09 cs.AI cs.LG
ExPoSe: Combining State-Based Exploration with Gradient-Based Online Search
National University of Singapore(新加坡国立大学)
在线基于树的搜索算法迭代地模拟轨迹并更新存储在树结构中的一组状态的动作值。它在实践中运作良好,但未能有效利用从类似国家收集的信息。取决于动作价值函数的平滑度,克服该问题的一种方法是通过在线学习,其中在相似状态之间内插信息;策略梯度搜索提供了实现这一点的实用算法。然而,策略梯度搜索缺乏显式的探索机制,这是基于树的在线搜索算法的一个关键特征。在本文中,我们提出了一种高效和有效的在线搜索算法,称为探索性策略梯度搜索(ExpoSe),它利用状态之间的信息共享直接更新的搜索策略参数,同时纳入一个定义良好的探索机制在在线搜索过程中。我们评估了一系列决策问题的ExpoSe,包括雅达利游戏,推箱子,稀疏图中的汉密尔顿循环搜索。结果表明,在所有领域中,ExpoSe始终优于其他流行的在线搜索算法。ExpoSe源代码可在\textit{\url{https://github.com/dixantmittal/ExPoSe}}上获得。
2023-03-04 cs.AI cs.LG
Non-Asymptotic Best Policy Identification Guarantees in Online Reinforcement Learning
Imperial College London(伦敦帝国学院);Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
研究在线表格强化学习中的最优策略识别问题,通过为导航与停止(NaS)算法提供非渐近样本复杂度保证,揭示其样本复杂度不仅依赖特征时间,还与MDP连通性等有关,填补了相关空白。
2026-07-21 cs.LG stat.ML
Online Bootstrap Inference For Policy Evaluation in Reinforcement Learning
Purdue University(普渡大学);UCLA(加利福尼亚大学洛杉矶分校);Yale University(耶鲁大学);Northwestern University(西北大学)
最近出现的强化学习产生了强大的统计推断方法的参数估计使用这些算法计算的需求。在线学习中的现有统计推断方法仅限于涉及独立采样观测的设置,而强化学习(RL)中的现有统计推断方法仅限于批量设置。在线自举是线性随机逼近算法中统计推断的一种灵活而有效的方法,但其在涉及马尔可夫噪声(如RL)的设置中的有效性还有待探索。在本文中,我们研究使用在线引导方法的统计推断在RL。特别是,我们专注于时间差(TD)学习和梯度TD(GTD)的学习算法,这本身是特殊的情况下的线性随机逼近马尔可夫噪声。该方法被证明是分布一致的统计推断的政策评估,并包括数值实验,以证明该算法的有效性,在统计推断任务在一系列真正的RL环境。
2022-06-28 cs.AI cs.LG math.ST
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University(清华大学);University of Hamburg(汉堡大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
针对离策略RL未充分利用replay buffer信息的问题,提出无模型在线RL框架OBAC,通过价值比较识别更优离线策略作为自适应约束来增强在线学习,在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
Online Robust Policy Learning in the Presence of Unknown Adversaries
Iowa State University(爱荷华州立大学)
深度强化学习(DRL)在网络物理系统中的应用前景日益增长,引起了人们对自主智能体安全性和鲁棒性的关注。最近关于生成对抗攻击的工作表明,不良行为者欺骗DRL策略使其表现次优在计算上是可行的。虽然已经解决了具有特定攻击模型的某些对抗攻击,但大多数研究仅对数据空间中的离线优化感兴趣(例如,实例拟合、蒸馏)。本文介绍了一种元学习优势层次(MLAH)框架,该框架与攻击模型无关,更适合于强化学习,通过在决策空间(而不是数据空间)中处理攻击,并直接减轻对手引入的学习偏差。在MLAH中,我们学习单独的子政策(名义上和对抗)在一个在线的方式,由一个监督主代理,检测对手的存在,利用子政策的优势函数的指导。我们证明,该算法使策略学习具有显着较低的偏见相比,国家的最先进的策略学习方法,即使在存在大量的状态信息攻击。我们使用流行的OpenAI Gym环境进行算法分析和仿真结果。
2018-07-16 cs.LG stat.ML
Online Subset Selection using $α$-Core with no Augmented Regret
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Chennai Mathematical Institute(金奈数学研究所);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);Tata Institute of Fundamental Research(塔塔基础研究所)
我们重新审视在线学习设置中的最优子集选择的经典问题。假设集合$[N]$由$N$不同的元素组成。在$t$第轮中,对手选择单调奖励函数$f_t: 2^{[N]} \to \mathbb{R}_+$,该函数为$[N].$的每个子集分配非负奖励在线策略在向学习者揭示$t$第轮的奖励函数$f_t$之前选择(可能随机地)由$k$元素组成的子集$S_t \subseteq [N]$。作为其选择的结果,策略在第$t$轮接收奖励$f_t(S_t)$。我们的目标是设计一个在线顺序子集选择策略,以最大化在一个时间范围内积累的预期累积奖励。在这方面,我们提出了一个在线学习策略,称为SCore(子集选择与核心),解决了一个大类的奖励函数的问题。建议SCore政策是基于一个新的多面体表征的奖励函数称为$α$ -核心-核心的推广合作博弈论文献。我们建立了一个学习保证SCore政策方面的一个新的性能指标,称为$α$ -增强遗憾。在这个新的度量中,在线策略的性能与可以在每一轮选择所有$N$元素的不受限制的离线基准进行比较。我们发现,一个大类的奖励功能,包括子模块,可以有效地优化与SCore政策。我们还扩展了所提出的政策,乐观的学习设置,学习者有机会获得额外的不可信的提示,关于奖励功能。最后,我们总结了一系列的开放性问题的文件。
2023-02-09 cs.AI cs.GT cs.LG
A Review of Online Diffusion Policy RL Algorithms for Scalable Robotic Control
Daegu Gyeongbuk Institute of Science and Technology(大邱庆尚科学技术院);ShanghaiTech University(上海科技大学)
本文综述了在线扩散策略强化学习算法,分析了其在可扩展机器人控制中的性能、挑战及未来发展方向。
2026-02-09 cs.AI cs.LG cs.RO
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法,利用潜在状态空间前向预测误差构造无参数开销的内在奖励,并通过新颖性感知终端价值函数增强在线规划器,在连续控制任务中实现样本高效探索,尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Improving Policy Exploitation in Online Reinforcement Learning with Instant Retrospect Action
School of Computer Science, Tongji University(同济大学计算机科学学院)
IRA通过即时回顾动作和策略更新机制,提升在线强化学习中策略利用效率,减少过估计偏差,提高学习效率和性能。
2026-02-17 cs.LG
Towards Fast Safe Online Reinforcement Learning via Policy Finetuning
School of Electrical, Computer and Energy Engineering(电气、计算机与能源工程学院);Arizona State University(亚利桑那州立大学);School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学);Department of Computer Science(计算机科学系);University of Houston(休斯顿大学)
本文提出Marvel框架,通过价值预对齐和自适应PID控制,实现更高效安全的在线强化学习。
2026-01-22 cs.AI cs.LG
SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data
Media Integration and Communication Center – University of Florence(媒体集成与通信中心——佛罗伦萨大学);SEED – Electronic Arts(SEED——电子艺界)
本文提出SOPE算法,通过使用与演员对齐的离策略策略评估(OPE)信号作为自动早停机制,动态控制离线训练阶段的长度,从而在连续控制任务中提高基线性能并减少计算资源消耗。
2026-05-20 cs.AI cs.LG