Online Allocation and Pricing: Constant Regret via Bellman Inequalities
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运营研究与信息工程学院）
我们开发了一个框架，设计简单而有效的政策，一个家庭的在线分配和定价问题，其中包括在线包装，约束探测，动态定价，和在线上下文土匪背包。在每种情况下，我们都根据他们的遗憾（即，附加间隙），该附加间隙相对于离线控制器被赋予比在线控制器更多的信息。我们的框架基于Bellman不等式，它将算法的损失分解为两个不同的误差来源：（1）由计算易处理性问题引起的，以及（2）由随机轨迹的估计/预测引起的。平衡这些错误可以指导基准的选择，并导致既易于处理又具有强大性能保证的策略。特别是，在我们所有的例子中，我们证明了恒定遗憾的政策，只需要重新解决LP在每个时期，其次是一个简单的贪婪的行动选择规则，因此，我们的政策是实用的，以及可证明接近最优。
2020-07-30 cs.DS cs.LG math.OC
Action-Free Offline-to-Online RL via Discretised State Policies
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出无需动作的离线到在线强化学习方法，通过离散化状态策略提升高维问题的收敛速度和渐近性能。
2026-01-31 cs.AI cs.LG stat.ML
Flowing Faster to Coordinate: One-Step Online Multi-Agent Flow Policies
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Engineering Systems and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学工程系统与设计方向）
本文提出一步式流模型OMAF，结合Transformer流策略与近似路径得分代理，实现高效在线多智能体协调，在10个任务上回报提升3.4倍、样本效率提升10.5倍。
2026-10-02 cs.AI cs.LG
Drift, Then Spread: Learning One-Step Generative Policies for Online Reinforcement Learning
The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Tsinghua University（清华大学）
针对在线强化学习中生成策略采样代价高的问题，提出单步生成策略DriftSpread，其在MuJoCo上的聚合归一化回报最高，且训练与推理效率优于扩散、流类基线方法。
2026-10-14 cs.LG
ReversedQ: Opportunities for Faster Q-Learning in Episodic Online Reinforcement Learning
University of Maryland（马里兰大学）
本文研究了在回合有限的马尔可夫决策过程（MDPs）中使用无模型Q学习的效率问题，提出了ReversedQ方法，通过改进价值函数更新顺序、更新频率和初始化来提升学习速度，实验表明其在多个任务中均优于现有方法。
2026-05-20 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University（弗吉尼亚共同体大学）；University of Virginia（弗吉尼亚大学）
研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
LFQ: Online Learning of Per-flow Queuing Policies using Deep Reinforcement Learning
Technische Universität Wien（维也纳工业大学）
不同的、不兼容的拥塞控制算法数量的增加导致了公平排队部署的增加。公平排队隔离每个网络流，并且因此即使流的拥塞控制不是固有公平的，也可以保证每个流的公平性。到目前为止，公平排队系统中的每个队列要么有一个固定的、静态的最大长度，要么由一个主动队列管理（AQM）算法（如CoDel）管理。在本文中，我们设计了一个主动队列管理机制（学习公平Qdisc（LFQ）），动态学习的最佳缓冲区大小为每个流根据一个指定的奖励函数在线。我们表明，我们的基于深度学习的算法可以动态分配最佳队列大小，每个流取决于其拥塞控制，延迟和带宽。与竞争公平的AQM队列管理器相比，它提供了显着更小的队列，同时实现相同或更高的吞吐量。
2020-10-15 cs.LG cs.NI
EXPO: Stable Reinforcement Learning with Expressive Policies
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
EXPO通过构建实时策略最大化Q值，提升样本效率，适用于基于离线数据的策略微调和在线训练。
2026-04-30 cs.AI cs.LG
Online Reinforcement Learning of Optimal Threshold Policies for Markov Decision Processes
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
为了克服动态规划方法求解马尔可夫决策过程问题时的维数和模型问题，在实际应用中采用了强化学习方法。与传统的RL算法不考虑最优策略的结构特性相反，我们提出了一种结构感知的学习算法来利用最优策略的有序多阈值结构。我们证明了所提出的算法的最优策略的渐近收敛性。由于策略空间的减小，该算法在存储和计算复杂性方面都比经典强化学习算法有显著的改进。仿真结果表明，该算法比其他RL算法具有更快的收敛速度。
2021-08-22 cs.LG stat.ML
Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only
Westlake University（西湖大学）
本文提出PORL方法，仅利用离线预训练策略进行在线强化学习微调，无需预训练Q函数，通过在线阶段快速初始化Q函数避免悲观估计，达到与先进算法相当的性能，并支持直接微调行为克隆策略。
2025-05-22 cs.AI cs.LG cs.RO
Learning a subspace of policies for online adaptation in Reinforcement Learning
Facebook AI Research（脸书人工智能研究院）；CNRS-ISIR（法国国家科学研究中心-智能系统与机器人研究所）；Sorbonne University（索邦大学）；Ubisoft（育碧）
深度强化学习（RL）主要在训练和测试环境相似的环境中进行研究。但在许多实际应用中，这些环境可能会有所不同。例如，在控制系统中，在其上学习策略的机器人可能不同于将在其上运行策略的机器人。它可以由不同的内部因素引起（例如，校准问题、系统损耗、有缺陷的模块）或者也由外部变化（例如，天气条件）。有必要开发RL方法，以及一般化的训练条件的变化。在这篇文章中，我们考虑了最简单但难以解决的泛化设置，其中测试环境在训练时是未知的，迫使代理适应系统的新动态。这种在线自适应过程在计算上可能是昂贵的（例如，微调）并且不能依赖于元RL技术，因为只有单个训练环境。为此，我们提出了一种方法，在该方法中，我们学习参数空间内的策略子空间。该子空间包含无限数量的策略，这些策略被训练以解决训练环境，同时具有不同的参数值。因此，当面对训练环境的变化时，该子空间中的两个策略不同地处理信息并且表现出不同的行为。我们的实验进行了大量的各种基准比较我们的方法与基线，包括基于多样性的方法。相比之下，我们的方法易于调整，不需要任何额外的组件（例如，并学习能够在看不见的环境中获得高回报的策略。
2022-10-24 cs.AI cs.LG
Diverse Exploration for Fast and Safe Policy Improvement
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）；Assured Information Security（Assured Information Security（Assured Information Security公司））
我们研究了一个重要但未得到充分解决的问题，即快速安全地改善在线强化学习领域的政策。作为其解决方案，我们提出了一种新的探索策略-多样化的探索（DE），它学习和部署一组多样化的安全策略来探索环境。我们提供DE理论解释为什么多样性的行为政策，使有效的勘探，而不牺牲剥削。我们的实证研究表明，在线策略改进算法框架实现DE策略可以实现快速的策略改进和安全的在线性能。
2018-02-22 cs.LG
Learning to Optimize Feedback for One Million Students: Insights from Multi-Armed and Contextual Bandits in Large-Scale Online Tutoring
Carnegie Mellon University（卡内基梅隆大学）；CK-12 Foundation（CK-12基金会）
该研究基于百万学生数据，用多臂老虎机框架优化在线辅导错题反馈策略并验证效果，还探究了上下文老虎机的个性化提升空间，发现其异质性效果幅度有限，当前优化策略已每日服务数千学生。
2025-08-01 cs.LG
Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
提出方向条件化策略（DCP），通过利用表示空间中的方向与距离信息改进对比强化学习，在多个导航和操作任务中提升成功率和目标接近时间，并验证其几何捕获能力。
2026-10-06 cs.AI cs.LG cs.RO
Intervention-Assisted Policy Gradient Methods for Online Stochastic Queuing Network Optimization: Technical Report
Massachusetts Institute of Technology（麻省理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对随机排队网络在线DRL控制中的无界状态空间难题，提出利用已知稳定策略干预的辅助框架及两种策略梯度算法，保证强稳定性并取得优于经典与既有ODRLC方法的性能。
2024-04-05 cs.AI cs.LG
Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning
Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）
针对流策略在线微调中的分布偏移问题，提出逐步流策略框架，通过离散化流匹配并耦合JKO原理，以级联小流块实现稳定高效的在线强化学习适应。
2025-10-17 cs.LG
(Re)$^2$H2O: Autonomous Driving Scenario Generation via Reversely Regularized Hybrid Offline-and-Online Reinforcement Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
针对自动驾驶测试场景生成需求，提出(Re)$^2$H2O反向正则化混合离线-在线强化学习方法，结合真实与仿真数据优势，生成更多样且具对抗性的高风险场景，可泛化多模型并用于AV性能微调。
2023-06-10 cs.AI cs.LG
Aligning Flow Map Policies with Optimal Q-Guidance
Imperial College London（帝国理工学院伦敦分校）；Mila
本文提出流映射策略，通过学习任意大小的跳跃提升动作生成速度，并引入FMQ和QGBS方法，在12个机器人任务中实现最优性能。
2026-05-12 cs.LG
Launchpad: Learning to Schedule Using Offline and Online RL Methods
University of Virginia（弗吉尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Lancium Compute
深度强化学习算法在几个具有挑战性的领域取得了成功。经典的在线RL作业调度器可以学习有效的调度策略，但通常需要数千个时间步来探索环境并适应随机初始化的DNN策略。现有的RL决策者忽略了从历史数据中学习和改进自定义启发式策略的重要性。离线强化学习提出了在没有在线环境交互的情况下从预先记录的数据集进行策略优化的前景。在最近数据驱动学习的成功之后，我们探索了两种RL方法：1）行为克隆和2）离线RL，旨在从记录的数据中学习策略，而无需与环境交互。这些方法解决了有关数据汇集成本和安全性的挑战，特别是与RL的实际应用有关的挑战。虽然数据驱动的RL方法产生了很好的结果，但我们表明，性能高度依赖于历史数据集的质量。最后，我们证明，通过有效地将先前的专家演示预训练的代理，我们短路的随机探索阶段，学习一个合理的政策与在线培训。我们利用离线RL作为一个发射台，从使用Oracle或启发式策略收集的经验中学习有效的调度策略。这种框架对于从历史数据集进行预训练是有效的，并且非常适合于通过在线数据汇集进行持续改进。
2022-12-02 cs.DC cs.LG
Adaptive Control in Autonomous Driving via Real-Time Recurrent RL
TU Wien（维也纳技术大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Liquid AI
本文研究了通过实时递归强化学习（RTRRL）对自动驾驶预训练控制策略进行在线微调，结合离线行为克隆与在线RTRRL微调，以适应部署时的分布偏移。在CarRacing模拟和1:10比例的RoboRacer平台上的实验验证了该方法的有效性。
2026-05-16 cs.LG cs.NE cs.RO
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
Q学习是一种流行的强化学习（RL）算法，其在函数逼近的实践中被广泛使用（Mnih等人，2015）。相比之下，现有的理论结果是悲观的Q学习。例如，（Baird，1995）表明，Q-学习即使在线性MDP的线性函数近似下也不会收敛。此外，即使对于具有同步更新的表格MDP，Q学习也被证明具有次优的样本复杂度（Li等人，2021;Azar等人，2013年）。这项工作的目标是弥合Q学习的实际成功与相对悲观的理论结果之间的差距。我们工作的出发点是观察到，在实践中，Q-学习被用于两个重要的修改：（i）使用两个网络进行训练，同时称为在线网络和目标网络（在线目标学习，或OTL），以及（ii）经验重放（ER）（Mnih等人，2015）。虽然已经观察到它们在Q学习的实际成功中发挥了重要作用，但文献中缺少对这两种修改如何改善Q学习收敛行为的透彻理论理解。通过将Q学习与OTL和反向经验重放（RER）（一种经验重放形式）仔细结合，我们提出了新的方法Q-Rex和Q-RexDaRe（Q-Rex +数据重用）。我们表明，Q-Rex有效地找到了线性MDP的最佳策略（或更一般地为MDP与零固有贝尔曼误差线性近似（ZIBEL）），并提供样本复杂性的非渐近界-第一个这样的结果为Q-学习方法为这类MDP在标准假设下。此外，我们证明了Q-RexDaRe实际上在表格设置中实现了接近最佳的样本复杂度，改进了现有的香草Q学习结果。
2021-10-19 cs.LG math.OC
Online Policy Distillation with Decision-Attention
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出带决策注意力的在线策略蒸馏框架OPD-DA，通过为每个策略生成不同权重衡量群体成员重要性，解决无教师模型时多策略在线互学中的同质化问题，并在Atari平台的PPO和DQN任务上验证其有效性。
2024-06-08 cs.AI cs.LG
Online Learning of Optimal Sequential Testing Policies
Industrial and Operations Engineering, University of Michigan（工业与运营工程，密歇根大学）
本文研究在线测试问题，证明缺失数据下其极小极大遗憾下界为Ω(T^(2/3))，提出匹配该下界的探索-再承诺算法，还发现奖励与缺失数据无关的变体可实现Õ(√T)遗憾，深化了缺失数据下探索-利用权衡的认知。
2025-09-03 cs.LG
OnlineCache: Learning Dynamic Caching Policies with Error Correction for Efficient Diffusion Inference
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本研究针对扩散模型推理延迟高的问题，提出动态缓存框架OnlineCache，结合策略梯度与可学习校正器，实现样本与时间步的自适应资源分配，在FLUX.1-dev等模型上实现加速且优于现有基线。
2026-08-03 cs.LG
Offline RL With Resource Constrained Online Deployment
The Ohio State University（俄亥俄州立大学）；Microsoft（微软）
离线强化学习用于在对环境的实时访问昂贵或不可能的场景中训练策略。作为这些苛刻条件的自然结果，代理可能缺乏在采取行动之前充分观察在线环境的资源。我们把这种情况称为资源受限环境。这导致离线数据集（可用于训练）可以包含完全处理的特征（使用强大的语言模型，图像模型，复杂的传感器等）。当实际在线采取行动时，这些信息不可用。这种脱节导致了离线RL中一个有趣且未探索的问题：是否有可能使用经过丰富处理的离线数据集来训练一个在在线环境中访问较少功能的策略？在这项工作中，我们介绍和形式化这种新的资源受限的问题设置。我们强调了使用完整离线数据集训练的策略和使用有限功能训练的策略之间的性能差距。我们解决这个性能差距的策略传输算法，首先训练教师代理使用离线数据集的功能是完全可用的，然后将此知识转移到学生代理，只使用资源受限的功能。为了更好地捕捉这种设置的挑战，我们提出了一个数据汇集过程：资源约束数据集RL（RC-D4 RL）。我们在RC-D4 RL和流行的D4 RL基准测试上评估了我们的传输算法，并观察到基线（TD 3 +BC无传输）的一致改进。实验代码可在https://github.com/JayanthRR/RC-OfflineRL上获得。
2021-12-07 cs.AI cs.LG cs.SY
Particle Swarm Optimization for Generating Interpretable Fuzzy Reinforcement Learning Policies
Siemens AG, Corporate Technology（西门子公司企业技术部）
本文提出一种基于模糊粒子群强化学习（FPSRL）的方法，通过训练参数在模拟真实系统动态的世界模型上生成可解释的模糊强化学习策略，适用于无法进行在线学习的领域。
2017-08-15 cs.AI cs.LG cs.NE
Online Algorithms and Policies Using Adaptive and Machine Learning Approaches
Aurora Flight Sciences, a Boeing Company（极光飞行科学公司（波音旗下））；MIT（麻省理工学院）
针对含参数不确定性的动态系统实时控制问题，提出外环RL策略结合内环自适应控制的AC-RL框架，为两类控制仿射非线性系统提供稳定在线策略，还可实现参数学习，经四旋翼着陆任务验证有效。
2023-06-09 cs.LG math.DS math.OC
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching
Autonomous Learning Robots, Karlsruhe Institute of Technology（自主学习机器人，卡尔斯鲁厄理工学院）
提出伴随匹配方法，实现无需模拟训练的扩散策略优化，降低计算开销，使扩散策略适用于在线强化学习。
2026-06-23 cs.LG
Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
UC San Diego（加利福尼亚大学圣迭戈分校）
本文提出Policy Decorator，一种模型无关的残差策略方法，通过在线交互优化大型模仿学习模型，在ManiSkill和Adroit基准上显著提升了策略性能并保持了平滑运动。
2024-12-18 cs.AI cs.LG cs.RO
Online Nonstochastic Model-Free Reinforcement Learning
Amazon（亚马逊）；Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）
针对动态或对抗环境下无模型强化学习的鲁棒性与优化难题，提出以伪扰动为核心的策略类别及可与黑盒方法集成的在线适应算法，并在线性动力学中取得不依赖状态维度的改进遗憾保证。
2023-10-31 cs.LG math.OC
Playing hide and seek: tackling in-store picking operations while improving customer experience
INESC TEC；Faculty of Engineering, University of Porto（波尔图大学工程学院）
零售业务的发展带来了新的挑战，并提出了如何重塑商店和供应链以满足在线渠道日益增长的需求的关键问题。全渠道零售商最近采取的措施之一是使用店内拣选来解决在线销售的增长，这允许使用现有资产来服务在线订单。然而，它带来了损害离线客户体验的缺点。为了实现拣选策略适应零售商店的动态客户流，我们正式提出了一个新的问题，称为动态店内拣选路由问题（diPRP）。在这个相关的问题- diPRP -一个采摘尝试挑选在线订单，同时尽量减少客户的遭遇。我们将问题建模为马尔可夫决策过程（MDP），并使用包括数学规划和强化学习组件的混合解决方案来解决它。合成实例的计算实验表明，该算法收敛到有效的政策。此外，我们应用我们的方法在一个大型的欧洲零售商的背景下，评估结果的建议政策的数量挑选和遇到的客户。我们的工作表明，零售商应该能够在不损害线下客户体验的情况下，扩大在线订单的店内拣选。与只关注拣选订单的策略相比，使用建议的解决方案方法学习的策略将客户接触的数量减少了50%以上。因此，为了追求充分权衡运营效率和客户体验的全渠道策略，零售商不能依赖于实际的简单化拣选策略，例如选择最短的可能路线。
2023-01-05 cs.LG math.OC
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
本文提出离线强化学习应学习自适应策略先验而非静态策略，通过记忆、探索和自我纠错在后续交互中保持改进能力，并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出OOO框架，通过解耦探索与利用策略，利用离线重训练缓解在线RL中的探索偏差，显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Auction-Based Online Policy Adaptation for Evolving Objectives
University of Pennsylvania（宾夕法尼亚大学）；IMDEA Software Institute（IMDEA软件研究所）
本文提出基于拍卖的模块化框架，通过自利局部策略和动态拍卖机制实现多目标强化学习中目标变化时的策略适应，证明了纳什均衡的存在性和有效性。
2026-05-10 cs.LG
Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning
针对在线安全强化学习，提出安全分数匹配（SSM）方法，利用Hamilton-Jacobi可达性门控双分支分数目标，将Q分数匹配扩展到硬约束场景，在多个基准上实现低违规率与高性能。
2026-09-29 cs.LG cs.RO
Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning?
Stanford University（斯坦福大学）
本文针对在线RL微调是否需预训练Q函数的问题，发现预训练Q函数增益有限，提出IPE方法，在连续控制基准中使微调性能平均提升1.26倍。
2026-08-05 cs.LG
Bayesian Design Principles for Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Sciences, Tsinghua University（清华大学交叉信息研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fuxi AI Lab, Netease, Inc.（网易伏羲人工智能实验室）；Department of Automation, Tsinghua University（清华大学自动化系）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文解决离线到在线强化学习微调中悲观与乐观策略的困境，提出基于贝叶斯设计原则的概率匹配方法，使智能体在避免性能突降的同时保证找到最优策略，并在多个基准上表现优异。
2024-05-31 cs.LG
Learning Practically Feasible Policies for Online 3D Bin Packing
National University of Defense Technology（国防科技大学）；Shenzhen University（深圳大学）
针对在线3D箱装问题，本文利用同策略actor-critic强化学习，并结合堆叠树稳定性分析、解耦放置策略和由远及近奖励设计，学习出显著优于现有方法且可实际部署的装箱策略。
2023-06-02 cs.LG cs.RO
Distributed Power Control for Large Energy Harvesting Networks: A Multi-Agent Deep Reinforcement Learning Approach
CentraleSupelec（巴黎中央高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；University of Cassino and Southern Lazio（卡西诺和南拉齐奥大学）；Mathematical and Algorithmic Sciences Lab, Huawei France R&D（华为法国研发数学与算法科学实验室）
在本文中，我们开发了一个多智能体强化学习（MARL）框架，以获得在线功率控制策略的大能量收集（EH）多址信道，只有因果信息的EH过程和无线信道。在该框架下，我们将在线功率控制问题建模为离散时间平均场博弈（MFG），并分析表明MFG具有唯一的稳态解。接下来，我们利用平均场游戏的虚拟游戏属性，以及深度强化学习技术，以完全分布式的方式学习游戏的静态解。我们分析表明，所提出的程序收敛到唯一的固定解决方案的MFG。这反过来又确保了可以以完全分布式的方式学习最优策略。为了对分布式策略的性能进行基准测试，我们还开发了基于深度神经网络（DNN）的集中式和分布式在线功率控制方案。我们的仿真结果表明所提出的功率控制策略的有效性。特别地，基于DNN的集中式功率控制策略为大型EH网络提供了非常好的性能，对于大型EH网络，使用诸如马尔可夫决策过程的传统方法来设计最优策略是困难的。此外，这两种分布式策略的性能接近于集中式策略所实现的吞吐量。
2019-10-22 cs.AI cs.IT cs.LG
Online Reinforcement Learning for Real-Time Exploration in Continuous State and Action Markov Decision Processes
Laboratoire Bordelais de Recherche en Informatique（波尔多计算机科学实验室）
本文提出了一种新的方法来学习在线政策在连续状态，连续行动，无模型的马尔可夫决策过程中，有两个性质是至关重要的实际应用。首先，策略可以以非常低的计算成本实现：一旦计算出策略，就可以在相对于所使用的样本数量的对数时间内获得与给定状态相对应的动作。其次，我们的方法是通用的：它不依赖于任何先验知识的结构的最优政策。我们建立在拟合Q-迭代算法，它表示的$Q$值为几个回归树的平均值。我们的算法，拟合策略森林算法（FPF），计算一个回归森林表示的Q值，并将其转换成一个单一的树表示的政策，同时保持控制的大小的政策使用rescovery和叶合并。我们介绍了一个适应的多分辨率勘探（MRE），这是特别适合FPF。我们评估了FPF在强化学习的三个经典基准上的性能：“倒立摆”、“双积分器”和“山上的车”，并表明FPF等于或优于其他算法，尽管这些算法依赖于使用特定的策略表示，特别是为了适应这三个问题中的每一个而选择的。最后，我们展示了FPF和MRE的组合允许找到接近最优的解决方案，在问题中，$ε$贪婪的方法会失败。
2016-12-12 cs.AI cs.LG
Towards minimax policies for online linear optimization with bandit feedback
Princeton University（普林斯顿大学）；Università degli Studi di Milano（米兰大学）；Microsoft Research New England（微软新英格兰研究院）；Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
本文研究了带反馈的在线线性优化问题。我们的贡献是双重的。首先，我们提供了一个算法（基于指数权重）的遗憾顺序$\sqrt{d n \log N}$为任何有限的行动集$N$行动，假设的瞬时损失是有界的1。这剃掉了一个无关的$\sqrt{d}$因素相比，以前的作品，并给出了一个遗憾界的顺序$d \sqrt{n \log n}$的任何紧凑的行动。在没有进一步假设的情况下，最后一个界限是极大极小最优的对数因子。有趣的是，我们的结果还表明，在$d$维的专家意见的强盗线性优化的极小极大遗憾是相同的基本$d$ -武装强盗专家意见。我们的第二个贡献是展示如何使用镜像下降算法，以获得计算效率高的策略，在具体的例子中的最小最大的最佳遗憾界。更确切地说，我们研究两个典型的行动集：超立方体和欧几里德球。在前一种情况下，我们获得了第一个计算效率高的算法与$d \sqrt{n}$遗憾，从而提高了一个因素$\sqrt{d \log n}$的最佳已知的结果的计算效率高的算法。在后一种情况下，我们的方法给出了第一个算法与$\sqrt{d n \log n}$遗憾，再次剃掉一个无关的$\sqrt{d}$相比，以前的作品。
2012-02-14 cs.LG stat.ML
What Does It Take For A Generalist Robot Policy To Adapt Using Minimal Data?
Carnegie Mellon University（卡内基梅隆大学）
本文提出MiDAS算法，结合离线行为克隆与在线强化学习，实现机器人策略仅用1次演示即可完成任务适配，性能优于基线且能泛化，为机器人自主学习提供可行方案。
2026-10-23 cs.LG cs.RO
GoldenStart: Q-Guided Priors and Entropy Control for Distilling Flow Policies
本文提出GoldenStart方法，通过Q引导先验和显式熵控制，改进流匹配策略的生成起点和探索能力，实现在连续控制任务中高效且具有探索性的策略。
2026-03-15 cs.AI cs.LG
Reinforcement Learning via Fixed-point Flow Matching
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Autonomous Learning Robots Lab (ALR)（自主学习机器人实验室）
该研究提出定点流匹配（FFM），一种无数据的流策略训练微调方法，可在在线RL中高效准确训练流策略，也能在离线转在线设置中微调预训练流策略，无需训练数据。
2026-10-15 cs.LG cs.RO
Active Offline Policy Selection
DeepMind（深度思维）
本文讨论的问题，在域中的政策选择与丰富的记录数据，但有限的互动预算。解决这个问题将使离线强化学习策略在工业、机器人和推荐等领域的安全评估和部署成为可能。已经提出了几种脱离策略评估（OPE）技术来仅使用记录的数据来评估策略的价值。但是，OPE的评估与完全在线评估之间仍有很大差距。然而，大量的在线互动在实践中往往是不可能的。为了克服这个问题，我们引入了主动离线策略选择-一种新的顺序决策方法，结合记录的数据与在线交互，以确定最佳的政策。我们使用OPE估计来启动在线评估。然后，为了明智地利用有限的环境相互作用，我们决定下一个政策评估的基础上贝叶斯优化方法的内核，代表政策的相似性。我们使用多个基准，包括现实世界的机器人技术，大量的候选政策，以表明所提出的方法提高了最先进的OPE估计和纯在线政策评估。
2022-05-06 cs.AI cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分（IPS）加权，其要求日志记录策略具有\emph{full support}，即对于评估策略的任何上下文/动作的非零概率。然而，许多现实世界的系统并不保证这样的日志记录策略，特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency}，离线学习无法找到最优策略。我们提出了一种新的方法，使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作，而离线学习用于从记录数据中利用支持的动作，避免不必要的探索。我们的方法确定了一个最优的政策，理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization
ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
提出Q加权变分策略优化（QVPO）算法，利用扩散策略的多模态与探索能力，通过Q加权变分损失和熵正则化，在MuJoCo基准上实现最先进的累积奖励与样本效率。
2024-12-16 cs.LG
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST（韩国科学技术院）
本文提出FINO方法，通过注入噪声的流匹配提升离线到在线强化学习的样本效率，结合熵引导采样平衡探索与利用，实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Soft Policy Optimization: Online Off-Policy RL for Sequence Models
Meta Platforms, Inc.（元平台公司）
本文提出软策略优化SPO，一种无需价值模型、可从任意在线和离线轨迹学习的Soft RL方法，在代码竞赛中比PPO更快、更省内存、更稳定且策略更多样。
2025-03-07 cs.AI cs.LG
Robust Data-Collection Policy Learning for Low-Variance Online Policy Evaluation
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）；University of California, Riverside（加州大学河滨分校）；University of Virginia（弗吉尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究针对强化学习在线策略评估的高方差问题，提出双循环梯度算法学习鲁棒行为策略，其对转移扰动敏感性更低，可降低真实环境评估成本。
2026-08-26 cs.LG stat.ML
