Offline-Online Reinforcement Learning for Energy Pricing in Office Demand Response: Lowering Energy and Data Costs
University of California, Berkeley（加州大学伯克利分校）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力，将为社区提供价值，但为强化学习代理收集训练数据的成本很高，而且会受到限制。在这项工作中，我们研究如何利用离线培训来最大限度地减少数据成本（加速融合）和计划实施成本。我们提出了两种方法来做到这一点：预训练我们的模型，以热启动实验与模拟任务，并使用一个规划模型训练，以模拟现实世界的奖励代理。我们提出的结果表明，实用的离线强化学习，以有效的价格设定的能源需求响应问题。
2021-08-14 cs.AI cs.LG
Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand
本文提出数据驱动算法，解决具有被截断和依赖需求的顺序决策环境中的最优定价与库存控制问题。
2026-03-11 cs.AI cs.LG math.ST
Sample-Mean Anchored Thompson Sampling for Offline-to-Online Learning with Distribution Shift
Southern University of Science and Technology（南方科技大学）；Microsoft Research（微软研究院）
本文提出样本均值锚定汤普森采样（Anchor-TS），通过引入基于中位数的锚定规则，解决离线到在线学习中分布偏移导致的偏差问题，并通过理论分析和实验验证其有效性。
2026-05-14 cs.LG stat.ML
Dynamic pricing with Bayesian updates from online reviews
Universidad de Chile（智利大学）；LIRMM, Université de Montpellier, CNRS（蒙彼利埃大学计算机科学、机器人技术与微电子实验室，法国国家科学研究中心）；Flagship（Flagship 公司）
本文研究包含在线评论的动态定价模型，将卖家定价问题建模为bandits问题并利用Catalan数高效计算折扣奖励，进而分析比较了最优静态与动态定价策略在学习产品质量概率上的表现。
2024-04-23 cs.LG
Active Advantage-Aligned Online Reinforcement Learning with Offline Data
Department of Computer Science, University of Chicago（计算机科学系，芝加哥大学）；Department of Statistics and Data Science, Yale University（统计与数据科学系，耶鲁大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
A3RL通过主动优势对齐采样策略提升在线强化学习与离线数据结合的效果，实现更高效的策略优化。
2026-03-07 cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分（IPS）加权，其要求日志记录策略具有\emph{full support}，即对于评估策略的任何上下文/动作的非零概率。然而，许多现实世界的系统并不保证这样的日志记录策略，特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency}，离线学习无法找到最优策略。我们提出了一种新的方法，使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作，而离线学习用于从记录数据中利用支持的动作，避免不必要的探索。我们的方法确定了一个最优的政策，理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Policy Finetuning: Bridging Sample-Efficient Offline and Online Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce Research（Salesforce研究院）
最近的理论工作在两种环境中广泛研究了样本有效的强化学习（RL）：在环境中交互式学习（在线RL）或从离线数据集学习（离线RL）。然而，现有的算法和理论学习接近最优的政策，在这两个设置是相当不同的和断开。为了弥补这一差距，本文提出了政策微调的理论研究，即在线强化学习，学习者有额外的访问“参考政策”$μ$接近最优政策$π_\star$在一定意义上。研究了具有$S$状态、$A$动作和水平长度$H$的情景马尔可夫决策过程（MDP）的策略微调问题.我们首先设计了一个尖锐的离线约简算法-它简单地执行$μ$并在收集的数据集上运行离线策略优化-在$\widetilde{O}(H^3SC^\star/\varepsilon^2)$事件中找到$\varepsilon$接近最优的策略，其中$C^\star$是$μ$和$π_\star$之间的单策略集中系数。这个离线结果是第一个匹配此设置中的样本复杂度下限的结果，并解决了离线RL中最近的一个未决问题。然后，我们建立了一个$Ω(H^3S\min\{C^\star, A\}/\varepsilon^2)$样本复杂度下限的任何政策微调算法，包括那些可以自适应地探索环境。这意味着--也许令人惊讶的是--最优策略微调算法要么是离线约简，要么是不使用$μ$的纯在线RL算法。最后，我们设计了一个新的混合离线/在线算法的政策微调，实现更好的样本复杂度比香草离线减少和纯在线R…
2022-02-11 cs.LG stat.ML
Online Bandits with (Biased) Offline Data: Adaptive Learning under Distribution Mismatch
本文提出MIN-UCB策略，通过自适应利用离线数据提升多臂老虎机的性能，并在不同设置下实现紧致的遗憾界。
2025-12-18 cs.LG stat.ML
Adaptive Model Selection Framework: An Application to Airline Pricing
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Deepair Solutions；Imperial College London（帝国理工学院）
多个机器学习和预测模型通常用于相同的预测或推荐任务。在我们最近的工作中，我们在在线环境中开发和部署航空公司的辅助定价模型，我们发现，在开发的多个定价模型中，没有一个模型明显优于所有传入的客户请求的其他模型。因此，作为算法设计者，我们面临着探索-开发的困境。在这项工作中，我们引入了一个自适应的元决策框架，使用汤普森采样，一个流行的多臂强盗解决方案的方法，路由客户请求的各种定价模型的基础上，他们的在线性能。我们表明，这种自适应方法优于均匀随机选择政策，通过提高预期收入的43%，每个报价和58%的转换分数在离线模拟。
2019-05-21 cs.LG stat.ML
Stateful Offline Contextual Policy Evaluation and Learning
我们研究了关闭政策的评估和学习，从序列数据中的结构化类马尔可夫决策过程中产生的反复与外源序列的到来与上下文的相互作用，产生未知的个人层面的代理行动的反应。这个模型可以被认为是一个离线概括的上下文强盗资源约束。我们正式的相关因果结构的问题，如动态个性化定价和其他运营管理问题中存在的潜在高维用户类型。关键的见解是，个人层面的响应通常不会受到状态变量的因果影响，因此可以很容易地跨时间步和状态进行概括。当这是真的，我们研究的影响（双重强大的）关闭政策的评估和学习，而不是利用单时间步评估，估计期望通过人口的数据，在一个单一的到达，在边际MDP的拟合值迭代。我们研究样本的复杂性和分析错误放大，导致的持久性，而不是衰减，随着时间的推移，混淆错误。在动态和容量限制定价的模拟中，我们在这类相关问题中显示了改进的样本外政策性能。
2021-10-19 cs.LG stat.ML
Bayesian Optimization for Policy Search via Online-Offline Experimentation
Facebook（脸书）
在线现场实验是评估现实世界交互式机器学习系统变化的黄金标准。然而，我们探索复杂的多维策略空间的能力--比如在推荐和排名问题中发现的那些--往往受到可以同时运行的实验数量有限的限制。为了减轻这些限制，我们用离线模拟器增强在线实验，并应用多任务贝叶斯优化来调整实时机器学习系统。我们描述了在这些类型的应用程序中出现的实际问题，包括使用模拟器和多任务内核的假设所产生的偏见。我们测量的经验学习曲线，显示了大量的收益，包括数据有偏见的离线实验，并显示这些学习曲线是如何与多任务高斯过程推广的理论结果是一致的。我们发现，改进的内核推理是一个显着的驱动程序的多任务泛化。最后，我们展示了几个贝叶斯优化的例子，通过结合离线和在线实验，有效地调整了一个活的机器学习系统。
2019-04-29 cs.LG stat.ML
Community Exploration: From Offline Optimization to Online Learning
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Microsoft Research（微软研究院）
我们介绍了社区探索的问题，有许多现实世界的应用，如在线广告。在这个问题中，一个探险家分配有限的预算来探索社区，以最大限度地增加他可以满足的成员数量。我们提供了一个系统的研究社区探索问题，从离线优化到在线学习。对于离线设置的社区的大小是已知的，我们证明了贪婪的方法为非自适应探索和自适应探索是最优的。对于在线设置的社区的大小是不知道的，需要从多轮的探索学习，我们提出了一个“上置信度”的算法，实现了对数遗憾界。通过结合不同回合的反馈，我们可以实现恒定的遗憾界限。
2018-11-18 cs.LG stat.ML
An Online Algorithm for Learning Buyer Behavior under Realistic Pricing Restrictions
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了一个新的有效的在线算法来学习参数的效用最大化的买家，谁响应价格，在重复的交互设置的购买行为。我们的算法的主要特点是，它可以学习甚至非线性买方效用，同时与任意的价格约束，卖方可能会施加。这克服了以前方法的一个主要缺点，即使用不切实际的价格来学习这些参数，使它们在实践中不适用。
2018-03-06 cs.LG econ.EM math.OC
Online Dynamic Pricing of Complementary Products
Politecnico di Milano（米兰理工大学）
本文提出了一种针对互补产品的在线动态定价算法，通过考虑产品间的正负相互作用，利用整数规划和多臂老虎机方法提升整体收入。
2025-11-27 cs.LG
Offline-Online Reinforcement Learning for Linear Mixture MDPs
Department of Industrial Engineering and Management Sciences, Northwestern University（工业工程与管理科学系，西北大学）
本文研究了在环境变化下线性混合马尔可夫决策过程中的离线-在线强化学习，提出了一种算法，能够自适应利用离线数据，在数据有信息时优于纯在线学习，在数据无信息时安全忽略并匹配纯在线性能，建立了明确的后悔上界和下界。
2026-04-13 cs.LG math.OC stat.ML
$ε$-Policy Gradient for Online Pricing
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（阿兰·图灵研究所）；Naresuan University（那黎宣大学）；Imperial College London（伦敦帝国学院）
本文提出ε-策略梯度算法用于在线定价，用梯度下降替代ε-贪婪中的贪婪利用并结合模型推断，通过量化探索与利用成本实现O(√T)阶期望遗憾。
2024-05-06 cs.LG math.OC q-fin.ST
A Bandit Approach to Online Pricing for Heterogeneous Edge Resource Allocation
边缘计算（EC）通过将云资源定位在终端用户附近，提供卓越的用户体验。有效地分配边缘资源同时最大化EC平台的利润的挑战仍然是一个复杂的问题，特别是随着资源请求的在线到达的复杂性的增加。为了解决这一挑战，我们建议投的问题作为一个多臂的强盗问题，并开发两种新的在线定价机制，Kullback-Leibler上置信界（KL-UCB）算法和最小最大最优算法，异构边缘资源分配。这些机制是实时操作的，并且不需要需求分布的先验知识，这在实践中可能难以获得。拟议的公布定价方案允许用户选择并支付他们首选的资源，平台根据观察到的历史数据动态调整资源价格。数值结果表明，所提出的机制相比，来自传统的强盗算法，包括Epsilon贪婪，基本UCB，和汤普森采样算法的基准计划的优势。
2023-02-14 cs.LG
An Empirical Study on the Effectiveness of Incorporating Offline RL As Online RL Subroutines
University of South Carolina（南卡罗来纳大学）
本文通过实证研究探讨了将离线强化学习作为在线强化学习子例程的效果，发现其有效性取决于任务性质，并提出技术提升效果，同时指出现有在线微调方法效果不佳。
2025-11-29 cs.AI cs.LG stat.ML
Mixture of Online and Offline Experts for Non-stationary Time Series
Sun Yat-sen University（中山大学）；Macquarie University（麦考瑞大学）；Zhejiang University（浙江大学）
针对非平稳时间序列在线区间分布可能与历史离线区间重合的场景，提出融合静态离线专家与动态在线专家的MOOE模型，并通过理论分析证明其有效性。
2024-12-13 cs.LG
MOORe: Model-based Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着离线强化学习（RL）的成功，离线训练的RL策略在在线部署时有可能进一步改进。策略的平稳传输在安全的实际部署中至关重要。此外，策略的快速自适应在实际的在线性能改进中起着至关重要的作用。为了解决这些挑战，我们提出了一种简单而有效的算法，基于模型的离线到在线强化学习（MOORe），它采用了一个优先级的采样方案，可以动态调整离线和在线数据的平滑和有效的在线适应的政策。我们提供了一个理论基础，我们的算法设计。在D4RL基准测试上的实验结果表明，该算法在实现样本有效的在线自适应的同时，能够平滑地从离线阶段过渡到在线阶段，并且性能也明显优于现有方法。
2022-01-25 cs.LG
Leveraging Offline Data in Online Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
针对兼具离线数据与在线交互的FineTuneRL设定，研究线性结构MDP下的最优在线样本量，提出可证明最优的FTPedel算法，证实结合离线与在线模式的性能优势并厘清两类学习的形式差异。
2023-07-20 cs.AI cs.LG stat.ML
A Primal-Dual Online Learning Approach for Dynamic Pricing of Sequentially Displayed Complementary Items under Sale Constraints
Politecnico di Milano（米兰理工大学）
针对带销售约束、需求不确定的顺序展示互补品动态定价问题，将其建模为带约束的马尔可夫决策过程，提出原对偶在线优化算法，实验表明该方法在约束违反和悔值上优于单状态优化基线。
2024-07-08 cs.LG math.OC
Online Pre-Training for Offline-to-Online Reinforcement Learning
LG AI Research, Seoul, Republic of Korea.（LG人工智能研究所在韩国首尔）；School of Electrical Engineering, KAIST, Daejeon, Republic of Korea（韩国成均馆大学电气工程学院）；Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文提出OPT方法，通过引入在线预训练阶段训练专用的价值函数，解决离线到在线强化学习中分布偏移导致的价值估计不准确问题，在多个D4RL环境中实现约30%的性能提升。
2025-07-11 cs.LG
Offline and Online Deep Learning for Image Recognition
CISUC（科英布拉大学信息与系统中心）；University of Coimbra（科英布拉大学）
使用深度学习的图像识别已经发展了几十年，尽管通过不同环境在该领域取得进展仍然是一个挑战。在本文中，我们提出了我们的研究结果，在离线和在线环境中寻找更好的图像分类器。我们求助于卷积神经网络及其变体的全连接多层感知器。虽然仍然是初步的，这些结果是令人鼓舞的，并可能提供一个更好的了解该领域和未来的工作方向。
2019-03-18 cs.CV cs.LG stat.ML
Online Optimization for Offline Safe Reinforcement Learning
Washington State University（华盛顿州立大学）；University of Minnesota（明尼苏达大学）；Oregon State University（俄勒冈州立大学）；New Jersey Institute of Technology（新泽西理工学院）
针对离线安全强化学习，提出将问题转化为极小极大目标，结合离线RL与在线优化，实现近似最优，并在DSRL基准上验证了安全性与高奖励。
2025-10-24 cs.AI cs.LG stat.ML
Optimistic Critic Reconstruction and Constrained Fine-Tuning for General Offline-to-Online RL
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对通用离线到在线强化学习问题，提出乐观评论家重建与约束微调方法，通过同时解决评估与改进不匹配并应对分布偏移，实现从任意离线方法到任意在线方法的稳定高效性能提升。
2024-12-25 cs.LG
Dynamic Pricing with Volume Discounts in Online Settings
Politecnico di Milano（米兰理工大学）；ML cube（ML cube公司）
根据主要的国际报告，由于机器学习和先进的分析工具，更普遍的工业和业务流程自动化到2030年将在全球每年解锁超过14万亿美元。在定价问题的特定情况下-这构成了我们在本文中研究的一类问题-估计解锁价值约为每年0.5万亿美元。特别是，本文着重于电子商务中的定价时，目标函数是利润最大化，只有交易数据。此设置是实际应用中最常见的设置之一。我们的工作旨在找到一个定价策略，允许定义最优价格在不同的量阈值，以服务于不同类别的用户。此外，我们还面临着现实世界中常见的重大挑战，即处理有限的可用数据。我们设计了一个两阶段的在线学习算法，即PVD-B，能够利用数据增量在线时尚。该算法首先估计需求曲线，并检索最优的平均价格，然后它提供折扣，以区分每个量阈值的价格。我们与一家意大利电子商务公司合作进行了为期4个月的真实世界A/B测试实验，其中我们的算法PVD-B（对应于A配置）与人类定价专家（对应于B配置）进行了比较。在实验结束时，我们的算法产生了约300千欧元的总营业额，优于B配置性能约55%。与我们合作的意大利公司决定自2022年1月起在1，200多种产品中采用我们的算法。
2022-11-17 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL
Department of Computer Science（计算机科学系）；Florida State University（佛罗里达州立大学）
本文提出行为自适应Q学习（BAQ），通过离线数据构建隐式行为模型并在在线微调中提供行为一致性约束，随在线经验积累逐步放宽约束，从而稳定离线到在线强化学习的过渡并提升最终性能。
2025-11-05 cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Online Allocation and Pricing: Constant Regret via Bellman Inequalities
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运营研究与信息工程学院）
我们开发了一个框架，设计简单而有效的政策，一个家庭的在线分配和定价问题，其中包括在线包装，约束探测，动态定价，和在线上下文土匪背包。在每种情况下，我们都根据他们的遗憾（即，附加间隙），该附加间隙相对于离线控制器被赋予比在线控制器更多的信息。我们的框架基于Bellman不等式，它将算法的损失分解为两个不同的误差来源：（1）由计算易处理性问题引起的，以及（2）由随机轨迹的估计/预测引起的。平衡这些错误可以指导基准的选择，并导致既易于处理又具有强大性能保证的策略。特别是，在我们所有的例子中，我们证明了恒定遗憾的政策，只需要重新解决LP在每个时期，其次是一个简单的贪婪的行动选择规则，因此，我们的政策是实用的，以及可证明接近最优。
2020-07-30 cs.DS cs.LG math.OC
Towards Robust Offline-to-Online Reinforcement Learning via Uncertainty and Smoothness
Northwestern Polytechnical University（西北工业大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）
针对离线到在线强化学习中因分布偏移导致的性能下降问题，提出RO2O算法，通过引入Q集成的不确定性惩罚和对抗样本的平滑性，在有限在线交互下实现稳定的策略改进与显著性能提升。
2024-11-08 cs.LG
Online to Offline Conversions, Universality and Adaptive Minibatch Sizes
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种凸优化的方法，依赖于一个新的计划，在线自适应算法转换为离线方法。在离线优化设置中，我们推导出的方法，以获得有利的自适应保证，这取决于查询梯度的谐波和。我们进一步表明，我们的方法隐式地适应目标的结构：在光滑的情况下，快速收敛速度，确保没有任何先验知识的平滑参数，同时仍然保持在非光滑设置的保证。我们的方法具有对随机设置的自然扩展，从而导致SGD（随机GD）的懒惰版本，其中根据梯度的大小选择\emph{adaptively} minibathes。从而提供了一个原则性的方法来选择小批量的大小。
2017-05-31 cs.LG math.OC stat.ML
Online Pricing and Allocation with Demand Learning and Fulfillment Cost
Carnegie Mellon University（卡内基梅隆大学）；Hong Kong University of Science and Technology（香港科技大学）；University of California San Diego（加州大学圣地亚哥分校）
研究卖方联合选库存位置与价格并满足实际需求的在线学习问题，提出OCSAA算法，利用反事实翻译和低置信度乐观主义做决策，对有理多面体库存集有多项式时间加法精度实现，有高概率后悔保证及信息论下界，有效整合了统计学习与运筹学。
2026-07-27 cs.LG math.OC stat.ML
Efficient Online Reinforcement Learning Fine-Tuning Need Not Retain Offline Data
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Warm-start RL（WSRL）方法，通过预热阶段用少量预训练策略rollout重新校准离线Q函数，证明在线强化学习微调无需保留离线数据，且比现有算法学习更快、性能更高。
2025-07-02 cs.LG
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习，提升样本效率和探索能力，实现高效且可扩展的学习。
2025-12-22 cs.LG
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL（伦敦大学学院）；DeepMind（深度思维）
离线强化学习（RL）允许从离线数据集训练有能力的代理，而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是，我们应该如何理想地微调从离线RL训练中获得的代理？虽然离线RL算法原则上可以用于微调，但在实践中，它们的在线性能提高缓慢。相比之下，我们表明，它是可以使用标准的在线离线策略算法更快的改进。然而，我们发现这种方法可能遭受政策崩溃，其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题，以及它如何涉及到数据的多样性，算法的选择和在线重放分布。基于这些见解，我们提出了一个保守的策略优化过程，可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
Direction-Aware Offline-to-Online Learning in Linear Contextual Bandits
Department of Industrial Engineering and Decision Analytics（工业工程与决策分析系）
本文提出Ellipsoidal-MINUCB算法，通过引入方向偏置证书解决离线到在线学习中的方向性偏置问题，提高在线学习的性能。
2026-05-07 cs.LG
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington（华盛顿大学）；Apple（苹果公司）
本文提出混合偏好优化（HPO），结合在线探索与离线偏好，放宽集中性条件并提高样本效率，首次给出混合RLHF的可证明最优理论界，证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
Provably Efficient Offline-to-Online Value Adaptation with General Function Approximation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
研究离线到在线强化学习中的价值适应问题，提出O2O-LSVI算法，在特定条件下证明其优于纯在线强化学习。
2026-10-09 cs.LG
Online Pricing with Reserve Price Constraint for Personal Data Markets
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
社会对个人数据的贪得无厌的胃口正在推动数据市场的紧急情况，允许数据消费者对数据代理从数据所有者那里收集的数据集发起定制查询。在本文中，我们研究了数据经纪人如何能够最大限度地提高她的累积收入张贴合理的价格顺序查询。因此，我们提出了一个上下文动态定价机制与保留价约束，其特点是有效的在线优化的椭球性质，并可以支持线性和非线性的市场价值模型的不确定性。特别是，在低不确定性下，我们的定价机制提供了一个最坏情况下的查询数量的后悔对数。我们进一步扩展到其他类似的应用场景，包括酒店服务，在线广告和贷款申请，并分别在MovieLens 20M数据集，美国主要城市的Airbnb房源和Avazu移动广告点击数据集上广泛评估了噪声线性查询，住宿租金和印象的三个定价实例。分析和评估结果表明，我们提出的定价机制具有较低的实际遗憾、在线延迟和内存开销，同时也表明保留价的存在可以缓解标价机制中的冷启动问题，从而减少累积遗憾。
2019-11-28 cs.CE cs.GT cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）
传统的强化学习（RL）需要一个环境来收集新的数据，当在线交互成本高昂时，这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而，如果离线数据集的质量很差，它将产生不令人满意的性能。在本文中，我们考虑了一个离线到在线的设置，代理首先从离线数据集学习，然后在线训练，并提出了一个框架，称为自适应策略学习，有效地利用离线和在线数据。具体来说，我们显式地考虑在线和离线数据之间的差异，并相应地应用自适应更新方案，即，离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后，我们对流行的连续控制任务进行了大量的实验，结果表明，即使在离线数据集质量较差的情况下，我们的算法也能以较高的样本效率学习专家策略，例如，随机数据集。
2023-03-14 cs.AI cs.LG
Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
Department of Computer Science, Johns Hopkins University, Baltimore, MD, U.S.A.（约翰霍普金斯大学计算机科学系）；AMLab, University of Amsterdam, Amsterdam, Netherlands（阿姆斯特丹大学AM实验室）
提出DUAL框架，利用扩散模型先验知识蒸馏快速采样扩散策略和转移模型，并通过拉普拉斯近似和距离转移状态偏移检测进行不确定性量化，以改进在线阶段的探索与利用平衡。
2026-05-29 cs.LG
Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology（东方理工大学）；Southeast University（东南大学）
针对离线视觉RL的表征过拟合与奖励高估偏差问题，提出基于模型的CoWorld方法，借助现成RL模拟器搭建离线策略试验台并缓解跨域差异，实现在线到离线知识迁移，性能显著优于现有方法。
2024-10-29 cs.LG
Unsupervised-to-Online Reinforcement Learning
KAIST（韩国科学技术院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出无监督到在线强化学习（U2O RL），用无监督离线RL替代特定领域的有监督离线RL，支持单一预训练模型多任务重用，并在九个环境中展现出匹配或超越传统方法的性能与稳定性。
2024-08-27 cs.LG
Online Prompt Pricing based on Combinatorial Multi-Armed Bandit and Hierarchical Stackelberg Game
针对提示捆绑交易场景，提出基于CMAB与层级Stackelberg博弈的在线定价机制，实现消费者、平台和卖家三方利润满意，并在模拟文生图数据集上验证有效性。
2025-09-08 cs.AI cs.LG
Can Offline Testing of Deep Neural Networks Replace Their Online Testing?
University of Ottawa（渥太华大学）
我们区分了深度神经网络（DNN）的两种一般测试模式：离线测试，其中DNN基于测试数据集作为单独的单元进行测试，而不涉及被测DNN;在线测试，其中DNN嵌入到特定的应用环境中，并在与应用环境交互的闭环模式下进行测试。通常，DNN在其开发生存周期期间经受两种类型的测试，其中离线测试在DNN训练之后立即应用，并且在线测试在离线测试之后并且一旦DNN被部署在特定应用环境中就跟随。在本文中，我们研究了离线和在线测试之间的关系。我们的目标是确定离线测试和在线测试有何不同或互补之处，以及离线测试结果是否可以用来帮助降低在线测试的成本？虽然这些问题通常与所有自动驾驶系统相关，但我们在自动驾驶系统的背景下研究它们，作为研究对象，我们使用DNN自动化自动驾驶车辆转向功能的端到端控制。我们的研究结果表明，离线测试的有效性低于在线测试，因为在线测试发现的许多安全违规行为无法通过离线测试识别，而离线测试产生的大预测误差总是导致在线测试可检测到的严重安全违规行为。此外，我们无法利用离线测试结果来降低在线测试的实际成本，因为我们无法确定离线测试在识别违反安全要求方面与在线测试一样准确的特定情况。
2021-04-30 cs.LG cs.SE
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题，提出SAMG范式，通过冻结离线评论家提供状态-动作级引导，无需重训离线数据，在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
COOPO: Cyclic Offline-Online Policy Optimization Algorithm
Department of Mechanical Engineering, Iowa State University（伊阿华州立大学机械工程系）；Department of Computer Science, Iowa State University（伊阿华州立大学计算机科学系）；Department of Industrial and Manufacturing Systems Engineering, Iowa State University（伊阿华州立大学工业与制造系统工程系）；Translational AI Center, Iowa State University（伊阿华州立大学转化人工智能中心）
本文提出COOPO算法，通过循环离线训练和在线微调来解决离线强化学习的分布偏移和性能受限问题，以及在线强化学习的环境交互成本高问题，通过周期性回归离线训练减少遗忘和漂移，提升样本效率和性能。
2026-05-18 cs.AI cs.LG
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA（佛罗里达州立大学计算机科学系）
本文提出DARE框架，通过行为一致性实现样本级约束放松，解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战，改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Online Estimation via Offline Estimation: An Information-Theoretic Framework
Microsoft（微软公司）
本文提出 OEOE 框架，研究如何以黑盒方式复用离线估计器实现在线估计，并刻画其统计极小极大速率与计算复杂度，还将结果用于交互式决策。
2024-04-15 cs.LG math.ST stat.ML
Offline Local Search for Online Stochastic Bandits
Boston University（波士顿大学）；University of Houston（休斯顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出一种将离线局部搜索算法转化为在线随机组合老虎机算法的方法，实现O(log^3 T)的近似遗憾，优于现有方法的多项式依赖T的遗憾。
2026-04-10 cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）
研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Bridging Offline-Online Evaluation with a Time-dependent and Popularity Bias-free Offline Metric for Recommenders
Czech Technical University in Prague（布拉格捷克理工大学）；Faculty of Information Technology（信息技术学院）
针对离线指标难以预测推荐系统在线性能的问题，本文提出在评估中惩罚流行物品并纳入交易时间，并在五个大规模真实在线数据集上验证其能更可靠地选择最佳模型。
2023-08-14 cs.IR cs.LG
