Online Pre-Training for Offline-to-Online Reinforcement Learning
LG AI Research, Seoul, Republic of Korea.（LG人工智能研究所在韩国首尔）；School of Electrical Engineering, KAIST, Daejeon, Republic of Korea（韩国成均馆大学电气工程学院）；Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文提出OPT方法，通过引入在线预训练阶段训练专用的价值函数，解决离线到在线强化学习中分布偏移导致的价值估计不准确问题，在多个D4RL环境中实现约30%的性能提升。
2025-07-11 cs.LG
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University（清华大学）
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题，提出无评判者预训练范式，兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
LoKO: Low-Rank Kalman Optimizer for Online Fine-Tuning of Large Models
Department of Computer Science（计算机科学系）；The University of Manchester（曼彻斯特大学）；Department of Computer Science and Technologies（计算机科学与技术系）；University of Cambridge（剑桥大学）
本文提出低秩卡尔曼优化器 LoKO，将参数高效微调建模为状态估计问题，利用低秩分解和对角协方差近似降低计算复杂度，在图像分类和语言任务上以更少迭代获得优于常用优化器的性能。
2025-11-07 cs.LG
Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only
Westlake University（西湖大学）
本文提出PORL方法，仅利用离线预训练策略进行在线强化学习微调，无需预训练Q函数，通过在线阶段快速初始化Q函数避免悲观估计，达到与先进算法相当的性能，并支持直接微调行为克隆策略。
2025-05-22 cs.AI cs.LG cs.RO
Prediction-Powered Semi-Supervised Learning with Online Power Tuning
Department of Electrical and Computer Engineering, Technion IIT（电气与计算机工程系，技术离子研究所）；Department of Computer Science, Technion IIT（计算机科学系，技术离子研究所）
本文提出一种预测驱动的半监督学习方法，利用在线调优的插值参数平衡标记与伪标记数据，以无偏梯度估计提升模型性能，并在合成及真实数据上优于现有基线。
2025-10-26 cs.LG
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras（电子工程系，印度理工学院马德拉斯）
针对标准在线鲁棒主成分分析（OR-PCA）依赖数据集敏感调参的问题，提出利用修正梯度下降的隐式正则化效应实现免调参，在模拟与真实数据集上表现优于或等同于调参后的OR-PCA，提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
Budgeted Online Model Selection and Fine-Tuning via Federated Learning
University of California Irvine（加州大学尔湾分校）
针对边缘设备内存受限问题，提出服务器存储全部候选模型、客户端仅存子集并协作微调的在线联邦模型选择框架，证明其次线性遗憾并通过真实数据集验证有效性。
2024-01-19 cs.LG
DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance
提出DOHF方法，将Doob的h-变换转化为在线训练算法，通过最优性权重和局部校正估计蒸馏实现奖励微调，统一了多种引导方法，适用于黑盒奖励，提升生成对齐效果。
2026-10-02 cs.AI cs.LG
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA（佛罗里达州立大学计算机科学系）
本文提出DARE框架，通过行为一致性实现样本级约束放松，解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战，改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Fine-Tuning Strategies for Continual Online EEG Motor Imagery Decoding: Insights from a Large-Scale Longitudinal Study
University of Stuttgart（斯图加特大学）；Inria（法国国家信息与自动化研究所）；Universite Paris-Saclay（巴黎萨克雷大学）；Federal University of ABC（ABC联邦大学）
本研究首次在大型用户组的多会话因果场景中探索持续微调策略，结合在线测试时适应（OTTA），发现基于受试者特定信息的逐步微调可提升性能与稳定性，OTTA实现无校准适配，为纵向在线EEG运动想象解码提供泛化性见解。
2025-02-05 cs.AI cs.LG
Self-Play Enhancement via Advantage-Weighted Refinement in Online Federated LLM Fine-Tuning
Purdue University（普渡大学）；Yonsei University（延世大学）；University at Buffalo-SUNY（布法罗大学-苏尼扬大学）
本文提出SPEAR算法，通过反馈引导的自我扮演循环生成对比对，利用标准最大似然和置信度加权不似然训练，在无需昂贵组生成和真实上下文的情况下实现高效的在线联邦LLM微调。
2026-09-29 cs.LG
Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning
Aalto University（阿尔托大学）；Technical University Darmstadt（达姆施塔特工业大学）
离线强化学习通过从固定数据集学习，使得在不与环境交互的情况下学习代理行为成为可能。然而，根据离线数据集的质量，这种预先训练的代理可能具有有限的性能，并且还需要通过与环境交互来在线微调。在在线微调期间，由于从离线数据到在线数据的突然分布偏移，预先训练的代理的性能可能迅速崩溃。虽然离线RL方法（如行为克隆丢失）强制执行的约束在一定程度上防止了这一点，但这些约束也通过迫使代理保持接近行为策略来显着减缓在线微调。我们提出了自适应权衡行为克隆损失在线微调的基础上代理的性能和训练的稳定性。此外，我们使用一个随机的Q函数集成，通过执行大量的学习更新，进一步提高在线微调的样本效率。实验表明，该方法产生的最先进的离线到在线强化学习性能流行的D4RL基准。代码可用：\url{https://github.com/zhaoyi11/adaptive_bc}。
2022-10-25 cs.LG cs.RO
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）
研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Online Data Selection for Instruction Tuning via Gaussian Processes
Amazon（亚马逊）
提出GAIA框架，利用高斯过程回归建模语义空间中的连续效用流形，通过自适应策略融合动态选择高质量样本，在三个数据集上优于现有方法。
2026-06-29 cs.AI cs.LG
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
强化学习是机器人控制学习的一种很有前途的范例，它允许在不需要动力学模型的情况下学习复杂的控制策略。然而，即使是最先进的算法也很难调整到最佳性能。我们建议采用多个强化学习代理的集成，每个代理具有不同的超参数集，以及在线选择最佳性能集的机制。在文献中，合奏技术通常用于提高性能，但目前的工作专门解决减少超参数调整工作。此外，我们的方法的目标在线学习一个机器人系统，并不需要并行运行多个模拟器。虽然这个想法是通用的，但选择的模型是深度确定性策略梯度，它是一种代表性的深度学习行动者-批评者方法，在连续动作设置中具有良好的性能，但已知具有高方差。我们比较了我们的在线加权q-集成的方法，q-平均集成策略在文献中使用替代政策的培训，以及在线培训，证明了新方法的优势，在消除超参数调整。在常见的机器人基准环境中验证了对现实世界系统的适用性：双足机器人半猎豹和游泳者。与使用随机参数化的q-平均集成相比，在线加权Q-集成呈现出总体较低的方差和优越的结果。
2022-09-29 cs.LG cs.RO
Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本文提出 Cal-QL，通过保守且尺度校准的 Q 值初始化离线策略，并可在 CQL 上一行代码实现，从而显著提升在线微调效率与性能。
2024-01-20 cs.AI cs.LG
Sim2O: Efficient Offline-to-Online MARL via Joint Action Composition
Department of Computer Science and Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所复杂系统认知与决策智能重点实验室）
提出Sim2O框架，通过动态混合离线与在线动作提案并利用集中式价值函数评估组合，实现高效的多智能体离线到在线适应，无需辅助训练目标。
2026-06-23 cs.AI cs.LG
Online Hyper-parameter Tuning in Off-policy Learning via Evolutionary Strategies
Columbia University（哥伦比亚大学）；Google Brain Robotics（谷歌大脑机器人部门）
已知离策略学习算法对超参数的选择敏感。然而，与超参数可以经由例如元梯度来优化的接近策略算法不同，类似的技术不能直接应用于离策略学习。在这项工作中，我们提出了一个框架，需要应用进化策略在线超参数调整离策略学习。我们的公式与元梯度密切相关，并利用相对低维搜索空间的黑盒优化的优势。我们表明，我们的方法优于最先进的离策略学习基线与静态超参数和最近的工作在广泛的连续控制基准。
2020-06-13 cs.LG cs.NE stat.ML
Towards Efficient Online Tuning of VLM Agents via Counterfactual Soft Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
本文提出反事实软强化学习方法CoSo，通过动态评估token对动作的因果影响来优化VLM智能体的在线探索，并在多种任务中验证了其提升探索效率和性能的有效性。
2025-06-03 cs.AI cs.LG
Online tuning and light source control using a physics-informed Gaussian process Adi
SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
操作大型科学设施通常需要在高维空间中进行快速调谐和鲁棒控制。在本文中，我们介绍了一个新的物理通知优化算法的基础上高斯过程回归。我们的方法利用现有的领域知识的观察系统的物理模型的实现的形式。我们已经在SPEAR3储存环上应用了一种基于物理信息的高斯过程方法来演示在线加速器优化。该方法在收敛速度和最优点方面优于数据训练的高斯过程以及常规用于操作的标准方法。该方法可用于其他复杂系统的自动整定和控制，而无需任何观测数据。
2019-11-04 cs.LG physics.acc-ph physics.comp-ph
TuneComp: Joint Fine-tuning and Compression for Large Foundation Models
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出TuneComp方法，通过在下游任务指导下将模型逐步蒸馏为剪枝后的低秩结构，实现联合微调与压缩，显著优于传统顺序压缩方法并避免了性能损失。
2025-05-27 cs.AI cs.LG
Truthful Online Preference Aggregation for LLM Fine-Tuning in Mobile Crowdsourcing
Singapore University of Technology and Design（新加坡科技设计大学）；Hong Kong University of Science and Technology（香港科技大学）
针对移动众包中工人可能策略性谎报偏好反馈的问题，提出一种动态贝叶斯博弈模型和在线加权聚合机制，确保工人诚实反馈并实现次线性遗憾。
2026-05-22 cs.AI cs.LG
Simplifying Hyperparameter Tuning in Online Machine Learning -- The spotRiverGUI
Bartz & Bartz GmbH（巴茨与巴茨有限公司）
针对在线机器学习（OML）中超参数调优的复杂性，提出了图形用户界面spotRiverGUI，使用户能便捷比较river包中的OML算法并高效完成超参数调优。
2024-02-18 cs.AI cs.LG
EdgeOL: Efficient in-situ Online Learning on Edge Devices
University of Pittsburgh（匹兹堡大学）；University of Georgia（佐治亚大学）；University of Rochester（罗切斯特大学）；Northeastern University（东北大学）；Rutgers University（罗格斯大学）；UCSD（加州大学圣迭戈分校）
针对边缘 DNN 在线微调能耗高、耗时长的问题，本文提出 EdgeOL 框架，通过调优间与调优内优化显著降低时间和能耗并提升精度。
2025-05-16 cs.CV cs.DC cs.LG
Filter-then-Weight: Online Data Selection and Reweighting for LLM Fine-Tuning
Department of Computer Science（计算机科学系）
本文提出一种优化器感知的在线数据选择与重新加权框架，通过两阶段过滤和加权算法提升大语言模型微调的收敛性和下游性能。
2026-05-12 cs.AI cs.CL cs.LG
Online Fine-Tuning of Carbon Emission Predictions using Real-Time Recurrent Learning for State Space Models
TU Wien（维也纳技术大学）；Pyrosoma AI
本文提出一种基于实时递归学习的碳排放预测在线微调方法，通过持续更新模型参数提升预测精度，适用于动态资源受限环境。
2025-08-01 cs.CE cs.LG cs.SY
AutoQRA: Joint Optimization of Mixed-Precision Quantization and Low-rank Adapters for Efficient LLM Fine-Tuning
Fudan University（复旦大学）；Yale University（耶鲁大学）；Zhejiang University（浙江大学）；OpenWPLab
AutoQRA通过联合优化混合精度量化与低秩适配器，实现高效大语言模型微调，提升性能并降低内存消耗。
2026-02-25 cs.LG
Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出动态约束机制，通过在线细化模型提升强化学习微调的稳定性与性能，在对话和代码生成任务中优于KL正则化和无约束基线。
2026-03-18 cs.AI cs.LG
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习（RL）在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下，通常需要进行显著的超参数调优以实现良好的性能。此外，当使用非线性函数逼近时，状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题（即，单个代理在线学习而不维护训练样本的大数据库）。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法，专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制，然后在嘈杂的，非平稳的版本。最后，我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制，在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明，Metatrace的元步长参数易于设置，Metatrace可以加快学习速度，并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML
Fine-Tuning without Performance Degradation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
针对离线策略微调早期的性能下降问题，提出基于Jump Start的新算法，通过在线性能估计逐步增加探索，实现快速微调并显著减少性能下降。
2025-05-01 cs.AI cs.LG
OPTune: Efficient Online Preference Tuning
University of Maryland, College Park（马里兰大学帕克分校）；Meta
针对在线 RLHF 数据生成昂贵且质量不均的问题，OPTune 通过选择性生成高信息量响应并按对齐效用加权训练，在保持指令遵循能力的同时将训练速度提升 1.27–1.56 倍。
2024-06-11 cs.CL cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University（弗吉尼亚共同体大学）；University of Virginia（弗吉尼亚大学）
研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning
Stanford University（斯坦福大学）；Intel AI Labs（英特尔人工智能实验室）
针对高维观测下基于模型的离线到在线强化学习微调难题，提出MOTO方法，通过价值扩展、策略正则化与不确定性控制高效重用数据并防止模型利用，首次实现从像素解决Franka Kitchen环境。
2024-01-06 cs.AI cs.LG cs.RO
Distributed Online Learning for Joint Regret with Communication Constraints
Università degli Studi di Milano（米兰大学）；University of Amsterdam（阿姆斯特丹大学）
我们考虑分布式在线学习的联合遗憾与通信约束。在此设置中，有多个连接在图中的代理。每一轮，对手首先激活其中一个代理发布预测并提供相应的梯度，然后允许代理向图中的邻居发送$b$位消息。所有的代理合作，以控制联合遗憾，这是激活代理的损失减去损失的最佳固定的共同比较参数$u$评估的总和。我们观察到，这是次优代理等待梯度，需要太长的时间才能到达。相反，应该将图划分为相互通信的本地集群。我们的主要结果是一种新的方法，可以适应对抗激活和梯度的最佳图分区，其中图分区是从一组候选分区中选择的。一个关键的构建模块是一个新的算法，用于在线凸优化与延迟梯度信息，是比较器自适应，这意味着其联合遗憾尺度与比较器$||u||$的范数。我们进一步提供了接近最优的梯度压缩方案，这取决于$b$的比率和图的直径的维数。
2021-10-25 cs.LG stat.ML
Deadline-Aware Online Scheduling for LLM Fine-Tuning with Spot Market Predictions
Fudan University（复旦大学）；University of Oregon（俄勒冈大学）；Inria（法国国家信息与自动化研究所）
本文提出了一种面向截止期限的在线调度方法，结合预留和按需实例，通过预测和策略选择算法实现大语言模型微调的低成本高效调度。
2025-12-24 cs.DC cs.LG
The Importance of Online Data: Understanding Preference Fine-tuning via Coverage
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）；Cornell University（康奈尔大学）
本研究通过覆盖度理论证明离线对比方法需全局覆盖条件，而在线RL仅需局部覆盖，并据此提出混合偏好优化算法HyPO，兼具性能与效率优势。
2024-07-16 cs.AI cs.CL cs.LG
Learning to Do or Learning While Doing: Reinforcement Learning and Bayesian Optimisation for Online Continuous Tuning
Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所）；Karlsruhe Institute of Technology KIT（卡尔斯鲁厄理工学院）
本文在真实粒子加速器的常规在线调优任务中比较 RLO 与 BO，发现 RLO 通常更优但并非总最佳，并提出算法选择准则以推动自主调优落地。
2023-06-06 cs.AI cs.LG physics.acc-ph
DOT: Dynamic Knob Selection and Online Sampling for Automated Database Tuning
Orange / Inria / Univ.\,Lille, France France；Inria / Univ.\,Lille / CNRS, France France；CNRS / Univ.\,Lille / Inria, France France；Univ.\,Lille / CNRS / Inria, France France；Orange / Inria / Univ.\,Lille, France；Inria / Univ.\,Lille / CNRS, France；CNRS / Univ.\,Lille / Inria, France；Univ.\,Lille / CNRS / Inria, France
DOT通过动态选择关键参数和在线采样，减少数据库调优的搜索空间，提升性能，同时降低调优开销。
2026-03-16 cs.AI cs.DB cs.LG
Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
School of Engineering, WestLake University（西湖大学工程学院）；University of Cambridge（剑桥大学）
针对离线到在线强化学习中的分布偏移问题，提出Q条件状态熵（QCSE）作为内在奖励，通过最大化状态熵并隐式实现状态边际匹配，提升在线微调性能，实验显示在CQL和Cal-QL上分别提升约13%和8%。
2024-05-28 cs.AI cs.LG
LightPAFF: A Two-Stage Distillation Framework for Pre-training and Fine-tuning
Nanjing University of Science and Technology（南京理工大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在预训练和微调时，例如，BERT~ \citep{devlin2018bert}、GPT-2~ \citep{radford2019language}等在语言理解和生成任务中取得了巨大的成功，但由于预训练模型的存储空间和推理速度都很大，无法在线部署，影响了它们的实际在线使用。在本文中，我们提出了LightPAFF，一个轻量级的预训练和微调框架，它利用两个阶段的知识蒸馏，在预训练和微调阶段将知识从一个大的教师模型转移到一个轻量级的学生模型。通过这种方式，轻量级模型可以达到与大型教师模型相似的精度，但参数要少得多，因此在线推理速度更快。LightPAFF可以支持不同的预训练方法（如BERT、GPT-2和MASS~ \citep{song2019mass}），并可应用于许多下游任务。在三个语言理解任务、三个语言建模任务和三个序列到序列生成任务上的实验表明，LightPAFF在使用大BERT、GPT-2和MASS模型实现类似准确性的同时，将模型大小减少了近5倍，并将在线推理速度提高了5倍至7倍。
2020-04-27 cs.CL cs.LG
Joint Online Learning and Decision-making via Dual Mirror Descent
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
我们考虑一个在线收入最大化问题在有限的时间范围内的成本上下限。在每个周期，代理接收i.i.d.采样的上下文向量。从未知的分布，并需要作出决定自适应。收益和成本函数取决于上下文向量以及要学习的一些固定但可能未知的参数向量。我们提出了一个新的离线基准和一个新的算法，混合了在线双镜下降计划与通用参数学习过程。当参数向量是已知的，我们证明了一个$O(\sqrt{T})$遗憾的结果，以及$O(\sqrt{T})$约束上可能的约束违反。当参数是未知的，必须学习，我们证明了遗憾和约束违反的总和以前的$O(\sqrt{T})$条款加上条款，直接依赖于学习过程的收敛。
2021-04-20 cs.LG math.OC
Game Solving with Online Fine-Tuning
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；Department of Computing Science, University of Alberta（阿尔伯塔大学计算科学系）；Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学资讯工程学系）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出在线微调方法，在搜索中调整AlphaZero启发式，以解决游戏求解中分布外局面评估不准确的问题，显著节省计算时间并可扩展至任意树搜索算法。
2023-11-13 cs.AI cs.GT cs.LG
Bilevel Data Curation for LLM Fine-tuning: Offline Selection and Online Self-Refining Generation
Cornell University（康奈尔大学）；Cisco Research（思科研究）
提出双层框架结合离线数据选择与在线自优化生成，提升微调数据质量，理论证明优于直接混合，实验验证效果。
2026-06-24 cs.CL cs.LG math.OC
Online Antenna Tuning in Heterogeneous Cellular Networks with Deep Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们的目标是共同优化天线倾斜角，垂直和水平半功率波束宽度的宏蜂窝在异构蜂窝网络（HetNet）。细胞之间的相互作用，最明显的是由于它们的耦合干扰，使得这种优化非常复杂。利用单代理强化学习（RL）算法进行这种优化变得相当次优，尽管其可扩展性，而多代理RL算法产生更好的解决方案，在牺牲可扩展性。因此，我们提出了一个折衷的算法之间的这两个。具体而言，首先在离线阶段中利用多代理平均场RL算法，以便将信息作为第二（在线）阶段单代理RL算法的特征进行传递，该算法采用深度神经网络来学习用户位置。这种两步方法是实际部署的实用解决方案，它应该自动适应网络中的环境变化。我们的研究结果表明，该算法的性能接近多智能体RL，这需要数百万次试验，数百次在线试验，假设相对较低的环境动态，并表现得比单智能体RL好得多。此外，所提出的算法是紧凑的和可实现的，并根据经验似乎提供了性能保证，无论环境动态的量。
2019-06-17 cs.LG stat.ML
OLC-WA: Drift Aware Tuning-Free Online Classification with Weighted Average
Department of Computer Science and Engineering, University of North Texas（计算机科学与工程系，北卡罗来纳大学达顿分校）
OLC-WA是一种无超参数的在线分类模型，通过指数加权移动平均和自动优化机制有效适应动态数据分布，实验证明其在漂移情况下性能优于现有方法。
2025-12-14 cs.AI cs.LG
Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay
UIUC（伊利诺伊大学香槟分校）；New York University（纽约大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft（微软）
本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。
2026-02-16 cs.AI cs.CL cs.LG
ReinFlow: Fine-tuning Flow Matching Policy with Online Reinforcement Learning
ReinFlow通过在线强化学习微调流匹配策略，提升连续机器人控制性能，实现高效去噪与训练稳定性。
2026-01-08 cs.LG cs.RO
Decentralized Online Bandit Optimization on Directed Graphs with Regret Bounds
AI Sweden（瑞典人工智能研究所）
我们考虑一个分散的多人游戏，发挥了$T$轮，领导者，追随者的层次结构描述的有向无环图。对于每一轮，图形结构决定了玩家的顺序以及玩家如何观察彼此的动作。在每一轮结束时，所有玩家都会根据他们的联合行动获得联合强盗奖励，用于更新玩家策略，以最大限度地减少联合伪遗憾。我们提出了一个学习算法的启发单人多臂土匪问题，并表明它实现了次线性联合伪遗憾的回合数的对抗性和随机土匪奖励。此外，我们量化了由于我们的问题的分散性质与集中设置相比所产生的成本。
2023-01-27 cs.GT cs.LG
Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
针对现有深度强化学习机制依赖策略类别与骨干网络假设、换用新策略时性能下降的问题，提出策略无关强化学习PA-RL，通过优化动作结合监督损失实现多策略类别的离线训练与在线微调，性能和样本效率最高提升2倍，还首次实现7B通用机器人策略OpenVLA的自主在线微调。
2024-12-09 cs.AI cs.LG
Residual Learning and Context Encoding for Adaptive Offline-to-Online Reinforcement Learning
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence（芬兰人工智能中心）
针对离线到在线强化学习中转移动态变化问题，提出残差学习与上下文编码方法，在 D4RL MuJoCo 实验中实现样本高效的自适应与泛化。
2024-06-12 cs.LG cs.RO
A Fuzzy-set-based Joint Distribution Adaptation Method for Regression and its Application to Online Damage Quantification for Structural Digital Twin
Politecnico di Milano（米兰理工大学）；Beihang University（北京航空航天大学）
在线损害量化遭受不充分的标记数据，削弱了其准确性。在这种情况下，采用对来自类似结构/损伤的历史标记数据或模拟数字孪生数据的领域自适应来辅助当前诊断任务将是有益的。然而，大多数领域自适应方法是为分类而设计的，并且不能有效地解决损伤量化，这是一个具有连续实值标签的回归问题。本研究首先提出一种新的领域自适应方法--基于在线模糊集的回归联合分布自适应方法。通过模糊集将连续实值标签转换为模糊类别标签，同时度量边缘和条件分布差异，实现损伤量化任务的领域自适应。基于该方法的优越性，提出了一种基于领域自适应的在线损伤量化框架。最后，以某型直升机为例，进行了不同损伤位置、不同损伤类型和从仿真到试验的3种损伤领域自适应，验证了该方法在真实环境下能够显著提高损伤量化的准确性。预计该方法将应用于考虑个体差异的船队级数字孪生。
2023-02-07 cs.CE cs.LG
Transfer Learning with Joint Fine-Tuning for Multimodal Sentiment Analysis
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences (ICMC)（数学与计算机科学学院（ICMC））
大多数现有的方法集中在文本数据的情感分析。然而，最近在社交平台上大量使用图像和视频，从其他模式中激发了情感分析。目前的研究表明，探索其他模式（例如，图像）增加了情感分析性能。最先进的多模态模型，如CLIP和VisualBERT，是在文本与图像配对的数据集上进行预训练的。虽然这些模型获得的结果是有希望的，这些模型的预训练和情感分析微调任务是计算昂贵的。本文介绍了一种用于情感分析的联合微调的迁移学习方法。我们的提案使用更直接的替代微调策略取得了有竞争力的结果，该策略利用不同的预训练单峰模型，并将它们有效地结合在多模态空间中。此外，我们的建议允许在联合微调阶段合并任何预训练的文本和图像模型时具有灵活性，这对于低资源场景中的情感分类特别有趣。
2022-10-11 cs.CL cs.CV cs.LG
Rover: An online Spark SQL tuning service via generalized transfer learning
Peking University（北京大学）；ByteDance Inc.（字节跳动公司）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）
Rover 提出广义迁移学习框架，结合专家辅助贝叶斯优化与受控历史迁移，实现在线 Spark SQL 高效安全调优，在 12k 真实任务中平均节省 50.1% 内存开销。
2023-05-29 cs.DC cs.LG
