Hedging Memory Horizons for Non-Stationary Prediction via Online Aggregation
Department of Statistics, LSE London, UK（伦敦经济学院统计系）；Électricité de France R&D Palaiseau, France（法国电力公司Palaiseau研发部）
本文提出MELO方法，通过在线聚合和指数加权最小二乘法应对分布偏移，减少预测误差并提升适应性。
2026-05-07 cs.LG stat.ML
Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift
Columbia University（哥伦比亚大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
针对回归任务中的协变量偏移问题，本文通过特征谱分解分析OLS风险，提出轻量级谱自适应方法调整预训练模型末层权重，提升分布外性能。
2023-12-29 cs.LG stat.ML
Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression
MIT（麻省理工学院）；University of Hong Kong（香港大学）；UC Berkeley（加州大学伯克利分校）
研究自归一化martingale的统一后悔界，证明一维情况下可得O(log T)界，而高维情况下无法获得统一界，解决了一个开放性问题。
2026-05-02 cs.LG math.ST stat.ML
Adapting to Non-stationarity with Growing Expert Ensembles
Carnegie Mellon University（卡内基梅隆大学）；Northwestern University（西北大学）；University of Colorado（科罗拉多大学）
当处理具有复杂非平稳性的时间序列时，对个体实现的低追溯后悔比期望中的低预期风险是一个更合适的目标。在线学习算法提供了这种形式的有力保证，并且经常被提议用于非平稳过程，因为它们能够在不同的预测者或“专家”之间切换。然而，现有的方法假设一组专家的预测是结合在一起，都在一开始，这是不合理的，当处理一个真正的历史或进化系统。我们展示了如何修改“固定份额”算法，以跟踪最好的专家，以应付一个稳定增长的专家组，通过拟合新的模型，新的数据，因为它变得可用，并获得遗憾的范围不断增长的合奏。
2011-06-28 cs.LG physics.data-an stat.ME
Online Optimization in Dynamic Environments
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
高维数据的高速流在一系列应用和设置中提出了重大的“大数据”分析挑战。在线学习和在线凸规划在从这些大型数据流中快速恢复重要或异常信息方面发挥着重要作用。虽然在线学习的最新进展已经导致了新颖且快速收敛的算法，但这些方法无法适应现实世界问题中出现的非平稳环境。本文介绍了一个动态镜像下降框架，解决了这一挑战，产生低理论遗憾的界限和准确的，自适应的，计算效率高的算法，适用于广泛的问题。该方法能够学习和适应一个潜在的和可能随时间变化的动态模型。实证结果的背景下，动态纹理分析，太阳耀斑检测，连续压缩感知的动态场景，交通监控，跟踪自激点过程和网络行为的安然电子邮件语料库支持的核心理论研究结果。
2016-01-19 cs.LG math.OC stat.ML
Outcome-blinded sample size re-estimation for externally controlled single-arm trials using baseline covariates
Wakayama Medical University（和歌山医科大学）；Chuo University（中央大学）
针对单臂试验中试验组与历史对照基线不平衡问题，提出群体标准化设计框架及协变量自适应样本量重新估计程序，该程序结合初始设计与顺序更新，模拟及示例结果显示其能维持功效，是实用设计策略。
2026-09-30 stat.AP stat.ME
ChronosX: Adapting Pretrained Time Series Models with Exogenous Variables
Amazon Web Services（亚马逊网络服务）；University of Freiburg（弗莱堡大学）；Technical University of Denmark（丹麦技术大学）
针对预训练时间序列模型难以利用任务相关协变量的问题，本文提出ChronosX，通过模块化块注入过去与未来外生变量，并构建32个合成数据集基准，实验证明其优于现有基线。
2025-03-15 cs.AI cs.LG
Adapting to Covariate Shift in Real-time by Encoding Trees with Motion Equations
Kyushu University（九州大学）；The University of Tokyo（东京大学）
本文提出自适应满二叉树算法 Xenovert，利用运动方程实时划分输入空间并映射偏移分布，使神经网络无需重训即可在 5 个偏移数据集中的 4 个取得更好效果。
2024-04-08 cs.LG
A Piecewise Lyapunov Analysis of Sub-quadratic SGD: Applications to Robust and Quantile Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
针对鲁棒和分位数回归问题，提出分段李雅普诺夫函数分析亚二次尾部局部强凸目标的SGD，推导有限时间矩界、弱收敛等结果，首次给出几何收敛性，应用于在线鲁棒回归和分位数回归。
2025-04-15 cs.LG math.OC math.PR
Online Decision Making for Trading Wind Energy
University of Malaga（马拉加大学）；Imperial College London（帝国理工学院）；Technical University of Denmark（丹麦技术大学）
提出一种结合梯度下降变体与特征驱动报童模型的在线算法，用于电力市场风力能源交易，能适应非平稳特性并实现显著经济收益。
2023-05-19 cs.LG cs.SY eess.SY
Online Batch Decision-Making with High-Dimensional Covariates
Purdue University（普渡大学）
我们提出并研究了一类新的顺序决策算法，互动与\textit{a batch of users}同时，而不是\textit{a user}在每个决策时期。这种类型的批量模型的动机是互动营销和临床试验，其中一组人同时接受治疗，并在下一阶段的决策之前收集整个组的结果。在这种情况下，我们的目标是根据观察到的高维用户协变量分配一批治疗，以最大限度地提高治疗效果。我们提供了一个解决方案，名为\textit{Teamwork LASSO Bandit algorithm}，解决了一个批处理版本的探索-开拓困境，通过在整个决策过程中的团队合作阶段和自私的阶段之间的切换。这是可能的基础上的统计特性LASSO估计的治疗效果，适应一系列的批次观察。在一般情况下，最优分配条件的速率，提出描绘的勘探和开发权衡的数据收集方案，这是足够的LASSO，以确定观察到的用户协变量的最佳处理。给出了该算法的期望累积遗憾的上界。
2020-02-27 cs.LG stat.ML
Pre-Trained AI Model Assisted Online Decision-Making under Missing Covariates: A Theoretical Perspective
CCSE, MIT（认知科学与工程系，麻省理工学院）；IDSS, MIT（工业系统与运营管理系，麻省理工学院）
研究缺失协变量下的序列决策问题，引入“模型弹性”量化插补误差对遗憾的影响，并在MAR设置下利用正交统计学习校准预训练模型以改善遗憾保证。
2025-07-10 cs.LG stat.ML
Dimension Reduction in Contextual Online Learning via Nonparametric Variable Selection
University of Toronto（多伦多大学）；Fudan University（复旦大学）
我们考虑一个上下文在线学习（多臂强盗）问题，高维协变量$\mathbf{x}$和决策$\mathbf{y}$。要学习的奖励函数$f(\mathbf{x},\mathbf{y})$没有特定的参数形式。文献表明，最佳后悔是$\tilde{O}(T^{(d_x+d_y+1)/(d_x+d_y+2)})$，其中$d_x$和$d_y$是$\mathbf x$和$\mathbf y$的维度，因此它遭受维数灾难。在许多应用中，协变量中只有一小部分变量会影响$f$的值，在统计学中称为\textit{sparsity}。为了利用协变量的稀疏结构，我们提出了一个变量选择算法称为\textit{BV-LASSO}，它采用了新的想法，如装箱和投票应用LASSO非参数设置。我们的算法实现了遗憾$\tilde{O}(T^{(d_x^*+d_y+1)/(d_x^*+d_y+2)})$，其中$d_x^*$是有效的协变量维度。当协变量为$d^*_x$维时，遗憾匹配最佳遗憾，因此无法改善。我们的算法可以作为一个通用的配方，以实现降维通过变量选择在非参数设置。
2022-10-03 cs.LG stat.ML
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究高维在线决策的遗憾最小化与统计推断，结合ε-贪心算法与硬阈值估计并提出去偏推断框架，揭示探索-利用权衡，还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断，且经实验验证有效。
2025-05-17 cs.LG stat.ML
Online robust estimation and bootstrap inference for function-on-scalar regression
本文提出一种基于几何中位数的在线函数型标量回归方法，利用平均随机梯度下降实现流式数据高效估计，并建立理论性质及两步在线自助推断，数值和PM2.5实例验证其有效性。
2024-05-23 stat.CO stat.ME
SPARKLE: A Nonparametric Approach for Online Decision-Making with High-Dimensional Covariates
Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Division of Emerging Interdisciplinary Areas, The Hong Kong University of Science and Technology（香港科学与技术大学新兴跨学科领域分校）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（香港科学与技术大学工业工程与决策分析系）
SPARKLE是一种基于稀疏加法奖励模型的非参数上下文老虎机算法，通过双重惩罚估计器和自适应筛选平衡探索与利用，首次在高维协变量中实现子线性遗憾界。
2026-01-06 cs.LG stat.ME stat.ML
Adapting to Latent Subgroup Shifts via Concepts and Proxies
Google Research（谷歌研究院）；Deepmind（深度思维）；Stanford University（斯坦福大学）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学中心）；University College London（伦敦大学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们解决的问题，无监督域自适应时，源域不同于目标域，因为一个潜在的子群的分布的转变。当该亚组混淆所有观察数据时，协变量偏移和标签偏移假设均不适用。我们发现，最佳的目标预测可以非参数化识别的概念和代理变量的帮助下，只有在源域，和未标记的数据从目标。识别结果是建设性的，立即提出了一种算法，用于估计目标中的最佳预测。对于连续观测，当这种算法变得不切实际时，我们提出了一个特定于当前数据生成过程的潜变量模型。我们展示了该方法如何随着移位大小的变化而退化，并验证了它优于协变量和标签移位调整。
2022-12-21 cs.AI cs.LG stat.ML
Personalized Online Machine Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of California San Francisco（加利福尼亚大学旧金山分校）；Université de Paris（巴黎大学）；MAP5 (UMR CNRS 8145)（MAP5（法国国家科学研究中心联合研究单位8145））
在这项工作中，我们介绍了个性化的在线超级学习者（POSL）-在线集成算法的流数据的优化过程，可适应不同程度的个性化。也就是说，POSL优化了关于基线协变量的预测，因此个性化可以从完全个性化（即，关于基线协变量受试者ID的优化）到许多个体（即，关于共同基线协变量的优化）。作为在线算法，POSL是实时学习的。POSL可以利用多种候选算法，包括具有不同训练和更新时间的在线算法，在程序期间从不更新的固定算法，从许多个体的时间序列中学习的池化算法，以及从单个时间序列中学习的个性化算法。POSL的这种混合的基础学习策略的集合取决于收集的数据量，时间序列的平稳性，以及一组时间序列的相互特征。从本质上讲，POSL根据数据中的底层（未知）结构决定是否跨样本学习，通过时间学习，或者两者兼而有之。对于反映现实预测场景的各种模拟，以及在医疗数据应用中，我们研究了POSL相对于其他当前集成和在线学习方法的性能。我们表明，POSL是能够提供可靠的预测时间序列数据，并调整不断变化的数据生成环境。我们进一步培养POSL的实用性，通过将其扩展到时间序列在时间顺序上动态进入/退出的设置。
2021-09-21 cs.LG stat.ML
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
强化学习（RL）系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构，用于从嘈杂的高维观测中近似非线性函数。然而，流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的：例如，光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构，有效地发现有用的非线性功能。该算法是在一个空间域与高维，随机观测进行评估。该算法优于非自适应基线架构，并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题，其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Stochastic Online Instrumental Variable Regression: Regrets for Endogeneity and Bandit Feedback
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文针对在线学习中噪声与协变量相关的内生性问题，提出在线两阶段最小二乘法 O2SLS 及其老虎机算法 OFUL-IV，并证明其遗憾界与现有外生性方法同阶或匹配下界。
2024-02-25 cs.LG stat.ML
Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain（谷歌大脑）
在本文中，我们重新审视了由Hallak等人（2017）开创的强化学习（COP-TD）的政策外校正方法。在这种方法下，在线更新的价值函数被重新加权，以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的，它不能容易地转移到非线性函数逼近。首先，它需要一个投影到概率单纯形上的步骤;其次，即使描述离策略学习算法的预期行为的算子是收敛的，但它并不知道是一个收缩映射，因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为，发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚，可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域，我们发现折扣COP-TD在实践中表现得更好，比软正常化处罚。最后，我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估，在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University（印第安纳大学）
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中，在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下，我们有有效的和合理的理解算法，以适应学习率参数，在线学习过程中。这种元学习方法可以提高学习的鲁棒性，并使当前任务专业化，提高学习速度。对于我们在这里研究的时间差学习算法，还有另一个参数$λ$，它在实践中同样会影响学习速度和稳定性。不幸的是，与学习率参数不同，$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解，因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现（1）增量更新，（2）与函数近似的兼容性，以及（3）在开和关策略采样下保持学习的稳定性。在本文中，我们提供了一个新的目标函数优化$λ$作为一个功能的状态，而不是时间。我们推导出一个新的增量，线性复杂度$λ$ -适应算法，不需要离线批量更新或访问的模型的世界，并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之，我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Testing for concept shift online
本文继续研究交换鞅，即，过程是鞅下的任何可交换分布的意见。这样的过程可以用于检测IID假设的违反，这通常在机器学习中进行。违反IID假设有时被称为数据集移位，数据集移位有时被细分为概念移位，协变量偏移等。我们的主要兴趣是在概念移位，但我们也将讨论交换鞅分解成两个组件，其中一个检测概念移位和其他检测我们所谓的标签偏移。我们的方法将基于共形预测技术。
2020-12-28 cs.LG stat.ML
Adapting to Online Distribution Shifts in Deep Learning: A Black-Box Approach
Amazon（亚马逊）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文针对在线分布偏移问题提出一种黑盒元算法，通过多分辨率实例和跨时间交叉验证自动选择最佳历史注意力长度，仅需维护 O(log(T)) 个在线学习器实例即可提升任意在线学习算法在非平稳环境下的分类性能。
2025-04-09 cs.LG
Agnostic Smoothed Online Regression with Adversarial Responses
University of Michigan（密歇根大学）
针对对抗性响应的平滑在线回归，提出Hedge-Cover算法，实现次线性遗憾并匹配下界，解决开放问题，并量化噪声影响。
2026-09-29 cs.LG math.ST stat.ML
Let's Take This Online: Adapting Scene Coordinate Regression Network Predictions for Online RGB-D Camera Relocalisation
FiveAI Ltd.（FiveAI有限公司）；University of Oxford（牛津大学）
许多应用需要在线重新定位相机，而无需在目标场景上进行昂贵的离线训练。虽然关键帧和稀疏关键点匹配方法都可以在线使用，但前者通常会在训练轨迹之外失败，而后者可能会在无纹理区域中挣扎。相比之下，场景坐标回归（SCoRe）方法可以推广到新的姿势，并可以利用密集的对应关系来提高鲁棒性，最近的工作已经展示了如何在场景之间调整SCoRe森林，使其最先进的性能能够在线利用。然而，因为它们使用的是为室内使用而手工制作的功能，所以它们不能很好地推广到更硬的室外场景。虽然用神经网络替换森林并学习适合户外使用的特征是可能的，但不幸的是，用于在场景之间适配森林的技术更难转移到网络上下文。在本文中，我们通过提出一种新的方法来解决这个问题，即利用在一个场景上训练的网络来预测另一个场景中的点。我们的方法用两步过程取代了回归森林分支结构执行的外观聚类，该过程首先使用网络预测原始场景中的点，然后使用这些预测的点从新场景中查找点的聚类。我们的实验表明，我们的在线方法在7-Scenes和Cambridge Landmarks数据集上都达到了最先进的性能，同时运行时间不到300 ms，使其在实时场景中非常有效。
2019-06-20 cs.CV cs.LG cs.RO
The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Harvard University（哈佛大学）
我们研究线性回归下的协变量偏移，其中的边际分布在输入协变量不同的源域和目标域，而给定的输入协变量的条件分布的输出是类似的跨两个域。我们研究了一种迁移学习方法，该方法对源数据进行预训练，并根据目标数据进行微调（均由在线SGD进行）。我们建立尖锐的实例依赖于这种方法的过度风险的上限和下限。我们的界限表明，对于一大类线性回归实例，使用$O(N^2)$源数据（以及稀缺或无目标数据）的迁移学习与使用$N$目标数据的监督学习一样有效。此外，我们还表明，即使只有少量的目标数据，微调也可以大大减少预训练所需的源数据量。我们的理论揭示了预训练的有效性和局限性，以及微调处理协变量偏移问题的好处。
2022-08-03 cs.LG math.OC stat.ML
Mitigating Covariate Shift in Imitation Learning via Offline Data Without Great Coverage
Cornell University（康奈尔大学）；Amazon Search & AI（亚马逊搜索与人工智能）
本文研究了离线模仿学习（IL），其中一个代理学习模仿一个专家演示没有额外的在线环境交互。相反，向学习者呈现来自潜在的不太熟练的行为策略的状态-动作-下一状态转换三元组的静态离线数据集。我们介绍了基于模型的IL从离线数据（MILO）：一个算法框架，利用静态数据集，有效地解决离线IL的问题，在理论和实践中。在理论上，即使行为政策是高度次优的专家相比，我们表明，只要从行为政策的数据提供足够的覆盖专家的状态-动作的痕迹（并没有必要在整个状态-动作空间的全球覆盖），MILO可以证明打击IL的协变量偏移问题。补充我们的理论结果，我们还表明，我们的方法的实际实施减轻基准MuJoCo连续控制任务的协变量偏移。我们证明，与行为政策的性能是不到一半的专家，MILO仍然成功地模仿了极低数量的专家状态-动作对，而传统的离线IL方法，如行为克隆（BC）完全失败。源代码在https://github.com/jdchang1/milo上提供。
2022-01-31 cs.LG stat.ML
Adapting to Fragmented and Evolving Data: A Fisher Information Perspective
School of Mathematics and Computer Science, Institute of Business Administration（数学与计算机科学学院，商业行政研究所）；National University of Computer and Emerging Sciences（计算机与新兴科学国立大学）
针对序贯协变量偏移，本文提出基于Fisher信息几何的无标签、固定内存在线适应框架FADE，并在七类多模态基准上验证其显著优于现有方法。
2025-07-25 cs.LG stat.ML
Ad-Rec: Advanced Feature Interactions to Address Covariate-Shifts in Recommendation Networks
The University of British Columbia（不列颠哥伦比亚大学）；Microsoft（微软）
本文提出Ad-Rec网络，利用掩码变换器学习高阶特征交互以应对推荐系统中的协变量偏移，提高模型质量、加速收敛并减少训练时间。
2023-08-28 cs.IR cs.LG
Covariate Shift Estimation based Adaptive Ensemble Learning for Handling Non-Stationarity in Motor Imagery related EEG-based Brain-Computer Interface
University of Essex（埃塞克斯大学）；Ulster University（阿尔斯特大学）；Swansea University（斯旺西大学）；California State University Fresno（加州州立大学弗雷斯诺分校）
脑电信号的非平稳特性使得基于脑电信号的脑机接口成为一个动态系统，提高其性能是一个具有挑战性的课题。此外，众所周知，由于基于非平稳性的协变量偏移，基于EEG的BCI系统的输入数据分布在会话间和会话内转换期间改变，这给在线自适应数据驱动系统的开发带来了很大的困难。以前已经使用了包围学习方法来应对这一挑战。然而，基于被动方案的实现导致效率低下，同时增加了高计算成本。针对运动想象相关脑电分类中的非平稳性问题，提出了一种新的协变量偏移估计与无监督自适应集成学习（CSE-UAEL）相结合的方法。所提出的方法首先采用指数加权移动平均模型检测的协变量偏移的共同空间模式的特点，从MI相关的脑反应提取。然后，分类器集合被创建并随时间更新，以考虑流传输输入数据分布的变化，其中新的分类器根据估计的偏移被添加到集合。此外，使用两个公开的BCI相关的EEG数据集，所提出的方法进行了广泛的比较，与最先进的基于单分类器的被动方案，基于单分类器的主动方案和基于集成的被动方案。实验结果表明，所提出的主动模式集成学习算法显着提高脑机接口在MI分类的性能。
2018-05-02 cs.LG stat.ML
Adapting to Stochastic and Adversarial Losses in Episodic MDPs with Aggregate Bandit Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
针对聚合赌博机反馈的片段式MDP，提出首个两全其美算法，在随机和对抗环境下分别达到对数与平方根遗憾，并证明最优性。
2025-10-27 cs.LG stat.ML
Improving robustness against common corruptions by covariate shift adaptation
University of Tübingen（蒂宾根大学）；IMPRS-IS（国际马克斯·普朗克智能系统研究学院）；LMU Munich（慕尼黑大学）
当今最先进的机器视觉模型容易受到图像损坏（如模糊或压缩伪影）的影响，从而限制了它们在许多现实应用中的性能。我们在这里认为，流行的基准来衡量模型的鲁棒性对常见的腐败（如ImageNet-C）低估了模型的鲁棒性在许多（但不是所有）应用场景。关键的见解是，在许多情况下，多个未标记的腐败示例是可用的，并且可以用于无监督的在线自适应。用受损图像的统计数据替换训练集上通过批量归一化估计的激活统计数据，一致地提高了25种不同流行计算机视觉模型的鲁棒性。使用校正后的统计数据，ResNet-50在ImageNet-C上达到62.2%的mCE，而在没有自适应的情况下为76.7%。通过更强大的DeepAugment+AugMix模型，我们将ResNet 50模型的最新技术水平从53.6%mCE提高到45.4%mCE。即使适应单个样本也可以提高ResNet-50和AugMix模型的鲁棒性，32个样本足以提高ResNet-50架构的当前技术水平。我们认为，无论何时报告腐败基准和其他分布外泛化设置中的分数，都应包括适应统计数据的结果。
2020-10-23 cs.CV cs.LG stat.ML
Online Survival Analysis: A Bandit Approach under Cox PH Model
Department of Statistics（统计学系）
本文基于Cox PH模型，提出在线强化学习方法，解决生存分析中阶梯进入、延迟反馈和右删失等挑战，通过理论保证和实验验证，实现高效学习最优治疗策略。
2026-04-22 cs.LG stat.ML
Multi-label Stream Classification with Self-Organizing Maps
Federal University of São Carlos（圣卡洛斯联邦大学）；Federal University of Uberlândia（乌贝兰迪亚联邦大学）；INESC TEC；University of Porto（波尔图大学）
已经提出了几种用于离线多标签分类的学习算法。然而，在诸如交通监控、社交网络和传感器等领域中的应用连续地产生数据，即所谓的数据流，这对批量多标签学习提出了挑战。由于数据流的分布缺乏平稳性，需要新的算法来在线适应这种变化（概念漂移）。此外，在实际应用中，变化发生在无限延迟标签的场景中，其中到达实例的真实类永远不可用。提出了一种基于自组织映射的在线无监督增量式多标签流分类方法。在分类阶段，我们使用k-近邻策略来计算地图中的获胜神经元，通过在线调整神经元权重向量和数据集标签基数来适应概念漂移。我们使用贝叶斯规则和每个神经元的输出来预测每个实例的标签，调整流中类的概率和条件概率。使用合成和真实数据集的实验表明，我们的方法是非常有竞争力的几个文献中，在固定和概念漂移的情况下。
2020-04-20 cs.LG stat.ML
Adapting Actively on the Fly: Relevance-Guided Online Meta-Learning with Latent Concepts for Geospatial Discovery
University of Michigan, Ann Arbor, MI, USA（密歇根大学，安阿伯分校）；Washington University in St. Louis, St. Louis, MO, USA（华盛顿大学圣路易斯分校）
提出一个统一的地理空间发现框架，结合主动学习、在线元学习和概念引导推理，通过概念加权不确定性采样和相关性感知元批次形成策略，在有限数据和动态环境下高效发现隐藏目标。
2026-05-25 cs.AI cs.CV cs.CY
Mitigating Covariate Shift in Misspecified Regression with Applications to Reinforcement Learning
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research, NYC（微软研究院（纽约））
本文针对协变量偏移下的L∞错误设定回归问题，提出一种基于鲁棒优化的新算法，避免经验风险最小化中的错误设定放大现象，并应用于离线与在线强化学习，建立了结构条件与覆盖概念之间的新分离。
2024-01-22 cs.LG math.OC stat.ML
Online Learning via Memory: Retrieval-Augmented Detector Adaptation
Microsoft Corp（微软公司）
本研究提出一种无需训练的检索增强在线学习方法，通过记忆库与RAC模块让现成目标检测器快速适配新域，仅需每类10张图像的记忆库即可显著优于基线。
2024-09-16 cs.CV cs.IR cs.LG
EGEAN: An Exposure-Guided Embedding Alignment Network for Post-Click Conversion Estimation
Meituan（美团）
针对CVR估计中的协变量偏移问题，提出EGEAN嵌入对齐网络及带稳态控制的参数可变双重稳健估计器，并在美团广告系统的在线A/B测试中显著提升CVR与GMV。
2024-12-08 cs.AI cs.LG
Continual Density Ratio Estimation in an Online Setting
University of Bristol（布里斯托大学）；Amazon Research（亚马逊研究院）
在具有流数据的在线应用中，了解训练或测试集偏离原始数据集的程度对模型的性能至关重要。但是，我们可能无法访问数据流中的历史样本。为了应对这种情况下，我们提出了一种新的方法，连续密度比估计（CDRE），用于估计的初始和当前分布（$p/q_t$）的数据流在迭代的方式，而不需要存储过去的样本，其中$q_t$转移远离$p$随着时间的推移$t$的密度比。我们证明了CDRE在估计分布之间的分歧方面可以比标准DRE更准确，尽管不需要原始分布的样本。CDRE可以应用于在线学习的场景，例如重要性加权协变量偏移，跟踪数据集变化以更好地做出决策。此外，（CDRE）还支持在持续学习的设置下对生成模型进行评估。据我们所知，目前还没有一种方法可以在不存储原始分布样本的情况下，在持续学习中评估生成模型。
2021-03-09 cs.LG stat.ML
Online Learning and Decision-Making under Generalized Linear Model with High-Dimensional Data
Penn State University（宾夕法尼亚州立大学）；University at Buffalo（布法罗大学）
针对在线学习和决策过程中决策者面对高维数据的问题，提出了一种广义线性模型下的极小极大凹惩罚多臂Bandit算法（G-MCP-Bandit）.我们证明了G-MCP-Bandit算法在样本大小维度T，O（log T）上渐近地达到最优累积后悔，并进一步在协变量维度d，O（log d）上达到一个紧界.此外，我们还提出了一种线性逼近方法，即两步加权Lasso方法，来确定非iid样本下G-MCP-Bandit算法的MCP估计量。在此过程中，MCP估计以高概率匹配Oracle估计，并以最佳收敛速度收敛到真参数。最后，通过基于合成数据和两个真实数据集（华法林用药数据集和腾讯搜索广告数据集）的实验，证明了G-MCP-Bandit算法优于其他基准算法，尤其是在数据稀疏度较高或决策集较大的情况下。
2018-12-07 cs.LG stat.ML
PROTON: Prototype-Based Test-Time Online OOD Detection for Medical VLMs
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Peradeniya（佩拉德尼亚大学）；Khalifa University（哈利法大学）；ADIA Lab（阿布扎比投资局实验室）；MedOS
针对医学视觉语言模型在部署时难以检测分布外输入的问题，提出PROTON方法，通过在线原型库和自适应融合原型距离与最大概念匹配得分，无需修改模型或训练数据，在多个OOD场景下提升检测性能。
2026-06-23 cs.AI cs.CV cs.LG
Online Learning with Radial Basis Function Networks
University College London（伦敦大学学院）
金融时间序列具有非平稳性和自相关性。即使这些时间序列是差分的，从技术上保证了它们的平稳性，它们也会经历规则的协变量偏移和概念漂移。在此背景下，我们将特征表示转移与顺序优化相结合，以提供多水平回报预测。我们的在线学习rbfnet优于随机游走基线和几个强大的批量学习器。我们制定的rbfnets自然是为了测量测试样本和不断更新的原型之间的相似性，这些原型捕获了特征空间的特征。
2022-10-27 cs.CE cs.LG q-fin.TR
Online hyperparameter optimization by real-time recurrent learning
New York University（纽约大学）
传统的超参数优化方法是计算密集型的，并且难以推广到需要动态适应超参数的场景，例如终身学习。在这里，我们提出了一个在线的超参数优化算法，是渐近精确和计算易处理的，无论是在理论上和实践中。我们的框架利用了超参数优化和递归神经网络（RNN）中参数学习之间的类比。它采用了一系列经过充分研究的RNN在线学习算法来同时调整超参数和网络参数，而无需重复进行迭代优化。与标准方法相比，该过程在挂钟时间的一小部分上系统地产生更好的泛化性能。
2021-04-08 cs.LG
Adapting Sequence to Sequence models for Text Normalization in Social Media
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
社交媒体提供了丰富的有价值的原始数据来源，但非正式的写作可能很快成为许多自然语言处理（NLP）任务的瓶颈。现成的工具通常是在正式文本上训练的，不能显式地处理简短的在线帖子中发现的噪音。此外，频繁出现的语言变体的多样性带来了一些挑战，即使对于可能无法理解这些帖子的含义的人来说，特别是当它们包含俚语和缩写时。文本规范化旨在将在线用户生成的文本转换为规范形式。目前的文本规范化系统依赖于字符串或语音相似性和分类模型，这些模型以本地方式工作。我们认为，处理上下文信息是至关重要的这项任务，并介绍了一个社交媒体文本规范化混合字字符注意力为基础的编码器-解码器模型，可以作为NLP应用程序的预处理步骤，以适应社会媒体中的嘈杂文本。我们基于字符的组件是在合成对抗性示例上训练的，这些示例旨在捕获在线用户生成文本中常见的错误。实验表明，我们的模型超越了为文本规范化设计的神经架构，并实现了与最先进的相关工作相当的性能。
2019-04-12 cs.AI cs.CL cs.LG
On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning
Technion University（以色列理工学院）；Nvidia Research（英伟达研究部门）
我们考虑的问题，使用专家数据与未观察到的混杂因素的模仿和强化学习。我们首先定义的问题，从混淆的专家数据在上下文MDP设置的学习。我们分析了在有和没有外部奖励的情况下从这些数据中学习的局限性，并提出了一种调整标准模仿学习算法以适应这种设置。然后，我们讨论的问题之间的分布偏移的专家数据和在线环境中的数据只有部分可观察。我们证明了在缺失协变量的任意分布偏移下模仿学习的可能性和不可能性结果。当提供额外的外部奖励，我们提出了一个采样过程，解决了未知的转变，并证明收敛到最优解。最后，我们验证了我们的主张经验上具有挑战性的辅助医疗和推荐系统模拟任务。
2021-10-13 cs.AI cs.LG cs.RO
Model-Agnostic Online Certificate-Driven Calibration for Time Series Forecasting Under Distribution Shift
提出模型无关的在线鞅概率近似正确贝叶斯框架，利用证书作为正则化器校准预测器，在分布漂移下提升时间序列预测的稳定性和准确性。
2026-10-06 cs.LG
Online Boosting Adaptive Learning under Concept Drift for Multistream Classification
University of Technology Sydney（悉尼科技大学）
针对多流分类中的概念漂移问题，提出在线提升自适应学习（OBAL）方法，通过双阶段机制自适应学习流间动态相关性，有效利用多源正向知识，提升目标流预测性能与稳定性。
2024-01-01 cs.AI cs.LG
Interpretable Deep Learning for Forecasting Online Advertising Costs: Insights from the Competitive Bidding Landscape
Kühne Logistics University（库恩物流大学）；Nova School of Business and Economics（Nova商学院）；Universidade NOVA de Lisboa（里斯本新大学）；University of Hamburg（汉堡大学）
本研究采用多种时间序列方法（含TFT）预测在线广告每日平均CPC，通过引入基于竞争对手CPC聚类的多变量协变量显著提升精度，并在市场剧变中保持稳健，为预算分配提供战略洞察。
2024-08-21 cs.AI cs.LG cs.SI
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
我们考虑在线无监督的跨领域自适应问题，其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战，例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC，一个对抗性的无监督领域自适应框架，它可以用一个完整的自进化神经网络结构来处理多个数据流，对这些挑战做出反应。ACDC将三个模块封装到一个模型中：一个提取特征的去噪自动编码器，一个执行域转换的对抗模块，以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架，具有很少的超参数可调性。我们的实验结果下的prequential测试，然后训练协议表明，在基线方法的目标精度的改善，在某些情况下，实现了超过10%的增加。
2021-10-04 cs.LG
Offline Meta-Reinforcement Learning with Online Self-Supervision
UC Berkeley（加州大学伯克利分校）；University of California, Berkeley（加州大学伯克利分校）
Meta-强化学习（RL）方法可以元训练策略，这些策略适应新任务，数据数量级比标准RL少，但元训练本身成本高且耗时。如果我们可以在离线数据上进行元训练，那么我们可以重用相同的静态数据集，为不同的任务标记一次奖励，以在元测试时元训练适应各种新任务的策略。虽然这种能力将使元RL成为现实世界使用的实用工具，但离线元RL提出了在线元RL或标准离线RL设置之外的额外挑战。元RL学习一种收集数据以进行调整的探索策略，并元训练一种快速适应新任务数据的策略。由于该策略是在固定的离线数据集上进行元训练的，因此当适应通过学习的探索策略收集的数据时，它可能会表现出不可预测的行为，这与离线数据系统地不同，从而引起分布变化。我们提出了一种混合离线元RL算法，该算法使用带有奖励的离线数据来元训练自适应策略，然后收集额外的无监督在线数据，而没有任何奖励标签来桥接这种分布偏移。通过在线收集不需要奖励标签，收集这些数据可以便宜得多。我们将我们的方法与模拟机器人运动和操纵任务的离线元RL的先前工作进行了比较，发现使用额外的无监督在线数据汇集可以显著提高元训练策略的自适应能力，在一系列需要推广到新任务的具有挑战性的领域上，匹配完全在线的元RL的性能。
2022-07-07 cs.AI cs.LG cs.RO
On the Query Strategies for Efficient Online Active Distillation
University of Verona（维罗纳大学）
本文评估多种查询策略，结合主动学习与在线蒸馏，在人体姿态估计数据集上验证了边缘轻量模型实时适应新环境的可行性。
2023-09-04 cs.CV cs.LG
Domain Adaptation for Time-Series Classification to Mitigate Covariate Shift
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）；LMU Munich（慕尼黑大学）；RWTH Aachen（亚琛工业大学）
针对机器学习模型面临的领域偏移导致性能下降问题，本文提出一种两步有监督领域自适应方法，通过类别相关变换和嵌入相似度选择实现域不变表示，在多类时间序列数据集上验证了有效性。
2022-07-15 cs.AI cs.LG
Online AutoML: An adaptive AutoML framework for online learning
Eindhoven University of Technology（埃因霍温理工大学）
自动机器学习（AutoML）已成功地用于学习任务被假定为静态的设置中。然而，在许多现实世界的场景中，数据分布将随着时间的推移而发展，AutoML技术是否可以在动态环境中有效地设计在线管道还有待证明。本研究的目的是自动化管道设计的在线学习，同时不断适应数据漂移。为此，我们设计了一个自适应的在线自动机器学习（OAML）系统，搜索在线学习器的完整管道配置空间，包括预处理算法和集成技术。该系统结合了在线学习者的固有适应能力和AutoML的快速自动管道（重新）优化能力。重点优化技术，可以适应不断变化的目标，我们评估异步遗传编程和异步连续减半，以不断优化这些管道。我们实验真实和人工数据流与不同类型的概念漂移，以测试所提出的系统的性能和适应能力。结果证实了OAML在流行的在线学习算法上的实用性，并强调了在存在数据漂移的情况下连续管道重新设计的好处。
2022-12-07 cs.AI cs.LG
