Global Convergence of Online Limited Memory BFGS
University of Pennsylvania（宾夕法尼亚大学）
建立了求解大规模机器学习中随机目标最优化问题的Broyden-Fletcher- Goldfarb-Shanno（BFGS）拟牛顿法的在线（随机）有限记忆版本的整体收敛.样本函数的Hessian特征值的上界足以保证曲率近似矩阵具有有界的行列式和迹线，这反过来又允许以概率1收敛到最优参数。支持向量机与合成数据的数值实验展示减少收敛时间相对于随机梯度下降算法，以及减少存储和计算相对于其他在线拟牛顿法。通过对搜索引擎广告问题的实验评估，证实了这些优点在实际应用中也得到了体现。
2014-09-06 cs.LG math.OC stat.ML
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Online Network Inference from Graph-Stationary Signals with Hidden Nodes
Rey Juan Carlos University（胡安·卡洛斯国王大学）；Rice University（莱斯大学）
针对真实场景中数据不完整、无法一次性获取且存在隐藏节点的问题，提出基于图平稳信号的在线图估计方法，通过近端梯度算法实时求解凸优化问题，理论与实验验证了其在缺失观测下的可行性。
2024-09-13 cs.LG eess.SP
Bilevel Online Deep Learning in Non-stationary Environment
China University of Petroleum, Beijing Campus (CUP)（中国石油大学（北京）校区）；Department of Automation, College of Information Science and Engineering, China University of Petroleum, Beijing Campus (CUP)（中国石油大学（北京）校区信息科学与工程学院自动化系）
近年来，在线学习取得了巨大的进步。然而，在人工智能体的道路上的一个主要挑战是概念漂移，即数据概率分布将改变的数据实例顺序到达流的方式，这将导致灾难性遗忘和降低模型的性能。本文提出了一种新的双层在线深度学习（BODL）框架，该框架结合了双层优化策略和在线集成分类器。在BODL算法中，我们使用一个集成分类器，它利用深度神经网络中不同隐层的输出来构建多个基分类器，基分类器的重要权值根据指数梯度下降方法在线更新。此外，我们应用相似约束来克服在线集成框架的收敛问题。然后设计了一种有效的概念漂移检测机制，利用分类器的出错率来监测数据概率分布的变化。当检测到概念漂移时，我们的BODL算法可以通过双层优化自适应地更新模型参数，从而规避大的漂移并鼓励正迁移。最后，在各种数据集上进行了广泛的实验和烧蚀研究，具有竞争力的数值结果表明，我们的BODL算法是一个有前途的方法。
2022-01-25 cs.LG
Online Convex Optimization with Unbounded Memory
Cornell University（康奈尔大学）
本文提出具有无界记忆的在线凸优化框架，引入p-有效记忆容量H_p量化历史决策影响，证明策略遗憾的O(√(H_pT))上下界，并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
A Modular Algorithm for Non-Stationary Online Convex-Concave Optimization
本文提出一种模块化算法，通过自适应、多预测器聚合与集成组件，在非平稳在线凸-凹优化中实现极小极大最优动态对偶间隙，并兼顾预测误差界与实证有效性。
2025-09-09 cs.LG math.OC
Adaptive Benign Overfitting (ABO): Overparameterized RLS for Online Learning in Non-stationary Time-series
University College London（伦敦大学学院）
ABO通过QR-EWRLS算法结合随机傅里叶特征和遗忘因子正则化，在非平稳条件下实现高效的在线学习，展现无害过拟合特性并提升预测精度与速度。
2026-01-29 cs.LG cs.MS cs.NA
Adversarial Tracking Control via Strongly Adaptive Online Learning with Memory
Boston University（波士顿大学）
我们考虑的问题，跟踪一个敌对状态序列的线性动力系统的敌对干扰和损失函数，推广早期的设置在文献中。为此，我们开发了三种技术，每一个独立的利益。首先，我们提出了一个比较器自适应算法的移动成本的在线线性优化。如果不进行调整，事后看来，它几乎与最佳调整的梯度下降的性能相匹配。接下来，考虑到一个相关的问题，称为在线学习与记忆，我们构建了一个新的强自适应算法，使用我们的第一个贡献作为积木。最后，我们提出了第一个减少从对抗跟踪控制强自适应在线学习与记忆。总结这些单独的技术，我们得到了一个对抗跟踪控制器具有很强的性能保证，即使参考轨迹有很大的运动范围。
2022-02-22 cs.LG cs.SY eess.SY
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan（日本东京CyberAgent公司）；National Institute of Informatics, Tokyo, Japan（日本东京信息机构）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN高级智能项目）；The Institute of Statistical Mathematics, Tokyo, Japan（日本东京统计数学研究所）；Tohoku University, Miyagi, Japan（日本宫城县立东大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本文提出在非平稳环境下，通过结合在线梯度下降的动态后悔分析与替代损失间隙技术，获得目标损失的上限，同时扩展到更广泛的设置，并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
Efficient Online Learning with Memory via Frank-Wolfe Optimization: Algorithms with Bounded Dynamic Regret and Applications to Control
University of Michigan（密歇根大学）
针对在线学习中投影操作的计算瓶颈，提出基于OFW和Hedge的无投影带记忆元-基学习算法，实现有界动态遗憾，并成功应用于线性时变系统的在线控制。
2023-03-31 cs.LG cs.SY eess.SY
Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对核化在线成对学习，提出有限内存方差缩减OGD算法，利用分层样本和随机傅里叶特征降低梯度方差，实现改进的次线性遗憾，实验验证其优越性。
2023-10-10 cs.LG
Memory-Computation Tradeoffs in Semi Amortized Parametric Optimization
Johns Hopkins University（约翰·霍普金斯大学）
研究在固定在线计算预算下，半摊销参数优化中离线信息与精度的关系。通过构建非参数预测器分析，给出强凸和满足特定条件凸目标的内存上下界及证明框架，实验验证了内存-计算-精度权衡。
2026-07-24 cs.LG
Distributed Associative Memory via Online Convex Optimization
KCLIP, CIIPS, Department of Engineering, King’s College London, London WC2R 2LS, UK（KCLIP、CIIPS、工程系、伦敦国王学院，伦敦 WC2R 2LS，英国）；Communication Systems Department, EURECOM, 06904 Sophia Antipolis, France（通信系统部门、EURECOM、法国索菲亚抗皮斯，06904）；Intelligent Networked Systems Institute, Northeastern University London, London E1 8PH, UK（智能网络系统研究所、伦敦东北大学、伦敦 E1 8PH，英国）
针对分布式联想记忆问题，提出基于路由树通信的分布式在线梯度下降方法以协同优化各智能体本地记忆，并证明次线性遗憾且实验优于现有基线。
2025-09-26 cs.LG eess.SP
Capacity Provisioning Motivated Online Non-Convex Optimization Problem with Memory and Switching Cost
本文研究带记忆和切换代价的在线非凸优化问题，通过调节活跃服务器数量最小化作业总延迟，并针对最坏情况和随机输入分别提出竞争算法。
2024-07-01 cs.DS cs.LG
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam（阿姆斯特丹大学）
非平稳性出现在许多在线应用中，如网络搜索和广告。在本文中，我们研究了在线学习排名问题的非平稳环境中，用户的偏好突然改变，在一个未知的时刻。我们考虑的问题，确定K个最有吸引力的项目，并提出级联非平稳土匪，一个在线学习变种的级联模型，其中用户浏览排名列表从上到下，点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题：CascadeDUCB和CascadeSWUCB。我们分析了它们的性能，并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾，并表明这两种算法匹配的下限的对数因子。最后，我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
Second-Order Non-Stationary Online Learning for Regression
The Technion - Israel Institute of Technology（以色列理工学院）
在标准的在线学习中，学习者的目标是使累积损失与来自某个固定类的最佳性能函数相比不大得多。与离线选择的最佳函数相比，许多算法被证明具有任意接近于零的间隙。然而，许多现实世界的应用，如自适应滤波，在本质上是非平稳的，最好的预测函数可能会随着时间的推移而漂移。我们介绍了两种新的在线回归算法，旨在工作在非平稳环境。我们的第一个算法执行自适应重置忘记历史，而第二个是最后一步的最小最大最优的上下文中的漂移。我们分析了这两种算法在最坏情况下的遗憾框架，并表明，他们保持接近的最佳缓慢变化的线性函数序列的平均损失，只要累积漂移是次线性的。此外，在平稳的情况下，当没有漂移发生，我们的算法遭受对数遗憾，为以前的算法。我们的边界改善现有的，和模拟证明了这些算法的有用性相比，其他国家的最先进的方法。
2013-03-01 cs.LG stat.ML
Efficient Methods for Non-stationary Online Learning
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学）
本文针对非平稳在线学习中的动态遗憾和自适应遗憾，提出将每轮投影次数从O(log T)降至1的高效方法，并扩展至区间动态遗憾，适用于在线随机控制和主成分分析。
2025-09-09 cs.LG stat.ML
Online Student-$t$ Processes with an Overall-local Scale Structure for Modelling Non-stationary Data
本文针对非平稳和重尾误差的时间数据建模问题，提出具有整体-局部协方差尺度结构的贝叶斯学生t过程混合模型，并结合序贯蒙特卡洛方法实现在线推断，在真实数据集上验证了其优于高斯过程模型。
2023-11-01 cs.LG stat.ML
Online Learning for Non-Stationary A/B Tests
Google AI（谷歌人工智能）；UC Berkeley（加州大学伯克利分校）
在现代应用程序中推出新版本的功能是一个手动的多阶段过程，因为该功能被发布给越来越多的用户群体，同时其性能受到仔细监控。这种A/B测试是普遍存在的，但不是最佳的，因为监控需要大量的人为干预，不能保证捕获一致的，但短期的性能波动，并且效率低下，因为更好的版本需要很长时间才能达到完整的人群。在这项工作中，我们制定了这个问题的专家学习，并给出了一个新的算法跟随最佳间隔，FTBI，工作在动态，非平稳环境。我们的方法实用、简单、高效，并对其性能有严格的保证。最后，我们对合成和真实世界的数据集进行了全面的评估，并表明我们的方法优于当前最先进的方法。
2018-05-27 cs.LG stat.ML
Information-theoretic Online Memory Selection for Continual Learning
DeepMind（深度思维）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Baidu Apollo（百度阿波罗）
无任务持续学习中的一个挑战性问题是从数据流中在线选择代表性重放记忆。在这项工作中，我们从信息论的角度研究了在线记忆选择问题。为了收集最多的信息，我们提出了\textit{surprise}和\textit{learnability}标准来挑选信息点并避免离群值。我们提出了一个贝叶斯模型来计算的标准，有效地利用秩一矩阵结构。我们证明，这些标准鼓励选择信息点在线记忆选择的贪心算法。此外，通过识别\textit{the timing to update the memory}的重要性，我们介绍了随机信息理论水库采样器（InfoRS），它进行高信息的选择点之间的采样。与水库采样相比，InfoRS显示出对数据不平衡的更好的鲁棒性。最后，通过对持续学习基准的实证分析，证明了该方法的有效性。
2022-04-10 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Labeled Memory Networks for Online Model Adaptation
IIT Bombay（印度理工学院孟买分校）
用记忆增强神经网络，而不增加训练参数的数量，是一个最近的强大概念，有许多令人兴奋的应用。我们提出了一种设计的记忆增强神经网络（MANN）称为标签记忆网络（LMNs）适合于需要在线适应分类模型的任务。LMN以类作为主键码来组织记忆，记忆作为继常规神经网络之后的第二个提升阶段，从而允许记忆和主网络发挥互补作用。与针对每个实例写入存储器并使用基于LRU的存储器替换的现有MANN不同，LMN仅针对具有非零丢失的实例写入并使用基于标签的存储器替换。我们在各种任务上表现出显着的准确性增益，包括单词建模和少样本学习。在本文中，我们建立了他们的潜力，在线适应一批训练神经网络领域相关的标记数据在部署时。我们表明，LMNs优于其他MANN设计的元学习。我们还发现，它们比最先进的重新调整模型参数的方法更准确，更快，以适应特定领域的标记数据。
2017-12-02 cs.LG stat.ML
Non-Stationary Functional Bilevel Optimization
Applied Mathematics and Statistics, Stony Brook University, Stony Brook, NY, USA（应用数学与统计学系，史泰文布鲁克大学）；Inria, CNRS, Grenoble INP, LJK, Université Grenoble Alpes（法国国家信息与自动化技术研究院、国家科学研究中心、格勒诺布尔INP、LJK、格勒诺布尔阿尔卑斯大学）
SmoothFBO是首个在非平稳函数双层优化中具有理论保证和实际可扩展性的算法，通过时间平滑的随机超梯度估计器提升稳定性和性能。
2026-09-04 cs.LG stat.ML
Associative Memory for Non-Stationary Environments: A Self-Sizing Generalization of Hopfield Networks
Department of Computer Science（计算机科学系）
针对非平稳环境，提出一种自规模持续联想记忆模型，通过对比相似性算子估计环境内在记忆需求，实现无遗忘存储、动态绑定和规模自适应。
2026-06-23 cs.LG stat.ML
Unifying Clustered and Non-stationary Bandits
University of Virginia（弗吉尼亚大学）
非平稳的土匪和土匪的在线聚类解除了上下文土匪的限制性假设，并为许多重要的现实世界的场景提供了解决方案。虽然解决这两个问题的实质有相当大的重叠，但它们被独立地研究。在本文中，我们连接这两股的土匪研究的概念下的测试的同质性，无缝地解决变化检测的非平稳土匪和集群识别的在线集群的土匪在一个统一的解决方案框架。严格的遗憾分析和广泛的实证评估表明，我们提出的解决方案的价值，特别是它的灵活性，在处理各种环境假设。
2020-09-05 cs.LG stat.ML
ROIPCA: An online memory-restricted PCA algorithm based on rank-one updates
Tel-Aviv University（特拉维夫大学）
针对内存受限的流式 PCA 问题，提出基于秩一更新的 ROIPCA 与快速版 fROIPCA，并证明后者是最优学习率梯度算法，实验显示其在精度和运行时间上优于现有方法。
2023-06-07 cs.LG stat.ML
Recurrent Memory for Online Interdomain Gaussian Processes
Imperial College London（伦敦帝国学院）；Canon Inc.（佳能公司）；University of Copenhagen（哥本哈根大学）
提出 OHSVGP，将 HiPPO 时变正交投影作为跨域 GP 的循环诱导变量，实现历史记忆与核矩阵在线递推更新，并在多类任务中提升预测、记忆和效率。
2025-09-28 cs.LG stat.ML
Online Resource Allocation with Non-Stationary Customers
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运营研究与分析学院）
提出一种在线资源分配算法，解决非平稳客户到达与未知点击率问题，结合随机上下文老虎机与在线匹配技术，实现次线性遗憾与最优竞争比，并在多种场景下获得接近最优收入。
2024-06-02 cs.LG math.OC
A unifying framework for generalised Bayesian online learning in non-stationary environments
Google DeepMind（谷歌DeepMind）
本文提出 BONE 统一框架，通过测量模型、非平稳辅助过程、条件先验及两类推断算法，整合并扩展非平稳环境下的概率在线学习方法。
2025-03-12 cs.LG stat.ML
Non-stationary Online Regression
Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在线预测在不断变化的环境下已经成为一个越来越重要的问题，在许多现实世界的应用。在本文中，我们考虑的元算法中提出的\citet{zhang2017dynamic}结合不同的子程序。我们证明了对于参数序列的总变差由$C_n$约束的非平稳在线线性回归，可以得到一个期望的$\tilde{O}(n^{1/3} C_n^{2/3})$阶累积误差。本文将\cite{baby2019online}中提出的一维时间序列在线预测的结果推广到一般的$d$维非平稳线性回归。我们提高了Zhang等人2017和Besbes等人2015获得的$O(\sqrt{n C_n})$率。我们进一步扩展我们的分析，非平稳在线核回归。与非平稳在线回归情况类似，我们使用Zhang et al. 2017的元程序结合Kernel-AWV（Jezequel et al. 2020）来实现由RKHS的有效维度和序列的总变异控制的预期累积。据我们所知，这项工作是非平稳在线回归的非平稳核回归的第一次扩展。最后，我们评估我们的方法与现有的几个基准经验，并将其与本文得到的理论界。
2020-11-13 cs.LG math.ST stat.TH
Memory In Memory: A Predictive Neural Network for Learning Higher-Order Non-Stationarity from Spatiotemporal Dynamics
Tsinghua University（清华大学）
自然时空过程在很多方面都具有高度的非平稳性，如局部像元值的空间相关性或时间依赖性等低层次的非平稳性;降水预报中雷达回波的积累、变形或耗散等高层次的变化。根据Cramer分解，任何非平稳过程都可以分解为确定性的时变多项式，加上一个零均值随机项。通过适当地应用差分运算，我们可以将时变多项式变成常数，使确定性分量可预测。然而，大多数以前的时空预测递归神经网络没有有效地使用差分信号，并且它们相对简单的状态转换函数阻止它们学习太复杂的时空变化。为此，我们提出了内存中的内存（MIM）网络和相应的递归块。MIM块利用相邻的经常性状态之间的差分信号来模拟时空动态中的非平稳和近似平稳特性，具有两个级联的自我更新的存储器模块。通过堆叠多个MIM块，我们可以处理高阶非平稳性。MIM网络在合成和真实世界数据集上的四个时空预测任务上取得了最先进的结果。我们相信，这项工作的总体思路可以潜在地应用于其他时间序列预测任务。
2019-04-21 cs.LG stat.ML
Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data
University of Texas, Austin（得克萨斯大学奥斯汀分校）；Facebook Inc.（脸书公司）
大规模深度学习通过采用更广泛和更深入的模型来提高内容推荐系统的质量，但这在现代数据中心中带来了巨大的基础设施成本和碳足迹。剪枝是一种有效的技术，可以减少模型推理的内存和计算需求。然而，在线推荐系统的修剪是具有挑战性的，由于连续的数据分布偏移（又名非平稳数据）。虽然完整模型上的增量训练能够适应非平稳数据，但直接将其应用于修剪模型会导致准确性损失。这是因为修剪后的稀疏模式需要调整以学习新的模式。据我们所知，这是第一项深入分析和讨论将修剪应用于具有非平稳数据分布的在线推荐系统的工作。总体而言，本文的工作主要有以下几个方面的贡献：1）提出了一种自适应的密集到稀疏的模式，并结合一种新的剪枝算法，用于对具有非平稳数据分布的大规模推荐系统进行剪枝; 2）设计了自动学习层间稀疏度的剪枝算法，避免了重复手工调整，这对于修剪用非平稳数据训练的推荐系统的异构体系结构是至关重要的。
2020-10-21 cs.LG
Hedging Memory Horizons for Non-Stationary Prediction via Online Aggregation
Department of Statistics, LSE London, UK（伦敦经济学院统计系）；Électricité de France R&D Palaiseau, France（法国电力公司Palaiseau研发部）
本文提出MELO方法，通过在线聚合和指数加权最小二乘法应对分布偏移，减少预测误差并提升适应性。
2026-05-07 cs.LG stat.ML
Online Learning and Matching for Resource Allocation Problems
University of California, Irvine（加州大学欧文分校）；DAMO Academy, Alibaba US（阿里巴巴美国达摩院）；Amherst College（阿默斯特学院）；University of California, Los Angeles（加州大学洛杉矶分校）；University College London（伦敦大学学院）；Purdue University（普渡大学）
为了使电子商务平台的收入最大化，它必须向客户推荐他们最有可能购买的商品。但是，公司通常对这些项目有业务约束，例如库存中每个项目的数量。在这项工作中，我们的目标是向用户推荐项目，因为他们在网页上顺序到达，在一个在线的方式，以最大限度地提高公司的回报，但也满足预算限制。首先，我们接近一个简单的在线问题，其中客户到达作为一个平稳的泊松过程，并提出了一个集成的算法，进行在线优化和在线学习在一起。然后，我们使模型更复杂，但更现实，治疗的到达过程作为非平稳泊松过程。为了处理异质客户到达，我们提出了一个时间分割算法，将一个非平稳问题转化为一系列的平稳问题。在大规模合成数据上进行的实验表明，我们提出的方法在解决约束资源分配问题上是有效的。
2019-11-18 cs.LG math.OC stat.ML
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning
Argonne National Laboratory（阿贡国家实验室）
从输入数据流中持续学习而不发生灾难性遗忘的能力对于设计智能系统至关重要。许多现有的持续学习方法依赖于随机梯度下降及其变体。然而，这些算法必须实现各种策略，例如存储器缓冲器或重放，以克服随机梯度下降方法在稳定性、贪婪和短期记忆方面的众所周知的缺点。为此，我们开发了一个生物启发的轻量级神经网络架构，它结合了本地学习和神经调节，使输入处理数据流和在线学习。接下来，我们解决的挑战，是不知道的任务，提前实现转移元学习：使用贝叶斯优化，探索设计空间跨越多个本地学习规则和他们的超参数，我们确定高性能的配置在经典的单任务在线学习，我们将它们转移到持续学习任务与任务相似性的考虑。我们证明了我们的方法在单一任务和持续学习设置的有效性。对于单任务学习设置，我们在MNIST，Fashion MNIST和CIFAR-10数据集上展示了优于其他本地学习方法的性能。使用高性能的配置元在单任务学习设置，我们实现了优越的持续学习性能分裂MNIST，和分裂CIFAR-10数据相比，其他内存受限的学习方法，并匹配的最先进的内存密集型重放为基础的方法。
2021-03-13 cs.LG stat.ML
Memory-Based Meta-Learning on Non-Stationary Distributions
DeepMind（深度思维）；University of Cambridge（剑桥大学）
本文研究基于记忆的序列模型在非平稳分布上的元学习能力，证明Transformers、LSTMs和RNNs能隐式近似贝叶斯最优预测器，并对潜在切换点与分段参数进行类贝叶斯推断。
2023-05-25 cs.AI cs.LG stat.ML
Optimizing Class Distribution in Memory for Multi-Label Online Continual Learning
Nanjing University（南京大学）
在线持续学习，特别是当任务身份和任务边界不可用时，是一种具有挑战性的持续学习设置。在线持续学习的一种典型方法是基于重放的方法，该方法通过维护一个称为记忆的重放缓冲区来保存一小部分过去的样本，以克服灾难性遗忘。在处理在线持续学习时，大多数现有的基于回放的方法都集中在单标签问题上，其中数据流中的每个样本只有一个标签。但多标签问题也可能发生在在线持续学习设置中，其中每个样本可能有一个以上的标签。在具有多标签样本的在线设置中，数据流中的类别分布通常是高度不平衡的，并且由于改变属于一个类别的样本的数量可能影响属于其他类别的样本的数量，因此控制存储器中的类别分布是具有挑战性的。但是，存储器中的类分布对于基于重放的存储器获得良好的性能至关重要，特别是当数据流中的类分布高度不平衡时。在本文中，我们提出了一个简单而有效的方法，称为优化类分布在内存（OCDM），多标签在线持续学习。OCDM将内存更新机制表述为一个优化问题，通过求解该优化问题来更新内存。在两个广泛使用的多标签数据集上的实验表明，OCDM可以很好地控制内存中的类分布，并且性能优于其他最先进的方法。
2022-09-23 cs.LG
Memory-Efficient Episodic Control Reinforcement Learning with Dynamic Online k-means
Imperial College London（帝国理工学院）
最近，已经开发了神经启发的情景控制（EC）方法来克服标准深度强化学习方法的数据低效。使用非/半参数模型来估计价值函数，它们可以快速学习，从类似的过去状态中检索缓存的值。在现实场景中，由于资源有限和数据嘈杂，在记忆中保持有意义的表征对于加速学习和避免灾难性遗忘至关重要。不幸的是，EC方法具有较大的空间和时间复杂度。我们调查不同的解决方案，这些问题的优先级和排名存储状态的基础上，以及在线聚类技术。我们还提出了一种新的动态在线k-means算法，既计算效率高，又在较小的内存大小下产生更好的性能;我们在经典的强化学习环境和Atari游戏中验证了这种方法。
2019-11-21 cs.LG cs.NE stat.ML
An Application of Online Learning to Spacecraft Memory Dump Optimization
Università degli Studi di Milano（米兰大学）；Toulouse School of Economics（图卢兹经济学院）；CLC Space GmbH（CLC航天有限公司）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一个真实世界的应用程序的在线学习与专家的意见，空间业务领域，测试我们的理论现实生活中的数据来自哥白尼哨兵-6卫星。我们表明，在航天器内存转储优化，一个轻量级的跟随领导者算法导致性能的增加超过$60\%$相比，传统的技术。
2022-09-24 cs.LG
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出利用预收集的被动记忆来改进在线强化学习，证明了其遗憾值接近极小极大最优，并表明被动记忆质量决定遗憾值的次优程度，且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Online Second Price Auction with Semi-bandit Feedback Under the Non-Stationary Setting
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了非平稳在线第二价格拍卖问题。我们假设卖方在$T$轮中通过第二价格拍卖出售相同类型的物品，并且她可以在每轮中设置保留价。在每一轮中，投标人从卖方未知的联合分布中提取他们的私人价值。然后，卖家宣布了这一轮的底价。接下来，私人价值高于该轮宣布的保留价的投标人将向卖方报告他们的价值作为他们的出价。出价最高的投标人将赢得该项目大于保留价，她将支付给卖方的价格等于第二高的出价或保留价，以较大者为准。卖方希望在时间范围$T$内最大化其总收入，同时了解私人价值随时间的分布。这个问题比标准的在线学习场景更具挑战性，因为私有值分布是非平稳的，这意味着投标人的私有值分布可能会随着时间的推移而变化，我们需要使用\emph{non-stationary regret}来衡量我们算法的性能。据我们所知，本文是第一次对非平稳环境下的重复拍卖进行理论研究。该算法达到了非平稳遗憾上界$\tilde{\mathcal{O}}(\min\{\sqrt{\mathcal S T}, \bar{\mathcal{V}}^{\frac{1}{3}}T^{\frac{2}{3}}\})$，其中$\mathcal S$是分布中开关数，$\bar{\mathcal{V}}$是总变差之和，并且该算法不需要知道$\mathcal S$和$\bar{\mathcal{V}}$.我们还证明了遗憾下界$Ω(\sqrt{\mathc…
2019-11-14 cs.DS cs.GT cs.LG
Uncertainty Guided Online Ensemble for Non-stationary Data Streams in Fusion Science
Department of Computer Science, University of Houston（计算机科学系，休斯顿大学）
针对聚变数据非平稳分布漂移导致ML模型性能下降的问题，提出不确定性引导的在线集成方法，利用DGPA估计不确定性指导元算法集成预测，显著降低预测误差。
2025-11-03 cs.AI cs.LG physics.plasm-ph
Learnability in Online Kernel Selection with Memory Constraint via Data-dependent Regret Analysis
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对带内存约束的在线核选择问题，提出依赖核对齐和竞争假设累积损失的数据依赖上界，构建基于新型缓冲区与专家建议预测归约的算法框架，证明小内存下次线性数据复杂度下可学习，并经实验验证性能。
2025-03-24 cs.LG
Online Reinforcement Learning in Non-Stationary Context-Driven Environments
MIT（麻省理工学院）；CS Brown University（布朗大学计算机科学系）；Microsoft Research（微软研究院）
针对非平稳环境中在线强化学习的灾难性遗忘问题，提出局部约束策略优化（LCPO）方法，通过锚定旧经验策略输出并在当前上下文分布外采样进行局部约束，显著提升了性能并与离线先知智能体表现相当。
2025-03-31 cs.AI cs.LG
Online Adaptive Reinforcement Learning with Echo State Networks for Non-Stationary Dynamics
Department of Computer Science, Nagoya Institute of Technology（名古屋技术大学计算机科学系）；Nagoya Institute of Technology（名古屋技术大学）；International Research Center for Neurointelligence, The University of Tokyo（神经智能国际研究中心，东京大学）
本文提出基于回声状态网络的在线自适应强化学习框架，通过共振计算实现快速适应，适用于非平稳动态环境中的实时机器人控制。
2026-02-06 cs.LG
Second Order Path Variationals in Non-Stationary Online Learning
University of California Santa Barbara（加州大学圣巴巴拉分校）
考虑指数凹光滑损失下的泛动态后悔最小化问题。我们表明，适当设计的强自适应算法实现了动态遗憾的$\tilde O(d^2 n^{1/5} C_n^{2/5} \vee d^2)$，其中$n$是时间范围和$C_n$的路径变分的基础上的二阶差异的比较器序列。这样的路径变分自然地编码分段线性的比较器序列-一个强大的家族，在实践中跟踪各种非平稳模式（Kim等人，2009）。上述动态后悔率被证明是最优模维数依赖和多对数因子的$n$。我们的证明技术依赖于分析离线预言机的KKT条件，并需要对Baby和Wang，2021中的思想进行一些非平凡的概括，其中后者的工作只会导致当前问题的$\tilde O(d^{2.5}n^{1/3}C_n^{2/3} \vee d^{2.5})$的动态遗憾率较慢。
2023-02-25 cs.LG math.OC stat.ML
Dual Memory Architectures for Fast Deep Learning of Stream Data via an Online-Incremental-Transfer Strategy
Seoul National University（首尔大学）；Naver Labs
深度神经网络的在线学习是机器学习的一个有趣问题，因为例如，主要的IT公司希望管理每天上传到网络上的海量数据的信息，而这项技术可以为下一代终身学习做出贡献。我们的目标是以最小的计算成本从新数据中训练深度模型，这些数据由新的类、分布和任务组成，我们称之为在线深度学习。不幸的是，通过经典的在线和增量方法进行的深度神经网络学习在理论和实践上都不能很好地工作。在本文中，我们介绍了在线增量式深度学习的双内存架构。所提出的架构由深度表示学习器和快速学习的浅核网络组成，两者协同跟踪新数据的信息。在训练阶段，我们使用各种在线，增量集成，和迁移学习技术，以实现较低的错误的架构。在MNIST，CIFAR-10和ImageNet图像识别任务上，所提出的双存储器架构的性能远远优于经典的在线和增量集成算法，其精度与批处理学习器相似。
2015-06-15 cs.LG
An Online Algorithm for Computation Offloading in Non-Stationary Environments
Indian Institute of Science（印度科学学院）
我们考虑的延迟最小化问题，在任务卸载的情况下，多个服务器可用于外包计算任务的用户设备。考虑到无线链路的时间动态特性和计算资源的可用性，我们将服务器选择建模为多臂强盗（MAB）问题。在所考虑的MAB框架中，奖励的特征在于端到端延迟。我们提出了一种新的在线学习算法的基础上乐观的原则，在面对不确定性，它优于国家的最先进的算法高达~ 1 s。我们的研究结果强调了在动态环境中严重折扣过去奖励的重要性。
2020-06-22 cs.LG cs.MA eess.SP
Efficient Memory Crystallization for Graph Learning under Non-Stationary Distribution Shifts
State Key Laboratory of Complex & Critical Software Environment, Beihang University（北京航空航天大学复杂关键软件环境国家重点实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）
提出免训练的EMC框架，通过闭式解将图域结晶为紧凑记忆，以高效应对非平稳分布偏移，显著降低运行时间和内存消耗。
2026-10-15 cs.LG
An Online Optimization-Based Decision Support Tool for Small Farmers in India: Learning in Non-stationary Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）
本文针对印度小农户缺乏作物管理决策支持工具的问题，将温室建模为MDP并采用FWL在线学习算法提供作物规划建议，在仿真中实现与离线规划相同的累计收入且运行时间大幅缩短。
2023-11-28 cs.CY cs.LG
Non-Stationary Latent Bandits
Google Research（谷歌研究院）
推荐系统的用户经常表现在一个非固定的方式，由于他们的不断变化的喜好和口味随着时间的推移。在这项工作中，我们提出了一个实用的方法，快速个性化的非固定用户。关键的想法是将这个问题框定为潜在的强盗，其中用户行为的原型模型是离线学习的，用户的潜在状态是从其与模型的交互中在线推断的。我们称这个问题为一个非平稳的潜在的强盗。我们提出了汤普森采样算法的遗憾最小化在非平稳的潜在土匪，分析他们，并评估他们在现实世界的数据集。我们方法的主要优势在于它可以与丰富的离线学习模型相结合，这些模型可能会被错误指定，然后使用后验采样在线微调。通过这种方式，我们自然地结合了线下和在线学习的优势。
2020-12-01 cs.AI cs.LG
A Last-Step Regression Algorithm for Non-Stationary Online Learning
The Technion（以色列理工学院）
学习者在标准在线学习中的目标是保持平均损失接近某类中表现最好的单个功能的损失。在许多现实世界的问题中，例如对项目进行评级或排名，在算法的运行时间期间不存在单个最佳目标函数，而是最佳（局部）目标函数随时间漂移。我们开发了一种新的最后一步极小极大优化算法的上下文中的漂移。我们分析了算法在最坏情况下的遗憾框架，并表明，它保持了平均损失接近的最佳缓慢变化的线性函数序列，只要漂移的总是次线性的。在某些情况下，我们的界限改善现有的界限，此外，该算法遭受对数遗憾时，没有漂移。我们还建立在H_infinity滤波器和它的界限，并开发和分析第二个算法的漂移设置。合成模拟证明了我们的算法在最坏情况下的恒定漂移设置的优势。
2013-03-15 cs.LG
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
