Learning What to Remember: Test-Time Training via Context Distillation
Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);UC Santa Cruz(加州大学圣克鲁兹分校);Carnegie Mellon University(卡内基梅隆大学)
该研究针对现有测试时训练未考虑保留信息未来效用的问题,提出TTCD框架及IP-TTCD变体,实验显示其在长上下文语言建模任务中性能优于多个基准方法,可助力架构持续学习。
2026-08-04 cs.AI cs.CL cs.LG
Task Agnostic Continual Learning Using Online Variational Bayes with Fixed-Point Updates
Technion, Israel Institute of Technology(以色列理工学院);Habana-Labs(哈巴纳实验室)
背景:灾难性遗忘是神经网络在学习过程中对数据分布变化的一种臭名昭著的脆弱性。这种现象长期以来一直被认为是在现实的持续学习环境中使用学习代理的主要障碍。大量的持续学习研究假设任务边界在培训过程中是已知的。然而,只有少数作品考虑的情况下,任务边界是未知的或没有很好地定义-任务不可知的情况下。最佳贝叶斯解决方案需要一个棘手的在线贝叶斯更新后验权重。贡献:我们的目标是尽可能准确地近似在线贝叶斯更新。要做到这一点,我们得到新的不动点方程的在线变分贝叶斯优化问题,多变量高斯参数分布。通过迭代后,通过这些固定点方程,我们得到一个算法(FOO-VB)的连续学习,可以处理非平稳数据分布使用一个固定的架构,而不使用外部存储器(即不访问以前的数据)。我们证明,我们的方法(FOO-VB)优于现有的方法在任务不可知的情况下。FOO-VB Pytorch实现将在线提供。
2021-10-18 cs.LG stat.ML
Algorithm Design for Online Meta-Learning with Task Boundary Detection
The Ohio State University(俄亥俄州立大学);University of Houston(休斯顿大学);University of California, Davis(加州大学戴维斯分校)
针对非平稳且任务边界未知的在线元学习问题,提出基于任务切换与分布漂移检测、仅用当前数据更新的算法,并证明次线性任务平均遗憾及显著实验优势。
2024-08-05 cs.LG stat.ML
Sample Weight Estimation Using Meta-Updates for Online Continual Learning
AIML Lab, School of Computer Science(AIML实验室,计算机科学学院);University of St. Gallen(圣加仑大学)
针对在线持续学习中样本权重分配未充分优化的问题,提出基于内更新与元更新机制的OMSI策略,通过估计小批次样本权重优化模型,在带噪数据流和标准基准中均取得更优效果,推动自适应持续学习研究。
2024-01-29 cs.LG
Online Continual Learning via the Meta-learning Update with Multi-scale Knowledge Distillation and Data Augmentation
China University of Petroleum Beijing (CUP)(中国石油大学(北京))
持续学习的目的是从一系列任务中快速、持续地学习当前任务。与其他方法相比,基于经验回放的方法在克服灾难性遗忘方面显示出了巨大的优势。这种方法的一个常见局限性是先前任务和当前任务之间的数据不平衡,这将进一步加剧遗忘。此外,如何有效地解决这种情况下的稳定性-塑性困境也是一个亟待解决的问题。在本文中,我们克服了这些挑战,提出了一种新的框架称为元学习更新通过多尺度知识蒸馏和数据增强(MMKDDA)。具体而言,我们应用多尺度知识蒸馏,以掌握在不同的功能级别的远程和短程的空间关系的演变,以缓解数据不平衡的问题。此外,该方法将情景记忆和当前任务的样本混合在一起进行在线连续训练,从而减轻了概率分布变化带来的负面影响。此外,我们通过元学习更新来优化我们的模型,这有助于在稳定性和可塑性之间保持更好的平衡。最后,我们在四个基准数据集上的实验评估显示了所提出的MMKDDA框架对其他流行基线的有效性,并且还进行了消融研究以进一步分析我们框架中每个组件的作用。
2022-09-12 cs.CV cs.LG
Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization
IBM Research(IBM研究院)
学习记忆长序列仍然是循环神经网络的一项具有挑战性的任务。寄存器记忆和注意力机制都被提出来解决这个问题,要么高计算成本,以保持记忆的可微性,或通过折扣的RNN表示学习编码更短的本地上下文比鼓励长序列编码。联想记忆研究的是在一个固定大小的存储器中压缩多个模式,近年来很少被考虑。虽然最近的一些工作试图在RNN中引入联想记忆,并模仿Hopfield网络中的能量衰减过程,但它继承了基于规则的记忆更新的缺点,并且记忆容量有限。本文提出了一种结合任务目标学习记忆更新规则的方法,以提高对长序列的记忆能力。此外,我们提出了一个架构,使用多个这样的联想记忆更复杂的输入编码。与其他RNN架构相比,我们在一些经过充分研究的序列学习任务中观察到了一些有趣的事实。
2017-10-03 cs.AI cs.LG stat.ML
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim(曼海姆大学);Boehringer Ingelheim(勃林格殷格翰)
本文提出 ReMeDe Trees,一种带内部记忆机制的循环决策树架构,通过梯度下降学习硬性轴对齐决策规则,以解决传统决策树难以直接捕获序列数据中长期依赖的问题,并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Learning Fast and Slow for Online Time Series Forecasting
Singapore Management University(新加坡管理大学);Salesforce Research Asia(赛富时亚洲研究院)
深度神经网络在非平稳环境中的快速适应能力对于在线时间序列预测至关重要。成功的解决方案需要处理对新的和重复出现的模式的更改。然而,动态训练深度神经预测器是非常具有挑战性的,因为它们适应非平稳环境的能力有限,并且会对旧知识产生灾难性遗忘。在这项工作中,受互补学习系统(CLS)理论的启发,我们提出了快速和慢速学习网络(FSNet),一个整体的框架,在线时间序列预测,同时处理突变和重复模式。特别是,FSNet通过动态平衡对最近变化的快速适应和检索类似的旧知识来改善缓慢学习的骨干。FSNet通过适配器的两个互补组件之间的交互来实现这种机制,以监视每个层对丢失的贡献,以及支持记住,更新和调用重复事件的关联存储器。在真实和合成数据集上进行的大量实验验证了FSNet对新模式和重复模式的有效性和鲁棒性。我们的代码可在\url{https://github.com/salesforce/fsnet}上获得。
2022-10-17 cs.LG stat.ML
ROIPCA: An online memory-restricted PCA algorithm based on rank-one updates
Tel-Aviv University(特拉维夫大学)
针对内存受限的流式 PCA 问题,提出基于秩一更新的 ROIPCA 与快速版 fROIPCA,并证明后者是最优学习率梯度算法,实验显示其在精度和运行时间上优于现有方法。
2023-06-07 cs.LG stat.ML
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD(新加坡科技设计大学)
本文提出对称锥乘法权重更新算法SCMWU,将乘法权重更新方法推广到任意对称锥的迹一元素集合上,并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Time-Smoothed Gradients for Online Forecasting
Stevens Institute of Technology(史蒂文斯理工学院)
在这里,我们研究不同的更新规则,随机梯度下降(SGD)的在线预测问题。在SGD中,学习率参数的选择至关重要。然而,在在线学习中调整该参数可能不可行。因此,需要具有对学习参数的选择不敏感的更新规则。受我们之前介绍的局部遗憾度量的启发,我们建议在SGD更新中使用时间平滑梯度。使用公共数据集-GEFCom 2014,我们验证了我们的方法比其他现有的方法产生更稳定的结果。此外,我们表明,这样一个简单的方法是计算效率的替代品相比。
2019-05-21 cs.LG stat.ML
Federated Learning with Hypergradient-based Online Update of Aggregation Weights
Nagoya Institute of Technology(名古屋技术大学)
本文提出FedHAW方法,通过超梯度实现聚合权重的在线更新,提升联邦学习在异构数据和通信环境中的泛化能力和鲁棒性。
2026-05-01 cs.LG eess.SP
Online Feature Updates Improve Online (Generalized) Label Shift Adaptation
UC San Diego(加利福尼亚大学圣迭戈分校);Cornell University(康奈尔大学);University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
针对在线场景下带标签缺失的标签偏移问题,提出结合自监督学习在线更新特征的OLS-OFU方法,理论上保持相近在线遗憾收敛性,实验效果较现有方法有显著提升。
2024-10-31 cs.LG
Divergence-Based Motivation for Online EM and Combining Hidden Variable Models
UC Santa Cruz(加州大学圣克鲁兹分校);Google Brain(谷歌大脑)
期望最大化(EM)是隐变量模型参数估计的一种重要方法。给定整批数据,EM在每次迭代时形成模型的负对数似然的上界,并更新到该上界的最小值。我们首先提供了EM上限的“模型级别”解释,即由一组观察值引起的一组单例模型的相对熵偏差之和。我们的替代动机统一了EM的“观察水平”和“模型水平”。因此,我们制定了一个在线版本的EM算法,通过添加一个类似的惯性项,对应于相对熵发散到旧模型。我们的动机是更广泛的适用于比以前的方法,并导致简单的在线更新的混合指数分布,隐马尔可夫模型,和第一个已知的在线更新卡尔曼滤波器。此外,惯性项的有限样本形式使我们能够在没有封闭形式解的情况下获得在线更新。最后,我们将分析扩展到分布式环境,在分布式环境中,我们激励一种系统的方法来结合多个隐变量模型。实验上,我们验证了合成以及真实世界的数据集的结果。
2020-02-21 cs.LG stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下,这变得比以前更容易,但新的挑战也随之而来。由于决策规则应该每步更新一次,因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此,我们提出了一个完全在线的算法,可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的,而且支持各种参数奖励模型。针对在线决策的统计推断问题,建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供,并显示是一致的,使区间估计和假设检验是可能的,使用我们的方法。通过仿真和新闻文章推荐的实际数据应用,对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
Understanding Adam Optimizer via Online Learning of Updates: Adam is FTRL in Disguise
MIT(麻省理工学院);Microsoft Research(微软研究院);Georgia Tech(佐治亚理工学院);Tsinghua University(清华大学)
本研究基于在线学习视角揭示了Adam优化器等价于Follow-the-Regularized-Leader(FTRL)框架,从而阐明了其算法组件的重要性并提供了新的理论理解。
2024-05-30 cs.LG math.OC
Dynamic pricing with Bayesian updates from online reviews
Universidad de Chile(智利大学);LIRMM, Université de Montpellier, CNRS(蒙彼利埃大学计算机科学、机器人技术与微电子实验室,法国国家科学研究中心);Flagship(Flagship 公司)
本文研究包含在线评论的动态定价模型,将卖家定价问题建模为bandits问题并利用Catalan数高效计算折扣奖励,进而分析比较了最优静态与动态定价策略在学习产品质量概率上的表现。
2024-04-23 cs.LG
Kernel Interpolation for Scalable Online Gaussian Processes
New York University(纽约大学);Cornell University(康奈尔大学)
高斯过程(GP)为在线设置中的性能提供了黄金标准,例如样本有效控制和黑盒优化,其中我们需要在以顺序方式获取数据时更新后验分布。然而,在已经观察到$n$点之后更新GP后验以适应甚至单个新观察至少会在精确设置中引起$O(n)$计算。我们展示了如何使用结构化内核插值来有效地回收计算恒定时间$O(1)$在线更新的点$n$的数量,同时保留精确的推理。我们展示了我们的方法在一系列在线回归和分类设置,贝叶斯优化,主动采样,以减少疟疾发病率预测的错误的承诺。代码可在https://github.com/wjmaddox/online_gp上获得。
2021-03-02 cs.LG stat.ML
Updates-Leak: Data Set Inference and Reconstruction Attacks in Online Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
机器学习(ML)在过去十年中发展迅速,推动这种发展的主要因素是前所未有的大规模数据。由于数据生成是一个连续的过程,这导致ML模型所有者在在线学习场景中使用新收集的数据频繁更新他们的模型。因此,如果在两个不同的时间点使用同一组数据样本查询ML模型,它将提供不同的结果。在本文中,我们研究了黑盒ML模型在更新前后的输出变化是否会泄漏用于执行更新的数据集(即更新集)的信息。这构成了针对黑盒ML模型的新攻击面,这种信息泄漏可能会损害ML模型所有者的知识产权和数据隐私。我们提出了四个攻击编码器-解码器制定,它允许推断不同的更新集的信息。我们的新攻击是由最先进的深度学习技术推动的。特别是,我们提出了一种混合生成模型(CBM-GAN),该模型基于生成对抗网络(GANs),但包括重建损失,允许重建准确的样本。我们的实验表明,提出的攻击实现强大的性能。
2019-11-30 cs.CR cs.LG stat.ML
Cooperative Online Learning: Keeping your Neighbors Updated
Università degli Studi di Milano(米兰大学);Artificial and Natural Intelligence Toulouse Institute(图卢兹人工智能与自然智能研究所);Toulouse School of Economics(图卢兹经济学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
我们研究了一个异步在线学习设置与网络的代理。在每一个时间步,一些代理被激活,被请求进行预测,并支付相应的损失。然后,将损失函数显示给这些代理以及它们在网络中的邻居。我们的研究结果表明,知道多少网络结构影响的代理激活模型的函数的遗憾。当激活是随机的,最佳遗憾(常数因子)是为了$\sqrt{αT}$,其中$T$是地平线和$α$是网络的独立数。我们证明,即使在代理商没有网络结构的信息时,也能达到上界。当激活是对抗性的情况发生了巨大的变化:如果代理忽略网络结构,$Ω(T)$的遗憾下限可以被证明,表明学习是不可能的。然而,当代理可以选择忽略他们的邻居的网络结构的知识的基础上,我们证明了一个$O(\sqrt{\overlineχ T})$次线性遗憾界,其中$\overlineχ \ge α$是网络的覆盖数。
2020-01-15 cs.LG stat.ML
Dynamic Local Regret for Non-convex Online Forecasting
Stevens Institute of Technology(史蒂文斯理工学院);Amazon(亚马逊)
我们考虑非凸机器学习模型的在线预测问题。预测引入了若干挑战,例如(i)频繁更新对于处理概念漂移问题是必要的,因为环境的动态随时间变化,以及(ii)现有技术的模型是非凸模型。我们用一个新的后悔框架来应对这些挑战。标准的后悔度量通常不考虑动态环境和非凸模型。我们引入了一个局部遗憾的非凸模型在动态环境中。我们提出了一个更新规则招致的成本,根据我们提出的本地遗憾,这是次线性的时间T。我们的更新使用时间平滑梯度。使用真实世界的数据集,我们表明,与最先进的竞争对手相比,我们的时间平滑方法产生了几个好处:结果对新数据更稳定;训练对超参数选择更鲁棒;我们的方法比其他方法计算效率更高。
2019-10-25 cs.LG stat.ML
Belief Flows of Robust Online Learning
University of Pennsylvania(宾夕法尼亚大学);The Technion(以色列理工学院)
本文介绍了一种新的在线学习的概率模型,它动态地将信息从随机梯度的任意损失函数。与概率滤波类似,该模型在最佳权重参数上保持高斯置信度。与传统的贝叶斯更新不同,该模型在使用汤普森采样选择的位置处包含少量梯度评估,使其在计算上易于处理。然后通过线性流场转换的信念,最佳更新的信念分布,使用来自信息论原则的规则。几个版本的算法使用不同的约束流场和传统的在线学习算法相比。结果给出了几个分类任务,包括逻辑斯谛回归和多层神经网络。
2015-05-26 cs.LG stat.ML
An Implicit Form of Krasulina's k-PCA Update without the Orthonormality Constraint
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们对在线$k$ -PCA问题的两个常用更新,即Krasulina和Oja的更新,提出了新的见解。我们发现,Krasulina的更新对应于一个投影梯度下降步骤的正交$k$ -帧的Stiefel流形上,而Oja的更新相当于一个梯度下降步骤使用的非投影梯度。根据这些观察,我们推导出Krasulina的$k$ -PCA更新的更多\emph{implicit}形式,即尽可能多地使用未来梯度信息的版本。最有趣的是,我们的隐式Krasulina更新通过绕过正交约束避免了昂贵的QR分解步骤。我们表明,新的更新实际上对应于一个在线EM步骤应用于概率$k$ -PCA模型。更新的概率视图允许我们在分布式设置中组合多个模型。我们的实验表明,隐式Krasulina更新产生优越的收敛性,同时显着更快。我们还提供了强有力的证据表明,新的更新可以受益于并行性和更稳定的w.r.t.调整学习率。
2019-09-11 cs.LG stat.ML
Online Hyperparameter Search Interleaved with Proximal Parameter Updates
University of Agder(阿格德尔大学)
显然需要有效的算法来调整统计学习方案的超参数,因为通常应用的搜索方法(例如具有N重交叉验证的网格搜索)是低效的和/或近似的。以前现有的算法,有效地搜索超参数依赖于平滑的成本函数不能应用于问题,如拉索回归。在这方面的贡献,我们开发了一个超参数优化方法,依赖于结构的近端梯度方法,不需要一个光滑的成本函数。这种方法被应用于留一法(LOO)验证的Lasso和Group Lasso,以产生高效的、数据驱动的超参数优化算法。数值实验证实了所提出的方法收敛到局部最优的LOO验证误差曲线,其近似的效率。
2020-04-06 cs.LG eess.SP stat.ML
Tell Me What To Learn: Generalizing Neural Memory to be Controllable in Natural Language
Columbia University(哥伦比亚大学)
本文提出了一种基于自然语言指令的通用神经记忆系统,实现对学习内容的灵活控制,适用于医疗和客户服务等需要动态更新的场景。
2026-11-06 cs.LG
Benchmarking Label-Revealed Online Updates for EEG BCI Decoding
该基准测试比较CSP与黎曼方法在EEG BCI在线解码中的标签揭示更新,发现其提升13/14个模型-数据集对,准确率最高提升约18%,且最新时间块数据价值最大。
2026-10-07 cs.LG eess.SP
Online Importance Weight Aware Updates
Cornell University(康奈尔大学);Yahoo! Research(雅虎研究院)
重要性权重量化了一个例子相对于另一个例子的相对重要性,出现在提升,不对称分类成本,减少和主动学习的应用中。在梯度下降中处理重要性权重的标准方法是通过梯度的乘法。我们首先证明了这种方法的问题时,重要性权重很大,并主张更复杂的方法来处理它们。然后,我们开发了一种方法,享有不变性:更新两次重要性权重$h$相当于更新一次重要性权重$2h$。对于许多重要的损失,当所有例子都有$h=1$时,它有一个满足标准后悔保证的封闭形式更新。我们还简要讨论了其他两个合理的方法来处理大的重要性权重。从经验上讲,这些方法在降低算法对学习率的精确设置的灵敏度的同时,以类似的计算性能产生显著更优的预测。我们将这些应用于在线主动学习,产生了一个非常快的主动学习算法,即使在存在对抗性噪声的情况下也能工作。
2011-06-18 cs.LG
Cost Trade-offs in Matrix Inversion Updates for Streaming Outlier Detection
LAAS-CNRS, University of Toulouse, CNRS(LAAS-CNRS大学、图卢兹大学、国家科学研究中心)
本文比较了三种矩阵逆更新方法,提出适用于不同场景的优化规则,为高效在线异常检测提供理论支持。
2026-03-17 cs.AI cs.LG
From Search to Signal: Search-Value Credit for Evolutionary Automatic Heuristic Design
Wenzhou University(温州大学)
该研究提出在自动启发式设计中,将在线后训练形式化为上下文相关信号构建,通过替代映射将程序有效性、任务性能和生成上下文转化为更新信号,以提升模型启发式设计能力。
2026-11-10 cs.AI cs.LG cs.NE
Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction
Huawei London Research Centre(华为伦敦研究中心);Huawei Ireland Research Centre(华为爱尔兰研究中心)
在点击率(CTR)预测的联邦学习(FL)中,出于隐私保护的考虑,不共享用户的数据。学习是通过在客户端设备上进行本地训练并仅将模型更改传达给服务器来执行的。有两个主要挑战:(i)客户端的异质性,使得使用加权平均来聚合来自客户端的模型更新的FL算法具有缓慢的进展和不令人满意的学习结果;以及(ii)由于每个实验所需的大量计算时间和资源,难以用试错法来调整服务器学习率。为了解决这些挑战,我们提出了一个简单的在线元学习方法来学习聚合模型更新的策略,该策略根据客户端的属性自适应地权衡客户端的重要性,并调整更新的步长。我们对公共数据集进行了广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都显着优于最先进的方法。
2022-08-30 cs.AI cs.CR cs.IR
MCPrioQ: A lock-free algorithm for online sparse markov-chains
Ericsson AB(爱立信公司)
针对高性能系统中超大规模图内存与计算效率难兼顾的问题,提出无锁稀疏马尔可夫链数据结构MCPrioQ,通过哈希表、原子指令及改进的读-复制-更新机制实现低复杂度的在线学习与近似正确的并发查找,适配推荐系统场景。
2023-04-28 cs.LG
ElfCore: A 28nm Neural Processor Enabling Dynamic Structured Sparse Training and Online Self-Supervised Learning with Activity-Dependent Weight Update
Institute of Neuroinformatics University of Zurich(神经信息学研究所 瑞士苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
ElfCore是一种28纳米神经处理器,通过动态结构稀疏训练和活动依赖权重更新,实现低功耗高效的学习与信号处理。
2025-12-24 cs.AR cs.LG
Act Now: A Novel Online Forecasting Framework for Large-Scale Streaming Data
School of Information Science and Engineering, Shandong University(山东大学信息科学与工程学院);School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);Ocean College, Jiangsu University of Science and Technology(江苏科技大学海洋学院);School of Qilu Transportation, Shandong University(山东大学齐鲁交通学院);Shandong Key Laboratory of Intelligent Communication and Sensing-Computing Integration(山东省智能通信与感知计算集成重点实验室)
针对现有在线预测方法存在信息泄露、概念漂移加剧、验证集缺失及GPU支持不足等问题,提出Act-Now框架,通过RSS算法、FSB/SSB双缓冲区更新、Lade模型及验证集在线更新,在大规模流数据上性能平均提升28.4%和19.5%。
2024-11-28 cs.LG
Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification
South China University of Technology(华南理工大学);University of Macau(澳门大学)
本文提出了一种准确且高效的在线广度学习系统,通过改进权重估计和在线更新策略,提升数据流分类任务的性能。
2025-12-07 cs.LG
A Unified Batch Online Learning Framework for Click Prediction
Microsoft(微软)
我们提出了一个统一的框架,批量在线学习(OL)的点击预测搜索广告。机器学习模型一旦部署,由于模型陈旧,随着时间的推移会显示出非平凡的准确性和校准降级。因此,有必要定期更新模型,并自动更新。本文提出了两种范例的批量在线学习,增量更新模型参数通过提前停止机制,另一个这样做,通过近端正则化。我们讨论了这两种方案如何自然地权衡新旧数据。然后,我们从理论和经验表明,这两个看似不同的计划是密切相关的。通过大量的实验,我们展示了我们的OL框架的效用;两个OL方案如何相互关联,以及它们如何在新数据和历史数据之间进行权衡。然后,我们将批量OL与完整模型再训练进行了比较,并展示了在线学习如何对数据问题更加鲁棒。我们还展示了在线学习的长期影响,OL中初始模型的作用,更新延迟的影响,最后总结了一些实现细节和在生产中部署真实世界的在线学习系统的挑战。虽然本文主要集中在搜索广告的点击预测的应用,我们希望这里学到的教训可以结转到其他问题领域。
2018-09-12 cs.AI cs.LG stat.ML
A Generalized Online Mirror Descent with Applications to Classification and Regression
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);The Technion(以色列理工学院);Università degli Studi di Milano(米兰大学)
在线学习算法速度快,内存效率高,易于实现,适用于许多预测问题,包括分类,回归和排名。在过去的几十年里,提出了几种在线算法,一些基于加法更新,如Perceptron,一些基于乘法更新,如Winnow。在线镜像下降提供了在线算法的设计和分析的统一观点,这是一种通用的预测策略,大多数一阶算法可以作为特例获得。我们将在线镜像下降推广到具有通用更新的时变正则化器。与标准的镜像下降,我们更一般的配方也捕获二阶算法,复合损耗算法和自适应滤波算法。此外,我们恢复,有时改善,已知的遗憾界作为我们的分析使用特定的正则化的特殊情况。最后,我们通过推导出一个新的二阶算法的遗憾界不变量相对于任意重新缩放的个人功能,我们的方法的力量。
2014-07-14 cs.LG
Online Verification of Deep Neural Networks under Domain Shift or Network Updates
Carnegie Mellon University(卡内基梅隆大学)
虽然神经网络得到了广泛的应用,但在实际应用中形式化地验证神经网络的安全性和鲁棒性仍然是一个挑战。现有的方法都是在部署前对网络进行验证,仅限于相对简单的规范和固定网络。这些方法还不能应用于具有复杂和/或动态变化的规范和网络的现实问题。为了有效地处理这些问题,需要在发生这些更改时在线执行验证。然而,在线运行现有的验证算法仍然具有挑战性。我们的关键见解是,我们可以利用这些变化的时间依赖性来加速验证过程。本文建立了一个新的框架,可扩展的在线验证,以解决现实世界的验证问题,动态变化的规范和/或网络。我们提出了三种类型的加速算法:分支管理,以减少重复计算,扰动容忍的变化,和增量计算重用以前的结果。实验结果表明,我们的算法实现了高达$100\times$的加速,从而显示了一个有前途的方式来扩展神经网络验证到现实世界的应用。
2023-02-03 cs.AI cs.LG
Online Deep Clustering for Unsupervised Representation Learning
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);A*STAR(新加坡科技研究局)
联合聚类和特征学习方法在无监督表示学习中表现出了显著的性能。然而,在特征聚类和网络参数更新之间交替的训练时间表导致视觉表示的不稳定学习。为了克服这一挑战,我们提出了在线深度聚类(ODC),它同时执行聚类和网络更新,而不是交替执行。我们的关键见解是,聚类中心应该稳步发展,保持分类器稳定更新。具体来说,我们设计并维护了两个动态存储模块,即,用于存储样本标签和特征的样本存储器,以及用于质心演化的质心存储器。我们将突然的全局聚类分解为稳定的内存更新和批量标签重新分配。该过程被集成到网络更新迭代中。通过这种方式,标签和网络并肩而不是交替发展。大量的实验表明,ODC稳定了训练过程,有效地提高了性能。代码:https://github.com/open-mmlab/OpenSelfSup.
2020-06-18 cs.CV cs.LG
Staying Alive: Online Neural Network Maintenance and Systemic Drift
The University of Texas at Austin(德克萨斯大学奥斯汀分校);ExxonMobil Technology and Engineering(埃克森美孚技术与工程公司)
针对系统性漂移下的模型在线维护问题,提出基于损失梯度选参的子集扩展卡尔曼滤波(SEKF)方法,经4个动态回归实验验证,其精度媲美或优于微调,且迭代耗时和超参数调优需求更低。
2025-03-22 cs.LG
FLeet: Online Federated Learning via Staleness Awareness and Performance Prediction
EPFL(洛桑联邦理工学院);INSA Lyon(里昂国立应用科学学院);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(IRISA研究所)
联邦学习(FL)因其隐私优势而非常有吸引力:本质上,全局模型是通过在移动设备上计算的更新进行训练的,同时将用户的数据保持在本地。然而,标准FL基础设施被设计为对移动设备没有能量或性能影响,因此不适合需要频繁(在线)模型更新的应用,例如新闻发布器。本文介绍了FLeet,第一个在线FL系统,作为Android操作系统和机器学习应用程序之间的中间件。FLeet将标准FL的隐私性与在线学习的精确性相结合,这要归功于两个核心组件:(i)I-Prof,一种新的轻量级分析器,可以预测和控制学习任务对移动设备的影响,以及(ii)AdaSGD,一种新的自适应学习算法,可以适应延迟更新。我们的广泛评估表明,与标准FL相比,FLeet实施的Online FL可以提供2.3倍的质量提升,而每天仅消耗0.036%的电池。I-Prof可以通过将预测精度提高到3.6倍(计算时间)和19倍(能量)来精确控制学习任务的影响。AdaSGD在异构数据的收敛速度方面比其他FL方法高出18.4%。
2020-12-03 cs.DC cs.LG stat.ML
Mitigating Asymmetric Nonlinear Weight Update Effects in Hardware Neural Network based on Analog Resistive Synapse
National Chiao Tung University(台湾交通大学)
非对称的非线性权值更新被认为是实现基于模拟电阻突触的硬件神经网络的主要障碍之一,因为它严重影响了网络的在线训练能力。本文通过与硬件适用的深度学习算法进行协同优化,为这一关键问题提供了新的解决方案。工程激活函数和阈值权重更新方案的新见解有效地抑制了不准确的权重更新引起的不期望的训练噪声。我们成功地在线训练了一个两层感知器网络,并分别使用具有极高非对称非线性的6位/8位模拟突触将MNIST手写数字数据集的分类准确率提高到87.8/94.8%。
2017-12-16 cs.ET cs.LG cs.NE
Predictive Online Convex Optimization
University of California, Berkeley(加州大学伯克利分校);University of Melbourne(墨尔本大学);University of Toronto(多伦多大学)
在在线凸优化中,我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的,其中关于当前回合的预测,例如,天气或负载的行为,可以用来改进仅通过过去的观察所做的预测。具体来说,我们引入了一个额外的预测步骤,遵循标准的在线凸优化步骤时,估计的梯度和下降方向的某些条件得到满足。我们表明,在这些条件下,没有任何假设的环境的可预测性,预测更新严格提高了标准更新的性能。对于不同的损失函数族,我们给出了两种类型的预测更新。我们提供了一个遗憾界,我们的预测在线凸优化算法。最后,我们将我们的框架应用到一个基于需求响应的例子中,该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
Dynamic Structure Embedded Online Multiple-Output Regression for Stream Data
IBM Research-China(IBM中国研究院);Nanjing University of Information Science and Technology(南京信息工程大学);East China Normal University(华东师范大学)
在线多输出回归是一种重要的机器学习技术,用于建模、预测和压缩多维相关数据流。在本文中,我们提出了一种新的在线多输出回归方法,称为MORES,流数据。MORES可以\emph{dynamically}学习在每个更新步骤中系数变化的结构,以促进模型的连续细化。我们观察到,有限的表达能力的回归模型,特别是在初步阶段的在线更新,往往会导致变量的残差是相依的。鉴于这一点,MORES打算\emph{dynamically}学习并利用残差的结构来提高预测精度。此外,我们定义了三个统计变量\emph{exactly}来代表所有已知的样本,用于\emph{incrementally}计算每轮在线更新的预测损失,避免了将所有训练数据加载到内存中进行模型更新,也有效地防止了模型在噪声存在下的剧烈波动。此外,我们还引入了遗忘因子,对样本设置不同的权重,以便从最新的样本中快速跟踪数据流的演化特征。在一个合成数据集和三个真实数据集上的实验验证了该方法的有效性。此外,MORES的更新速度在三个真实世界的数据集上每秒至少处理2000个样本,比最先进的在线学习算法快15倍以上。
2015-09-08 cs.LG
A Practical Recipe for Semi-Supervised Federated ASR: Online Pseudo-Labels with Server Update Stabilization
Apple(苹果公司)
针对半监督联邦ASR,提出在线伪标签与服务器更新稳定化的双轴设计,显著缩小与全监督FL的差距。
2026-09-23 cs.AI cs.LG stat.ML
Online local learning for generative thermodynamic computing
Central China Normal University(华中师范大学)
本文提出生成式热力学计算的在线局部训练方法,利用局部残差相关性梯度即时更新,在MNIST模拟中达到与批量训练相当的验证损失且释放更少热量,并揭示了噪声结构与精度的影响。
2026-09-15 cs.LG physics.data-an
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Online Gradient Boosting Decision Tree: In-Place Updates for Efficient Adding/Deleting Data
Rochester Institute of Technology(罗切斯特理工学院);Tufts University(塔夫茨大学)
本文提出首个支持原地统一增量与减量学习的GBDT在线学习框架,通过一系列优化实现数据的动态添加与删除,并在准确性与成本间权衡,后门攻击与公开数据集实验验证了其有效性与高效性。
2025-02-03 cs.AI cs.CR cs.LG
Beyond Time-Average Convergence: Near-Optimal Uncoupled Online Learning via Clairvoyant Multiplicative Weights Update
SUTD(新加坡科技设计大学);EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个新的和简单的算法,千里眼乘法权重更新(CMWU)的遗憾最小化在一般的游戏。CMWU有效地对应于标准MWU算法,但其中所有代理在更新其混合策略时,使用基于明天的行为的收益配置文件,即代理是千里眼。CMWU在所有具有m个动作和固定步长$η$的正规形式游戏中实现了$\ln(m)/η$的恒定遗憾。虽然CMWU在其定义中编码了一个固定点计算,这在原则上可能会导致既不计算效率也不解耦的动态,但我们表明,这两个问题都可以在很大程度上规避。具体地,只要步长$η$由$\frac{1}{(n-1)V}$上界,其中$n$是代理的数量,$[0,V]$是支付范围,则CMWU更新可以通过收缩映射线性快速计算。这种实现导致解耦的在线学习动态,其允许$O (\log T)$稀疏子序列,其中每个代理最多经历$O(nV\log m)$遗憾。这意味着CMWU动态以速率$O(nV \log m \log T / T)$收敛到\textit{Coarse Correlated Equilibrium}。后者改进了\textit{uncoupled online learning dynamics} \cite{daskalakis2021near,anagnostides2021near}的当前最先进的收敛速度。
2022-06-29 cs.AI cs.GT cs.LG
Improving Online Reinforcement Learning via Bidirectional Behavior Prior Distillation
Tongji University(同济大学);Shanghai University of Engineering Science(上海工程技术大学)
本文提出双向行为先验蒸馏(B2PD)算法,利用动作价值先验引导CVAE生成高价值行为支持集并蒸馏到智能体,以缓解在线强化学习中的评论家误差放大,显著提升样本效率和策略稳定性。
2026-09-18 cs.LG
Adapt Only When It Pays: Budgeted Decision-Loss Priority for Delayed Online Time-Series Adaptation
Xibai Wang(王希拜)
提出ADOWIP框架,通过决策损失优先级门控在反馈到达时选择性更新,在有限预算下降低决策损失,并在公共数据集上验证有效性。
2026-06-25 cs.AI cs.LG
Improving Policy Exploitation in Online Reinforcement Learning with Instant Retrospect Action
School of Computer Science, Tongji University(同济大学计算机科学学院)
IRA通过即时回顾动作和策略更新机制,提升在线强化学习中策略利用效率,减少过估计偏差,提高学习效率和性能。
2026-02-17 cs.LG
Overcoming Catastrophic Interference in Online Reinforcement Learning with Dynamic Self-Organizing Maps
University of Hong Kong(香港大学);University of Alberta(阿尔伯塔大学)
在强化学习(RL)框架中使用神经网络已经取得了显著的成功。然而,神经网络往往会忘记它们过去学到的东西,特别是当它们在线学习并且完全增量学习时,在这种设置中,权重在每个样本被接收后更新,然后丢弃样本。在此设置下,更新可能会因更改过多权重而导致过度全局泛化。全局泛化干扰了先前学习的内容并降低了性能,这种现象称为灾难性干扰。许多以前的作品使用的机制,如经验重放(ER)缓冲区,以减轻干扰,通过执行小批量更新,确保数据分布是近似独立和相同的分布(i.i.d.)。但是,随着问题复杂性的增加,使用ER在内存方面将变得不可行。因此,寻找更有效的内存替代方案至关重要。如果我们用更多的局部更新来替换全局更新,就可以避免干扰,因此只更新负责观察到的数据样本的权重。在这项工作中,我们提出了使用动态自组织映射(DSOM)与神经网络诱导这种局部性的更新没有ER缓冲区。我们的方法学习一个DSOM来产生一个掩码,以重新权衡每个隐藏单元的输出,调节其使用程度。它通过将全局更新替换为本地更新来防止干扰,并以代理的状态为条件。我们在标准RL基准测试(包括Mountain Car和Lunar Lander)上验证了我们的方法,现有方法在没有ER的情况下通常无法学习。从经验上讲,我们表明,我们的在线和完全增量的方法与最先进的方法相当,在某些情况下,在最终性能和学习速度方面优于最先进的方法。我们提供了可视化和定量措施,以表明…
2019-10-29 cs.AI cs.LG
Implicit Parameter-free Online Learning with Truncated Linear Models
Boston University(波士顿大学)
无参数算法是不需要设置学习率的在线学习算法。他们实现了最佳的后悔相对于初始点和任何竞争对手之间的距离。然而,无参数算法不考虑损失的几何形状。最近,在随机优化文献中,有人提出使用截断线性下限,通过更紧密地建模损失来产生更好的性能。特别是,截断线性模型大大减少了过冲损失函数的最小值的问题。不幸的是,截断线性模型不能与无参数算法一起使用,因为更新的计算成本非常高。在本文中,我们提出了新的无参数算法,可以利用截断的线性模型,通过一个新的更新,有一个“隐式”的味道。基于一种新的分解的遗憾,新的更新是有效的,只需要一个梯度在每一步,永远不会超过截断模型的最小值,并保留了有利的参数自由属性。我们还进行了实证研究,证明我们的算法的实际效用。
2022-03-19 cs.LG
Modality-Decoupled Online Recursive Editing
Harbin Institute of Technology, Shenzhen, China.(哈尔滨工业大学(深圳));Peng Cheng Laboratory, China.(鹏城实验室);Huazhong University of Science and Technology, China(华中科技大学)
本文提出M-ORE,一种用于持续多模态大语言模型适应的模态解耦在线递归编辑器,通过统一的近端投影公式和Sherman-Morrison递归实现常数级的每编辑开销,从而在保持模块局部统计信息和固定正交低秩编辑子空间的同时,减少长周期干扰,提升可靠性、通用性和局部性。
2026-05-19 cs.AI cs.LG