Rehearsal-Free Continual Learning over Small Non-I.I.D. Batches
University of Bologna（博洛尼亚大学）
机器人视觉是一个持续学习可以发挥重要作用的领域。一个具体的代理人在一个复杂的环境中进行频繁和不可预测的变化，需要不断学习和适应。例如，在对象识别的背景下，机器人应该能够学习（而不会忘记）以前从未见过的类的对象，并在发现已知类的新实例时提高其识别能力。理想情况下，持续学习应该由单个对象的短视频的可用性触发，并在具有细粒度更新的板载硬件上在线执行。在本文中，我们介绍了一种新的持续学习协议的基础上的CORe 50基准，并提出了两个排练免费的持续学习技术，CWR* 和AR 1 *，可以有效地学习，即使在具有挑战性的情况下，近400个小的非i.i.d.增量批次。特别是，我们的实验表明，在某些情况下，AR1* 的准确率可以超过其他最先进的免排练技术15%以上，并且在训练批次中的计算和内存开销非常小且恒定。
2020-04-21 cs.CV cs.LG cs.NE
A Novel Incremental Clustering Technique with Concept Drift Detection
正在从生活的各个方面收集数据。这些数据通常会以块/批的形式到达。传统的静态聚类算法不适用于动态数据集，即，当数据以块/批的流到达时。如果我们在组合数据集上应用传统的聚类技术，那么每次新的一批数据到来时，这个过程可能会很慢而且浪费。此外，由于其不断增加的大小，将组合数据集存储在内存中可能具有挑战性。因此，已经提出了各种增量聚类技术。这些技术需要在新批次到达时有效地更新当前聚类结果，以使当前聚类结果/解决方案与最新数据相适应。这些技术还需要在新批次的聚类模式与旧批次显著不同时检测概念漂移的能力。有时，聚类模式可能会在单个批次中暂时漂移，而下一个批次不会出现漂移。因此，增量聚类技术需要能够检测暂时漂移和持续漂移。在本文中，我们提出了一个有效的增量聚类算法称为UIClust。它被设计成集群数据块流，即使存在暂时或持续的概念漂移。我们评估UIClust的性能进行比较，它与最近发表的，高品质的增量聚类算法。我们使用真实和合成数据集。我们比较的结果，使用著名的聚类评价标准：熵，平方误差（SSE）和执行时间。我们的结果表明，UIClust优于现有的技术在我们所有的实验。
2020-03-30 cs.LG stat.ML
SimCS: Simulation for Domain Incremental Online Continual Segmentation
Intel Labs（英特尔实验室）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
本文提出SimCS，一种无参数的在线领域增量持续分割方法，通过仿真数据正则化持续学习，解决自动驾驶等场景中无任务边界且计算受限的分割模型持续训练问题。
2024-02-15 cs.CV cs.LG
Detecting Morphing Attacks via Continual Incremental Training
University of Bologna（博洛尼亚大学）
本文研究在数据传输和存储受限场景下，利用持续学习范式实现模型的增量训练，发现无遗忘学习在变形攻击检测和目标分类任务中表现优异。
2023-07-27 cs.CV cs.LG
pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning
Nankai University（南开大学）；Nanyang Technological University (NTU)（南洋理工大学）；Tianjin University（天津大学）；The University of British Columbia（不列颠哥伦比亚大学）
针对异构联邦学习无法处理批次级数据异构的问题，提出pFedAFM方法，通过共享全局小特征提取器、交替训练策略和动态特征混合，实现批次级个性化并显著提升准确率。
2024-04-27 cs.LG
Incremental Clustering: The Case for Extra Clusters
UC San Diego（加州大学圣地亚哥分校）
可用于分析的数据量的爆炸式增长通常需要从批处理方法过渡到增量聚类方法，增量聚类方法一次处理一个元素，通常只存储数据的一小部分。在本文中，我们开始正式分析的增量聚类方法，专注于集群结构的类型，他们能够检测。我们发现，增量设置是严格弱于批处理模型，证明了一个基本类的集群结构，可以很容易地检测到在批处理设置是不可能使用任何增量的方法来识别。此外，我们展示了如何增量集群的局限性，可以克服允许额外的集群。
2014-06-24 cs.LG
Continual Personalization for Diffusion Models
National Taiwan University（国立台湾大学）；Qualcomm Technologies, Inc.（高通技术公司）
针对扩散模型持续更新中的灾难性遗忘与计算挑战，提出概念神经元选择（CNS）策略，通过增量微调相关神经元并保留旧知识，以最小参数调整实现单/多概念个性化最先进性能，且免融合降低存储与时间开销。
2025-10-02 cs.CV cs.LG
The Expanding Scope of the Stability Gap: Unveiling its Presence in Joint Incremental Learning of Homogeneous Tasks
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
本文揭示稳定性差距不仅存在于异质任务持续学习中，也存在于同质任务的联合增量训练中，并发现存在低损失线性路径但 SGD 未选择该路径，同时通过逐批次分析为解决方案提供方向。
2024-06-07 cs.CV cs.LG
SamBaTen: Sampling-based Batch Incremental Tensor Decomposition
University of California Riverside（加州大学河滨分校）
本文提出SaMbaTen，一种基于采样的批量增量张量分解算法，通过在缩减的摘要空间中执行计算，实现了对动态演化多模态数据集的增量维护，在保持与最先进技术相当准确度的同时速度快25-30倍，并能扩展至100K x 100K x 100K维的大规模张量。
2017-09-18 cs.AI cs.LG stat.ML
Evaluating the Efficacy of Instance Incremental vs. Batch Learning in Delayed Label Environments: An Empirical Study on Tabular Data Streaming for Fraud Detection
Sorbonne Paris Nord University（巴黎北大学）；Paris-Saclay University（巴黎萨克雷大学）；Groupe BPCE（BPCE集团）
针对延迟标签场景下实例增量学习是否最优的未深入研究问题，基于真实欺诈检测任务与生成数据集开展实证评估，发现实例增量学习在性能上不及批量学习模型，且批量增量方案可解释性更优。
2024-09-16 cs.CE cs.LG cs.NE
IIRC: Incremental Implicitly-Refined Classification
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Montreal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们引入了“增量隐式细化分类（IIRC）”设置，这是对类增量学习设置的扩展，其中传入的类批次具有两个粒度级别。也就是说，每个样本可以具有高级别（粗）标签如“熊”和低级别（细）标签如“北极熊”。一次只提供一个标签，如果模型已经学习了另一个标签，则必须找出另一个标签。这种设置更符合现实生活中的场景，其中学习者通常与同一个实体家族多次交互，发现更多关于它们的粒度，同时仍然试图不忘记以前的知识。此外，这种设置可以评估一些重要的终身学习挑战的模型，这些挑战在现有设置下无法轻松解决。这些挑战可以通过以下例子来激发：“如果一个模型在一个任务中训练熊类，而在另一个任务中训练北极熊类，它会忘记熊的概念吗？它会正确地推断北极熊仍然是熊吗？它会不会错误地将北极熊的标签与其他熊种联系起来？".我们开发了一个标准化的基准测试，可以在IIRC设置上评估模型。我们评估了几种最先进的终身学习算法，并强调了它们的优势和局限性。例如，基于蒸馏的方法表现相对较好，但容易错误地预测每个图像的标签太多。我们希望建议的架构和基准能为从业员提供一个有意义的问题设定
2021-01-11 cs.AI cs.CV cs.LG
Batchwise Probabilistic Incremental Data Cleaning
University of São Paulo（圣保罗大学）；University of Londrina（隆德里纳大学）；University of Waterloo（滑铁卢大学）
缺乏数据和数据质量问题是阻碍许多组织进一步采用人工智能的主要瓶颈之一，迫使数据科学家在能够回答分析问题之前花费大部分时间清理数据。因此，需要更有效和高效的数据清理解决方案，这并不奇怪，充满了理论和工程问题。此报告解决了增量执行整体数据清理的问题，给定固定的规则集和连续批量获取的不断发展的分类关系数据集。据我们所知，我们的贡献组成了第一个增量框架，该框架可以（i）独立于用户干预来清理数据，（ii）不需要关于传入数据集的知识，例如每个属性的类的数量，以及（iii）整体上，使多个错误类型能够同时修复，从而避免冲突修复。大量的实验表明，我们的方法优于竞争对手的修复质量，执行时间和内存消耗。
2020-11-09 cs.DB cs.LG
Carousel Personalization in Music Streaming Apps with Contextual Bandits
Deezer（迪泽音乐）
诸如音乐流媒体平台之类的媒体服务提供商经常利用可滑动的旋转木马来向其用户推荐个性化内容。然而，选择最相关的项目（专辑，艺术家，播放列表.）由于项目众多并且用户具有不同的偏好，因此在这些传送带中显示是一项具有挑战性的任务。在本文中，我们模型的旋转木马个性化作为一个上下文多臂强盗问题，多个播放，级联为基础的更新和延迟批量反馈。我们经验表明，我们的框架的有效性，在捕捉现实世界的旋转木马的特点，通过解决一个大规模的播放列表推荐任务的全球音乐流媒体移动app.Along本文，我们公开发布的工业数据，从我们的实验，以及一个开源环境，以模拟可比的旋转木马个性化学习问题。
2020-09-30 cs.LG stat.ML
MAGNETO: Edge AI for Human Activity Recognition -- Privacy and Personalization
Technology Innovation Institute（技术创新研究院）
本文提出边缘AI平台MAGNETO，通过在边缘设备上直接进行增量人类活动学习，无需与云端交换数据，在保障隐私、降低延迟的同时实现高度个性化。
2024-02-14 cs.AI cs.CR cs.LG
A Practical Incremental Method to Train Deep CTR Models
Noah's Ark Lab, Huawei（华为诺亚方舟实验室）
推荐系统中的深度学习模型通常以批处理模式进行训练，即在训练数据的固定大小窗口上迭代训练。深度学习模型的这种批模式训练存在训练效率低的问题，这可能导致在模型没有按时产生时性能下降。为了解决这个问题，增量学习被提出来，并受到了广泛的关注。增量学习在推荐系统中有很大的潜力，因为连续的两个训练数据窗口重叠的大部分体积。它的目标是在模型上次更新时仅使用来自时间戳的新传入样本增量地更新模型，这比批处理模式训练更有效。然而，大多数增量学习方法都集中在图像识别的研究领域，其中新的任务或类是随着时间的推移而学习的。在这项工作中，我们介绍了一种实用的增量方法来训练深度CTR模型，它由三个解耦的模块（即，数据，特征和模型模块）。我们的方法可以实现与传统的批处理模式训练相当的性能，具有更好的训练效率。我们进行了广泛的实验上的公共基准和私人数据集，以证明我们所提出的方法的有效性。
2020-09-04 cs.IR cs.LG
Diagnosing Batch Normalization in Class Incremental Learning
Xi’an Jiaotong University（西安交通大学）；The Macau University of Science and Technology（澳门科技大学）
广泛的研究已经将深度神经网络（DNN）应用于类增量学习（Class-IL）中。作为DNN的构建块，批量归一化（BN）对中间特征图进行了优化，并已被广泛验证以提高训练稳定性和收敛性。然而，我们认为在类IL模型中直接使用标准BN对表示学习和分类器训练都是有害的，从而加剧了灾难性遗忘。在本文中，我们调查的影响BN类IL模型，说明这样的BN困境。我们进一步提出BN技巧来解决这个问题，通过训练一个更好的特征提取器，同时消除分类偏差。在不引入额外超参数的情况下，我们将BN技巧应用于三种基于基线排练的方法，ER，DER++和iCaRL。通过对Seq-CIFAR-10、Seq-CIFAR-100和Seq-Tiny-ImageNet的基准数据集进行的综合实验，我们表明BN技巧可以为所有采用的基线带来显着的性能提升，揭示了其在这一研究领域的潜在通用性。
2022-02-16 cs.CV cs.LG
Evaluating Credit VIX (CDS IV) Prediction Methods with Incremental Batch Learning
Queen Mary, University of London（伦敦大学玛丽皇后学院）
本文比较了SVM、Gradient Boosting和Attention-GRU混合模型，利用基于Merton模型的特征矩阵预测欧洲公司债CDS的隐含波动率，旨在评估SOTA与经典机器学习方法在金融风险预测中的优势。
2024-08-27 cs.LG q-fin.CP q-fin.RM
On Handling Catastrophic Forgetting for Incremental Learning of Human Physical Activity on the Edge
Technology Innovation Institute（技术创新研究所）
人体活动识别（HAR）一直是一个经典的研究课题。特别是，随着最近的机器学习（ML）技术，识别任务已在很大程度上被公司研究，并集成到他们的产品为客户。然而，它们中的大多数应用预定义的活动集并在云上进行学习过程，从而阻碍了最终用户的特定个性化（即，边缘设备）。尽管增量学习的最新进展允许动态学习新类数据，但学习过程通常在云上进行，需要在云和边缘设备之间进行持续的数据交换，从而导致数据隐私问题。在本文中，我们提出了PILOTE，它将增量学习过程推向极端，同时提供可靠的数据隐私和实用性，例如，特别是，我们考虑了在边缘上的增量学习过程中数据极其有限的实际挑战，其中需要以实用的方式处理灾难性遗忘。我们验证PILOTE广泛的实验从移动传感器收集的人类活动数据。结果表明，PILOTE可以在资源极其有限的边缘设备上工作，同时提供可靠的性能。
2023-02-18 cs.AI cs.LG
Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
University of Alberta（阿尔伯塔大学）；Amii（艾伯塔机器智能研究所）；National Research Council of Canada（加拿大国家研究委员会）；CIFAR Canada AI Chair（CIFAR加拿大人工智能首席科学家）
针对现有深度策略梯度方法依赖大型回放缓冲区或批量更新、难以适配资源受限真实系统的问题，提出增量方法AVG及配套归一化缩放技术，在仿真基准上性能媲美批量方法，首次实现真实机器人的增量式深度强化学习。
2025-05-21 cs.AI cs.LG cs.RO
Lambda Learner: Fast Incremental Learning on Data Streams
LinkedIn Corporation（领英公司）
机器学习最成熟的应用之一是决定向网站访问者展示什么内容。当观察数据来自高速用户生成的数据流时，机器学习方法在模型复杂度、训练时间和计算成本之间执行平衡操作。此外，当模型新鲜度至关重要时，模型的训练就会受到时间限制。尽管水平可扩展，但批量离线训练通常不考虑时间或成本效益。在本文中，我们提出了Lambda Learner，这是一种通过增量更新来训练模型的新框架，以响应来自数据流的小批量。我们表明，我们的框架的结果模型密切估计在离线数据上训练的定期更新的模型，并且在模型更新对时间敏感时优于它。我们提供了理论上的证明，增量学习更新改善了一个陈旧的批处理模型的损失函数。我们在大型社交网络的赞助内容平台上进行了大规模部署，为不同渠道的数亿用户提供服务（例如，台式机、移动设备）。我们从算法和基础设施的角度来解决挑战和复杂性，并说明了系统的计算，存储和流生产的训练数据的细节。
2021-06-28 cs.AI cs.LG stat.ML
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo（滑铁卢大学）
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离，而另一些则使用采样。然而，从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中，我们从分布的数据，而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验，我们动态更新类的分布，通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用，例如，三重损失或邻域分量分析（NCA）损失。因此，我们的三元组挖掘方法被称为贝叶斯更新三元组（BUT）和贝叶斯更新NCA（BUNCA），这取决于使用的损失函数。两个公共数据集，即MNIST和组织病理学结直肠癌（CRC）的实验结果，证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
Stochastic Gradient Trees
University of Edinburgh（爱丁堡大学）；University of Waikato（怀卡托大学）
我们提出了一个算法学习决策树使用随机梯度信息作为监督源。与以前的基于梯度的树学习方法相比，我们的方法在增量学习设置而不是批处理学习设置中操作，并且不使用软分裂或每次更新都需要构建新树。我们演示了如何通过只改变损失函数，使用分类，回归和多实例学习作为示例应用程序，将这些决策树应用于不同的问题。在实验评估中，我们的方法执行类似于标准的增量分类树，优于最先进的增量回归树，并实现与批量多实例学习方法相当的性能。
2019-09-24 cs.LG stat.ML
Efficient Learning Under Density Shift in Incremental Settings Using Cramér-Rao-Based Regularization
针对增量数据流中的密度偏移问题，提出基于Fisher信息和KL散度的正则化方法$C^{2}A$，通过后验概率吸收积累数据密度知识，适应非独立同分布偏移，最高实现19%的准确率提升。
2025-03-03 cs.LG stat.ML
Class Incremental Learning with Task-Specific Batch Normalization and Out-of-Distribution Detection
Amazon（亚马逊）
本研究提出一种基于任务特定批量规范化和分布外检测的增量学习框架，有效提升模型在新任务中的可塑性与旧任务的稳定性。
2026-03-11 cs.CV cs.LG
Incremental Learning-to-Learn with Statistical Guarantees
IIT（意大利理工学院）；UCL（伦敦大学学院）
在learning-to-learn中，目标是推断出一种学习算法，该算法可以很好地处理从未知Meta分布中采样的一类任务。与以前的工作相比，批量学习，我们考虑的情况下，任务顺序和算法需要适应增量，以提高其性能，在未来的任务。此设置的关键是算法在新观测到达时快速将其纳入模型，而无需将其保留在内存中。我们专注于的情况下，基本算法是岭回归参数化的半正定矩阵。我们建议通过应用随机策略来学习这个矩阵，以最大限度地减少岭回归对从Meta分布中采样的未来任务所产生的经验误差。我们研究了所提出的算法的统计特性，并证明了其超额转移风险的非渐近界，也就是说，从相同的Meta分布的新任务的泛化性能。我们比较了我们的在线学习学习的方法与最先进的批处理方法，无论是理论上还是经验上。
2018-03-21 cs.LG stat.ML
Incremental Permutation Feature Importance (iPFI): Towards Online Explanations on Data Streams
Bielefeld University（比勒费尔德大学）；LMU Munich（慕尼黑大学）
本文提出模型无关的增量算法iPFI，在含概念漂移的数据流场景下高效估计基于缺失特征边缘化的特征重要性，并给出理论保证与实验验证。
2022-09-07 cs.AI cs.LG
Coloring Between the Lines: Personalization in the Null Space of Planning Constraints
Cornell University（康奈尔大学）
针对机器人个性化需兼顾安全与能力的问题，提出CBTL方法，利用规划约束零空间，通过在线交互学习参数化约束实现高效适配，经多场景验证其个性化效果更优且交互更少。
2025-05-21 cs.LG cs.RO
Personalizing human activity recognition models using incremental learning
University of Oulu（奥卢大学）
在这项研究中，目的是个性化的惯性传感器数据为基础的人类活动识别模型，使用增量学习。首先，识别是基于用户无关的模型。然而，当个人流数据变得可用时，基于增量学习的识别模型可以在没有用户中断的情况下基于数据被更新，并且因此被个性化。所使用的增量式学习算法是Learn++，其是可以使用任何分类器作为基本分类器的集成方法。实际上，研究比较了三种不同的基本分类器：线性判别分析（LDA），二次判别分析（QDA）和分类回归树（CART）。实验是基于公开开放的数据集，他们表明，已经一个小的个人训练数据集可以提高分类精度。使用LDA作为基本分类器的改进是4.6个百分比单位，使用QDA为2.0个百分比单位，使用CART为2.3个百分比单位。然而，如果在识别过程的第一阶段中使用的与用户无关的模型不够准确，则个性化无法提高识别精度。
2019-05-29 cs.LG
Inference Time Feature Injection: A Lightweight Approach for Real-Time Recommendation Freshness
st Qiang Chen（第一作者）；nd Venkatesh Ganapati Hegde（第二作者）；rd Hongfei Li（第三作者）
本文提出一种轻量级方法，在推理时注入近期观看历史，提升长视频流媒体推荐的新鲜度和用户参与度。
2025-12-11 cs.LG
Exploring the Open World Using Incremental Extreme Value Machines
e.solutions GmbH（e.solutions有限公司）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
动态环境需要自适应应用程序。动态环境中的一个特定机器学习问题是开放世界识别。它表征了一个连续变化的域，其中在一批训练数据中只能看到一些类，并且这些批只能增量学习。开放世界识别是一项艰巨的任务，据我们所知，只有几种方法可以解决。这项工作介绍了一个修改的广为人知的极值机（EVM），使开放世界的识别。我们提出的方法扩展EVM与部分模型拟合函数忽略未受影响的空间在更新过程中。这将训练时间缩短了28倍。此外，我们提供了一个修改后的模型约简，使用加权最大K集覆盖，严格限制模型的复杂性，并将计算工作量减少了3.5倍，从2.1秒到0.6秒。在我们的实验中，我们严格评估开放性与两个新的评估协议。所提出的方法在图像分类和人脸识别的任务中实现了约12%的高精度和计算效率。
2022-05-30 cs.CV cs.LG
Personalizing Intervention Probabilities By Pooling
Harvard University（哈佛大学）；University of Michigan（密歇根大学）
在许多移动医疗干预措施中，只能在特定情况下提供治疗，例如当用户当前处于压力、步行或久坐状态时。即使在最佳情况下，对用户负担的担忧也会限制发送哪些治疗。为了在用户处于期望的情境中时随时间扩散治疗递送，关键是预测情境将发生的未来次数。本文的重点是个性化是否可以改善这些设置中的预测。虽然个人行为模式之间的差异表明个性化应该是有用的，但个人层面的数据量限制了其能力。因此，我们研究了几种方法，池数据跨用户克服这些缺陷，并发现池降低了整体出错率相对于个性化和批量处理的方法。
2018-12-02 cs.LG stat.ML
Proceedings of the 4th Workshop on Online Recommender Systems and User Modeling -- ORSUM 2021
现代在线服务以非常快的速度不断生成数据。这种连续的数据流包含内容-例如，帖子、新闻、产品、评论，还有用户反馈，例如，评级、视图、读取、点击-连同上下文数据-用户设备、空间或时间数据、用户任务或活动、天气。考虑到内容、上下文和用户偏好或意图的连续和潜在快速变化，这对于被设计成批量训练的系统和算法来说可能是压倒性的。因此，重要的是调查在线方法能够透明地适应在线服务的内在动态。从数据流中学习的增量模型在推荐系统社区中越来越受到关注，因为它们具有处理动态复杂环境中生成的连续数据流的自然能力。用户建模和个性化可以特别受益于能够增量和在线维护模型的算法。本次研讨会的目的是促进贡献，并汇集了越来越多的研究人员和从业者感兴趣的在线，自适应的方法来用户建模，推荐和个性化，以及他们对多个维度的影响，如评估，再现性，隐私和可解释性。
2022-01-17 cs.AI cs.IR cs.LG
Incremental Learning Techniques for Online Human Activity Recognition
University of Science and Culture（科学与文化大学）；Khorasan Institute of Higher Education（呼罗珊高等教育学院）
使用智能手机惯性传感器对人类活动进行非侵入性和智能识别是人工智能领域中的一个有趣话题，尤其是近年来在研究人员中获得了极大的普及。需要更多关注的一个相当大的挑战是身体活动的实时检测，因为对于许多现实世界的应用，如健康监测和老年人护理，需要立即识别用户的活动，以防止对个人健康的严重损害。在本文中，我们提出了一种人体活动识别（HAR）的方法，在线预测的身体运动，受益于增量学习算法的能力。我们开发了一个HAR系统，其中包含监控软件和移动应用程序，该应用程序收集加速度计和陀螺仪数据，并通过互联网将其发送到远程服务器进行分类和识别操作。本文采用了六种增量式学习算法，并与几种常用的批量学习算法进行了比较。最终的结果表明，考虑到所有的性能评估指标，增量K-最近邻和增量朴素贝叶斯优于其他算法，超过95%的实时识别准确率。
2021-09-20 cs.AI cs.LG eess.SP
Incremental Learning for Robot Perception through HRI
场景理解和目标识别是机器人的一项重要而又难以实现的技能。最近，卷积神经网络（CNN）在这项任务中取得了成功。然而，它们在图像数据集和真实世界机器人场景上的性能之间仍然存在差距。我们提出了一个新的范例，通过积极的人机交互逐步提高机器人的视觉感知。在这个范例中，用户通过指向和语音命令向机器人介绍新的对象。有了这些信息，机器人就可以在视觉上探索物体，并从中添加图像来重新训练感知模块。我们的基本感知模块基于使用深度学习的目标检测和识别的最新发展。我们的方法利用了来自离线批量学习、人工指导、机器人探索和增量在线学习的最先进的CNN。
2017-01-17 cs.HC cs.LG cs.RO
Personalized Federated Learning with Adaptive Batchnorm for Healthcare
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）；Pengcheng Laboratory（鹏城实验室）；Zhejiang University（浙江大学）；Microsoft Research（微软研究院）
将机器学习技术应用于医疗保健的兴趣越来越大。最近，联邦学习（FL）越来越受欢迎，因为它允许研究人员训练强大的模型，而不会损害数据隐私和安全。然而，现有的FL方法的性能往往恶化时，遇到非iid的情况下，存在客户端之间的分布差距，很少有以前的努力集中在个性化的医疗保健。在本文中，我们提出FedAP来处理域转移，然后为本地客户端获取个性化模型。FedAP基于批量归一化层的统计信息来学习客户端之间的相似性，同时保留每个客户端的特殊性，并使用不同的本地批量归一化。在五个医疗保健基准上进行的综合实验表明，与最先进的方法相比，FedAP实现了更好的准确性（例如，PAMAP2的精度提高10%），收敛速度更快。
2022-05-20 cs.CV cs.LG
Adaptive Decision Forest: An Incremental Machine Learning Framework
Charles Sturt University（查尔斯特大学）
在这项研究中，我们提出了一个增量机器学习框架，称为自适应决策森林（ADF），它产生一个决策森林分类新记录。基于我们的两个新定理，我们引入了一个新的分裂策略，称为iSAT，它允许ADF分类新的记录，即使它们与以前看不见的类。ADF能够识别和处理概念漂移;然而，它不会忘记以前获得的知识。此外，ADF能够处理大数据，如果数据可以分成批次。我们在五个公开的自然数据集和一个合成数据集上评估ADF，并将ADF的性能与八种最先进的技术的性能进行比较。我们的实验结果，包括统计符号测试和Nemenyi测试分析，表明所提出的框架在国家的最先进的技术有明显的优越性。
2021-01-28 cs.LG
Modelling the COVID-19 virus evolution with Incremental Machine Learning
University College Dublin（都柏林大学学院）；Technological University Dublin（都柏林理工大学）
投入时间和资源以制定更好的战略和方法来应对潜在的大流行，是应对未来新变种或其他病毒潜在爆发的关键。在这项工作中，我们重现了一年前，即2020年，全球爆发大流行的场景，当时有50个国家报告了更多的COVID-19病例。我们进行了一些实验，在这些实验中，我们将最先进的机器学习算法（如LSTM）与在线增量机器学习算法进行了比较，以使其适应疾病传播的日常变化并预测未来的COVID-19病例。为了比较这些方法，我们进行了三个实验：在第一个实验中，我们只使用我们预测的国家的数据训练模型。在第二个模型中，我们使用来自所有五十个国家/地区的数据来训练和预测每个国家/地区。在第一个和第二个实验中，我们对所有方法都使用了静态保持方法。在第三个实验中，我们使用prequential evaluation依次训练增量方法。这种方案不适合大多数最先进的机器学习算法，因为它们需要为每一批预测从头开始重新训练，造成计算负担。结果表明，增量方法是一种很有前途的方法，以适应随着时间的推移，疾病的变化，他们总是最新的数据分布的最后状态，他们有一个显着较低的计算成本比其他技术，如LSTM。
2021-04-21 cs.LG stat.ML
Recommendation of data-free class-incremental learning algorithms by simulating future data
Université Paris-Saclay（巴黎-萨克雷大学）；CEA（法国原子能和替代能源委员会）；CentraleSupélec（中央高等电力学院）
针对无数据类增量学习算法选择难题，提出通过生成模型模拟未来数据流并评估推荐最佳算法的方法，其性能接近预言机，促进了增量学习的实际部署。
2024-03-26 cs.AI cs.CV cs.LG
A Unified Batch Online Learning Framework for Click Prediction
Microsoft（微软）
我们提出了一个统一的框架，批量在线学习（OL）的点击预测搜索广告。机器学习模型一旦部署，由于模型陈旧，随着时间的推移会显示出非平凡的准确性和校准降级。因此，有必要定期更新模型，并自动更新。本文提出了两种范例的批量在线学习，增量更新模型参数通过提前停止机制，另一个这样做，通过近端正则化。我们讨论了这两种方案如何自然地权衡新旧数据。然后，我们从理论和经验表明，这两个看似不同的计划是密切相关的。通过大量的实验，我们展示了我们的OL框架的效用;两个OL方案如何相互关联，以及它们如何在新数据和历史数据之间进行权衡。然后，我们将批量OL与完整模型再训练进行了比较，并展示了在线学习如何对数据问题更加鲁棒。我们还展示了在线学习的长期影响，OL中初始模型的作用，更新延迟的影响，最后总结了一些实现细节和在生产中部署真实世界的在线学习系统的挑战。虽然本文主要集中在搜索广告的点击预测的应用，我们希望这里学到的教训可以结转到其他问题领域。
2018-09-12 cs.AI cs.LG stat.ML
Mondrian Forests: Efficient Online Random Forests
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
随机决策树的集合，通常被称为随机森林，广泛用于机器学习和统计学中的分类和回归任务。随机森林实现了有竞争力的预测性能，并且在训练和测试方面具有计算效率，使其成为现实世界预测任务的优秀候选者。最流行的随机森林变体（如Breiman的随机森林和极端随机树）对批量训练数据进行操作。在线方法现在有更大的需求。然而，现有的在线随机森林需要比其批处理对应物更多的训练数据才能实现可比的预测性能。在这项工作中，我们使用蒙德里安过程（Roy和Teh，2009）来构建随机决策树的集合，我们称之为蒙德里安森林。蒙德里安森林可以以增量/在线方式生长，并且值得注意的是，在线蒙德里安森林的分布与批量蒙德里安森林的分布相同。蒙德里安森林实现了与现有在线随机森林和定期重新训练的批量随机森林相当的有竞争力的预测性能，同时速度快了一个数量级以上，因此代表了更好的计算与准确性权衡。
2015-02-16 cs.LG stat.ML
Expected Similarity Estimation for Large-Scale Batch and Streaming Anomaly Detection
University of Ulm（乌尔姆大学）；Ravensburg-Weingarten University of Applied Sciences（拉芬斯堡-魏恩加腾应用科学大学）；The University of Sydney（悉尼大学）
我们提出了一种新的算法异常检测非常大的数据集和数据流。该方法称为期望相似性估计（EXPoSE），是基于核的，能够有效地计算新数据点和规则数据分布之间的相似性。该估计被制定为一个再生核希尔伯特空间嵌入的内积，并没有假设的类型或形状的基础数据分布。我们证明了使用EXPoSE的离线（批量）学习可以在线性时间内完成，而在线（增量）学习每个实例和模型更新需要恒定的时间。此外，EXPoSE可以在恒定的时间内进行预测，而它只需要恒定的内存。此外，我们提出了不同的方法，概念漂移适应不断变化的数据流。在几个真实的数据集上，我们证明了我们的方法可以与最先进的异常检测算法竞争，同时比大多数其他方法快一个数量级。
2016-06-06 cs.AI cs.LG
Online TT-ALS for Streaming Tensor Decomposition with Incremental Orthogonalization
The University of Osaka（大阪大学）
提出在线TT-ALS算法，通过增量正交化实现流式张量分解，在保持高重构精度的同时降低计算复杂度，并在视频质量指标上超越现有在线方法。
2026-07-01 cs.CV cs.LG cs.NA
iCVI-ARTMAP: Accelerating and improving clustering using adaptive resonance theory predictive mapping and incremental cluster validity indices
Guise AI, Inc.（Guise AI 公司）；Applied Computational Intelligence Laboratory, Missouri University of Science and Technology（密苏里科技大学应用计算智能实验室）
提出了一种自适应共振理论预测映射（ARTMAP）模型，即iCVI-ARTMAP，该模型采用增量聚类有效性指数（iCVI）进行无监督学习。将iCVI扩展到ARTMAP的决策和多对一映射能力可以改善样本被递增分配到的聚类的选择。这些改进是通过智能地执行以下操作来实现的：在聚类之间交换样本分配、拆分和合并聚类，以及在需要重新计算iCVI值时缓存变量的值。使用递归公式使iCVI-ARTMAP能够大大减少与基于聚类有效性指数（CVI）的离线聚类相关的计算负担。根据iCVI和数据集的不同，它可以实现比使用批量CVI计算时短两个数量级的运行时间。在这项工作中，增量版本的Calinski-Harabasz，WB-指数，谢-贝尼，Davies-Bouldin，Pakhira-Bandyopadhyay-Maulik，和负熵增量集成到模糊ARTMAP。实验结果表明，在大多数合成基准数据集上，iCVI-ARTMAP算法的性能优于模糊自适应共振理论（ART）、双警戒模糊ART、kmeans、谱聚类、高斯混合模型和层次凝聚聚类算法。在对投影和由深度聚类模型生成的潜在空间进行聚类时，它在现实世界的图像基准数据集上也表现出竞争力。当然，iCVI-ARTMAP的性能取决于所选的iCVI及其对手头数据的适用性;幸运的是，它是一个通用模型，可以轻松嵌入其他iCVI。
2020-08-22 cs.LG cs.NE stat.ML
iSAGE: An Incremental Version of SAGE for Online Explanation on Data Streams
LMU Munich（慕尼黑大学）；MCML Munich（慕尼黑机器学习中心）；Bielefeld University（比勒费尔德大学）；CITEC（认知交互技术研究中心）
本文提出 iSAGE，将 SAGE 特征重要性度量增量化以适应在线数据流环境，支持干预式和观测式特征移除，并保持与 SAGE 类似的理论性质，通过含概念漂移的数据流实验验证其有效性。
2023-06-14 cs.AI cs.LG
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives
个性化联邦学习（FL）促进了多个客户端之间的协作，以学习个性化模型，而无需共享私有数据。该机制减轻了系统中通常遇到的统计异质性，即，不同客户端上的非IID数据。现有的个性化算法通常假设所有客户都自愿进行个性化。然而，潜在的参与者可能仍然不愿意个性化模型，因为它们可能无法很好地工作。在这种情况下，客户端选择使用全局模型。为了避免不切实际的假设，我们引入个性化率，衡量的客户端愿意训练个性化模型的分数，到联邦设置，并提出DyPFL。这种动态个性化FL技术激励客户参与个性化本地模型，同时允许在全局模型表现更好时采用全局模型。我们表明，DyPFL中的算法管道保证了良好的收敛性能，使其在广泛的条件下优于其他个性化方法，包括异质性，客户端数量，局部时期和批量大小的变化。
2022-09-22 cs.AI cs.LG
Optimization-Driven Adaptive Experimentation
Columbia University（哥伦比亚大学）；Meta；University of Pittsburgh（匹兹堡大学）
针对现实实验中的批处理延迟反馈、非平稳性、多目标约束及个性化挑战，提出基于中心极限近似动态规划的数学规划框架，利用自动微分和GPU并行化，在数百个实例上优于静态随机对照试验，性能稳健。
2024-11-07 cs.LG
One-Shot Domain Incremental Learning
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本研究提出一次性域增量学习问题，发现现有方法因批归一化统计量失效，并提出相应技术，在开放数据集上验证了有效性。
2025-02-24 cs.AI cs.CV cs.LG
An Enhanced Batch Query Architecture in Real-time Recommendation
Bilibili（哔哩哔哩）
本文提出一种面向实时推荐的高性能批量查询架构，通过优化哈希结构和混合存储，在哔哩哔哩系统中实现模型计算量10倍增长而资源消耗极小。
2024-08-31 cs.IR cs.LG
An Analysis of Initial Training Strategies for Exemplar-Free Class-Incremental Learning
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；LIST（LIST实验室）；LIGM（LIGM实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；MICS（MICS实验室）；Amanda（Amanda公司）
本文通过综合实验与统计分析框架，比较无范例类别增量学习中的初始训练策略，发现其主导平均增量准确率，而CIL算法更能防止遗忘，并给出选型建议。
2023-09-27 cs.CV cs.LG
Class Incremental Online Streaming Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）；Verisk Analytics（威斯科分析公司）；University of Bath（巴斯大学）
已经开发了各种各样的方法来实现传统深度神经网络中的终身学习。然而，为了取得成功，这些方法需要在训练期间多次访问一批样本。虽然这在静态设置中工作得很好，但在数据到达\emph{online streaming manner}的更现实的情况下，这些方法继续受到影响。我们凭经验证明，如果输入是作为具有以下限制的数据流获得的，则当前方法的性能会降低：$(i)$每个实例每次出现一个并且只能看到一次，并且$(ii)$输入数据违反i.i.d假设，即，可以存在基于类的相关性。我们提出了一种新的方法（CIOSL）的类增量学习的\emph{online streaming setting}，以解决这些挑战。该方法利用隐式和显式双权重正则化和经验重放。隐式正则化通过知识蒸馏来利用，而显式正则化通过学习缓冲区重放和当前样本的联合分布来合并用于参数正则化的新方法。此外，我们提出了一个有效的在线内存重放和替换缓冲区的策略，显着提高模型的性能。大量的实验和具有挑战性的数据集上的消融表明所提出的方法的有效性。
2021-10-20 cs.AI cs.CV cs.LG
Incremental Learning of Event Definitions with Inductive Logic Programming
National Center for Scientific Research “Demokritos”（“德谟克利特”国家科学研究中心）；National University of Athens（雅典国立大学）；University of Piraeus（比雷埃夫斯大学）
事件识别系统依赖于事件定义的适当设计的知识库来及时推断事件的发生。这种知识的手动开发是一项繁琐且容易出错的任务，因此基于事件的应用程序可以受益于自动化知识构建技术，例如归纳逻辑程序设计（ILP），其将机器学习与一阶逻辑的声明性和形式语义相结合。然而，学习时态逻辑形式主义，这通常是利用基于逻辑的事件识别系统是一个具有挑战性的任务，大多数ILP系统不能完全承担。此外，基于事件的数据通常是大量的，并且是在不同的时间和不同的情况下收集的。理想情况下，从时态数据中学习的系统应该能够以增量模式运行，也就是说，在面对新证据时修改先前构建的知识。大多数ILP系统都是批量学习者，在这个意义上，为了解释新的证据，他们别无选择，只能忘记过去的知识，从头开始学习。考虑到ILP固有的复杂性增加和现实生活中的时态数据量，这导致算法的可扩展性差。在这项工作中，我们提出了一个增量的方法，学习和修改基于事件的知识，在事件演算程序的形式。所提出的算法依赖于溯因-归纳学习，并包括一个可扩展的条款细化方法，基于压缩总结的条款覆盖的例子流。我们提出了一个实证评估我们的方法对真实的和合成数据从活动识别和城市交通应用。
2014-11-22 cs.AI cs.LG
