Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification
South China University of Technology（华南理工大学）；University of Macau（澳门大学）
本文提出了一种准确且高效的在线广度学习系统，通过改进权重估计和在线更新策略，提升数据流分类任务的性能。
2025-12-07 cs.LG
Online Sparse Feature Selection in Data Streams via Differential Evolution
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）
本文提出了一种基于微分进化的在线稀疏特征选择方法，通过潜在因子分析插补缺失数据并评估特征重要性，以提升数据流中特征选择的性能。
2025-11-24 cs.AI cs.LG
Harmonized Gradient Descent for Class Imbalanced Data Stream Online Learning
Peng Cheng Laboratory（鹏城实验室）；School of Automation, Chongqing University（重庆大学自动化学院）；School of Information Science and Engineering, East China University of Science and Technology（东华大学信息科学与工程学院）
本文提出调和梯度下降（HGD）算法，通过平衡各类别梯度范数缓解少数类欠拟合，无需缓冲区、额外参数或先验知识即可实现不平衡数据流的平衡在线学习，并在理论和实验中验证了其有效性与高效性。
2025-08-15 cs.LG
A Geometric Approach to Online Streaming Feature Selection
University of Maine（缅因大学）；University of Michigan（密歇根大学）
在线流特征选择（OSFS）是一个顺序学习问题，其中所有样本中的各个特征以流的方式提供给算法。在这项工作中，首先，我们断言，OSFS的主要假设，在运行时提供的所有样本的数据是不现实的，并介绍了一个新的设置，功能和样本流并发称为OSFS与流样本（OSFS-SS）。其次，主要的OSFS方法，SAOLA利用一个无界的互信息措施，并需要存储和传入的功能集之间的多个比较步骤，以评估一个功能的重要性。我们介绍几何在线自适应，一种算法，需要相对较少的功能比较步骤，并使用有界的条件几何依赖措施。我们的算法在各种数据集上的性能优于包括SAOLA在内的几个OSFS基线。我们还将SAOLA扩展到OSFS-SS设置中，并表明GOA继续取得最佳效果。第三，目前的OSFS算法比较范式存在缺陷。算法是通过比较使用的特征数量和学习者获得的准确性来衡量的，这两个属性从根本上相互矛盾。如果不对这些属性中的任何一个进行限制，则通过不同算法获得的特征的质量是不可比拟的。我们试图纠正这种不一致，固定的最大数量的功能提供给学习者和比较算法的准确性。此外，我们还描述了SAOLA和GOA在来自流行的深度卷积特征化器的特征集上的行为。
2020-03-16 cs.CV cs.LG stat.ML
Merging Embedded Topics with Optimal Transport for Online Topic Modeling on Data Streams
Université Côte d’Azur, CNRS, Inria, I3S, Marianne, France（法国蔚蓝海岸大学、国家科学研究中心、法国国家信息与自动化研究所、I3S研究所、马里昂）；Université Côte d’Azur, Inria, CNRS, LJAD, Maasai, France（法国蔚蓝海岸大学、法国国家信息与自动化研究所、国家科学研究中心、LJAD研究所、马萨伊）；Inria, Defence & Security mission, France（法国国家信息与自动化研究所、国防与安全任务）；Université Côte d’Azur, 3IA TechPool, France（法国蔚蓝海岸大学、3IA技术池）
本文提出StreamETM，一种基于嵌入主题模型与不平衡最优传输的在线主题建模方法，结合变点检测识别主题变化，在模拟和真实数据上优于现有方法。
2025-10-22 cs.AI cs.LG
Particle swarm optimization for online sparse streaming feature selection under uncertainty
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）
针对在线稀疏流式特征选择中特征-标签关系不确定和数据不完整问题，提出融合粒子群优化与三支决策的POS2FS框架，在六个真实数据集上验证其优于现有OSFS和OS2FS方法。
2025-08-24 cs.AI cs.LG cs.NE
Optimal and Adaptive Algorithms for Online Boosting
Yahoo Labs（雅虎实验室）；Princeton University（普林斯顿大学）
我们研究在线提升，将任何弱在线学习者转换为强在线学习者的任务。基于一种新颖而自然的弱在线可学习性定义，我们开发了两种在线提升算法。第一种算法是多数支持的在线版本。通过证明一个匹配的下界，我们表明，该算法本质上是最优的弱学习者的数量和样本的复杂性，需要达到指定的精度。然而，该最优算法不是自适应的。使用在线损失最小化的工具，我们推导出一个自适应在线提升算法，也是无参数的，但不是最优的。这两种算法都使用可以直接处理示例重要性权重的基本学习器，以及通过助推器定义的概率拒绝采样示例。结果补充了广泛的实验研究。
2015-02-09 cs.LG
Nonlinear Online Learning with Adaptive Nyström Approximation
Google Research（谷歌研究院）
通过核近似使用非线性特征映射已经在许多在线学习任务中取得了成功。Nyström近似作为一种流行的核近似方法，已经得到了很好的研究，并且已经提出了各种标志点选择方法来提高近似质量。然而，这些改进的Nyström方法不能直接应用于在线学习设置，因为它们需要访问整个数据集来学习标志点，而我们需要在在线设置中动态更新模型。为了解决这一挑战，我们提出了自适应Nyström近似解决非线性在线学习问题。其核心思想是通过在线kmeans自适应地修改标志点，并通过求解最小二乘问题和随后的梯度下降步骤来相应地调整模型。我们表明，由此产生的算法优于国家的最先进的在线学习方法在相同的预算。
2018-02-23 cs.LG
Online non-parametric change-point detection for heterogeneous data streams observed over graph nodes
考虑由图的节点生成的异构数据流。数据流本质上由多个流组成，可能具有取决于每个节点的不同性质。在给定时刻$τ$，对于节点$C$的子集出现变化点，表示它们的关联流的概率分布的变化。在本文中，我们提出了一个在线的非参数方法来推断$τ$的基础上的变化后，与每个节点的数据流的变化前的分布之间的似然比的直接估计。我们提出了一种基于核的方法，假设连接的节点的图预计有类似的似然比估计时，没有变点。我们证明了我们的方法在合成实验和现实世界中的应用质量。
2021-10-20 cs.LG stat.ML
Online Cluster Validity Indices for Streaming Data
School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
聚类分析被广泛应用于探索未标记数据集的结构。聚类分析的一个重要部分是验证计算获得的聚类的质量。已经开发了大量不同的内部指数，用于在离线设置中进行验证。然而，这一概念尚未扩展到在线环境。一个关键的挑战是找到一个有效的增量制定的索引，可以捕获的凝聚力和分离的集群在潜在的无限数据流。在本文中，我们开发了两个在线版本（有和没有遗忘因子）的谢-贝尼和戴维斯-博尔丁内部有效性指标，并分析其特点，使用两个流聚类算法（SK-均值和在线椭球聚类），并说明其用于监测不断变化的集群流数据。我们还表明，增量集群有效性指数能够发送一个遇险信号，在线监视器时，不断发展的集群出错。数值算例表明，带遗忘因子的增量Xie-Beni指数优于其他三个指数。
2018-01-08 cs.LG stat.ML
Online Ensemble Learning for Imbalanced Data Streams
McGill University（麦吉尔大学）
虽然对成本敏感的学习和在线学习都进行了广泛的研究，但同时处理这两个问题的努力有限。针对这一挑战性任务，本文提出了一种新的学习框架。其核心思想是基于在线集成算法和最先进的批处理模式成本敏感的装袋/升压算法的融合。在此框架下，两个独立发展的研究领域被桥接在一起，并首次提出了一批理论上合理的在线成本敏感装袋和在线成本敏感的提升算法。与其他在线代价敏感学习算法缺乏渐近性质的理论分析不同，所提算法在一定条件下保证了收敛性，基准数据集的实验证据也验证了所提方法的有效性和效率。
2013-10-30 cs.LG stat.ML
Online Structural Change-point Detection of High-dimensional Streaming Data via Dynamic Sparse Subspace Learning
Peking University（北京大学）；Virginia Tech（弗吉尼亚理工大学）；Shanghai Jiao Tong University（上海交通大学）
高维流数据在许多领域变得越来越普遍。它们通常位于多个低维子空间中，并且由于模式转移或异常的发生，流形结构可能在时间尺度上突然改变。然而，以实时方式检测结构变化的问题还没有得到很好的研究。为了填补这一空白，我们提出了一种动态稀疏子空间学习方法在线检测高维流数据的结构变化点。提出了一种新的多结构变点模型，并研究了估计量的渐近性质。提出了一种基于贝叶斯信息准则和变点检测精度的惩罚系数整定方法。提出了一种有效的基于剪枝精确线性时间的在线优化和变点检测算法。通过几个仿真研究和一个真实的案例研究手势数据的运动跟踪所提出的方法的有效性证明。
2022-04-12 cs.LG stat.ML
Online Adaptive Principal Component Analysis and Its extensions
University of Minnesota（明尼苏达大学）
我们提出了在线主成分分析（PCA）和方差最小化自适应设置的算法。以往的研究主要集中在静态对抗性后悔的上界上，其比较对象是事后最优固定行为。然而，当潜在环境发生变化时，静态后悔并不是一个合适的指标。相反，我们采用自适应遗憾度量从以前的文献中，并提出在线自适应算法PCA和方差最小化，具有次线性自适应遗憾的保证。我们从理论上和实验上证明，所提出的算法可以适应不断变化的环境。
2019-05-13 cs.LG stat.ML
Online Machine Learning in Big Data Streams
Institute for Computer Science and Control, Hungarian Academy of Sciences（匈牙利科学院计算机科学与控制研究所）
大数据流中的在线机器学习领域涵盖了（1）分布式算法和（2）从数据流中工作的算法，只有有限的可能性存储过去的数据。第一个要求主要涉及软件架构和有效的算法。第二个也对建模方法施加了重要的理论限制：在数据流模型中，随着新数据的到来，旧数据不再可用于修改早期的次优建模决策。在这篇文章中，我们提供了分布式软件架构和库以及用于在线学习的机器学习模型的概述。我们强调的分类，回归，推荐和无监督建模流数据的最重要的想法，我们展示了它们是如何实现在各种分布式数据流处理系统。这篇文章是一份参考资料，而不是一份调查。我们并不试图全面描述所有现有的方法和解决方案;相反，我们给出了该领域最重要的资源。所有相关的子领域，在线算法，在线学习和分布式数据处理在当前的研究和开发中占主导地位，在撰写本文时出现了概念上新的研究成果和软件组件。在本文中，我们参考了几个调查结果，包括分布式数据处理和在线机器学习。与过去的调查相比，我们的文章是不同的，因为我们讨论推荐系统的扩展细节。
2018-02-16 cs.DC cs.LG stat.ML
Low-rank extended Kalman filtering for online learning of neural networks from streaming data
U. Chicago（芝加哥大学）；Queen Mary Univ.（玛丽女王大学）；U. Colorado, Boulder（科罗拉多大学博尔德分校）；Google DeepMind（谷歌DeepMind）
提出基于EKF的低秩加对角分解在线贝叶斯推理算法，实现线性计算成本与无需步长调整的确定性学习，在适应分布变化和累积奖励上表现更优。
2023-06-28 cs.LG stat.ML
Streaming Adaptive Nonparametric Variational Autoencoder
Northeastern University（东北大学）
我们开发了一种数据驱动的方法来同时对流数据进行聚类和端到端特征学习，该方法可以自适应地检测新兴数据中的新簇。我们的方法，自适应非参数变分自动编码器（AdapVAE），通过贝叶斯非参数（BNP）建模框架与深度神经网络（DNN）进行特征学习来学习聚类成员。我们开发了一个联合在线变分推断算法，通过迭代优化证据下限（ELBO），同时学习特征表示和聚类分配。我们解决了灾难性的遗忘\citep{kirkpatrick2017overcoming}的挑战与流数据采用生成样本从训练的AdapVAE使用以前的数据，这避免了存储和重用过去的数据的需要。我们展示了我们的模型的优点，包括自适应新的聚类检测，而不丢弃从过去的数据，高质量的样本生成和可比的聚类性能的图像和文本语料库基准数据集上的端到端的批处理模式聚类方法学习的有用信息。
2019-10-11 cs.LG stat.ML
Active Learning for Online Recognition of Human Activities from Streaming Videos
从流媒体视频中识别人类活动对学习算法提出了独特的挑战：预测模型需要可扩展，可增量训练，并且即使在数据流任意长的情况下也必须保持大小有限。此外，由于参数调整在流设置中是有问题的，因此合适的方法应该是无参数的，并且不对流中可能出现什么类标签做出假设。我们在这里提出了一种从流数据中识别人类动作的方法，它满足所有这些要求：（1）增量学习一个模型，该模型自适应地覆盖具有简单局部分类器的特征空间;（2）采用主动学习策略来减少注释请求;（3）在固定模型大小内实现有希望的准确性。在标准基准上的大量实验表明，我们的方法与最先进的非增量方法相比具有竞争力，并且优于现有的主动增量基线。
2016-04-11 cs.CV cs.LG stat.ML
A Novel Online Stacked Ensemble for Multi-Label Stream Classification
Bilkent University（比尔肯特大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
随着数据流变得越来越普遍，挖掘这种瞬态和动态数据的在线算法的必要性变得更加清晰。多标签数据流分类是一个监督学习问题，其中数据流中的每个实例被分类到一个或多个预定义的标签集合中。已经提出了许多方法来解决这个问题，包括但不限于基于集合的方法。这些基于集成的方法中的一些是专门设计用于某些多标签基础分类器的;另一些则采用在线装袋方案来构建其集成。在这项研究中，我们引入了一种新的在线和动态加权堆叠集成多标签分类，称为GOOWE-ML，利用空间建模为其组件分类器分配最佳权重。我们的模型可以与任何现有的增量多标签分类算法作为其基础分类器。我们使用4个基于GOOWE-ML的多标签集合和7个基线模型对来自不同兴趣领域的7个真实数据集进行实验。我们的实验表明，相对于其他突出的集成模型，GOOWE-ML集成在几乎所有数据集的预测性能方面都产生了更好的结果。
2018-09-26 cs.IR cs.LG stat.ML
Robust Streaming, Sampling, and a Perspective on Online Learning
Princeton University（普林斯顿大学）
本文概述统计学习与鲁棒流处理技术，并在统一框架下证明二者之间的深层关系，以启发在线学习及相关领域的新研究方向。
2023-12-04 cs.GT cs.LG stat.ML
Online Clustering by Penalized Weighted GMM
Intel（英特尔公司）
随着大数据时代的到来，数据集正在迅速增长。数据流来自任何地方-从相机，手机，汽车和其他电子设备。聚类流数据是一个非常具有挑战性的问题。与数据集可以多次存储和扫描的传统聚类算法不同，对流数据进行聚类必须满足诸如有限内存大小、实时响应、未知数据统计和未知簇数量等约束。在本文中，我们提出了一种新的在线聚类算法，可用于聚类流数据，而不知道的簇的数量先验。在合成数据集和真实数据集上的结果表明，该算法产生的分区接近于一次聚类整个数据所能得到的分区。
2019-02-07 cs.CV cs.LG stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain（谷歌大脑）
我们描述了一个框架，推导和分析在线优化算法，包括自适应，数据相关的正则化，也称为预处理。这样的算法已被证明是有用的随机优化，根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献，包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此，我们获得了新的收敛性证明，这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Online Sinkhorn: Optimal Transport distances from sample streams
最优输运（OT）距离现在通常用作ML任务中的损失函数。然而，计算任意（即不一定离散）概率分布之间的OT距离仍然是一个悬而未决的问题。本文介绍了一种新的在线估计的熵正则化OT两个这样的任意分布之间的距离。它使用来自两个分布的样本流来迭代地丰富交通计划的非参数表示。与经典的Sinkhorn算法相比，我们的方法在每次迭代中都利用了新的样本，这使得能够一致地估计真实的正则化OT距离。我们提供了一个理论分析的收敛性的在线Sinkhorn算法，显示了一个接近O（1/n）的渐近样本复杂度的序列。我们验证我们的方法合成1D到10 D数据和真实的3D形状数据。
2020-07-02 math.OC stat.ML
Streaming Generated Gaussian Process Experts for Online Learning and Control: Extended Version
针对精确高斯过程处理流式数据时计算与内存复杂度高的问题，本文提出流式渐进生成高斯过程专家框架SkyGP及两个针对性变体，经实验验证其性能优于现有最优方法。
2025-11-14 cs.LG cs.SY eess.SY
Online Inference for Mixture Model of Streaming Graph Signals with Non-White Excitation
本文考虑了一个多图推理和聚类的联合问题，同时推理节点的中心性和图信号与它们的图的关联。我们研究了一种混合模型的滤波低通图信号与可能的非白色和低秩的激励。虽然混合模型的动机来自实际场景，但它对现有的图学习方法提出了重大挑战。作为一种补救措施，我们考虑一个推理问题集中在节点中心图。我们设计了一个期望最大化（EM）算法与一个独特的低秩加稀疏先验低通信号的性质。我们提出了一种新的在线期望最大化算法的推理流数据。作为一个例子，我们扩展了在线算法，以检测信号是否从异常图中生成。我们表明，所提出的算法收敛到一个平稳点的最大后验（MAP）问题。数值实验支持我们的分析。
2022-07-28 eess.SP stat.ML
Online Decomposition of Compressive Streaming Data Using $n$-$\ell_1$ Cluster-Weighted Minimization
我们考虑的压缩流数据的分解方法的背景下，在线压缩鲁棒主成分分析（RPCA）。所提出的分解解决了$n$ - $\ell_1$聚类加权最小化，以将来自压缩测量的帧（或向量）序列分解成稀疏和低秩分量。我们的方法从少量的测量中处理每个时间实例的流的数据向量，而传统的批量RPCA需要访问完整的数据。$n$ - $\ell_1$聚类加权最小化利用稀疏分量及其与多个先前恢复的稀疏向量的相关性。此外，所提出的最小化可以利用稀疏组件的结构，通过聚类和重新加权迭代。该方法优于现有的方法，数值数据和实际的视频数据。
2018-02-08 cs.IT math.IT stat.ML
Improved Online Conformal Prediction via Strongly Adaptive Online Learning
Salesforce AI Research（Salesforce人工智能研究院）
我们研究的问题，通过预测集的不确定性量化，在一个在线设置的数据分布可能会随时间的推移而任意变化。最近的工作开发了在线共形预测技术，利用在线学习文献中的遗憾最小化算法来学习具有近似有效覆盖和小遗憾的预测集。然而，标准的遗憾最小化可能不足以应对不断变化的环境，其中不仅在整个时间范围内而且在所有（子）时间间隔内都需要性能保证。我们开发了新的在线共形预测方法，最大限度地减少了强自适应遗憾，这措施的最坏情况下的遗憾，在所有的间隔一个固定的长度。我们证明了我们的方法实现了近最优的强自适应遗憾的所有区间长度同时，和近似有效的覆盖。实验表明，我们的方法始终获得更好的覆盖率和更小的预测集比现有的方法在现实世界的任务，如时间序列预测和图像分类下分布偏移。
2023-02-15 cs.AI cs.LG math.ST
Online Estimation with Rolling Validation: Adaptive Nonparametric Estimation with Streaming Data
本文针对在线非参数估计中的模型选择与超参数调优问题，提出一种加权滚动验证方法，以极低额外计算保持在线特性，并能提升估计器的启发式性能与自适应收敛速率。
2025-07-04 math.ST stat.ME stat.ML
