Biologically Inspired Feedforward Supervised Learning for Deep Self-Organizing Map Networks
CiNet, National Institute of Information and Communications Technology（信息通信研究机构脑信息通信融合研究中心）；Graduate School of Information Science and Technology, Osaka University（大阪大学信息科学与技术研究科）
在这项研究中，我们提出了一种新的深度神经网络及其使用前馈监督信号的监督学习方法。该方法受到人类视觉系统的启发，并在没有任何向后错误传播的情况下执行类似人类的基于关联的学习。产生正确结果的前馈监控信号在目标信号之前，并且将其确认的标签与目标信号的分类结果相关联。它有效地利用了来自前馈信号的大量信息，并形成了一个连续而丰富的学习表示。该方法使用视觉识别任务的MNIST手写数据集进行验证。
2017-10-26 cs.LG cs.NE stat.ML
A Streaming Algorithm for Crowdsourced Data Classification
Telecom ParisTech（巴黎电信学院）；Centrale-Supelec（中央理工-高等电力学院）
我们提出了一种基于众包的数据二进制分类的流算法。该算法通过将她的标签与相同任务上的其他标签进行比较来学习每个标签的能力，并使用此信息来最小化每个任务的预测错误率。我们提供的性能保证，我们的算法为一个固定的人口独立的标签。特别是，我们表明，我们的算法是最佳的意义上说，与已知的标签错误概率的最佳决策相比，累积的遗憾是有限的，独立的任务数量的标签。该算法的复杂性是线性的标记器的数量和任务的数量，一些对数因子。数值实验表明，我们的算法相比，现有的算法，包括简单多数表决和期望最大化算法，在合成和真实数据集的性能。
2016-02-23 cs.LG stat.ML
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay
Rochester Institute of Technology（罗切斯特理工学院）
终身学习代理能够从潜在的无限模式感知数据流中不断学习。构建以这种方式适应的智能体的一个主要历史困难是，神经系统在从新样本中学习时很难保留先前获得的知识。这个问题被称为灾难性遗忘（干扰），至今仍是机器学习领域中未解决的问题。虽然在前馈网络的背景下，遗忘在过去几十年中得到了广泛的研究，但在替代架构的背景下，如古老的自组织映射（SOM），一种无监督的神经模型，经常用于聚类和降维等任务。虽然其内部神经元之间的竞争可能具有改善记忆保持的潜力，但我们观察到，在任务增量数据上训练的固定大小的SOM，即，它以一定的时间增量接收与特定类相关的数据点，经历显著的遗忘。在这项研究中，我们提出了连续SOM（c-SOM），一个模型，能够减少自己的遗忘时，处理信息。
2021-12-09 cs.LG
Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps
University of South Florida（南佛罗里达大学）；Rochester Institute of Technology（罗切斯特理工学院）
本文针对无监督在线持续学习中的灾难性遗忘问题，提出持续自组织映射CSOM，在低内存预算下实现无任务边界的在线学习，并在多个基准上显著提升准确率。
2024-02-19 cs.LG cs.NE
Dendritic Self-Organizing Maps for Continual Learning
Technical University of Crete（克里特理工大学）；Foundation for Research and Technology-Hellas（研究与科技基金会-赫尔拉斯）
当前的深度学习架构在大规模受控数据集中训练时表现出卓越的性能。然而，这些架构的预测能力显着下降时，学习新的类增量。这是由于他们倾向于忘记从以前看到的数据中获得的知识，这种现象称为灾难性遗忘。另一方面，自组织映射（SOM）可以利用约束k-means对输入空间进行建模，从而保持过去的知识。在这里，我们提出了一种新的算法的灵感来自生物神经元，称为树突状自组织映射（DendSOM）。DendSOM由单层SOM组成，它从输入空间的特定区域提取模式，并伴随着一组命中矩阵，每个SOM一个，估计单元和标签之间的关联。该算法利用最大余弦相似性准则选择输入模式的最佳匹配单元，同时利用逐点互信息进行类推理。DendSOM执行无监督的特征提取，因为它不使用标签来有针对性地更新权重。它在基准数据集上的性能优于经典SOM和几种最先进的持续学习算法，如Split-MNIST和Split-CIFAR-10。我们认为，在自组织记忆中加入神经元特性可能有助于补救灾难性遗忘。
2021-10-18 cs.CV cs.LG cs.NE
LdSM: Logarithm-depth Streaming Multi-label Decision Trees
New York University（纽约大学）
我们考虑多标签分类，其目标是从一个非常大的标签集中用最相关的$\textit{subset}$标签来注释每个数据点。有效的注释可以通过平衡树预测器来实现，平衡树预测器即在标签复杂度中具有几何深度的树，其叶子对应于标签。用这种树为实际数据应用设计预测机制是不平凡的，因为它需要适应将示例发送到多个叶子，同时保持高预测精度。在本文中，我们开发的LdSM算法的多标签决策树的建设和训练，其中在树的每个节点，我们优化了一个新的目标函数，有利于平衡分裂，保持高类纯度的孩子节点，并允许发送的例子到多个方向，但与惩罚，防止树过度增长。一旦完成前一个节点，树的每个节点就被训练，从而导致用于训练的流方法。我们从理论上分析了所提出的目标，并表明，最小化它会导致纯粹和平衡的数据分裂。此外，我们还展示了一个提升定理，该定理捕捉了它与多标签分类错误的联系。基准数据集上的实验结果表明，我们的方法实现了高的预测精度和低的预测时间和位置LdSM作为现有的国家的最先进的方法之间的竞争工具。
2020-06-10 cs.LG stat.ML
Instance exploitation for learning temporary concepts from sparsely labeled drifting data streams
Virginia Commonwealth University（弗吉尼亚联邦大学）
由于在线工具和系统数量的增加，从流数据源的持续学习变得越来越流行。处理动态和持久的问题提出了新的挑战，传统的基于批处理的离线算法在计算时间和预测性能方面是不够的。最关键的限制之一是，我们不能假设可以访问有限和完整的数据集-我们必须随时准备好可能补充我们模型的新数据。这就提出了一个关键的问题，提供标签的潜在无限的流。在现实世界中，我们被迫处理非常严格的预算限制，因此，我们将很可能面临注释实例的稀缺性，这在监督学习中是必不可少的。在我们的工作中，我们强调这个问题，并提出了一种新的实例开发技术。我们表明，当：（i）数据的特征在于临时的非平稳概念，（ii）跨越很长时间范围的标签很少，实际上更好的做法是冒过拟合的风险，通过利用我们仅有的标记实例来更积极地适应模型，而不是坚持标准的学习模式并遭受严重的欠拟合。我们提出了不同的策略和配置，我们的方法，以及合奏算法，试图保持一个甜蜜点之间的风险和正常的适应。最后，我们使用与给定问题相关的最先进的流算法对我们的方法进行了复杂的深入比较分析。
2020-09-20 cs.LG stat.ML
Two-sample test based on Self-Organizing Maps
University of Cadiz（加的斯大学）
机器学习分类器可以用作双样本统计测试。假设每个样本都被分配了不同的标签，并且分类器可以获得比机会更好的结果来区分它们。在这种情况下，我们可以推断这两个样本来自不同的人群。然而，许多类型的模型，如神经网络，对用户来说就像一个黑盒子：它们可以拒绝两个样本来自同一个群体，但它们不能提供对两个样本如何不同的洞察。自组织映射是一种降维方法，最初被设计为一种数据可视化工具，用于显示紧急属性，也可用于分类任务。由于它们可以用作分类器，因此它们也可以用作双样本统计测试。但由于它们的最初目的是可视化，它们也可以提供见解。
2022-12-17 cs.LG cs.NE
Self-Organizing Survival Manifolds: A Theory for Unsupervised Discovery of Prognostic Structures in Biological Systems
Department of Computer Science University of Basel Basel, Switzerland（计算机科学系 巴塞尔大学 巴塞尔瑞士）
本研究提出自组织生存流形（SOSM）理论，通过潜流形上的低曲率测地线流无监督地发现生物系统预后结构，将生存建模为不依赖标签的几何涌现属性，连接了机器学习与生物物理。
2025-08-04 cs.LG math.OC
Combining self-labeling and demand based active learning for non-stationary data streams
Bielefeld University（比勒费尔德大学）
从非平稳数据流中学习是一个研究方向，随着越来越多的流形式的数据变得可用，例如来自社交媒体，智能手机或工业过程监控的数据，该方向越来越受到关注。大多数方法都假设样本的真实情况变得可用（可能有一些延迟），并在测试然后训练方案中执行监督在线学习。虽然此假设在某些情况下可能有效，但它并不适用于所有设置。在这项工作中，我们专注于几乎没有标记的数据流，并探索自标记在逐渐漂移的数据流中的潜力。我们正式这个设置，并提出了一种新的在线$k$分类器，结合自标记和基于需求的主动学习。
2023-02-08 cs.LG
Transfer learning for Remaining Useful Life Prediction Based on Consensus Self-Organizing Models
Halmstad University（哈尔姆斯塔德大学）
传统的开发机器性能的范例通常依赖于在设备部署之前在受控条件下从实验中获得的数据的概括。以这种方式检测或预测故障并估计机器健康假设未来的现场数据将具有与实验数据非常相似的分布。然而，许多复杂的机器在动态环境条件下运行，并以许多不同的方式使用。这使得收集全面的数据非常具有挑战性，部署前数据和部署后数据遵循非常相似的分布的假设不太可能成立。迁移学习（TL）是指将在一个环境（源域）中学习的知识转移到另一个环境（目标域）的方法。在这项工作中，我们提出了一个TL方法预测剩余使用寿命（RUL）的设备，假设标签只适用于源域，而不是目标域。该设置对应于将部署前执行的有限数量的运行至故障实验概括为使用来自在多个新操作条件下使用并经历以前未见过的故障的已部署设备的数据进行预测。我们采用偏差检测方法，共识自组织模型（COSMO），创建可转移的功能，建立RUL回归模型。这些功能捕捉目标设备与其同类设备相比的差异。使用NASA涡扇发动机退化模拟数据集证明了所提出的TL方法的有效性。当目标域比源域复杂时，使用COSMO可转移特征的模型在预测RUL上表现出比其他方法更好的性能。
2019-09-30 cs.LG stat.ML
A Novel Online Stacked Ensemble for Multi-Label Stream Classification
Bilkent University（比尔肯特大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
随着数据流变得越来越普遍，挖掘这种瞬态和动态数据的在线算法的必要性变得更加清晰。多标签数据流分类是一个监督学习问题，其中数据流中的每个实例被分类到一个或多个预定义的标签集合中。已经提出了许多方法来解决这个问题，包括但不限于基于集合的方法。这些基于集成的方法中的一些是专门设计用于某些多标签基础分类器的;另一些则采用在线装袋方案来构建其集成。在这项研究中，我们引入了一种新的在线和动态加权堆叠集成多标签分类，称为GOOWE-ML，利用空间建模为其组件分类器分配最佳权重。我们的模型可以与任何现有的增量多标签分类算法作为其基础分类器。我们使用4个基于GOOWE-ML的多标签集合和7个基线模型对来自不同兴趣领域的7个真实数据集进行实验。我们的实验表明，相对于其他突出的集成模型，GOOWE-ML集成在几乎所有数据集的预测性能方面都产生了更好的结果。
2018-09-26 cs.IR cs.LG stat.ML
Unsupervised Learning with Self-Organizing Spiking Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个系统，包括一个杂交的自组织映射（SOM）的属性与脉冲神经网络（SNN），保留了许多功能的SOM。网络以无监督的方式进行训练，通过神经元群体之间的兴奋-抑制相互作用来学习自组织的过滤器网格。我们开发并测试了各种抑制策略，例如随着神经元间距离的增长和两种不同的抑制水平。使用具有已知标签的示例来评估无监督学习算法的质量。提出并比较了几种生物学启发的分类工具，包括群体级置信度和使用spike motif算法的n-gram。使用最佳的参数选择，我们的方法产生的最先进的脉冲神经网络的改进。
2018-07-24 cs.LG cs.NE
QActor: On-line Active Learning for Noisy Labeled Stream Data
TU Delft（代尔夫特理工大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ABB Future Labs（ABB未来实验室）
对于不断发布在网络和社交媒体上的自我生成内容来说，嘈杂的标记数据更像是一种常态，而不是罕见的。由于隐私问题和政府法规，这样的数据流只能在有限的时间内存储和用于学习目的。为了克服这种在线情况下的噪声，我们提出了QActor，它结合了：通过质量模型选择理应干净的样本，并积极查询最翔实的真实标签的预言。虽然前者可能受到在线场景数据量低的影响，但后者受到人类专家可用性和成本的限制。QActor迅速结合了数据过滤质量模型和Oracle查询的优点，以清理信息量最大的数据。QActor的目标是利用严格的Oracle预算来最大限度地提高学习精度。QActor探索了结合不同查询分配和不确定性度量的各种策略。QActor的一个核心特性是根据每个数据批次的学习损失动态调整查询限制。我们广泛评估了输入分类器的不同图像数据集，这些数据集可以是标准的机器学习（ML）模型或深度神经网络（DNN），噪声标签比率在30%到80%之间。我们的研究结果表明，QActor几乎可以匹配仅使用干净数据实现的最佳准确度，其代价是最多额外增加6%的oracle地面真实数据。
2020-01-28 cs.LG stat.ML
Hoeffding adaptive trees for multi-label classification on data streams
University of Cordoba（科尔多瓦大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）
针对多标签数据流中的概念漂移、标签共现与类别不平衡等挑战，提出 MLHAT，并在 41 个数据集上验证其优于 18 种在线方法。
2024-10-26 cs.LG
Rectifying Self Organizing Maps for Automatic Concept Learning from Web Images
Bilkent University（比尔肯大学）
我们攻击的问题，学习概念自动从嘈杂的网络图像搜索结果。超越低级别属性，如颜色和纹理，我们探索弱标记数据集，用于学习更高级别的概念，如场景类别。这个想法是基于发现图像子集之间共享的共同特征，提出了一种方法，能够组织数据，同时消除不相关的实例。我们提出了一种新的聚类和离群点检测方法，即纠正自组织映射（RSOM）。给定为概念查询返回的图像集合，RSOM提供从离群值修剪的聚类。每个集群用于训练表示概念的不同特征的模型。所提出的方法优于国家的最先进的研究任务的学习低层次的概念，它是有竞争力的学习更高层次的概念。它能够在没有监督的情况下通过利用可用资源大规模工作。
2013-12-16 cs.CV cs.LG cs.NE
Multi-Label Transfer Learning in Non-Stationary Data Streams
Insight Centre for Data Analytics, School of Computer Science, University College Dublin, Ireland（数据分析洞察中心、计算机科学学院、都柏林大学学院，爱尔兰）；School of Computer Science, University of Birmingham, United Kingdom（计算机科学学院、伯明翰大学，英国）；School of Computing and Mathematical Sciences, University of Leicester, United Kingdom（计算与数学科学学院、莱斯特大学，英国）
针对非平稳多标签数据流中的概念漂移，提出BR-MARLENE和BRPW-MARLENE两种迁移学习方法，通过标签间知识及成对依赖迁移，在实验中优于现有方法。
2025-09-09 cs.AI cs.LG
SOM-CPC: Unsupervised Contrastive Learning with Self-Organizing Maps for Structured Representations of High-Rate Time Series
Eindhoven University of Technology（埃因霍温理工大学）；Onera Health（奥内拉健康公司）；Sleep Medicine Center Kempenhaeghe（肯彭黑格睡眠医学中心）
针对高速率时间序列的高维难解释问题，提出SOM-CPC模型，通过无监督对比学习与自组织映射在二维流形中保留高维信息，并在合成与真实数据上验证其优于多种基线方法。
2023-05-25 cs.LG cs.NE
FloatSOM: GPU-Accelerated, Distributed, Topology-Flexible Self-Organizing Maps
John Curtin School of Medical Research, Australian National University（澳大利亚国立大学约翰·库廷医学研究学院）；Department of Information Technology and Electrical Engineering, ETH Zürich（苏黎世联邦理工学院信息科技与电气工程系）；Mathematical Data Science Centre, Australian National University（澳大利亚国立大学数学数据科学中心）；Walter and Eliza Hall Institute（沃尔特和伊丽莎白·霍尔研究所）
FloatSOM通过多GPU执行、内存盘流式传输和新型拓扑结构，提升了大规模自组织映射的性能与效率，降低量化误差并实现高吞吐量分布式训练。
2026-04-29 cs.DC cs.LG
Active Learning for Noisy Data Streams Using Weak and Strong Labelers
Delft University of Technology（代尔夫特理工大学）
在机器学习中，正确标记数据是一项昂贵且具有挑战性的任务，特别是对于在线数据流。深度学习模型尤其需要大量干净的标记数据，这在现实世界的问题中是很难获得的。选择有用的数据样本进行标记，同时最大限度地降低标记成本，对于保持训练过程的效率至关重要。当面对多个贴标机具有不同的专业知识和各自的标签成本，决定选择哪个贴标机是不平凡的。在本文中，我们考虑了一种新的弱和强标签问题的启发，人类的自然能力的标签，在存在的数据流与噪声标签和有限的预算约束。我们提出了一个在线的主动学习算法，包括四个步骤：过滤，增加多样性，信息样本选择，标签选择。我们的目标是过滤掉可疑的噪音样本，并以具有成本效益的方式使用强标记器和弱标记器将预算用于各种信息数据。我们推导出一个决策函数，通过结合个体样本的信息量和模型置信度来衡量信息增益。我们评估我们提出的算法上著名的图像分类数据集CIFAR10和CIFAR100高达60%的噪声。实验表明，通过智能地决定查询哪个标签，我们的算法保持相同的准确性相比，只有一个可用的标签，而花费较少的预算的情况下。
2020-10-27 cs.LG
Mining Drifting Data Streams on a Budget: Combining Active Learning with Self-Labeling
Virginia Commonwealth University（弗吉尼亚联邦大学）
挖掘数据流带来了许多挑战，包括数据的连续性和非平稳性，需要处理的大量信息以及对计算资源的限制。虽然在文献中针对这个问题提出了许多有监督的解决方案，但其中大多数都假设对基础事实（以类别标签的形式）的访问是无限的，并且在更新学习系统时可以立即利用这些信息。这是远远不现实的，因为人们必须考虑获得标签的潜在成本。因此，需要能够降低流传输场景中对地面实况的要求的解决方案。在本文中，我们提出了一种新的框架，挖掘漂移的数据流的预算，结合信息来自主动学习和自标记。我们介绍了几种策略，可以利用智能实例选择和半监督程序，同时考虑到概念漂移的潜在存在。这种混合方法允许在现实的标记预算内有效地探索和利用流式传输数据结构。由于我们的框架作为包装器工作，它可以应用于不同的学习算法。实验研究，进行了一组不同的现实世界的数据流与各种类型的概念漂移，证明了所提出的策略的有用性时，处理高度有限的访问类标签。所提出的混合方法是特别可行的，当一个不能增加预算的标签或更换一个低效的分类。我们提供了一套关于我们战略适用领域的建议。
2021-12-21 cs.LG
A no-regret generalization of hierarchical softmax to extreme multi-label classification
Poznan University of Technology（波兹南理工大学）；Yahoo! Research（雅虎研究院）
极端多标签分类（XMLC）是一个用从极大的可能标签池中选择的一小部分相关标签来标记实例的问题。大的标签空间可以通过将标签组织为树来有效地处理，就像通常用于多类问题的分层softmax（HSM）方法一样。在本文中，我们调查的概率标签树（PLT），最近已经设计解决XMLC问题。我们表明，PLT是一个无悔的多标签推广的HSM时，精度@k被用作模型的评价指标。至关重要的是，我们证明了选择一个标签的启发式-减少技术，从多标签到多类，是经常使用的HSM -一般是不一致的。我们还表明，我们的PLT实现（称为extremeText（XT））比使用pick-one-label启发式和XML-CNN（一种专门为XMLC问题设计的深度网络）的HSM获得了更好的结果。此外，XT在统计性能，模型大小和预测时间方面与许多最先进的方法具有竞争力，这使得它适合在在线系统中部署。
2018-10-27 cs.LG stat.ML
Streaming Active Deep Forest for Evolving Data Stream Classification
Griffith University（格里菲斯大学）；Robert Gordon University（罗伯特戈登大学）
近年来，深度神经网络（DNN）在机器学习的许多领域都取得了进展。DNN的逐层过程激发了许多深度模型的开发，包括深度集成。最值得注意的基于深度集成的模型是Deep Forest，它可以实现极具竞争力的性能，同时与DNN相比具有更少的超参数。尽管Deep Forest在批量学习环境中取得了巨大的成功，但它并没有努力适应不断变化的数据流。在这项工作中，我们介绍了流深森林（SDF）算法，一个高性能的深度集成方法，专门适用于流分类。我们还提出了增强变量不确定性（AVU）的主动学习策略，以减少标记成本的流上下文。我们比较所提出的方法，以国家的最先进的流算法在广泛的数据集。实验结果表明，采用AVU主动学习策略，SDF在标注预算仅为70%的情况下，其性能明显优于其他方法。
2020-02-26 cs.LG stat.ML
Probabilistic Label Trees for Extreme Multi-label Classification
Poznan University of Technology（波兹南理工大学）；Yahoo! Research（雅虎研究院）；Google Research（谷歌研究院）
极端多标签分类（XMLC）是一个学习任务，它从一个非常大的可能标签池中选择一小部分相关标签来标记实例。这种规模的问题可以通过将标签组织为树来有效地处理，就像用于多类问题的分层softmax一样。在本文中，我们深入研究了概率标签树（PLT），它可以被视为一个推广的分层softmax多标签问题。我们首先介绍PLT模型，并讨论训练和推理过程及其计算成本。接下来，我们证明了广泛的性能指标的PLT的一致性。为此，我们上界他们的遗憾的替代损失遗憾的节点分类器的功能。此外，我们考虑了在完全在线设置中训练PLT的问题，而无需任何训练实例，其特征或标签的先验知识。在这种情况下，节点分类器和树结构都是在线训练的。我们证明了一个具体的等价性之间的完全在线算法和一个算法与一个树结构预先给定的。最后，我们讨论了几种实现的PLT，并介绍了一个新的，napkinXC，我们经验评估和比较国家的最先进的算法。
2020-09-23 cs.LG stat.ML
Learning from a single labeled face and a stream of unlabeled data
Technicolor Labs（Technicolor实验室）；Inria Lille - Nord Europe（Inria里尔-北欧洲）；team SequeL Lille, France（SequeL团队，里尔，法国）
本文提出在仅有一张标注人脸和大量未标注数据的情况下，通过单类分类方法提升人脸识别性能，实验表明其在43人数据集上达到90%的识别率，优于基线方法。
2026-10-06 cs.LG stat.ML
Implicit Concept Drift Detection for Multi-label Data Streams
Bilkent University（比尔肯特大学）
随着对处理快速变化数据的算法的需求增加，许多现实世界的应用程序采用多标签数据流。数据分布的变化，也称为概念漂移，导致现有的分类模型迅速失去其有效性。为了帮助分类器，我们提出了一种新的算法，称为标签依赖漂移检测器（LD3），一个隐式（无监督）的概念漂移检测器，使用标签依赖性的数据内的多标签数据流。我们的研究利用标签之间的动态时间依赖性使用标签影响排名方法，该方法利用数据融合算法，并使用产生的排名来检测概念漂移。LD3是多标签分类问题领域的第一个无监督概念漂移检测算法。在这项研究中，我们进行了广泛的评估LD3通过比较它与14个流行的监督概念漂移检测算法，我们适应问题领域使用12个数据集和基线分类器。结果表明，LD 3提供了19.8%和68.6%之间更好的预测性能比可比的检测器在现实世界和合成数据流。
2022-01-31 cs.IR cs.LG
Storage Fit Learning with Feature Evolvable Streams
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
近年来，特征进化学习得到了广泛的研究，当使用流进行学习时，旧的特征会消失，新的特征会出现。传统的方法通常假设在每个时间步的预测之后将显示标签。然而，在实践中，这种假设可能不成立，而在大多数时间步长中不会给出标签。一个很好的解决方案是利用流形正则化技术，利用以前的类似数据来帮助在线模型的改进。然而，这种方法需要存储所有先前的数据，这在使用大量顺序到达的流进行学习时是不可能的。因此，我们需要一个缓冲区来存储其中的一部分。考虑到不同的设备可能有不同的存储预算，学习方法应该是灵活的存储预算限制。在本文中，我们提出了一个新的设置：适应的可进化流学习（SF $^2$ EL），它将很少提供标签的问题纳入特征进化。我们的框架能够适应不同的存储预算时，学习与未标记的数据特征可进化流的行为。此外，理论和实验结果都验证了我们的方法可以保持原始特征进化学习的优点，即，可以始终跟踪最佳基线，从而在任何时间步长都能表现良好。
2021-02-23 cs.LG stat.ML
A Natural Language-Inspired Multi-label Video Streaming Traffic Classification Method Based on Deep Neural Networks
Michigan State University（密歇根州立大学）
本文提出了一种基于深度学习的流量分类方法，用于在加密隧道内同时识别多个流式视频源。这项工作定义了一个受自然语言处理（NLP）启发的新功能，允许现有的NLP技术帮助流量分类。描述了特征提取方法，并创建了包含视频流和Web流量的大型数据集来验证其有效性。通过应用几种NLP方法获得的结果表明，所提出的方法在二进制和多标签流量分类问题上都表现良好。我们还展示了该方法实现zero-shot学习的能力。
2019-06-04 cs.CV cs.LG eess.SP
A Systematic Literature Review on Multi-label Data Stream Classification
University of Porto - INESC TEC（波尔图大学 - INESC TEC）；University of Texas at Dallas - UTD（德克萨斯大学达拉斯分校）
针对多标签数据流分类面临的动态环境问题，本综述深入分析相关方案，刻画最新方法、构建层次结构、探讨问题应对方式，还分析评估策略与复杂度等，指出研究空白并给出未来方向建议。
2025-08-24 cs.LG
Landmark Map: An Extension of the Self-Organizing Map for a User-Intended Nonlinear Projection
Chiba University（千叶大学）；Center for Frontier Medical Engineering（前沿医学工程中心）
自组织映射（SOM）是一种无监督的人工神经网络，其被广泛用于，例如，数据采掘和可视化。监督学习和半监督学习方法已被提出的SOM。然而，它们的教师标签并不描述数据和节点位置之间的关系。本研究提出了一个地标地图（LAMA），这是一个扩展的SOM，利用几个地标，例如，节点和数据点对。LAMA被设计为获得用户预期的非线性投影，以实现，例如，面向地标的数据可视化。为了揭示LAMA的学习特性，分析了来自UCI机器学习存储库的Zoo数据集和人工共振峰数据集。对Zoo数据集的分析结果表明，LAMA可以提供一种新的数据视图，如以地标为中心的数据可视化。此外，人工共振峰数据分析表明，LAMA成功地提供了预期的非线性投影关节运动与计算机光标的垂直和水平移动。LAMA的潜在应用包括数据采掘、推荐系统和人机交互。
2019-08-20 cs.HC cs.LG cs.NE
Activity Recognition using Hierarchical Hidden Markov Models on Streaming Sensor Data
Amirkabir University of Technology（阿米尔卡比尔理工大学）
从传感器数据中识别活动涉及各种挑战，例如重叠活动，活动标记和活动检测。虽然识别领域的每个挑战都非常重要，但最重要的挑战是在线活动识别。本研究尝试使用在线层次隐马尔可夫模型来检测传感器数据流上的活动，该模型可以预测具有任何传感器事件的环境中的活动。活动识别样本通过活动持续时间等统计特征进行标记。我们提出的方法在现实世界中的两个不同的灵巧家庭数据集上进行测试的结果表明，一个数据集的结果提高了4%，达到了59%，而另一个数据的结果达到了64.6%，通过使用最好的方法。
2018-10-04 cs.LG stat.ML
Unsupervised Continual Learning with Growing Self-Organizing Maps and Synthetic Replay
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出基于生长自组织映射与合成重放的无监督持续学习框架，无需原始数据与监督信息，在多基准测试中性能优于无内存方法，在单类增量场景表现突出，为相关研究提供参考。
2026-08-31 cs.LG
Inverting Self-Organizing Maps: A Unified Activation-Based Framework
Sony Computer Science Laboratories - Rome Joint Initiative CREF-SONY, Centro Ricerche Enrico Fermi Via Panisperna 89/A, 00184 Rome, Italy（索尼计算机科学实验室-罗马联合计划 CREF-SONY，埃尼奇费里研究中心，帕纳尔纳街89号A，00184罗马，意大利）；Department of Computer, Automatic and Management Engineering Sapienza University, Via Ariosto 25 Rome, Italy（计算机、自动与管理工程系，萨皮恩扎大学，阿里奥斯特路25号，意大利）；Physics Department Sapienza University, Piazzale Aldo Moro 1 Rome, Italy（物理系，萨皮恩扎大学，阿尔多·莫罗广场1号，意大利）；Complexity Science Hub Josefstädter Strasse 39, A 1080, Vienna, Austria（复杂性科学中心，约瑟夫斯塔德特街39号，奥地利1080）
MUSIC通过原型几何实现SOM的反向与控制，无需采样或解码器，产生语义连贯的轨迹。
2026-02-23 cs.LG stat.ML
A Novel Online Real-time Classifier for Multi-label Data Streams
提出了一种新的基于极限学习机的实时的【形】数据流在线多标记分类器。多标签分类是近年来机器学习研究的热点之一，由于其在现实世界中的应用迅速增加，受到了广泛的关注。与传统的二进制和多类分类相比，多标签分类涉及同时将每个输入样本与一组目标标签相关联。在文献中没有实时的【形】基于在线神经网络的多标签分类器。在本文中，我们利用极限学习机所表现出的高速的固有性质，开发了一种新的在线实时的【形】分类器的多标签数据流。开发的分类器进行了实验，从不同的应用领域的一致性，性能和速度的数据集。实验结果表明，该方法在速度和准确率方面均优于现有的最新技术，能够实时的【形】对多标签数据流进行分类.
2016-08-31 cs.AI cs.LG cs.NE
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法，如流行的Hoeffding树算法。从统计学的角度来看，在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清，一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白，推导出准确的置信区间估计分裂增益决策树学习的三个标准：熵，基尼指数，和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置，其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率，分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明，我们的树确实比其他技术生成的具有相同数量叶子的树更准确，并且我们的主动学习模块允许节省标记成本。此外，比较我们的标签策略与最近的方法，我们表明，我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
A Survey on Semi-Supervised Learning for Delayed Partially Labelled Data Streams
University of Waikato（怀卡托大学）；Warsaw University of Technology（华沙工业大学）；University of São Paulo（圣保罗大学）；École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Télécom Paris（巴黎电信学院）
未标记的数据出现在许多领域中，并且与流应用程序特别相关，即使数据丰富，标记的数据也很少。为了解决与这些数据相关的学习问题，可以忽略未标记的数据，只关注标记的数据（监督学习）;使用标记的数据并尝试利用未标记的数据（半监督学习）;或者假设一些标签将根据请求提供（主动学习）。第一种方法是最简单的，但可用的标记数据量将限制预测性能。第二个依赖于发现和利用数据分布的基本特征。第三个依赖于外部代理商及时提供所需的标签。这项调查特别关注在半监督环境中利用未标记数据的方法。我们还讨论了延迟标记问题，它影响了完全监督和半监督方法。我们提出了一个统一的问题设置，讨论了学习的保证和现有的方法，解释相关的问题设置之间的差异。最后，我们回顾了当前的基准测试实践，并提出了改进建议。
2021-06-16 cs.LG
Incremental Active Opinion Learning Over a Stream of Opinionated Documents
Swedish Institute of Computer Science (SICS Swedish ICT)（瑞典计算机科学研究所（SICS瑞典信息与通信技术研究院））；Ludwig-Maximilians University（路德维希-马克西米利安大学）；Otto-von-Guericke University（奥托·冯·格里克大学）
从自认为的文档（如tweets或产品评论）中学习的应用程序面临两个挑战。首先，固执己见的文件构成了一个不断发展的流，其中作者的态度和词汇本身可能会发生变化。其次，文档的标签是稀缺的，单词的标签是不可靠的，因为一个词的情感取决于作者心中的（未知的）上下文。大多数关于在固执己见的流上进行挖掘的研究都集中在问题的第一个方面，而对于第二个方面，则假设流中的标签持续供应。这样的假设是乌托邦式的，因为流是无限的，标签成本是禁止的。为此，我们研究了主动流学习算法的潜力，要求标签的需求。我们提出的ACOSTREAM 1方法只适用于有限的标签：它使用标记文档的初始种子，偶尔会向人类专家请求文档的额外标签，并在利用可用标记文档的同时逐渐适应底层流。在其核心，ACOSTREAM由一个MNB分类器加上“采样”策略，为新的未标记的文档请求类标签。在实验中，我们通过改变以下参数来评估分类器随时间的性能：（a）固执己见流的类分布，同时假设词汇表中的单词集是固定的，但它们的极性可能会随着类分布而变化;以及（b）每个时刻到达的未知单词的数量，而类极性也可能会变化。我们的研究结果表明，主动学习流的意见，文件，提供了良好的性能，而需要一个小的选择标签
2015-09-03 cs.CL cs.IR cs.LG
Automatic Construction of Multi-layer Perceptron Network from Streaming Examples
Nanyang Technological University（南洋理工大学）；La Trobe University（乐卓博大学）；Nantong University（南通大学）
深度神经网络（DNN）的自主构建是数据流所期望的，因为它潜在地提供了两个优点：适当的模型容量和对漂移和移位的快速反应。虽然DNN的自组织机制仍然是一个悬而未决的问题，但与使用不同深度结构的DNN相比，为标准多层DNN开发此任务更具挑战性，因为添加新层会导致先前训练的知识的信息丢失。提出了一种容量动态演化的神经网络（NADINE）。NADINE具有完全开放的结构，其网络结构，深度和宽度可以以在线方式从零开始自动演变，而无需使用特定问题的阈值。NADINE是在标准的MLP结构下构造的，并使用软遗忘和自适应记忆方法的建议解决了隐藏层添加阶段的灾难性遗忘问题。NADINE的优势，即弹性结构和在线学习的特点，数值验证使用9个数据流分类和回归问题，它表明在所有问题的突出算法的性能改善。此外，它能够同样好地处理数据流回归和分类问题。
2020-01-09 cs.LG cs.NE stat.ML
Semi-supervised Drifted Stream Learning with Short Lookback
University of Central Florida（中佛罗里达大学）；University of Macau（澳门大学）；Nanjing University（南京大学）
在许多情况下，1）数据流是实时的生成的; 2）标记数据是昂贵的，并且在开始时只有有限的标签可用; 3）真实世界的数据并不总是i.i.d.并且数据随着时间逐渐漂移; 4）历史流的存储是有限的，并且模型更新只能基于非常短的回顾窗口来实现。这种学习设置限制了许多机器学习（ML）算法的适用性和可用性。我们将这种设置下的学习任务概括为半监督漂移流学习与短回顾问题（SDSL）。SDSL对半监督学习、连续学习和领域自适应中的现有方法提出了两个未解决的挑战：1）渐进移位下的鲁棒伪标记和2）具有短回看的抗遗忘自适应。为了应对这些挑战，我们提出了一个原则性和通用的生成重放框架来解决SDSL。该框架能够实现：1）在生成步骤中的鲁棒伪标记; 2）在重放步骤中的抗遗忘自适应。为了实现强大的伪标签，我们开发了一种新的伪标签分类模型，利用监督知识的以前标记的数据，新数据的无监督知识，和不变的标签语义的结构知识。为了实现自适应抗遗忘模型重放，我们提出将抗遗忘自适应任务视为平坦区域搜索问题。我们提出了一个新的极小极大对策为基础的重放目标函数来解决平坦区域搜索问题，并开发了一个有效的优化求解器。最后，我们提出了大量的实验来证明我们的框架可以有效地解决漂移流中的抗遗忘学习任务。
2022-05-25 cs.LG
Active learning for data streams: a survey
Technical University of Denmark（丹麦技术大学）；Norwegian University of Science and Technology（挪威科技大学）；Luleå University of Technology（吕勒奥理工大学）
本文综述了面向数据流的在线主动学习方法，系统梳理了实时选择最具信息量观测进行标注的各类技术，并分析了其优势、局限及面临的挑战与机遇。
2023-11-29 cs.LG stat.ME stat.ML
A Clustering-based Framework for Classifying Data Streams
North Carolina A&T State University（北卡罗来纳农业技术州立大学）；Raytheon Technologies Research Center（雷神技术研究中心）
数据流的非平稳特性对传统的机器学习技术提出了强烈的挑战。尽管已经提出了一些解决方案来扩展用于处理数据流的传统机器学习技术，但是这些方法需要初始标签集或者依赖于专门的设计参数。类别之间的重叠和数据流的标记构成了数据流分类的其他主要挑战。在本文中，我们提出了一个基于聚类的数据流分类框架来处理非平稳数据流，而无需使用初始标签集。该算法采用基于密度的流聚类方法，通过动态阈值捕获新概念，并引入有效的主动标签查询策略，从数据流中不断学习新概念.每个聚类的子聚类结构被探索以处理类之间的重叠。实验结果和定量比较研究表明，该方法提供了统计上更好的或可比的性能比现有的方法。
2021-06-22 cs.AI cs.LG
Data Stream Sampling with Fuzzy Task Boundaries and Noisy Labels
The University of Melbourne（墨尔本大学）
针对模糊任务边界与噪声标签的数据流持续学习问题，提出 NTD 采样去偏方法，在四个数据集上以更少 GPU 内存和两倍以上加速保持或提升准确率。
2024-04-07 cs.AI cs.CV cs.LG
A novel online multi-label classifier for high-speed streaming data applications
提出了一种基于极限学习机的高速在线神经网络多标签分类器。在多标签分类中，每个输入数据样本属于一个或多个目标标签。传统的二值分类和多类分类是多标签分类的子集，其中每个样本只属于一个目标类。多标签分类问题比二进制和多类分类问题复杂得多，因为目标标签的数量和对应于每个输入样本的每个目标标签都要被识别。所提出的工作利用极端学习机的高速特性来实现流数据的实时多标签分类。针对高速流数据多标签分类问题，提出了一种新的基于阈值的在线序贯学习算法。所提出的方法进行了实验，从不同的应用领域，如多媒体，文本和生物学的六个不同的数据集。汉明损失，准确性，训练时间和测试时间的建议的技术进行了比较与9个不同的国家的最先进的方法。实验结果表明，该方法在性能和速度方面优于现有的多标签分类器。
2016-09-01 cs.AI cs.LG cs.NE
Balancing Efficiency vs. Effectiveness and Providing Missing Label Robustness in Multi-Label Stream Classification
Bilkent University（比尔肯特大学）
针对数据流多标签分类中效果与效率难以平衡、缺失标签鲁棒性不足的问题，提出以BELS为基分类器的加权二元相关性方法ML-BELS，结合选择性漂移自适应和标签基数触发的加权策略，在多数据集上验证其性能与鲁棒性。
2023-10-01 cs.LG
Self-organizing maps for water quality assessment in reservoirs and lakes: A systematic literature review
NOVA University Lisbon（里斯本新大学）；National Laboratory for Civil Engineering (LNEC)（国家土木工程实验室（LNEC））；Carnegie Mellon University（卡内基梅隆大学）
本文综述了自组织映射在水库和湖泊水质评估中的应用，探讨其在多维数据处理和生态模式识别中的有效性。
2025-12-20 cs.AI cs.LG
SLeDGe: Semi-Supervised Learning on Data Streams with Graph Structure Learning
KAIST（韩国科学技术院）
提出SLeDGe方法，通过联合学习预测模型和自适应图结构，在严格内存和标签约束下实现数据流半监督学习，在12个数据集上平均相对准确率提升31.7%（0.1%标签）和14.8%（1%标签）。
2026-06-23 cs.AI cs.LG
Autonomous Cross Domain Adaptation under Extreme Label Scarcity
Nanyang Technological University（南洋理工大学）；University of South Australia（南澳大学）；Monash University（莫纳什大学）；Singapore Institute of Manufacturing Technology, A*Star（新加坡科技研究局新加坡制造技术研究院）
跨域多流分类是一个具有挑战性的问题，要求快速的领域自适应，以处理不同的，但相关的流在永无止境的和快速变化的环境。尽管现有的多流分类器假设在目标流中没有标记的样本，但是它们仍然产生昂贵的标记成本，因为它们需要源流的完全标记的样本。针对跨域多流分类问题中的标签短缺问题，提出了一种新的分类方法，即在处理运行前只提供很少的源数据流标签样本。我们的解决方案，即学习流处理部分地面真理（LEOPARD），是建立在一个灵活的深度聚类网络，其隐藏节点，层和集群的添加和删除动态变化的数据分布。深度聚类策略的基础是同时进行特征学习和聚类技术，从而产生聚类友好的潜在空间。领域自适应策略依赖于对抗性领域自适应技术，其中特征提取器被训练为欺骗对源流和目标流进行分类的领域分类器。我们的数值研究表明LEOPARD的有效性，它提供了改进的性能相比，突出的算法在15的24例。LEOPARD的源代码在\url{https://github.com/wengweng001/LEOPARD.git}中共享，以便进一步研究。
2022-09-04 cs.AI cs.LG
SLADE: Detecting Dynamic Anomalies in Edge Streams without Labels via Self-Supervised Learning
KAIST（韩国科学技术院）
提出自监督框架SLADE，通过训练神经网络最小化节点表示漂移并从短期模式生成长期模式，在无标签边流中实现常数时间的动态异常检测，性能优于多种有监督方法。
2024-07-25 cs.LG cs.SI
Efficient Classification of Multi-Labelled Text Streams by Clashing
Universidad Técnica Federico Santa María（费德里科圣玛丽亚理工大学）；University of Bristol（布里斯托大学）
我们提出了一种方法，明确设计的数据流应用程序，需要处理一个几乎无限的数据序列，使用恒定的内存和恒定的处理时间的多标签的文本文档的分类。我们的方法是由一个在线的过程，用于有效地映射到一个低维的特征空间的文本和一个分区的这个空间到一组区域的系统提取和保持用于预测多标签文本注释的统计数据。文档作为一个单词序列被输入系统，映射到分区的一个区域，并使用从同一区域中冲突的标记实例计算的统计数据进行注释。这种方法被称为冲突。我们说明了在现实世界中的文本数据的方法，使用其他文本分类器获得的结果进行比较。此外，我们提供了一个分析的表示空间的维数对系统的预测性能的影响。我们的研究结果表明，在线嵌入确实近似于完整的语料库TF和TF-IDF空间的几何形状。该模型获得竞争力的F措施相对于最准确的方法，使用显着更少的计算资源。此外，该方法实现了更高的宏观平均F测量比具有类似的运行时间的方法。此外，该系统能够比其他方法更快地从部分标记的流中学习。
2016-04-12 cs.AI cs.LG
Continual Learning on Noisy Data Streams via Self-Purified Replay
NALBI Inc.（NALBI公司）；Seoul National University（首尔大学）
在现实世界中持续学习必须克服许多挑战，其中噪声标签是一个常见且不可避免的问题。在这项工作中，我们提出了一个基于替换的持续学习框架，同时解决了灾难性遗忘和噪声标签的第一次。我们的解决方案是基于两个观察;（i）即使有噪声标签，通过自监督学习也可以减轻遗忘，以及（ii）重放缓冲区的纯度至关重要。在此基础上，我们提出了我们方法的两个关键组成部分：（i）一种名为Self-Replay的自监督重放技术，可以避免由噪声标记数据产生的错误训练信号，以及（ii）Self-Centered filter，通过基于中心的随机图集成来维护纯化的重放缓冲区。MNIST，CIFAR-10，CIFAR-100和WebVision与现实世界的噪音的实证结果表明，我们的框架可以保持一个高度纯净的重放缓冲区中嘈杂的流数据，同时大大优于国家的最先进的持续学习和嘈杂的标签学习方法的组合。源代码可在http://vision.snu.ac.kr/projects/SPR上获得
2021-10-14 cs.LG
Online hierarchical partitioning of the output space in extreme multi-label data stream
Virginia Tech, Virginia Polytechnic Institute and State University（弗吉尼亚理工大学、弗吉尼亚理工学院和州立大学）
iHOMER通过增量分层方法提升在线多标签分类性能，有效应对概念漂移和非平稳性挑战。
2025-07-28 cs.AI cs.LG
A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams
National Research Council（国家研究委员会）
针对实时标签稀缺的流数据环境，提出一种结合ADWIN算法和RMSE的无监督自适应回归框架，通过动态漂移检测实现模型持续适应，在多个数据集上表现优于非自适应基线。
2024-04-24 cs.LG
Class Incremental Continual Learning with Self-Organizing Maps and Synthetic Replay
该研究提出基于自组织映射（SOM）与合成重放的类别增量持续学习框架，在多基准数据集上性能优于无内存方法，为类别增量持续学习提供了可扩展的无标签无示例方案。
2026-08-31 cs.LG
Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data Streams
Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）；Johannes Kepler University（约翰内斯·开普勒大学）；La Trobe University（乐卓博大学）；Universitas Muhammadiyah Malang（玛琅穆罕默迪亚大学）
大规模数据流问题是指在传统计算平台下无法以可扩展的方式处理的高速信息流。这个问题还带来了昂贵的标签成本，使得部署完全监督算法不可行。另一方面，半监督的大规模数据流的问题很少在文献中探讨，因为大多数作品都是在传统的单节点计算环境中设计的，同时也是完全监督的方法。本文提出了弱监督可扩展教师强迫网络（WeScatterNet），以同时应对标记样本的稀缺性和大规模数据流。WeScatterNet是在Apache Spark的分布式计算平台下构建的，采用无数据模型融合策略，在并行计算阶段后进行模型压缩。它具有一个开放的网络结构，以解决全球和本地漂移的问题，同时集成了数据增强，注释和自动校正（$DA^3$）的方法来处理部分标记的数据流。WeScatterNet的性能进行了数值评估，在六个大规模的数据流问题，只有$25\%$标签比例。即使与具有$100\%$标签比例的完全监督学习器相比，它也显示出高度竞争性的性能。
2021-06-26 cs.AI cs.DC cs.LG
