stream-learn -- open-source Python library for difficult data stream batch analysis
Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
stream-learn是一个与scikit-learn兼容的Python包,用于漂移和不平衡的数据流分析。它的主要组成部分是一个流生成器,它允许产生一个合成数据流,该数据流可以将三种主要概念漂移类型(即突然漂移、渐进漂移和增量漂移)中的每一种都纳入其重复或非重复版本中。该软件包允许按照既定的评估方法(即测试-然后-训练和预先)进行实验。此外,适用于数据流分类的估计器已经实现,包括简单的分类器和最先进的基于块的在线分类器集成。为了提高计算效率,package利用自己的预测指标实现不平衡的二进制分类任务。
2020-01-29 cs.CV cs.LG stat.ML
Employing Sentence Space Embedding for Classification of Data Stream from Fake News Domain
Department of Systems;Computer Networks, Faculty of Information;Communication Technology, Wroc aw University of Science
本文首次提出利用句空间嵌入将文本编码为离散数字信号,并借助图像分类卷积深度网络进行虚假新闻数据流分类,在Fakeddit数据集上验证了其泛化能力与时间效率。
2025-11-10 cs.CL cs.LG
DataZoo: Streamlining Traffic Classification Experiments
FIT CTU(捷克技术大学信息技术学院);CESNET(捷克教育科研网)
针对网络流量分类缺乏标准基准与工具的问题,本文提出 DataZoo,通过统一 API、三大数据集及考虑时间和服务因素的划分与缩放方法,提升实验复现与方法可比性。
2023-10-30 cs.LG cs.NI
Implicit Context-aware Learning and Discovery for Streaming Data Analytics
United Technologies Research Center(联合技术研究中心)
如果提供上下文线索作为输入以及与推理任务直接相关的基本特征,则可以进一步提高机器学习模型的性能。在离线学习中,可以检查历史训练数据以通过特征聚类或手工制作附加特征来描述上下文来识别上下文聚类。虽然离线训练享有基于已经定义的上下文特征学习可靠模型的特权,但流数据的在线训练可能更具挑战性-数据是随着时间的推移而流动的,并且数据生成过程中的底层上下文可能会发生变化。此外,当不知道可能的上下文的数量时,问题加剧。在这项研究中,我们提出了一个在线学习算法,涉及使用一个基于神经网络的自动编码器,以确定在训练过程中的上下文变化,然后比较当前推断的上下文知识库学习的背景下,作为培训的进展。结果表明,分类器训练受益于自动发现的上下文,这表明更快的学习收敛过程中的上下文变化相比,目前的方法。
2019-10-18 cs.LG stat.ML
Stream-based Online Active Learning in a Contextual Multi-Armed Bandit Framework
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了基于流的在线主动学习的上下文多臂强盗框架。在这个框架中,奖励取决于手臂和环境。在基于流的主动学习设置中,获得奖励的基础事实是昂贵的,并且常规的上下文多臂强盗算法由于该成本而未能实现次线性遗憾。因此,该算法需要确定是否请求当前时隙处的奖励的基础事实。在我们的框架中,我们考虑了一个基于流的主动学习设置,其中地面实况的查询请求被发送到注释器,连同地面实况的一些先验信息。根据先验信息的准确性,查询成本会有所不同。我们的算法主要进行两个操作:细化的上下文和手臂空间和动作的选择。在我们的算法中,上下文空间和手臂空间的分区保持一定的时间槽,然后变得更精细的更多信息的奖励积累。我们使用一种策略性的方法来选择武器并请求奖励的地面真值,旨在最大化总奖励。我们分析表明,遗憾是次线性的,并在相同的顺序与传统的上下文多臂强盗算法,其中没有查询成本
2016-07-11 cs.LG
Ensemble Active Learning by Contextual Bandits for AI Incubation in Manufacturing
Virginia Tech(弗吉尼亚理工大学);University of Buffalo(布法罗大学)
针对制造业流式数据标注成本高的问题,提出基于上下文老虎机的集成主动学习方法,通过探索-利用平衡提升AI建模性能。
2023-10-11 cs.LG stat.ML
Double-Coupling Learning for Multi-Task Data Stream Classification
College of Internet of Things, Wuxi Institute of Technology(无锡职业技术学院物联网学院);School of Digital Media, Jiangnan University(江南大学数字媒体学院);University of Michigan(密歇根大学);Hong Kong Polytechnic University(香港理工大学)
数据流分类方法通过探索数据流中的内聚性,在单个数据流上表现出很好的性能。然而,涉及多个相关数据流的多个数据流在许多实际场景中是常见的,这可以被视为多任务数据流。考虑数据流建模任务的多任务数据流之间的相关性是有益的,而不是单独处理它们。在这方面,一种新的分类方法称为双耦合支持向量机(DC-SVM),提出了同时进行分类。DC-SVM考虑多个数据流之间的外部相关性,同时处理单个数据流内部的关系。仿真和真实多任务数据流上的实验结果表明,该方法优于传统的数据流分类方法。
2019-08-15 cs.LG stat.ML
Robust Bayesian Classification Using an Optimistic Score Ratio
Stanford University(斯坦福大学)
我们建立了一个贝叶斯上下文分类模型,使用一个乐观的分数比强大的二进制分类时,有有限的信息类条件,或上下文,分布。乐观分数在属于上下文歧义集的所有分布中搜索最合理的分布,以解释测试样本中观察到的结果,上下文歧义集是使用对潜在上下文分布的均值向量和协方差矩阵的有限结构约束规定的。我们表明,贝叶斯分类器使用乐观的分数比在概念上是有吸引力的,提供坚实的统计保证,是计算上容易处理的。我们展示了所提出的乐观分数比分类器的合成和经验数据的力量。
2020-07-08 cs.LG stat.ML
A Contextual Bandit Approach for Stream-Based Active Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of Miami(迈阿密大学)
上下文强盗算法-一类利用上下文信息的多臂强盗算法-已被证明在解决不确定性下的顺序决策问题中是有效的。在文献中采用的一个常见的假设是,通过采取所选择的动作实现的(地面实况)奖励被学习者观察到没有成本,然而,这在许多实际情况下是不现实的。当观察地面真相奖励是昂贵的,学习者的一个关键挑战是如何明智地获得地面真相通过评估的好处和成本,以平衡学习效率和学习成本。从信息论的角度来看,一个可能更有趣的问题是,由于这种成本,可能会损失多少效率。在本文中,我们设计了一个新的上下文带为基础的学习算法,并赋予它的主动学习能力。我们的算法的关键特征是,除了向注释器发送查询以获取地面实况之外,还将学习器学习到的地面实况的先验信息一起发送,从而降低查询成本。我们证明,通过仔细选择的算法参数,所提出的算法的学习遗憾达到相同的顺序,传统的上下文强盗算法在无成本的情况下,这意味着,令人惊讶的是,由于获取地面真相的成本不会增加学习遗憾在长期运行。我们的分析表明,在主动学习是必要的情况下,地面真相的先验信息在提高系统性能方面起着至关重要的作用。
2017-01-24 cs.LG
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University(亚琛工业大学)
核函数(kernels)主要用于支持向量机和逻辑回归,它可以隐式地将数据点映射到高维空间,使学习复杂的决策边界变得更容易。在这项工作中,通过替换softmax层中的内积函数,我们探索了使用内核进行上下文单词分类。为了比较各个内核,在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果,我们看看梯度属性,调查各种混合策略,并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Streaming Active Deep Forest for Evolving Data Stream Classification
Griffith University(格里菲斯大学);Robert Gordon University(罗伯特戈登大学)
近年来,深度神经网络(DNN)在机器学习的许多领域都取得了进展。DNN的逐层过程激发了许多深度模型的开发,包括深度集成。最值得注意的基于深度集成的模型是Deep Forest,它可以实现极具竞争力的性能,同时与DNN相比具有更少的超参数。尽管Deep Forest在批量学习环境中取得了巨大的成功,但它并没有努力适应不断变化的数据流。在这项工作中,我们介绍了流深森林(SDF)算法,一个高性能的深度集成方法,专门适用于流分类。我们还提出了增强变量不确定性(AVU)的主动学习策略,以减少标记成本的流上下文。我们比较所提出的方法,以国家的最先进的流算法在广泛的数据集。实验结果表明,采用AVU主动学习策略,SDF在标注预算仅为70%的情况下,其性能明显优于其他方法。
2020-02-26 cs.LG stat.ML
Adapting multi-armed bandits policies to contextual bandits scenarios
这项工作探讨了适应成功的多武装土匪政策的在线上下文土匪的情况下,使用二进制分类算法,如逻辑回归作为黑箱神谕的二进制奖励。其中一些适应是通过自举或近似自举来实现的,而另一些则依赖于其他形式的随机性,从而产生比以前的作品更具可扩展性的方法,并且能够与任何类型的分类算法一起工作。特别是,自适应贪心算法表现出了很大的潜力,在许多情况下,实现了更好的性能比置信上限和汤普森采样策略,代价是更多的超参数调整。
2019-11-23 cs.LG stat.ML
Contextual Prediction Difference Analysis for Explaining Individual Image Classifications
University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
近年来,人们一直致力于理解深度神经网络的决策。许多模型感知的显着性方法被提出来解释个人的分类决策,通过创建显着性图。然而,当基础模型的参数和梯度不可用时,它们不适用。最近,模型不可知的方法也受到关注。作为其中之一,提出了概率声方法\textit{Prediction Difference Analysis}(PDA)。在这项工作中,我们首先表明,PDA可以遭受饱和分类器。在现有的基于神经网络的分类器中,普遍存在分类器饱和现象.为了更好地解释饱和分类器的决策,我们进一步提出了上下文PDA,它的运行速度比PDA快数百倍。实验表明,我们的方法的优越性,通过解释国家的最先进的深卷积神经网络的图像分类。
2020-06-06 cs.CV cs.LG stat.ML
Multi-label Stream Classification with Self-Organizing Maps
Federal University of São Carlos(圣卡洛斯联邦大学);Federal University of Uberlândia(乌贝兰迪亚联邦大学);INESC TEC;University of Porto(波尔图大学)
已经提出了几种用于离线多标签分类的学习算法。然而,在诸如交通监控、社交网络和传感器等领域中的应用连续地产生数据,即所谓的数据流,这对批量多标签学习提出了挑战。由于数据流的分布缺乏平稳性,需要新的算法来在线适应这种变化(概念漂移)。此外,在实际应用中,变化发生在无限延迟标签的场景中,其中到达实例的真实类永远不可用。提出了一种基于自组织映射的在线无监督增量式多标签流分类方法。在分类阶段,我们使用k-近邻策略来计算地图中的获胜神经元,通过在线调整神经元权重向量和数据集标签基数来适应概念漂移。我们使用贝叶斯规则和每个神经元的输出来预测每个实例的标签,调整流中类的概率和条件概率。使用合成和真实数据集的实验表明,我们的方法是非常有竞争力的几个文献中,在固定和概念漂移的情况下。
2020-04-20 cs.LG stat.ML
On the performance of deep learning models for time series classification in streaming
University of Sevilla(塞维利亚大学);Pablo de Olavide University(巴勃罗·德·奥拉维德大学)
处理高速到达的数据流需要开发能够提供快速准确预测的模型。虽然深度神经网络是许多机器学习任务的最新技术,但其在实时数据流场景中的性能是一个尚未完全解决的研究领域。尽管如此,最近已经做出了努力,通过降低其处理速率来使复杂的深度学习模型适应流式任务。异步双管道深度学习框架的设计允许使用两个单独的层同时预测传入的实例并更新模型。这项工作的目的是评估使用此框架进行数据流分类的不同类型的深度架构的性能。我们评估模型,如多层感知器,循环,卷积和时间卷积神经网络在几个时间序列数据集模拟为流。所获得的结果表明,卷积架构在准确性和效率方面实现了更高的性能。
2020-04-03 cs.LG stat.ML
The ABACOC Algorithm: a Novel Approach for Nonparametric Classification of Data Streams
Università degli Studi di Milano(米兰大学);Yahoo Labs(雅虎实验室)
流挖掘对机器学习提出了独特的挑战:预测模型必须是可扩展的,可增量训练的,必须保持大小有限(即使数据流任意长),并且是非参数的,以便即使在复杂和动态的环境中也能实现高精度。此外,学习系统必须是无参数的-传统的调整方法在流设置中是有问题的-并且避免需要流中出现的不同类别标签的数量的先验知识。在本文中,我们介绍了一种新的算法方法,在数据流的非参数学习。我们的方法通过使用简单的局部分类器学习覆盖输入空间的模型来解决上述所有挑战。这些分类器的分布动态地适应分类问题的局部(未知)复杂性,从而在模型复杂性和预测精度之间实现良好的平衡。我们设计了四个变种,我们的方法,提高适应性。通过对标准非参数基线进行广泛的实证评估,我们在准确性与模型大小方面展示了最先进的结果。对于对模型大小施加严格限制的变体,我们在相同模型大小值下测量的所有其他方法中表现出更好的性能。我们的实证分析是补充了理论性能保证,不依赖于任何随机假设的源生成的流。
2015-08-20 cs.LG stat.ML
Adaptive Deep Forest for Online Learning from Drifting Data Streams
Virginia Commonwealth University(弗吉尼亚联邦大学)
从数据流中学习是当代数据采掘最重要的领域之一。对来自这些潜在无限数据源的信息进行在线分析,可以设计出能够适应连续数据流的反应式最新模型。虽然已经提出了大量的浅层方法来解决更简单的低维流问题,但几乎没有一个方法解决了从复杂的上下文数据(如图像或文本)中学习的问题。前者主要由自适应决策树表示,其已被证明在流场景中非常有效。后者主要通过离线深度学习来解决。在这项工作中,我们试图弥合这两个世界之间的差距,并提出自适应深森林(ADF)-一个成功的基于树的流分类器与深森林的自然结合,这代表了一个有趣的替代想法,从上下文数据学习。实验结果表明,深度森林方法可以有效地转化为在线算法,形成一个性能优于所有最先进的浅层自适应分类器的模型,特别是对于高维复杂流。
2020-10-14 cs.LG
A Streaming Algorithm for Crowdsourced Data Classification
Telecom ParisTech(巴黎电信学院);Centrale-Supelec(中央理工-高等电力学院)
我们提出了一种基于众包的数据二进制分类的流算法。该算法通过将她的标签与相同任务上的其他标签进行比较来学习每个标签的能力,并使用此信息来最小化每个任务的预测错误率。我们提供的性能保证,我们的算法为一个固定的人口独立的标签。特别是,我们表明,我们的算法是最佳的意义上说,与已知的标签错误概率的最佳决策相比,累积的遗憾是有限的,独立的任务数量的标签。该算法的复杂性是线性的标记器的数量和任务的数量,一些对数因子。数值实验表明,我们的算法相比,现有的算法,包括简单多数表决和期望最大化算法,在合成和真实数据集的性能。
2016-02-23 cs.LG stat.ML
Streaming Bayesian Inference for Crowdsourced Classification
University of Southampton(南安普顿大学);Imperial College, London(伦敦帝国理工学院)
众包的一个关键挑战是从嘈杂和不可靠的数据中推断出真实情况。要做到这一点,现有的方法依赖于从人群中收集冗余信息,并使用某种概率方法对其进行聚合。然而,通常这样的方法是计算效率低,限于一些特定的设置,或缺乏理论保证。在本文中,我们重新审视了众包数据的二进制分类问题。具体来说,我们提出了流贝叶斯推理众包(SBIC),一种新的算法,不受任何这些限制。首先,SBIC具有低复杂度,并且可以用于实时在线设置。其次,SBIC在所有设置中具有与最佳最先进算法相同的精度。第三,SBIC在在线和离线设置下都具有可证明的渐近保证。
2019-11-13 cs.LG stat.ML
Contextual Memory Trees
Carnegie Mellon University(卡内基梅隆大学);Yahoo! Research(雅虎研究院);Microsoft Research(微软研究院);Microsoft(微软公司)
我们设计并研究了上下文记忆树(CMT),一个学习记忆控制器,插入新的记忆到一个无限大小的经验存储。它被设计为有效地从该存储中查询内存,支持对数时间插入和检索操作。因此,CMT可以被集成到现有的统计学习算法作为一个增强的存储器单元,而不会大大增加训练和推理计算。此外,CMT作为分类的简化操作,使其能够从表示或架构的进步中受益。我们证明了CMT的有效性,通过增强现有的多类和多标签分类算法与CMT和观察统计改善。我们还在几个图像字幕任务上测试了CMT学习,以证明它在计算上比简单的最近邻记忆系统更好,同时受益于奖励学习。
2019-06-02 cs.LG stat.ML
ScieNet: Deep Learning with Spike-assisted Contextual Information Extraction
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)提供高图像分类精度,但是当输入中存在来自各种源的扰动时,会经历显著的性能下降。缺乏对输入扰动的弹性使得DNN对于与物理世界交互的系统(例如自动驾驶汽车、机器人等)不太可靠,其中不完美的输入是正常情况。我们提出了一种混合深度网络架构与尖峰辅助上下文信息抽取(ScieNet)。ScieNet将使用脉冲神经网络(SNN)进行无监督上下文信息提取的无监督学习与经过分类训练的后端DNN集成在一起。集成网络表现出对输入扰动的高弹性,而不依赖于对扰动输入的先前训练。我们使用CIFAR数据集,考虑随机(噪声)和结构化(雨)输入扰动,演示了具有不同后端DNN的ScieNet用于图像分类。实验结果表明,在没有事先训练的情况下,在噪声和雨天图像上的准确性有了显着提高,同时在干净的图像上保持了最先进的准确性。
2019-09-11 cs.IR cs.LG stat.ML
Contextual Gating within the Transformer Stack: Synergistic Feature Modulation for Enhanced Lyrical Classification and Calibration
Independent Researcher(独立研究者)
SFL Transformer通过在Transformer堆栈中引入上下文门控机制,有效融合结构和语义信息,提升了歌词分类的准确率和概率估计的可靠性。
2025-11-27 cs.LG
Adversarial Learning with Contextual Embeddings for Zero-resource Cross-lingual Classification and NER
Amazon Inc.(亚马逊公司)
上下文词嵌入(例如GPT、BERT、ELMo等)在各种NLP任务上表现出最先进的性能。最近对多语言版本的BERT的研究表明,该模型在zero-shot和零资源跨语言设置中表现非常好,其中仅使用标记的英语数据来微调模型。我们通过对抗学习来改进多语言BERT的零资源跨语言性能。我们报告的多语言MLDoc文本分类和CoNLL 2002/2003命名实体识别任务的改进幅度。此外,我们表明,语言对抗训练鼓励BERT对齐英语文档及其翻译的嵌入,这可能是观察到的性能增益的原因。
2020-03-19 cs.CL cs.LG
CLIC: Contextual Language-Informed Cardiac Pathology Classification
Institute of Mathematical and Computer Sciences(数学与计算机科学学院);Universidade de São Paulo(圣保罗大学)
本文提出CLIC框架,通过将患者上下文数据转化为描述性文本,利用自然语言编码技术提升心脏病理诊断的精确度,同时探索大语言模型生成的临床描述在下游分类任务中的应用。
2026-05-18 cs.LG
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出 DCTX-Conformer,通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入,在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Going Deeper with Contextual CNN for Hyperspectral Image Classification
Booz Allen Hamilton Inc.(博思艾伦咨询公司);Army Research Laboratory(陆军研究实验室)
在本文中,我们描述了一种新的深度卷积神经网络(CNN),它比其他现有的用于高光谱图像分类的深度网络更深、更宽。与当前基于CNN的高光谱图像分类的最先进方法不同,所提出的网络称为上下文深度CNN,可以通过联合利用相邻单个像素向量的局部空间-光谱关系来最佳地探索局部上下文交互。空间-频谱信息的联合利用是通过多尺度卷积滤波器组作为所提出的CNN管道的初始组件来实现的。然后将从多尺度滤波器组获得的初始空间和光谱特征图组合在一起以形成联合空间-光谱特征图。然后,表示高光谱图像的丰富光谱和空间属性的联合特征图通过完全卷积网络馈送,该完全卷积网络最终预测每个像素向量的对应标签。该方法在三个基准数据集上进行了测试:印第安松数据集,萨利纳斯数据集和帕维亚大学数据集。性能比较显示,所提出的方法在三个数据集上的分类性能优于当前最先进的方法。
2017-05-09 cs.CV cs.LG
Mahalanobis Distance Metric Learning Algorithm for Instance-based Data Stream Classification
University of Coimbra(科英布拉大学);Central University of Las Villas(拉斯维利亚斯中央大学)
随着当今海量数据的挑战和技术的快速发展,流挖掘近年来受到了相当大的关注。为了解决大量的情况下,这一现象本身表现出适当的工具,需要在各个研究领域。基于实例的数据流算法通常采用欧几里德距离的分类任务的基础上这个问题。研究这个问题的一种新方法是利用更灵活的度量,因为数据流场景增加了需求。在本文中,我们提出了一种新的算法,学习马氏度量使用相似性和相异性约束在线的方式。该方法混合了马氏距离度量学习算法和具有概念漂移检测的k-NN数据流分类算法。首先,考虑到关键属性以及在线距离度量学习算法,描述了马氏距离度量学习的一些基本方面。其次,我们实现了具体的评估方法和比较指标,如Q统计数据流分类算法。最后,在不同的数据集上对该算法进行了测试,并将其结果与目前最好的基于实例的数据流分类算法进行了比较,结果表明该算法具有更好的性能
2016-04-17 cs.LG
ICDBigBird: A Contextual Embedding Model for ICD Code Classification
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Semantic Health(语义健康公司)
国际疾病分类(ICD)系统是对医疗保健过程中的疾病和程序进行分类的国际标准,广泛用于医疗保健报告和管理目的。正确的临床程序代码对于医疗保健中的临床,操作和财务决策非常重要。上下文词嵌入模型在多个NLP任务中取得了最先进的结果。然而,这些模型尚未在ICD分类任务中实现最先进的结果,因为它们的主要缺点之一是它们只能处理包含少量令牌的文档,而真正的患者笔记很少出现这种情况。在本文中,我们介绍了ICDBigBird基于BigBird的模型,它可以集成一个图卷积网络(GCN),利用ICD代码之间的关系,以创建“丰富”的表示其嵌入,与BigBird上下文模型,可以处理更大的文件。我们在真实世界临床数据集上的实验证明了我们基于BigBird的模型在ICD分类任务上的有效性,因为它优于以前的最先进模型。
2022-04-21 cs.CL cs.LG
AdCOFE: Advanced Contextual Feature Extraction in Conversations for emotion classification
Lakehead University(湖首大学)
对话中的情感识别是各种虚拟聊天机器人的重要一步,这些机器人需要基于意见的反馈,如社交媒体线程,在线支持和更多应用程序。当前会话模型中的情感识别面临着以下问题:(a)会话的两个对话之间的上下文信息丢失,(b)未能给予每个话语中的重要标记适当的重要性,以及(c)无法传递来自先前话语的情感信息。通过使用自然语言的知识图谱、情感词典和短语在话语的所有级别(词和位置嵌入)执行唯一的特征提取来解决这些问题。在会话数据集上的情感识别实验表明,AdCOFE有利于捕捉会话中的情感。
2021-04-09 cs.CL cs.LG
Seasonal Averaged One-Dependence Estimators: A Novel Algorithm to Address Seasonal Concept Drift in High-Dimensional Stream Classification
Monash University(莫纳什大学);Seek Group(Seek集团)
流分类方法在新的标记样本到达时对连续的数据流进行分类。他们还经常需要处理概念漂移。本文重点研究流分类中的季节性漂移,这可以在许多实际应用数据源中找到。传统的河流分类方法考虑季节性漂移,包括季节性虚拟/指标变量或为每个季节建立单独的模型。但这些方法在高维分类问题或复杂的季节模式中具有很强的局限性。本文探讨了如何最好地处理季节性漂移的特定情况下的新闻文章分类(或分类/标记),其中季节性漂移是压倒性的主要类型的漂移存在于数据中,并且数据是高维的。我们引入了一种新的分类器名为季节平均单依赖估计(SAODE),它扩展了AODE分类器,包括时间作为一个超级父处理季节漂移。我们使用两个大型的真实世界文本挖掘相关数据集来评估我们的SAODE模型,每个数据集包含大约100万条记录,针对9个最先进的流和概念漂移分类模型,有和没有季节指标,以及为每个季节构建的单独模型。在五种不同的评估技术中,我们表明我们的模型始终优于其他方法,其结果具有统计学意义。
2020-06-27 cs.AI cs.LG stat.AP
LOLgorithm: Integrating Semantic,Syntactic and Contextual Elements for Humor Classification
North Carolina State University(北卡罗来纳州立大学)
本研究提出融合句法、语义、语境多维度语言学特征的Colbert模型,结合BERT嵌入与并行隐藏层,经实验验证可有效提升幽默检测准确率,优于传统计算方法。
2024-08-12 cs.AI cs.CL cs.LG
Active Weighted Aging Ensemble for Drifted Data Stream Classification
Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
流数据分类的一个重要问题是概念漂移的发生,包括分类任务的概率特性的变化。这种现象使分类模型的性能不稳定,并严重降低其质量。一个适当的策略抵消这种现象是需要适应分类器的变化的概率特性。实现这种解决方案的一个重要问题是对数据标签的访问。它通常是昂贵的,因此为了最小化与该过程相关的费用,提出了基于半监督学习的学习策略,例如,采用主动学习方法来指示哪些传入对象有价值被标记以改进分类器的性能。本文提出了一种新的基于分类器集成学习的非平稳数据流的基于块的方法和一种考虑有限预算的主动学习策略,可以成功地应用于任何数据流分类算法。所提出的方法已通过计算机实验,使用真实的和生成的数据流进行评估。结果证实了所提出的算法的高品质的国家的最先进的方法。
2021-12-19 cs.LG
A Novel Online Stacked Ensemble for Multi-Label Stream Classification
Bilkent University(比尔肯特大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
随着数据流变得越来越普遍,挖掘这种瞬态和动态数据的在线算法的必要性变得更加清晰。多标签数据流分类是一个监督学习问题,其中数据流中的每个实例被分类到一个或多个预定义的标签集合中。已经提出了许多方法来解决这个问题,包括但不限于基于集合的方法。这些基于集成的方法中的一些是专门设计用于某些多标签基础分类器的;另一些则采用在线装袋方案来构建其集成。在这项研究中,我们引入了一种新的在线和动态加权堆叠集成多标签分类,称为GOOWE-ML,利用空间建模为其组件分类器分配最佳权重。我们的模型可以与任何现有的增量多标签分类算法作为其基础分类器。我们使用4个基于GOOWE-ML的多标签集合和7个基线模型对来自不同兴趣领域的7个真实数据集进行实验。我们的实验表明,相对于其他突出的集成模型,GOOWE-ML集成在几乎所有数据集的预测性能方面都产生了更好的结果。
2018-09-26 cs.IR cs.LG stat.ML
Classification under Streaming Emerging New Classes: A Solution using Completely Random Trees
Nanjing University(南京大学);Federation University(联邦大学)
本文研究了流挖掘中的一个重要问题,即,根据流媒体新兴类别或SENC分类。常见的方法是将其视为分类问题,并使用监督学习器或半监督学习器来解决它。我们提出了一种替代方法,通过使用无监督学习作为基础来解决这个问题。SENC问题可以分解为三个子问题:检测新出现的新类,对已知类进行分类,以及更新模型以使新类的实例分类和检测更多新出现的新类。所提出的方法采用完全随机树,已被证明是工作良好的无监督学习和监督学习独立的文献。这是第一次,据我们所知,完全随机树被用作一个单一的公共核心,以解决所有三个子问题:无监督学习,监督学习和数据流中的模型更新。我们表明,所提出的无监督学习为重点的方法往往比现有的分类为重点的方法取得显着更好的结果。
2016-05-30 cs.LG
CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding
Singapore University of Technology and Design(新加坡科技设计大学);ProQod Singapore(新加坡ProQod公司)
对自然灾害、恐怖袭击和流行病等危机事件进行分类,是一项至关重要的任务,可以及早发出信号,并通知有关各方采取自发行动,以减少总体损失。尽管自然灾害等危机可以由专业机构预测,但某些事件首先由平民发出信号,例如最近的COVID-19大流行病。Twitter等社交媒体平台经常通过每天发布的超过5亿条推文的大量信息交流来披露有关此类危机的第一手信号。先前的工作提出了各种危机嵌入和分类使用传统的机器学习和神经网络模型。然而,这些作品都没有使用最先进的基于注意力的深度神经网络模型(如Transformers和文档级上下文嵌入)来执行危机嵌入和分类。这项工作提出了CrisisBERT,这是一个基于端到端转换器的模型,用于两个危机分类任务,即危机检测和危机识别,它在准确性和f1分数方面显示出有希望的结果。所提出的模型还表现出优于基准的鲁棒性,因为它显示出边际性能妥协,同时从6个扩展到36个事件,只有51.4%的额外数据点。我们还提出了Crisis 2 Vec,一个基于注意力的,文档级的上下文嵌入架构的危机嵌入,实现更好的性能比传统的危机嵌入方法,如Word 2 Vec和GloVe。据我们所知,我们的工作是第一次提出使用transformer为基础的危机分类和文档级的上下文危机嵌入在文献中。
2020-05-18 cs.CL cs.LG cs.SI
On Geodesic Distances and Contextual Embedding Compression for Text Classification
University of Washington(华盛顿大学)
在一些内存受限的设置中,如物联网设备和网络数据管道,具有较小的上下文嵌入可能是有利的。我们调查的效果投影上下文嵌入数据(BERT)到一个流形上,并使用非线性降维技术来压缩这些嵌入。特别是,我们提出了一种新型的后处理方法,应用Isomap和PCA的组合。我们发现,测地线距离估计,估计黎曼流形上的最短路径,从Isomap的k-最近邻图支撑的压缩嵌入的性能,可与原来的BERT嵌入。在一个数据集上,我们发现,尽管降维了12倍,但在下游分类任务中,压缩嵌入的性能在原始BERT嵌入的0.1%以内。此外,我们发现,这种方法的效果特别好的任务依赖于句法数据,线性降维相比。这些结果表明,一种新的几何方法,以实现低维的文本嵌入从现有的Transformers和铺平道路的数据特定的和特定于应用程序的嵌入压缩的承诺。
2021-04-22 cs.CL cs.LG
Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Kaiserslautern(凯泽斯劳滕工业大学)
用深度神经网络(DNN)解决的分类问题通常依赖于封闭世界范例,并且在单个目标(例如,交叉熵损失的最小化)。这种设置忽略了所有可以用来强化特定模式存在或不存在的支持信号。对可通过设计解释的模型的日益增长的需求使得包含所述上下文信号成为至关重要的必要性。为此,我们引入了自监督自学习(SSAL)模型的概念。SSAL目标是通过一个或多个额外的目标来实现的,这些目标来自原始的监督分类任务,遵循多任务学习中的架构原则。SSAL分支将低级先验强加到优化过程中(例如,分组)。在推理过程中使用SSAL分支的能力使模型能够更快地收敛,专注于更丰富的类相关特征集。我们表明,SSAL模型始终优于国家的最先进的,同时也提供结构化的预测,更可解释的。
2021-01-07 cs.CV cs.LG
Employing Two-Dimensional Word Embedding for Difficult Tabular Data Stream Classification
Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
本文提出了流式超级表格机器学习(SSTML)方法,首次将多维编码(MDE)应用于困难表格数据流分类任务,通过STML算法将连续数据块编码为图像表示并执行单次ResNet-18训练,在合成与真实数据流上实现了显著优于现有算法的分类质量且保持可比处理时间。
2024-04-24 cs.LG
Spatial-Aware Dictionary Learning for Hyperspectral Image Classification
Sharif University of Technology(谢里夫理工大学)
本文提出了一种结构化的字典为基础的高光谱数据模型,结合了光谱样本的光谱和上下文特征,高光谱图像分类的目标。其思想是将高光谱图像的像素划分为多个称为上下文组的空间邻域,并使用从数据中学习的几个字典元素的线性组合来对每个像素进行建模。由于上下文组中的像素通常由相同的材料组成,因此它们的线性组合被限制为使用字典中的公共元素。为此,字典学习进行联合稀疏正则化,以诱导一个共同的稀疏模式中的稀疏系数的每个上下文组。然后,稀疏系数用于使用线性SVM的分类。对多幅真实高光谱图像的实验结果证实了该方法在高光谱图像分类中的有效性。此外,模拟多光谱数据的实验表明,该模型能够找到表示,可有效地用于多光谱分辨率样本的分类。
2013-08-06 cs.CV cs.LG
Online Sparse Streaming Feature Selection Using Adapted Classification
Southwest University(西南大学)
传统的特征选择需要在学习之前知道特征空间,而在线流特征选择(OSFS)被提出来动态地处理流特征。现有方法在不丢失数据的情况下将特征分为相关和不相关,删除不相关特征可能导致信息丢失。基于此,本文重点研究了流特征矩阵的构造和特征相关性的划分,提出了基于自适应分类的在线稀疏流特征选择算法(OS 2FS-AC)。本研究使用潜在因素分析(LFA)来预估缺失数据。此外,我们使用自适应的方法来获得阈值,将特征分为强相关,弱相关和不相关的特征,然后再划分弱相关与更多的信息。在10个真实数据集上的实验结果表明,OS 2FS-AC的性能优于现有算法。
2023-02-25 cs.AI cs.LG
Label-guided Learning for Text Classification
文本分类是自然语言处理中最重要和最基本的任务之一。这一任务的执行主要依赖于文本表示学习。目前,大多数现有的学习框架主要集中在编码词之间的本地上下文信息。这些方法在编码文本信息时往往忽略了全局线索,如标签信息。在本研究中,我们提出了一个用于文本表示和分类的标签引导学习框架LguidedLearn。我们的方法是新颖的,但简单的,我们只插入一个标签引导的编码层到常用的文本表示学习模式。该标签引导层执行基于标签的注意编码,以将通用文本嵌入(由上下文信息学习器编码)映射到不同的标签空间,从而产生标签式嵌入。在我们提出的框架中,标签引导层可以很容易地直接应用于上下文编码方法来执行联合学习。基于局部上下文信息和全局标签线索两者对文本信息进行编码。因此,得到的文本嵌入更强大的文本分类和歧视。在基准数据集上进行了大量的实验,以说明我们提出的方法的有效性。
2020-02-25 cs.CL cs.LG
Semantic Interactive Learning for Text Classification: A Constructive Approach for Contextual Interactions
University of Bamberg(班贝格大学)
交互式机器学习(IML)将使智能系统能够交互式地从最终用户那里学习,并且正变得越来越重要。虽然它将人类置于循环中,但交互主要是通过错过上下文信息的相互解释来执行的。此外,目前的模型无关的IML策略,如CAIPI,仅限于“破坏性”反馈,这意味着它们只允许专家阻止学习者使用不相关的功能。在这项工作中,我们提出了一个新的交互框架,称为语义交互学习的文本域。我们框架的问题,将建设性的和上下文反馈到学习者作为一项任务,找到一个架构,(a)使更多的语义对齐人类和机器之间,(b)在同一时间有助于保持统计特征的输入域时,生成用户定义的反例的基础上有意义的更正。因此,我们引入一种称为SemanticPush的技术,该技术可有效地将人类的概念校正翻译为非外推训练样本,从而将学习者的推理推向所需的行为。在几个实验中,我们证明了我们的方法在下游多类分类任务中的预测性能和局部解释质量方面明显优于CAIPI,CAIPI是最先进的IML策略。
2022-09-07 cs.AI cs.HC cs.LG
Imbalanced Data Stream Classification using Dynamic Ensemble Selection
针对非平稳不平衡数据流中的概念漂移与类别重叠问题,提出融合数据预处理与动态集成选择的框架,并在多组人工漂移数据流上验证其显著提升分类准确率。
2023-09-28 cs.AI cs.LG
EGFC: Evolving Gaussian Fuzzy Classifier from Never-Ending Semi-Supervised Data Streams -- With Application to Power Quality Disturbance Detection and Classification
Federal University of Lavras(拉夫拉斯联邦大学);University of Bologna(博洛尼亚大学);INFN Bologna(意大利国家核物理研究所博洛尼亚分部);Federal Center for Technological Education CEFET-MG(米纳斯吉拉斯联邦技术教育中心)
电能质量扰动导致若干缺点,例如生产能力的限制、线路和设备电流的增加以及随之而来的欧姆损耗;较高的操作温度、过早故障、机器预期寿命的减少、设备故障以及计划外停机。干扰的实时检测和分类被认为是行业标准的关键。我们提出了一个渐进的高斯模糊分类(EGFC)的半监督扰动检测和分类的框架相结合的混合Hodrick-Prescott和离散傅立叶变换属性提取方法应用于一个标志性窗口的电压波形。被认为是如尖峰,开槽,谐波和振荡瞬态的干扰。不同于其他监测系统,这需要离线训练的模型的基础上,有限的数据量和事件,提出的在线数据流为基础的EGFC方法是能够学习干扰模式自主从永无止境的数据流,通过适应的参数和结构的模糊规则的基础上飞。此外,所得到的模糊模型是语言上可解释的,这提高了模型的可接受性。我们展示了令人鼓舞的分类结果。
2020-04-17 cs.AI cs.LG eess.SP
Incremental Learning with Concept Drift Detection and Prototype-based Embeddings for Graph Stream Classification
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
本文提出一种图流分类方法,通过增量学习、类别原型选择与图嵌入实现持续自适应,并利用基于损失的概念漂移检测机制在漂移发生时重新计算原型。
2024-04-12 cs.LG
A Framework of Sparse Online Learning and Its Applications
Michigan State University(密歇根州立大学);Singapore Management University(新加坡管理大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
在大数据时代的今天,我们社会的数据量已经爆炸式增长。在本文中,我们解决了大数据流分类的几个开放性挑战,包括大容量,高速度,高维,高稀疏性和高类别不平衡。数据采掘文献中的许多现有研究在批处理学习环境中解决数据流分类任务,这在处理大数据时具有较差的效率和可扩展性。为了克服这些局限性,本文研究了一个用于大数据流分类任务的在线学习框架。不同于现有的一些在线数据流分类技术,往往是基于一阶在线学习,我们提出了一个框架的稀疏在线分类(SOC)的数据流分类,其中包括一些国家的最先进的一阶稀疏在线学习算法作为特例,并允许我们推导出一个新的有效的二阶在线学习算法的数据流分类。此外,我们还提出了一个新的成本敏感的稀疏在线学习算法,通过扩展的框架与应用程序,以解决在线异常检测任务中的类分布的数据可能是非常不平衡的。我们还分析了所提出的方法的理论界限,最后进行了一系列广泛的实验,在这些实验中,令人鼓舞的结果验证了所提出的算法的有效性相比,一个家庭的国家的最先进的技术对各种数据流分类任务。
2015-07-25 cs.LG
A Systematic Literature Review on Multi-label Data Stream Classification
University of Porto - INESC TEC(波尔图大学 - INESC TEC);University of Texas at Dallas - UTD(德克萨斯大学达拉斯分校)
针对多标签数据流分类面临的动态环境问题,本综述深入分析相关方案,刻画最新方法、构建层次结构、探讨问题应对方式,还分析评估策略与复杂度等,指出研究空白并给出未来方向建议。
2025-08-24 cs.LG
Contextual Joint Factor Acoustic Embeddings
University of Sheffield(谢菲尔德大学)
将声学信息嵌入到固定长度表示中对于语音和音频技术中的整个范围的应用是感兴趣的。提出了两种新的无监督的方法来生成声学嵌入的声学上下文建模。第一种方法是上下文联合因子合成编码器,其中编码器/解码器框架中的编码器被训练为从周围音频帧提取联合因子以最佳地生成目标输出。第二种方法是上下文联合因子分析编码器,其中编码器被训练为分析来自与相邻音频最佳相关的源信号的联合因子。为了评估我们的方法的有效性相比,以前的工作,两个任务进行-电话分类和说话人识别-和测试不同的TIMIT数据集。实验结果表明,所提出的方法优于电话分类基线,产生74.1%的分类准确率。当使用额外的域外数据进行训练时,对于电话分类和说话人识别任务,可以获得额外的3%的改进。
2021-02-05 cs.AI cs.CL cs.LG
Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
近年来,以用户为中心的应用程序不断增长,这些应用程序需要在低数据状态下跨任务进行有效的知识转移。一个例子是个性化,预先训练的系统通过学习属于特定用户的少量标记数据来适应。这种设置要求在低计算复杂性下具有高精度,因此精度与自适应成本的帕累托边界起着至关重要的作用。在本文中,我们在Few-Shot图像分类设置中推动了这一帕累托前沿,并做出了关键贡献:一个新的自适应块,称为上下文挤压和激励(CaSE),它可以在新任务上调整预先训练的神经网络,从而通过用户数据(上下文)的单次向前传递来显着提高性能。我们使用元训练的CaSE块来有条件地适应网络的主体,并使用微调例程来适应线性头部,定义了一种称为UpperCaSE的方法。UpperCaSE在VTAB+MD的26个数据集和具有挑战性的真实世界个性化基准(ORBIT)上实现了相对于元学习者的最新准确性,缩小了与领先的微调方法的差距,具有数量级更低的适应成本。
2023-01-11 cs.CV cs.LG
Data Stream Classification using Random Feature Functions and Novel Method Combinations
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Aalto University(阿尔托大学);HIIT(赫尔辛基信息技术研究所);Télécom ParisTech(巴黎电信学院)
大数据流正在以更快、更大、更普遍的方式生成。在这种情况下,Hoeffding树是一种既定的分类方法。存在几个扩展,包括高性能的集成设置,如在线和利用装袋。此外,$k$ -最近邻是一个流行的选择,大多数扩展处理潜在无限流上的固有性能限制。与此同时,梯度下降方法正变得越来越受欢迎,部分原因是深度学习的成功。虽然深度神经网络可以增量学习,但到目前为止,它们对超参数选项和初始条件过于敏感,不能被视为有效的“现成”数据流解决方案。在这项工作中,我们看看Hoeffding树,最近邻,和梯度下降方法的组合与流预处理方法的形式的随机特征函数过滤器的额外的预测能力。我们进一步将调查扩展到GPU上的实现方法,我们在一些大型真实数据集上进行了测试,并展示了使用GPU进行数据流学习的好处,因为它们具有很高的可扩展性。我们的实证评估产生积极的结果,我们实验的新方法,突出重要的问题,并阐明了有前途的未来方向的方法,数据流分类。
2015-11-03 cs.LG cs.NE
Contextual Sprint Classification in Soccer Based on Deep Learning
Fitogether Inc.(Fitogether公司);Kangwon National University(江原国立大学);University of Seoul(首尔大学)
针对足球冲刺人工情境分类扩展性差的问题,提出结合Set Transformer与双向GRU的深度学习框架,利用人机协作标签训练,实现15类冲刺77.65%的分类准确率,支撑大规模比赛分析。
2024-06-21 cs.LG cs.MA
Contextual Checkerboard Denoise -- A Novel Neural Network-Based Approach for Classification-Aware OCT Image Denoising
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
针对医学图像去噪需保留关键特征且监督式方法实用性差的问题,提出上下文棋盘去噪方法,仅用含噪图像学习去噪,在OCT图像上提升质量与诊断准确性。
2024-11-29 cs.CV cs.LG eess.IV
Temporal Streaming Batch Principal Component Analysis for Time Series Classification
Harbin Engineering University(哈尔滨工程大学);Qingdao Innovation and Development Center(青岛创新发展中心)
针对长序列多变量时间序列分类难题,提出TSBPCA流式压缩降维算法,显著提升多模型准确率与时间效率。
2024-10-28 cs.IR cs.LG
An Ensemble Classification Algorithm Based on Information Entropy for Data Streams
School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院);Key Laboratory of Computational Intelligence and Chinese Information Processing, Ministry of Education(计算智能与中文信息处理教育部重点实验室);School of Computer Science and Technology, Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology(大连理工大学电子信息与电气工程学部计算机科学与技术学院)
数据流挖掘问题在机器学习和数据采掘领域引起了广泛的关注。近年来的一些研究中,集成分类被广泛应用于概念漂移检测,但大多数研究都将分类准确率作为判断概念漂移是否发生的标准。信息熵是测量不确定度的一种重要而有效的方法。基于信息熵理论,提出了一种利用信息熵对分类结果进行评价的新算法。它采用集成分类技术,通过集成分类器系统产生的结果的熵来确定每个分类器的权重。当数据流中的概念发生变化时,一次放弃权值低于某个阈值的分类器,以适应新的概念。在实验分析部分,六个数据库和四个提出的算法执行。实验结果表明,该方法不仅能有效地处理概念漂移问题,而且在分类精度和时间性能上都优于对比算法。
2017-08-11 cs.DS cs.LG