Classification under Streaming Emerging New Classes: A Solution using Completely Random Trees
Nanjing University(南京大学);Federation University(联邦大学)
本文研究了流挖掘中的一个重要问题,即,根据流媒体新兴类别或SENC分类。常见的方法是将其视为分类问题,并使用监督学习器或半监督学习器来解决它。我们提出了一种替代方法,通过使用无监督学习作为基础来解决这个问题。SENC问题可以分解为三个子问题:检测新出现的新类,对已知类进行分类,以及更新模型以使新类的实例分类和检测更多新出现的新类。所提出的方法采用完全随机树,已被证明是工作良好的无监督学习和监督学习独立的文献。这是第一次,据我们所知,完全随机树被用作一个单一的公共核心,以解决所有三个子问题:无监督学习,监督学习和数据流中的模型更新。我们表明,所提出的无监督学习为重点的方法往往比现有的分类为重点的方法取得显着更好的结果。
2016-05-30 cs.LG
Mining Recurrent Concepts in Data Streams using the Discrete Fourier Transform
Auckland University of Technology(奥克兰理工大学)
在这项研究中,我们解决了在数据流环境中捕获重复出现的概念的问题。递归捕获使得能够在不需要重新学习的情况下重新使用先前学习的分类器,同时在概念递归间隔期间提供更好的准确性。我们通过将离散傅立叶变换(DFT)应用于决策树分类器来捕获概念,以在流中的概念漂移点处获得高度压缩的树版本,并将这些树存储在存储库中以供将来使用。我们对真实世界和合成数据表现出不同程度的递归的实证结果表明,傅立叶压缩树对噪声更鲁棒,并且能够以比元学习方法更高的精度捕获重复出现的概念,该方法选择以其最初出现的形式重用分类器。
2014-06-24 cs.LG
Pitfalls of Unlabeled Disagreement-Based Drift Detection in Streaming Tree Ensembles
GECAD, ISEP, Polytechnic of Porto(GECAD,ISEP,波尔图理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究探讨了在高速数据流中使用未标记数据进行漂移检测的挑战,发现基于不一致的不确定性方法在集成增量决策树中表现欠佳,归因于IDTs的固有刚性。
2026-05-12 cs.LG
Dynamic Model Tree for Interpretable Data Stream Learning
University of Tuebingen(蒂宾根大学);Schufa Holding AG(Schufa控股股份公司)
数据流在现代商业和社会中无处不在。在实践中,数据流可能会随着时间的推移而演变,并且不能无限期地存储。因此,对数据流进行有效和透明的机器学习通常具有挑战性。Hoeffding树已经成为在线预测建模的最先进技术。它们易于训练,并在静态过程下提供有意义的收敛保证。然而,在同一时间,Hoeffding树往往需要启发式和昂贵的扩展,以适应分布的变化,这可能会大大削弱其可解释性。在这项工作中,我们重新访问模型树的机器学习在不断变化的数据流。模型树能够维护活动数据概念的更灵活和局部鲁棒的表示,使其自然适合数据流应用程序。我们的新框架,称为动态模型树,满足理想的一致性和最小属性。在合成和现实世界的表格流数据集的实验中,我们表明,所提出的框架可以大大减少现有的增量决策树所需的分裂的数量。与此同时,我们的框架在预测质量方面通常优于最先进的模型-特别是当涉及概念漂移时。因此,动态模型树是一个强大的在线学习框架,有助于在数据流中进行更轻量级和更可解释的机器学习。
2022-03-30 cs.LG stat.ML
Emergent and Unspecified Behaviors in Streaming Decision Trees
University of Waikato(怀卡托大学);Monash University(莫纳什大学)
Hoeffding树是决策树学习中最先进的数据流演化方法。这些非常快速的决策树被用于许多实际应用中,其中由于其效率而实时创建数据。在这项工作中,我们摆脱解释为什么这些流决策树算法的固定和非固定流(HoeffdingTree和HoeffdingAdaptiveTree)的工作,以及他们做的。在这样做的过程中,我们确定了13个独特的未指定的设计决策的理论结构和它们的实现与预测准确性的实质性和后果性的影响-设计决策,而不一定改变算法的本质,驱动算法的性能。我们开始一个更大的对话,不仅是模型的可解释性,而且是算法成功的过程。
2020-10-16 cs.AI cs.LG
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法,如流行的Hoeffding树算法。从统计学的角度来看,在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清,一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白,推导出准确的置信区间估计分裂增益决策树学习的三个标准:熵,基尼指数,和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置,其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率,分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明,我们的树确实比其他技术生成的具有相同数量叶子的树更准确,并且我们的主动学习模块允许节省标记成本。此外,比较我们的标签策略与最近的方法,我们表明,我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
Adaptive Deep Forest for Online Learning from Drifting Data Streams
Virginia Commonwealth University(弗吉尼亚联邦大学)
从数据流中学习是当代数据采掘最重要的领域之一。对来自这些潜在无限数据源的信息进行在线分析,可以设计出能够适应连续数据流的反应式最新模型。虽然已经提出了大量的浅层方法来解决更简单的低维流问题,但几乎没有一个方法解决了从复杂的上下文数据(如图像或文本)中学习的问题。前者主要由自适应决策树表示,其已被证明在流场景中非常有效。后者主要通过离线深度学习来解决。在这项工作中,我们试图弥合这两个世界之间的差距,并提出自适应深森林(ADF)-一个成功的基于树的流分类器与深森林的自然结合,这代表了一个有趣的替代想法,从上下文数据学习。实验结果表明,深度森林方法可以有效地转化为在线算法,形成一个性能优于所有最先进的浅层自适应分类器的模型,特别是对于高维复杂流。
2020-10-14 cs.LG
Hoeffding adaptive splitting trees for data stream classification with concept drift and ensemble learning
Pontifícia Universidade Católica do Paraná (PUCPR)(巴拉那天主教大学);Sorbonne Université(索邦大学)
本文针对自适应分裂决策树作为集成基学习器的多样性不足问题,提出霍夫丁自适应分裂树模型,结合霍夫丁树的周期性分裂策略与自适应分裂机制,在综合评估中实现了最优的数据流分类性能。
2026-08-18 cs.AI cs.LG
LdSM: Logarithm-depth Streaming Multi-label Decision Trees
New York University(纽约大学)
我们考虑多标签分类,其目标是从一个非常大的标签集中用最相关的$\textit{subset}$标签来注释每个数据点。有效的注释可以通过平衡树预测器来实现,平衡树预测器即在标签复杂度中具有几何深度的树,其叶子对应于标签。用这种树为实际数据应用设计预测机制是不平凡的,因为它需要适应将示例发送到多个叶子,同时保持高预测精度。在本文中,我们开发的LdSM算法的多标签决策树的建设和训练,其中在树的每个节点,我们优化了一个新的目标函数,有利于平衡分裂,保持高类纯度的孩子节点,并允许发送的例子到多个方向,但与惩罚,防止树过度增长。一旦完成前一个节点,树的每个节点就被训练,从而导致用于训练的流方法。我们从理论上分析了所提出的目标,并表明,最小化它会导致纯粹和平衡的数据分裂。此外,我们还展示了一个提升定理,该定理捕捉了它与多标签分类错误的联系。基准数据集上的实验结果表明,我们的方法实现了高的预测精度和低的预测时间和位置LdSM作为现有的国家的最先进的方法之间的竞争工具。
2020-06-10 cs.LG stat.ML
Hellinger Distance Trees for Imbalanced Streams
University of Manchester(曼彻斯特大学)
已知在具有不平衡类分布的数据集上训练的分类器表现出较差的泛化性能。这就是所谓的不平衡学习问题。当我们考虑在不平衡数据流上操作增量分类器时,特别是当学习目标是稀有类识别时,问题变得特别尖锐。由于准确性可能会对不平衡数据的性能产生误导性印象,因此基于准确性的现有流分类器可能会在不平衡流上遭受较差的少数类性能,结果是低少数类召回率。在本文中,我们解决这个不足之处,提出使用的Hellinger距离测量,作为一个非常快速的决策树分裂标准。我们证明,通过使用Hellinger的统计显着改善不平衡的数据流的召回率可以实现,与一个可接受的增加的假阳性率。
2014-05-09 astro-ph.IM cs.LG stat.ML
IncA-DES: An incremental and adaptive dynamic ensemble selection approach using online K-d tree neighborhood search for data streams with concept drift
LIVIA, École de Technologie Supérieure, University of Qu\'ebec, Montreal, Qu\'ebec, Canada;Department of Informatics, Universidade Federal do Paran\' a (UFPR), Curitiba (PR), Brazil
本文提出IncA-DES方法,通过局部专家训练、概念漂移检测、重叠过滤和在线K-d树邻域搜索,在概念漂移数据流中实现高准确率与低处理时间。
2025-07-16 cs.LG
On-device edge learning for IoT data streams: a survey
GECAD;ISEP(波尔图理工学院工程学院);Polytechnic of Porto(波尔图理工学院);INESC TEC;FEP(波尔图大学经济学院);University of Porto(波尔图大学)
该综述探讨了物联网数据流在设备端训练的持续学习方法,分析了神经网络与决策树的约束、挑战及多标准评估,强调构建自主在线系统的关键难点。
2025-02-25 cs.LG
Constructing Decision Trees from Data Streams
Hanoi University of Science and Technology(河内理工大学);National University of Singapore(新加坡国立大学);San Diego State University(圣地亚哥州立大学)
本研究针对数据流场景提出高效算法,在无独立同分布假设下计算决策树最优分割(回归最小化均方误差、分类最小化误分类率与基尼不纯度),算法需亚线性空间和少量遍历且可扩展至MapReduce模型,补充了相关开创性工作。
2025-04-16 cs.AI cs.DS cs.LG
Anomaly Detection in Hierarchical Data Streams under Unknown Models
Cornell University(康奈尔大学);University of California, Davis(加利福尼亚大学戴维斯分校)
我们考虑的问题中检测大量的分层数据流中的几个目标。数据流被建模为具有未知和潜在重尾分布的随机过程。我们的目标是一个积极的推理策略,确定,顺序,收集样本的数据流,以尽量减少样本的复杂性下的可靠性约束。我们提出了一种主动推理策略,诱导有偏随机游走的树结构的层次结构的基础上的样本统计量的置信界。然后,我们根据搜索空间的大小(即,数据流的数量)和可靠性要求。结果发现应用在分层重击检测,嘈杂的群体测试,自适应采样的主动学习,分类和随机根查找。
2017-09-11 cs.LG
Face Trees for Expression Recognition
Queen’s University(女王大学)
我们提出了一个端到端的面部表情识别架构。我们的模型学习面部标志的最佳树拓扑,其遍历生成一个序列,我们从中获得嵌入来喂养顺序学习器。所提出的架构包括两个主要的流,一个集中在地标位置学习的脸的结构,而另一个集中在周围的地标补丁学习纹理信息。每个流之后是注意力机制,并且输出被馈送到双流融合组件以执行最终分类。我们对两个大规模的公开可用的面部表情数据集,AffectNet和FER2013进行了广泛的实验,以评估我们的方法的有效性。我们的方法优于该领域的其他解决方案,并在这些数据集上设置了新的最先进的表情识别率。
2021-12-05 cs.CV cs.LG
Online Local Boosting: improving performance in online decision trees
Londrina State University(隆德里纳州立大学);University of São Paulo(圣保罗大学)
随着每天产生的数据越来越多,数据流挖掘的重要性也越来越大,这表明需要能够快速处理这些数据的算法。数据流挖掘算法是专门针对连续数据问题的在线知识提取解决方案。目前的数据流挖掘算法中,有许多算法的处理和存储开销都很大.通常,预测性能越高,这些成本就越高。为了在不增加内存和时间开销的情况下提高预测性能,提出了一种新的在线局部提升算法(OLBoost),该算法可以与在线决策树算法相结合,在不改变诱导决策树结构的情况下提高其预测性能.为此,OLBoost会对实例空间的小的单独区域应用提升。实验结果表明,通过使用OLBoost,在线学习决策树算法的预测性能得到了显著提高。此外,它可以使较小的树表现得与较大的树一样好或更好。
2019-07-16 cs.LG stat.ML
On Imbalanced Regression with Hoeffding Trees
University of Oklahoma(俄克拉荷马大学)
针对不平衡回归中的数据流问题,将核密度估计扩展到流式设置并集成层次收缩到增量决策树中,实验表明KDE能持续提升早期流性能。
2026-06-01 cs.AI cs.LG
Online Multi-target regression trees with stacked leaf models
University of São Paulo(圣保罗大学);State University of Londrina(隆德里纳州立大学)
当前机器学习面临的挑战之一是如何处理数据流中以越来越高的速率出现的数据。需要新的预测学习策略来应对高吞吐量数据和概念漂移。其中一个需要新的学习策略的数据流挖掘任务是多目标回归,因为它适用于大量的现实问题。虽然已经提出了可靠和有效的学习策略,批量多目标回归,很少有人提出多目标在线学习数据流。此外,大多数现有的解决方案在进行预测时不考虑目标间相关性的发生。在这项工作中,我们提出了一种新的在线学习策略的多目标回归数据流。该策略扩展了现有的在线决策树学习算法,以探索目标间的依赖关系,同时进行预测。为此,所提出的策略,称为堆叠单目标Hoeffding树(SST-HT),使用目标间的依赖关系作为一个额外的信息源,以提高预测精度。在整个广泛的实验设置,我们评估我们的建议对国家的最先进的决策树为基础的算法在线多目标回归。根据实验结果,SST-HT提出了优越的预测精度,在处理时间和内存需求的小增加。
2020-03-10 cs.LG stat.ML
FAHT: An Adaptive Fairness-aware Decision Tree Classifier
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Leibniz University Hannover(汉诺威莱布尼茨大学)
自动化数据驱动的决策系统在广泛的在线和离线服务中无处不在。这些系统依赖于复杂的学习算法和可用的数据来优化决策支持辅助的服务功能。然而,人们越来越关注所采用模型的问责制和公平性,因为现有的历史数据往往具有本质上的歧视性,即,当得到正分类时,共享一个或多个敏感属性的成员的比例高于总体中的比例,这导致决策支持系统缺乏公平性。已经提出了一些公平意识的学习方法来处理这个问题。然而,这些方法将公平性作为静态问题来处理,并且不考虑底层流种群的演化。在本文中,我们引入了一个学习机制,设计一个公平的分类器在线流基于决策。我们的学习模型,FAHT(公平意识Hoeffding树),是一个著名的Hoeffding树算法的决策树感应流,也占公平的扩展。我们的实验表明,我们的算法是能够处理歧视在流媒体环境中,同时保持适度的预测性能的流。
2019-07-16 cs.AI cs.LG stat.ML
Extremely Simple Streaming Forest
针对现有流式决策树算法准确率低或内存高的问题,提出极其简单的流式森林方法XForest,通过持续生长更新树并替换旧树,在72个分类基准上表现优异且仅需推理时间。
2025-06-26 cs.AI cs.DS cs.LG
Approximating splits for decision trees quickly in sparse data streams
HIIT, University of Helsinki(赫尔辛基大学 HIIT)
本文提出了一种在稀疏数据流中快速近似决策树分裂的方法,通过改进分裂搜索效率,提升了稀疏数据处理性能。
2026-01-18 cs.DS cs.LG
MIST: Reliable Streaming Decision Trees for Online Class-Incremental Learning via McDiarmid Bound
Faculty of Information and Technology University of Science Vietnam National University Ho Chi Minh City(信息科技学院科学大学越南国家大学胡志明市);Department of Computer Science University of Warwick(计算机科学系沃里克大学)
本文提出MIST方法,通过三个集成组件解决流决策树在在线类增量学习中的可靠性问题,包括McDiarmid置信半径、贝叶斯继承协议和KLL量化图,以提升在非高斯几何中的鲁棒性。
2026-05-18 cs.LG math.ST stat.TH
DFDT: Dynamic Fast Decision Tree for IoT Data Stream Mining on Edge Devices
DFDT是一种用于边缘设备的内存受限在线学习算法,通过活动感知预剪枝和自适应宽容期提升数据流挖掘效率,减少超参数调优需求。
2025-12-07 cs.AI cs.LG cs.NI
Effectiveness of Tree-based Ensembles for Anomaly Discovery: Insights, Batch and Streaming Active Learning
Washington State University(华盛顿州立大学)
该研究针对异常检测中需人工配置以减少误报的问题,基于树集成方法提出批量与流式主动学习算法及漂移检测方案,通过实验验证其在异常发现数量、多样性及流式场景下的优异性能。
2024-05-14 cs.LG stat.ML
Adaptive Hoeffding Tree with Transfer Learning for Streaming Synchrophasor Data Sets
针对同步相量传感器产生的大规模流式实时数据难以在云端低延迟处理的问题,提出基于迁移学习的自适应Hoeffding树(THAT)方法,在保持94%故障检测准确率的同时将计算时间降至0.34ms。
2025-01-19 cs.AI cs.LG
Hybrid Forest: A Concept Drift Aware Data Stream Mining Algorithm
Amirkabir University of Technology(阿米尔卡比尔理工大学)
如今,随着组织中在线控制系统的数量不断增加,以及对使用数据流来记录和控制其子系统的监控和统计设施的需求越来越高,数据流挖掘变得越来越重要。Hoeffding树(也称为非常快速决策树,VFDT)作为一种大数据方法,在处理数据流的分类和回归问题时表现出了良好的性能,能够应对面临的挑战,并使随时预测成为可能。尽管这些方法优于其他方法,例如人工神经网络(ANN)和支持向量回归(SVR),但是当输入数据的统计分布改变时,它们在适应新概念方面存在高延迟。本文提出了一种新的概念漂移检测算法,该算法能够有效地检测和处理概念漂移现象。该算法还受益于快速启动能力,这有助于系统能够在数据流到达的开始时比其他算法更快地预测。我们还表明,我们的方法在分类和回归任务方面优于其他有争议的方法。
2019-02-10 cs.LG stat.ML
Iterative Forgetting: Online Data Stream Regression Using Database-Inspired Adaptive Granulation
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对数据流回归中的低延迟与概念漂移挑战,提出受数据库R*-树启发的自适应粒化与迭代遗忘模型,实现数量级延迟和训练时间改进,同时保持预测精度。
2024-03-14 cs.DB cs.LG
Balancing Performance and Energy Consumption of Bagging Ensembles for the Classification of Data Streams in Edge Computing
University of Waikato(怀卡托大学);Federal University of São Carlos(圣卡洛斯联邦大学)
近年来,边缘计算(EC)范式已成为开发物联网(IoT)和5G网络等技术的推动因素,弥合了云计算服务和最终用户之间的差距,支持低延迟,移动性和延迟敏感应用的位置感知。EC中的大多数解决方案采用机器学习(ML)方法来对连续和不断变化的数据流执行数据分类和其他信息处理任务。通常,这样的解决方案必须处理作为数据流出现的大量数据,同时平衡能耗、延迟和算法的预测性能。由于几种模型的组合和选择性重置的可能性,当应用于不断变化的数据流时,Enseminar方法实现了显着的预测性能。这项工作研究了优化性能的策略(即,延迟、吞吐量)和能量消耗来对数据流进行分类。实验评估涉及六种最先进的集成算法(OzaBag,OzaBag Adaptive Size Hoeffding Tree,Online Bagging ADWIN,Leveraging Bagging,Adaptive RandomForest和Streaming Random Patches),应用五种广泛使用的机器学习基准数据集,在三种计算机平台上具有不同的特征。在96%的实验场景中,这些策略可以显着降低能耗。尽管存在权衡,但可以平衡它们以避免预测性能的显著损失。
2022-01-17 cs.LG
Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
J.P. Morgan AI Research(摩根大通AI研究)
针对在线决策树分裂选择缺乏有效统计保证的问题,提出基于随时有效推断的方法,实现任意数据流下错误分裂的随时有效控制、预测优势下的有限承诺时间,并在平稳独立同分布数据下保证风险单调递减且每次分裂严格改善。
2026-05-29 cs.AI cs.LG stat.ML
In-context Learning of Evolving Data Streams with Tabular Foundational Models
INESC-TEC, FEP, University of Porto(INESC-TEC、FEP、葡萄牙波尔图大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出利用表格基础模型和上下文学习方法,通过滑动内存策略在动态环境中实现高效的数据流处理,优于传统集成方法。
2025-12-15 cs.AI cs.LG
Beyond Interpretability: Exploring the Comprehensibility of Adaptive Video Streaming through Large Language Models
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);School of Computing Science, Simon Fraser University(西蒙弗雷泽大学计算机科学系);Beijing National Research Center for Information Science and Technology(北京信息科学国家研究中心)
本文提出ComTree框架,通过生成满足性能要求的决策树并利用大语言模型评估开发者可理解性,在保持码率自适应性能的同时显著提升算法可理解性。
2025-08-22 cs.LG cs.MM eess.IV
Mondrian Forest for Data Stream Classification Under Memory Constraints
Concordia University(康考迪亚大学)
本文调整在线 Mondrian forest 分类算法以适应内存受限的数据流环境,设计了五种内存外更新策略和修剪机制应对概念漂移,并在多种数据集上验证,推荐 Extend Node 策略为最佳方案。
2023-08-04 cs.AI cs.LG
The Binary Tree Mechanism is Optimal for Differentially Private Continual Counting
Aarhus University(奥胡斯大学)
本文证明在近似差分隐私下,连续计数问题的任何机制都必须有期望ℓ∞误差Ω(log^{3/2} n),从而表明二叉树机制是渐近最优的。
2026-10-22 cs.CR cs.DS cs.LG
BETULA: Numerically Stable CF-Trees for BIRCH Clustering
TU Dortmund University(多特蒙德工业大学)
BIRCH聚类是一种广为人知的聚类方法,它影响了许多后续的研究和商业产品。BIRCH的主要贡献是聚类特征树(CF树),它是输入数据的压缩表示。当新数据到达时,树最终被重建以增加压缩。然后,使用树的叶子进行聚类。由于采用了数据压缩的方法,该方法具有很好的可扩展性。这个想法已经被用于例如k-means,数据流和基于密度的聚类。BIRCH使用的聚类特征是简单的汇总统计量,可以很容易地用新数据更新:点数、线性和和平方值之和。不幸的是,如何在BIRCH中使用平方和很容易导致灾难性的取消。我们引入了一个替换集群功能,它没有这个数值问题,维护成本也不会高得多,而且它使许多计算更简单,因此更有效。这些聚类特征也可以很容易地用于BIRCH的其他工作,例如流数据的算法。在实验中,我们演示了数值问题,并比较了原始算法的性能相比,改进的聚类特征。
2020-06-23 cs.DS cs.LG stat.ML
Resource-aware Elastic Swap Random Forest for Evolving Data Streams
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Télécom ParisTech(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
基于数据流挖掘的持续学习处理无处不在的高速实时大数据源。自适应随机森林({ \em ARF})是一种流行的集成方法,用于持续学习,因为它简单地将自适应杠杆装袋与快速随机Hoeffding树相结合。虽然默认的ARF大小提供了有竞争力的准确性,但它通常被过度配置,导致使用额外的分类器,这些分类器只会增加CPU和内存消耗,对整体准确性的影响很小。本文提出了弹性交换随机森林({ \em ESRF}),一种减少ARF集成中的树的数量,同时提供类似的精度的方法。{ \em ESRF}通过两个正交组件扩展了{ \em ARF}:1)交换组件,它根据学习器的准确度将其分为两个集合(仅使用准确度最高的分类器进行预测); 2)弹性组件,用于动态增加或减少集成中的分类器数量。对{ \em ESRF}的实验评估以及与原始{ \em ARF}的比较显示了这两个新组件如何有助于将分类器的数量减少多达三分之一,同时提供几乎相同的准确性,从而在每个样本执行时间方面加速接近3倍。
2019-05-14 cs.LG stat.ML
Improved Multi-objective Data Stream Clustering with Time and Memory Optimization
University Sorbonne Paris Nord(索邦巴黎北大学);Higher School of Computer Science (ESI-SBA)(高等计算机科学学院(ESI-SBA))
在过去的几十年里,由于传感器、社交媒体等的发展,数据流的分析受到了相当大的关注,它旨在识别无序、无限和不断发展的观测流中的模式。对这种类型的数据进行聚类需要在时间和内存方面有一些限制。提出了一种新的数据流聚类方法IMOC Stream。与其他聚类算法不同,该方法使用两个不同的目标函数来捕获数据的不同方面。IMOC流的目标是:1)通过使用空闲时间来应用遗传操作并增强解决方案来减少计算时间。2)通过引入新的树概要来减少内存分配。3)通过使用多目标框架找到任意形状的集群。我们进行了一项实验研究,高维流数据集,并将其与著名的流聚类技术。实验结果表明,我们的方法分区的数据流在任意形状,紧凑,以及分离的集群,同时优化的时间和内存的能力。我们的方法也优于大多数的流算法在NMI和ARAND措施。
2022-01-13 cs.DB cs.LG
Use of Ensembles of Fourier Spectra in Capturing Recurrent Concepts in Data Streams
Auckland University of Technology(奥克兰理工大学);University of Waikato(怀卡托大学)
在这项研究中,我们应用傅立叶编码的频谱合奏捕获和挖掘数据流环境中的重复出现的概念。先前的研究表明,可以通过应用离散傅立叶变换来准确地捕获数据流中的递归概念,从而获得紧凑版本的决策树。然而,在高度不稳定的环境中,新的概念经常出现,在一个单独的频谱中编码每个概念的方法是不再可行的,由于内存过载,因此在这项研究中,我们提出了一个合奏的方法,解决这个问题。我们对真实世界数据和合成数据表现出不同程度的复发的实证结果表明,集成方法优于单谱方法的分类精度,内存和执行时间。
2015-04-23 cs.AI cs.LG
Partition Tree Weighting for Non-Stationary Stochastic Bandits
Google DeepMind(谷歌DeepMind)
本文针对非平稳随机伯努利赌博机问题,将分区树加权通用源编码从被动预测推广至控制设置,提出一种高效且高性能的算法,解决了动作与观测交织数据流中的自我欺骗问题。
2025-02-26 cs.AI cs.LG
An Eager Splitting Strategy for Online Decision Trees
Monash University(莫纳什大学);University of Waikato(怀卡托大学)
决策树集成在实践中有着广泛的应用。在这项工作中,我们研究了在集成设置的有效性,取代分裂策略的国家的最先进的在线树学习器,Hoeffding树,与一个严格的,但更积极的分裂策略,我们以前出版的Hoeffding AnyTime Tree。Hoeffding AnyTime Tree(HATT)使用Hoeffding测试来确定当前最佳候选分裂是否优于当前分裂,并有可能进行修改,而Hoeffding Tree旨在确定顶级候选是否优于第二个最佳候选,如果选择了测试,则为所有后代修复它。HATT收敛于理想批处理树,而Hoeffding树则不收敛。我们发现,HATT是一个有效的基础学习在线装袋和在线提升合奏。在UCI和合成流上,HATT作为基础学习者在0.05的显著性水平内优于HT,对于大多数测试的合奏,我们认为这是在线学习文献中最大和最全面的测试平台集。我们的研究结果表明,HATT是一个更好的替代Hoeffding树在大量的合奏设置。
2021-07-31 cs.LG stat.ML
Evaluating k-NN in the Classification of Data Streams with Concept Drift
Universidade Federal de Pernambuco(伯南布哥联邦大学);Pontifícia Universidade Católica do Paraná(巴拉那天主教大学)
数据流通常被定义为以高速连续流动的大量数据。此外,这些数据可能会受到数据分布变化的影响,称为概念漂移。鉴于上述所有原因,从流中学习通常是在线的,并且受到内存消耗和运行时的限制。虽然存在许多分类算法,但该领域发表的大多数作品都使用朴素贝叶斯(NB)和Hoeffding树(HT)作为实验中的基本学习器。本文提出了一种深入的评估k-最近邻(k-NN)作为候选分类数据流受到概念漂移。分析了k-NN的时间复杂度和两个主要参数,用于预测的最近邻的数量(k)和窗口大小(w)。我们比较了k-NN的不同参数值,并将其与NB和HT进行了对比,在许多数据集中都有和没有漂移检测器(RDDM)。我们制定并回答了10个研究问题,得出的结论是,k-NN是一个值得的候选数据流分类,特别是当运行时的约束不是太严格。
2022-10-06 cs.AI cs.LG
Interpretable Anomaly Detection with Mondrian P{ó}lya Forests on Data Streams
University of Warwick(华威大学);University of Cambridge(剑桥大学);Amazon(亚马逊)
大规模异常检测是一个极具挑战性和实用性的问题。当数据很大且高维时,很难检测出哪些观测结果不符合预期行为。最近的工作已经结合了(随机)$k$ \emph{d-trees}的变化,以总结异常检测的数据。然而,这些方法依赖于不容易解释的ad-hoc评分函数,使得难以评估检测到的异常的严重性或在没有标记的异常的情况下选择合理的阈值。为了解决这些问题,我们将这些方法置于一个概率框架中,我们称之为蒙德里安\Polya{}森林,用于估计生成数据的潜在概率密度函数,并使其比以前的工作具有更大的可解释性。此外,我们开发了一个内存效率的变种,能够在现代流媒体环境中运行。我们的实验表明,这些方法实现了最先进的性能,同时提供统计上可解释的异常分数。
2020-08-04 cs.LG stat.ML
GPU-acceleration for Large-scale Tree Boosting
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
在本文中,我们提出了一种新的大规模并行算法来加速GPU(图形处理单元)上的决策树构建过程,这是梯度提升决策树(GBDT)和随机森林训练的关键步骤。以前的基于GPU的树构建算法是基于并行多扫描或基数排序来找到确切的树分裂,因此遭受可扩展性和性能问题。我们表明,使用基于直方图的算法来近似地找到最佳分割是更有效和可扩展的GPU上。通过比较传统的基于GPU的图像直方图构造与决策树训练中的特征直方图构造的差异,提出了一种基于GPU的快速特征直方图构造内核,并设计了计算和内存访问顺序,以减少原子更新冲突,最大限度地提高GPU利用率。我们的算法可以被用来作为一个下降的替代直方图建设在流行的树提升系统,以提高其可扩展性。作为一个例子,为了在GPU数据集上训练GBDT,我们使用主流GPU的方法比LightGBM中基于CPU的直方图算法快7-8倍,比XGBoost中的精确分裂查找算法快25倍,同时达到类似的预测精度。
2017-06-26 cs.DC cs.LG stat.ML