MGML: Multi-Granularity Multi-Level Feature Ensemble Network for Remote Sensing Scene Classification
Beihang University(北京航空航天大学)
遥感影像场景分类是一项具有挑战性的任务,它需要对遥感影像的场景类别进行预测。遥感图像具有两个主要特征:分辨率方差大而导致的类内方差大和地理覆盖区域大而信息混乱。以减轻以上两种性格的负面影响。本文提出了一种多粒度多级特征包围网(MGML-FENet)来有效地处理遥感场景分类任务。具体来说,我们提出了多粒度多级特征融合分支(MGML-FFB),通过通道分离特征生成器(CS-FG)提取网络不同层次的多粒度特征。为了避免混淆信息的干扰,我们提出了多粒度多层次特征增强模块(MGML-FEM),它可以通过全通道特征生成器(FC-FG)提供不同的预测。与以前的方法相比,我们提出的网络具有使用结构信息和丰富的细粒度特征的能力。此外,通过集成学习方法,我们提出的MGML-FENets可以获得更令人信服的最终预测。在多个RS数据集(AID,NWPU-RESISC 45,UC-Merced和VGoogle)上进行的广泛分类实验表明,我们提出的网络比以前的最先进(SOTA)网络具有更好的性能。可视化分析也表明MGML-FENet具有良好的可解释性。
2020-12-29 cs.AI cs.CV cs.LG
Mamba-Based Ensemble learning for White Blood Cell Classification
University of Bristol(布里斯托尔大学);University of Oxford(牛津大学);Chulalongkorn University(朱拉隆功大学)
针对白细胞分类中人工方法低效、深度学习模型存在数据不平衡和计算量大等问题,提出基于Mamba模型与集成学习结合的新框架,引入Chula-WBC-8数据集,验证其在资源受限环境中提升分类效率与准确性的潜力。
2025-04-15 cs.CV cs.LG
Deep Negative Correlation Classification
University of Electronic Science and Technology of China(电子科技大学);Nankai University(南开大学);University of Oxford(牛津大学);Agency for Science, Technology and Research(新加坡科技研究局)
包围学习作为一种直接的方法来提高几乎任何机器学习算法的性能。现有的深度集成方法通常天真地训练许多不同的模型,然后聚合它们的预测。从两个方面来看,我们认为这不是最佳的:i)天真地训练多个模型会增加更多的计算负担,特别是在深度学习时代; ii)在不考虑它们之间的相互作用的情况下优化每个基础模型会限制集成和性能增益的多样性。我们通过提出深度负相关分类(DNCC)来解决这些问题,其中通过将损失函数无缝地分解为个体精度以及个体模型与集合之间的相关性来系统地控制精度和多样性权衡。DNCC产生一个深分类集合,其中单个估计量既准确又负相关。得益于优化的分布式,DNCC即使在使用共享网络骨干时也能很好地工作,与大多数现有的集成系统相比,这显著提高了其效率。在多个基准数据集和网络结构上的实验证明了该方法的优越性。
2022-12-14 cs.CV cs.LG
MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification
The Bredesen Center for Interdisciplinary Research and Graduate Education(布雷德森跨学科研究与研究生教育中心);University of Tennessee Knoxville(田纳西大学诺克斯维尔分校)
该研究针对跨数据集图像分类泛化难题,提出ARMDIL模型,通过MLLM智能体动态路由图像到适配的视觉骨干,兼具竞争力、高适应性与可解释性,为通用视觉系统奠定基础。
2026-08-28 cs.AI cs.CL cs.CV
Applying an Ensemble Learning Method for Improving Multi-label Classification Performance
近年来,多标签分类问题已经成为一个有争议的问题。在这种分类中,每个样本都与一组类别标签相关联。包围方法是监督学习算法,其中操作者采用多个学习算法,即基本级算法,并将它们的结果组合以进行估计。集成学习的最简单形式是在随机数据子集上训练基本级算法,然后让它们投票选择最流行的分类或平均基本级算法的预测。在这项研究中,集成学习方法提出了改进多标签分类评价标准。我们已经比较了我们的方法与一些数据集上的知名的基本水平的算法。实验结果表明,该方法在多标签分类问题上的性能优于基本的知名分类器。
2018-01-07 cs.LG stat.ML
Horizontal and Vertical Ensemble with Deep Representation for Classification
Beijing University of Posts and Telecommunications(北京邮电大学)
表示学习,特别是利用深度学习的表示学习,在分类中得到了广泛的应用。然而,如何使用有限大小的标记数据来实现深度神经网络的良好分类性能,以及学习的特征如何进一步改善分类仍然是不确定的。在本文中,我们提出了水平投票垂直投票和水平堆叠包围方法,以提高深度神经网络的分类性能。在ICML 2013黑盒挑战赛中,徐兵通过独立使用这些方法,获得了公开排行榜第3名,私人排行榜第7名;谢晶晶获得了公开排行榜第4名,私人排行榜第5名。
2013-06-12 cs.LG stat.ML
Kalman Filter-based Heuristic Ensemble (KFHE): A new perspective on multi-class ensemble classification using Kalman filters
Insight Centre for Data Analytics(数据 analytics 洞察中心);University College Dublin(都柏林大学学院)
本文介绍了一种新的观点,多类集成分类认为训练集成的状态估计问题。新的观点认为,最终的集成分类器模型作为一个静态的状态,它可以使用一个卡尔曼滤波器,结合噪声的估计由个别分类器模型进行估计。本文还提出了一种基于这种观点的新算法--基于卡尔曼滤波器的启发式包络算法(KFHE),表明了这种新观点的实用性。在30个数据集上进行的实验将KFHE与最先进的多类集成分类算法进行了比较,并显示了新视角和算法的潜力和有效性。现有的集成方法权衡分类准确性对类标签噪声的鲁棒性,但KFHE被证明是显着更好或至少一样好的最先进的算法的数据集都有和没有类标签噪声。
2019-02-21 cs.AI cs.LG stat.ML
When does Diversity Help Generalization in Classification Ensembles?
University of Science and Technology of China (USTC)(中国科学技术大学)
集成作为机器学习社区中广泛使用的有效技术,在一个关键因素--“多样性”中取得了成功。“不幸的是,多样性和泛化之间的关系尚未完全理解,仍然是一个开放的研究问题。为了揭示多样性对分类集成泛化的影响,我们研究了关于多样性的三个问题,即,多样性的测量、所提出的多样性和泛化误差之间的关系,以及利用该关系进行集成修剪。在多样性度量中,受回归集成的启发,我们采用误差分解的方法来度量多样性,将分类集成的误差分解为准确度和多样性。然后通过容限和泛化定理建立了测量分集与集成性能之间的关系,发现只有在少数特定范围内增加测量分集才能有效地降低泛化误差,而在其他范围内,较大的分集不利于提高集成的泛化性能。此外,我们提出了两种基于多样性管理的剪枝方法,利用这种关系,这可以适当地增加多样性,并在不降低性能的情况下缩小集成的大小。实验结果验证了多样性与集成泛化误差之间关系的合理性和所提剪枝方法的有效性。
2021-01-19 cs.LG stat.ML
Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University(宋卡王子大学);Khon Kaen University(孔敬大学)
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成,假设好的特征集包含与类高度相关的特征,这可以在分类精度的性能上实现。所提出的方法包括两个阶段:(i)通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及(ii)使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术:(i)基于相关性,(ii)基于一致性,(iii)ReliefF和(iv)信息增益。实验结果表明,将信息增益特征选择和基于相关性的特征选择与SVM集成相结合,比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
Unsupervised Ensemble Classification with Sequential and Networked Data
University of Minnesota(明尼苏达大学)
包围学习是一种结合多种算法的机器学习范式,在各种任务中表现出了良好的性能。目前的工作重点是无监督集成分类。术语无监督是指集成组合器不知道每个分类器已经训练过的地面真实标签。数据,目前的工作介绍了一个无监督的计划,从合奏的分类器中存在的数据依赖关系的学习。两种类型的数据依赖关系被认为是:顺序数据和网络数据的依赖关系被捕获的图形。矩匹配和期望最大化算法开发上述情况下,其性能进行评估的合成和真实的数据集。
2020-12-20 cs.LG eess.SP stat.ML
The Quantum Version of Prediction for Binary Classification Problem by Ensemble Methods
Kazan Federal University(喀山联邦大学);Zavoisky Physical-Technical Institute, FRC Kazan Scientific Center of RAS(俄罗斯科学院喀山科学中心联邦研究中心扎沃伊斯基物理技术研究所)
在这项工作中,我们考虑使用量子算法来预测二进制分类问题的结果的性能,如果机器学习模型是来自任何简单分类器的集成。这种方法比经典预测更快,并且使用量子和经典计算,但它基于概率算法。令$N$是来自集成模型的分类器的数量,并且$O(T)$是在一个分类器上的预测的运行时间。在经典的情况下,集成模型从每个分类器获得答案并对结果进行“平均”。经典情况下的运行时间为$O\left( N \cdot T \right)$。我们提出了一个算法,它的工作在$O\left(\sqrt{N} \cdot T\right)$。
2021-12-26 cs.LG quant-ph
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace(上阿尔萨斯大学 IRIMAS)
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发,深度学习开始在时间序列分类(TSC)方面显示出有希望的结果。然而,神经网络仍然落后于最先进的TSC算法,TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此,在本文中,我们展示了60个深度学习模型的集成如何在UCR/UEA档案(时间序列分析的最大公开基准)上进行评估时,显着提高TSC神经网络的当前最先进性能。最后,我们展示了我们提出的神经网络Ensemble(NNE)是第一个优于COTE的时间序列分类器,同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.(艾伯维公司);Merck & Co., Inc.(默沙东公司)
基于树的集成,例如Breiman的随机森林(RF)和梯度提升树(GBT)可以被解释为隐式内核生成器,其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看,已被用来开发一个原则性的框架,其统计特性的理论研究。最近,它已被证明,内核的解释是密切相关的其他基于树的合奏,如GBT。然而,内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成(包括RF和GBT)之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究,包括连续和二进制目标的性能和属性。我们表明,对于连续的目标,RF/GBT内核在高维场景中,特别是在具有大量噪声特征的情况下,与它们各自的合奏具有竞争力。对于二进制目标,RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果,以展示如何在实践中利用这些见解。总体而言,我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后,我们讨论了基于树集成的生存目标,可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
XEM: An Explainable-by-Design Ensemble Method for Multivariate Time Series Classification
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩计算机科学与应用数学研究所);IUF(法国大学研究院);PEGASE(PEGASE研究所);INRAE(法国国家农业食品与环境研究所);AGROCAMPUS OUEST(法国西部农业工程师学院)
我们提出了XEM,一个eXplainable-by-design Enclosures方法用于多变量时间序列分类。XEM依赖于一种新的混合集成方法,该方法结合了显式提升装袋方法来处理机器学习模型面临的偏差-方差权衡,以及隐式分治方法来个性化训练数据不同部分的分类器错误。我们的评估表明,XEM在公共UEA数据集上的性能优于最先进的MTS分类器。此外,XEM提供了可靠的设计解释性,并在面临连续数据汇集(不同MTS长度、缺失数据和噪声)带来的挑战时表现出强大的性能。
2022-02-15 cs.LG stat.ML
Fast and reliable uncertainty quantification with neural network ensembles for industrial image classification
Ghent University(根特大学);Flanders Make(佛兰德制造机构)
本研究针对工业图像分类中神经网络遇分布外数据易给出高置信错误预测的问题,对比多种高效集成方法,提出新的多样性质量指标,发现batch集成性能媲美深度集成且成本更低。
2025-01-13 cs.LG stat.ML
A Novel Online Stacked Ensemble for Multi-Label Stream Classification
Bilkent University(比尔肯特大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
随着数据流变得越来越普遍,挖掘这种瞬态和动态数据的在线算法的必要性变得更加清晰。多标签数据流分类是一个监督学习问题,其中数据流中的每个实例被分类到一个或多个预定义的标签集合中。已经提出了许多方法来解决这个问题,包括但不限于基于集合的方法。这些基于集成的方法中的一些是专门设计用于某些多标签基础分类器的;另一些则采用在线装袋方案来构建其集成。在这项研究中,我们引入了一种新的在线和动态加权堆叠集成多标签分类,称为GOOWE-ML,利用空间建模为其组件分类器分配最佳权重。我们的模型可以与任何现有的增量多标签分类算法作为其基础分类器。我们使用4个基于GOOWE-ML的多标签集合和7个基线模型对来自不同兴趣领域的7个真实数据集进行实验。我们的实验表明,相对于其他突出的集成模型,GOOWE-ML集成在几乎所有数据集的预测性能方面都产生了更好的结果。
2018-09-26 cs.IR cs.LG stat.ML
Diversity of Ensembles for Data Stream Classification
University of Passau(帕绍大学)
在构造分类器集成时,基分类器之间的多样性是重要特征之一。已经在标准静态数据的背景下进行了一些研究,特别是在分析高集合预测性能与其组成部分的多样性之间的关系时。此外,学习机的集成已经执行的概念漂移的存在下学习,并适应它。然而,多样性措施没有得到太多的研究兴趣,在不断发展的数据流。只有少数研究者直接考虑促进多样性,同时构建一个合奏或重建他们在检测漂移的时刻。在本文中,我们提出了一个不同的多样性措施的理论分析,并将它们与流数据的集成学习算法的成功。分析提供了一个更深入的理解的概念的多样性和在线集成学习的概念漂移的存在下,它的影响。更确切地说,我们有兴趣回答以下研究问题;哪些常用的多样性措施中使用的静态数据集成的背景下,他们在多大程度上适用于流数据集成的背景下?
2019-02-22 cs.LG stat.ML
Deep Ensemble Tensor Factorization for Longitudinal Patient Trajectories Classification
KU LEUVEN(鲁汶大学)
我们提出了一种生成的方法来分类几乎没有观察到的纵向患者轨迹。可用的时间序列表示为张量,并使用生成式深度递归神经网络进行因子分解。所学习的因子以紧凑的方式表示患者数据,然后可以用于下游分类任务。为了提高预测的鲁棒性和准确性,我们使用了这些深度生成模型的集合来模拟贝叶斯后验采样。我们说明了我们的架构上的重症监护的住院死亡率预测与96个纵向测量类型的入院后的第一个48小时内测量的案例研究的性能。我们的生成和集成策略的组合实现了超过0.85的AUC,并且优于SAPS-II死亡率评分和GRU基线。
2018-11-28 cs.LG stat.ML
On Extending Neural Networks with Loss Ensembles for Text Classification
Ferdowsi University of Mashhad (FUM)(马什哈德菲尔多西大学);Macquarie University(麦考瑞大学)
包围技术是一种强大的方法,它将几个弱学习器组合起来,构建一个更强的学习器。集成技术作为一种Meta学习框架,可以很容易地应用于许多机器学习技术。本文提出了一种基于集成损失函数的神经网络用于文本分类。通过神经网络的梯度传播优化方法在训练阶段内调整每个弱损失函数的权重。该方法在多个文本分类数据集上进行了评估。我们还评估了它在各种环境中的性能与几个程度的标签噪声。实验结果表明,与其他方法相比,该方法的结果有所改善,对标签噪声有较强的抵抗力。
2017-11-14 cs.CL cs.LG stat.ML
A Random Projection k Nearest Neighbours Ensemble for Classification via Extended Neighbourhood Rule
Abdul Wali Khan University(阿卜杜勒·瓦利·汗大学);King Abdul Aziz University(阿卜杜勒·阿齐兹国王大学)
基于k近邻(kNN)的集成组合了大量的基础学习器,每个学习器都是在从给定的训练数据中获取的样本上构建的。典型的基于kNN的集成确定训练数据中的k个最接近的观测值,该训练数据通过球形区域被限制到测试样本点以预测其类别。本文提出了一种新的随机投影扩展邻域规则(RPExNRule)集成,其中从给定的训练数据的引导样本被随机投影到较低的维度,以增加基础模型中的随机性并保留特征信息。它使用扩展的邻域规则(ExNRule)来拟合kNN作为随机投影自举样本的基础学习器。
2023-03-21 cs.LG stat.ML
Dense Adaptive Cascade Forest: A Self Adaptive Deep Ensemble for Classification Problems
Southwest Jiaotong University(西南交通大学);University of Electronic Science and Technology of China(电子科技大学);Rutgers University(罗格斯大学)
最近的研究表明,与一般的集成学习方法相比,深度森林集成在分类精度上有了相当大的提高,特别是在训练集较小的情况下。在本文中,我们利用深森林集成,并介绍了密集自适应级联森林(daForest)。我们的模型有一个更好的性能比原来的级联森林有三个主要特点:首先,我们应用SAMME.R boosting算法来提高模型的性能。随着层数的增加,它保证了改进。其次,我们的模型以前馈方式将每一层连接到后续层,这增强了模型抵抗性能退化的能力。第三,我们在第一个分类层之前添加了一个超参数优化层,使我们的模型花费更少的时间来建立和找到最佳的超参数。实验结果表明,daForest的性能非常好,在某些情况下,甚至优于神经网络,并达到了最先进的结果。
2019-05-14 cs.LG stat.ML
Deep ensemble learning for Alzheimers disease classification
Hefei University of Technology(合肥工业大学);Boston University(波士顿大学)
包围学习使用多个算法来获得比其组成算法中的任何一个更好的预测性能。随着深度学习的日益普及,研究人员已经开始将它们集成用于各种目的。然而,很少有人使用深度学习方法作为集成算法的手段。本文提出了一种深度集成学习框架,旨在利用深度学习算法整合多个数据集,挖掘专家智慧。在投票层,训练一个稀疏的自动编码器进行特征学习,以减少属性的相关性,并最终多样化的基础分类器。在堆叠层,提出了一种基于深度信念网络的非线性特征加权方法,对可能违反条件独立性的基分类器进行排序。采用神经网络作为Meta分类器。在优化层,采用欠采样和阈值移动来处理代价敏感问题。通过相似性计算,基于概率预测的集合获得优化预测。提出的深度集成学习框架用于阿尔茨海默病分类。在国家老年痴呆症协调中心的临床数据集上进行的实验表明,我们提出的框架的分类准确率比6个著名的集成方法以及标准堆叠算法高4%。通过利用普通医生的智慧,可以提供更准确的诊断服务的充分覆盖。本文从机器学习的角度出发,提出了一种提高老年性痴呆初级保健水平的新方法。
2019-05-30 cs.LG stat.ML
Two-Layer Mixture Network Ensemble for Apparel Attributes Classification
ZhongAn Information Technology Service Co., Ltd.(众安信息技术服务有限公司)
识别服装属性最近引起了计算机视觉界的极大兴趣。基于各种深度神经网络的方法已经被提出用于图像分类,其可以应用于服装属性识别。一个有趣的问题是如何集成这些方法,以进一步提高精度。在本文中,我们提出了一个两层的混合框架集成不同的网络。在该框架的第一层中,分别应用了两种类型的集成学习方法,bagging和boosting。与传统方法不同的是,我们的装袋过程利用整个训练集,而不是随机子集,来训练集成中的每个模型,其中使用了几个差异化的深度网络来促进模型方差。为了避免小规模样本的偏差,第二层只采用bagging来混合第一层bagging和boosting得到的结果。实验结果表明,提出的混合框架优于任何单独的网络模型或独立的集成方法在服装属性分类。
2018-07-11 cs.CV cs.LG stat.ML
Building Diversified Multiple Trees for Classification in High Dimensional Noisy Biomedical Data
University of South Australia(南澳大利亚大学)
通常将训练的分类模型应用于由于噪声而偏离训练数据的操作数据。本文证明了集成分类器,多样化的多树(DMT),是更强大的分类噪声数据比其他广泛使用的集成方法。DMT测试三个真实世界的生物医学数据集,从不同的实验室相比,四个基准集成分类。实验结果表明,DMT是显着更准确地比其他基准集成分类器的噪声测试数据。我们还讨论了DMT的局限性及其可能的变化。
2017-06-26 cs.LG stat.ML
Deep Sub-Ensembles for Fast Uncertainty Estimation in Image Classification
German Research Center for Artificial Intelligence(德国人工智能研究中心)
快速估计模型的不确定性,需要许多强大的机器人应用。深度集成提供了最先进的不确定性,而不需要贝叶斯方法,但它仍然是计算昂贵的。在本文中,我们提出了深度子集成,这是对深度集成的一种近似,其核心思想是只集成接近输出的层,而不是整个模型。在CIFAR 10数据集上使用ResNet-20,我们获得了比Deep Entrance 1.5-2.5的加速比,错误和NLL略有增加,在SVHN数据集上使用VGG类网络的加速比同样高达5-15。我们的研究结果表明,这种想法使误差和不确定性质量与计算性能之间的权衡。
2019-11-29 cs.CV cs.LG stat.ML
Ensemble Committees for Stock Return Classification and Prediction
本文研究了一种基于机器学习算法的证券组合交易策略。该策略的盈利能力是通过算法的能力来衡量的,该算法能够始终如一地准确识别具有正回报或负回报的股票指数,并根据学习模型生成首选的投资组合分配。股票的特点是由时间序列数据集组成的技术变量,反映了市场条件在前一个时间间隔,这是用来产生在随后的时间间隔的二元分类决策。学习模型被构造为随机森林分类器、非线性支持向量机分类器、相关向量机分类器和k-最近邻分类器的组成集合的委员会。全球行业分类标准(GICS)用于探索集成模型在能源、材料、金融和信息技术等各个投资领域的有效性。从2006年到2012年的数据,包括在内,被认为是选择提供一系列的市场情况,评估模型。该模型被观察到,以达到约70%的准确性时,预测股票价格回报提前三个月。
2014-04-05 cs.LG stat.ML
Choosing a parallel heterogeneous ensemble method for tabular classification
Mines Paris, PSL University(巴黎矿业学院,巴黎文理研究大学);Alten Labs(阿尔滕实验室)
在56个表格分类任务上比较并行集成方法并得出使用建议,后在28个任务上验证,该建议集表现出色。发现混合和堆叠不一致但相互独立,硬投票概率分类弱,稳健软投票概率分类成功。
2026-07-07 cs.LG
Adaptive Ensemble of Classifiers with Regularization for Imbalanced Data Classification
Sichuan University(四川大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校);Zhejiang University(浙江大学);Tennessee State University(田纳西州立大学)
分类器的动态集成选择是处理标签不平衡数据分类的一种有效方法。然而,由于缺乏正则化方法以及上述技术对局部几何形状的依赖,这种技术易于过拟合。在这项研究中,针对二进制不平衡数据分类,提出了一种新的动态集成方法,即自适应集成的分类器与正则化(AER),以克服上述限制。该方法通过隐式正则化来解决过拟合问题。具体而言,它利用随机梯度下降的特性来获得具有最小范数的解,从而实现正则化;此外,它通过利用数据的全局几何形状来插值整体权重,以进一步防止过拟合。根据我们的理论证明,看似复杂的AER范式,除了其正则化功能,实际上可以减少其他几个算法的渐近时间和内存复杂度。我们评估了七个基准不平衡数据集的UCI机器学习存储库和一个人工生成的基于GM的数据集与五个变化的AER方法。结果表明,该算法在大多数情况下优于现有的基于多个度量的主要算法,两个假设检验(McNemar's和Wilcoxon检验)进一步验证了该算法的统计显著性。此外,该方法还具有处理高度不平衡数据的特殊优势,开创了动态集成方法正则化研究的先河。
2020-11-06 cs.LG stat.ML
Specialists Outperform Generalists in Ensemble Classification
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
考虑准确度已知的$k$个体分类器的集合。在接收到测试点时,每个分类器输出预测的标签和对该特定测试点的预测的置信度。在本文中,我们解决的问题,我们是否可以确定的合奏的准确性。令人惊讶的是,即使当分类器组合在统计上最佳的方式在这种设置中,所得到的集成分类器的准确性不能计算从个人分类器的准确性,因为将是在标准设置的置信加权多数表决的情况下。我们证明紧的集合精度的上限和下限。我们显式地构造达到上界和下界的个体分类器:专家和通才。我们的理论结果有非常实际的后果:(1)如果我们使用集成方法,并可以选择从头开始构建我们的个人(独立)分类器,那么我们应该瞄准专家分类器,而不是通才。(2)我们的边界可以用来确定至少需要多少分类器来实现所需的集成精度。最后,我们通过考虑真实标签和个体分类器输出之间的互信息来改进我们的边界。
2021-07-09 cs.LG stat.ML
Classy Ensemble: A Novel Ensemble Algorithm for Classification
Ben-Gurion University(本-古里安大学)
本文提出按类别准确率加权聚合模型的分类集成算法 Classy Ensemble,在153个数据集上优于顺序剪枝、聚类剪枝和 lexigarden,并通过聚类结合、深度学习实验和进化选择进一步增强性能。
2024-01-11 cs.LG cs.NE
QUILT: Effective Multi-Class Classification on Quantum Computers Using an Ensemble of Diverse Quantum Classifiers
Northeastern University(东北大学)
本文提出 Quilt 框架,通过多样化量子分类器集成,在当前噪声较大、量子比特有限的硬件上完成多类分类,并在五量子比特系统的 MNIST 任务中达到最高 85% 准确率。
2023-09-26 cs.LG quant-ph
Self-paced ensemble learning for speech and audio classification
University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学)
已知将多个机器学习模型组合成系综提供与形成系综的各个组件相比更优越的性能水平。这是因为模型可以在做出更好的决策时相互补充。我们提出了一个自定进度的集成学习方案,而不是仅仅将模型组合起来,在该方案中,模型在几次迭代中相互学习。在基于伪标记的自定进度学习过程中,除了改进单个模型外,我们的集成还获得了关于目标领域的知识。为了证明我们的自定进度集成学习(SPEL)计划的一般性,我们进行了三个音频任务的实验。我们的实证结果表明,SPEL显着优于基线集成模型。我们还表明,在单个模型上应用自定进度的学习效果较差,这说明了集成中的模型实际上是相互学习的。
2021-06-08 cs.LG cs.SD eess.AS
Land Cover Mapping Using Ensemble Feature Selection Methods
包围分类是一种新兴的土地覆盖制图方法,其最终分类输出是分类器共识的结果。直观地说,集成系统应该由不同的基本分类器组成,即其决策边界错误不同的分类器。在本文中,集成特征选择是用来施加在集成的多样性。每个集成的成分基分类器的功能创建通过一个穷举搜索算法,使用不同的可分性指数。对于每个合奏,分类精度以及衍生的多样性措施,旨在给一个措施的inensemble多样性。集成分类精度和多样性措施之间的相关性被确定为建立两个变量之间的相互作用。从本文件的调查结果来看,目前制定的多样性措施并没有提供一种充分的手段,据以构成土地覆盖物制图的集合。
2008-11-13 cs.LG
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中,我们实验比较的分类不确定性的随机决策树(DT)集成技术和贝叶斯DT技术与重新启动策略上的合成数据集,以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估,我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果,这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术,我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
AutoDES: AutoML Pipeline Generation of Classification with Dynamic Ensemble Strategy Selection
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
近年来,自动化机器学习取得了显著的技术发展,构建自动化机器学习管道现在是一项重要任务。模型集成是将多个模型组合起来以获得更好和更鲁棒的模型的技术。然而,现有的自动化机器学习在处理模型集成时往往过于简单,其中集成策略是固定的,例如堆叠泛化。不同的集成方法,特别是集成选择,已经有很多技术,固定的集成策略限制了模型性能的上限。在这篇文章中,我们提出了一个新的自动化机器学习框架。我们的框架结合了动态集成选择的进步,据我们所知,我们的方法是AutoML领域第一个搜索和优化集成策略的方法。在对比实验中,我们的方法在OpenML平台的42个分类数据集上的性能优于最先进的自动化机器学习框架,具有相同的CPU时间。在我们的框架上进行的烧蚀实验验证了我们所提出的方法的有效性。
2022-07-20 cs.LG
Classification with Extreme Learning Machine and Ensemble Algorithms Over Randomly Partitioned Data
TÜBİTAK BİLGEM(土耳其科学技术研究委员会信息与信息安全高级研究中心)
在这个大数据时代,基于机器学习的数据采掘方法被广泛用于检查大规模数据集。从这些类型的数据集导出适用的预测建模是一个具有挑战性的障碍,因为它们的高度复杂性。随着数据可用性水平的提高,数据集的自动分类已成为一项关键而复杂的功能。本文探讨了应用基于MapReduce的分布式AdaBoosting的极限学习机(ELM)来构建可靠的分类模型预测包的能力。因此,(i)构建数据集集合;(ii)使用ELM算法来构建弱分类模型;以及(iii)从一组弱分类模型构建强分类模型。该训练模型被应用于公开的知识发现和数据采掘数据集。
2015-04-12 cs.LG
Classification of Imbalanced Credit scoring data sets Based on Ensemble Method with the Weighted-Hybrid-Sampling
Beijing Jiaotong University(北京交通大学)
大数据时代,利用信用评分模型准确判断申请人的信用风险成为未来的趋势。传统的机器学习对信用评分数据集的分类往往对少数类别的分类效果不佳,这可能给银行带来巨大的商业危害。为了对不平衡数据集进行分类,提出了一种新的集成算法,即加权混合采样增强算法(WHSBoost)。在数据采样方面,我们采用加权SMOTE方法和欠采样加权方法对不平衡的数据集进行处理,从而得到一个等权的平衡训练样本数据集。在集成算法中,每次对基分类器进行训练时,均采用上述方法得到平衡数据集。为了验证WHSBoost算法的适用性和鲁棒性,在仿真数据集、真实基准数据集和真实信用评分数据集上进行了实验,并与基于SVM、BPNN、DT和KNN的SMOTE、SMOTEBoost和HSBoost算法进行了比较。
2021-02-09 cs.LG stat.ML
CLCNet: Rethinking of Ensemble Modeling with Classification Confidence Network
National Taiwan University of Science and Technology(台湾科技大学);Trend Micro(趋势科技)
在本文中,我们提出了一个分类置信网络(CLCNet),可以确定是否分类模型正确分类输入样本。它可以在任何维度上以向量的形式获取分类结果,并返回置信度得分作为输出,该得分表示实例被正确分类的概率。我们可以在一个简单的级联结构系统中使用CLCNet,该系统由多个SOTA(state-of-the-art)分类模型组成,我们的实验表明,该系统可以实现以下优点:1。该系统可以自定义的平均计算要求(FLOPs)的每一个图像,而推理。2.在相同的计算要求下,该系统的性能可以超过与系统中模型结构相同但规模不同的任何模型。事实上,这是一种新型的整体造型。与一般的集成建模一样,它可以实现比单一分类模型更高的性能,但我们的系统需要的计算量比一般的集成建模少得多。我们已经将代码上传到github仓库:https://github.com/yaoching0/CLCNet-Rethinking-of-Ensemble-Modeling。
2022-10-23 cs.CV cs.LG
Ensemble-Based Dirichlet Modeling for Predictive Uncertainty and Selective Classification
University of Colorado Denver(科罗拉多大学丹佛分校)
本文提出一种基于狄利克雷参数估计的方法,通过集成softmax输出的矩估计器来分离不确定性估计,提升预测稳定性和不确定性行为,从而增强下游应用性能。
2026-04-07 cs.LG stat.ML
Multilabel Classification through Random Graph Ensembles
Helsinki Institute of Information Technology (HIIT)(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
我们提出了新的多标签分类方法,依赖于集成学习的随机输出图的集合上施加的多标签和基于内核的结构化输出学习器作为基础分类器。对于集成学习,输出图之间的差异提供了所需的基本分类器的多样性,并导致在集成的大小增加的性能提高。我们研究了形成集成预测的不同方法,包括多数表决和两种方法,在将基本模型组合到集成之前或之后对图结构进行推理。我们比较的方法对国家的最先进的机器学习方法上的一组异构的多标签基准问题,包括多标签AdaBoost,凸多任务特征学习,以及单目标学习方法为代表的Bagging和SVM。在我们的实验中,随机图集合非常有竞争力和鲁棒性,在大多数数据集上排名第一或第二。总的来说,我们的研究结果表明,随机图集成是可行的替代方案,平面多标签和多任务学习。
2013-11-17 cs.LG
Anomaly Detection using Ensemble Classification and Evidence Theory
Ruhr-Universität Bochum(鲁尔大学波鸿分校);South Westphalia University of Applied Sciences(南威斯特法伦应用技术大学)
本文提出结合集成分类、证据理论与不确定性量化的异常检测方法,通过分类器池选择和多类集成架构提升未知条件识别能力,并在 Tennessee Eastman 基准上验证。
2022-12-23 cs.LG
Notes on hierarchical ensemble methods for DAG-structured taxonomies
Università degli Studi di Milano(米兰大学)
从文本分类到计算生物学的几个实际问题的特点是分层多标签分类任务。文献中提出的大多数方法都集中在树结构的分类,但只有少数的分类结构,根据有向无环图(DAG)。在这篇文章中,介绍了用于达格结构分类法的新型分类集成算法。特别是层次化的自顶向下(HTD-DAG)和真正的路径规则(TPR-DAG)的DAG提出和讨论。
2014-06-18 cs.AI cs.LG stat.ML
Binary Classification for High Dimensional Data using Supervised Non-Parametric Ensemble Method
Thakur Institute Of Management Studies, Career Development & Research(塔库尔管理研究、职业发展与研究学院);University of Mumbai(孟买大学)
用于分类的高维数据确实给机器学习算法带来了许多困难。泛化可以使用集成学习方法来完成,例如基于装袋的监督非参数随机森林算法。本文针对多囊卵巢综合征数据集,采用随机森林方法解决了高维数据的二值分类问题。我们已经执行了实现,并提供了一个详细的可视化数据的一般推理。训练准确率达到95.6%,验证准确率超过91.74%。
2023-01-30 cs.LG
ML-KFHE: Multi-label ensemble classification algorithm exploiting sensor fusion properties of the Kalman filter
University College Dublin(都柏林大学学院);Insight Centre for Data Analytics(洞察数据分析中心)
本文提出多标签集成分类算法ML-KFHE,利用卡尔曼滤波器的传感器融合特性结合HOMER和Classifier Chain,显著提升了多标签分类的预测性能。
2023-11-18 cs.AI cs.LG stat.ML
The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification
人工神经网络已经成功地应用于各种机器学习任务,包括图像识别、语义分割和机器翻译。然而,很少有研究充分调查的人工神经网络的合奏。在这项工作中,我们研究了多种广泛使用的集成方法,包括未加权平均,多数投票,贝叶斯最优分类器和(离散)超级学习器,用于图像识别任务,深度神经网络作为候选算法。我们设计了几个实验,候选算法是相同的网络结构,不同的模型检查点在一个单一的训练过程中,网络结构相同,但训练多次随机,和网络结构不同。此外,我们进一步研究了神经网络的过度自信现象,以及它对集成方法的影响。在我们所有的实验中,超级学习者在这项研究中的所有集成方法中取得了最好的性能。
2017-04-05 cs.CV cs.LG stat.ME
Ensemble Methods of Classification for Power Systems Security Assessment
Energy Systems Institute Russian Academy of Sciences(俄罗斯科学院能源系统研究所);Queens University Belfast(贝尔法斯特女王大学)
复杂技术系统分析的最有前途的方法之一是采用集成分类方法。包围方法使得能够在系统存在许多可能状态的情况下为特征空间分类建立可靠的决策规则。本文将基于决策树的新技术应用于电力系统状态可靠性评估。我们提出了基于随机森林模型和boosting模型的混合方法。这些技术可以应用于预测可再生能源、存储设备的增加以及智能家用电器、加热器和空调单元以及电动汽车与电网的智能负载的切换的相互作用,以增强决策。集成分类方法进行了测试,修改后的118节点IEEE电力系统表明,所提出的技术可以用来检查电力系统是否是安全的稳态运行条件下。
2016-01-07 cs.AI cs.LG
Visual Integration of Data and Model Space in Ensemble Learning
University of Konstanz(康斯坦茨大学)
分类器模型的集合通常提供卓越的性能,并且在给定数据集和分类任务的情况下可以优于单个分类器模型。然而,性能的提高伴随着可理解性的缺乏,这对理解每个模型如何影响分类输出以及错误来自何处构成了挑战。我们提出了一个紧密的数据和模型空间的可视化集成,用于探索和组合分类器模型。我们引入了一个工作流程,建立在视觉集成,并使分类输出和模型的有效探索。然后,我们提出了一个用例,在该用例中,我们从标准集成选择算法自动选择的集成开始,并展示了我们如何操作模型和替代组合。
2017-10-19 cs.HC cs.LG stat.ML
Ensemble Learning Based Classification Algorithm Recommendation
本文提出一种多视角集成元学习框架,通过不同异构元特征组的组合构建基础推荐模型,并采用准确率和多样性感知的集成策略,实验证明该方法能有效提升分类算法推荐的性能。
2026-06-27 cs.AI cs.IR cs.LG
The Effect of Structural Diversity of an Ensemble of Classifiers on Classification Accuracy
本文旨在展示9个分类器的集成的结构多样性的措施,然后映射这种结构多样性和准确性之间的关系。结构多样性是由具有不同的架构或结构的分类器。遗传算法(GA)被用来推导多样性和分类精度之间的关系,通过进化的分类器,然后挑选出9个分类器的60个分类器的集成。结果发现,随着合奏变得多样化,准确性提高。然而,在一定的多样性措施的准确性开始下降。采用Kobal-Wolpert方差方法来度量集成的多样性。使用投票方法来聚合来自每个分类器的结果。当以0.2024作为最大多样性测量值时,在多样性测量值为0.16时观察到最低误差,均方误差为0.274。改变的参数是:隐藏节点的数量,学习率和激活函数。
2008-04-30 cs.LG
Convolutional Tables Ensemble: classification in microseconds
Microsoft Research(微软研究院)
我们研究分类器在严重的分类时间限制下运行,对应于1-1000 CPU微秒,使用卷积表枚举(CTE),一个固有的快速架构的对象类别识别。该架构是基于卷积应用稀疏特征提取,使用树或蕨类植物,和线性投票层。几个结构和优化变量被认为是,包括新的决策函数,树学习算法,和蒸馏从CNN CTE架构。在标准对象识别基准上证明了比具有类似速度的相关技术提高24-45%的准确度。使用帕累托速度-精度曲线,我们表明CTE可以提供比卷积神经网络(CNN)更好的精度为一定范围的分类时间约束,或者提供类似的出错率与5- 200倍的加速。
2016-02-14 cs.CV cs.LG
An Ensemble Classification Algorithm Based on Information Entropy for Data Streams
School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院);Key Laboratory of Computational Intelligence and Chinese Information Processing, Ministry of Education(计算智能与中文信息处理教育部重点实验室);School of Computer Science and Technology, Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology(大连理工大学电子信息与电气工程学部计算机科学与技术学院)
数据流挖掘问题在机器学习和数据采掘领域引起了广泛的关注。近年来的一些研究中,集成分类被广泛应用于概念漂移检测,但大多数研究都将分类准确率作为判断概念漂移是否发生的标准。信息熵是测量不确定度的一种重要而有效的方法。基于信息熵理论,提出了一种利用信息熵对分类结果进行评价的新算法。它采用集成分类技术,通过集成分类器系统产生的结果的熵来确定每个分类器的权重。当数据流中的概念发生变化时,一次放弃权值低于某个阈值的分类器,以适应新的概念。在实验分析部分,六个数据库和四个提出的算法执行。实验结果表明,该方法不仅能有效地处理概念漂移问题,而且在分类精度和时间性能上都优于对比算法。
2017-08-11 cs.DS cs.LG
CIFAR-10 Image Classification Using Feature Ensembles
Georgia Institute of Technology(佐治亚理工学院)
图像分类需要生成能够检测提供组身份信息的图像模式的特征。本研究的目的是通过利用来自手动和深度学习方法的不同图像特征源的组合,对来自公共CIFAR-10图像数据集的图像进行分类。方向梯度直方图(HOG)和像素强度成功地为分类提供了信息(分别为53%和59%的分类准确率),但仍有很大的改进空间。具有ImageNet训练权重的VGG 16和CIFAR-10优化模型(CIFAR-VGG)进一步改善了图像分类(准确率分别为60%和93.43%)。我们进一步改进了分类,利用迁移学习为VGG 16(TL-VGG)和Inception ResNet v2(TL-Inception)重新建立最佳网络权重,从而显著提高了性能(分别为85%和90.74%),但未能超过CIFAR-VGG。我们假设,如果每个生成的特征集都对分类问题有一些独特的见解,那么结合这些特征将导致更高的分类准确性,超过CIFAR-VGG。在从TL-VGG、TL-Inception、HOG、像素强度和CIFAR-VGG中选择前1000个主成分后,我们实现了94.6%的测试准确度,支持了我们的假设。
2020-02-27 cs.CV cs.LG stat.ML
Ensemble Maximum Entropy Classification and Linear Regression for Author Age Prediction
California Institute of Technology(加州理工学院);Jet Propulsion Laboratory(喷气推进实验室)
互联网的发展在网络上创造了大量的非结构化数据,其中很大一部分是文本。作者侧写的任务是仅仅从文本中基于语言和内容的特征来发现人们的人口统计学特征。描述作者特征的能力在安全和取证以及营销等领域都有应用。我们没有把年龄仅仅看作是一个分类问题,而是把年龄看作是一个回归问题,而是使用了一种集成链方法,结合了分类和回归的力量来学习作者的确切年龄。
2016-10-04 cs.CL cs.LG
Deep Network Ensemble Learning applied to Image Classification using CNN Trees
Institute of Technology, University of Kashmir(克什米尔大学理工学院)
传统的机器学习方法在处理复杂数据时可能无法令人满意地执行。在这种背景下,数据采掘的重要性演变w.r.t.构建高效的知识发现和挖掘框架。包围学习的目标是将数据的融合、建模和挖掘集成到一个统一的模型中。然而,传统的集成学习方法是复杂的,有优化或调整问题。在本文中,我们提出了一种使用多个深度网络的简单,顺序,高效的集成学习方法。集成中使用的深度网络是ResNet 50。该模型的灵感来自二叉决策/分类树。将所提出的方法与基线进行比较,即单分类器方法,即在ImageNet和Natural Images数据集上使用单个多类ResNet 50。我们的方法在ImageNet数据集上的所有实验中都优于基线。代码可在https://github.com/mueedhafiz1982/CNNTreeEnsemble.git上获得
2020-07-23 cs.CV cs.LG cs.NE