Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix（百迪赛）
使用Shapley值的加性特征解释已经变得流行，用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性，但即使是单个机器学习模型也可以生成Shapley值，这远远不是唯一的，理论和实现决策会影响最终的属性。在这里，我们考虑应用Shapley值解释决策树集成，并提出了一种新的方法，Shapley值为基础的特征属性，可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性，同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异，并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
The Inadequacy of Shapley Values for Explainability
University of Toulouse（图卢兹大学）；IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
本文提出了一个严格的论点，说明为什么在可解释人工智能（XAI）中使用Shapley值必然会产生关于特征对预测的相对重要性的可证明的误导性信息。具体地说，本文证明了存在分类器和相关的预测，其中由Shapley值确定的特征的相对重要性将错误地将更多的重要性分配给可证明与预测无关的特征，而将较少的重要性分配给可证明与预测相关的特征。本文还认为，鉴于最近的复杂性结果，存在有效的算法计算严格的功能属性值的情况下，一些限制类的分类器应被视为最好的不太可能。
2023-02-16 cs.AI cs.LG
Shapley value-based approaches to explain the robustness of classifiers in machine learning
University of Campinas（坎皮纳斯大学）；Leeds University Business School（利兹大学商学院）；COMSATS University Islamabad（伊斯兰堡COMSATS大学）
算法不可知论方法的使用是一个新兴的研究领域，用于解释个体特征对预测结果的贡献。虽然重点是解释预测本身，但在解释这些模型的鲁棒性方面做了一些工作，即每个特征如何有助于实现这种鲁棒性。在本文中，我们建议使用Shapley值来解释每个特征对模型鲁棒性的贡献，这些特征可以用受试者工作特征（ROC）曲线和ROC曲线下面积（AUC）来衡量。借助一个说明性的例子，我们展示了解释ROC曲线，并可视化这些曲线的不确定性的建议的想法。对于不平衡数据集，使用精确召回曲线（PRC）被认为是更合适的，因此我们也演示了如何解释PRCs与Shapley值的帮助。鲁棒性的解释可以在许多方面帮助分析人员，例如，它可以通过识别可以被移除以降低计算复杂性的不相关特征来帮助特征选择。它还可以帮助识别对鲁棒性具有关键贡献或负面贡献的特征。
2022-11-03 cs.AI cs.LG
Statistical Analysis of using the Shapley Value for Sensor Anomaly Localization with Accurate Classifiers
Electrical and Computer Engineering Department of Lehigh University（莱斯大学电气与计算机工程系）
本文通过数学定义的二元最优分类器分析Shapley值在传感器异常定位中的性能，证明在独立观测下等价于低复杂度测试，而在相关双变量高斯/拉普拉斯场景下两者存在本质差异，并首次提供理论统计结果。
2026-05-30 cs.LG eess.SP stat.ML
Beyond TreeSHAP: Efficient Computation of Any-Order Shapley Interactions for Tree Ensembles
LMU Munich（慕尼黑大学）；MCML Munich（慕尼黑机器学习中心）；Bielefeld University（比勒费尔德大学）；CITEC（认知交互技术卓越中心）
针对树集成模型黑盒特性及现有TreeSHAP仅支持单特征归因的局限，提出TreeSHAP-IQ方法，依托多项式算术框架通过单次树遍历高效计算任意阶加性Shapley交互作用，并在基准数据集上验证了有效性。
2024-01-22 cs.LG
WindowSHAP: An Efficient Framework for Explaining Time-series Classifiers based on Shapley Values
University of Arizona（亚利桑那大学）；Virginia Tech（弗吉尼亚理工大学）；University of Cincinnati（辛辛那提大学）
提出WindowSHAP框架，通过时间窗口划分和三种算法高效计算Shapley值，解释时间序列分类器，在临床数据上优于基线方法并显著降低计算复杂度。
2023-05-08 cs.AI cs.LG
CS-Shapley: Class-wise Shapley Values for Data Valuation in Classification
University of Virginia（弗吉尼亚大学）；University of Chicago（芝加哥大学）
数据估值，或个人数据贡献的估值，由于其对噪声标签检测等任务的明显功效，机器学习越来越受到关注。特别是，由于理想的公理性质，已经提出了几个Shapley值逼近方法。在这些方法中，价值函数通常被定义为整个开发集上的预测精度。然而，这限制了区分对其自己的类有帮助或有害的训练实例的能力。直观地说，损害自己类的实例可能是嘈杂的或被错误标记的，应该得到比有用实例更低的估值。在这项工作中，我们提出了CS-Shapley，Shapley值与一个新的价值函数，区分训练实例的类内和类外的贡献。我们的理论分析表明，所提出的价值函数是（本质上）唯一的函数，满足两个理想的性质，用于评估数据的分类价值。此外，我们对两个基准评估任务（数据删除和噪声标签检测）和四个分类器的实验证明了CS-Shapley的有效性。最后，我们评估了从一个分类器到其他分类器估计的数据值的“可转移性”，我们的结果表明基于Shapley的数据估值可用于不同模型的应用。
2022-11-13 cs.LG
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
Amsterdam UMC Leiden University（阿姆斯特丹大学医学中心-莱顿大学）；Leiden University（莱顿大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）
提出RuleSHAP框架，结合贝叶斯稀疏回归、改进的树规则生成器和Shapley值，实现非线性与交互效应的检测及个体水平的不确定性量化，应用于流行病学数据发现高胆固醇和血压的影响因素。
2026-06-11 cs.LG stat.ML
Shapley Value-Guided Adaptive Ensemble Learning for Explainable Financial Fraud Detection with U.S. Regulatory Compliance Validation
Westcliff University（韦斯特克莱夫大学）
本文提出Shapley值引导的自适应集成学习方法，通过评估解释质量与稳定性，提升金融欺诈检测的可解释性并满足监管要求。
2026-04-14 cs.AI cs.LG cs.NE
Exact power indices for plurality-voting ensembles
KTH Royal Institute of Technology（瑞典皇家理工学院）；Digital Futures（数字未来机构）；Ericsson BCSS（爱立信BCSS部门）
该研究提出名为ENPOWER的方法，利用合作博弈论的Banzhaf和Shapley幂指数，可分别在线性时间和低次多项式时间精确计算二分类和多分类多数投票集成的归因值，适用于集成剪枝等场景。
2026-10-14 cs.DS cs.GT cs.LG
Analyzing Shapley Additive Explanations to Understand Anomaly Detection Algorithm Behaviors and Their Complementarity
Institut de Recherche en Informatique de Toulouse, Université Toulouse Capitole（图卢兹信息研究所，图卢兹大学）
本文通过Shapley加性解释分析异常检测算法的行为和互补性，探讨了模型解释多样性对构建有效异常检测集成的重要性。
2026-04-23 cs.AI cs.IR cs.LG
Improved Feature Importance Computations for Tree Models: Shapley vs. Banzhaf
University of Warsaw（华沙大学）；IDEAS NCBR；MIM Solutions
Shapley值是用来解释树系综模型预测的主要工具之一。Shapley值的主要替代品是Banzhaf值，但还没有得到同样好的理解。在本文中，我们朝着填补这一空白的一步，提供这些模型的解释方法的实验和理论比较。令人惊讶的是，我们发现Banzhaf值提供了几个优势，沙普利值，同时提供基本相同的解释。我们验证Banzhaf值：（1）具有更直观的解释，（2）允许更有效的算法，以及（3）在数值上更鲁棒。我们提供了这些论文的实验评价。特别是，我们表明，在现实世界的情况下。此外，从理论的角度来看，我们提供了新的和改进的算法计算相同的Shapley值为基础的解释作为Lundberg等人的算法。内特尔2020年]。我们的算法运行在$O(TLD+n)$时间，而以前的算法有$O(TLD^2+n)$运行时间限制。这里，$T$是树的数目，$L$是树中的最大叶子数目，并且$D$表示系综中的树的最大深度。使用Shapley值开发的计算技术，我们提供了一个最佳的$O(TL+n)$时间算法计算Banzhaf值为基础的解释。在我们的实验中，这些算法的运行时间甚至小了一个数量级。
2021-08-09 cs.LG
Ensembles of Random SHAPs
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种基于集合的改进的SHapley加性解释（SHAP）方法，用于黑箱模型的局部解释。修改的目的是简化SHAP，这是计算昂贵的，当有大量的功能。所提出的修改背后的主要思想是近似SHAP的合奏SHAP具有较少数量的功能。根据第一个修改，称为ER-SHAP，从特征集中随机选择多个特征多次，并通过“小”SHAP计算特征的Shapley值。对解释结果进行平均以获得最终Shapley值。根据第二种修改，称为ERW-SHAP，为了多样性的目的，在所解释的实例周围生成几个点，并且将它们的解释结果与取决于点与所解释的实例之间的距离的权重相结合。第三种修改称为ER-SHAP-RF，使用随机森林对实例进行初步解释，并确定应用于ER-SHAP的基于集合的过程中的特征选择的特征概率分布。许多数值实验说明了所提出的修改证明了它们的效率和本地解释的属性。
2021-03-04 cs.LG stat.ML
Prompt Valuation Based on Shapley Values
Zhejiang University（浙江大学）
本文利用Shapley值公平量化提示词贡献，识别有益或有害提示词，并指导数据市场中的估值，实验验证了其有效性。
2024-12-16 cs.CL cs.DB cs.LG
Electricity Consumption Forecasting: An Approach Using Cooperative Ensemble Learning with SHapley Additive exPlanations
Industrial & Systems Engineering Graduate Program (PPGEPS), Federal University of Technology-Parana (UTFPR)（工业与系统工程研究生项目（PPGEPS），联邦技术大学-巴兰（UTFPR））
提出一种名为弱分离器增强器（WSB）的协作集成学习方法，结合LSTM、RF、SVR和XGBoost模型，利用SHAP进行特征选择，遗传算法和粒子群优化超参数，对巴西联邦学院两个校区未来12个月的电力消耗进行预测，取得较低误差。
2026-05-25 cs.LG
Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning
Delft University of Technology（代尔夫特理工大学）
Shapley值通常用于衡量和激励客户参与联邦学习。在本文中，我们通过理论和模拟表明，Shapley值低估了一种常见类型的客户端的贡献：小牛。Mavericks是数据分布和数据量不同的客户端，可以是某些类型数据的唯一所有者。在正确的时刻选择正确的客户端对于联邦学习减少收敛时间和提高准确性非常重要。我们提出了FedEMD，一个自适应的客户端选择策略的基础上Wasserstein距离的本地和全球数据分布。由于FedEMD调整了选择概率，使得当模型受益于稀有类的改进时优选选择Mavericks，因此它始终确保在存在不同类型的Mavericks时的快速收敛。与现有的策略相比，包括基于Shapley值的策略，FedEMD将神经网络分类器的收敛性提高了至少26.9%，用于FedAvg聚合。
2021-06-20 cs.AI cs.CY cs.LG
Interpretable feature subset selection: A Shapley value based approach
IIT Bombay（印度理工学院孟买分校）
对于特征选择和相关问题，我们介绍了分类游戏的概念，一个合作的游戏，与功能作为球员和铰链损失为基础的特征函数和相关的功能的贡献Shapley值为基础的错误分配（SVEA）的总训练错误。我们的主要贡献是（$\star$）表明，对于任何数据集，SVEA值的阈值0识别其标签预测的联合相互作用显着的特征子集，或者跨越数据主要位于的子空间的特征。此外，我们的计划（$\star$）识别贝叶斯分类器不依赖但任何基于代理损失函数的有限样本分类器依赖的特征;这导致了这种分类器的过量$0$ - $1$风险，（$\star$）估计特征的未知真实铰链风险，和（$\star$）通过设计分类对策核心的模拟，将分配的稳定性与负值SVEA联系起来。由于Shapley值的计算昂贵的性质，我们建立在一个已知的基于蒙特卡罗的近似算法，计算特征函数（线性规划），只有在需要的时候。我们通过提供从多个子样本中获得的SVEA值的区间估计来解决特征选择中潜在的样本偏差问题。我们在各种合成和真实数据集上说明了上述所有方面，并表明我们的方案在大多数情况下比现有的递归特征消除技术和ReliefF取得了更好的结果。我们的理论上接地分类游戏定义良好的特征函数提供了可解释性（我们正式的最终任务）和我们的框架的可解释性，包括识别的重要功能。
2021-04-25 cs.LG stat.ML
Generalized Priority-Aware Shapley Value
The Ohio State University（俄亥俄州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出通用优先感知Shapley值（GPASV），用于机器学习中的估值问题，通过轴心性刻画和计算方法，展示了不同优先级平衡对数据估值的实质性影响。
2026-11-09 cs.AI cs.LG
Generalized Integrated Gradients: A practical method for explaining diverse ensembles
ZestFinance, Inc.（ZestFinance公司）
我们引入了广义积分因子（GIG），这是积分因子（IG）的正式扩展（Sundararajan等人，2017）用于将信用归因于预测模型的输入变量的方法。GIG通过解释ML在金融服务等领域的实际应用中产生的更广泛的功能来改进IG。GIG克服了Shapley（1953）和Aumann-Shapley（1974）的局限性，与其他方法相比具有理想的性能。我们证明了GIG是唯一正确的方法，在一个小的合理的公理，为混合型模型或游戏提供解释。我们描述了实施，并提出了几个数据集和系统的模型上的实验结果。
2019-09-06 cs.LG stat.ML
A Classifier-free Ensemble Selection Method based on Data Diversity in Random Subspaces
École de technologie supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）；Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Universidade Federal do Paraná (UFPR)（巴拉那联邦大学）
分类器的包围（EoC）已被证明是有效的，在提高单个分类器的性能，通过组合它们的输出，和最好的EoC从一个池中的分类器的选择所涉及的最重要的属性之一被认为是分类器的多样性。通常，分类器多样性不是随机发生的，而是通过各种集成创建方法系统地生成的。通过使用不同的数据子集来训练分类器，这些方法可以为EoC创建不同的分类器。在这项工作中，我们提出了一个计划来衡量数据的多样性直接从随机子空间，并探讨使用它来选择最佳的数据子集的建设的EoC的可能性。我们的计划是第一个集成选择方法在文献中提出的数据多样性的概念的基础上。与传统框架（集成创建然后选择）相比，其主要优点是它避免了在集成选择之前进行分类器训练的需要。分别采用单遗传算法和多目标遗传算法进行无分类器集成选择。在这两种情况下，基于不同的聚类多样性措施的目标函数的实施和测试。将所提出的无分类器集成选择方法与传统的基于分类器的集成选择方法进行了比较。在UCI机器学习问题和NIST SD 19手写数字上测试了该方法的适用性。
2014-08-13 cs.LG cs.NE
A Dataset-Level Geometric Framework for Ensemble Classifiers
Ulster University（阿尔斯特大学）；Jiangsu University（江苏大学）
包围分类器已经被人工智能和机器学习社区中的许多人研究。多数表决和加权多数表决是集成学习中两种常用的组合方案。然而，对它们的理解充其量是不完整的，有些性质甚至被误解。在本文中，我们提出了一组性质，这两个计划正式下一个层次的几何框架。两个关键因素，每个组件基分类器的性能和每对组件分类器之间的相异度是由相同的度量-欧几里德距离。因此，集成成为一个确定性的问题，一个集成的性能可以直接计算的公式。我们证明了几个定理的兴趣，并解释其影响合奏。特别是，我们比较和对比这两种类型的集成方案的组件分类器的数量的效果。当使用其他指标如准确性时，也进行了实证研究来验证理论结果。我们相信，本文的结果是非常有用的，我们了解这两个组合方案的基本性质和集成分类器的一般原则。这些结果也有助于我们研究集成分类器中的一些问题，如集成性能预测，选择少量的基分类器以获得高效的集成。
2021-06-16 cs.AI cs.LG
Explaining Models by Propagating Shapley Values of Local Components
Paul G. Allen School of CSE（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
在医疗保健中，使用复杂模型（例如，神经网络、不同模型的集合/堆栈）可以影响患者福利。为了使这些复杂的模型可以解释，我们提出了混合模型类型的DeepSHAP，这是一个基于DeepLIFT（一种现有的解释神经网络的方法）的Shapley值逐层传播框架。我们表明，除了能够解释神经网络，这个新的框架自然使属性的堆栈混合模型（例如，神经网络特征提取器到树模型中）以及损失的归因。最后，我们从理论上证明了一种方法，用于获得属性的背景分布（在Shapley值框架下）。
2019-11-27 cs.LG stat.ML
Ensembles of Random Sphere Cover Classifiers
University of East Anglia（东英吉利大学）
我们提出了一个新的基于实例的学习分类器，随机球覆盖（RSC）分类器，并评估替代集成方案。RSC将实例融合到球体中，然后基于到球体的距离而不是到实例的距离进行分类。RSC的随机性使其非常适合用于合奏。我们提出了两个集成方法定制的RSC分类器; $αβ$ RSE，集成的基础上的实例rescue和$α$ RSSE，子空间集成。我们比较了$αβ$ RSE和$α$ RSSE的树为基础的合奏一组UCI数据集，并证明RSC合奏执行显着优于这些合奏中的一些，并没有显着比其他更差。我们通过一个案例研究表明，六个基因表达数据集，$α$ RSSE可以优于其他子空间集成方法的高维数据时，与属性过滤器一起使用。最后，我们进行了一组偏差/方差分解实验，以分析与基础分类器相比的改进来源。
2014-09-17 cs.AI cs.LG stat.ML
Ensemble Classifiers and Their Applications: A Review
Uttara University（乌塔拉大学）；Deakin University（迪肯大学）
包围式分类器是指一组单独的分类器，它们在监督分类问题中的数据集上进行合作训练。在本文中，我们提出了一个文献中常用的集成分类器的审查。一些集成分类器也针对特定的应用开发。本文还提出了一些应用驱动的集成分类器。
2014-04-15 cs.LG
RKHS-SHAP: Shapley Values for Kernel Methods
University of Oxford（牛津大学）；Microsoft Research Cambridge（微软剑桥研究院）
核方法的特征属性通常是启发式的，而不是针对每个预测进行个性化。为了解决这个问题，我们转向Shapley values~（SV）的概念，这是一个联盟博弈理论框架，以前曾被应用于不同的机器学习模型解释任务，如线性模型，树集成和深度网络。通过从功能的角度分析SV，我们提出了\textsc{RKHS-SHAP}，内核机器的属性方法，可以有效地计算\emph{Interventional}和\emph{Observational Shapley values}使用内核平均嵌入的分布。我们从理论上表明，我们的方法是强大的局部扰动-一个关键的，但往往被忽视的一致的模型解释的必要条件。此外，我们提出了\emph{Shapley regulariser}，适用于一个一般的经验风险最小化框架，允许学习，同时控制特定功能的模型的贡献水平。我们证明了Shapley正则化器能够实现对给定特征的协变量移位具有鲁棒性的学习和控制敏感特征的SV的公平学习。
2022-05-26 cs.LG stat.ML
Ensemble of Binary Classifiers Combined Using Recurrent Correlation Associative Memories
University of Campinas（坎皮纳斯大学）
集成方法应该巧妙地将一组基本分类器组合起来，以产生改进的分类器。多数投票是用于在集成方法中组合分类器的方法的示例。在本文中，我们建议使用联想记忆模型来组合分类器。准确地说，我们介绍集成方法的基础上，经常相关联想记忆（RCAMs）的二进制分类问题。我们表明，基于RCAM的集成分类器可以被视为多数投票分类器，其权重取决于基本分类器和所得集成方法之间的相似性。更确切地说，基于RCAM的集成使用循环咨询和投票方案来组合分类器。此外，计算实验证实了基于RCAM的集成方法在二元分类问题中的潜在应用。
2020-09-18 cs.LG stat.ML
Classifier ensemble creation via false labelling
University of Debrecen（德布勒森大学）
本文提出了一种新的分类器集成方法。虽然其他集成创建技术的基础上仔细选择现有的分类器或预处理的数据，所提出的方法自动创建一个最佳的标签的分类器，然后分配给原始的数据实例，并提供给分类器。该方法已在高维生物医学数据集上进行了评估。结果表明，在所有情况下，该方法优于单独的方法。
2016-03-05 cs.LG
Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University（宋卡王子大学）；Khon Kaen University（孔敬大学）
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成，假设好的特征集包含与类高度相关的特征，这可以在分类精度的性能上实现。所提出的方法包括两个阶段：（i）通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及（ii）使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术：（i）基于相关性，（ii）基于一致性，（iii）ReliefF和（iv）信息增益。实验结果表明，将信息增益特征选择和基于相关性的特征选择与SVM集成相结合，比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
Sparsely ensembled convolutional neural network classifiers via reinforcement learning
Pavlov Institute of Physiology RAS（俄罗斯科学院巴甫洛夫生理学研究所）；State University of Aerospace Instrumentation（国立航空航天仪器大学）
我们考虑卷积神经网络（CNN）集成学习的目标函数的启发，最小行动原则，它包括资源消耗组件。我们教一个代理通过一组预先训练的分类器来感知图像，并希望得到的动态配置的系统以最小的操作次数和最大的预期精度展开计算图。建议代理的架构隐式近似所需的分类器选择功能的帮助下，强化学习。我们的实验结果证明，如果代理利用动态（和上下文相关）的计算结构，它优于传统的集成学习。
2021-02-07 cs.AI cs.CV cs.LG
Ensemble Quantile Classifier
Western University（韦仕敦大学）
基于中值的分类器和基于分位数的分类器都可用于区分具有重尾或偏斜输入的高维数据。但这些方法都是有限的，因为它们以非正则化的方式为每个变量分配相等的权重。集成分位数分类器是一种更灵活的正则化分类器，它可以在高维数据、非对称数据或有许多无关的外部输入时提供更好的性能。通过仿真研究以及文本分类的应用，证明了改进的性能。证明了在适当的一般模型假设下，集成分位数分类器的估计参数一致地估计最小种群损失。它还表明，集成分位数分类器是贝叶斯最优的适当假设下，非对称拉普拉斯分布的输入。
2019-10-28 cs.LG stat.ML
Learning to Diversify via Weighted Kernels for Classifier Ensemble
University of Science and Technology Beijing（北京科技大学）；Chinese Academy of Sciences（中国科学院）
分类器集成通常应该结合不同的组件分类器。然而，很难给出多样性度量和集合精度之间的明确联系。在给定一组可用的分类器的情况下，如何自适应地、动态地集成分类器成为了一个很大的挑战。在本文中，我们认为，多样性，而不是直接多样性的样本，但自适应多样性与数据，是高度相关的集成精度，我们提出了一种新的分类器集成技术，学习多样化，学习自适应组合分类器，同时考虑精度和多样性。具体来说，我们的方法，学习多样化通过加权核（L2 DWK），通过优化一个直接但简单的标准进行分类器组合：最大限度地提高集成精度和自适应多样性，同时最小化凸损失函数。给定度量公式，利用加权核计算多样性（即，在被核化和加权的分量分类器的输出上测量多样性），并且自动学习核权重。我们最小化这个损失函数估计的内核权重结合分类器的权重，并提出了一个自我训练算法进行这种凸优化过程迭代。在32个UCI分类基准数据集上进行的大量实验表明，该方法的性能始终优于最先进的集成，如Bagging，AdaBoost，随机森林，Gasen，正则化选择性Entrance和Entrance Pruning via Semi-Definite Programming。
2014-06-04 cs.CV cs.LG
Building an Ensemble of Classifiers via Randomized Models of Ensemble Members
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）
文献中已知许多动态系综选择（DES）方法。一个先前开发的作者，方法包括在建立一个随机分类器，被视为一个模型的基础分类。该模型在一定概率意义上等价于基分类器。然后，将随机化分类器正确分类的概率作为被评估分类器的能力。本文提出了一种新的基分类器随机化模型。在所提出的方法中，模型的随机操作是从固定大小的学习集族中随机选择学习集的结果。本文介绍了这种方法的数学基础，并展示了如何在实际应用中的学习和验证集时，可以确定的措施的能力，并建立一个MC系统的DES计划。DES计划与建议的模型的能力进行了实验评估收集的67个基准数据集，并在8个质量标准与两个集成分类器，使用先前提出的概念的随机模型进行比较。所提出的方法实现了几乎所有的调查质量标准的最低排名。
2021-09-16 cs.LG
Evolving Ensemble Fuzzy Classifier
University of Alberta（阿尔伯塔大学）；King Abdul-Aziz University（阿卜杜勒阿齐兹国王大学）；Systems Research Institute, Polish Academy of Science（波兰科学院系统研究所）；Johannes Kepler University（约翰内斯开普勒大学）；Nanyang Technological University（南洋理工大学）
集成学习的概念为复杂环境下的数据流学习提供了一条很有前途的途径，因为它比单一模型更好地解决了偏差和方差的困境，并且具有可重构的结构，非常适合于给定的上下文。虽然可以在文献中找到用于挖掘非平稳数据流的集成学习的各种扩展，但它们中的大多数都是在静态基础分类器下制作的，并在滑动窗口中重新访问先前的样本以进行再训练步骤。此功能导致计算上的禁止复杂性，并且不足以灵活地应对快速变化的环境。它们的复杂性通常是苛刻的，因为它涉及大量的离线分类器，由于缺乏结构复杂性降低机制和缺乏在线特征选择机制。提出了一种新的进化集成分类器--简约集成分类器。pENclassifier与现有体系结构的不同之处在于，它是建立在来自数据流的进化分类器之上的，称为Parsimonious Classifier pClass。pENCLINICAL配备了集成修剪机制，该机制估计基本分类器的局部化泛化误差。一个动态的在线特征选择方案被集成到pENSIDE中。此方法允许动态选择和取消选择输入要素。pENDIOR采用动态系综结构来输出最终分类决策，其中其特征在于新颖的漂移检测方案来增长系综结构。的pENESTRUCTURE的功效已通过严格的数值研究与动态和不断变化的数据流，它提供了最令人鼓舞的性能，在实现准确性和复杂性之间的权衡数字证明。
2019-12-07 cs.AI cs.LG
Ensemble Validation: Selectivity has a Price, but Variety is Free
Verizon（威瑞森）；Facebook（脸书）
假设从一组假设分类器中选择一些分类器以形成相等加权的集成，该集成为每个输入示例随机选择成员分类器。然后，集成具有由成员分类器的平均误差界组成的误差界，从零（如果选择所有假设分类器）到标准均匀误差界（如果仅选择单个分类器）变化的选择性项，以及小常数。如果为集合选择相同比例的假设分类器，则使用更丰富的假设集不会受到惩罚。
2019-03-28 cs.LG stat.ML
Sparsity-driven weighted ensemble classifier
Jacobs University（雅各布斯大学）；Konya Food and Agriculture University（科尼亚食品农业大学）
在这项研究中，提出了一种新的稀疏驱动的加权集成分类器（SDWEC），提高分类精度和最小化的分类器的数量。使用预先训练的分类器，形成其中基础分类器根据分配的权重进行投票的总体。这些分配的权重直接影响分类器的准确性。在所提出的方法中，集成权重发现问题建模为成本函数与以下条款：（a）的数据保真度项，旨在降低误分类率，（b）稀疏项，旨在减少分类器的数量，和（c）的分类器的权重的非负约束。由于所提出的成本函数是非凸的，因此很难解决，凸松弛技术和新的近似，以获得一个数值有效的解决方案。代价函数的稀疏项允许在需要时在精度和测试时间之间进行权衡。在11个数据集上测试了SDWEC的效率，并与最先进的分类器集成方法进行了比较。结果表明，SDWEC提供了更好的或类似的精度水平，使用更少的分类器，并减少了测试时间的集成。
2019-06-21 cs.LG stat.ML
A new interval-based aggregation approach based on bagging and Interval Agreement Approach (IAA) in ensemble learning
集成学习的主要目的是使用多个单独的分类器输出而不是一个分类器输出来聚合它们以获得更准确的分类。生成集成分类器一般由三个步骤组成：选择基分类器，应用采样策略以生成不同的个体分类器和聚合分类器输出。针对分类器输出集结步骤，提出了一种新的基于区间的集结建模方法，该方法采用了集成学习中的装袋响应方法和区间一致性方法。IAA是一种有趣而实用的决策集成方法，它被引入到决策者的意见时，他们提出的意见，间隔。在本文中，除了在集成学习中实现一种新的聚合方法外，我们还设计了一些实验来鼓励研究人员在集成学习中使用区间建模，因为它保留了更多的不确定性，这会导致更准确的分类。为了这个目的，我们比较了实施所提出的方法的结果，以多数投票作为最常见和成功的聚合函数在文献中的10个医疗数据集，以显示更好的性能的区间建模和建议的基于区间的聚合函数在二进制分类时，它涉及到集成学习。结果证实了我们所提出的方法的良好性能。
2020-12-15 cs.AI cs.LG
On Locality of Local Explanation Models
University of Oxford（牛津大学）；The London School of Hygiene & Tropical Medicine（伦敦卫生与热带医学院）；The Alan Turing Institute（艾伦·图灵研究所）
Shapley值通过模拟全局人口分布下的特征缺失，为特定实例的模型结果提供模型不可知的特征属性。当关注局部模型行为时，使用全局总体可能导致潜在的误导性结果。因此，我们考虑制定邻里参考分布，提高当地的可解释性Shapley值。通过这样做，我们发现Nadaraya-Watson估计，一个研究得很好的核回归，可以表示为一个自归一化的重要性采样估计。从经验上讲，我们观察到，邻域Shapley值识别有意义的稀疏特征相关性属性，提供对局部模型行为的洞察，补充传统的Shapley分析。它们还增加了流形上的可解释性和对抗分类器构建的鲁棒性。
2021-06-24 cs.LG stat.CO stat.ME
Data Debugging with Shapley Importance over End-to-End Machine Learning Pipelines
ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Amsterdam（阿姆斯特丹大学）
开发现代机器学习（ML）应用程序是以数据为中心的，其中一个基本挑战是了解数据质量对ML训练的影响-“哪些训练样本在使训练的ML模型预测不准确或不公平方面是”有罪的“？在过去的十年中，为ML训练建模数据影响引起了人们的广泛兴趣，一个流行的框架是计算每个训练样本的Shapley值，例如训练ML模型的验证准确性和公平性。不幸的是，尽管最近有大量的兴趣和研究，但现有的方法只考虑“孤立”的单个ML模型，而不考虑由数据转换，特征提取器和ML训练组成的端到端ML管道。我们提出了DataScope（ease.ml/tagcope），第一个系统，有效地计算Shapley值的训练样本在一个端到端的ML管道，并说明其在数据调试ML训练的应用。为此，我们首先开发了一个新的算法框架，该框架在我们称为规范管道的特定ML管道家族上计算Shapley值：一个正关系代数查询，然后是一个K-最近邻（KNN）分类器。我们表明，对于许多子族的规范管道，计算Shapley值是在PTIME，对比计算Shapley值的指数复杂性一般。然后我们将其付诸实践-给定一个sklearn管道，我们用一个规范管道来近似它，用作代理。我们进行了大量的实验，说明不同的用例和实用程序。我们的研究结果表明，DataScope比最先进的基于蒙特卡罗的方法快四个数量级，同时在数据调试中更有效。
2022-04-26 cs.AI cs.DB cs.LG
Anomaly Detection using Ensemble Classification and Evidence Theory
Ruhr-Universität Bochum（鲁尔大学波鸿分校）；South Westphalia University of Applied Sciences（南威斯特法伦应用技术大学）
本文提出结合集成分类、证据理论与不确定性量化的异常检测方法，通过分类器池选择和多类集成架构提升未知条件识别能力，并在 Tennessee Eastman 基准上验证。
2022-12-23 cs.LG
The Effect of Structural Diversity of an Ensemble of Classifiers on Classification Accuracy
本文旨在展示9个分类器的集成的结构多样性的措施，然后映射这种结构多样性和准确性之间的关系。结构多样性是由具有不同的架构或结构的分类器。遗传算法（GA）被用来推导多样性和分类精度之间的关系，通过进化的分类器，然后挑选出9个分类器的60个分类器的集成。结果发现，随着合奏变得多样化，准确性提高。然而，在一定的多样性措施的准确性开始下降。采用Kobal-Wolpert方差方法来度量集成的多样性。使用投票方法来聚合来自每个分类器的结果。当以0.2024作为最大多样性测量值时，在多样性测量值为0.16时观察到最低误差，均方误差为0.274。改变的参数是：隐藏节点的数量，学习率和激活函数。
2008-04-30 cs.LG
Quantum ensembles of quantum classifiers
National Institute for Theoretical Physics（国家理论物理研究所）
量子机器学习见证了越来越多的量子算法用于数据驱动的决策，这是一个潜在应用的问题，从自动图像识别到医疗诊断。这些算法中的许多都是量子分类器的实现，或者是用量子计算机对数据输入进行分类的模型。基于经典机器学习中集合决策的成功，本文引入了量子分类器的量子集合的概念。创建系综对应于状态准备例程，之后并行评估量子分类器，并通过单量子比特测量访问它们的组合决策。这个框架自然允许指数级的大集合，其中-类似于贝叶斯学习-单个分类器不必进行训练。作为一个例子，我们分析了一个指数级大的量子系综，其中每个分类器根据其在分类训练数据时的性能进行加权，从而为量子和经典机器学习带来新的结果。
2017-04-07 cs.LG math.ST quant-ph
On Effectively Predicting Autism Spectrum Disorder Using an Ensemble of Classifiers
Tshwane University of Technology（茨瓦内理工大学）；Waterford Institute of Technology（沃特福德理工学院）
分类器的集合将几个单个分类器组合在一起，以提供最终的预测或分类决策。一个越来越令人激动的问题是，这样的系统是否能胜过单一的最佳分类器。如果是这样的话，什么形式的分类器集成（也称为多分类器学习系统或多分类器）在集成本身的大小或多样性方面产生最显着的好处？鉴于用于检测自闭症特征的测试耗时且成本高昂，开发一种能够提供自闭症谱系障碍（ASD）最佳结果和测量的系统从来都不是关键。在本文中，几个单一的和后来的多个分类器学习系统的能力进行评估，以预测和识别因素的影响或有助于ASD的早期筛查的目的。这项任务使用了从61名儿童记录的3，000次会议和300小时的行为数据和机器人增强治疗的数据集。仿真结果表明，与单个分类器相比，多分类器学习系统（特别是每个集成有三个分类器的系统）具有更好的预测性能，Bagging和Boosting取得了优异的效果。此外，社交手势似乎仍然是导致儿童ASD问题的关键因素。
2022-09-02 cs.LG eess.IV stat.CO
Specialists Outperform Generalists in Ensemble Classification
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
考虑准确度已知的$k$个体分类器的集合。在接收到测试点时，每个分类器输出预测的标签和对该特定测试点的预测的置信度。在本文中，我们解决的问题，我们是否可以确定的合奏的准确性。令人惊讶的是，即使当分类器组合在统计上最佳的方式在这种设置中，所得到的集成分类器的准确性不能计算从个人分类器的准确性，因为将是在标准设置的置信加权多数表决的情况下。我们证明紧的集合精度的上限和下限。我们显式地构造达到上界和下界的个体分类器：专家和通才。我们的理论结果有非常实际的后果：（1）如果我们使用集成方法，并可以选择从头开始构建我们的个人（独立）分类器，那么我们应该瞄准专家分类器，而不是通才。(2)我们的边界可以用来确定至少需要多少分类器来实现所需的集成精度。最后，我们通过考虑真实标签和个体分类器输出之间的互信息来改进我们的边界。
2021-07-09 cs.LG stat.ML
GOOWE: Geometrically Optimum and Online-Weighted Ensemble Classifier for Evolving Data Streams
Bilkent University（比尔肯特大学）
由于数据的大小及其动态变化的性质，为不断变化的数据流设计自适应分类器是一项具有挑战性的任务。在在线设置中组合各个分类器，即集成方法，是一种众所周知的解决方案。有可能的是，在合奏分类器的子集优于其他在随时间变化的方式。然而，组件分类器的最佳权重分配是一个问题，尚未完全解决在线不断发展的环境。我们提出了一种新的数据流集成分类器，称为几何最优和在线加权Ensemble（GOOWE），它使用包含最近的数据实例的滑动窗口分配最佳权重的组件分类器。我们将单个分类器的投票分数和真实的类标签映射到空间环境中。基于投票分数与理想点之间的欧氏距离，并使用线性最小二乘（LSQ）解决方案，我们提出了一种新的，动态的，在线加权方法。虽然LSQ用于批处理模式集成分类器，但这是我们第一次通过提供在线集成的空间建模来适应并将其用于在线环境。为了显示所提出的算法的鲁棒性，我们使用真实世界的数据集和合成数据生成器使用MOA库。首先，我们通过两种情况分析我们的加权系统对预测精度的影响。其次，我们比较GOOWE与8个国家的最先进的集成分类器在一个全面的实验环境。我们的实验表明，GOOWE提供了改进的反应不同类型的概念漂移相比，我们的基线。统计测试表明，在保守的时间和内存要求的准确性显着提高。
2017-09-08 cs.LG
Ensemble Performance Through the Lens of Linear Independence of Classifier Votes in Data Streams
Department of Computer Engineering, Bilkent University（计算机工程系，比尔肯特大学）
本文通过分析数据流中分类器投票的线性独立性，提出理论框架以优化集成大小与性能的平衡，验证了在不同集成方法下的效果。
2025-11-26 cs.LG
Decentralized learning with budgeted network load using Gaussian copulas and classifier ensembles
Univ. Lille, CNRS, Centrale Lille, UMR 9189 - CRIStAL - Centre de Recherche en Informatique Signal et Automatique de Lille（里尔大学、法国国家科学研究中心、里尔中央理工学院、UMR 9189 - CRIStAL - 里尔信息学信号与自动化研究中心）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们研究了一个学习者网络，这些学习者处理相同的分类任务，但必须从不同的数据集学习。学习者不能共享数据，而是共享他们的模型。模型只共享一次，以保持网络负载。我们介绍DELCO（Decentralized Ensemble Learning with COpulas），这是一种新方法，可以聚合每个学习者训练的分类器的预测。所提出的方法聚合的基础分类器使用的概率模型依赖于高斯copula。逻辑回归集成的实验证明竞争的准确性和增加的鲁棒性的情况下，依赖分类器。可以从https://github.com/john-klein/DELCO下载配套的python实现
2019-07-15 cs.AI cs.DC cs.LG
Leveraging Linear Independence of Component Classifiers: Optimizing Size and Prediction Accuracy for Online Ensembles
Bilkent University（比尔肯特大学）
该研究从分类器投票线性独立性视角分析集成规模与精度的关系，推导定理并提出最小组合规模确定方法，实验验证了精度提升趋势与收益递减点，为高效集成构建提供理论指导。
2023-08-27 cs.LG
Ensemble RL through Classifier Models: Enhancing Risk-Return Trade-offs in Trading Strategies
本文研究了在金融交易策略中使用集成强化学习模型的全面研究，利用分类器模型来提升性能。通过将A2C、PPO和SAC等强化学习算法与传统分类器如支持向量机（SVM）、决策树和逻辑回归相结合，探讨不同分类器组如何整合以改善风险回报权衡。研究评估了各种集成方法的有效性，将其与单个强化学习模型在关键金融指标（包括累计回报率、夏普比率（SR）、卡勒姆比率和最大回撤（MDD））上进行比较。结果表明，集成方法在风险调整后的回报方面始终优于基础模型，提供了更好的回撤管理和整体稳定性。然而，我们发现集成性能对方差阈值τ的选择敏感，强调了动态调整τ以达到最佳性能的重要性。本研究强调了将强化学习与分类器结合在自适应决策中的价值，对金融交易、机器人和其他动态环境具有启示。
2026-06-17 cs.AI cs.LG q-fin.CP
Robustness Verification for Classifier Ensembles
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；University of Antwerp（安特卫普大学）；TNO（荷兰应用科学研究组织）；Leiden University（莱顿大学）
我们给出了一个形式化验证过程，以决定分类器集成是否对任意随机攻击具有鲁棒性。这种攻击由一组确定性攻击和在这组上的分布组成。鲁棒性检查问题包括评估，给定一组分类器和一个标记的数据集，是否存在一个随机攻击，导致一定的预期损失对所有分类器。我们显示的NP-硬度的问题，并提供了一个上限的攻击，足以形成一个最佳的随机攻击的数量。这些结果提供了一种有效的方法来推理分类器集成的鲁棒性。我们提供SMT和MILP编码来计算最优的随机攻击或证明没有攻击引起一定的预期损失。在后一种情况下，分类器集成可证明是鲁棒的。我们的原型实现验证了为图像分类任务训练的多个神经网络集成。使用MILP编码的实验结果是有前途的可扩展性和我们的验证过程的一般适用性。
2020-07-09 cs.LG stat.ML
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ShapShift方法，通过可解释子组的条件Shapley值解释模型预测变化，适用于决策树和集成模型，提供简单且可信的解释，帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
Relearning ensemble selection based on new generated features
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
集成方法是结合几种基本机器学习技术以提高分类有效性的元算法。许多现有的分类器委员会使用分类器选择过程来确定基础分类器的最佳集合。在这篇文章中，我们提出了分类器选择框架与再学习基分类器。此外，我们在建议的框架中使用新生成的功能，这可以在重新学习过程后获得。所提出的技术进行了比较与国家的最先进的集成方法使用三个基准数据集和一个合成数据集。四个分类性能指标被用来评估所提出的方法。
2021-06-12 cs.LG
EILearn: Learning Incrementally Using Previous Knowledge Obtained From an Ensemble of Classifiers
IIT (BHU)（印度理工学院（瓦拉纳西））；IIITDM Jabalpur（贾巴尔普尔设计与制造印度理工学院）
我们提出了一个算法的增量学习分类。所提出的方法使一个集成的分类器，以学习增量容纳新的训练数据。我们使用一个有效的机制来克服稳定性和可塑性的困境。在增量学习中，一般的惯例是只使用在前一阶段获得的知识，而不是以前看到的数据。我们遵循这一惯例，保留先前获得的相关知识，并将其与当前数据一起使用。监测每个分类器的性能，以在后续阶段中消除表现不佳的分类器。实验结果表明，该方法优于现有的增量学习方法。
2019-02-08 cs.LG stat.ML
An empirical investigation of different classifiers, encoding and ensemble schemes for next event prediction using business process event logs
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）
越来越需要经验基准，以支持研究人员和从业人员为给定的预测任务选择最佳的机器学习技术。在本文中，我们认为下一个事件预测任务的业务流程预测监测和我们以前发表的基准研究不同的编码窗口和使用合奏方案的性能的影响。选择是否使用集合以及使用哪种方案通常取决于数据和分类任务的类型。虽然有一个普遍的理解，即集成在业务流程的预测性监控中表现良好，但下一个事件预测是一项没有其他涉及集成的基准的任务。建议的基准帮助研究人员选择一个高性能的个人分类器或集成方案的变化情况下，考虑事件日志的水平。实验结果表明，选择一个最佳数量的事件特征编码是具有挑战性的，导致需要考虑每个事件日志单独选择一个最佳值时。在这项任务中，集成方案提高了低性能分类器（如SVM）的性能，而高性能分类器（如基于树的分类器）在考虑集成方案时并不更好。
2020-08-24 cs.LG
Classifying the Unstructured IT Service Desk Tickets Using Ensemble of Classifiers
U.B.D.T College of Engineering（U.B.D.T工程学院）
本文研究利用Bagging、Boosting和Voting三种集成学习方法对非结构化IT服务台工单进行自动分类，并在真实企业数据上验证其相比单一基分类器能提升分类准确率、加快工单解决效率。
2021-03-30 cs.LG
