DexDeepFM: Ensemble Diversity Enhanced Extreme Deep Factorization Machine Model
Zhejiang University（浙江大学）
预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的一项关键任务。为了从原始数据中识别预测特征，最先进的极深因子分解机器模型（xDeepFM）引入了一个新的交互网络，以显式地利用矢量级别的特征交互。然而，由于交互网络中的每个隐藏层都是特征图的集合，因此它本质上可以被视为不同特征图的集合。在这种情况下，仅使用单个目标来最小化预测损失可能导致过拟合并产生相关误差。本文提出了一种集成多样性增强的极深因子分解机器模型（DexDeepFM），该模型在每个隐层设计集成多样性度量，在目标函数中同时考虑集成多样性和预测精度。此外，引入注意力机制来区分不同特征交互顺序的集合多样性度量的重要性。在三个公开的真实世界数据集上进行了广泛的实验，以显示所提出的模型的有效性。
2021-12-10 cs.LG
Land Cover Mapping Using Ensemble Feature Selection Methods
包围分类是一种新兴的土地覆盖制图方法，其最终分类输出是分类器共识的结果。直观地说，集成系统应该由不同的基本分类器组成，即其决策边界错误不同的分类器。在本文中，集成特征选择是用来施加在集成的多样性。每个集成的成分基分类器的功能创建通过一个穷举搜索算法，使用不同的可分性指数。对于每个合奏，分类精度以及衍生的多样性措施，旨在给一个措施的inensemble多样性。集成分类精度和多样性措施之间的相关性被确定为建立两个变量之间的相互作用。从本文件的调查结果来看，目前制定的多样性措施并没有提供一种充分的手段，据以构成土地覆盖物制图的集合。
2008-11-13 cs.LG
Efficient Diversity-Driven Ensemble for Deep Neural Networks
Center for Data Science, Peking University（北京大学数据科学中心）；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用技术国家工程实验室）；Key Laboratory of High Confidence Software Technologies (MOE), Peking University（北京大学高可信软件技术教育部重点实验室）；ETH Zurich（苏黎世联邦理工学院）；School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）
理论和经验都表明，深度神经网络的集成可以提高看不见的测试集的泛化精度。然而，高训练成本阻碍了其效率，因为我们需要足够数量的基础模型，并且集成中的每个模型都必须单独训练。针对这一问题，人们提出了许多方法，其中大多数方法都是基于预训练网络可以将其知识转移到下一个基础模型，从而加速训练过程的特点。然而，这些方法都存在一个严重的问题，即它们都是在没有选择的情况下传递知识，从而导致低多样性。由于集成学习的效果更明显，如果集成成员是准确的和多样的，我们提出了一种名为有效的多样性驱动的集成（EDDE）的方法来解决集成的多样性和效率。为了加快训练过程，我们提出了一种新的知识转移方法，可以选择性地转移以前的通用知识。为了提高多样性，我们首先提出了一种新的多样性度量，然后使用它来定义一个多样性驱动的损失函数进行优化。最后，我们采用了一个基于Boosting的框架来结合上述操作，这样的方法也可以进一步提高多样性。我们在计算机视觉（CV）和自然语言处理（NLP）任务上评估EDDE。与其他集成方法相比，EDDE能以最小的训练代价获得最高的集成精度，在神经网络的集成中是有效的。
2021-12-26 cs.LG
DivBO: Diversity-aware CASH for Ensemble Learning
Peking University（北京大学）；Tencent Inc.（腾讯公司）；ZTE Corporation（中兴通讯股份有限公司）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学（青岛）计算社会科学研究院）
算法选择与超参数优化（CASH）问题是自动机器学习（AutoML）的基本问题之一。受集成学习成功的启发，最近的AutoML系统构建了事后集成来输出最终的预测，而不是使用最好的单个学习器。然而，虽然大多数CASH方法专注于搜索具有最佳性能的单个学习器，但它们忽略了基础学习器之间的多样性（即，它们可能建议与先前评估的配置类似的配置），这也是构建系综时的关键考虑因素。为了解决这个问题，并进一步提高集成性能，我们提出了DivBO，一个多样性意识的框架，注入明确的多样性搜索到CASH问题。在这个框架中，我们提出了一个多样性代理来预测两个看不见的配置的成对多样性。此外，我们引入了一个临时池和一个加权的收购功能，以指导搜索性能和多样性的基础上贝叶斯优化。在15个公共数据集上的实证结果表明，DivBO在10种比较方法中，在验证和测试误差方面都达到了最佳平均排名（1.82和1.73），包括最近AutoML系统中的事后设计和CASH问题集成学习的最新基线。
2023-02-07 cs.LG
Developing parsimonious ensembles using predictor diversity within a reinforcement learning framework
可以聚合不受限制的数量和种类的基本预测器的异构集成可以有效地解决具有挑战性的预测问题。特别是，精确的合奏也是吝啬的，即，由尽可能少的基本预测因子组成，可以帮助揭示有关目标问题域的潜在有用知识。虽然集成选择提供了一个潜在的方法来实现这些目标，目前可用的算法是有限的，在他们的能力。在本文中，我们提出了几种算法，将集成多样性到一个强化学习（RL）为基础的集成选择框架，以建立准确和简约的合奏。这些算法，以及几个基线，严格评估的数据集从不同的领域在预测性能和简约的合奏。这一评估表明，我们的多样性纳入RL为基础的算法比其他更好地构建同时准确和简约的合奏。这些算法最终可以帮助解释或逆向工程的预测模型同化成有效的合奏。为了实现这样的转换，这些算法的实现以及它们被评估的实验设置已经在https://github.com/GauravPandeyLab/lens-learning-ensembles-using-reinforcement-learning上提供。
2021-02-25 cs.LG
Diversity regularization in deep ensembles
Computer Vision and Systems Laboratory / REPARTI and Big Data Research Centre（计算机视觉与系统实验室/REPARTI与大数据研究中心）；Université Laval（拉瓦尔大学）
校准监督学习模型的置信度对于预测的确定性应该是可靠的各种上下文是重要的。然而，据报道，深度神经网络模型通常校准得太差，无法实现在其预测中需要可靠的不确定性估计的复杂任务。在这项工作中，我们提出了一种使用多样性函数正则化训练深度集合的策略，该策略在保持相似预测精度的同时提高了校准性能。
2018-02-22 cs.LG
Breaking Diversity Collapse in Spiking Pseudo-Ensembles for Efficient OOD Detection in Remote Sensing
该研究针对遥感系统的OOD检测难题，提出带“同意-不同意”目标的脉冲伪集成方法，破解多样性崩溃问题，以低部署成本实现了优于深度集成的检测性能。
2026-08-04 cs.LG
Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness
Georgia Institute of Technology（佐治亚理工学院）
包围学习是一种集成多个DNN学习器以提高单个学习器的预测性能的方法。当集合预测的误差更均匀地分布时，多样性更大。更大的多样性与集合精度的增加高度相关。多样性优化集成学习的另一个有吸引力的特性是它对欺骗的鲁棒性：对抗性扰动攻击可以误导一个DNN模型进行错误分类，但可能无法始终如一地欺骗其他集成DNN成员。在本文中，我们首先概述了集成多样性的概念，并在DNN分类器的背景下研究了三种类型的集成多样性。然后，我们描述了一组集成多样性措施，一套算法，用于创建多样性集成和执行集成共识（投票或学习），通过战略性地结合各个成员的输出生成高精度集成输出。本文最后讨论了一组公开的问题，在量化集成多样性的鲁棒深度学习。
2019-08-29 cs.LG stat.ML
ESDF: Ensemble Selection using Diversity and Frequency
最近，一致性聚类的集成选择已经成为机器智能领域的一个研究问题。通常，共识聚类算法会考虑整个聚类集合，其中存在在计算其共识之前生成非常大的集合的趋势。人们可以避免考虑整个集合，并且可以明智地选择集合中的几个分区，而不会损害共识的质量。这可以导致有效的一致性计算技术，并且可以节省不必要的计算开销。集成选择问题解决了这个问题的共识聚类。在本文中，我们提出了一个有效的方法，集成选择一个大的合奏。我们根据多样性和频率对集合中的分区进行优先级排序。我们的方法按照优先级顺序选择前K个分区，其中K由用户决定。我们观察到，共同考虑的多样性和频率有助于确定少数代表性的分区，其共识是质量上优于整个合奏的共识。在大量数据集上的实验分析表明，该方法比以往的集成选择方法有更好的效果。
2015-08-18 cs.LG
Transfer learning for ensembles: reducing computation time and keeping the diversity
MIPT（莫斯科物理技术学院）；IITP（信息传输问题研究所）；Skoltech（斯科尔科沃科学技术研究院）
将在一个问题上训练的深度神经网络转移到另一个问题上只需要少量的数据和很少的额外计算时间。同样的行为适用于通常优于单个模型的深度学习模型的集合。然而，深度神经网络集成的转移需要相对高的计算开销。过拟合的可能性也会增加。我们的集成迁移学习方法包括两个步骤：（a）通过单个移位向量移动集成中所有模型的编码器权重，以及（b）之后对每个单独的模型进行微调。这种策略加快了训练过程的速度，并提供了一个机会，可以使用移位向量将模型添加到集合中，大大减少了训练时间。我们比较不同的策略的计算时间，合奏的准确性，不确定性估计和分歧，并得出结论，我们的方法相比，使用相同的计算复杂度，传统的方法提供了有竞争力的结果。此外，我们的方法保持集成的模型的多样性更高。
2022-06-27 cs.LG
When does Diversity Help Generalization in Classification Ensembles?
University of Science and Technology of China (USTC)（中国科学技术大学）
集成作为机器学习社区中广泛使用的有效技术，在一个关键因素--“多样性”中取得了成功。“不幸的是，多样性和泛化之间的关系尚未完全理解，仍然是一个开放的研究问题。为了揭示多样性对分类集成泛化的影响，我们研究了关于多样性的三个问题，即，多样性的测量、所提出的多样性和泛化误差之间的关系，以及利用该关系进行集成修剪。在多样性度量中，受回归集成的启发，我们采用误差分解的方法来度量多样性，将分类集成的误差分解为准确度和多样性。然后通过容限和泛化定理建立了测量分集与集成性能之间的关系，发现只有在少数特定范围内增加测量分集才能有效地降低泛化误差，而在其他范围内，较大的分集不利于提高集成的泛化性能。此外，我们提出了两种基于多样性管理的剪枝方法，利用这种关系，这可以适当地增加多样性，并在不降低性能的情况下缩小集成的大小。实验结果验证了多样性与集成泛化误差之间关系的合理性和所提剪枝方法的有效性。
2021-01-19 cs.LG stat.ML
Self-Error Adjustment: Theory and Practice of Balancing Individual Performance and Diversity in Ensemble Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
提出自误差调整（SEA）框架，将集成误差分解为个体性能与多样性项，通过可调参数精确控制权衡，理论界限更紧，实验全面优于基线。
2025-08-07 cs.LG
The Curse of Diversity in Ensemble-Based Exploration
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
本文发现深度强化学习中多样化数据共享集成会因自生成数据比例低和离策略学习低效而损害个体性能，提出CERL通过跨集成表示学习缓解该“多样性诅咒”。
2024-05-07 cs.LG
Surrogate assisted diversity estimation in neural ensemble search
本文针对神经集成搜索（NES）计算成本高的问题，提出双目标代理引导的集成搜索方法，在多个数据集上取得优于或相当于基线的性能。
2026-07-30 cs.LG
Structured Basis Function Networks: Loss-Centric Multi-Hypothesis Ensembles with Controllable Diversity
University of Reading, Department of Computer Science, Whiteknights House, Reading, RG6 6UR, United Kingdom（阅读大学计算机科学系）
该研究提出结构化基函数网络，通过Bregman散度诱导的质心聚合关联多假设预测与集成学习，支持可调多样性机制以控制偏差-方差-多样性权衡，经实验验证了相关关系并探究了复杂度-容量-多样性权衡。
2025-09-02 cs.LG
Promoting Ensemble Diversity with Interactive Bayesian Distributional Robustness for Fine-tuning Foundation Models
Qualcomm AI Research, Qualcomm Vietnam Company Limited（高通人工智能研究, 高通越南公司）；National University of Singapore, Singapore（新加坡国立大学）；Monash University, Australia（墨尔本大学）
提出IBDR贝叶斯推理框架，通过建模粒子交互并采用对偶优化提升分布鲁棒性与粒子多样性，在VTAB-1K和语言推理任务上优于多种基线。
2025-06-08 cs.LG
Diversity of Ensembles for Data Stream Classification
University of Passau（帕绍大学）
在构造分类器集成时，基分类器之间的多样性是重要特征之一。已经在标准静态数据的背景下进行了一些研究，特别是在分析高集合预测性能与其组成部分的多样性之间的关系时。此外，学习机的集成已经执行的概念漂移的存在下学习，并适应它。然而，多样性措施没有得到太多的研究兴趣，在不断发展的数据流。只有少数研究者直接考虑促进多样性，同时构建一个合奏或重建他们在检测漂移的时刻。在本文中，我们提出了一个不同的多样性措施的理论分析，并将它们与流数据的集成学习算法的成功。分析提供了一个更深入的理解的概念的多样性和在线集成学习的概念漂移的存在下，它的影响。更确切地说，我们有兴趣回答以下研究问题;哪些常用的多样性措施中使用的静态数据集成的背景下，他们在多大程度上适用于流数据集成的背景下？
2019-02-22 cs.LG stat.ML
Ensemble Defense with Data Diversity: Weak Correlation Implies Strong Robustness
ISCAS（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；École normale supérieure de Rennes（雷恩高等师范学校）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）；East China Normal University（华东师范大学）；Nanjing Institute of Software Technology, ISCAS（中国科学院软件研究所南京软件技术研究院）；Guangdong Artificial Intelligence and Digital Economy Laboratory（广东人工智能与数字经济实验室）
在本文中，我们提出了一个基于过滤器的深度神经网络（DNN）集成框架，以抵御对抗攻击。该框架构建了一个子模型的集合-具有差异化预处理过滤器的DNN。从DNN鲁棒性的理论角度来看，我们认为，在高质量的过滤器的假设下，过滤器的灵敏度的相关性越弱，集成模型往往越强大，这是由基于传输的攻击的实验所证实的。相应地，我们提出了一个原则，选择具有较小Pearson相关系数的特定滤波器，这确保了DNN接收到的输入的多样性，以及整个框架对攻击的有效性。我们的集成模型比以前的防御方法，如对抗训练，甚至竞争对手的经典集成的对抗训练DNN在对抗攻击的攻击半径是大的。
2021-06-05 cs.LG
Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification
Dalhousie University（达尔豪斯大学）
研究针对最后一层集成在函数空间多样性方面的问题，提出协方差最后一层集成方法，直接对成员激活施加协方差惩罚，恢复函数空间多样性，以低成本恢复深度集成的多样性和校准，还改进了OC分数，提升检测性能。
2026-07-29 cs.LG
Improving robustness and calibration in ensembles with diversity regularization
Technische Universität Darmstadt（达姆施塔特工业大学）
校准和不确定性估计是高风险环境中的关键问题。我们引入了一个新的多样性正则化分类任务，使用分布外的样本，并增加了整体的准确性，校准和分布外检测的合奏能力。继最近的兴趣在合奏的多样性，我们系统地评估显式正则化合奏多样性的可行性，以提高校准的分布数据，以及根据数据集转移。我们证明了多样性正则化在架构中是非常有益的，其中权重在各个成员之间部分共享，甚至允许使用更少的集成成员来达到相同的鲁棒性水平。在CIFAR-10、CIFAR-100和SVHN上的实验表明，正则化多样性可以对校准和鲁棒性以及分布外检测产生显著影响。
2022-01-26 cs.AI cs.LG
Is BatchEnsemble a Single Model? On Calibration and Diversity of Efficient Ensembles
TU Wien（维也纳技术大学）
本文研究了BatchEnsemble是否为单个模型，发现其在性能和校准上接近单个模型，且成员在功能和参数空间上高度相似，表明其更像单个模型而非真正的增强。
2026-10-28 cs.LG
Divergent Ensemble Networks: Enhancing Uncertainty Estimation with Shared Representations and Independent Branching
Indian Institute of Technology, Ropar（印度理工学院罗帕尔分校）
针对传统集成方法参数冗余和计算低效问题，提出Divergent Ensemble Network（DEN）架构，通过共享输入层与独立分支结合，在保持集成多样性的同时减少冗余，实现高效可扩展的不确定性估计。
2024-12-20 cs.LG
Developing parsimonious ensembles using ensemble diversity within a reinforcement learning framework
University of West Georgia（西佐治亚大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
从各种各样和大量不同的基础预测因子的预测中构建的异质系综代表了一种有效的方法，用于为理想的基础/个体预测因子可能不明显的问题构建预测模型。包围选择在这里是一种特别有前途的方法，不仅用于提高预测性能，而且还因为它能够选择一个共同的预测子集，通常是一个相对较小的基本预测因子。在本文中，我们提出了一套算法，明确地将集成多样性，一个已知的因素影响预测性能的合奏，到一个强化学习框架集成选择。我们在几个具有挑战性的问题和相关的数据集上严格测试了这些方法，结果表明，其中几个方法产生的总体结果比那些没有明确考虑多样性的方法更准确。更重要的是，这些融合多样性的合奏团的规模要小得多，即，比后一种合奏更吝啬。这最终可以帮助解释或逆向工程的预测模型同化到所得到的合奏。
2021-02-25 cs.LG stat.ML
Unsupervised Time Series Outlier Detection with Diversity-Driven Convolutional Ensembles -- Extended Version
Aalborg University（奥尔堡大学）；Huawei Cloud Database Innovation Lab（华为云数据库创新实验室）；University of Electronic Science and Technology of China（电子科技大学）
针对时间序列异常检测在准确性和效率上的不足，提出一种基于卷积序列到序列自编码器的多样性驱动卷积集成方法，通过维持模型多样性提升准确性，并利用高度并行化和参数迁移提高效率。
2021-11-22 cs.LG
Exploiting Unlabeled Data to Enhance Ensemble Diversity
Southeast University（东南大学）；Nanjing University（南京大学）
包围学习的目的是通过使用多个基本学习器来提高泛化能力。众所周知，要构建一个好的集成，基础学习者应该是准确的，以及多样化。在本文中，未标记的数据被利用来促进集成学习，帮助增加基础学习器之间的多样性。具体地说，提出了一种半监督集成方法UDEED。与现有的半监督集成方法不同，在现有的半监督集成方法中，对未标记数据估计易出错的伪标签以扩大标记数据以提高准确性，UDEED的工作原理是最大限度地提高基础学习者对标记数据的准确性，同时最大限度地提高它们对未标记数据的多样性。实验表明，UDEED可以有效地利用未标记的数据集成学习，是非常有竞争力的成熟的半监督集成方法。
2010-09-25 cs.AI cs.LG
Sharpness-diversity tradeoff: improving flat ensembles with SharpBalance
Nankai University（南开大学）；Dartmouth College（达特茅斯学院）；University of California San Diego（加州大学圣迭戈分校）；University of California at Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本研究提出SharpBalance训练方法，平衡深度集成中锐度与多样性的权衡，理论证明并实验验证其在ID和OOD场景下显著提升集成性能。
2024-07-17 cs.LG stat.ML
Diversity and Generalization in Neural Network Ensembles
Autonomous University of Madrid（马德里自治大学）；University of Almería（阿尔梅里亚大学）；IDSIA（IDSIA研究所）；Aalborg University（奥尔堡大学）
集成广泛用于机器学习，通常在许多预测任务中提供最先进的性能。从一开始，集合的多样性就被认为是这些模型优越性能的关键因素。但多样性在集成模型中的确切作用却知之甚少，特别是在神经网络的背景下。在这项工作中，我们结合和扩大以前发表的结果在一个理论上健全的框架，描述了多样性和合奏性能之间的关系，广泛的合奏方法。更确切地说，我们提供了以下问题的合理答案：如何衡量多样性，多样性如何涉及到集成的泛化误差，以及多样性如何促进神经网络集成算法。该分析涵盖了三种广泛使用的损失函数，即平方损失、交叉熵损失和0-1损失;以及两种广泛使用的模型组合策略，即模型平均和加权多数表决。我们用神经网络集成来实证验证这一理论分析。
2022-02-16 cs.LG math.ST stat.TH
Improving Adversarial Robustness via Promoting Ensemble Diversity
Tsinghua University（清华大学）；Tsinghua-Fuzhou Institute for Data Technology（清华-福州数据技术研究院）
虽然深度神经网络在各种任务上取得了重大进展，通常通过模型集成来增强，但现有的高性能模型可能容易受到对抗攻击的攻击。许多努力已经致力于增强个体网络的鲁棒性，然后构建简单的系综，例如，通过直接平均输出，忽略了网络之间的相互作用。本文提出了一种新的方法，探索个体网络之间的相互作用，以提高集成模型的鲁棒性。从技术上讲，我们将对抗环境中的集成多样性定义为个体成员的非最大预测之间的多样性，并提出了一种自适应多样性促进（ADP）正则化器来鼓励多样性，通过使对抗示例难以在个体成员之间传输，从而使集成具有更好的全局鲁棒性。我们的方法是计算效率和兼容的防御方法作用于个别网络。各种数据集上的实证结果验证了我们的方法可以提高对抗鲁棒性，同时保持正常示例的最新准确性。
2019-05-29 cs.LG stat.ML
Pathologies of Predictive Diversity in Deep Ensembles
Center for Theoretical Neuroscience（理论神经科学中心）；Department of Neuroscience（神经科学系）；Columbia University（哥伦比亚大学）；Department of Statistics（统计系）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本研究通过大规模实验发现，鼓励预测多样性的传统直觉不适用于高容量深度集成，损害大型网络性能，建议直接使用更强大且多样性更低的组件模型构建集成。
2024-01-09 cs.LG stat.ML
Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning
Georgia Institute of Technology（佐治亚理工学院）
提出 FusionShot 少样本集成方法，通过多通道融合、焦点误差多样性剪枝和可学习组合权重，提升模型在新任务、跨域及对抗场景下的鲁棒性与泛化性。
2024-04-05 cs.CV cs.LG
Learning to Diversify via Weighted Kernels for Classifier Ensemble
University of Science and Technology Beijing（北京科技大学）；Chinese Academy of Sciences（中国科学院）
分类器集成通常应该结合不同的组件分类器。然而，很难给出多样性度量和集合精度之间的明确联系。在给定一组可用的分类器的情况下，如何自适应地、动态地集成分类器成为了一个很大的挑战。在本文中，我们认为，多样性，而不是直接多样性的样本，但自适应多样性与数据，是高度相关的集成精度，我们提出了一种新的分类器集成技术，学习多样化，学习自适应组合分类器，同时考虑精度和多样性。具体来说，我们的方法，学习多样化通过加权核（L2 DWK），通过优化一个直接但简单的标准进行分类器组合：最大限度地提高集成精度和自适应多样性，同时最小化凸损失函数。给定度量公式，利用加权核计算多样性（即，在被核化和加权的分量分类器的输出上测量多样性），并且自动学习核权重。我们最小化这个损失函数估计的内核权重结合分类器的权重，并提出了一个自我训练算法进行这种凸优化过程迭代。在32个UCI分类基准数据集上进行的大量实验表明，该方法的性能始终优于最先进的集成，如Bagging，AdaBoost，随机森林，Gasen，正则化选择性Entrance和Entrance Pruning via Semi-Definite Programming。
2014-06-04 cs.CV cs.LG
Hierarchical Pruning of Deep Ensembles with Focal Diversity
Florida International University（佛罗里达国际大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出层次化深度集成剪枝方法（HQ），利用焦点多样性指标高效识别高质量小子集，提升集成准确性、鲁棒性与效率。
2023-11-17 cs.CV cs.LG
Improved Robustness Against Adaptive Attacks With Ensembles and Error-Correcting Output Codes
Institute Intelligence and Data (IID), Université Laval（拉瓦尔大学智能与数据研究所（IID））；Mila（米拉研究所）
神经网络集成已经在对抗鲁棒性的背景下被广泛研究，并且大多数基于集成的方法仍然容易受到自适应攻击。在本文中，我们研究的鲁棒性的纠错输出码（ECOC）集成，通过结构的改进和集成多样性的促进。我们对自适应攻击进行了全面的鲁棒性评估，并研究了集成多样性和鲁棒性之间的关系。我们的研究结果表明，与卷积神经网络（CNN）的常规集成相比，ECOC集成对对抗鲁棒性的好处，并显示了为什么以前实现的鲁棒性是有限的。我们还提出了一种针对ECOC集成的对抗性训练方法，可以进一步提高对自适应攻击的鲁棒性。
2023-03-04 cs.LG
HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble
Duke University（杜克大学）；University of California Berkeley（加州大学伯克利分校）
包围学习作为进一步提高深度神经网络（DNN）模型的准确性和泛化能力的一种方法，在最近的深度学习研究中得到了关注。目前的集成训练方法采用不同的训练算法或设置在具有相同模型架构的多个子模型上，这会导致集成模型的内存和计算开销的显著负担。同时，随机诱导的多样性可能不会导致显著的性能增益。我们提出了一种新的视角，探索模型架构内的内在多样性，以构建高效的DNN集成。我们做了一个有趣的观察，修剪和量化，虽然都导致有效的模型架构的代价是小的准确性下降，导致不同的行为在决策边界。为此，我们提出了异构压缩Ensemble（HCE），其中我们使用预训练的DNN模型中的修剪和量化变体构建了一个有效的集成。提出了一种多样性感知的训练目标，以进一步提高HCE集成的性能。实验结果表明，与传统的DNN集成训练方法和以往的模型压缩方法相比，HCE在效率-精度权衡上有了显著的改善。
2023-01-18 cs.LG
A Diversity-optimized Deep Ensemble Approach for Accurate Plant Leaf Disease Detection
本文提出SQ框架，通过优化集成多样性提升植物叶病检测的准确性和效率。
2025-11-21 cs.CV cs.LG
Generalized Ambiguity Decomposition for Understanding Ensemble Diversity
University of Southern California（南加州大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在集成模式识别和信息处理系统中，专家的多样性或互补性是实现融合性能提高的关键。因此，理解集成分集和融合性能之间的这种联系是一个重要的研究问题。然而，以前的作品在理论上的特点是集成多样性，并将其与集成性能在非常有限的设置。我们提出了一个广义歧义分解（GAD）定理作为回答这些问题的一个广泛的框架。GAD定理适用于任何二次可微损失函数的专家的一般凸集合。结果表明，集成性能近似地分解为专家平均性能的差异和集成的多样性。因此，它提供了一个理论上的解释，从不同的分类器和回归融合输出的经验观察到的好处。它还提供了一个损失函数依赖，集合依赖和数据依赖的多样性定义。我们提出了这种分解常见的回归和分类损失函数的扩展，并报告了基于模拟的分析的多样性项和分解的准确性。最后，我们提出的标准模式识别数据集的实验表明，真实世界的分类和回归问题的分解的准确性。
2013-12-28 cs.CV cs.LG stat.ML
Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles
Graz University of Technology（格拉茨工业大学）；Levata（Levata公司）；Heidelberg University（海德堡大学）
本研究提出通过粒子优化进行函数空间推断，并采用排斥性最后一层集成方法，在大型预训练网络上实现低成本的不确定性估计，在主动学习、分布外数据检测和分布偏移下的不确定性校准方面取得优异结果。
2024-12-20 cs.LG
Understanding the Role of Functional Diversity in Weight-Ensembling with Ingredient Selection and Multidimensional Scaling
Harvard University（哈佛大学）；Microsoft Research（微软研究院）
本文提出两种新的权重集成方法，结合可视化工具研究功能多样性对模型性能的影响，发现高多样性可增强权重集成，但仅靠多样性提升准确率有限，且位置不同的模型采样同样有助于改进。
2024-09-04 cs.LG
Maximizing Overall Diversity for Improved Uncertainty Estimates in Deep Ensembles
CSAIL MIT（麻省理工学院计算机科学与人工智能实验室）；Amazon Web Services（亚马逊网络服务）
神经网络模型对并非源自训练数据分布的输入的不准确性是有问题的，并且有时未被识别。模型不确定性估计可以解决这个问题，其中不确定性估计通常基于应用于相同输入的不同模型集合产生的预测的变化。在这里，我们描述了最大化总体多样性（MOD），这是一种直接的方法，通过鼓励在未来可能遇到的所有可能输入中进行更大的总体多样性来改善基于集合的不确定性估计。当应用于各种神经网络集成时，MOD显著提高了分布外测试示例的预测性能，而不会牺牲38个蛋白质-DNA结合回归数据集，9个UCI数据集和IMDB-Wiki图像数据集的分布内性能。在许多贝叶斯优化任务中，利用MOD不确定性估计也大大提高了UCB获取的性能。
2020-02-12 cs.LG stat.ML
A Classifier-free Ensemble Selection Method based on Data Diversity in Random Subspaces
École de technologie supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）；Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Universidade Federal do Paraná (UFPR)（巴拉那联邦大学）
分类器的包围（EoC）已被证明是有效的，在提高单个分类器的性能，通过组合它们的输出，和最好的EoC从一个池中的分类器的选择所涉及的最重要的属性之一被认为是分类器的多样性。通常，分类器多样性不是随机发生的，而是通过各种集成创建方法系统地生成的。通过使用不同的数据子集来训练分类器，这些方法可以为EoC创建不同的分类器。在这项工作中，我们提出了一个计划来衡量数据的多样性直接从随机子空间，并探讨使用它来选择最佳的数据子集的建设的EoC的可能性。我们的计划是第一个集成选择方法在文献中提出的数据多样性的概念的基础上。与传统框架（集成创建然后选择）相比，其主要优点是它避免了在集成选择之前进行分类器训练的需要。分别采用单遗传算法和多目标遗传算法进行无分类器集成选择。在这两种情况下，基于不同的聚类多样性措施的目标函数的实施和测试。将所提出的无分类器集成选择方法与传统的基于分类器的集成选择方法进行了比较。在UCI机器学习问题和NIST SD 19手写数字上测试了该方法的适用性。
2014-08-13 cs.LG cs.NE
Enhancing Diversity in Parallel Agents: A Maximum State Entropy Exploration Story
AIRLAB, Politecnico di Milano, Milan, Italy（AIRLAB，米兰理工学院，米兰，意大利）
本文提出一种最大化并行数据熵的框架，通过平衡个体熵与智能体间多样性减少冗余，采用集中式策略梯度方法，实证优于同质智能体系统，并提供集中度分析支持专业化采样分布。研究旨在超越并行RL的N倍加速限制。
2025-06-24 cs.LG
Enhancing Predictive Accuracy in Pharmaceutical Sales Through An Ensemble Kernel Gaussian Process Regression Approach
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；Swanson School of Engineering, University of Pittsburgh（匹兹堡大学斯旺森工程学院）；Duquesne University（杜肯大学）
本文提出一种融合指数平方、修正Matérn和有理二次核的集成核高斯过程回归方法，通过贝叶斯优化确定权重，在药品销售预测中取得接近1.0的R²并显著降低误差。
2024-04-15 cs.LG
Improving Adversarial Robustness of Ensembles with Diversity Training
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络很容易受到对抗性攻击，即使在攻击者无法直接访问被攻击模型的情况下。这种攻击通常依赖于可转移性原则，即在代理模型上构建的攻击倾向于转移到目标模型。我们证明了具有不一致损失梯度的模型的集合可以提供对基于传输的攻击的有效防御。我们的关键见解是，如果集合中的多个模型的损失函数不以相关的方式增加，则对抗性示例不太可能欺骗它们。为此，我们提出了多样性训练，一种新的方法训练一个整体的模型与不相关的损失函数。我们表明，我们的方法显着提高了合奏的对抗鲁棒性，也可以与现有的方法相结合，以创建更强大的防御。
2019-01-28 cs.LG stat.ML
Ensembles of Locally Independent Prediction Models
Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
合奏依赖于多样性来提高性能。因此，许多集成训练方法试图优化多样性，它们几乎总是根据训练集预测的差异来定义多样性。然而，在本文中，我们证明了训练集上的预测的多样性并不一定意味着温和的协变量偏移下的多样性，这可能会损害在实际环境中的推广。为了解决这个问题，我们引入了一个新的多样性度量和相关的方法来训练模型的集合，这些模型在数据流形的局部补丁上进行不同的外推。在各种合成和现实世界的任务，我们发现，我们的方法提高了泛化和多样性的定性新的方式，特别是在数据限制和协变量偏移。
2020-02-07 cs.LG stat.ML
Error Diversity Matters: An Error-Resistant Ensemble Method for Unsupervised Dependency Parsing
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）
针对无监督依存句法分析，提出一种考虑错误多样性的集成选择方法，通过事后聚合多种模型输出，避免错误累积，提升性能与鲁棒性。
2025-02-06 cs.AI cs.CL cs.LG
Ensemble Diversity Optimization for Subjective Supervision
School of Computing and Mathematics, Manchester Metropolitan University（曼彻斯特城市大学计算与数学学院）；School of Computer Science, Hubei University（湖北大学计算机科学学院）
研究针对主观NLP任务中注释者分歧问题，提出集成多样性优化（EDO）框架，通过统一目标联合优化集成权重等，经Gumbel-Softmax学习集成组成与大小，用有符号多样性正则化器防止集成崩溃，实验证明该方法有效提升概率校准，是模拟人类主观性的有效模型无关方法。
2026-07-10 cs.CL cs.LG
Exploring Resiliency to Natural Image Corruptions in Deep Learning using Design Diversity
Intel Corporation（英特尔公司）
在本文中，我们研究了多样性度量，准确性和深度学习（DL）图像分类器集成对自然图像损坏的弹性之间的关系。我们调查的潜在的基于属性的多样性度量，以提高已知的准确性多样性权衡的典型的基于预测的多样性。我们的动机是基于分析研究的设计多样性，已表明，减少常见的故障模式是可能的，如果实现多样性的设计选择。使用ResNet50作为比较基线，我们评估了多个单独的DL模型架构对与自然图像损坏相对应的数据集分布偏移的弹性。我们比较了使用独立训练或通过神经架构搜索技术训练的不同模型架构创建的集成，并评估了基于预测和基于属性的多样性与最终集成准确性的相关性。我们评估了一组多样性的执行策略的基础上负相关学习，以评估最终的合奏自然图像损坏的弹性和检查所产生的预测，激活和归因的多样性。我们的主要意见是：1）模型架构对于复原力比模型大小或模型准确度更重要，2）基于属性的多样性与集成准确度的负相关性比基于预测的多样性小，3）个体和集成准确度的平衡损失函数为图像自然损坏创建更有复原力的集成，4）架构多样性在所有探索的多样性度量中产生更多的多样性：预测、归因和激活。
2023-03-15 cs.AI cs.CV cs.LG
Graph Neural Networks for Enhancing Ensemble Forecasts of Extreme Rainfall
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Tromsø（特罗姆瑟大学）；DLR-German Aerospace Center（德国航空航天中心）
本文提出利用图神经网络对集合预报进行后处理，重点建模降水分布的极端尾部并捕捉空间依赖，以提高极端降雨预报精度和可靠性，从而降低洪水风险。
2025-04-07 cs.LG
Toward Adversarial Robustness by Diversity in an Ensemble of Specialized Deep Neural Networks
Université Laval（拉瓦尔大学）；Oregon State University（俄勒冈州立大学）；Mila（米拉）
我们的目标是展示CNN集成中的多样性对黑盒对抗实例检测的影响，并加强白盒对抗攻击的生成。为此，我们提出了一个多样化的专门CNN的集合，以及一个简单的投票机制。这种集合的多样性在对手的预测置信度和干净样本的预测置信度之间产生了差距，使得对手可检测。然后，我们分析了这样一个专家集合的多样性如何减轻黑盒和白盒对抗性示例的风险。使用MNIST和CIFAR-10，我们经验性地验证了我们的集合检测大部分已知黑盒对抗性示例的能力，这导致对手的风险率显著降低，而代价是干净样本的风险率略有增加。此外，我们表明，与普通CNN和普通CNN的集成相比，我们的集成生成白盒攻击的成功率显着降低，突出了集成中多样性对开发更强大模型的有益作用。
2020-05-17 cs.CR cs.LG stat.ML
Hydra: Preserving Ensemble Diversity for Model Distillation
Imperial College London（帝国理工学院）；University of Amsterdam（阿姆斯特丹大学）；ETH Zurich（苏黎世联邦理工学院）；University of Warsaw（华沙大学）；Google Research（谷歌研究院）；University of California, Irvine（加州大学欧文分校）
经验表明，模型集合可以提高预测性能，并产生稳健的不确定性度量。然而，它们在计算和存储器上是昂贵的。因此，最近的研究集中在将集合提取到单个紧凑模型中，减少集合的计算和存储负担，同时试图保留其预测行为。大多数现有的蒸馏公式通过捕获其平均预测来总结系综。因此，集合预测的多样性，源于每个成员，丢失。因此，蒸馏模型不能提供与原始系综可比的不确定性度量。为了更忠实地保留合奏的多样性，我们提出了一种蒸馏方法的基础上，一个单一的多头神经网络，我们称之为九头蛇。共享身体网络学习一个联合特征表示，使每个头部能够捕获每个整体成员的预测行为。我们证明，随着参数计数的略微增加，Hydra提高了分类和回归设置的蒸馏性能，同时捕获了原始集合在域内和分布任务外的不确定性行为。
2021-03-19 cs.LG stat.ML
LLM-TOPLA: Efficient LLM Ensemble by Maximising Diversity
Georgia Institute of Technology（佐治亚理工学院）
针对大语言模型集成的性能提升需求，本文提出多样性优化的LLM-TOPLA集成方法，通过焦点多样性指标、剪枝算法和学习集成策略实现高效集成，在多个基准测试中显著优于现有最优集成方法。
2024-10-04 cs.CL cs.LG
A Unified Theory of Diversity in Ensemble Learning
University of Manchester（曼彻斯特大学）；University of Bristol（布里斯托大学）
本文提出集成多样性统一理论，揭示多样性为集成损失偏差-方差分解中的隐藏维度，证明多种损失下的精确分解，并主张应管理偏差/方差/多样性权衡而非最大化多样性。
2024-02-07 cs.AI cs.LG stat.ML
Enhancing Wildfire Forecasting Through Multisource Spatio-Temporal Data, Deep Learning, Ensemble Models and Transfer Learning
Abdelmalek Essaâdi University（阿卜杜勒-马利克·萨阿迪大学）；Faculty of Sciences and Technology（科学与技术学院）
本文整合卫星等多源时空数据并结合深度学习，提出基于迁移学习的集成野火预测模型，分析天气、人类活动等因素的作用，并指出实时数据获取挑战与未来全球模型方向。
2024-07-20 cs.LG
Ensemble pruning via an integer programming approach with diversity constraints
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Universidade Federal de Alfenas（阿尔费纳斯联邦大学）
包围学习结合多个分类器，希望获得更好的预测性能。经验研究表明，集成修剪，即选择一个适当的子集的可用分类器，可以导致可比或更好的预测比使用所有分类器。在本文中，我们考虑了一个二元分类问题，并提出了一个整数规划（IP）的方法来选择最佳的分类器子集。我们提出了一个灵活的目标函数，以适应不同的数据集所需的标准。我们还提出了约束，以确保最低的多样性水平的合奏。尽管IP的一般情况下是NP-Hard的，但最先进的求解器能够快速获得高达60000个数据点的数据集的良好解决方案。我们的方法产生竞争力的结果相比，一些最好的和最常用的修剪方法在文献中。
2022-05-02 cs.LG math.OC
