Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness
Georgia Institute of Technology（佐治亚理工学院）
包围学习是一种集成多个DNN学习器以提高单个学习器的预测性能的方法。当集合预测的误差更均匀地分布时，多样性更大。更大的多样性与集合精度的增加高度相关。多样性优化集成学习的另一个有吸引力的特性是它对欺骗的鲁棒性：对抗性扰动攻击可以误导一个DNN模型进行错误分类，但可能无法始终如一地欺骗其他集成DNN成员。在本文中，我们首先概述了集成多样性的概念，并在DNN分类器的背景下研究了三种类型的集成多样性。然后，我们描述了一组集成多样性措施，一套算法，用于创建多样性集成和执行集成共识（投票或学习），通过战略性地结合各个成员的输出生成高精度集成输出。本文最后讨论了一组公开的问题，在量化集成多样性的鲁棒深度学习。
2019-08-29 cs.LG stat.ML
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）
本文提出了一个计算框架，产生合奏预测力学模型与不确定性量化（UQ）。首先，我们开发了一个因果发现算法，通过有向无环图（DAG）来推断在每个代表性体积元素（RVE）模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系，预测在导出的因果图中传播，同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子（摩擦界面的牵引分离定律，颗粒集合体的弹塑性模型）来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace（上阿尔萨斯大学 IRIMAS）
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发，深度学习开始在时间序列分类（TSC）方面显示出有希望的结果。然而，神经网络仍然落后于最先进的TSC算法，TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此，在本文中，我们展示了60个深度学习模型的集成如何在UCR/UEA档案（时间序列分析的最大公开基准）上进行评估时，显着提高TSC神经网络的当前最先进性能。最后，我们展示了我们提出的神经网络Ensemble（NNE）是第一个优于COTE的时间序列分类器，同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
Repulsive Deep Ensembles are Bayesian
ETH Zürich（苏黎世联邦理工学院）
深度集成最近在深度学习社区中因其概念上的简单性和效率而受到欢迎。然而，保持用梯度下降独立训练的集合成员之间的功能多样性是具有挑战性的。当添加更多的集成成员时，这可能导致病态，例如集成性能的饱和，其收敛到单个模型的性能。此外，这不仅会影响其预测的质量，而且更会影响集合的不确定性估计，从而影响其对分布外数据的性能。我们假设这种限制可以通过阻止不同的系综成员崩溃到相同的功能来克服。为此，我们引入了核排斥项的更新规则的深度合奏。我们表明，这种简单的修改不仅执行和保持成员之间的多样性，但更重要的是，转换到适当的贝叶斯推理的最大后验推理。也就是说，我们表明，我们提出的排斥合奏的训练动力学遵循Wasserstein梯度流的KL分歧与真正的后验。我们研究了权重和函数空间中的排斥项，并在合成和现实世界的预测任务中将其性能与标准合奏和贝叶斯基线进行了实证比较。
2023-03-28 cs.LG stat.ML
Deep Ensemble Bayesian Active Learning : Addressing the Mode Collapse issue in Monte Carlo dropout via Ensembles
The University of Edinburgh（爱丁堡大学）
在图像分类任务中，深度CNN处理复杂图像数据的能力已被证明是无与伦比的。然而，它们需要大量标记的训练数据来充分发挥其潜力。在医疗保健等专业领域，获取标记数据可能很困难且成本高昂。主动学习旨在通过减少特定任务所需的标记数据量，同时提供令人满意的性能来缓解这个问题。我们提出了DEBAL，这是一种为深度神经网络设计的新的主动学习策略。该方法改进了当前最先进的深度贝叶斯主动学习方法，该方法遭受模式坍塌问题。我们纠正这一不足，利用模型合奏的表达能力和统计特性。我们提出的方法设法捕捉卓越的数据不确定性，这转化为改进的分类性能。我们根据经验证明，我们的集成方法可以更快地收敛在MNIST和CIFAR-10数据集上训练的CNN。
2018-11-09 cs.LG stat.ML
Confident Neural Network Regression with Bootstrapped Deep Ensembles
Radboud University（拉德堡德大学）
本文提出一种计算成本低廉的Bootstrapped Deep Ensembles方法，通过修改的参数自举显式建模有限数据效应，显著提升了回归任务中标准深度集成的不确定性估计性能。
2023-08-03 cs.LG stat.ML
Deep Convolutional Neural Network Ensembles using ECOC
Sabanci University（萨班哲大学）；University of Surrey（萨里大学）；University College London（伦敦大学学院）
深度神经网络已经在包括图像理解在内的许多应用中增强了决策系统的性能，并且可以通过构建集成来实现进一步的增益。然而，设计深度网络的集成通常不是非常有益的，因为训练网络所需的时间非常高或者所获得的性能增益不是非常显著。在本文中，我们分析了纠错输出编码（ECOC）框架，将其用作深度网络的集成技术，并提出了不同的设计策略来解决准确性-复杂性的权衡。我们进行了广泛的比较研究之间的介绍ECOC设计和国家的最先进的集成技术，如集成平均和梯度提升决策树。此外，我们提出了一种组合技术，这是实现最高的分类性能之间的所有。
2021-03-07 cs.LG stat.ML
Laws of Learning Dynamics and the Core of Learners
Department of mathematics, Boston University, Boston, USA（数学系，波士顿大学）
本文提出了一种基于熵的终身集成学习方法，通过构建免疫机制有效防御对抗攻击，提升了在强扰动下的模型准确性。
2026-02-04 cs.AI cs.IT cs.LG
Improving Deep Ensembles by Estimating Confusion Matrices
Lancaster University（兰卡斯特大学）；University of Oxford（牛津大学）
本文提出软 Dawid Skene 深度集成聚合方法，通过估计成员混淆矩阵加权聚合软标签，在准确率、校准性和分布外检测上优于传统集成平均。
2025-03-10 cs.LG stat.ML
Deep Ensembles: A Loss Landscape Perspective
Google Research（谷歌研究院）；DeepMind（深度思维）
经验表明，深度集成是一种很有前途的方法，可以提高深度学习模型的准确性、不确定性和分布外鲁棒性。虽然深度集成在理论上是由bootstrap驱动的，但仅用随机初始化训练的非bootstrap集成在实践中也表现良好，这表明深度集成工作良好的原因可能有其他解释。贝叶斯神经网络学习网络参数的分布，理论上受到贝叶斯原理的启发，但在实践中表现不如深度集成，特别是在数据集移位的情况下。理论与实践之间存在这种差距的一个可能解释是，流行的可扩展变分贝叶斯方法倾向于关注单一模式，而深度集成倾向于探索函数空间中的多种模式。我们研究这一假设的基础上，最近的工作理解的损失景观的神经网络，并添加我们自己的探索，以衡量功能的相似性在空间的预测。我们的研究结果表明，随机初始化探索完全不同的模式，而沿着优化轨迹或从子空间采样的函数在单个模式预测中聚类，同时通常在权重空间中显着偏离。发展的多样性的概念，准确的平面，我们表明，随机初始化的去相关功率是不匹配的流行的子空间采样方法。最后，我们评估了集成，基于子空间的方法和基于子空间的方法集成的相对效果，实验结果验证了我们的假设。
2020-06-25 cs.LG stat.ML
Deep ensemble learning for Alzheimers disease classification
Hefei University of Technology（合肥工业大学）；Boston University（波士顿大学）
包围学习使用多个算法来获得比其组成算法中的任何一个更好的预测性能。随着深度学习的日益普及，研究人员已经开始将它们集成用于各种目的。然而，很少有人使用深度学习方法作为集成算法的手段。本文提出了一种深度集成学习框架，旨在利用深度学习算法整合多个数据集，挖掘专家智慧。在投票层，训练一个稀疏的自动编码器进行特征学习，以减少属性的相关性，并最终多样化的基础分类器。在堆叠层，提出了一种基于深度信念网络的非线性特征加权方法，对可能违反条件独立性的基分类器进行排序。采用神经网络作为Meta分类器。在优化层，采用欠采样和阈值移动来处理代价敏感问题。通过相似性计算，基于概率预测的集合获得优化预测。提出的深度集成学习框架用于阿尔茨海默病分类。在国家老年痴呆症协调中心的临床数据集上进行的实验表明，我们提出的框架的分类准确率比6个著名的集成方法以及标准堆叠算法高4%。通过利用普通医生的智慧，可以提供更准确的诊断服务的充分覆盖。本文从机器学习的角度出发，提出了一种提高老年性痴呆初级保健水平的新方法。
2019-05-30 cs.LG stat.ML
Deep Ensembles Work, But Are They Necessary?
Columbia University（哥伦比亚大学）
集成神经网络是提高准确性的有效方法，并且通常可以匹配单个较大模型的性能。这一观察提出了一个自然的问题：如果在深度集成和具有类似精度的单个神经网络之间进行选择，其中一个会比另一个更好吗？最近的研究表明，深度集成可能提供超越预测能力的独特优势：即不确定性量化和对数据集变化的鲁棒性。在这项工作中，我们证明了这些所谓的好处的局限性，并表明一个单一的（但更大的）神经网络可以复制这些品质。首先，我们表明，合奏多样性，任何度量，并没有有意义地有助于合奏的不确定性量化的分布（OOD）的数据，而是高度相关的一个单一的较大的模型的相对改善。其次，我们表明，集合提供的OOD性能在很大程度上取决于其分布（InD）性能，并且--从这个意义上说--并不表明任何“有效的鲁棒性”。虽然深度集成是实现预测能力，不确定性量化和鲁棒性改进的实用方法，但我们的研究结果表明，这些改进可以通过（更大的）单个模型复制。
2022-10-13 cs.LG stat.ML
On Joint Regularization and Calibration in Deep Ensembles
Department of Applied Mathematics and Computer Science（应用数学与计算机科学系）；Technical University of Denmark（丹麦技术大学）
本文研究深度集成中联合调优权重衰减、温度缩放和早停对性能与校准的影响，并提出部分重叠留出策略，证明联合调优通常匹配或优于单独调优，为从业者提供实用指导。
2025-11-07 cs.LG stat.ML
Uncertainty Quantification and Deep Ensembles
National University of Singapore（新加坡国立大学）
众所周知，深度学习方法存在校准问题：它们通常会产生过于自信的估计。这些问题在低数据制度下更加严重。虽然概率模型的校准得到了很好的研究，但在低数据状态下校准极度过度参数化的模型提出了独特的挑战。我们表明，深合奏不一定会导致改进的校准性能。事实上，我们证明了标准的集成方法，当与现代技术（如混合正则化）结合使用时，可能会导致校准较少的模型。本文探讨了在数据稀缺时利用深度学习的三种最简单、最常用的方法之间的相互作用：数据增强、集成和后处理校准方法。虽然标准的合奏技术肯定有助于提高准确性，我们证明，深合奏的校准依赖于微妙的权衡。我们还发现，当使用深度集成时，需要稍微调整温度缩放等校准方法，并且至关重要的是，需要在平均过程之后执行。我们的模拟表明，这种简单的策略可以减半的预期校准误差（ECE）的一系列基准分类问题相比，在低数据制度的标准深度合奏。
2021-11-02 cs.LG stat.ML
Horizontal and Vertical Ensemble with Deep Representation for Classification
Beijing University of Posts and Telecommunications（北京邮电大学）
表示学习，特别是利用深度学习的表示学习，在分类中得到了广泛的应用。然而，如何使用有限大小的标记数据来实现深度神经网络的良好分类性能，以及学习的特征如何进一步改善分类仍然是不确定的。在本文中，我们提出了水平投票垂直投票和水平堆叠包围方法，以提高深度神经网络的分类性能。在ICML 2013黑盒挑战赛中，徐兵通过独立使用这些方法，获得了公开排行榜第3名，私人排行榜第7名;谢晶晶获得了公开排行榜第4名，私人排行榜第5名。
2013-06-12 cs.LG stat.ML
Aggregating distribution forecasts from deep ensembles
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）
本研究提出一种通用分位数聚合框架，用于整合深度集成模型的分布预测，通过理论分析和十二个基准数据集的系统比较，证明该方法能显著提升预测性能并修正系统性缺陷。
2024-11-08 cs.LG stat.ML
MotherNets: Rapid Deep Ensemble Learning
Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
深度神经网络的集成显著提高了泛化精度。然而，训练神经网络集成需要大量的计算资源和时间。现有技术的方法要么从头开始训练所有网络，导致在实践中仅允许非常小的集合大小的过高的训练成本，要么通过训练单片架构来生成集合，这导致较低的模型多样性和降低的预测准确性。我们提出了MotherNet，以实现更高的准确性和实际的训练成本，为大型和多样化的神经网络合奏：一个MotherNet捕获的结构相似性，在一些或所有成员的深度神经网络合奏，使我们能够共享数据移动和计算成本在这些网络。我们首先训练一个或一小部分MotherNet，然后通过从训练好的MotherNet中传递函数来生成目标集成网络。然后，我们继续训练这些集成网络，与从头开始训练相比，它们现在收敛得更快。MotherNet通过聚类相似架构的集成网络并为每个集群训练单独的MotherNet来处理具有不同架构的集成。MotherNets还使用聚类来控制精度与训练成本的权衡。我们表明，与最先进的方法，如快照集成，知识蒸馏，和TreeNets相比，MotherNets提供了一个新的帕累托前沿的准确性训练成本权衡。至关重要的是，随着集成规模的增加，训练成本和准确性的改善将继续扩大（与快照集成相比，绝对测试出错率降低了2%至3%，训练速度提高了35%）。我们在众多的神经网络架构和大型数据集上验证了这些好处。
2020-03-08 cs.LG stat.ML
Deep Super Learner: A Deep Ensemble for Classification Problems
Data Science Laboratory, Ryerson University（瑞尔森大学数据科学实验室）
深度学习在处理大数据的预测建模和模式识别等任务中变得非常流行。深度学习是一种功能强大的机器学习方法，它提取较低级别的特征，并将其向前馈送到下一层，以识别提高性能的更高级别的特征。然而，深度神经网络具有缺点，包括许多超参数和无限架构，结果不透明，以及在较小数据集上收敛相对较慢。虽然传统的机器学习算法可以解决这些缺点，但它们通常无法达到深度神经网络所达到的性能水平。为了提高性能，集成方法用于组合多个基本学习器。超级学习是一个集成，找到不同的学习算法的最佳组合。本文提出了深度超级学习作为一种方法，它在分层结构中使用传统的机器学习算法的同时，实现了与深度神经网络竞争的日志丢失和准确性结果。深度超级学习器是灵活的，适应性强，易于训练，使用相同的超参数值在不同的任务中具有良好的性能。使用传统的机器学习需要更少的超参数，允许结果透明，并且在较小的数据集上具有相对较快的收敛速度。实验结果表明，与单个基础学习器、单层集成以及某些情况下的深度神经网络相比，深度超级学习器具有更好的性能。深度超级学习器的性能可以通过特定于任务的调整来进一步提高。
2018-03-06 cs.LG stat.ML
Spectral Clustering via Ensemble Deep Autoencoder Learning (SC-EDAE)
University of Paris Descartes（巴黎笛卡尔大学）
最近，许多作品研究了结合经典聚类算法和深度学习方法的聚类策略。这些方法遵循顺序方式，其中在使用k-means获得聚类之前使用深度自动编码器学习深度表示，或者同时方式，其中通过优化单个目标函数来联合学习深度表示和聚类。这两种策略都提高了聚类性能，但是这些方法的鲁棒性受到几个深层自动编码器设置问题的阻碍，其中包括权重初始化，层的宽度和数量或epoch的数量。为了减轻这种超参数设置对聚类性能的影响，我们提出了一种新的模型，该模型在集成学习框架中结合了谱聚类和深度自动编码器的优势。在各种基准数据集上的广泛实验证明了我们的方法与最先进的深度聚类方法相比的潜力和鲁棒性。
2019-06-12 cs.LG stat.ML
Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks
ETAS GmbH（伊塔斯有限公司）；Bosch Group（博世集团）
深度学习已经成为许多机器学习问题（如分类）的最先进方法。最近的研究表明，深度学习非常容易受到对抗性扰动的影响。以自动驾驶汽车的摄像头系统为例，微小的对抗性扰动可能会导致系统在重要任务中出错，例如对交通标志进行分类或检测行人。因此，为了在没有安全问题的情况下使用深度学习，需要适当的防御策略。我们建议使用集成方法作为对抗性扰动的防御策略。我们发现，导致一个模型错误分类的攻击并不意味着执行相同任务的其他网络也会发生同样的情况。这使得集成方法成为对抗性攻击的有吸引力的防御策略。我们的经验表明，MNIST和CIFAR-10数据集集成方法不仅提高了测试数据的准确性神经网络，但也增加了他们对对抗性扰动的鲁棒性。
2018-02-08 cs.LG stat.ML
Deep Regression Ensembles
Swiss Finance Institute（瑞士金融研究所）；Yale University（耶鲁大学）；University of Lausanne（洛桑大学）；AQR Capital Management（AQR资本管理公司）；EPFL（洛桑联邦理工学院）
我们介绍了一种设计和训练深度神经网络（DNN）的方法，我们称之为“深度回归集成”（DRE）。它弥补了DNN和用随机特征回归训练的两层神经网络之间的差距。DRE的每一层都有两个组成部分，随机抽取的输入权重和使用线性岭回归进行近视训练的输出权重（就像最终输出层一样）。在一个层中，每个神经元使用不同的输入子集和不同的岭惩罚，构成随机特征岭回归的集合。我们的实验表明，在许多数据集中，单个DRE架构与最先进的DNN相当或超过DNN。然而，由于DRE神经权重要么以封闭形式已知，要么随机抽取，因此其计算成本比DNN小几个数量级。
2022-03-10 cs.LG stat.ML
Deep Ensemble Tensor Factorization for Longitudinal Patient Trajectories Classification
KU LEUVEN（鲁汶大学）
我们提出了一种生成的方法来分类几乎没有观察到的纵向患者轨迹。可用的时间序列表示为张量，并使用生成式深度递归神经网络进行因子分解。所学习的因子以紧凑的方式表示患者数据，然后可以用于下游分类任务。为了提高预测的鲁棒性和准确性，我们使用了这些深度生成模型的集合来模拟贝叶斯后验采样。我们说明了我们的架构上的重症监护的住院死亡率预测与96个纵向测量类型的入院后的第一个48小时内测量的案例研究的性能。我们的生成和集成策略的组合实现了超过0.85的AUC，并且优于SAPS-II死亡率评分和GRU基线。
2018-11-28 cs.LG stat.ML
On Deep Ensemble Learning from a Function Approximation Perspective
Florida State University（佛罗里达州立大学）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们提出了一个通用的集成学习框架的基础上深度学习模型。给定一组单元模型，所提出的深度集成学习框架将通过多层集成模型有效地组合它们的学习结果。在单元模型数学映射是有界的、S形的和歧视性的情况下，我们证明了深度集成学习框架可以实现从输入空间到输出空间的任何函数的通用近似。同时，为了实现这样的性能，深度集成学习框架还对所涉及的单元模型的数量施加了严格的限制。根据本文的理论证明，当输入特征空间为d维时，如果集成模型为单层，则所需的单元模型数为2d。此外，随着集成组件的深入，所需的单元模型的数量被证明是指数下降。
2018-05-19 cs.LG cs.NE stat.ML
Deep Sub-Ensembles for Fast Uncertainty Estimation in Image Classification
German Research Center for Artificial Intelligence（德国人工智能研究中心）
快速估计模型的不确定性，需要许多强大的机器人应用。深度集成提供了最先进的不确定性，而不需要贝叶斯方法，但它仍然是计算昂贵的。在本文中，我们提出了深度子集成，这是对深度集成的一种近似，其核心思想是只集成接近输出的层，而不是整个模型。在CIFAR 10数据集上使用ResNet-20，我们获得了比Deep Entrance 1.5-2.5的加速比，错误和NLL略有增加，在SVHN数据集上使用VGG类网络的加速比同样高达5-15。我们的研究结果表明，这种想法使误差和不确定性质量与计算性能之间的权衡。
2019-11-29 cs.CV cs.LG stat.ML
Deep Ensembles from a Bayesian Perspective
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
深度集成可以被认为是深度学习中不确定性量化的当前最先进技术。虽然这种方法最初是作为一种非贝叶斯技术提出的，但也提出了支持其贝叶斯基础的论点。我们表明，深合奏可以被看作是一个近似的贝叶斯方法，通过指定相应的假设。我们的研究结果导致一个改进的近似结果在扩大的认知部分的不确定性。数值算例表明，改进的近似可以导致更可靠的不确定性。分析推导确保结果的简单计算。
2021-11-18 cs.AI cs.LG stat.ML
Implicit bias produces neural scaling laws in learning curves, from perceptrons to deep networks
Physics Department, University of Rome Sapienza（罗马大学物理系）；CNR - Nanotec, Rome Unit（罗马单位纳米技术中心）
本文通过分析整个训练动态，揭示了两种新的动态缩放定律，解释了性能随不同范数复杂性度量的变化，且在多种网络上验证了结果。
2026-04-30 cond-mat.dis-nn cs.LG stat.ML
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory（阿贡国家实验室）；Université Paris-Saclay（巴黎萨克雷大学）
深度神经网络是各种任务的强大预测器。然而，它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力，同时受益于更好的计算可扩展性。然而，构建神经网络的集成是一项具有挑战性的任务，因为除了为集成的每个成员选择正确的神经架构或超参数之外，还需要增加训练每个模型的成本。我们提出AutoDEUQ，一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意（数据）和认知（模型）的不确定性。我们表明，AutoDEUQ优于概率反向传播，蒙特卡罗辍学，深度集成，分布自由集成，超集成方法在一些回归基准。
2022-07-04 cs.LG
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综（MME）。在此之后，经验证据支持{ \it现象}，即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失，即，累积圆谱差（CSD）。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响，如使用神经结构搜索（NAS）和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
Deep Ensembles Secretly Perform Empirical Bayes
Layer 6 AI；University of Michigan（密歇根大学）
本研究揭示了深度集成实际上通过隐式学习数据依赖的先验来执行精确的贝叶斯平均，即实现经验贝叶斯程序，从而在理论上证明其合理性并解释其优越的经验性能。
2025-01-29 cs.AI cs.LG stat.ML
Hierarchical Pruning of Deep Ensembles with Focal Diversity
Florida International University（佛罗里达国际大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出层次化深度集成剪枝方法（HQ），利用焦点多样性指标高效识别高质量小子集，提升集成准确性、鲁棒性与效率。
2023-11-17 cs.CV cs.LG
Enhancing Certifiable Robustness via a Deep Model Ensemble
UCLA（加州大学洛杉矶分校）
我们提出了一种算法，通过最佳加权每个基础模型来增强深度模型集成的认证鲁棒性。不同于以往的作品使用合奏经验提高鲁棒性，我们的算法是基于优化的神经网络的保证鲁棒性证书。我们提出的集成框架与认证的鲁棒性，RobBoost，制定了最佳的模型选择和加权任务作为一个优化问题的分类利润的下限，这可以有效地解决使用坐标下降。实验表明，我们的算法可以形成一个更强大的合奏比天真地平均所有可用的模型使用鲁棒训练的MNIST或CIFAR基础模型。此外，我们的集合通常在干净（未扰动）数据上具有更好的准确性。RobBoost使我们能够通过创建已认证模型的集合来进一步提高认证的鲁棒性和准确性。
2019-10-31 cs.CV cs.LG stat.ML
Deep Gaussian Mixture Ensembles
J.P. Morgan AI Research（摩根大通人工智能研究院）
本研究提出深度高斯混合集成（DGMEs）技术，通过EM算法学习模型参数与混合权重，可量化两类不确定性、近似复杂分布，在复杂预测密度任务中性能优于现有先进模型。
2023-06-12 cs.LG stat.ME stat.ML
Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus Images
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Texas Instruments Inc.（德州仪器公司）
由于视网膜的病理损伤导致的视力损害可以通过使用眼底彩色成像的定期筛查在很大程度上预防。然而，大规模筛查的挑战是无法彻底检测对疾病诊断至关重要的细血管。在这项工作中，我们提出了一个计算成像框架，使用深度和集成学习可靠检测眼底彩色图像中的血管。训练深度卷积神经网络的集合以分割彩色眼底图像的血管和非血管区域。在推理过程中，对集合的各个ConvNet的响应进行平均以形成最终分割。在DRIVE数据库的实验评估中，我们实现了血管检测的目标，最大平均准确率为94.7%，ROC曲线下面积为0.9283。
2016-03-15 cs.CV cs.LG stat.ML
Large-Scale Visual Active Learning with Deep Probabilistic Ensembles
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
为训练深度神经网络标注正确的数据是一个重要的挑战。使用贝叶斯神经网络（BNN）的不确定性估计的主动学习可以提供一个有效的解决方案。尽管在理论上是原则性的，但BNN需要近似应用于大规模问题，其中性能和不确定性估计都是至关重要的。在本文中，我们介绍了深度概率集成（DPE），这是一种可扩展的技术，它使用正则化集成来近似深度BNN。我们进行了一系列大规模的视觉主动学习实验，以评估DPEs对CIFAR-10，CIFAR-100和ImageNet数据集的分类，以及对BDD 100 k数据集的语义分割。我们的模型需要更少的训练数据来实现有竞争力的性能，并且随着注释预算的增加，在强大的主动学习基线上稳步提高。
2019-02-21 cs.CV cs.LG stat.ML
Ensemble deep learning: A review
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）
包围学习结合了多个独立的模型，以获得更好的泛化性能。目前，与浅层或传统模型相比，深度学习架构显示出更好的性能。深度集成学习模型结合了深度学习模型和集成学习的优点，使得最终模型具有更好的泛化性能。本文综述了深系综模型的发展现状，并对深系综模型的研究作了较为全面的总结。集成模型大致分为bagging，boosting，stacking，基于负相关的深度集成模型，显式/隐式集成，同质/异质集成，基于决策融合策略的深度集成模型。最后简要讨论了深系综模式在不同领域的应用。最后，我们总结了本文的一些潜在的未来研究方向。
2022-08-08 cs.AI cs.CV cs.LG
Classifying textual data: shallow, deep and ensemble methods
Department of Statistical Sciences, University of Bologna, Italy（博洛尼亚大学统计科学系）
本文重点对最常见和最现代的文本分类方法进行了比较评估，包括最近的深度学习策略和集成方法。这项研究的动机是一个具有挑战性的真实数据问题，其特点是高维和极其稀疏的数据，来自一家意大利电话公司的客户关怀来电。我们将展示深度学习优于许多经典（浅层）策略，但在独特的集成分类器中结合浅层和深度学习方法可能会提高“单一”分类方法的鲁棒性和准确性。
2019-02-18 cs.CL cs.IR cs.LG
Spectral Ergodicity in Deep Learning Architectures via Surrogate Random Matrices
Forschungszentrum Juelich（于利希研究中心）；Ludwig-Maximilians-Universität München（慕尼黑大学）；University of Hamburg（汉堡大学）；University of the Balearic Islands（巴利阿里群岛大学）
本文提出了一种新的随机矩阵谱遍历性的量化方法。新的方法结合了基于Thirumalai-Mountain（TM）和Kullbach-Leibler（KL）分歧指标的方法。该方法被应用到深度和递归神经网络的一般性研究，通过随机矩阵集成模拟这些系统的典型权重矩阵的分析。特别是，我们研究了圆形随机矩阵系综：圆形酉系综（CUE），圆形正交系综（COE）和圆形辛系综（CSE）。特征值谱和谱遍历计算这些合奏作为网络大小的函数。据观察，随着矩阵大小的增加，系综的谱遍历性水平上升，即，从系综随机获得的单个实现的本征值谱更接近于在整个系综上平均获得的谱。基于先前的结果，我们推测深度学习架构的成功与谱遍历的概念密切相关。在这项工作中提出的计算谱遍历性的方法可以用来优化深度和递归神经网络的大小和结构。
2017-07-11 cond-mat.stat-mech cs.LG stat.ML
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics（亚太理论物理中心）；Department of Physics（物理系）；Pohang University of Science and Technology（坡山科学技术大学）
研究深度回归模型中神经扩展定律，通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系，发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
A Survey on Ensemble Learning under the Era of Deep Learning
Sichuan University（四川大学）；Baidu Co., Ltd（百度有限公司）；Xi’an Polytechnic University（西安工程大学）
由于深度学习（主要是深度神经网络）在各种人工智能应用中的主导地位，近年来，基于深度神经网络的集成学习（ensemble深度学习）在提高学习系统的泛化能力方面表现出了显著的性能。然而，由于现代深度神经网络通常具有数百万到数十亿个参数，因此训练多个基础深度学习器和使用集成深度学习器进行测试的时间和空间开销远远大于传统集成学习。虽然已经提出了几种快速集成深度学习算法，以促进集成深度学习在某些应用中的部署，但对于开发时间和计算资源通常受限或待处理的数据具有大维度的特定领域的许多应用仍需要进一步的发展。如何充分利用集成深度学习的显著优势，同时降低其所需的开销，使更多的特定领域的应用受益，是一个亟待解决的问题，了解集成学习在深度学习时代的发展历程，对于缓解这一问题至关重要。因此，在这篇文章中，我们提出了基本的讨论，重点是数据分析的出版作品，方法，最新进展和无法实现的传统集成学习和集成深度学习。希望本文能够帮助我们认识到在深度学习时代下集成学习未来发展所面临的内在问题和技术挑战。
2022-09-28 cs.AI cs.LG
Disentangling the Predictive Variance of Deep Ensembles through the Neural Tangent Kernel
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）
识别不熟悉的输入，也称为分布外（OOD）检测，是任何决策过程的关键属性。一种简单且经经验验证的技术是基于深度集成，其中不同神经网络上的预测方差用作输入不确定性的替代。然而，导致深度系综的不确定性估计的性能的归纳偏差的理论理解是缺失的。为了改善我们对它们行为的描述，我们研究了在简化的线性训练机制中运行的具有大层宽度的深度集成，其中使用梯度下降训练的函数可以由神经切线核描述。我们确定了两个噪声源，每个源在初始化时的预测方差中引起不同的归纳偏差。我们进一步从理论和经验上证明，这两种噪声源都会影响玩具模型和训练后现实环境中非线性深度合奏的预测方差。最后，我们提出了一些实用的方法来消除这些噪声源的一部分，从而在经过训练的深度集合中实现显著的变化和改进的OOD检测。
2022-10-18 cs.LG
FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation
ETH Zurich（苏黎世联邦理工学院）；LMU Munich（慕尼黑大学）；University of Zurich（苏黎世大学）
在现实世界中部署机器学习时，估计认知不确定性的能力通常至关重要，但现代方法通常会产生过度自信，未经校准的不确定性预测。量化认知不确定性的一种常见方法是训练模型集成，这种方法可用于广泛的预测模型。在简单的实现中，集成方法具有高计算成本和高存储器需求。这特别挑战了现代深度学习，其中即使是单个深度网络在计算和存储器方面也已经要求很高，并且已经引起了在实际上不实例化单独的集合成员的情况下仿真模型集合的多次尝试。我们介绍了FiLM-Ensemble，一种基于逐行线性调制（FiLM）概念的深层隐式集成方法。这项技术最初是为多任务学习开发的，目的是解耦不同的任务。我们表明，这个想法可以扩展到不确定性量化：通过用Film调制单个深度网络的网络激活，可以获得具有高度多样性的模型集合，从而获得对认知不确定性的良好校准估计，相比之下，计算开销较低。从经验上讲，FiLM-Ensemble优于其他隐式集成方法，并且它非常接近显式网络集成的上界（有时甚至超过它），而内存成本只有一小部分。
2022-12-19 cs.LG
Deep-learning PDEs with unlabeled data and hardwiring physics laws
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
提供偏微分方程的快速而精确的解是应用数学和物理领域持续感兴趣的问题。随着机器学习的最新进展，该领域的采用学习技术正在被热切追求。我们在线性和齐次偏微分方程的早期工作的基础上，开发了卷积深度神经网络，可以准确地解决非线性和非齐次方程，而不需要标记数据。这些网络的架构对于处理PDE并了解深度学习基础知识的科学学科来说是很容易访问的。
2019-04-13 cs.LG physics.comp-ph
Error analysis for deep neural network approximations of parametric hyperbolic conservation laws
ETH Zürich（苏黎世联邦理工学院）
我们推导出严格的边界上的误差所产生的近似的解决方案的参数双曲标量守恒律与ReLU神经网络。我们证明，近似误差可以通过克服维数灾难的ReLU神经网络来尽可能小。此外，我们提供了一个明确的上界的泛化误差的训练误差，训练样本的数量和神经网络的大小。数值实验验证了理论结果。
2022-07-15 cs.LG cs.NA math.NA
Scaling Laws for Deep Learning
Israel Institute of Technology（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）
跑得更快只能让你走这么远--通常建议首先了解道路通向哪里，然后再开车。在过去十年中，机器学习（ML）和深度学习（DL）的复兴伴随着不可扩展的计算成本，限制了其进步并在实践中对该领域产生影响。在这篇论文中，我们采取系统的方法来解决这些成本的根源算法和方法的局限性。我们首先证明了DL训练和修剪是可预测的，并由缩放定律控制-对于最先进的模型和任务，跨越图像分类和语言建模，以及通过迭代修剪进行最先进的模型压缩。可预测性，通过建立这些缩放定律，提供了原则性的设计和权衡推理，目前在很大程度上缺乏在该领域的路径。然后，我们继续分析来源的缩放定律，提供一个近似理论的观点，并显示通过探索一个无噪声的可实现的情况下，DL实际上是占主导地位的误差源非常远离误差下限。最后，我们建立在缩放定律的起源的理论理解。我们提出了一种方法来消除当前的主要误差源之一-通过数据带宽限制假设和奈奎斯特学习器的引入-这可以在原则上达到泛化误差下限（例如，在无噪声的情况下为0），在有限的数据集大小。
2021-08-17 cs.LG
Diversity regularization in deep ensembles
Computer Vision and Systems Laboratory / REPARTI and Big Data Research Centre（计算机视觉与系统实验室/REPARTI与大数据研究中心）；Université Laval（拉瓦尔大学）
校准监督学习模型的置信度对于预测的确定性应该是可靠的各种上下文是重要的。然而，据报道，深度神经网络模型通常校准得太差，无法实现在其预测中需要可靠的不确定性估计的复杂任务。在这项工作中，我们提出了一种使用多样性函数正则化训练深度集合的策略，该策略在保持相似预测精度的同时提高了校准性能。
2018-02-22 cs.LG
Emergent Equivariance in Deep Ensembles
Chalmers University of Technology（查尔姆斯理工大学）；the University of Gothenburg（哥德堡大学）；Genentech Roche（基因泰克罗氏）
本文证明数据增强可使深度集成产生流形外的等变集体预测，并借助神经正切核理论与数值实验验证该结论。
2024-06-15 cs.LG
Optimal Control of Agent-Based Dynamics under Deep Galerkin Feedback Laws
Imperial College London（帝国理工学院）
针对 Deep Galerkin Method 在高维平均场控制中的采样与高方差策略近似问题，提出基于漂移松弛的采样方法，并在意见动力学和 LQR 任务中验证其成本与性能优势。
2024-06-13 cs.LG
Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
Meta FAIR Labs（Meta FAIR 实验室）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
我们正式研究了深度学习模型的集成如何提高测试精度，以及如何使用知识蒸馏将集成的优越性能提取到单个模型中。我们考虑一个具有挑战性的情况，其中集成只是几个独立训练的神经网络的输出的平均值，这些神经网络具有神经网络架构，使用神经网络算法在神经网络数据集上训练，并且它们仅通过初始化中使用的随机种子而不同。我们证明了深度学习中的集成/知识蒸馏与传统的学习理论（如boosting或NTK，神经切线核）非常不同。为了正确理解它们，我们开发了一种理论，表明当数据具有我们称为“多视图”的结构时，独立训练的神经网络的集成可以证明提高测试精度，并且这种卓越的测试精度也可以通过训练单个模型来匹配集成的输出而不是真实标签来证明提取到单个模型中。我们的结果揭示了集成如何以与传统定理完全不同的方式在深度学习中工作，以及"暗知识“如何隐藏在集成的输出中并可用于蒸馏。最后，我们证明了自蒸馏也可以被看作是隐含地结合集成和知识蒸馏，以提高测试精度。
2023-02-15 cs.LG cs.NE math.OC
Simple Deep Random Model Ensemble
表示学习和无监督学习是机器学习和信号处理领域的两个核心课题。深度学习是最有效的无监督表示学习方法之一。本文的主要贡献如下。(i)我们建议将代表性的深度学习方法视为聚类集成的知识重用框架的特殊情况。(ii)我们建议将稀疏编码作为聚类集成的一致性函数，将字典学习视为聚类集成的基本聚类的训练过程。(ii)基于以上两种观点，我们提出了一种非常简单的深度学习算法，命名为深度随机模型集成（DRME）。它是一堆随机的模型集合。每个随机模型集合是一个特殊的k均值集合，它放弃了每个基本k均值的期望最大化优化，但只保留了基本k均值的默认初始化方法。(iv)我们建议选择最强大的表示层之间的应用DRME聚类的单链接作为聚类算法。此外，基于DRME的聚类还可以准确地检测自然簇的数量。在19个基准数据集上与5种表示学习方法进行了广泛的实验比较，证明了DRME的有效性。
2014-01-02 cs.LG
Boosting Deep Ensembles with Learning Rate Tuning
Florida International University（佛罗里达国际大学）
本文提出LREnsemble框架，利用不同学习率策略训练产生多样化的DNN作为基模型，并通过集成选择算法构建高质量深度集成，在多个基准数据集上最高提升2.34%准确率。
2024-10-10 cs.LG
Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?
University of Edinburgh（爱丁堡大学）；DCC/FCUP, University of Porto（葡萄牙里斯本大学数据与计算中心/里斯本大学）
本文研究了深度集成在图神经网络中的有效性，发现其在不确定性量化中效果有限，主要归因于模型优化噪声的稳定而非不确定性估计的提升，揭示了集成崩溃现象。
2026-10-14 cs.LG
DexDeepFM: Ensemble Diversity Enhanced Extreme Deep Factorization Machine Model
Zhejiang University（浙江大学）
预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的一项关键任务。为了从原始数据中识别预测特征，最先进的极深因子分解机器模型（xDeepFM）引入了一个新的交互网络，以显式地利用矢量级别的特征交互。然而，由于交互网络中的每个隐藏层都是特征图的集合，因此它本质上可以被视为不同特征图的集合。在这种情况下，仅使用单个目标来最小化预测损失可能导致过拟合并产生相关误差。本文提出了一种集成多样性增强的极深因子分解机器模型（DexDeepFM），该模型在每个隐层设计集成多样性度量，在目标函数中同时考虑集成多样性和预测精度。此外，引入注意力机制来区分不同特征交互顺序的集合多样性度量的重要性。在三个公开的真实世界数据集上进行了广泛的实验，以显示所提出的模型的有效性。
2021-12-10 cs.LG
On Uniform, Bayesian, and PAC-Bayesian Deep Ensembles
University of Copenhagen（哥本哈根大学）
本文研究深度集成的采样与加权机制，指出 Bayes 集成不利于误差抵消，提出通过最小化需留出数据估计相关性的 tandem loss 来优化二阶 PAC-贝叶斯权重，并证明其准确率与非空泛化保证均优于复杂 Bayes 集成。
2025-01-05 cs.LG
bde: A Python Package for Bayesian Deep Ensembles via MILE
Faculty of Physics, LMU Munich（物理系，慕尼黑大学）；Department of Statistics, LMU Munich（统计系，慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
bde是一个用于贝叶斯深度集成的Python包，专注于表格数据，基于JAX实现的MILE方法，提供兼容scikit-learn的估计器，实现快速训练、高效MCMC采样和不确定性量化。
2026-05-13 cs.LG
