Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London(帝国理工学院)
在这项工作中,我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明,我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Multi-headed Neural Ensemble Search
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
已知使用不同种子训练的CNN模型的集合(也称为深度集合)实现优于CNN的单个副本的性能。神经网络搜索(NES)可以通过增加架构多样性来进一步提高性能。然而,在有限的计算资源下,NES的范围仍然令人望而却步。在这项工作中,我们将NES扩展到多头合奏,其中包括一个共享的骨干连接到多个预测头。与Deep Ensemble不同,这些多头集成可以端到端训练,这使我们能够利用一次性NAS方法来优化集成目标。通过广泛的实证评估,我们证明了多头集成搜索找到强大的集成快3倍,同时具有可比的性能,其他集成搜索方法,在预测性能和不确定性校准。
2021-07-09 cs.LG stat.ML
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace(上阿尔萨斯大学 IRIMAS)
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发,深度学习开始在时间序列分类(TSC)方面显示出有希望的结果。然而,神经网络仍然落后于最先进的TSC算法,TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此,在本文中,我们展示了60个深度学习模型的集成如何在UCR/UEA档案(时间序列分析的最大公开基准)上进行评估时,显着提高TSC神经网络的当前最先进性能。最后,我们展示了我们提出的神经网络Ensemble(NNE)是第一个优于COTE的时间序列分类器,同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综(MME)。在此之后,经验证据支持{ \it现象},即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失,即,累积圆谱差(CSD)。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响,如使用神经结构搜索(NAS)和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford(牛津大学);Google Research(谷歌研究院)
我们通过神经正切核(NTK)的镜头探索深度集成和高斯过程(GP)之间的联系:理解宽神经网络(NN)的训练动态的最新进展。以前的工作已经表明,即使在无限宽的限制下,当NN成为GP时,也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改,通过向每个合奏成员添加一个可计算的,随机的和不可训练的函数,这使得在无限宽度限制下的后验解释成为可能。当集成在一起时,我们训练的NN给出了后验预测分布的近似值,并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后,使用有限宽度NN,我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测,并且可以在各种分布外设置中优于标准深度集成,用于回归和分类任务。
2020-10-24 cs.LG stat.ML
Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity
Worcester Polytechnic Institute(伍斯特理工学院)
集成学习是一个策略性地生成多个基础学习者并将其组合成一个复合学习者的过程。有两个特征对集成的性能至关重要,即组件学习器的个体准确性和集成中的整体多样性。学习者准确性和集成多样性的正确平衡可以提高机器学习任务在基准和真实世界数据集上的性能,最近的理论和实践工作已经证明了集成中准确性和多样性之间的微妙权衡。在本文中,我们扩展了现有的文献,提供了更深入的理论理解,评估和提高任何给定的合奏,包括随机森林和深神经网络合奏的最优性。我们还提出了一个训练算法的神经网络合奏,并证明我们的方法提供了改进的性能相比,国家的最先进的个人学习者和合奏的国家的最先进的学习者训练使用标准的损失函数。我们的关键见解是,它是更好地明确鼓励多样性的合奏,而不是仅仅允许多样性发生的偶然性,严格的理论界限之间的权衡多样性和学习者的准确性,让人们知道什么时候已经实现了最佳的安排。
2021-09-29 cs.LG
IEA: Inner Ensemble Average within a convolutional neural network
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
包围学习是一种结合多个训练模型以提高模型准确性的方法。我们提出在卷积神经网络(CNN)架构中使用这种方法,特别是集成平均,通过将单个卷积层替换为多个卷积层的内部平均集成(IEA)。不同基准数据集上的实证结果表明,使用IEA的CNN模型优于使用常规卷积层的模型。IEA生成的特征的视觉和相似性得分分析解释了为什么它提高了模型性能。
2019-08-06 cs.LG stat.ML
Ensemble Learning for Graph Neural Networks
Tsinghua University(清华大学)
本文提出名为ELGNN的图神经网络集成方法,通过结合不同初始化或架构的模型并利用Tree-Structured Parzen Estimator算法确定权重,有效提升了模型性能与鲁棒性。
2023-10-22 cs.LG
Regularized Neural Ensemblers
University of Freiburg(弗赖堡大学);PriorLabs;ELLIS Institute(ELLIS研究所);University of Technology Nürnberg(纽伦堡技术大学)
本研究提出用正则化神经网络作为集成方法,通过训练时随机丢弃基模型预测来保证多样性,提升泛化能力,并在视觉、语言和表格数据上取得与强基线相当的结果。
2025-06-23 cs.LG
FLANNEL: Focal Loss Based Neural Network Ensemble for COVID-19 Detection
IQVIA(艾昆纬);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
测试使用深度神经网络区分COVID-19与其他肺炎和健康患者的胸部X射线图像的可能性。我们从两个公开来源构建了X射线成像数据,其中包括2874名患者的5508张胸部X射线图像,分为四类:正常,细菌性肺炎,非COVID-19病毒性肺炎和COVID-19。为了识别COVID-19,我们提出了一种基于焦点损失的神经Entrance Network(FLANNEL),这是一种灵活的模块,可以集成多个卷积神经网络(CNN)模型,并与焦点损失融合,以便在类别不平衡数据上准确检测COVID-19。FLANNEL在COVID-19识别任务中的所有指标均优于基线模型。与最佳基线相比,FLANNEL在Covid-19识别任务中显示出更高的宏观F1得分,相对增加6%,其中精确度达到0.7833(0.07),召回率达到0.8609(0.03),F1得分达到0.8168(0.03)。
2020-10-30 cs.CV cs.LG eess.IV
Diversity and Generalization in Neural Network Ensembles
Autonomous University of Madrid(马德里自治大学);University of Almería(阿尔梅里亚大学);IDSIA(IDSIA研究所);Aalborg University(奥尔堡大学)
集成广泛用于机器学习,通常在许多预测任务中提供最先进的性能。从一开始,集合的多样性就被认为是这些模型优越性能的关键因素。但多样性在集成模型中的确切作用却知之甚少,特别是在神经网络的背景下。在这项工作中,我们结合和扩大以前发表的结果在一个理论上健全的框架,描述了多样性和合奏性能之间的关系,广泛的合奏方法。更确切地说,我们提供了以下问题的合理答案:如何衡量多样性,多样性如何涉及到集成的泛化误差,以及多样性如何促进神经网络集成算法。该分析涵盖了三种广泛使用的损失函数,即平方损失、交叉熵损失和0-1损失;以及两种广泛使用的模型组合策略,即模型平均和加权多数表决。我们用神经网络集成来实证验证这一理论分析。
2022-02-16 cs.LG math.ST stat.TH
Dynamic Ensemble Modeling Approach to Nonstationary Neural Decoding in Brain-Computer Interfaces
Zhejiang University(浙江大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
脑机接口(BCI)通过从神经活动解码运动运动来实现假肢设备控制。在运动控制过程中,大脑皮层记录的神经信号由于突发噪声和大脑活动的神经可塑性变化而呈现出非平稳特性。目前最先进的神经信号解码器,如卡尔曼滤波器,假设神经活动和运动之间的固定关系,因此,如果不满足这一假设,将失败。我们提出了一种动态集成建模(DyEnsemble)方法,该方法能够通过采用适当的解码功能组合来适应神经信号的变化。DyEntrance方法首先学习一组不同的候选模型。然后根据贝叶斯更新机制在线动态选择和组合模型。我们的方法可以减轻噪声的影响,并通过自动模型切换来处理不同的任务行为,从而给出更准确的预测。神经网络数据实验表明,DyEntrance方法的性能明显优于卡尔曼滤波器,且在噪声信号中优势更为明显。
2019-11-02 cs.LG eess.SP stat.ML
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而,在集成中训练这些大量的神经网络具有极高的计算成本,这可能成为训练大规模系统的障碍。在本文中,我们提出了DNS:一个基于确定性点过程的神经网络采样器,专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样,从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS,用于连续控制任务,并在MuJoCo环境中进行了评估。我们的实验表明,DNS增强的REDQ优于基线REDQ的平均累积奖励,并实现这一目标时,使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company(IMDEX有限采矿技术公司)
本研究提出一种结合XGBoost与神经网络的自适应集成框架,借助元学习、不确定性量化及特征重要性融合实现动态模型调度,在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
Disentangling the Predictive Variance of Deep Ensembles through the Neural Tangent Kernel
ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学)
识别不熟悉的输入,也称为分布外(OOD)检测,是任何决策过程的关键属性。一种简单且经经验验证的技术是基于深度集成,其中不同神经网络上的预测方差用作输入不确定性的替代。然而,导致深度系综的不确定性估计的性能的归纳偏差的理论理解是缺失的。为了改善我们对它们行为的描述,我们研究了在简化的线性训练机制中运行的具有大层宽度的深度集成,其中使用梯度下降训练的函数可以由神经切线核描述。我们确定了两个噪声源,每个源在初始化时的预测方差中引起不同的归纳偏差。我们进一步从理论和经验上证明,这两种噪声源都会影响玩具模型和训练后现实环境中非线性深度合奏的预测方差。最后,我们提出了一些实用的方法来消除这些噪声源的一部分,从而在经过训练的深度集合中实现显著的变化和改进的OOD检测。
2022-10-18 cs.LG
Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness
Georgia Institute of Technology(佐治亚理工学院)
包围学习是一种集成多个DNN学习器以提高单个学习器的预测性能的方法。当集合预测的误差更均匀地分布时,多样性更大。更大的多样性与集合精度的增加高度相关。多样性优化集成学习的另一个有吸引力的特性是它对欺骗的鲁棒性:对抗性扰动攻击可以误导一个DNN模型进行错误分类,但可能无法始终如一地欺骗其他集成DNN成员。在本文中,我们首先概述了集成多样性的概念,并在DNN分类器的背景下研究了三种类型的集成多样性。然后,我们描述了一组集成多样性措施,一套算法,用于创建多样性集成和执行集成共识(投票或学习),通过战略性地结合各个成员的输出生成高精度集成输出。本文最后讨论了一组公开的问题,在量化集成多样性的鲁棒深度学习。
2019-08-29 cs.LG stat.ML
The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification
人工神经网络已经成功地应用于各种机器学习任务,包括图像识别、语义分割和机器翻译。然而,很少有研究充分调查的人工神经网络的合奏。在这项工作中,我们研究了多种广泛使用的集成方法,包括未加权平均,多数投票,贝叶斯最优分类器和(离散)超级学习器,用于图像识别任务,深度神经网络作为候选算法。我们设计了几个实验,候选算法是相同的网络结构,不同的模型检查点在一个单一的训练过程中,网络结构相同,但训练多次随机,和网络结构不同。此外,我们进一步研究了神经网络的过度自信现象,以及它对集成方法的影响。在我们所有的实验中,超级学习者在这项研究中的所有集成方法中取得了最好的性能。
2017-04-05 cs.CV cs.LG stat.ME
Surrogate assisted diversity estimation in neural ensemble search
本文针对神经集成搜索(NES)计算成本高的问题,提出双目标代理引导的集成搜索方法,在多个数据集上取得优于或相当于基线的性能。
2026-07-30 cs.LG
Optimizing over an ensemble of neural networks
University of Connecticut(康涅狄格大学);University of Cincinnati(辛辛那提大学)
我们研究优化问题,其中目标函数通过具有整流线性单元(ReLU)激活的前馈神经网络建模。最近的文献已经探索了使用单个神经网络来对目标函数内的不确定或复杂元素进行建模。然而,众所周知的是,集成的神经网络产生更稳定的预测,并具有更好的泛化能力比模型与单个神经网络,这促使研究集成的神经网络,而不是单个神经网络在决策管道。我们研究如何将一个神经网络集成作为优化模型的目标函数,并探索计算方法,随后的问题。我们提出了一个混合整数线性规划的基础上,现有的流行的大M配方优化一个单一的神经网络。我们为我们的模型开发了一个两阶段的方法,该方法结合了预处理程序,以收紧神经网络中关键神经元的边界,并采用基于拉格朗日松弛的分支定界方法。对我们的解决方案方法的实验评估表明,与单个神经网络相比,使用神经网络集合可以产生更稳定、更高质量的解决方案,并且我们的优化算法在计算时间和最优性差距方面优于最先进的方法。
2022-05-10 cs.DS cs.LG math.OC
HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble
Duke University(杜克大学);University of California Berkeley(加州大学伯克利分校)
包围学习作为进一步提高深度神经网络(DNN)模型的准确性和泛化能力的一种方法,在最近的深度学习研究中得到了关注。目前的集成训练方法采用不同的训练算法或设置在具有相同模型架构的多个子模型上,这会导致集成模型的内存和计算开销的显著负担。同时,随机诱导的多样性可能不会导致显著的性能增益。我们提出了一种新的视角,探索模型架构内的内在多样性,以构建高效的DNN集成。我们做了一个有趣的观察,修剪和量化,虽然都导致有效的模型架构的代价是小的准确性下降,导致不同的行为在决策边界。为此,我们提出了异构压缩Ensemble(HCE),其中我们使用预训练的DNN模型中的修剪和量化变体构建了一个有效的集成。提出了一种多样性感知的训练目标,以进一步提高HCE集成的性能。实验结果表明,与传统的DNN集成训练方法和以往的模型压缩方法相比,HCE在效率-精度权衡上有了显著的改善。
2023-01-18 cs.LG
On the Effectiveness of Neural Ensembles for Image Classification with Small Datasets
Sapienza University of Rome(罗马大学)
深度神经网络代表了图像分类的黄金标准。但是,它们通常需要大量数据才能实现卓越的性能。在这项工作中,我们专注于图像分类问题,每个类有几个标记的例子,并通过使用相对较小的网络集成提高数据效率。我们的工作第一次广泛地研究了小数据域中神经集成的现有概念,通过使用流行的数据集和架构进行广泛的验证。我们将网络的集成与其更深或更广的单一竞争对手进行比较,给出了一个总的固定计算预算。我们表明,集成相对较浅的网络是一种简单而有效的技术,通常优于当前最先进的从小数据集学习的方法。最后,我们提出了我们的解释,根据这一解释,神经集成更有样本效率,因为它们学习更简单的函数。
2021-11-29 cs.CV cs.LG
Autoselection of the Ensemble of Convolutional Neural Networks with Second-Order Cone Programming
Bahcesehir University(巴耶塞特大学)
包围盒技术在机器学习和工程问题中经常遇到,因为该方法结合了不同的模型并产生最优的预测解。集成概念可以适用于深度学习模型,以提供鲁棒性和可靠性。由于深度学习中模型的增长,使用集成修剪对于处理计算复杂性非常重要。因此,本研究提出了一种数学模型,该模型修剪了由不同深度和层组成的卷积神经网络(CNN)的集合,同时使用稀疏二阶圆锥优化模型最大化准确性和多样性。该模型在CIFAR-10、CIFAR-100和MNIST数据集上进行了测试,结果令人满意,同时显著降低了模型的复杂性。
2023-02-12 cs.LG math.OC
Informative Neural Ensemble Kalman Learning
Massachusetts Institute of Technology(麻省理工学院)
在随机系统中,信息方法选择关键的测量或决策变量,最大限度地提高信息增益,以提高模型相关的推理的功效。神经学习也体现了随机动力学,但信息学习发展较少。在这里,我们提出了信息Energy-Energy-Kalman学习,它用自适应Energy-Kalman滤波器卡尔曼滤波器代替反向传播来量化不确定性,并使学习过程中的信息增益最大化。在标准数据集上展示了Ensemble卡尔曼学习的竞争性能之后,我们将信息方法应用于神经结构学习。特别是,我们表明,当从Lorenz-63系统的模拟训练时,有效学习的结构恢复了动力学方程。据我们所知,信息包络卡尔曼学习是新的。结果表明,这种优化学习的方法是有前途的。
2020-08-22 cs.LG math.DS nlin.CD
Neural Ensemble Search for Uncertainty Estimation and Dataset Shift
University of Oxford(牛津大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
与独立网络相比,神经网络的集成在准确性、不确定性校准和对数据集移位的鲁棒性方面实现了优异的性能。\emph{Deep ensembles}是一种用于不确定性估计的现有技术方法,仅对\emph{fixed}架构进行集合随机初始化。相反,我们提出了两种方法自动构建合奏与\emph{varying}架构,这隐含的权衡个别架构的优势对合奏的多样性,并利用建筑变化的多样性来源。在各种分类任务和现代架构的搜索空间,我们表明,所得到的合奏优于深度合奏不仅在准确性,而且不确定性校准和鲁棒性数据集移位。我们的进一步分析和消融研究提供了更高的合奏多样性的证据,由于架构的变化,导致合奏,可以优于深合奏,即使有较弱的平均基础学习者。为了促进可重复性,我们提供了代码:\url{https://github.com/automl/nes}
2022-02-21 cs.LG stat.ML
Ensemble Convolutional Neural Networks for Mode Inference in Smartphone Travel Survey
Concordia University(康考迪亚大学);Ryerson University(瑞尔森大学)
我们开发了集成卷积神经网络(CNN)来对收集的出行数据的交通模式进行分类,这些数据是加拿大蒙特利尔大规模智能手机出行调查的一部分。我们提出的集成库由一系列具有不同超参数值和CNN架构的CNN模型组成。在我们的最终模型中,我们使用“平均投票”、“多数投票”和“最优权重”方法组合了CNN模型的输出。此外,我们利用集成库部署一个随机森林模型作为元学习者。以随机森林为元学习器的集成方法的准确率为91.8%,超过了其他三种集成组合方法,以及文献中报道的其他可比模型。“多数投票”和“最优权重”组合方法的预测准确率约为89%,而“平均投票”的准确率仅为85%。
2019-04-18 cs.LG stat.ML
Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending
Purdue University(普渡大学);University of Ioannina(约阿尼纳大学)
给定一个{features,target}数据集,我们引入了一个增量算法,该算法使用神经网络的集成来构建一个聚合回归量。众所周知,集成方法遭受多重共线性问题,这是主要由于公共训练数据集而产生的冗余的表现。在目前的增量方法中,在每个阶段,我们最佳地混合的总回归与新训练的神经网络下的凸性约束,如果必要的话,诱导负相关。在此框架下,共线性问题根本不会出现,因此该方法既准确又稳健。
2021-04-30 cs.AI cs.LG math.OC
Neural Subnetwork Ensembles
Colorado State University(科罗拉多州立大学)
本文提出子网络集成框架,通过从已训练父模型中采样、扰动和优化子网络来低成本构建集成模型,在提升训练效率、参数利用率和泛化性能的同时显著降低计算成本。
2024-07-05 cs.LG cs.NE
Bayesian Quadrature for Neural Ensemble Search
University of Oxford(牛津大学)
集成可以提高神经网络的性能,但是当架构似然表面具有分散的窄峰时,现有的方法很难实现。此外,现有的方法构造等权重的合奏,这是可能容易受到故障模式的较弱的架构。通过查看合奏近似边缘化的架构,我们构建合奏使用贝叶斯求积的工具-工具,非常适合于探索的可能性表面分散,窄峰。此外,由此产生的集成包括与其性能相称的加权架构。我们凭经验证明-在测试可能性,准确性和预期校准误差方面-我们的方法优于最先进的基线,并通过消融研究验证其组件独立完成。
2023-03-17 cs.LG stat.ML
Deep Convolutional Neural Network Ensembles using ECOC
Sabanci University(萨班哲大学);University of Surrey(萨里大学);University College London(伦敦大学学院)
深度神经网络已经在包括图像理解在内的许多应用中增强了决策系统的性能,并且可以通过构建集成来实现进一步的增益。然而,设计深度网络的集成通常不是非常有益的,因为训练网络所需的时间非常高或者所获得的性能增益不是非常显著。在本文中,我们分析了纠错输出编码(ECOC)框架,将其用作深度网络的集成技术,并提出了不同的设计策略来解决准确性-复杂性的权衡。我们进行了广泛的比较研究之间的介绍ECOC设计和国家的最先进的集成技术,如集成平均和梯度提升决策树。此外,我们提出了一种组合技术,这是实现最高的分类性能之间的所有。
2021-03-07 cs.LG stat.ML
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
在实际应用中,树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则,软树使用梯度方法来训练,其中整个分裂操作以可微形式制定。虽然近年来,这种软树的集合越来越多地被使用,但很少有理论工作来理解它们的行为。通过对无限软树系综的研究,引入并研究了树神经切线核(TNTK),为研究无限软树系综的行为提供了新的思路.使用TNTK,我们从理论上确定了几个非平凡的属性,如全局收敛的训练,不经意的树结构的等价性,和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Adaptive Neural Network Ensemble Using Frequency Distribution
Cho Chun Shik Graduate School of Mobility(赵春植移动研究生院);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
神经网络(NN)集成可以减小神经网络的大预测方差,提高预测精度。对于数据集不足的高度非线性问题,神经网络模型的预测精度变得不稳定,导致集成精度下降。因此,本研究提出了一种基于频率分布的集成,确定核心预测值,预计将集中在附近的真实预测值。基于频率分布的系综通过利用基于从给定预测点获得的各种预测值的频率分布进行统计分析来对由多个预测值支持的核心预测值进行分类。基于频率分布的集成可以通过排除具有低精度的预测值并应对最频繁值的不确定性来提高预测性能。提出了一种自适应采样策略,该策略基于作为核心预测值的方差计算的核心预测方差来顺序地添加样本,以有效地提高基于频率分布的集成的预测性能。实例分析结果表明,基于频率分布的集成方法的预测精度高于克里格法和其他现有的集成方法。此外,所提出的自适应采样策略有效地提高了预测性能的频率分布为基础的合奏相比,以前开发的空间填充和预测方差为基础的战略。
2022-10-19 cs.LG
Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院)
使用集成的神经网络(NN)的量化预测的不确定性是广泛的。然而,目前的理由是直观的,而不是分析。这项工作提出了一个小的修改,正常的合奏方法,我们证明允许合奏执行贝叶斯推断,因此收敛到相应的高斯过程的NN的总数,每个的大小,趋于无穷大。这篇工作论文提供了强化学习环境中的早期结果,分析了该技术在小的有限数量集合中的实用性。使用锚定集合产生的不确定性估计来管理探索-利用过程,可以产生更好、更稳定的学习。
2018-07-02 cs.AI cs.LG stat.ML
Confident Neural Network Regression with Bootstrapped Deep Ensembles
Radboud University(拉德堡德大学)
本文提出一种计算成本低廉的Bootstrapped Deep Ensembles方法,通过修改的参数自举显式建模有限数据效应,显著提升了回归任务中标准深度集成的不确定性估计性能。
2023-08-03 cs.LG stat.ML
Continual learning with the neural tangent ensemble
Cold Spring Harbor Laboratory(冷泉港实验室)
本文提出将神经网络视为神经正切专家的贝叶斯集成,其后验更新等价于缩放投影的SGD,为持续学习中缓解灾难性遗忘提供了新框架。
2025-02-27 cs.LG cs.NE
Ensemble of Deep Convolutional Neural Networks for Automatic Pavement Crack Detection and Measurement
Shantou University(汕头大学);Sapienza University of Rome(罗马大学);Pusan National University(釜山国立大学)
路面裂缝的自动检测与测量是重要的道路问题。各机构必须保证改善道路安全。传统的裂纹检测和测量算法可能非常耗时且效率低。因此,近年来,创新算法越来越受到研究人员的关注。在本文中,我们提出了一个集成的卷积神经网络(没有池层)的基础上概率融合的自动路面裂缝检测和测量。具体地说,一个集成的卷积神经网络被用来识别与原始图像的小裂纹的结构。其次,对总体的各个卷积神经网络模型的输出进行平均,以产生每个像素的最终裂纹概率值,这可以获得预测的概率图。最后,利用骨架提取算法对预测的裂纹形态特征进行测量。为了验证所提出的方法,在两个公共裂纹数据库(CFD和AigleRN)上进行了一些实验,并对不同的最先进的方法的结果进行了比较。实验结果表明,该方法优于其他方法。对于裂纹测量,可以根据不同的裂纹类型(复杂、普通、薄和交叉裂纹)测量裂纹长度和宽度。实验结果表明,该算法可以有效地应用于裂纹的测量。
2020-02-08 cs.CV cs.LG eess.IV
Enhancing Time Series Classification with Diversity-Driven Neural Network Ensembles
Université de Haute Alsace(阿尔萨斯大学);IRIMAS;Monash University(墨尔本大学);DSAI(数据科学与人工智能学院)
本文提出了一种多样性驱动的神经网络集成框架,通过特征正交损失促进特征多样性,从而在时间序列分类中实现更高效和可扩展的集成学习。
2026-02-07 cs.LG
Improving Neural Architecture Search Image Classifiers via Ensemble Learning
Google Research(谷歌研究院)
寻找最佳的神经网络架构需要大量的时间、资源和专业知识。这些挑战部分通过神经架构搜索(NAS)来解决,NAS能够找到最佳的卷积层或单元,然后将其用作网络的构建块。然而,一旦找到好的构建块,仍然需要手动设计来组装最终架构,作为预定义参数预算约束下的多个块的组合。一个常见的解决方案是将这些块堆叠成单个塔,并调整宽度和深度以满足参数预算。然而,这些单塔架构可能不是最佳的。相反,在本文中,我们提出的AdaNAS算法,使用集成技术组成一个神经网络作为一个较小的网络集成自动。此外,我们引入了一种新的技术,基于知识蒸馏迭代训练较小的网络使用以前的合奏作为老师。我们的实验表明,在保持相同数量的参数的同时,网络集成提高了单个神经网络的准确性。我们的模型在CIFAR-10上实现了与最先进技术相当的结果,并在CIFAR-100上建立了新的最先进技术。
2019-03-14 cs.LG stat.ML
Neural Network Ensembles to Real-time Identification of Plug-level Appliance Measurements
University of Stuttgart(斯图加特大学)
从其个人消耗简档识别最终用途电器的问题(称为电器识别问题)是非侵入式负载监测(NILM)和自动化插头式计量两者中的主要阶段。因此,电器识别已经接受了专门的研究与各种电器签名,分类模型和评估数据集。在本文中,我们提出了一个神经网络集成的方法来解决这个问题,使用高分辨率的测量。这些模型是在原始电流和电压波形上训练的,因此不需要精心设计的电器签名。我们从55个住宅建筑,11个家电类别,和超过1000个测量公开可用的家电数据集上评估所提出的模型。我们进一步研究了训练模型在训练数据集、采样频率和设备稳态操作变化方面的稳定性。
2018-02-20 cs.AI cs.LG eess.SP
Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles
Colorado State University(科罗拉多州立大学)
多样性是构造鲁棒神经网络集成的重要考虑因素。如果一组经过良好训练的模型在响应的模式和做出的预测方面是多样的,那么它们的泛化能力会更好。多样性对于低成本集成方法尤其重要,因为成员通常共享网络结构,以避免从头开始训练几个独立的模型。多样性传统上是通过测量模型输出之间的差异来分析的。然而,这给了小的洞察力如何知识表示不同的合奏成员。本文介绍了几种可用于定性分析多样性的解释性方法。我们通过比较两种低成本集成算法(快照集成和修剪和调谐集成)子网络之间的特征表示的多样性来演示这些技术。我们使用相同的预先训练的父网络作为这两种方法的起点,这使我们能够探索特征表示如何随着时间的推移而演变。这种多样性分析方法可以为我们如何衡量和促进集成方法的多样性带来有价值的见解和新的视角。
2023-02-12 cs.LG
On-line conformalized neural networks ensembles for probabilistic forecasting of day-ahead electricity prices
CNR(国家研究委员会);University of Parma(帕尔马大学)
本文提出一种在线共形化神经网络集成方法,通过共形推断与在线重校准提升日前电价概率预测的小时覆盖率与概率评分稳定性。
2024-06-10 cs.LG
Collective Learning by Ensembles of Altruistic Diversifying Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
组合神经网络集合的预测通常优于最好的单个网络。这种集合通常是独立训练的,其优越的“群体智慧”源于网络之间的差异。在社会互动的动物群体中,集体觅食和决策往往会得到改善,甚至是最佳的,这要归功于同种动物之间的局部信息共享。因此,我们提出了一个共同学习的相互作用的神经网络,旨在最大限度地提高自己的性能,但也与其他网络的功能关系的合奏模型。我们发现,合奏的相互作用的网络优于独立的,并达到最佳的合奏性能时,网络之间的耦合增加多样性和降低个别网络的性能。因此,即使没有一个整体目标,最佳的集体行为也会从网络之间的局部相互作用中产生。我们展示了最佳耦合强度与合奏大小的缩放,以及这些合奏中的网络在功能上的专业化,并在他们的评估变得更加“自信”。此外,与独立训练的网络相比,最佳协同学习网络在结构上有所不同,依赖于更稀疏的活动,更广泛的突触权重和更高的发射率。最后,我们探索基于互动的共同学习作为一个框架,扩大和提高合奏。
2020-06-20 cs.LG cs.MA cs.NE
On Extending Neural Networks with Loss Ensembles for Text Classification
Ferdowsi University of Mashhad (FUM)(马什哈德菲尔多西大学);Macquarie University(麦考瑞大学)
包围技术是一种强大的方法,它将几个弱学习器组合起来,构建一个更强的学习器。集成技术作为一种Meta学习框架,可以很容易地应用于许多机器学习技术。本文提出了一种基于集成损失函数的神经网络用于文本分类。通过神经网络的梯度传播优化方法在训练阶段内调整每个弱损失函数的权重。该方法在多个文本分类数据集上进行了评估。我们还评估了它在各种环境中的性能与几个程度的标签噪声。实验结果表明,与其他方法相比,该方法的结果有所改善,对标签噪声有较强的抵抗力。
2017-11-14 cs.CL cs.LG stat.ML
Make (Nearly) Every Neural Network Better: Generating Neural Network Ensembles by Weight Parameter Resampling
LG Electronics(LG电子)
深度神经网络(DNN)在计算机视觉、自然语言处理和其他领域变得越来越流行。然而,训练和微调深度学习模型是计算密集型和耗时的。我们提出了一种新的方法来提高几乎所有模型的性能,包括预训练模型。所提出的方法使用集成方法,其中集成中的网络是通过基于这些参数的概率分布重新分配模型参数值来构建的,这些参数是在训练过程结束时计算的。对于预训练的模型,这种方法会导致额外的训练步骤(通常少于一个epoch)。我们使用MNIST数据集进行了各种分析,并使用ImageNet数据集上的预训练模型使用许多DNN模型验证了该方法。
2018-07-02 cs.AI cs.CV cs.LG
Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
计算物理中的经典问题,例如数据驱动的预测和来自稀疏传感器的信号重建,最近在基于深度神经网络(DNN)的算法方法中出现了爆炸式增长。然而,大多数DNN模型不提供不确定性估计,这对于在下游决策任务和场景中建立这些技术的可信度至关重要。近年来,基于集成的方法在DNN中的不确定性量化方面取得了重大成功。然而,它们在实际应用中的性能仍然没有得到充分的研究。在这项工作中,我们提出了一种自动化的DNN发现方法,并演示了如何将其用于基于集合的不确定性量化。具体来说,我们建议使用一个可扩展的神经和超参数架构搜索发现一个复杂的动态系统的DNN模型的合奏。我们强调了所提出的方法不仅可以为我们的任务发现高性能的神经网络集合,而且还可以无缝地量化不确定性。这是通过使用遗传算法和贝叶斯优化对神经网络架构和超参数的搜索空间进行采样来实现的。随后,使用模型选择方法来识别用于系综集构造的候选模型。之后,方差分解方法被用来估计从合奏的预测的不确定性。我们证明了这一框架的可行性,两个任务-预测从历史数据和流量重建稀疏传感器的海面温度。我们展示了优越的性能,从合奏与个人的高性能模型和其他基准相比。
2023-02-20 cs.LG math.DS
Towards Robust Neural Networks via Random Self-ensemble
UC Davis(加州大学戴维斯分校)
最近的研究揭示了深度神经网络的脆弱性:一个人类无法察觉的小的对抗性扰动很容易使训练有素的深度神经网络错误分类。这使得在安全关键应用中应用神经网络变得不安全。本文结合{ \bf随机性}和{ \bf集成}这两个重要概念,提出了一种新的防御算法--随机自集成(RSE)。为了保护目标模型,RSE在神经网络中加入随机噪声层以防止基于梯度的强攻击,并在随机噪声上集成预测以稳定性能。我们证明了该算法等价于集成无限多个噪声模型$f_ε$而不需要任何额外的内存开销,并且基于噪声随机梯度下降的训练过程可以确保集成模型具有良好的预测能力.我们的算法显着优于以前的防御技术对真实数据集。以CIFAR-10为例,在VGG网络上(未攻击时预测准确率为92%),在一定的失真容限内,在强C &W攻击下,未保护模型的预测准确率下降到10%以下,以往最好的防御技术具有$48\%$的预测准确率,而我们的方法在同样的攻击水平下仍具有$86\%$的预测准确率。最后,我们的方法是简单的,易于集成到任何神经网络。
2018-08-01 cs.CR cs.LG stat.ML
Sparsely ensembled convolutional neural network classifiers via reinforcement learning
Pavlov Institute of Physiology RAS(俄罗斯科学院巴甫洛夫生理学研究所);State University of Aerospace Instrumentation(国立航空航天仪器大学)
我们考虑卷积神经网络(CNN)集成学习的目标函数的启发,最小行动原则,它包括资源消耗组件。我们教一个代理通过一组预先训练的分类器来感知图像,并希望得到的动态配置的系统以最小的操作次数和最大的预期精度展开计算图。建议代理的架构隐式近似所需的分类器选择功能的帮助下,强化学习。我们的实验结果证明,如果代理利用动态(和上下文相关)的计算结构,它优于传统的集成学习。
2021-02-07 cs.AI cs.CV cs.LG
Activation Ensembles for Deep Neural Networks
Northwestern University(西北大学)
过去已经提出了许多激活函数,但是选择一个合适的激活函数需要反复试验。我们提出了一种新的方法来设计激活函数内的神经网络在每一层。我们称这种技术为“激活集成”,因为它允许在每一层使用多个激活函数。这是通过在网络的每个激活层引入附加变量$α$来实现的,以允许多个激活函数在每个神经元处激活。通过设计,在神经元处具有较大$α$值的激活等效于具有最大幅度。因此,那些更高幅度的激活被网络“选择”。我们使用前馈和卷积神经网络阵列在各种数据集上实现激活集成。通过使用激活集成,我们实现了优于传统技术的结果。此外,由于这种方法的灵活性,我们更深入地探索激活函数及其捕获的功能。
2017-02-24 cs.LG stat.ML
Repulsive Ensembles for Bayesian Inference in Physics-informed Neural Networks
Department of Information Technology Uppsala University(信息科技系乌普萨拉大学);Department of Computer Science Aalto University(计算机科学系阿莱克特大学)
本研究提出排斥系综物理信息神经网络(RE-PINN),通过损失函数中的排斥项实现贝叶斯推断,获得更准确的不确定性估计和更高的样本多样性,优于标准系综。
2026-10-27 cs.LG stat.ML
Information in Infinite Ensembles of Infinitely-Wide Neural Networks
Edmond and Lilly Safra Center for Brain Sciences(埃德蒙与莉莉·萨夫拉脑科学中心);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
在这一初步工作中,我们研究了无限宽神经网络的无限集成的推广性质。令人惊讶的是,这个模型家族允许对许多信息论量进行易于处理的计算。我们报告的分析和实证调查,在寻找与泛化相关的信号。
2022-11-07 cs.IT cs.LG math.IT
A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters
TotalEnergies SE(道达尔能源公司);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心)
带有集成的自动机器学习(或带有集成的AutoML)旨在自动构建深度神经网络(DNN)的集成,以实现定性预测。DNN的包围是众所周知的,以避免过度拟合,但他们是内存和时间消耗的方法。因此,理想的AutoML将在一个单一的运行时间中产生关于准确性和推理速度的不同集合。虽然以前的AutoML工作专注于搜索最佳模型以最大限度地提高其泛化能力,但我们提出了一种新的AutoML来构建更大的准确和多样化的个体模型库,然后构建集成。首先,我们广泛的基准测试表明,异步Hyperband是构建大量不同模型以组合它们的有效且健壮的方法。在此基础上,提出了一种基于多目标贪心算法的集成选择方法,通过控制计算代价来生成准确的集成。最后,我们提出了一种新的算法来优化的DNN集成在GPU集群的基础上分配优化的推理。所产生的AutoML与集成方法在训练阶段和推理阶段都使用高效的GPU集群在两个数据集上显示出稳健的结果。
2022-08-30 cs.DC cs.LG
Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection
University of Surrey(萨里大学);University of Edinburgh(爱丁堡大学)
由于在实际应用中部署机器学习模型的重要性,分发外(OOD)检测最近受到了机器学习社区的广泛关注。在本文中,我们提出了一个不确定性量化的方法,通过建模的分布特征。我们进一步结合了一个有效的集成机制,即批量集成,构建批量集成的随机神经网络(BE-SNNs),并克服了功能崩溃的问题。我们将所提出的BE-SNN的性能与其他最先进的方法进行了比较,并表明BE-SNN在几个OOD基准上具有优异的性能,例如Two-Moons数据集,FashionMNIST vs MNIST数据集,FashionMNIST vs NotMNIST数据集以及CIFAR 10 vs SVHN数据集。
2022-06-26 cs.AI cs.LG
Feature Space Particle Inference for Neural Network Ensembles
Denso IT Laboratory Inc.(电装IT实验室公司);Tokyo Institute of Technology(东京工业大学)
深度神经网络的集成展示了比单个模型更好的性能。为了提高集成成员的多样性,同时保持他们的性能,基于粒子的推理方法提供了一个很有前途的方法从贝叶斯的角度来看。然而,将这些方法应用于神经网络的最佳方式仍然不清楚:由于过度参数化问题,从权重空间后验中寻找样本效率低下,而直接从函数空间后验中寻找样本通常会导致严重的欠拟合。在这项研究中,我们提出了在特征空间中优化粒子,其中特定中间层的激活在于解决上述困难。我们的方法鼓励每个成员捕捉不同的功能,这有望提高集成预测的鲁棒性。对真实世界数据集的广泛评估表明,我们的模型在各种指标上都明显优于黄金标准的深度集成,包括准确性,校准和鲁棒性。代码可在https://github.com/DensoITLab/featurePI上获得。
2022-06-02 cs.CV cs.LG stat.ML
Exact Certification of Neural Networks and Partition Aggregation Ensembles against Label Poisoning
Munich Center for Machine Learning(慕尼黑机器学习中心);Australian Institute for Machine Learning, Adelaide University(阿德莱德大学澳大利亚机器学习研究所)
本文提出EnsembleCert框架,通过白盒知识提升分区聚合集成的认证鲁棒性,ScaLabelCert方法利用神经切线核实现神经网络对标签毒化攻击的精确认证,实验显示其在CIFAR-10上认证效果优于现有黑盒方法。
2026-04-13 cs.LG
Neural Architecture for Online Ensemble Continual Learning
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);Alphamoon Ltd.(Alphamoon有限公司)
针对单样本在线呈现的持续学习难题,提出完全可微的端到端神经网络集成方法,无需记忆缓冲区即达SOTA,且小型集成也能实现高分类准确率。
2023-08-21 cs.LG