Inner Ensemble Networks: Average Ensemble as an Effective Regularizer
UT Austin(德克萨斯大学奥斯汀分校);UAlbany(奥尔巴尼大学);KAUST(阿卜杜拉国王科技大学);Stanford(斯坦福大学)
我们引入了内部集成网络(IEN),它可以减少神经网络本身的方差,而不会增加模型的复杂性。IEN在训练阶段利用集成参数来减少网络方差。在测试阶段,这些参数被删除,而不会改变增强的性能。IEN通过因子$1/m^{L-1}$减少普通深度模型的方差,其中$m$是内部集合的数量,而$L$是模型的深度。此外,我们的经验和理论表明,IENS导致更大的方差减少相比,其他类似的方法,如辍学和maxout。我们的结果表明,与普通的深度模型相比,出错率降低了1.7%和17.3%。我们还表明,神经结构搜索(NAS)方法比以前的方法,IEN是首选。代码可在https://github.com/abduallahmohamed/inner_ensemble_nets上获得。
2020-10-09 cs.LG stat.ML
Efficacy of Neural Prediction-Based Zero-Shot NAS
本文提出一种基于正弦傅里叶和编码与多层感知机的零样本NAS方法,通过可学习编码构建前馈图并对架构排序,在NAS-Bench-201上超越图卷积方法,且特征表示可跨基准迁移。
2023-09-22 cs.AI cs.LG
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综(MME)。在此之后,经验证据支持{ \it现象},即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失,即,累积圆谱差(CSD)。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响,如使用神经结构搜索(NAS)和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
Inference Latency Prediction at the Edge
University of Southern California(南加州大学)
随着移动设备上推理任务的工作量不断增长,最先进的神经架构(NA)通常通过神经架构搜索(NAS)来设计,以识别在准确性和效率之间具有良好权衡的NA(例如,等待时间)。由于在NAS期间测量大量候选架构的延迟是不可扩展的,因此需要用于预测移动设备上的端到端推断延迟的方法。由于硬件异构性,ML框架应用的优化以及神经架构的多样性,这种预测具有挑战性。出于这些挑战的动机,在本文中,我们首先定量评估了对推理延迟有重大影响的神经架构和移动设备的特征。基于此评估,我们提出了一个延迟预测框架,通过开发操作方面的延迟预测器来解决这些挑战,在各种设置和许多硬件设备下,使用多核CPU和GPU,实现端到端延迟预测的高准确性,正如我们的综合评估所示。为了说明我们的方法不需要昂贵的数据汇集,我们还表明,准确的预测,可以实现对现实世界的NA只使用少量的分析数据。
2022-10-06 cs.LG cs.PF
Accuracy Prediction with Non-neural Model for Neural Architecture Search
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
神经结构搜索(NAS)的准确性预测器,预测候选架构的准确性,已引起越来越多的关注,由于其简单性和有效性。以往的预测方法通常采用基于神经网络的预测器,这类预测器的设计较为精细,且容易过拟合。考虑到大多数体系结构表示为离散符号序列,更像是表格数据,更受非神经预测器的青睐,本文研究了一种使用非神经模型进行精度预测的替代方法。具体来说,由于基于决策树的模型可以更好地处理表格数据,我们利用梯度提升决策树(GBDT)作为NAS的预测器。我们证明,GBDT预测可以实现可比的(如果不是更好的)预测精度比神经网络为基础的预测。此外,考虑到一个紧凑的搜索空间可以简化搜索过程,我们建议修剪的搜索空间逐渐根据重要特征从GBDT。以这种方式,可以通过首先修剪搜索空间然后搜索神经架构来执行NAS,这是更高效和有效的。在NASBench-101和ImageNet上的实验结果表明,GBDT作为NAS的预测器是有效的:(1)在NASBench-101上,它比随机搜索、正则化进化和蒙特卡罗树搜索(MCTS)在寻找全局最优解方面的样本效率分别高22倍、8倍和6倍;(2)在ImageNet上实现了24.2%的top-1出错率,并且在使用搜索空间修剪增强后,ImageNet上的top-1出错率进一步达到23.4%。代码在https://github.com/renqianluo/GBDT-NAS上提供。
2021-07-19 cs.AI cs.CV cs.LG
AgenticRS-EnsNAS: Ensemble-Decoupled Self-Evolving Architecture Search
Alibaba Group(阿里巴巴集团)
本文提出ensemble-decoupled架构搜索框架,通过预测系统级性能降低评估成本,统一了连续和离散pi的解决方案策略,揭示了基础多样性增益和准确增益两种改进机制。
2026-03-20 cs.LG
Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets
KAIST(韩国科学技术院)
本文提出蒸馏感知元预测模型DaSS,无需实际训练即可预测学生架构在未见数据集和教师下的蒸馏性能,解决了DaNAS计算成本高和快速NAS次优的问题,并在多个未见数据集上显著优于现有方法。
2023-05-26 cs.AI cs.LG
Differentiable NAS Framework and Application to Ads CTR Prediction
University of California at Berkeley(加州大学伯克利分校);Facebook, Inc.(Facebook公司)
神经架构搜索(NAS)方法旨在自动找到由给定目标函数测量的最佳深度神经网络(DNN)架构,通常是任务准确性和推理效率的某种组合。对于许多领域,如计算机视觉和自然语言处理,这是一个关键的,但仍然耗时的过程。新的NAS方法最近在提高该过程的效率方面取得了进展。我们实现了一个可扩展的模块化框架,用于可区分的神经结构搜索(DNAS),以帮助解决这个问题。我们概述了代码库的主要组件以及它们如何交互,以及实现扩展的部分(包括示例),以帮助用户在不同类别的深度学习模型中采用我们的框架。为了评估我们的方法和实现的能力,我们将DNAS应用于广告点击率(CTR)预测问题,这可以说是当今超大规模企业中价值最高、研究最多的人工智能问题。我们开发并定制了新的搜索空间,以用于CTR预测的深度学习推荐模型(DLRM)骨干,并报告了Criteo Kaggle CTR预测数据集的最新结果。
2021-10-25 cs.AI cs.IR cs.LG
A Variational-Sequential Graph Autoencoder for Neural Architecture Performance Prediction
University of Mannheim(曼海姆大学)
在计算机视觉研究中,自动化建筑工程的过程,神经结构搜索(NAS),已经获得了很大的兴趣。在过去,NAS是很难访问的研究人员没有访问大规模的计算系统,由于非常长的计算时间的循环搜索和评估新的候选架构。NAS-Bench-101数据集促进了对经典方法(如监督学习)的范式转变,以评估神经架构。在本文中,我们提出了一个图形编码器建立在图神经网络(GNN)。我们证明了所提出的编码器对可见架构类型以及不可见架构类型(即,zero shot预测)。我们还提供了一个新的变序图自动编码器(VS-GAE)的基础上提出的图形编码器。VS-GAE专门用于利用GNN对不同长度的图进行编码和解码。不同采样方法的实验表明,我们的VS-GAE学习的嵌入空间增加了准确性预测任务的稳定性。
2020-08-26 cs.CV cs.LG
Improving Neural Architecture Search Image Classifiers via Ensemble Learning
Google Research(谷歌研究院)
寻找最佳的神经网络架构需要大量的时间、资源和专业知识。这些挑战部分通过神经架构搜索(NAS)来解决,NAS能够找到最佳的卷积层或单元,然后将其用作网络的构建块。然而,一旦找到好的构建块,仍然需要手动设计来组装最终架构,作为预定义参数预算约束下的多个块的组合。一个常见的解决方案是将这些块堆叠成单个塔,并调整宽度和深度以满足参数预算。然而,这些单塔架构可能不是最佳的。相反,在本文中,我们提出的AdaNAS算法,使用集成技术组成一个神经网络作为一个较小的网络集成自动。此外,我们引入了一种新的技术,基于知识蒸馏迭代训练较小的网络使用以前的合奏作为老师。我们的实验表明,在保持相同数量的参数的同时,网络集成提高了单个神经网络的准确性。我们的模型在CIFAR-10上实现了与最先进技术相当的结果,并在CIFAR-100上建立了新的最先进技术。
2019-03-14 cs.LG stat.ML
AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data
École polytechnique(巴黎综合理工学院);Argonne National Laboratory(阿贡国家实验室);CNRS/Inria-LISN(法国国家科学研究中心/法国国家信息与自动化研究所-LISN);U. Paris-Saclay(巴黎萨克雷大学)
为大型表格数据集开发高性能的预测模型是一项具有挑战性的任务。最先进的方法是基于专家开发的模型集成从不同的监督学习方法。最近,自动化机器学习(AutoML)正在成为自动化预测模型开发的一种有前途的方法。神经架构搜索(NAS)是一种AutoML方法,它可以同时生成和评估多个神经网络架构,并迭代地提高所生成模型的准确性。NAS中的一个关键问题,特别是对于大型数据集,是评估每个生成的架构所需的大量计算时间。虽然数据并行训练是一种很有前途的方法,可以解决这个问题,但它在NAS中的使用是困难的。对于不同的数据集,需要调整数据并行训练设置,如并行进程的数量、学习率和批量大小,以实现高精度和减少训练时间。为此,我们开发了AgEBO-Tabular,这是一种结合老化进化(AgE)的方法,一种在神经架构空间中搜索的并行NAS方法,以及一种异步贝叶斯优化方法,用于同时调整数据并行训练的超参数。我们证明了所提出的方法的有效性,以产生高性能的神经网络模型的大型表格基准数据集。此外,我们证明了使用我们的方法自动发现的神经网络模型在推理速度上优于最先进的AutoML集成模型两个数量级,同时达到相似的精度值。
2021-10-26 cs.LG cs.NE stat.ML
Efficient Neural Architecture Search via Proximal Iterations
Paradigm Inc(第四范式公司);Center for Data Science, Peking University(北京大学数据科学中心);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
神经结构搜索(NAS)最近吸引了很多研究的关注,因为它能够识别更好的架构比手工制作的。然而,在离散搜索空间中优化搜索过程的许多NAS方法需要许多GPU天来进行收敛。最近,DARTS,它构造一个可微的搜索空间,然后优化它的梯度下降,可以获得高性能的架构,并减少搜索时间到几天。然而,DARTS仍然很慢,因为它更新所有操作的集合,并且在收敛后仅保留一个。此外,由于操作之间的强相关性,DARTS可以收敛到较差的架构。在本文中,我们提出了一种新的可微神经结构搜索方法的基础上,近端梯度下降(表示为NASP)。与DARTS不同的是,NASP将搜索过程重新定义为一个优化问题,约束条件是在前向和后向传播过程中只允许更新一个操作。针对该约束难以处理的问题,本文提出了一种新的近似迭代算法来求解该约束,并在多个任务上进行了实验,实验结果表明,NASP可以获得比DARTS高10倍的计算速度。
2019-11-20 cs.LG stat.ML
NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy
University of Freiburg(弗莱堡大学);Bosch Center for AI(博世人工智能中心)
NAS-Bench-101和NAS-Bench-201等表格基准的发布显著降低了在神经架构搜索(NAS)中进行科学研究的计算开销。虽然它们已被广泛采用并用于调整现实世界的NAS算法,但这些基准测试仅限于小搜索空间,并且仅关注图像分类。最近,已经引入了几个新的NAS基准测试,这些测试覆盖了广泛任务的更大搜索空间,包括目标检测、语音识别和自然语言处理。然而,到目前为止,这些NAS基准之间的巨大差异阻碍了它们的广泛采用,限制了研究人员只能使用少数基准。在这项工作中,我们提出了一个深入的分析流行的NAS算法和性能预测方法在25个不同的组合的搜索空间和数据集,发现许多结论得出的一些NAS基准不推广到其他基准。为了帮助解决这个问题,我们引入了NAS-Bench-Suite,这是一个全面且可扩展的NAS基准测试集合,可通过统一的界面访问,旨在促进可重现,可推广和快速的NAS研究。我们的代码可在https://github.com/automl/naslib上获得。
2022-02-11 cs.AI cs.LG stat.ML
Prediction-powered Neural Architecture Search
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出PPNAS,一种预测驱动的神经架构搜索方法,通过融合少量真实性能标签与大量零成本代理信息,利用序数信息构建成对排序监督并去偏,在有限评估预算下实现最先进性能。
2026-10-02 cs.LG
Encodings for Prediction-based Neural Architecture Search
Cornell University(康奈尔大学)
本文系统比较结构化、学习型和基于评分的NAS架构编码,提出统一编码与FLAN流注意力预测器,在多搜索空间逾150万架构上实现跨空间迁移并将预测器训练成本降低逾十倍。
2024-03-04 cs.AI cs.CV cs.LG
Superkernel Neural Architecture Search for Image Denoising
TCL
神经架构搜索(NAS)的最新进展为图像分类、对象检测或语义分割等任务找到了新的最先进的人工神经网络(ANN)解决方案,而无需大量的人工监督。在本文中,我们专注于探索NAS的密集预测任务,即图像去噪。由于训练过程成本高昂,大多数用于图像增强的NAS解决方案依赖于强化学习或进化算法探索,通常需要数周(甚至数月)的训练时间。因此,我们引入了各种超内核技术的新的高效实现,这些技术能够快速(6-8 RTX 2080 GPU小时)对密集预测模型进行单次训练。我们证明了我们的方法的有效性SIDD+基准图像去噪。
2020-04-19 cs.LG eess.IV stat.ML
Speeding up NAS with Adaptive Subset Selection
神经结构搜索(NAS)的大多数最新发展旨在降低各种技术的计算成本,而不影响其最终性能。为此,已经考虑了几种低保真度和性能预测方法,包括仅在训练数据的子集上进行训练的方法。在这项工作中,我们提出了一个自适应的子集选择方法NAS,并提出它作为补充国家的最先进的NAS方法。我们发现了一个自然的连接之间的一次性NAS算法和自适应子集选择,并设计了一个算法,利用这两个领域的最先进的技术。我们使用这些技术来大幅减少DARTS-PT(领先的一次性NAS算法)以及BOHB和DEHB(领先的多保真度优化算法)的运行时间,而不会牺牲准确性。我们的结果在多个数据集上是一致的,为了实现完全的可重复性,我们在https://anonymous.4open.science/r/SubsetSelection NAS-B132上发布了我们的代码。
2022-11-02 cs.LG
NASS: Optimizing Secure Inference via Neural Architecture Search
Kyoto University(京都大学);University of Notre Dame(圣母大学)
由于隐私问题的日益严重,基于神经网络(NN)的同时隐藏客户端输入和服务器模型的安全推理(SI)方案吸引了主要的研究兴趣。虽然现有的工作集中在开发基于NN的SI的安全协议,在这项工作中,我们采取了不同的方法。我们提出了NASS,一个综合的框架来搜索专门为SI设计的定制NN架构。特别是,我们建议模型加密协议的设计元素与相关的奖励功能。然后,在与预测超参数的联合优化中采用特征化模型,以确定平衡预测准确性和执行效率的最佳NN架构。在实验中,它被证明,我们可以实现两全其美通过使用NASS,其中预测精度可以从81.6%提高到84.6%,而推理运行时间减少了2倍,通信带宽减少了1.9倍CIFAR-10数据集。
2020-02-16 cs.CR cs.LG
Neural Architecture Search for Dense Prediction Tasks in Computer Vision
Bosch Center for Artificial Intelligence, Robert Bosch GmbH(博世人工智能中心,罗伯特·博世有限公司);University of Freiburg(弗莱堡大学)
近年来深度学习的成功导致对神经网络架构工程的需求不断上升。因此,旨在以数据驱动的方式而不是手动地自动设计神经网络架构的神经架构搜索(NAS)已经发展为流行的研究领域。随着跨体系结构的权重共享策略的出现,NAS已经适用于更广泛的问题。特别是,现在有许多出版物用于计算机视觉中需要像素级预测的密集预测任务,例如语义分割或目标检测。这些任务带来了新的挑战,例如由于高分辨率数据而产生的更高的内存占用,学习多尺度表示,更长的训练时间以及更复杂和更大的神经架构。在这篇手稿中,我们通过详细阐述这些新的挑战和调查解决这些挑战的方法,以方便未来的研究和现有方法在新问题上的应用,概述了NAS在密集预测任务中的应用。
2022-02-15 cs.CV cs.LG
Surrogate assisted diversity estimation in neural ensemble search
本文针对神经集成搜索(NES)计算成本高的问题,提出双目标代理引导的集成搜索方法,在多个数据集上取得优于或相当于基线的性能。
2026-07-30 cs.LG
Predict NAS Multi-Task by Stacking Ensemble Models using GP-NAS
针对小样本下NAS架构性能预测的过拟合及多任务关联利用问题,通过数据预处理、模型组合探索,提出带交叉验证的GP-NAS堆叠集成模型,获CVPR 2022赛道2挑战赛第一名。
2023-05-02 cs.CV cs.LG stat.AP
HiFi-LLP: High-Fidelity, Low-Cost Latency Predictors with Confidence for Robust HW-NAS
Technical University of Munich(慕尼黑工业大学);BMW Group(宝马集团);University of Bonn(波恩大学)
研究针对硬件感知神经网络架构搜索中硬件在环延迟测量瓶颈及预测不准确问题,提出基于图注意力网络的HiFi-LLP延迟预测器,增加置信度度量,性能优于现有预测器,并构建混合NAS框架,实现加速且保持竞争力。
2026-07-14 cs.AR cs.LG
Toward Edge-Efficient Dense Predictions with Synergistic Multi-Task Neural Architecture Search
UNC at Chapel Hill(北卡罗来纳大学教堂山分校);Google Research(谷歌研究院);X, The Moonshot Factory(X,登月工厂)
在这项工作中,我们提出了一种新颖且可扩展的解决方案,以解决在边缘平台上开发高效密集预测的挑战。我们的第一个关键见解是,多任务学习(MTL)和硬件感知神经架构搜索(NAS)可以协同工作,从而极大地受益于设备上的密集预测(DP)。实验结果表明,这两种范式的联合学习在提高DP准确性方面令人惊讶地有效,与单任务NAS的迁移学习和MTL中的现有最先进方法相比,都具有优异的性能,所有这些都只有十分之一的计算量。据我们所知,我们的框架,名为EDNAS,是第一个成功地利用NAS和MTL的协同关系的DP。我们的第二个关键见解是,多任务DP的标准深度训练可能会对MTL评估造成显著的不稳定性和噪声。相反,我们提出了JAReD,这是一种改进的,易于采用的联合绝对-相对深度损失,可减少高达88%的不需要的噪声,同时提高精度。我们对标准数据集进行广泛的评估,对强基线和最先进的方法进行基准测试,并对发现的最佳架构进行分析。
2022-10-04 cs.AI cs.CV cs.LG
Differentiable Architecture Search with Ensemble Gumbel-Softmax
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Intel Labs China(英特尔中国研究院)
对于网络体系结构搜索(NAS),同时保证有效性和效率是至关重要的,但具有挑战性。为了实现这一目标,我们开发了一个可区分的NAS解决方案,其中的搜索空间包括任意前馈网络组成的预定义数量的连接。受益于所提出的集成Gumbel-Softmax估计器,我们的方法在同一轮反向传播中优化了深度网络的架构及其参数,从而产生了搜索网络架构的端到端机制。在各种流行数据集上进行的大量实验有力地证明了我们的方法能够发现高性能的架构,同时保证搜索过程中所需的效率。
2019-05-06 cs.CV cs.LG stat.ML
Multi-headed Neural Ensemble Search
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
已知使用不同种子训练的CNN模型的集合(也称为深度集合)实现优于CNN的单个副本的性能。神经网络搜索(NES)可以通过增加架构多样性来进一步提高性能。然而,在有限的计算资源下,NES的范围仍然令人望而却步。在这项工作中,我们将NES扩展到多头合奏,其中包括一个共享的骨干连接到多个预测头。与Deep Ensemble不同,这些多头集成可以端到端训练,这使我们能够利用一次性NAS方法来优化集成目标。通过广泛的实证评估,我们证明了多头集成搜索找到强大的集成快3倍,同时具有可比的性能,其他集成搜索方法,在预测性能和不确定性校准。
2021-07-09 cs.LG stat.ML
MEMOA: Massive Mixtures of Online Agents via Mean-Field Decentralized Nash Equilibria
Department of Mathematics and Statistics(数学与统计学系);Vector Institute(向量研究所);McMaster University(麦马斯特大学)
本文提出MEMOA算法,通过均场去中心化纳什均衡优化大规模在线代理混合,解决计算和通信成本随代理数量增长的问题,证明其在大规模极限下收敛于集中纳什最优策略。
2026-05-06 cs.LG
A comparative study of non-deep learning, deep learning, and ensemble learning methods for sunspot number prediction
New York University(纽约大学);East China Normal University(华东师范大学);Southern University of Science and Technology(南方科技大学)
太阳活动对人类活动和健康有着重要影响。一个最常用的测量太阳活动的方法是太阳黑子数。本文比较了三种重要的非深度学习模型,四种流行的深度学习模型及其五种集成模型在预测太阳黑子数量方面的差异。特别是,我们提出了一种集成模型XGBoost-DL,它使用XGBoost作为两级非线性集成方法来组合深度学习模型。我们的XGBoost-DL实现了最佳的预测性能(RMSE = 25.70和MAE = 19.82),优于最佳非深度学习模型SARIMA(RMSE = 54.11和MAE = 45.51),最佳深度学习模型Informer(RMSE = 29.90和MAE = 22.35)和NASA的预测(RMSE = 48.38和MAE = 38.45)。我们的XGBoost-DL预测太阳黑子数量在2025年5月达到峰值133.47,在2035年11月达到峰值164.62,类似于NASA在2024年10月的137.7和2034年12月的161.2。用于太阳黑子数量预测的XGBoost-DL的开源Python包可在https://github.com/yd1008/ts_ensemble_sunspot上获得。
2022-05-25 astro-ph.SR cs.AI cs.LG
Deep interpretable ensembles
University of Zurich(苏黎世大学);Zurich University of Applied Sciences(苏黎世应用科学大学);ETH Zurich(苏黎世联邦理工学院)
集成通过聚合来自多个模型的预测来提高预测性能并允许不确定性量化。在深度集成中,单个模型通常是黑盒神经网络,或者最近部分可解释的半结构化深度转换模型。然而,总体成员的可解释性通常在聚合时丢失。这是高风险决策领域中深度集成的一个关键缺点,其中需要可解释的模型。我们提出了一种新的变换系综,它聚合概率预测,保证保持可解释性,并产生均匀更好的预测,平均比系综成员。转换集成是针对可解释的深度转换模型定制的,但适用于更广泛的概率神经网络。在几个公开可用的数据集上的实验中,我们证明了变换集成在预测性能,区分和校准方面与经典的深度集成不相上下。此外,我们展示了如何转换合奏量化任意和认知的不确定性,并在一定条件下产生极大极小最优预测。
2022-05-25 cs.LG stat.ML
Ensemble data assimilation to diagnose AI-based weather prediction model: A case with ClimaX version 0.3.1
Institute for Advanced Academic Research, Chiba University(千叶大学高等学术研究院);Center for Environmental Remote Sensing, Chiba University(千叶大学环境遥感中心);Research Institute of Disaster Medicine, Chiba University(千叶大学灾害医学研究所);Graduate School of Science and Engineering, Chiba University(千叶大学科学与工程研究生院)
本研究首次将集成卡尔曼滤波与AI天气预报模型ClimaX结合,通过稳定循环和误差诊断,揭示了模型在误差协方差和增长方面的特性,验证了集成资料同化作为诊断工具的有效性。
2024-12-02 cs.LG stat.AP
Ensemble learning with Conformal Predictors: Targeting credible predictions of conversion from Mild Cognitive Impairment to Alzheimer's Disease
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院)
大多数机器学习分类器准确地给出了新示例的预测,但没有指出预测的可信度。在医疗领域,这阻碍了他们的决策支持系统,这可能是有用的临床实践中的集成。我们使用一种监督学习方法,该方法将包围学习与共形预测器相结合,以预测从轻度认知障碍到阿尔茨海默病的转换。我们的目标是提高分类性能(包围学习),并用可信度(共形预测器)来补充每个预测。我们的研究结果表明,所提出的方法优于一个类似的集成框架与标准分类器。
2018-07-05 cs.LG stat.ML
Beyond Point Estimate: Inferring Ensemble Prediction Variation from Neuron Activation Strength in Recommender Systems
Google, Inc.(谷歌公司)
尽管深度神经网络(DNN)在各个领域都有令人印象深刻的预测性能,但现在众所周知,用相同的模型规范和相同的数据训练的一组DNN模型可以产生非常不同的预测结果。包络方法是预测不确定性估计的一种最先进的基准方法。然而,集成对于训练和服务于网络规模的流量来说是昂贵的。在本文中,我们试图推进的集合方法估计的预测变化的理解。通过在推荐系统中两个广泛使用的基准数据集MovieLens和Criteo上的实证实验,我们观察到预测变化来自各种随机性来源,包括训练数据洗牌和参数随机初始化。通过在模型训练中引入更多的随机性,我们注意到集合的平均预测往往更准确,而预测变化往往更高。此外,我们建议从神经元激活强度推断预测变化,并从激活强度特征展示强大的预测能力。我们的实验结果表明,MovieLens上的平均R平方高达0.56,Criteo上为0.81。我们的方法在检测最低和最高变化桶时表现特别好,分别为0.92 AUC和0.89 AUC。我们的方法为预测变化估计提供了一种简单的方法,这为许多有趣领域的未来工作开辟了新的机会(例如,基于模型的强化学习),而不依赖于服务昂贵的集成模型。
2020-08-17 cs.LG stat.ML
Prediction Intervals: Split Normal Mixture from Quality-Driven Deep Ensembles
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
预测区间是一种机器和人类可解释的方式,用于表示回归分析中的预测不确定性。在本文中,我们提出了一种方法,用于生成预测区间以及点估计从合奏的神经网络。我们提出了一个多目标的损失函数融合的质量措施有关的预测区间和点估计,和惩罚函数,这加强了语义完整性的结果和稳定的神经网络的训练过程。集成的预测区间被聚合为分裂的正态混合物,考虑到后验预测分布的可能的多峰性和不对称性,并导致捕获任意和认知不确定性的预测区间。我们的研究结果表明,我们的质量驱动的损失函数和我们的聚合方法有助于良好校准的预测区间和点估计。
2020-07-19 cs.LG stat.ML
Accuracy Prediction for NAS Acceleration using Feature Selection and Extrapolation
Smart Shooter(智能射手公司)
预测候选神经架构的准确性是基于NAS的解决方案的重要能力。当候选架构具有与其他已知架构类似的属性时,使用现成的回归算法,预测任务相当简单。然而,当候选架构位于架构的已知空间之外时,回归模型必须执行外推预测,这不仅是一项具有挑战性的任务,而且在技术上使用最流行的回归算法家族(基于决策树)是不可能的。在这项工作中,我们试图解决两个问题。第一个是使用特征选择提高回归精度,而另一个是回归算法外推精度预测任务的评估。我们用新的表格功能扩展了NAAP-440数据集,并引入了我们用于评估的NAAP-440 e。我们观察到与旧基线相比有了显着的改进,即新基线需要候选架构的3倍更短的训练过程,同时保持相同的平均绝对误差,并且与旧基线的最佳报告性能相比,单调性违规减少了近2倍。该研究中使用的扩展数据集和代码已在NAAP-440存储库中公开。
2022-11-22 cs.CV cs.LG
Investigation of REFINED CNN ensemble learning for anti-cancer drug sensitivity prediction
Texas Tech University(德克萨斯理工大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
使用深度学习模型预测个体细胞系的抗癌药物敏感性是个性化医疗中的重大挑战。基于REFINED(REpresentation of Features as Images with Neighborhood Diversities)CNN(卷积神经网络)的模型在药物敏感性预测中显示出有希望的结果。REFINED CNN背后的主要思想是将高维向量表示为具有空间相关性的紧凑图像,这可以从卷积神经网络架构中受益。然而,从矢量到紧凑的2D图像的映射不是唯一的,这是由于所考虑的距离测量和邻域的变化。在这篇文章中,我们考虑基于从这样的映射构建的集合的预测,可以改进最好的单个REFINED CNN模型预测。使用NCI60和NCIALMANAC数据库的结果表明,集成方法可以提供显着的性能改善相比,个别型号。我们进一步说明,从不同映射的合并创建的单个映射可以提供类似于堆叠集成的性能,但具有显著更低的计算复杂性。
2021-04-24 cs.LG stat.ML
Ensembles of Locally Independent Prediction Models
Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学保尔森工程与应用科学学院);Massachusetts Institute of Technology(麻省理工学院)
合奏依赖于多样性来提高性能。因此,许多集成训练方法试图优化多样性,它们几乎总是根据训练集预测的差异来定义多样性。然而,在本文中,我们证明了训练集上的预测的多样性并不一定意味着温和的协变量偏移下的多样性,这可能会损害在实际环境中的推广。为了解决这个问题,我们引入了一个新的多样性度量和相关的方法来训练模型的集合,这些模型在数据流形的局部补丁上进行不同的外推。在各种合成和现实世界的任务,我们发现,我们的方法提高了泛化和多样性的定性新的方式,特别是在数据限制和协变量偏移。
2020-02-07 cs.LG stat.ML
Adaptive Ensemble Learning with Confidence Bounds
Bilkent University(比尔肯大学);UCLA(加州大学洛杉矶分校)
从分布式、异构、相关和高维数据源中提取可操作的智能需要本地和全局的运行时处理和学习。在过去的十年中,已经提出了大量的元学习技术,其中本地学习器基于本地收集的数据实例进行在线预测,并将这些预测馈送给集成学习器,集成学习器将它们融合并发布全局预测。然而,这些作品中的大多数不提供性能保证,或者当它们提供时,这些保证是渐进的。这些现有的作品都没有提供关于集成学习器的发布预测或学习保证率的置信度估计。在本文中,我们提供了一个系统的集成学习方法,称为对冲土匪,它具有长期(渐近)和短期(学习率)的性能保证。此外,我们的方法在最佳局部预测策略方面产生了性能保证,并且还能够以数据驱动的方式调整其预测。我们在医学信息学的背景下说明了对冲土匪的性能,并表明它优于许多在线和离线集成学习方法。
2016-10-30 cs.LG stat.ML
The MBPEP: a deep ensemble pruning algorithm providing high quality uncertainty prediction
Wuhan University(武汉大学)
机器学习算法已经有效地应用于各种现实世界的任务。然而,很难提供高质量的机器学习解决方案来适应未知分布的输入数据集;这种困难被称为不确定性预测问题。本文提出了一种基于边缘的Pareto深度集成剪枝(MBPEP)模型。它通过使用深度集成网络实现了具有小的预测区间宽度(MPIW)值和高置信度的预测区间覆盖概率(PICP)的高质量不确定性估计。除了这些网络之外,还提出了独特的损失函数,这些函数使得子学习器可用于标准的梯度下降学习。在此基础上,引入基于间隔准则微调的Pareto剪枝方法对集成进行优化。通过分类不确定度预测和回归实验分析了MBPEP的性能。实验结果表明,MBPEP实现了一个小的区间宽度和低的学习错误与最佳的集成数量。对于现实世界的问题,MBPEP表现良好的输入数据集与未知的分布数据集的一致性,并提高了学习性能的多任务问题相比,每个单一的模型。
2019-02-25 cs.LG stat.ML
Adaptive Neural Network Ensemble Using Frequency Distribution
Cho Chun Shik Graduate School of Mobility(赵春植移动研究生院);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
神经网络(NN)集成可以减小神经网络的大预测方差,提高预测精度。对于数据集不足的高度非线性问题,神经网络模型的预测精度变得不稳定,导致集成精度下降。因此,本研究提出了一种基于频率分布的集成,确定核心预测值,预计将集中在附近的真实预测值。基于频率分布的系综通过利用基于从给定预测点获得的各种预测值的频率分布进行统计分析来对由多个预测值支持的核心预测值进行分类。基于频率分布的集成可以通过排除具有低精度的预测值并应对最频繁值的不确定性来提高预测性能。提出了一种自适应采样策略,该策略基于作为核心预测值的方差计算的核心预测方差来顺序地添加样本,以有效地提高基于频率分布的集成的预测性能。实例分析结果表明,基于频率分布的集成方法的预测精度高于克里格法和其他现有的集成方法。此外,所提出的自适应采样策略有效地提高了预测性能的频率分布为基础的合奏相比,以前开发的空间填充和预测方差为基础的战略。
2022-10-19 cs.LG
HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning
KAIST(韩国科学技术院);AITRICS
对于部署,神经架构搜索应该是硬件感知的,以便满足设备特定的约束(例如,存储器使用、等待时间和能量消耗)并增强模型效率。关于硬件感知NAS的现有方法收集大量样本(例如,准确性和等待时间),或者构建查找表,或者构建等待时间估计器。然而,这种方法在现实世界的场景中是不切实际的,因为存在具有不同硬件规格的许多设备,并且从如此大量的设备收集样本将需要过高的计算和金钱成本。为了克服这些限制,我们提出了硬件自适应高效延迟预测器(HELP),它将特定于设备的延迟估计问题制定为元学习问题,这样我们就可以估计模型性能的延迟对于一个给定的任务,在一个看不见的设备上使用一些样本。为此,我们引入了新的硬件嵌入来嵌入任何设备,将它们视为输出延迟的黑盒函数,并使用硬件嵌入以设备相关的方式元学习硬件自适应延迟预测器。我们验证了所提出的HELP在看不见的平台上的延迟估计性能,在该平台上,它仅用10个测量样本就实现了高估计性能,优于所有相关基线。我们还验证了端到端的NAS框架使用HELP对那些没有它,并表明它大大降低了总的时间成本的基础NAS方法,在延迟约束的设置。代码可在https://github.com/HayeonLee/HELP上获得。
2021-12-02 cs.LG
KESurv: A Kernel Ensemble Method for Patient-Specific Survival Prediction
Indian Institute of Technology Guwahati(印度理工学院古瓦哈蒂分校)
KESurv提出以生存森林为主模型、结合Beran核估计器的集成方法,在四个医疗数据集上优于基线,提升患者生存曲线预测的校准与排序性能。
2026-10-06 cs.LG stat.ML
Ensemble Distillation for Structured Prediction: Calibrated, Accurate, Fast-Choose Three
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
现代神经网络并不总是产生校准良好的预测,即使在使用适当的评分函数(如交叉熵)进行训练时也是如此。在分类设置中,简单的方法,如保序回归或温度标度可以与保留的数据集结合使用,以校准模型输出。然而,将这些方法扩展到结构化预测并不总是简单或有效的;此外,保持的校准集可能并不总是可用的。在本文中,我们研究合奏蒸馏作为一个通用的框架,产生良好的校准结构化的预测模型,同时避免了令人望而却步的推理时间成本的合奏。我们验证这个框架上的两个任务:命名实体识别和机器翻译。我们发现,在这两项任务中,合奏蒸馏产生的模型保留了大部分,偶尔提高,合奏的性能和校准的好处,而只需要一个单一的模型在测试时。
2021-03-25 cs.CL cs.LG stat.ML
A Model Ensemble-Based Post-Processing Framework for Fairness-Aware Prediction
本文提出一种基于模型集成的后处理框架,用于提升预测中的公平性,通过实验验证该框架在分类、回归和生存分析中能有效提升公平性同时保持预测准确性。
2026-10-16 cs.LG stat.ML
AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search
Yonsei University(延世大学);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
AZ-NAS通过集成四种互补的零成本代理并提出非线性排名聚合方法,显著提升了免训练NAS中网络排名与真实性能的相关性,在标准基准上以合理运行成本超越现有方法。
2024-03-28 cs.CV cs.LG
Selective Ensembles for Consistent Predictions
Carnegie Mellon University(卡内基梅隆大学)
最近的研究表明,为同一目标训练的模型,在一致的测试数据上实现了相似的准确性度量,但在个体预测上的表现可能非常不同。这种不一致性在高风险的情况下是不可取的,例如医疗诊断和金融。我们发现,这种不一致的行为超出了预测的功能属性,这同样可能有负面影响的模型的可理解性,以及一个人的能力,以找到追索权的科目。然后,我们引入选择性集合,通过对使用随机选择的起始条件训练的一组模型的预测应用假设检验来减轻这种不一致;重要的是,选择性集合可以在无法达到指定置信水平的一致结果的情况下弃权。我们证明了选择性合奏之间的预测分歧是有界的,并实证表明,选择性合奏实现一致的预测和功能属性,同时保持低的预测率。在几个基准数据集上,选择性集合达到零不一致的预测点,预测率低至1.5%。
2021-11-16 cs.LG
Prediction Instability in Machine Learning Ensembles
Milwaukee School of Engineering(密尔沃基工程学院)
本文证明任何机器学习集成模型都必然存在预测不稳定性,揭示了随机森林和xgboost等算法的公平性缺陷,并指出在渐近条件下使用一致模型可缓解此问题。
2024-08-26 cs.LG
Computing the ensemble spread from deterministic weather predictions using conditional generative adversarial networks
University Bremen(不来梅大学);Memorial University of Newfoundland(纽芬兰纪念大学)
天气预报系统是天气预报的宝贵工具。实际上,集合预报是通过运行确定性控制预报的几个扰动来获得的。然而,集合预测与高计算成本相关联,并且通常涉及统计后处理步骤以提高其质量。在这里,我们建议使用基于深度学习的算法来学习集合预测系统的统计特性,即集合传播,仅给出确定性控制预测。因此,一旦被训练,将不再需要昂贵的集合预报系统来获得未来的集合预报,并且集合的统计特性可以从单个确定性预报中导出。我们适应经典的pix 2 pix架构的三维模型,并与共享的潜在空间编码器-解码器模型的实验,和训练他们对几年的业务(合奏)天气预报的500百帕的位势高度。结果表明,经过训练的模型确实允许仅从控制预测获得高度准确的集合传播。
2022-05-18 cs.CV cs.LG physics.ao-ph
Corn Yield Prediction with Ensemble CNN-DNN
Iowa State University(爱荷华州立大学)
我们研究了两种新的CNN-DNN机器学习集成模型在预测美国玉米带(12个州)县级玉米产量方面的预测性能。开发的数据集是1980-2019年管理、环境和历史玉米产量的组合。两种情况下合奏创作被认为是:同质和异质合奏。在同质集成中,基本CNN-DNN模型都是相同的,但它们是通过装袋过程生成的,以确保它们表现出一定程度的多样性。异构集成是从不同的基础CNN-DNN模型创建的,这些模型共享相同的架构,但具有不同的深度级别。三种类型的集成创建方法被用来创建几个集成的情况下:基本集成方法(BEM),广义集成方法(GEM),和堆叠广义集成。结果表明,两种设计的集成类型(异质和同质)都优于从五个单独的ML模型(线性回归,LASSO,随机森林,XGBoost和LightGBM)创建的集成。此外,通过引入对异质集合的改进,同质集合提供了美国玉米带各州最准确的产量预测。该模型可以预测2019年的产量,均方根误差为866 kg/ha,相当于8.5%的相对均方根,并可以成功解释约77%的玉米籽粒产量的时空变化。该模型的显著预测能力可用于设计可靠的玉米产量预测工具,这反过来将有助于农艺决策者。
2021-05-29 cs.LG q-bio.QM
An ensemble of data-driven weather prediction models for operational sub-seasonal forecasting
Microsoft(微软)
提出一套结合数据驱动模型与ECMWF海洋模型的业务化多模型集合预报系统,在1度分辨率下实现4周时效的全球天气预报,其2米温度预测平均超ECMWF原始集合4-17%,证明数据驱动方法可实现接近最先进的次季节预报。
2024-03-22 cs.LG physics.ao-ph
IDEA: Interpretable Dynamic Ensemble Architecture for Time Series Prediction
The Hong Kong University of Science and Technology(香港科技大学)
我们通过一个可解释的集成来提高单变量时间序列点预测的准确性和泛化能力。我们提出了一个可解释的动态Ensemble架构(IDEA),其中可解释的基础学习者作为一个组,稀疏通信独立地给出预测。该模型是由多个顺序堆叠的组连接的组回溯残差和经常性输入竞争。由端到端培训驱动的横向和纵向包围带来了最先进的(SOTA)性能。与TOURISM数据集上的最佳统计基准相比,预测准确性提高了2.6%,与M4数据集上的最佳深度学习基准相比,预测准确性提高了2%。该体系结构具有几个优点,适用于不同领域的时间序列,可解释给用户专门的模块化结构和强大的任务分配的变化。
2022-01-14 cs.LG
Model Architecture Adaption for Bayesian Neural Networks
University of Cambridge(剑桥大学)
贝叶斯神经网络(BNN)提供了一个数学基础的框架来量化模型预测的不确定性,但训练和推理的计算成本过高。在这项工作中,我们展示了一种新的网络架构搜索(NAS),它优化了BNN的准确性和不确定性,同时减少了推理延迟。不同于典型的NAS,仅优化分布的可能性,所提出的计划搜索的不确定性性能使用的分布和分布外的数据。我们的方法能够搜索网络中贝叶斯层的正确位置。在我们的实验中,搜索的模型显示出与最先进的(深度集成)相比相当的不确定性量化能力和准确性。此外,与许多流行的BNN基线相比,搜索模型仅使用一小部分运行时,与MCDropout和深度集成相比,CIFAR 10数据集上的推理运行时成本分别降低了$2.98 \times$和$2.92 \times$。
2022-02-09 cs.AI cs.LG
Prediction of Drug Synergy by Ensemble Learning
TOBB University of Economics and Technology(TOBB经济与技术大学)
治疗复杂疾病如癌症的有前途的方法之一是联合治疗。由于组合的复杂性,机器学习模型可以在该领域中是有用的,其中最近在确定协同组合方面已经实现了显著的改进。在这项研究中,我们调查不同的化合物表示在预测药物协同作用的有效性。在一个大型的药物组合筛选数据集上,我们首先展示了一个以前没有用于这个问题的有前途的表示的使用,然后我们提出了一个表现优于每个基线模型的表示模型组合的集合。
2020-01-07 cs.LG q-bio.QM stat.ML
SnapE -- Training Snapshot Ensembles of Link Prediction Models
University of Mannheim(曼海姆大学);Amazon Web Services(亚马逊网络服务)
针对知识图谱链接预测缺乏显式负样本的问题,提出SnapE快照集成方法,利用先前快照模型迭代生成负样本,在不增加训练时间的前提下稳定提升性能。
2024-08-05 cs.AI cs.LG
RRMSE Voting Regressor: A weighting function based improvement to ensemble regression
Institute for Technologies of Metals(金属技术研究所);University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文描述了基于RRMSE(相对均方根误差)的权重,以加权预测值的出现之前,平均的集合投票回归。集成回归背后的核心思想是将几个基本回归模型组合起来,以提高具有数值连续目标变量的学习问题的预测性能。集成投票回归的默认权重设置是统一的权重,如果没有学习任务的领域知识,就不可能为预测分配权重,这使得改进预测非常困难。这项工作试图通过实现基于加权函数的RRMSE来改善投票回归的预测。实验表明,RRMSE投票回归器产生显着更好的预测比其他国家的最先进的集成回归算法在六个流行的回归学习数据集。
2022-07-11 cs.LG
An empirical investigation of different classifiers, encoding and ensemble schemes for next event prediction using business process event logs
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
越来越需要经验基准,以支持研究人员和从业人员为给定的预测任务选择最佳的机器学习技术。在本文中,我们认为下一个事件预测任务的业务流程预测监测和我们以前发表的基准研究不同的编码窗口和使用合奏方案的性能的影响。选择是否使用集合以及使用哪种方案通常取决于数据和分类任务的类型。虽然有一个普遍的理解,即集成在业务流程的预测性监控中表现良好,但下一个事件预测是一项没有其他涉及集成的基准的任务。建议的基准帮助研究人员选择一个高性能的个人分类器或集成方案的变化情况下,考虑事件日志的水平。实验结果表明,选择一个最佳数量的事件特征编码是具有挑战性的,导致需要考虑每个事件日志单独选择一个最佳值时。在这项任务中,集成方案提高了低性能分类器(如SVM)的性能,而高性能分类器(如基于树的分类器)在考虑集成方案时并不更好。
2020-08-24 cs.LG