Neural Ensemble Search via Bayesian Sampling
National University of Singapore(新加坡国立大学)
最近,神经结构搜索(NAS)已被应用于自动设计的神经网络在现实世界中的应用。已经开发了大量的算法来提高NAS中最终选择的架构的搜索成本或性能。不幸的是,这些NAS算法旨在从它们的搜索空间中仅选择一个单一的性能良好的架构,因此忽略了神经网络集成的能力(即,具有不同体系结构的神经网络的集合)在实现单个最终选择的体系结构上的改进的性能方面。为此,我们引入了一种新的神经集成搜索算法,称为贝叶斯采样神经集成搜索(NESBS),有效地和高效地选择性能良好的神经网络集成从NAS搜索空间。在我们广泛的实验中,NESBS算法被证明是能够实现改进的性能比国家的最先进的NAS算法,同时产生一个可比的搜索成本,从而表明我们的NESBS算法优于这些NAS算法在实践中的性能。
2022-06-17 cs.LG
Training Data Subset Search with Ensemble Active Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);NVIDIA(英伟达)
深度神经网络(DNN)通常依赖于非常大的数据集进行训练。考虑到这些数据集的大小,可以想象它们包含某些样本,这些样本对DNN的优化没有贡献或产生负面影响。以排除此类样本的方式修改训练分布可以提供有效的解决方案,以提高性能并减少训练时间。在本文中,我们提出了扩大集成主动学习(AL)的方法,以执行大规模的采集(10 k至500 k样本的时间)。我们使用数百个模型的集合来实现这一点,这些模型通过重用中间训练检查点以最小的计算成本获得。这使我们能够自动和有效地执行大型标记数据集的训练数据子集搜索。我们观察到,我们的方法获得了良好的训练数据子集,这些子集可以用来训练比使用整个数据集训练更准确的DNN。我们在三个图像分类基准(CIFAR-10,CIFAR-100和ImageNet)上对这种现象进行了广泛的实验研究,以及用于自动驾驶感知模型原型化的内部目标检测基准。与现有的研究不同,我们的目标检测实验是在生产就绪的自动驾驶系统所需的规模。我们提供了不同的初始化方案,采集功能和合奏配置在这个规模的影响的见解。我们的研究结果提供了强有力的经验证据,优化的训练数据分布可以提供显着的好处,在大规模的视觉任务。
2020-11-07 cs.LG stat.ML
Differentiable Architecture Search with Ensemble Gumbel-Softmax
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Intel Labs China(英特尔中国研究院)
对于网络体系结构搜索(NAS),同时保证有效性和效率是至关重要的,但具有挑战性。为了实现这一目标,我们开发了一个可区分的NAS解决方案,其中的搜索空间包括任意前馈网络组成的预定义数量的连接。受益于所提出的集成Gumbel-Softmax估计器,我们的方法在同一轮反向传播中优化了深度网络的架构及其参数,从而产生了搜索网络架构的端到端机制。在各种流行数据集上进行的大量实验有力地证明了我们的方法能够发现高性能的架构,同时保证搜索过程中所需的效率。
2019-05-06 cs.CV cs.LG stat.ML
Surrogate assisted diversity estimation in neural ensemble search
本文针对神经集成搜索(NES)计算成本高的问题,提出双目标代理引导的集成搜索方法,在多个数据集上取得优于或相当于基线的性能。
2026-07-30 cs.LG
Sub-Architecture Ensemble Pruning in Neural Architecture Search
University of Science and Technology of China(中国科学技术大学);Texas A&M University(得克萨斯农工大学);WeBank(微众银行)
神经网络结构搜索(NAS)由于其灵活性和显著的减轻神经网络设计负担的能力,近年来受到越来越多的关注。然而,为了实现更好的性能,搜索过程通常需要大量的计算,这对于研究人员和从业人员来说可能是负担不起的。虽然最近的尝试采用集成学习方法来减轻巨大的计算成本,但是,他们忽略了集成方法的一个关键属性,即多样性,这导致在最终设计中收集更多类似的子架构,并具有潜在的冗余。为了解决这个问题,我们提出了一种用于NAS集成的修剪方法,称为“神经结构搜索中的子结构包围修剪(SAEP)”。“它的目标是利用多样性,并以较小的规模实现子集成架构,其性能与未修剪的集成架构相当。提出了三种可能的解决方案,以决定哪些子架构修剪在搜索过程中。实验结果表明,该方法的有效性,大大减少了子结构的数量,而不降低性能。
2021-05-28 cs.CV cs.LG cs.NE
GPU Accelerated Exhaustive Search for Optimal Ensemble of Black-Box Optimization Algorithms
Nvidia(英伟达);RAPIDS
黑盒优化对于调整复杂的机器学习算法至关重要,这些算法更容易实验而不是理解。在本文中,我们表明,一个简单的集成的黑盒优化算法可以优于任何一个。然而,寻找这样的最佳合奏需要大量的实验。我们提出了一个多GPU优化的框架,通过并行运行许多实验来加速暴力搜索黑盒优化算法的最佳集成。轻量级优化由CPU执行,而昂贵的模型训练和评估则分配给GPU。我们通过训练270万个模型和运行541,440次优化来评估15个优化器。在DGX-1上,搜索时间从两个20核CPU上的10多天减少到8核GPU上的不到24小时。通过GPU加速的穷举搜索找到的最佳集成,我们赢得了NeurIPS 2020黑盒优化挑战赛的第二名。
2021-08-02 cs.LG
ACE: An Actor Ensemble Algorithm for Continuous Control with Tree Search
University of Alberta(阿尔伯塔大学)
在本文中,我们提出了一个演员集成算法,名为ACE,连续控制与确定性的政策,强化学习。在ACE中,我们使用演员合奏(即,多个演员)来搜索评论家的全局最大值。除了合奏的角度来看,我们还制定了ACE的选项框架中扩展的选择批评家的架构与确定性的选择内的政策,揭示合奏和选项之间的关系。此外,我们使用这些演员和学习的价值预测模型执行前瞻树搜索,从而得到精确的价值估计。我们证明了显着的性能提升ACE DDPG及其变种在具有挑战性的物理机器人模拟器。
2018-11-06 cs.AI cs.LG
AgenticRS-EnsNAS: Ensemble-Decoupled Self-Evolving Architecture Search
Alibaba Group(阿里巴巴集团)
本文提出ensemble-decoupled架构搜索框架,通过预测系统级性能降低评估成本,统一了连续和离散pi的解决方案策略,揭示了基础多样性增益和准确增益两种改进机制。
2026-03-20 cs.LG
Collegial Ensembles
Apple Inc.(苹果公司)
现代神经网络性能通常随着模型大小的增加而提高。最近对过参数化网络的神经切线核(NTK)的一系列研究表明,随着规模的增加而改善是更好的条件损失景观的产物。在这项工作中,我们研究了一种通过集成实现的过参数化形式,其中我们将合议集成(CE)定义为具有相同架构的多个独立模型的聚合,并作为单个模型进行训练。我们表明,CE的优化动力学简化显着时,在合奏模型的数量是大的,类似于宽模型的动态,但规模更有利。我们使用最近的理论结果的有限宽度校正的NTK执行有效的架构搜索的空间有限宽度CE的目的是最大限度地减少容量,或最大限度地提高可训练性下的一组约束。由此产生的合奏可以有效地实现在实际的架构中使用群卷积和块对角层。最后,我们展示了我们的框架如何可以用来分析得出最佳组卷积模块最初发现使用昂贵的网格搜索,而不必训练一个单一的模型。
2020-06-17 cs.LG stat.ML
Towards Oracle Knowledge Distillation with Neural Architecture Search
Seoul National University(首尔国立大学);POSTECH(浦项科技大学)
我们提出了一个新的框架,知识蒸馏,是能够学习强大而有效的学生模型,从合奏教师网络。我们的方法解决了教师和学生之间固有的模型能力问题,旨在通过减少他们的能力差距,最大限度地提高教师模型在蒸馏过程中的利益。具体来说,我们采用了神经架构搜索技术,以增加有用的结构和操作,搜索网络是适当的知识蒸馏对学生模型和自由的牺牲其性能通过固定的网络容量。我们还引入了一个甲骨文知识蒸馏损失,以方便模型搜索和蒸馏使用基于集成的教师模型,其中学生网络学习模仿甲骨文性能的教师。我们使用各种网络对图像分类数据集--CIFAR-100和TinyImageNet--进行了广泛的实验。我们还表明,搜索一个新的学生模型是有效的准确性和内存大小,搜索的模型往往优于他们的教师模型由于神经架构搜索与甲骨文知识蒸馏。
2019-11-29 cs.LG stat.ML
Bayesian Deep Learning Hyperparameter Search for Robust Function Mapping to Polynomials with Noise
Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院);Northeastern University(东北大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
神经结构搜索的进展,以及连接主义架构的可解释性和可解释性,已在最近的文献中报道。然而,我们对如何设计贝叶斯深度学习(BDL)超参数的理解,特别是深度,宽度和集成大小,用于具有不确定性量化的鲁棒函数映射,仍然是新兴的。本文试图通过将贝叶斯连接主义表示映射到具有不同噪声类型和比率的不同阶数的多项式来进一步理解。我们检查噪声污染的多项式,以搜索超参数的组合,可以提取潜在的多项式信号,同时量化基于噪声属性的不确定性。具体来说,我们试图研究的问题,可以找到一个适当的神经架构和合奏配置检测任何n阶多项式污染的噪声具有不同的分布和信号噪声比(SNR)和不同的噪声属性的信号。我们的研究结果表明,可能存在一个最佳的网络深度,以及预测技能和不确定性量化的最佳数量的合奏,分别。然而,最优性对于宽度是不可辨别的,即使在高宽度值处性能增益随着宽度的增加而降低。我们的实验和见解可以指导理解BDL表示的理论特性和设计实用的解决方案。
2021-06-23 cs.LG stat.ML
Evaluator Ensembles Under Reward Hacking: Covariance Geometry and Finite-Search Guarantees
Kalinga Institute of Industrial Technology(卡林加工业技术学院);Iowa State University(爱荷华州立大学)
该研究针对奖励黑客攻击下评估器集成的失效问题,基于协方差几何分析,提出有限搜索的保证方法,通过压力测试与模型审计验证理论,明确分歧诊断的局限。
2026-08-11 cs.LG
A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters
TotalEnergies SE(道达尔能源公司);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心)
带有集成的自动机器学习(或带有集成的AutoML)旨在自动构建深度神经网络(DNN)的集成,以实现定性预测。DNN的包围是众所周知的,以避免过度拟合,但他们是内存和时间消耗的方法。因此,理想的AutoML将在一个单一的运行时间中产生关于准确性和推理速度的不同集合。虽然以前的AutoML工作专注于搜索最佳模型以最大限度地提高其泛化能力,但我们提出了一种新的AutoML来构建更大的准确和多样化的个体模型库,然后构建集成。首先,我们广泛的基准测试表明,异步Hyperband是构建大量不同模型以组合它们的有效且健壮的方法。在此基础上,提出了一种基于多目标贪心算法的集成选择方法,通过控制计算代价来生成准确的集成。最后,我们提出了一种新的算法来优化的DNN集成在GPU集群的基础上分配优化的推理。所产生的AutoML与集成方法在训练阶段和推理阶段都使用高效的GPU集群在两个数据集上显示出稳健的结果。
2022-08-30 cs.DC cs.LG
Inner Ensemble Networks: Average Ensemble as an Effective Regularizer
UT Austin(德克萨斯大学奥斯汀分校);UAlbany(奥尔巴尼大学);KAUST(阿卜杜拉国王科技大学);Stanford(斯坦福大学)
我们引入了内部集成网络(IEN),它可以减少神经网络本身的方差,而不会增加模型的复杂性。IEN在训练阶段利用集成参数来减少网络方差。在测试阶段,这些参数被删除,而不会改变增强的性能。IEN通过因子$1/m^{L-1}$减少普通深度模型的方差,其中$m$是内部集合的数量,而$L$是模型的深度。此外,我们的经验和理论表明,IENS导致更大的方差减少相比,其他类似的方法,如辍学和maxout。我们的结果表明,与普通的深度模型相比,出错率降低了1.7%和17.3%。我们还表明,神经结构搜索(NAS)方法比以前的方法,IEN是首选。代码可在https://github.com/abduallahmohamed/inner_ensemble_nets上获得。
2020-10-09 cs.LG stat.ML
Is a Single Model Enough? MuCoS: A Multi-Model Ensemble Learning for Semantic Code Search
Microsoft Research Asia(微软亚洲研究院);Beijing University of Technology(北京工业大学);Xi’an Jiaotong University(西安交通大学)
最近,深度学习方法已经成为代码搜索中的主流,因为它们在捕获代码片段和搜索查询之间的语义相关性方面做得更好,并且具有有前途的性能。然而,代码片段包含来自不同维度的信息,例如业务逻辑、特定算法和硬件通信,因此单个代码表示模块很难涵盖所有视角。另一方面,由于特定查询可能集中在一个或多个视角上,因此单个查询表示模块难以表示不同的用户意图。在本文中,我们提出了MuCoS,多模型集成学习架构的语义代码搜索。它结合了几个单独的学习器,每个学习器都强调代码段的特定视角。我们训练个人学习者在不同的数据集,其中包含不同的角度的代码信息,我们使用一个数据增强策略,以获得这些不同的数据集。然后,我们集成学习器来捕获代码片段的综合特征。
2021-07-13 cs.LG cs.SE
Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
计算物理中的经典问题,例如数据驱动的预测和来自稀疏传感器的信号重建,最近在基于深度神经网络(DNN)的算法方法中出现了爆炸式增长。然而,大多数DNN模型不提供不确定性估计,这对于在下游决策任务和场景中建立这些技术的可信度至关重要。近年来,基于集成的方法在DNN中的不确定性量化方面取得了重大成功。然而,它们在实际应用中的性能仍然没有得到充分的研究。在这项工作中,我们提出了一种自动化的DNN发现方法,并演示了如何将其用于基于集合的不确定性量化。具体来说,我们建议使用一个可扩展的神经和超参数架构搜索发现一个复杂的动态系统的DNN模型的合奏。我们强调了所提出的方法不仅可以为我们的任务发现高性能的神经网络集合,而且还可以无缝地量化不确定性。这是通过使用遗传算法和贝叶斯优化对神经网络架构和超参数的搜索空间进行采样来实现的。随后,使用模型选择方法来识别用于系综集构造的候选模型。之后,方差分解方法被用来估计从合奏的预测的不确定性。我们证明了这一框架的可行性,两个任务-预测从历史数据和流量重建稀疏传感器的海面温度。我们展示了优越的性能,从合奏与个人的高性能模型和其他基准相比。
2023-02-20 cs.LG math.DS
Multi-objective Consensus Clustering Framework for Flight Search Recommendation
Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);I3S(I3S研究所);Amadeus S.A.S(阿玛迪斯公司);EURECOM(欧洲通信学院)
在旅游行业,在线客户根据几个特征预订他们的旅行行程,如旅行的成本和持续时间或设施的质量。为了提供个性化的旅游搜索建议,需要对客户进行适当的细分。聚类集成方法的发展是为了克服经典聚类方法中的众所周知的问题,即每个方法都依赖于不同的理论模型,因此可以在数据空间中只识别对应于该模型的聚类。聚类集成方法结合多个聚类结果,每个聚类结果来自不同的算法配置,用于生成与初始聚类之间的协议相对应的更鲁棒的共识聚类。我们提出了一个新的聚类集成多目标优化为基础的框架,分析Amadeus客户搜索数据,提高个性化的建议。该框架优化了聚类集成搜索空间的多样性,并自动确定适当数量的聚类,而不需要用户的输入。实验结果比较了这种方法的效率与其他现有的方法对Amadeus客户搜索数据的内部(调整后的兰德指数)和外部(Amadeus业务指标)验证。
2020-02-26 cs.AI cs.IR cs.LG
Optimal Counterfactual Search in Tree Ensembles: A Study Across Modeling and Solution Paradigms
Polytechnique Montréal(蒙特利尔理工学院)
本文研究了在可信度和可操作性约束下计算树集成最优反事实解释的组合问题,提出CPCF约束编程方法,并通过十种数据集和三种树集成类型验证其性能,发现CP方法整体表现最佳。
2026-05-07 cs.LG
K-nearest Neighbor Search by Random Projection Forests
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Dali University(大理大学)
k近邻搜索在数据挖掘、机器学习、统计学等许多应用领域有着广泛的应用。受集成方法的成功和基于树的方法的灵活性的启发,我们提出了随机投影森林(rpForests),用于kNN搜索。rpForests通过聚合来自随机投影树的集合的结果来查找kNN,每个树都是通过一系列精心选择的随机投影递归构建的。rpForests在kNN的缺失率和kNN距离的差异方面实现了显着的准确性。rpForests具有非常低的计算复杂度。rpForests的集成性质使其可以在多核或集群计算机上并行运行;运行时间预计与核心或机器的数量几乎成反比。我们给出了理论上的见解,通过显示的概率指数衰减,相邻点将被分离的合奏随机投影树时,合奏大小的增加。我们的理论可以用来细化树木生长过程中随机投影的选择,实验表明效果显著。
2018-12-31 cs.LG stat.CO stat.ME
Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers
Imperial College London(帝国理工学院);Edinburgh Napier University(爱丁堡龙比亚大学)
使用神经进化结合新奇搜索来促进行为多样性,能够构建用于分类的高性能集合。然而,在搜索期间使用梯度下降来训练演进的架构在计算上可能是禁止的。在这里,我们提出了一种方法来克服这一限制,通过使用一个代理模型,估计两个神经网络架构之间的行为距离计算的稀疏项在新奇搜索。我们证明了10倍的速度比以前的工作,并显着改善了以前的报告结果的三个基准数据集从计算机视觉- CIFAR-10,CIFAR-100,和SVHN。这是由于通过使用代理来促进扩展的架构搜索空间。我们的方法代表了一个改进的范例,实现水平缩放的学习算法的多样性显式搜索相当容易处理相同的有界资源。
2022-02-08 cs.CV cs.LG cs.NE
RAINER: A Robust Ensemble Learning Grid Search-Tuned Framework for Rainfall Patterns Prediction
The Fu Foundation School of Engineering and Applied Science, Columbia University(哥伦比亚大学傅 Foundation 工程与应用科学学院);Pratt School of Engineering, Duke University(杜克大学普拉特工程学院);School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);The University of Hong Kong(香港大学);Robotics Institute, School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院机器人研究所);Faculty of Science and Engineering, University of Nottingham Ningbo China(宁波诺丁汉大学科学与工程学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
针对降雨预测中超参数调优不足及特征利用有限的问题,提出基于网格搜索调优的鲁棒集成学习框架RAINER,结合全面的特征工程与多种先进模型,在真实数据集上取得了优异的预测效果。
2025-01-28 cs.LG
MASS-UMAP: Fast and accurate analog ensemble search in weather radar archive
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Meteotrentino(特伦托气象局)
利用类似物-类似的天气模式-进行天气预报和分析是气象学中的一种既定方法。使用这种方法在业务雷达应用程序的背景下,最具挑战性的方面是能够执行一个快速,准确的搜索类似的时空降水模式在一个大型档案的历史记录。在这种情况下,顺序成对搜索太慢,计算成本太高。在这里,我们提出了一个架构,显着加快时空模拟检索相结合的非线性几何降维(UMAP)与已知的最快的欧几里得搜索算法的时间序列(MASS),以找到雷达模拟在恒定的时间,独立于所需的时间长度匹配和提取的类似物的数量。我们比较UMAP与主成分分析(PCA),并表明UMAP优于PCA的空间MSE模拟搜索与适当的设置。此外,我们表明,在UMAP嵌入空间上,MASS比蛮力搜索快20倍。我们在一个真实的数据集上测试了该架构,并表明它可以在单个工作站上在不到5秒的时间内通过2年多的雷达档案进行精确和快速的操作模拟集成搜索。
2019-10-01 cs.CY cs.LG
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
在实际应用中,树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则,软树使用梯度方法来训练,其中整个分裂操作以可微形式制定。虽然近年来,这种软树的集合越来越多地被使用,但很少有理论工作来理解它们的行为。通过对无限软树系综的研究,引入并研究了树神经切线核(TNTK),为研究无限软树系综的行为提供了新的思路.使用TNTK,我们从理论上确定了几个非平凡的属性,如全局收敛的训练,不经意的树结构的等价性,和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Relation-aware Ensemble Learning for Knowledge Graph Embedding
Tsinghua University(清华大学);Paradigm Inc.(第四范式公司);Tencent YouTu Lab(腾讯优图实验室)
本文提出关系感知集成学习框架RelEns-DSC,通过分治合并算法独立搜索关系级权重,在保持计算成本的同时提升知识图谱嵌入性能,并在基准数据集上达到最先进水平。
2023-10-13 cs.AI cs.CL cs.LG
EBBS: An Ensemble with Bi-Level Beam Search for Zero-Shot Machine Translation
RBC Borealis(RBC博雷利斯)
本文提出集成方法EBBS,通过双层束搜索与软投票机制融合直接翻译和枢轴翻译,在零样本机器翻译中优于现有方法,并可通过蒸馏提升推理效率且不损失翻译质量。
2025-02-05 cs.AI cs.CL cs.LG
Distance Metric Ensemble Learning and the Andrews-Curtis Conjecture
Poznan University of Technology(波兹南理工大学);University of York(约克大学)
为了在三维和四维空间中寻找庞加莱猜想的反例,1965年提出了安德鲁斯-柯蒂斯猜想。现在人们普遍怀疑安德鲁斯-柯蒂斯猜想是错误的,但小的潜在反例并不多,以前的工作试图通过组合搜索消除一些。然而,进展有限,最成功的方法(使用辅存的广度优先搜索)既不能扩展,也不能提供详细信息。以前的实证分析的问题结构研究了几个启发式的搜索进度的措施,并确定他们没有提供任何有用的指导搜索。在这篇文章中,我们直接从问题结构中归纳出新的质量度量,并通过集成机器学习将它们结合起来,产生一个更有效的搜索驱动程序。通过这种方法,我们消除了19个潜在的反例,其状态已经未知了一些年。
2016-06-04 cs.AI cs.DM cs.LG
SAE: Single Architecture Ensemble Neural Networks
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
提出SAE框架,通过可扩展搜索空间和优化目标自动联合搜索单网络内的早期退出与多输入多输出配置,在保持准确度与置信度校准的同时显著降低计算操作或参数量。
2024-07-24 cs.LG
Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces
Imperial College London(帝国理工学院);BASF SE(巴斯夫股份公司);Cooperative State University(合作州立大学)
树集成非常适合黑盒优化任务,如算法调优和神经架构搜索,因为它们在很少或没有手动调优的情况下实现了良好的预测性能,自然地处理离散特征空间,并且对训练数据中的离群值相对不敏感。使用树集成进行黑盒优化的两个众所周知的挑战是(i)有效地量化用于探索的模型不确定性和(ii)优化分段常数获取函数。为了同时解决这两点,我们建议使用内核解释的树集成作为一个高斯过程之前,获得模型方差估计,我们开发了一个兼容的优化配方的采集功能。后者进一步允许我们无缝地集成已知的约束,以通过考虑工程设置中的领域知识和对搜索空间对称性建模来提高抽样效率,例如,神经结构搜索中的层次关系。我们的框架执行以及国家的最先进的方法,无约束的黑盒优化连续/离散的功能,并优于竞争的方法相结合的混合变量特征空间和已知的输入约束的问题。
2022-12-31 cs.AI cs.LG math.OC
Ensemble feature selection with clustering for analysis of high-dimensional, correlated clinical data in the search for Alzheimer's disease biomarkers
UNSW Sydney(悉尼新南威尔士大学)
医疗保健数据集通常包含高度相关的特征组,例如来自相同生物系统的特征。当将特征选择应用于这些数据集以识别最重要的特征时,由于相关特征而导致的某些多变量特征选择器中固有的偏差使得这些方法难以区分重要特征和不相关特征,并且特征选择过程的结果可能不稳定。特征选择集合,其聚合多个单独的基本特征选择器的结果,已经被研究作为稳定特征选择结果的手段,但是不解决相关特征的问题。我们提出了一个新的框架,以创建特征选择合奏从多变量特征选择器,同时考虑到相关功能组产生的偏见,使用凝聚层次聚类在预处理步骤。这些方法应用于阿尔茨海默病(AD)研究的两个真实世界数据集,AD是一种进行性神经退行性疾病,无法治愈,尚未完全了解。我们的研究结果表明,在没有聚类的模型中选择的特征的稳定性有显着改善,并且这些模型选择的特征与AD文献中的研究结果一致。
2022-07-06 cs.LG
Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning
Inha University(仁荷大学)
传统的基于NAS的剪枝算法旨在找到具有最佳验证性能的子网络。但是,确认性能不能成功代表测试性能,即,潜力表现。此外,虽然微调修剪网络以恢复性能下降是一个不可避免的过程,但很少有研究处理这个问题。本文提出了一种新的包围知识引导(EKG),以解决这两个问题。首先,我们通过实验证明了损失景观的波动可以作为评估潜在性能的有效指标。为了以低成本搜索具有最平滑损失景观的子网络,我们采用EKG作为搜索奖励。用于以下搜索迭代的EKG由临时子网络的总体知识组成,即,子网络评估的副产品。接下来,我们重用EKG来为修剪后的网络提供温和而信息丰富的指导,同时微调修剪后的网络。由于EKG在两个阶段中都被实现为存储体,因此其需要的成本可以忽略不计。例如,当修剪和训练ResNet-50时,仅需要315个GPU小时就可以去除大约45.04%的FLOPS,而不会降低任何性能,即使在低规格的工作站上也可以运行。所实现的代码可在https://github.com/sseung0703/EKG上获得。
2022-07-08 cs.AI cs.CV cs.LG
Optimal Counterfactual Explanations in Tree Ensembles
Pontifical Catholic University of Rio de Janeiro (PUC-Rio)(里约热内卢天主教大学(PUC-Rio));Polytechnique Montreal(蒙特利尔理工学院)
反事实解释通常是通过对搜索的初始条件敏感的推理产生的。缺乏性能和鲁棒性的保证阻碍了可信度。在本文中,我们采取了纪律的方法对树合奏的反事实的解释。我们提倡基于模型的搜索,旨在“最佳”的解释,并提出有效的混合整数规划方法。我们表明,隔离森林可以在我们的框架内建模,集中搜索合理的解释与低离群值得分。我们提供了额外的约束,模型的重要目标,异构数据类型,结构上的特征空间的约束,以及资源和actionability限制的全面覆盖。我们的实验分析表明,所提出的搜索方法需要的计算工作量是数量级小于以前的数学规划算法。它可以扩展到大型数据集和树集合,在那里它可以在几秒钟内提供系统的解释,这些解释基于定义良好的模型,并解决了最优问题。
2021-06-25 cs.LG math.OC
A Stationary-Distribution Theory for Triplet-Based Plateau Search in Random Forest Ensemble-Size Selection
Sberbank(俄罗斯联邦储蓄银行);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院);Federal Research Center “Computer Science and Control” of Russian Academy of Sciences (FRC CSC RAS)(俄罗斯科学院联邦研究中心“计算机科学与控制”)
将随机森林中基于三元组的高原搜索建模为生灭马尔可夫链,推导其平稳分布,并给出中心集成大小和波动的渐近阶。
2026-07-01 cs.AI cs.LG math.PR
LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction
The Hong Kong University of Science and Technology(香港科技大学);Shenzhen United Imaging Research Institute of Innovative Medical Equipment(深圳联合创新医疗装备研究院);Huazhong University of Science and Technology(华中科技大学);Tencent YouTu Lab(腾讯优图实验室)
针对放疗KBP集成学习依赖基学习器质量且集成复杂度高的问题,提出融合神经架构搜索与知识蒸馏的LENAS方法,搜索多样高性能架构并通过师生范式+混合损失蒸馏知识,在两个公开数据集上取得SOTA性能。
2024-05-13 cs.CV cs.LG eess.IV
GP-NAS-ensemble: a model for NAS Performance Prediction
Meituan(美团);Tencent(腾讯);Bigo Technology(Bigo科技);Alibaba Group(阿里巴巴集团);Chinese Academy of Sciences(中国科学院)
在神经网络结构搜索(Neural Architecture Search,NAS)的应用中,由于评估一个结构的性能需要花费大量的时间,因此在不进行训练的情况下对给定模型结构的性能进行评估具有重要意义。在本文中,一个新的NAS框架称为GP-NAS-ensemble提出了预测性能的神经网络架构与一个小的训练数据集。本文对GP-NAS模型进行了改进,使其具有集成学习方法的优点。我们的方法在CVPR 2022第二届轻量级NAS挑战赛性能预测赛道中排名第二。
2023-01-23 cs.LG stat.AP stat.ML
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综(MME)。在此之后,经验证据支持{ \it现象},即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失,即,累积圆谱差(CSD)。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响,如使用神经结构搜索(NAS)和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
Click prediction boosting via Bayesian hyperparameter optimization based ensemble learning pipelines
Istanbul Technical University(伊斯坦布尔理工大学);Donders Institute for Brain, Cognition and Behaviour, Radboud University Medical Center(拉德堡德大学医学中心唐德斯脑、认知与行为研究所);Kadir Has University(卡迪尔哈斯大学)
本文通过贝叶斯超参数优化和集成学习提升酒店点击预测性能,实验表明集成模型比单一模型提升了约10%的预测效果。
2022-06-24 cs.LG
Information in Infinite Ensembles of Infinitely-Wide Neural Networks
Edmond and Lilly Safra Center for Brain Sciences(埃德蒙与莉莉·萨夫拉脑科学中心);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
在这一初步工作中,我们研究了无限宽神经网络的无限集成的推广性质。令人惊讶的是,这个模型家族允许对许多信息论量进行易于处理的计算。我们报告的分析和实证调查,在寻找与泛化相关的信号。
2022-11-07 cs.IT cs.LG math.IT
Novel hybrid protein scaffold gap filling using weighted machine learning ensemble, beam search, and mass-constrained reranking
American International University-Bangladesh(美国国际大学-孟加拉国分校);City University(城市大学)
提出一种混合机器学习与质量约束重排序框架,结合加权集成、束搜索及同源检索,在已知缺口大小和质量条件下实现高准确率的蛋白质支架缺口填充。
2026-09-09 cs.LG q-bio.BM
Blackbox Attacks via Surrogate Ensemble Search
University of California Riverside(加州大学河滨分校)
黑盒对抗攻击可以分为基于传输和基于查询的攻击。转移方法不需要来自受害者模型的任何反馈,但与基于查询的方法相比,成功率较低。查询攻击通常需要大量查询才能成功。为了实现这两种方法的最佳效果,最近的努力试图将它们结合起来,但仍然需要数百个查询才能实现高成功率(特别是针对性攻击)。在本文中,我们提出了一种新的方法,通过代理包围搜索(BASES),可以产生非常成功的黑盒攻击,使用极少量的查询。我们首先定义了一个扰动机,它通过最小化一组固定的代理模型上的加权损失函数来生成扰动图像。为了生成针对给定受害者模型的攻击,我们使用扰动机生成的查询来搜索损失函数中的权重。由于搜索空间的维度很小(与代理模型的数量相同),因此搜索需要少量的查询。我们证明,与使用ImageNet训练的不同图像分类器的最先进方法相比,我们提出的方法实现了更好的成功率,查询至少减少30倍。特别是,我们的方法需要每个图像(平均)少至3个查询,以实现超过90%的有针对性攻击的成功率,每个图像1-2个查询,以实现超过99%的无针对性攻击的成功率。我们的方法在Google Cloud Vision API上也很有效,并且实现了91%的无目标攻击成功率,每张图像有2.9个查询。我们还表明,我们所提出的方法产生的扰动是高度可转移的,可以采用硬标签黑盒攻击。我们还展示了BASES隐藏攻击对象检测器的有效性。
2022-11-24 cs.CV cs.LG
Deep Extreme Feature Extraction: New MVA Method for Searching Particles in High Energy Physics
Guangdong University of Foreign Studies(广东外语外贸大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文提出了一种新的用于高能物理中Higgs玻色子$τ^{+}τ^{-}$通道搜索的集成MVA方法--深度极值特征提取(DEFE)。DEFE可以被视为一种深度集成学习方案,它训练了一组高度多样化的神经特征学习器,而不会明确鼓励多样性和惩罚相关性。这是通过采用隐式神经控制器(不涉及前馈计算)来实现的,该隐式神经控制器直接控制和分配来自更高级别的深度预测网络的梯度流。这种模型独立的控制器的结果是,每一个单一的本地功能学习使用的特征输出映射阶段,避免盲目平均的功能。DEFE使集成“深”的意义上说,它允许深后处理这些功能,试图学习选择和抽象的神经特征学习器的集成。应用该模型,通过训练一个小型碰撞事件集,可以得到一个充满信号处理的选择区域。与经典的深度神经网络相比,DEFE表现出了最先进的性能:出错率降低了约37%,准确率首次突破90%,发现显著性达到了6.0 $σ$的标准差。实验数据表明,DEFE能够训练一个判别特征学习器的集合,从而提高最终预测的超性能。
2016-03-24 cs.LG cs.NE
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
深度神经网络是各种任务的强大预测器。然而,它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力,同时受益于更好的计算可扩展性。然而,构建神经网络的集成是一项具有挑战性的任务,因为除了为集成的每个成员选择正确的神经架构或超参数之外,还需要增加训练每个模型的成本。我们提出AutoDEUQ,一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意(数据)和认知(模型)的不确定性。我们表明,AutoDEUQ优于概率反向传播,蒙特卡罗辍学,深度集成,分布自由集成,超集成方法在一些回归基准。
2022-07-04 cs.LG
Bi-EZP: LLM-Guided Bilevel Program Evolution for Ensemble Zero-Cost Proxy Discovery
School of Mathematics and Statistics, Guangdong University of Technology(广东工业大学数学与统计学院)
该研究提出Bi-EZP双层框架,通过大语言模型与CMA-ES解耦聚合结构发现和参数校准,在NATS-Bench等数据集上验证了其构建集成零成本代理的有效性
2026-08-25 cs.AI cs.LG
Bayesian Optimization with Preference Exploration using a Monotonic Neural Network Ensemble
University of Warwick(沃里克大学);Amazon(亚马逊)
本文提出基于单调神经网络集合的贝叶斯优化方法,通过整合单调性提升性能,优于现有方法并具备噪声鲁棒性。
2026-01-14 cs.LG math.OC stat.ML
AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting
Aimsun SLU(Aimsun SLU公司);DeustoTech(德乌斯托技术中心);Faculty of Engineering, University of Deusto(德乌斯托大学工程学院);University of Deusto(德乌斯托大学);IKERBASQUE, Basque Foundation for Science(巴斯克科学基金会IKERBASQUE);University of Granada(格拉纳达大学)
智能交通系统正在产生大量难以管理的交通数据,这促使机器学习(ML)用于数据驱动的应用程序,如交通预测(TF)。TF由于其通过预测未来交通状态来缓解交通拥堵的能力而获得相关性。然而,TF对ML范式提出了一个巨大的挑战,称为模型选择问题(MSP):为在不同交通环境下收集的交通数据确定最合适的数据预处理技术和ML方法的组合。在这种情况下,自动化机器学习(AutoML),即从数据预处理到模型验证的ML工作流程的自动化,作为一种有前途的策略来处理问题领域的MSP,其中专家ML知识并不总是可用或负担得起的资产,例如TF。各种AutoML框架已被用于在TF中处理MSP。大多数基于在线优化过程,以在给定数据集上搜索性能最佳的管道。这种在线优化可以通过元学习来补充,以热启动搜索阶段和/或使用从优化过程中导出的管道来构建集合。然而,考虑到搜索空间的复杂性和所生成的调谐-评估流水线的高计算成本,在线优化仅在获得最终模型的时间较长时才是有益的。因此,我们引入了AutoEn,这是一种简单而有效的方法,用于从预定义的ML管道集自动生成多分类器集成。我们将AutoEn与Auto-WEKA和Auto-sklearn进行了比较,这是TF中常用的两种AutoML方法。实验结果表明,AutoEn可以导致更好的或更具竞争力的结果,在通用领域和TF。
2023-03-19 cs.LG
Securing Transactions: A Hybrid Dependable Ensemble Machine Learning Model using IHT-LR and Grid Search
International University of Business Agriculture and Technology(国际商业农业与技术大学);Bangabandhu Sheikh Mujibur Rahman Digital University(邦班杜·谢赫·穆吉布·拉赫曼数字大学);Deakin University(迪肯大学);Jagannath University(贾格纳特大学)
本文提出一种结合IHT-LR与网格搜索加权优化的混合集成机器学习模型,融合DT、RF、KNN和MLP算法,在28万余笔交易数据集上实现最高100%准确率,为高频信用卡欺诈检测树立了新基准。
2024-02-22 cs.LG q-fin.GN
AdaNAS: Adaptively Post-processing with Self-supervised Neural Architecture Search for Ensemble Rainfall Forecasts
Sun Yat-Sen University(中山大学)
提出AdaNAS,一种自监督神经架构搜索方法,用于降雨预报后处理,通过降雨感知搜索空间和正则化提升精度,在TIGGE基准上MAE和RMSE分别提升80.5%和80.3%。
2024-02-04 cs.AI cs.LG physics.ao-ph
IncA-DES: An incremental and adaptive dynamic ensemble selection approach using online K-d tree neighborhood search for data streams with concept drift
LIVIA, École de Technologie Supérieure, University of Qu\'ebec, Montreal, Qu\'ebec, Canada;Department of Informatics, Universidade Federal do Paran\' a (UFPR), Curitiba (PR), Brazil
本文提出IncA-DES方法,通过局部专家训练、概念漂移检测、重叠过滤和在线K-d树邻域搜索,在概念漂移数据流中实现高准确率与低处理时间。
2025-07-16 cs.LG
Model Architecture Adaption for Bayesian Neural Networks
University of Cambridge(剑桥大学)
贝叶斯神经网络(BNN)提供了一个数学基础的框架来量化模型预测的不确定性,但训练和推理的计算成本过高。在这项工作中,我们展示了一种新的网络架构搜索(NAS),它优化了BNN的准确性和不确定性,同时减少了推理延迟。不同于典型的NAS,仅优化分布的可能性,所提出的计划搜索的不确定性性能使用的分布和分布外的数据。我们的方法能够搜索网络中贝叶斯层的正确位置。在我们的实验中,搜索的模型显示出与最先进的(深度集成)相比相当的不确定性量化能力和准确性。此外,与许多流行的BNN基线相比,搜索模型仅使用一小部分运行时,与MCDropout和深度集成相比,CIFAR 10数据集上的推理运行时成本分别降低了$2.98 \times$和$2.92 \times$。
2022-02-09 cs.AI cs.LG
In Search of the Unknown Unknowns: A Multi-Metric Distance Ensemble for Out of Distribution Anomaly Detection in Astronomical Surveys
University of Delaware(德雷塞尔大学);Rubin Observatory(鲁宾天文台);Caltech(加州理工学院)
针对天文高维特征空间中单一距离度量异常检测效果受限的问题,提出多度量距离集成方法DiMMAD,在分布外异常检测的新类多样性发现上优于现有方法,且代码开源。
2025-10-27 astro-ph.IM cs.LG
Real Image Super Resolution Via Heterogeneous Model Ensemble using GP-NAS
Baidu Research (USA)(百度研究院(美国));Baidu Inc.(百度公司)
随着深度神经网络(DNN)的进步,最近的最先进(SOTA)图像超分辨率(SR)方法使用具有密集跳跃连接的深度残差网络取得了令人印象深刻的性能。虽然这些模型在基准数据集上表现良好,其中低分辨率(LR)图像是从具有已知模糊内核的高分辨率(HR)参考构建的,但当LR-HR对中的两个图像都是从真实相机收集时,真实图像SR更具挑战性。基于现有的密集残差网络,基于高斯过程的神经结构搜索(GP-NAS)计划被用来找到候选网络结构使用一个大的搜索空间,通过改变密集残差块的数量,块的大小和数量的功能。选择一组具有不同网络结构和超参数的异构模型进行模型集成,以在真实图像超分辨率中实现出色的性能。所提出的方法在AIM 2020真实图像超分辨率挑战赛的所有三个赛道中均获得第一名。
2021-01-22 cs.CV cs.LG eess.IV
Dynamic Ensemble of Low-fidelity Experts: Mitigating NAS "Cold-Start"
Tsinghua University(清华大学);Huawei Technologies Co., Ltd(华为技术有限公司);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);SailYond Technology & Research Institute of Tsinghua University in Shenzhen(清华大学深圳赛伦科技与研究院)
基于预测器的神经结构搜索(NAS)采用结构性能预测器来提高样本效率。然而,基于预测器的NAS遭受严重的“冷启动”问题,因为需要大量的架构性能数据来获得工作预测器。在本文中,我们专注于利用廉价获得性能估计(即,低保真度信息)以减轻预测器训练的大数据要求。尽管这个想法很直观,但我们观察到,使用不适当的低保真信息甚至会损害预测能力,并且不同的搜索空间对低保真信息类型有不同的偏好。为了解决这个问题,更好地融合不同类型的低保真度信息提供的有益信息,我们提出了一种新的动态集成预测框架,包括两个步骤。在第一步中,我们训练不同的子预测器上的不同类型的可用低保真信息提取有益的知识作为低保真专家。在第二步中,我们学习一个门控网络,以动态输出一组以每个输入神经架构为条件的加权系数,这些加权系数将用于将不同低保真专家的预测组合在加权和中。整体预测器在一小组实际架构性能数据上进行优化,以融合来自不同低保真度专家的知识来进行最终预测。我们进行了广泛的实验,在五个搜索空间与不同的架构编码器在各种实验设置。我们的方法可以很容易地纳入现有的基于预测的NAS框架,以发现更好的架构。
2023-02-02 cs.AI cs.LG
BeamVQ: Beam Search with Vector Quantization to Mitigate Data Scarcity in Physical Spatiotemporal Forecasting
TEG, Tencent(腾讯TEG);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
针对物理时空预测中的数据稀缺问题,提出BeamVQ框架,通过向量量化束搜索与自集成策略,实现迭代自训练,提升极端事件预测精度与泛化能力。
2025-02-26 cs.AI cs.LG
Predict NAS Multi-Task by Stacking Ensemble Models using GP-NAS
针对小样本下NAS架构性能预测的过拟合及多任务关联利用问题,通过数据预处理、模型组合探索,提出带交叉验证的GP-NAS堆叠集成模型,获CVPR 2022赛道2挑战赛第一名。
2023-05-02 cs.CV cs.LG stat.AP
Band-gap regression with architecture-optimized message-passing neural networks
Humboldt-Universität zu Berlin(柏林洪堡大学);Max Planck Institute for Solid State Research(马克斯·普朗克固体研究所);Orbital Materials(Orbital Materials公司)
本研究训练消息传递神经网络分类金属与非金属,并通过神经架构搜索优化模型超参数以预测非金属材料带隙,构建的集成模型性能显著优于现有模型并进行了不确定性量化与适用域分析。
2023-09-12 cs.LG physics.comp-ph