Efficient Novelty-Driven Neural Architecture Search
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
One-Shot神经网络结构搜索(NAS)由于能够通过权值共享减少计算时间而受到广泛关注。然而,对最近几项工作的大量实验表明,从超网继承权重的验证准确率与One-Shot NAS重新训练后的测试准确率之间没有正相关性。与设计控制器以找到具有继承权重的最佳性能架构不同,本文关注如何对架构进行采样以训练超网,使其更具预测性。该算法采用单路径超网结构,每一步只优化一小部分权值,大大减少了对内存的需求。此外,我们放弃了设计复杂的基于奖励的结构采样控制器,并采样结构训练基于新颖性搜索的超网。本文提出了一种新的基于新颖性搜索的结构抽样方法,并通过大量的实验验证了该方法的有效性。在相同的搜索空间下,我们的算法获得的最佳架构在CIFAR-10上的测试出错率为2.51%,在单个GPU上的搜索时间仅为7.5小时,在PTB上的验证复杂度为60.02,测试复杂度为57.36。我们还将这些搜索单元结构分别转移到更大的数据集ImageNet和WikiText-2。
2019-07-22 cs.LG cs.NE stat.ML
Training BatchNorm Only in Neural Architecture Search and Beyond
Midea Group(美的集团);Tongji University(同济大学)
本文研究了批量归一化在神经结构搜索中的应用。具体来说,Frankle等人发现训练BatchNorm只能实现非平凡的性能。此外,Chen等人声称,训练BatchNorm只能将一次性NAS超网的训练速度提高十倍以上。关键的是,没有努力理解1)为什么训练BatchNorm只能找到性能良好的架构,减少超网训练时间,以及2)仅训练BN超网和标准训练超网之间的区别是什么。我们首先证明了仅训练BN的网络收敛到神经切线核区域,获得了与理论上训练所有参数相同的训练动力学。我们的证明支持只在超网上用较少的训练时间训练BatchNorm的主张。然后,我们经验性地揭示了仅训练BN超网在卷积上比其他运营商具有优势,导致架构之间的不公平竞争。这是因为只有卷积运算符与BatchNorm相连。通过实验,我们表明,这种不公平性使得搜索算法倾向于选择具有卷积的模型。为了解决这个问题,我们通过在每个操作符上放置BatchNorm层来在搜索空间中引入公平性。然而,我们观察到Chen等人的性能预测器在新的搜索空间上不适用。为此,我们提出了一种新的复合性能指标,从三个角度来评估网络:表现力,可训练性和不确定性,来自BatchNorm的理论属性。我们证明了我们的方法在多个NAS基准测试(NAS-Bench 101,NAS-Bench-201)和搜索空间(DARTS搜索空间和MobileNet搜索空间)的有效性。
2021-12-01 cs.CV cs.LG
FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search
Xiaomi AI Lab(小米人工智能实验室)
权值共享神经结构搜索中最关键的问题之一是在预定义的搜索空间内对候选模型进行评估。在实践中,一次性超网经过训练以充当评估者。可靠的排名当然会带来更准确的搜索结果。然而,目前的方法很容易做出错误的判断。在本文中,我们证明了他们的偏见的评价是由于固有的不公平的超网训练。有鉴于此,我们提出了两个层次的约束:期望公平和严格公平。特别是,严格的公平性确保了整个训练过程中所有选择块的平等优化机会,既不会高估也不会低估它们的能力。我们证明,这是至关重要的提高模型的排名的信心。利用多目标进化搜索算法对在所提出的公平性约束下训练的单次超网进行验证,我们得到了各种最先进的模型,例如,FairNAS-A在ImageNet上达到77.5%的top-1验证准确率。这些模型及其评估代码可在http://github.com/fairnas/FairNAS网站上公开获取。
2021-07-28 cs.AI cs.CV cs.LG
Adaptive Ensemble Prediction for Deep Neural Networks based on Confidence Level
IBM Research - Tokyo(IBM东京研究院)
集成多个预测是用于提高各种机器学习任务的准确性的广泛使用的技术。集成的一个明显的缺点是它在推理过程中的执行成本较高。在本文中,我们首先描述了我们对预测概率与当前深度神经网络集成效果之间关系的见解;即使有不可忽略的错误预测输入,集成也无助于预测概率很高的输入的错误预测。这一发现促使我们开发一种自适应控制集成的方法。如果对输入的预测达到足够高的概率,即,softmax函数的输出,基于置信水平,我们停止对该输入进行集成,以避免浪费计算能力。我们通过使用各种数据集来评估自适应集成,并表明它显着降低了计算成本,同时使用预定义数量的局部预测实现了与静态集成相似的精度。我们还表明,我们的统计严格的置信水平为基础的提前退出条件,减少了任务相关的阈值调整的负担更好地与天真的提前退出的基础上预先定义的阈值相比,除了产生更好的精度与相同的成本。
2019-03-08 cs.CV cs.LG stat.ML
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而,DNN昂贵的评估成本导致在有限的时间内评估数据很少,这大大降低了贝叶斯优化的效率。此外,以往的研究主要集中在使用完整的评估数据进行贝叶斯优化,而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题,我们提出了一种快速超参数优化方法HOIST,该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说,我们训练多个基本代理人收集信息的混合评估数据,然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明,HOIST在广泛的DNN上优于最先进的方法,包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
HEP-NAS: Towards Efficient Few-shot Neural Architecture Search via Hierarchical Edge Partitioning
Wuhan University(武汉大学);Northeastern University(东北大学)
针对少样本神经架构搜索忽略边关系导致性能下降的问题,提出HEP-NAS,通过层次化边划分、选择最有前景子超网络及搜索空间相互蒸馏,逐步缩小搜索空间,提升搜索效率与准确率。
2024-12-14 cs.CV cs.LG
MedNNS: Supernet-based Medical Task-Adaptive Neural Network Search
Mohammed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对医学任务中模型架构选择和权重初始化难题,提出MedNNS框架,通过超网络构建元空间联合优化,扩大模型库51倍,引入排名损失和FID损失,平均准确率提升1.7%且收敛更快。
2025-04-23 cs.AI cs.CV cs.LG
Towards Efficient Few-shot Graph Neural Architecture Search via Partitioning Gradient Contribution
College of Software, Jilin University(吉林大学软件学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(教育部符号计算与知识工程重点实验室,吉林大学);School of Computer Science, Zhuhai College of Science and Technology(珠海科技学院计算机科学学院);College of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系)
针对少样本图神经架构搜索中的权重耦合问题,提出基于梯度贡献划分的GC方法及统一搜索框架UGAS,高效探索MPNN与GT组合,实现SOTA性能。
2025-06-20 cs.AI cs.LG
S3NAS: Fast NPU-aware Neural Architecture Search Methodology
Seoul National University(首尔大学)
随着卷积神经网络(CNN)在嵌入式设备中的应用领域不断增长,使用称为神经处理单元(NPU)的硬件CNN加速器来实现比CPU或GPU更高的性能功耗比变得流行。最近,自动神经架构搜索(NAS)作为默认技术出现,以找到比手动设计的图像分类架构具有更高精度的最先进的CNN架构。在本文中,我们提出了一种快速的NPU感知的NAS方法,称为S3 NAS,找到一个CNN架构具有更高的准确性比现有的在给定的延迟约束。它由三个步骤组成:超网设计,用于快速架构探索的单路径NAS和扩展。为了拓宽由阶段组成的超网结构的搜索空间,我们允许阶段具有不同数量的块,并且允许块具有不同内核大小的并行层。为了快速的神经结构搜索,我们采用了修改后的单路径NAS技术建议的超网结构。在这一步中,我们假设一个比减少搜索空间和搜索时间所需的更短的延迟约束。最后一步是在延迟约束内最大限度地扩展网络。为了准确的延迟估计,设计了一个分析延迟估计器,基于周期级NPU模拟器,该模拟器运行整个CNN,准确地考虑存储器访问开销。使用所提出的方法,我们能够使用TPUv 3在3小时内找到一个网络,在ImageNet上显示出82.72%的top-1准确率,延迟为11.66 ms。代码发布于https://github.com/cap-lab/S3NAS
2020-09-04 cs.CV cs.LG stat.ML
Ensembling geophysical models with Bayesian Neural Networks
University of Cambridge(剑桥大学);Lancaster University(兰卡斯特大学);British Antarctic Survey(英国南极调查局)
地球物理模型的集合提高了投影精度并表达了不确定性。我们开发了一种新的数据驱动的集成策略,使用贝叶斯神经网络,推断时空变化的模型权重和偏差,同时考虑异方差的不确定性的观察相结合的地球物理模型。这产生了更准确和不确定性感知的预测,而不会牺牲可解释性。应用于15个化学气候模型的集成总柱臭氧的预测,我们发现贝叶斯神经网络集成(BayNNE)优于现有的集成方法,实现了49.4%的时间外推的RMSE减少,和67.4%的RMSE减少极地数据空隙,相比加权平均值。不确定性也得到了很好的表征,我们的外推验证数据集中90.6%的数据点在2个标准差内,98.5%在3个标准差内。
2020-10-07 cs.LG physics.geo-ph stat.AP
Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture
ÉTS(高等技术学院)
针对CNN池化架构搜索中单SuperNet参数共享导致训练困难的问题,提出平衡混合SuperNet方法,在多个数据集上优于默认配置和其他方法。
2023-06-21 cs.CV cs.LG
Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling
Huazhong University of Science and Technology(华中科技大学)
对深度学习模型进行集成是推动其在新场景中实现的捷径,可以避免从零开始调优神经网络、损失和训练算法。然而,很难通过一次训练收集足够准确和多样的模型。本文提出了自动集成(AE)算法,通过自适应学习率调度算法自动收集深度学习模型的检查点并集成。该方法的优点是通过一次训练调度学习率,使模型收敛于各种局部最优。当局部最优解的数量趋于饱和时,所有收集的检查点用于集成。我们的方法是通用的,它可以适用于各种场景。在多个数据集和神经网络上的实验结果表明,该方法是有效的和有竞争力的,特别是在少样本学习方面。此外,我们提出了一种方法来衡量模型之间的距离。这样就可以保证采集模型的准确性和多样性。
2020-12-03 cs.LG stat.ML
Foldable SuperNets: Scalable Merging of Transformers with Different Initializations and Tasks
Electrical and Computer Engineering Department, Technion(技术学院电子与计算机工程系);Habana Labs – An Intel company(英特尔旗下Habana实验室)
本文提出 FS-Merge 方法,通过训练包含冻结原始模型权重的 SuperNet 并进行折叠,解决了不同初始化和任务下 Transformer 的合并难题,在低数据场景下取得 SOTA 结果。
2025-08-15 cs.LG
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学);Oracle Health and AI(甲骨文健康与人工智能部门)
本文提出SuperTickets,通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络,无需重训练即可实现更优的准确率与效率权衡,并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
Transfer-Once-For-All: AI Model Optimization for Edge
IBM Research(IBM研究院)
提出Transfer-Once-For-All(TOFA)方法,通过在小数据集上利用统一的半监督训练损失同时训练超网内所有子网,实现了在任意边缘部署场景下计算成本恒定的模型优化。
2023-07-02 cs.CV cs.LG cs.NE
AutoTailor: Automatic and Efficient Adaptive Model Deployment for Diverse Edge Devices
Southeast University(东南大学);Hong Kong University of Science and Technology(香港科学与技术大学);Tsinghua University(清华大学);University of Macau(澳门大学)
AutoTailor通过自动化端到端SuperNet自适应模型部署,显著提升边缘设备的推理效率和模型准确性。
2026-10-20 cs.LG
DeepFedNAS: Efficient Hardware-Aware Architecture Adaptation for Heterogeneous IoT Federations via Pareto-Guided Supernet Training
本文提出DeepFedNAS,通过帕累托引导的超网络训练,实现异构物联网联邦的高效硬件感知架构适应,显著提升搜索效率和模型精度。
2026-09-28 cs.CV cs.DC cs.LG
Star algorithm for NN ensembling
Novosibirsk State University(新西伯利亚国立大学);HSE University(高等经济大学)
神经网络集成是提高模型效率的一种常用且鲁棒的方法。在Audibert经验星算法的基础上,提出了一种新的神经网络集成算法。我们提供了最优的理论极大极小界的超额平方风险。此外,我们还在回归和分类任务上实证研究了该算法,并将其与最流行的集成方法进行了比较。
2022-06-01 cs.LG math.ST stat.TH
TODM: Train Once Deploy Many Efficient Supernet-Based RNN-T Compression For On-device ASR Models
Meta;University of Cambridge(剑桥大学)
提出TODM方法,利用Supernet共享权重并组合自适应dropout、原位Alpha散度知识蒸馏和ScaledAdam优化器,高效训练多种尺寸的设备端ASR模型,在LibriSpeech上验证其性能匹配或超越手动调优模型且训练成本恒定。
2023-11-27 cs.CL cs.LG cs.SD
Effective training-time stacking for ensembling of deep neural networks
Skoltech(斯科尔科沃科学技术研究院)
集成是一种流行而有效的改进机器学习(ML)模型的方法。它不仅在经典ML中证明了它的价值,而且在深度学习中也证明了它的价值。集成提高了ML解决方案的质量和可信度,并允许进行不确定性估计。然而,它们是有代价的:深度学习模型的训练集合消耗了大量的计算资源。快照集成沿着单个训练路径收集集成中的模型。由于它只运行一次训练,因此计算时间与一个模型的训练时间相似。然而,沿着训练路径的模型的质量是不同的:通常,如果没有过拟合发生,后面的模型更好。因此,这些模型具有不同的效用。我们的方法通过沿着训练路径选择和加权集成成员来改进快照集成。它依赖于训练时间的似然性,而不像标准堆叠方法那样考虑验证样本误差。Fashion MNIST、CIFAR-10和CIFAR-100数据集的实验证据证明了所提出的加权集合c.t.深度学习模型的香草集成。
2022-06-27 cs.CV cs.LG
Ex Uno Pluria: Insights on Ensembling in Low Precision Number Systems
Kim Jaechul Graduate School of AI(金在哲人工智能研究生院);KAIST(韩国科学技术院)
本文针对大规模模型时代集成学习可扩展性不足的问题,提出一种无需训练的低精度集成方法,从单一模型在低精度数制下派生集成成员,并通过实验验证其优于现有集成方法。
2024-11-22 cs.LG
Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation
Technical University of Denmark(丹麦技术大学);Microsoft(微软公司)
针对 TinyML 中架构与输入数据需联合优化的问题,提出基于超网加速评估的数据感知神经架构搜索方法,并在 Wake Vision 上验证其优于纯架构搜索。
2025-02-18 cs.AI cs.CV cs.LG
Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications
University of Southern California(南加州大学)
本文提出基于锚定集成的贝叶斯神经网络训练方案,利用函数空间先验和权重低秩相关性整合先验知识,并在力学材料代理建模中验证了其精度与不确定性估计能力。
2024-09-08 cs.LG stat.ML
Ensembling Neural Networks for Improved Prediction and Privacy in Early Diagnosis of Sepsis
Heidelberg University(海德堡大学)
本研究提出将神经网络集成技术应用于医疗数据机器学习,可高效训练患者专属网络、构建性能更优的小样本集成模型,并通过输出扰动保障隐私,在脓毒症早期预测任务上得到验证。
2022-09-01 cs.LG
A Neural Scaling Law from Lottery Ticket Ensembling
MIT(麻省理工学院);IAIFI(人工智能与基础科学研究院)
本文发现简单1D问题中神经缩放定律与理论预测不符,揭示其源于彩票票据集成,归因于中心极限定理,并探讨了对大语言模型和统计物理学习理论的启示。
2024-02-02 cs.AI cs.LG physics.data-an
Bayesian Quadrature for Neural Ensemble Search
University of Oxford(牛津大学)
集成可以提高神经网络的性能,但是当架构似然表面具有分散的窄峰时,现有的方法很难实现。此外,现有的方法构造等权重的合奏,这是可能容易受到故障模式的较弱的架构。通过查看合奏近似边缘化的架构,我们构建合奏使用贝叶斯求积的工具-工具,非常适合于探索的可能性表面分散,窄峰。此外,由此产生的集成包括与其性能相称的加权架构。我们凭经验证明-在测试可能性,准确性和预期校准误差方面-我们的方法优于最先进的基线,并通过消融研究验证其组件独立完成。
2023-03-17 cs.LG stat.ML
Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness
Michigan State University(密歇根州立大学);Argonne National Laboratory(阿贡国家实验室);Brookhaven National Laboratory(布鲁克海文国家实验室)
具有精确校准的不确定性的鲁棒机器学习模型对于安全关键型应用至关重要。概率机器学习,特别是贝叶斯形式主义提供了一个系统的框架,通过分布估计和不确定性的原因,将鲁棒性。最近的工作表明,近似推理的方法,采取神经网络的权重空间的不确定性,以产生集成预测是最先进的。然而,架构的选择大多是临时的,这基本上忽略了认知的不确定性,从架构空间。为此,我们提出了一个统一的概率架构和权重集成神经架构搜索(UraeNAS),利用概率神经架构搜索和近似贝叶斯推理的进步,以生成集成形式的联合分布的神经网络架构和权重。与基线确定性方法相比,所提出的方法显示出分布内(准确度为0.86%,ECE为42%)CIFAR-10和分布外(准确度为2.43%,ECE为30%)CIFAR-10-C的显著改善。
2022-10-08 cs.AI cs.LG
NASRec: Weight Sharing Neural Architecture Search for Recommender Systems
Duke University(杜克大学);Meta AI;University of Houston(休斯顿大学)
NASRec提出基于权重共享超网的神经架构搜索范式,通过单算子任意连接采样、算子平衡交互模块和训练后微调解决推荐系统多模态与架构异构挑战,在CTR预测基准上超越人工设计和现有NAS方法。
2023-02-12 cs.IR cs.LG
LLM-NAS: LLM-driven Hardware-Aware Neural Architecture Search
Stevens Institute of Technology(史蒂文斯理工学院);Technical University of Darmstadt(达姆施塔特技术大学)
LLM-NAS通过引入复杂度驱动的分区引擎、架构提示共进化操作符和零成本预测器,实现高精度低延迟的神经架构搜索,显著降低搜索成本。
2025-12-04 cs.LG
Across-Task Neural Architecture Search via Meta Learning
Zhejiang University of Technology(浙江工业大学)
充足的标记数据和昂贵的计算资源是神经结构搜索成功的前提。在计算资源和数据有限的元学习场景中应用NAS具有挑战性。在本文中,跨任务的神经架构搜索(AT-NAS)提出了解决这个问题,通过结合基于梯度的元学习和EA的NAS学习的任务分布。超网通过元学习其权重来学习整个任务集。从超网中采样的结构编码迭代地适应进化算法,同时搜索一个任务敏感的元网络。搜索元网络可以通过几个学习步骤来适应新的任务,并且只需要很少的搜索时间。实验结果表明,AT-NAS在Few-Shot分类精度上优于相关方法。AT-NAS在分类基准测试中的性能与从头开始搜索的模型相当,通过在不到一个小时的时间内从5-GPU-天的预训练元网络中调整架构。
2021-10-12 cs.LG
DimGrow: Memory-Efficient Field-level Embedding Dimension Search
Bilibili Inc.(哔哩哔哩公司)
针对推荐系统特征字段嵌入维度需自动化分配且现有SuperNet类方法内存开销大的问题,提出轻量级方法DimGrow,通过重要性评分动态调整维度,在三个推荐数据集上验证了有效性且降低了训练内存。
2026-09-30 cs.LG
Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search
University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学);East China University of Science and Technology(华东理工大学);Bielefeld University(比勒费尔德大学)
由于有限的计算成本和能量消耗,大多数部署在移动设备中的神经网络模型都很小。然而,微小的神经网络通常非常容易受到攻击。目前的研究已经证明,较大的模型规模可以提高鲁棒性,但对如何提高微小型神经网络的鲁棒性的研究还不多。我们的工作集中在如何提高小型神经网络的鲁棒性,而不严重恶化的清洁精度下移动级资源。为此,我们提出了一个多目标oneshot网络架构搜索(NAS)算法,以获得最佳的权衡网络的对抗精度,清洁精度和模型大小。具体来说,我们设计了一个新的搜索空间的基础上新的小块和通道,以平衡模型的大小和对抗性能。此外,由于超网显着影响的性能,在我们的NAS算法中,我们揭示了超网如何帮助获得最佳的子网下白盒对抗攻击的见解。具体来说,我们通过分析对抗性的可移植性,超网的宽度以及从头开始训练和微调之间的差异,探索了一种新的对抗性训练范式。最后,我们对第一个非支配前沿上的某些块和通道的分层组合进行了统计分析,这可以作为设计微小神经网络架构以抵抗对抗性扰动的指导。
2022-01-09 cs.AI cs.CR cs.CV
Bayesian Neural Network Ensembles
University of Cambridge(剑桥大学)
长期以来,神经网络(NN)的集成一直被用于估计预测的不确定性;少数NN是从不同的初始化中训练出来的,有时是在不同版本的数据集上训练的。合奏的预测的方差被解释为它的认知不确定性。集成的吸引力源于常规NN的集合-这使得它们既可扩展又易于实现。近年来,它们已经取得了强有力的实证结果,通常作为更昂贵的贝叶斯神经网络(BNN)的实际替代方案。由于贝叶斯框架提供了一种原则性的、被广泛接受的处理不确定性的方法,因此偏离贝叶斯方法令人关切。在这个扩展的摘要中,我们推导并实现了一个修改后的NN集成方案,它提供了一个一致的估计贝叶斯后验在宽NN-正则化参数的值从先验分布。
2018-11-27 cs.LG stat.ML
Memory-Optimized Once-For-All Network
Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院)
提出 MOOFA 超网,通过跨配置最大化内存使用和特征多样性改进 OFA,并在 ImageNet 上提升内存利用率与模型准确率。
2024-09-05 cs.CV cs.LG eess.IV
Neural Architecture Search of SPD Manifold Networks
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
本文提出了一种新的对称正定流形网络的神经结构搜索问题,旨在实现SPD神经结构的自动化设计。为了解决这个问题,我们首先介绍了一个几何丰富和多样的SPD神经架构搜索空间的有效SPD单元设计。此外,我们用单个超网的一次性训练过程来建模我们的新NAS问题。基于超网模型,我们利用可微NAS算法在我们的放松连续搜索空间的SPD神经结构搜索。我们的方法对无人机,动作和情感识别任务的统计评估大多提供了比最先进的SPD网络和传统NAS算法更好的结果。实证结果表明,我们的算法在发现性能更好的SPD网络设计方面表现出色,并提供了比最先进的NAS算法搜索轻三倍以上的模型。
2021-06-13 cs.CV cs.LG cs.NE
Auto-HeG: Automated Graph Neural Network on Heterophilic Graphs
Monash University(莫纳什大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shenzhen University(深圳大学);Chinese Academy of Sciences(中国科学院);Griffith University(格里菲斯大学)
图神经结构搜索(NAS)在自动设计功能强大的图神经网络(GNN)方面已经得到了广泛的应用,从而减轻了人类的努力。然而,现有的图NAS方法主要在同构假设下工作,而忽略了另一个重要的图属性,即,异质性,这广泛存在于各种现实世界的应用。到目前为止,基于NAS的自动化异形图学习仍然是一个有待填补的研究空白。由于异嗜图的复杂性和多样性,异嗜图NAS的关键挑战主要在于开发异嗜特定的搜索空间和策略。因此,在本文中,我们提出了一种新型的基于异嗜图的自动化图神经网络,即Auto-HeG,来自动构建具有表达学习能力的异嗜GNN模型。具体而言,Auto-HeG将异质性纳入自动异质图学习的所有阶段,包括搜索空间设计,超网训练和架构选择。通过微观与宏观相结合的多种消息传递机制,首先构建了一个全面的异质GNN搜索空间,使Auto-HeG能够集成复杂多样的异质图.采用渐进式超网训练策略,根据异质性的逐层变化动态收缩初始搜索空间,从而得到紧凑高效的超网。以异性感知距离准则为指导,我们在留一模式下进行异性结构选择,从而可以衍生出专门的和表达性的异性GNN结构。大量的实验说明了Auto-HeG在开发优秀的异嗜性GNN方面的优越性,以人类设计的模型和图形NAS模型。
2023-02-23 cs.LG cs.SI
Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs
Samsung AI Center in Moscow(三星莫斯科人工智能中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Cornell University(康奈尔大学);National Research University Higher School of Economics(国立研究型大学高等经济学院)
深度神经网络的损失函数很复杂,其几何性质还没有得到很好的理解。我们表明,这些复杂的损失函数的最优值实际上是由简单的曲线连接,在这些曲线上,训练和测试精度几乎是恒定的。我们引入了一个训练过程来发现这些模式之间的高精度路径。受这种新的几何见解的启发,我们还提出了一种新的集成方法,称为快速几何集成(FGE)。使用FGE,我们可以在训练单个模型所需的时间内训练高性能的合奏。与最近最先进的快照集成相比,我们在CIFAR-10,CIFAR-100和ImageNet上实现了更高的性能。
2018-10-30 cs.AI cs.LG stat.ML
Generalized Negative Correlation Learning for Deep Ensembling
TU Dortmund University(多特蒙德工业大学)
包围算法在许多机器学习应用中提供最先进的性能。一个常见的解释是,他们的出色表现是由于偏置方差分解的均方误差,这表明该算法的误差可以分解成其偏差和方差。这两个数量往往是相互对立的,合奏提供了一种有效的方法来管理它们,因为它们通过一组不同的基础学习者来减少差异,同时保持低偏差。尽管已经有许多关于分解其他损失函数的工作,但精确的数学联系很少被明确地用于集成,而仅仅被用作指导原则。在本文中,我们为任意二次可微损失函数制定了广义偏差方差分解,并在深度学习的背景下对其进行了研究。我们使用这种分解,以获得一个广义负相关学习(GNCL)算法,该算法提供了明确的控制集成的多样性和平滑插值之间的两个极端的独立训练和联合训练的集成。我们展示了GNCL如何封装许多以前的作品,并讨论了在何种情况下,神经网络的集成训练可能会失败,以及根据单个网络的选择,应该采用何种集成方法。我们在https://github.com/sbuschjaeger/gncl上公开发布我们的代码
2020-12-09 cs.LG stat.ML
To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning
HSE University(高等经济大学);Technical University of Munich (TUM)(慕尼黑工业大学);Constructor University, Bremen(不来梅康斯特大学)
本文研究从单个预训练模型微调得到的集成多样性受限问题,提出改进的StarSSE方法,通过更好地探索预训练盆地来提升集成质量和模型汤效果。
2024-01-15 cs.LG stat.ML
Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning
University of Michigan(密歇根大学)
本文提出Fed-ensemble,通过随机排列更新K个模型并取平均预测,在不增加通信开销的前提下提升联邦学习的泛化能力,且具备贝叶斯解释与理论保证。
2021-07-21 cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London(帝国理工学院)
在这项工作中,我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明,我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
BanglaNet: Bangla Handwritten Character Recognition using Ensembling of Convolutional Neural Network
Western University(西安大略大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对孟加拉语手写字符识别难题,提出BanglaNet模型,集成Inception、ResNet和DenseNet三种CNN,在三个基准数据集上取得最高98.40%的top-1准确率。
2024-02-04 cs.CV cs.LG
WPNAS: Neural Architecture Search by jointly using Weight Sharing and Predictor
Huawei(华为);Samsung Research China, Beijing(三星中国研究院(北京))
基于权值共享和基于预测器的方法是两种主要的快速神经网络结构搜索方法。在本文中,我们建议在一个统一的框架中联合使用权重共享和预测器。首先,我们以权重共享的方式构建一个超网,并从超网中概率抽样架构。为了提高体系结构评估的正确性,除了使用继承的权重进行直接评估外,另一方面,我们还应用了Few-Shot预测器来评估体系结构。架构的最终评估是直接评估、预测器的预测和架构成本的组合。我们把评估作为一种奖励,并应用自我批判的策略梯度方法来更新架构概率。为了进一步减少权值共享的副作用,我们通过引入另一个超网,提出了一种弱权值共享方法。我们在NATS-Bench、DARTS和MobileNet搜索空间下对CIFAR-10、CIFAR-100和ImageNet数据集进行了实验。所提出的WPNAS方法在这些数据集上实现了最先进的性能。
2022-03-04 cs.CV cs.LG cs.NE
Regularized Neural Ensemblers
University of Freiburg(弗赖堡大学);PriorLabs;ELLIS Institute(ELLIS研究所);University of Technology Nürnberg(纽伦堡技术大学)
本研究提出用正则化神经网络作为集成方法,通过训练时随机丢弃基模型预测来保证多样性,提升泛化能力,并在视觉、语言和表格数据上取得与强基线相当的结果。
2025-06-23 cs.LG
Compact set-valued deep ensembling in multi-class classification
Université de Technologie de Compiègne(贡比涅技术大学);Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学)
本文提出使用紧致集成(如贝叶斯神经网络和蒙特卡洛丢弃卷积神经网络)生成概率预测,并定义代表性分布以优化统计距离,从而高效计算集值贝叶斯最优预测,解决深度集成中的训练存储负担和单值预测不鲁棒问题。
2026-10-06 cs.LG
Task-Adaptive Neural Network Search with Meta-Contrastive Learning
KAIST(韩国科学技术院);AITRICS;Samsung(三星)
大多数传统的神经结构搜索(NAS)方法的局限性在于,它们只生成结构,而不搜索最佳参数。虽然一些NAS方法通过利用在大规模数据集(如ImageNet)上训练的超网来处理这个问题,但如果目标任务与超网训练的数据集高度不相似,则它们可能是次优的。为了解决这些限制,我们引入了一个新的问题\emph{Neural Network Search}(NNS),其目标是为新的数据集和约束搜索最优的预训练网络(例如参数的数量),来自模型动物园。然后,我们提出了一个新的框架来解决这个问题,即\emph{Task-Adaptive Neural Network Search}(TANS)。给定一个由在不同数据集上预训练的网络组成的模型动物园,我们使用一种新的摊销元学习框架来学习具有对比损失的跨模态潜在空间,以最大化数据集与其上的高性能网络之间的相似性,并最小化不相关的网络-网络对之间的相似性。我们验证了我们的方法的有效性和效率在十个现实世界的数据集,对现有的NAS/AutoML基线。结果表明,我们的方法可以立即检索出性能优于基线模型的网络,并且训练步骤明显减少,从而达到目标性能,从而最大限度地降低了获得任务最优网络的总成本。我们的代码和模型动物园可以在https://github.com/wyjeong/TANS上找到。
2021-10-28 cs.LG
Ensembling Finetuned Language Models for Text Classification
University of Freiburg(弗赖堡大学);University of Technology Nürnberg(纽伦堡工业大学);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所)
针对预训练文本分类器集成研究不足的问题,本文构建包含五个大型微调模型在六个数据集上预测的元数据集,并比较多种集成策略,证明集成可提升性能并促进其应用。
2024-10-25 cs.CL cs.LG
Achieving on-Mobile Real-Time Super-Resolution with Neural Architecture and Pruning Search
Northeastern University(东北大学);College of William & Mary(威廉与玛丽学院);Cleveland State University(克利夫兰州立大学)
尽管近年来随着深度神经网络(DNN)的蓬勃发展,单图像超分辨率(SISR)任务取得了显着进展,但深度学习方法在实践中面临着计算和内存消耗问题,特别是对于移动设备等资源有限的平台。为了克服这一挑战并促进SISR任务在移动设备上的实时部署,我们将神经架构搜索与剪枝搜索相结合,提出了一个自动搜索框架,该框架在满足实时推理要求的同时,获得具有高图像质量的稀疏超分辨率(SR)模型。为了降低搜索成本,我们利用权重共享策略,通过引入一个超网和解耦的搜索问题分为三个阶段,包括超网的建设,编译器感知的架构和修剪搜索,编译器感知的修剪率搜索。通过所提出的框架,我们是第一个实现实时SR推理(每帧仅需数十毫秒)的移动平台(三星Galaxy S20)上实现具有竞争力的图像质量(PSNR和SSIM)的720p分辨率。
2023-02-14 cs.AI cs.CV cs.LG
Traversing Between Modes in Function Space for Fast Ensembling
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Saige Research(Saige研究院);AITRICS(AITRICS公司)
提出一种利用低损失子空间和轻量级“桥”网络预测集成模型输出的框架,在不进行多次前向传播的情况下显著降低深度集成推理成本。
2023-06-20 cs.AI cs.LG
SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape
Northeastern University(东北大学);Meta AI
本文提出“次单样本”NAS范式及SiGeo代理,通过少量数据预热超网络,结合零样本与单样本NAS优势,在降低约60%计算成本的同时实现优于现有NAS代理的性能。
2023-11-22 cs.AI cs.LG
Searching for Network Width with Bilaterally Coupled Network
The University of Sydney(悉尼大学);Beijing University of Posts and Telecommunications(北京邮电大学);SenseTime Research Centre(商汤科技研究中心);Tsinghua University(清华大学)
寻找更紧凑的网络宽度最近作为一种有效的方式来修剪部署的卷积神经网络(CNN)的硬件约束下的通道。为了实现搜索,通常利用一次超网来有效地评估性能\wrt ~不同的网络宽度。然而,目前的方法主要遵循\textit{unilaterally augmented}(UA)原则来评估每个宽度,这导致了超网中信道的训练不公平性。在本文中,我们介绍了一个新的超网称为双边耦合网络(BCNet)来解决这个问题。在BCNet中,每个通道都经过公平的训练,并负责相同数量的网络宽度,因此可以更准确地评估每个网络宽度。此外,我们建议减少冗余的搜索空间,并提出BCNetV 2作为增强的超网,以确保严格的训练公平性的通道。此外,我们利用一个随机的互补策略来训练BCNet,并提出了一个先验的初始种群抽样方法,以提高进化搜索的性能。为了更好地比较宽度搜索算法,我们还提出了第一个关于宏结构的开源宽度基准测试,名为Questel-Bench-Macro。在基准CIFAR-10和ImageNet数据集上进行的大量实验表明,我们的方法可以实现最先进的性能或与其他基线方法竞争的性能。此外,我们的方法通过改进网络宽度来进一步提高NAS模型的性能。例如,在相同的FLOP预算下,我们获得的EfficientNet-B 0在ImageNet数据集上达到了77.53%的Top-1准确率,超过了原始设置的0.65%。
2022-03-25 cs.CV cs.LG
SemiGNN-PPI: Self-Ensembling Multi-Graph Neural Network for Efficient and Generalizable Protein-Protein Interaction Prediction
Institute for Infocomm Research (IR), A*STAR(新加坡科技研究局资讯通信研究院);School of Computer Science and Engineering (SCSE), Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Microelectronics, Shanghai University(上海大学微电子学院);Genome Institute of Singapore (GIS), A*STAR(新加坡科技研究局新加坡基因组研究院)
提出自集成多图神经网络SemiGNN-PPI,结合GNN与Mean Teacher及多图一致性约束,高效利用未标记数据,提升PPI预测的泛化性和性能,尤其在标签稀缺和领域偏移场景下优于现有方法。
2023-05-15 cs.AI cs.CE cs.LG
MIPT-NSU-UTMN at SemEval-2021 Task 5: Ensembling Learning with Pre-trained Language Models for Toxic Spans Detection
本文介绍了我们的系统SemEval-2021任务5有毒跨度检测。我们使用基于BERT的神经架构和后处理来开发集成模型,以将令牌组合成跨度。我们使用各种集成技术评估了几种预训练的语言模型,用于有毒跨度识别,并在我们的基线微调BERT模型上取得了相当大的改进。最后,我们的系统在测试数据上获得了67.55%的F1分数。
2021-04-10 cs.AI cs.CL cs.IR
Understanding the Role of Functional Diversity in Weight-Ensembling with Ingredient Selection and Multidimensional Scaling
Harvard University(哈佛大学);Microsoft Research(微软研究院)
本文提出两种新的权重集成方法,结合可视化工具研究功能多样性对模型性能的影响,发现高多样性可增强权重集成,但仅靠多样性提升准确率有限,且位置不同的模型采样同样有助于改进。
2024-09-04 cs.LG