GitGraph - Architecture Search Space Creation through Frequent Computational Subgraph Mining
Swisscom(瑞士电信)
深度神经网络在多个应用领域的巨大成功通常依赖于专家精心设计针对每个任务的网络架构。为了简化该过程并使其更易于访问,新兴的研究努力寻求使用例如进化算法或强化学习或在神经模块的受限空间中的简单搜索来自动化神经网络架构的设计。考虑到搜索空间的典型大小(例如,用于$10$层网络的$10^{10}$候选)和评估单个候选的成本,当前的架构搜索方法非常受限。他们要么依赖于静态的预构建模块来重新组合手头的任务,要么定义一个静态的手工框架,在这个框架中,他们可以从最简单的操作中生成新的架构。在本文中,我们通过利用在线代码存储库中发布的大量神经网络中包含的集体智慧来放宽这些限制。具体地说,我们(a)提取并发布GitGraph,这是一个神经架构及其描述的语料库;(b)我们创建了特定于问题的神经架构搜索空间,作为GitGraph上的文本搜索机制实现;(c)我们提出了一种识别解决每个问题的架构中唯一公共子图的方法(例如,图像处理、强化学习),其然后可以用作新创建的问题特定神经搜索空间中的模块。
2018-01-16 cs.AI cs.LG
Transferrable Surrogates in Expressive Neural Architecture Search Spaces
University of Edinburgh(爱丁堡大学);Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);The Czech Academy of Sciences, Institute of Computer Science(捷克科学院计算机科学研究所);University of Siegen(锡根大学)
本文研究在高表达性NAS搜索空间中训练可迁移代理模型,利用零成本代理指标、神经图特征或微调语言模型预测架构性能,用于过滤不良架构或直接作为搜索目标,从而显著加速搜索并提升最终性能。
2026-11-03 cs.AI cs.LG
Network Graph Based Neural Architecture Search
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
神经架构搜索实现了架构设计的自动化。尽管它取得了成功,但它在计算上是昂贵的,并且没有提供关于如何设计理想架构的见解。在这里,我们提出了一种新的搜索神经网络的方法,我们搜索神经网络结构,通过重新连接相应的图和预测的结构性能的图形属性。因为我们没有在整个图空间上执行机器学习,而是使用预测的架构性能来搜索架构,所以搜索过程非常高效。我们发现基于图的搜索可以给出一个合理的好的预测理想的架构。此外,我们发现图形属性是有效的预测架构性能。我们的工作提出了一种新的方法来搜索神经结构,并提供了神经结构设计的见解。
2021-12-15 cs.LG
Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification
Korea University(高丽大学);Hallym University(翰林大学);Kyung Hee University(庆熙大学)
随着深度神经网络在各种任务中实现前所未有的性能,用于设计具有自动化过程的神经网络架构的研究领域神经架构搜索(NAS)正在积极进行中。最近,可区分NAS通过将搜索成本降低到训练单个网络的水平而产生了巨大的影响。此外,定义待搜索的候选架构的搜索空间直接影响最终架构的性能。在本文中,我们提出了一个适应计划的搜索空间通过引入一个搜索范围。ProxylessNAS的图像分类任务证明了所提出的方法的有效性。此外,我们可视化的架构参数更新的轨迹,并提供见解,以改善架构搜索。
2022-06-05 cs.LG
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan(大阪大学)
针对现有图神经架构搜索方法缺乏可解释性的问题,提出ExGNAS方法,通过结合简单搜索空间与蒙特卡洛树搜索算法,在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
图神经网络(GNNs)已经成功地应用于许多关系任务中的图上的学习表示。近年来,研究者们开始研究神经网络结构搜索(NAS),以减少对人类经验的依赖,探索更好的GNN结构,但这些研究过于强调实体特征,而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题,我们将边缘特征纳入图搜索空间,并提出边缘特征图神经网络结构搜索,以找到最佳的GNN结构。具体来说,我们设计了丰富的实体和边缘更新操作来学习高阶表示,从而传达更通用的消息传递机制。此外,在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖,这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明,EGNAS可以搜索更好的GNN,其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
Towards modular and programmable architecture search
Petuum;Carnegie Mellon University(卡内基梅隆大学);TU Wien(维也纳技术大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
神经架构搜索方法能够以专家的最小努力找到高性能深度学习架构。然而,当前的系统专注于特定的用例(例如,卷积图像分类器和递归语言模型),使得它们不适合专家可能希望编写的一般用例。超参数优化系统是通用的,但缺乏易于应用于架构搜索所需的构造。在这项工作中,我们提出了一个形式语言编码搜索空间一般计算图。语言结构允许我们编写模块化的、可组合的和可重用的搜索空间编码,并对搜索空间设计进行推理。我们使用我们的语言编码的搜索空间的架构搜索文献。该语言允许我们解耦搜索空间和搜索算法的实现,允许我们通过一致的接口向搜索算法公开搜索空间。我们的实验表明,我们可以很容易地尝试不同的组合搜索空间和搜索算法,而不必从头开始实现每个组合。我们在本文中发布了我们语言的实现。
2019-09-30 cs.AI cs.LG stat.ML
Towards One Shot Search Space Poisoning in Neural Architecture Search
University of Toronto(多伦多大学);ML Collective
我们评估的鲁棒性的神经架构搜索(NAS)算法被称为高效NAS(ENAS)对数据不可知的中毒攻击的原始搜索空间精心设计的无效操作。我们经验证明我们的一杆搜索空间中毒的方法利用ENAS控制器的设计缺陷,降低分类任务的预测性能。只需将两个中毒操作注入搜索空间,我们就可以在CIFAR-10数据集上将子网络的预测出错率提高到90%。
2021-11-13 cs.AI cs.LG cs.NE
On Redundancy and Diversity in Cell-based Neural Architecture Search
University of Oxford(牛津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
搜索结构单元是NAS中的一个主要范例。然而,很少有人关注的分析,基于细胞的搜索空间,即使它是非常重要的NAS的持续发展。在这项工作中,我们从流行的基于细胞的搜索空间的架构进行经验事后分析,发现现有的搜索空间包含高度的冗余:架构性能是最低限度的敏感性变化在大部分的细胞,和普遍采用的设计,如显式搜索减少细胞,显着增加的复杂性,但对性能的影响非常有限。在通过不同的搜索策略发现的架构中,我们始终发现,对架构性能有影响的单元部分通常遵循相似且简单的模式。通过明确地约束细胞,包括这些模式,随机抽样的架构可以匹配,甚至优于最先进的。这些发现投下怀疑我们的能力,发现真正新颖的架构,在现有的基于细胞的搜索空间,并激发我们的改进建议,以指导未来的NAS研究。代码可在https://github.com/xingchenwan/cell-based-NAS-analysis上获得。
2022-03-16 cs.AI cs.LG stat.ML
Single-level Optimization For Differential Architecture Search
本文指出,在双层优化框架下,差分结构搜索(DARTS)使结构参数的梯度偏向于网络权值,结构参数在不同数据集中交替更新。偏差导致不可学习操作的架构参数超过可学习操作的架构参数。此外,使用softmax作为架构参数的激活函数和不适当的学习率会加剧偏差。因此,经常可以观察到,不可学习的操作在搜索阶段占主导地位。为了减少偏差,我们建议使用单级优化来代替双层优化,并使用非竞争性激活函数(如sigmoid)来代替softmax。因此,我们可以稳定地寻找高性能的体系结构。在NAS Benchmark 201上的实验验证了我们的假设,并稳定地找到了接近最优的架构。在DARTS空间上,我们在ImageNet-1 K上以77.0%的top1准确率搜索最先进的架构(训练设置遵循PDARTS,没有任何额外的模块),并稳定地搜索架构,高达76.5%的top1准确率(但不是从搜索的架构中选择最好的),这与当前报告的最佳结果相当。
2020-12-15 cs.LG
Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets
School of Software Engineering, South China University of Technology(华南理工大学软件学院);Weixin Group, Tencent(腾讯微信事业群);Tencent AI Lab, Tencent(腾讯AI实验室)
在不同应用/设备所产生的不同计算预算下设计可行且有效的架构对于在实践中部署深度模型至关重要。现有的方法往往执行一个独立的架构搜索为每个目标预算,这是非常低效的,但不必要的。此外,重复的独立搜索方式不可避免地忽略了不同搜索过程之间的共同知识,影响了搜索性能。为了解决这些问题,我们寻求训练一个通用的架构生成器,自动产生有效的架构,任意预算,仅仅通过模型推理。为此,我们提出了一个帕累托边界感知神经架构生成器(NAG),它以任意的预算作为输入,并为目标预算产生帕累托最优架构。我们通过学习帕累托边界(即,帕累托最优体系结构的集合)相对于模型性能和计算成本(例如,等待时间)。在三个平台上进行了广泛的实验(即,移动,CPU和GPU)显示了所提出的方法优于现有的NAS方法。
2021-02-27 cs.LG
SNAS: Stochastic Neural Architecture Search
SenseTime(商汤科技)
我们提出了随机神经结构搜索(SNAS),这是神经结构搜索(NAS)的一种经济的端到端解决方案,它在同一轮反向传播中训练神经操作参数和结构分布参数,同时保持NAS管道的完整性和可区分性。在这项工作中,NAS被重新表述为一个优化问题的参数的联合分布的搜索空间在一个细胞。为了利用通用可微损失中的梯度信息进行结构搜索,提出了一种新的搜索梯度。我们证明,这种搜索梯度优化相同的目标,基于递归学习的NAS,但分配信贷结构的决策更有效。该信用分配进一步增加了本地可分解的奖励,以实施资源有效的约束。在CIFAR-10的实验中,SNAS比基于不可微进化和基于递归学习的NAS需要更少的时间来找到具有最先进精度的细胞架构,这也可以转移到ImageNet。研究还表明,SNAS的子网络可以保持搜索的验证准确性,而基于注意力的NAS需要参数重新训练才能竞争,显示出在大数据集上迈向高效NAS的潜力。我们已经在https://github.com/SNAS-Series/SNAS-Series上发布了我们的实现。
2020-04-01 cs.AI cs.LG stat.ML
Making Differentiable Architecture Search less local
Spotify;University of Bristol(布里斯托大学)
神经结构搜索(NAS)是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索(DARTS)是一种很有前途的NAS方法,可以显著提高搜索效率。然而,它已被证明遭受性能崩溃,搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止,定期搜索目标,以减少一些操作的主导地位,或改变参数化的搜索问题。在这项工作中,我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题,该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明,我们的搜索算法的变化,允许发现的架构,更好的测试性能和更少的参数。
2021-04-21 cs.LG
MONAS: Multi-Objective Neural Architecture Search using Reinforcement Learning
National Tsing-Hua University(国立清华大学);Google(谷歌)
最近对神经结构搜索的研究表明,自动设计的神经网络与专家制作的结构一样好。虽然大多数现有工作旨在找到优化预测准确性的架构,但这些架构可能具有复杂性,因此不适合部署在某些计算环境(例如,具有有限的功率预算)。我们提出了MONAS,这是一个多目标神经架构搜索的框架,它采用了同时考虑预测准确性和其他重要目标(例如,功耗)。实验结果表明,与现有技术相比,MONAS模型在计算机视觉应用中的分类精度相当或更高,同时满足峰值功率等附加目标。
2018-12-03 cs.AI cs.LG stat.ML
Bag of Tricks for Neural Architecture Search
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
虽然神经结构搜索方法在过去几年中取得了成功,并在各种问题上取得了新的最先进的性能,但它们也因不稳定而受到批评,对超参数高度敏感,并且通常不如随机搜索。为了阐明这个问题,我们讨论了一些有助于提高稳定性,效率和整体性能的实际考虑因素。
2021-07-08 cs.AI cs.LG stat.ML
RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving
UCLA(加州大学洛杉矶分校);DiDi AI Labs(滴滴人工智能实验室)
基于预测器的算法在神经结构搜索(NAS)任务中取得了显着的性能。然而,这些方法的计算成本很高,因为训练性能预测器通常需要从头开始训练和评估数百个架构。沿着这条线以前的工作主要集中在减少所需的架构,以适应预测器的数量。在这项工作中,我们从不同的角度来解决这个挑战-通过减少架构训练的计算预算来提高搜索效率。我们提出了非均匀连续减半(NOSH),分层调度算法,提前终止训练表现不佳的架构,以避免浪费预算。为了有效地利用由NOSH产生的非均匀监督信号,我们将基于预测器的架构搜索制定为利用成对比较的学习排序。由此产生的方法- RANK-NOSH,将搜索预算减少了约5倍,同时在各种空间和数据集上实现了具有竞争力的性能,甚至比以前最先进的基于预测的方法更好。
2021-08-18 cs.AI cs.CV cs.LG
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India(计算机科学与工程系,PES大学,班加罗尔,印度)
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法,自动为多语言命名实体识别寻找最优微架构,以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
Michigan State University(密歇根州立大学)
现有的神经架构搜索(NAS)方法要么使用不能很好地扩展的离散编码来编码神经架构,要么采用基于监督学习的方法来联合学习架构表示并优化在引起搜索偏差的这种表示上的架构搜索。尽管广泛使用,在NAS中学习的体系结构表示仍然知之甚少。我们观察到,如果架构表示学习和搜索耦合,神经架构的结构属性很难保持在潜在空间中,导致搜索性能不太有效。在这项工作中,我们根据经验发现,仅使用神经架构而不使用其准确性作为标签的预训练架构表示大大提高了下游架构搜索效率。为了解释这些观察结果,我们可视化了无监督架构表示学习如何更好地鼓励具有相似连接和运算符的神经架构聚集在一起。这有助于将具有相似性能的神经架构映射到潜在空间中的相同区域,并使潜在空间中的架构过渡相对平滑,这大大有利于不同的下游搜索策略。
2020-10-24 cs.CV cs.LG
Conceptual Expansion Neural Architecture Search (CENAS)
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
架构搜索为某些任务优化神经网络的结构,而不是依赖于手动编写。然而,它很慢,因为每个潜在的架构通常都是从头开始训练的。在本文中,我们提出了一种称为概念扩展神经结构搜索(CENAS)的方法,该方法将样本效率,计算创造力启发的迁移学习方法与神经结构搜索相结合。这种方法通过转移现有的权重来近似新模型的参数,比朴素的体系结构搜索更快地找到模型。它通过允许添加特征而不是仅修改现有特征来优于标准迁移学习。我们证明了我们的方法在各种迁移学习任务的效率,性能和参数计数方面优于标准神经结构搜索和迁移学习方法。
2021-10-07 cs.LG
Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior(贝拉内格罗大学)
使用神经架构搜索(NAS)发现的网络在各种任务中实现了最先进的性能,性能超过了人类设计的网络。然而,大多数NAS方法严重依赖于约束搜索的人类定义的假设:架构的外骨架,层数,参数选择和搜索空间。此外,公共搜索空间由可重复的模块(单元)组成,而不是通过设计整个架构(宏搜索)来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识,并将搜索限制在预定义的设置中。在本文中,我们提出了LCMNAS,一种方法,推动NAS的约束较少的搜索空间,通过执行宏搜索,而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件:i)利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法,ii)从头开始生成完整架构的进化搜索策略,及iii)混合-一种性能评估方法,将初始化阶段的架构信息与较低的保真度评估相结合,以推断其可训练性和能力,模拟复杂函数。我们在13个不同的数据集上进行了实验,结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外,我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search
SYSU(中山大学)
如何快速、准确地发现和评估模型的真实强度是神经结构搜索(NAS)的关键挑战之一。为了解决这个问题,我们提出了一个架构驱动的权重预测(ADWP)的神经架构搜索(NAS)的方法。在我们的方法中,我们首先设计一个结构密集的搜索空间,然后训练一个超网络输入随机编码的结构参数。在训练好的超网络中,卷积核的权重可以很好地预测搜索空间中的神经结构。因此,目标架构可以有效地评估,而无需任何微调,从而使我们能够在通用网络的空间中搜索最佳架构(宏搜索)。通过实际的实验,我们评估了所提出的AD-WPNAS发现的模型的性能,结果表明,一个搜索过程可以在CIFAR-10上在4.0 GPU小时内完成。此外,所发现的模型仅用1.52M个参数就获得了2.41%的测试误差,这优于现有的最佳模型。
2020-03-03 cs.LG cs.NE
EPNAS: Efficient Progressive Neural Architecture Search
Google Brain(谷歌大脑);Google Cloud AI(谷歌云人工智能);Baidu Research(百度研究院);Horizon Robotics(地平线机器人);University of Nevada(内华达大学);Landing AI
在本文中,我们提出了有效的渐进式神经架构搜索(EPNAS),神经架构搜索(NAS),有效地处理大搜索空间,通过一种新的渐进式搜索策略与性能预测的基础上,REINFORCE~ \cite{Williams.1992.PG}。EPNAS旨在并行搜索目标网络,这在GPU/TPU集群等并行系统上更具可扩展性。更重要的是,EPNAS可以推广到具有多个资源约束的架构搜索,\eg,模型大小,计算复杂性或强度,这对于在移动和云等广泛平台中部署至关重要。我们使用CIFAR 10和ImageNet将EPNAS与其他最先进的(SoTA)网络架构(\eg,MobileNetV 2 ~ \cite{mobilenetv2})和高效的NAS算法(\eg,ENAS~ \cite{pham2018efficient}和PNAS~ \cite{Liu2017b})进行图像识别任务的比较。在这两个数据集上,EPNAS的\wrt结构的搜索速度和识别精度都优于EPNAS。
2019-07-07 cs.LG
Trends in Neural Architecture Search: Towards the Acceleration of Search
Korea University(高丽大学);Hongik University(弘益大学);Hallym University(翰林大学)
在现代深度学习研究中,寻找最优(或接近最优)的神经网络模型是主要的研究方向之一,在许多应用中得到了广泛的研究。本文将神经结构搜索的主要研究方向归纳为神经进化算法、基于强化学习的算法和一次性结构搜索方法。最后对三大研究趋势进行了比较。最后,对NAS未来的研究方向进行了展望。
2021-08-19 cs.LG
A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China;Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间,将验证集损失值作为辅助优化目标,在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
Distilling Optimal Neural Networks: Rapid Search in Diverse Spaces
Qualcomm AI Research(高通人工智能研究院)
目前最先进的神经架构搜索(NAS)方法既不能有效地扩展到多个硬件平台,也不能处理不同的架构搜索空间。为了解决这个问题,我们提出了DONNA(蒸馏最佳神经网络架构),一个快速,可扩展和多样化的NAS,可扩展到许多用户场景的新管道。DONNA由三个阶段组成。首先,从参考模型中使用分块知识蒸馏来构建精度预测器。该预测器使得能够在具有变化的宏观架构参数(诸如层类型和注意力机制)以及微架构参数(诸如块重复和扩展速率)的不同网络之间进行搜索。其次,快速进化搜索使用准确度预测器和设备上的测量为任何场景找到一组帕累托最优架构。第三,优化模型可以快速微调到从头开始训练的准确性。DONNA在查找设备上最先进的架构方面比MNasNet快100倍。分类ImageNet,DONNA架构在Nvidia V100 GPU上比EfficientNet-B0和MobileNetV2快20%,在三星S20智能手机上比MobileNetV2快10%,精度高0.5%。除了NAS之外,DONNA还用于搜索空间扩展和探索,以及硬件感知的模型压缩。
2021-08-27 cs.AI cs.CV cs.LG
Neural Architecture Search Over a Graph Search Space
Jagiellonian University(雅盖隆大学);Google AI(谷歌人工智能)
神经架构搜索(NAS)使许多领域的最先进的架构的发现。然而,NAS的成功取决于搜索空间的定义。当前搜索空间被定义为一个静态的决策序列和一组可用的行动,为每个决策。每个可能的操作序列定义了一个架构。我们提出了一类更具表现力的搜索空间:有向图。在我们的形式主义中,每个决策都是一个顶点,每个动作都是一条边。这允许我们对迭代和分支架构设计决策进行建模。我们在模拟和图像分类实验中展示了基本的迭代和分支搜索结构,并表明图形表示提高了样本效率。
2019-07-31 cs.LG stat.ML
You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms
Nanyang Technological University(南洋理工大学)
受益于搜索效率,可区分神经架构搜索(NAS)已发展成为自动设计竞争性深度神经网络(DNN)的最主要替代方案。我们注意到,DNN必须在现实世界场景中严格的硬性能约束下执行,例如,自动驾驶汽车上的运行时延迟。然而,为了获得满足给定性能约束的架构,先前的硬件感知可区分NAS方法必须重复过多的搜索运行以通过试错来手动调整超参数,因此总设计成本成比例地增加。为了解决这个问题,我们引入了一个轻量级的硬件感知的可区分NAS框架,称为LightNAS,努力通过一次性搜索找到满足各种性能约束的所需架构(即,\underline{\textit{you only search once}})。进行了大量的实验,以显示LightNAS比以前的国家的最先进的方法的优越性。
2022-08-30 cs.LG
RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search
Sandia National Laboratories(桑迪亚国家实验室);University of California Santa Barbara(加州大学圣巴巴拉分校)
早期的神经网络架构是由所谓的“研究生血统”设计的。从那时起,神经架构搜索(NAS)领域的发展目标是在算法上设计为感兴趣的数据集量身定制的架构。最近,已经创建了基于梯度的NAS方法来快速执行搜索。与替代NAS方法相比,基于代理的方法对搜索施加了更多的结构,从而实现了更快的搜索阶段优化。在现实世界中,衡量神经架构性能的不仅仅是高精度。人们越来越需要高效的神经架构,其中还必须考虑模型大小或延迟等资源。基于代理的NAS也适用于这种多目标优化。在这项工作中,我们扩展了一个流行的基于梯度的NAS方法,以支持一个或多个资源成本。然后,我们进行深入的分析,发现满足单资源约束的分类CIFAR-10的架构。
2019-11-08 cs.LG
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg(弗赖堡大学);University of Oxford(牛津大学)
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架,并设计适配贝叶斯优化的分层核,以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
Scalable Reinforcement Learning-based Neural Architecture Search
University of Antwerp(安特卫普大学);imec(校际微电子中心);IDLab - Faculty of Applied Engineering(IDLab应用工程学院)
本文提出一种基于强化学习的神经架构搜索方法,智能体学习搜索良好架构而非返回单一最优解,实验表明该方法在搜索空间大小方面具有强可扩展性,但对超参数变化的鲁棒性有限。
2024-10-02 cs.LG
Pareto-aware Neural Architecture Generation for Diverse Computational Budgets
South China University of Technology(华南理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Tencent(腾讯);University of Adelaide(阿德莱德大学);Pazhou Laboratory(琶洲实验室)
在不同的计算预算下设计可行且有效的架构,由不同的应用程序/设备引起,对于在现实世界的应用程序中部署深度模型至关重要。为了实现这一目标,现有的方法往往执行一个独立的架构搜索过程,为每个目标预算,这是非常低效的,但不必要的。更关键的是,这些独立的搜索过程不能共享它们学习到的知识(即,良好体系结构的分布),因此经常导致有限的搜索结果。为了解决这些问题,我们提出了一个帕累托感知神经架构生成器(PNAG),它只需要训练一次,并通过推理为任何给定的预算动态生成帕累托最优架构。为了训练我们的PNAG,我们通过在不同的预算下共同寻找多个帕累托最优架构来学习整个帕累托边界。这样的联合搜索算法不仅大大降低了整体搜索成本,而且改善了搜索结果。在三个硬件平台上进行了广泛的实验(即,移动终端、CPU和GPU)的实验结果表明,该方法优于现有方法。
2022-10-14 cs.CV cs.LG
DFG-NAS: Deep and Flexible Graph Neural Architecture Search
Peking University(北京大学)
图神经网络(GNN)已被广泛应用于各种基于图的应用。尽管它们取得了成功,但手动设计行为良好的GNN需要大量的人类专业知识。因此,发现潜在的最佳数据特定GNN架构是低效的。本文提出了DFG-NAS,这是一种新的神经架构搜索(NAS)方法,可以自动搜索非常深入和灵活的GNN架构。与大多数专注于微架构的现有方法不同,DFG-NAS突出了另一个设计层次:寻找关于原子传播(\textbf{\texttt{P}})和转换(\textbf{\texttt{T}})操作如何集成和组织到GNN中的宏架构。为此,DFG-NAS提出了一种新的基于消息传递分解的\textbf{\texttt{P-T}}排列组合搜索空间,定义了四种自定义宏结构突变,并采用进化算法进行了高效的搜索。四个节点分类任务的实证研究表明,DFG-NAS优于最先进的手工设计和GNN的NAS方法。
2022-06-17 cs.LG
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University(同济大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近,微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而,这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中,我们提出了一个有效的算法,它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题,即较重的计算开销和较弱的搜索稳定性,我们解决了搜索空间近似和正则化,分别。通过显著减少搜索时间(在单个GPU上约7小时),我们的方法在代理数据集(CIFAR10或CIFAR100)和目标数据集(ImageNet)上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Fine-Grained Stochastic Architecture Search
Google Research(谷歌研究院)
最先进的深度网络通常太大,无法部署在移动设备和嵌入式系统上。移动神经架构搜索(NAS)方法可以自动设计小型模型,但最先进的NAS方法运行成本很高。微分神经结构搜索(DNAS)方法降低了搜索成本,但探索候选结构的有限子空间。在本文中,我们介绍了细粒度随机架构搜索(FiGS),一个可微的搜索方法,搜索一个更大的候选架构集。FIGS同时选择和修改搜索空间中的操作符,通过应用基于逻辑斯谛克-S形分布的结构化稀疏正则化惩罚。我们展示了3个现有搜索空间的结果,匹配或优于原始搜索算法,并在ImageNet上生成最先进的参数高效模型(例如,75.4% top-1,2.6M参数)。使用我们的架构作为SSDLite目标检测的骨干,我们在COCO上实现了显著更高的mAP(例如,25.8具有3.0M参数)比MobileNetV 3和MnasNet。
2020-06-17 cs.LG stat.ML
Data Aware Differentiable Neural Architecture Search for Tiny Keyword Spotting Applications
Technical University of Denmark (DTU)(丹麦技术大学)
本文提出数据感知可微分神经架构搜索,将数据配置参数纳入搜索空间,协同优化模型架构与输入数据特征,在关键词识别任务中实现资源与性能的平衡,生成精简且高精度的 TinyML 系统。
2025-07-21 cs.LG
Across-Task Neural Architecture Search via Meta Learning
Zhejiang University of Technology(浙江工业大学)
充足的标记数据和昂贵的计算资源是神经结构搜索成功的前提。在计算资源和数据有限的元学习场景中应用NAS具有挑战性。在本文中,跨任务的神经架构搜索(AT-NAS)提出了解决这个问题,通过结合基于梯度的元学习和EA的NAS学习的任务分布。超网通过元学习其权重来学习整个任务集。从超网中采样的结构编码迭代地适应进化算法,同时搜索一个任务敏感的元网络。搜索元网络可以通过几个学习步骤来适应新的任务,并且只需要很少的搜索时间。实验结果表明,AT-NAS在Few-Shot分类精度上优于相关方法。AT-NAS在分类基准测试中的性能与从头开始搜索的模型相当,通过在不到一个小时的时间内从5-GPU-天的预训练元网络中调整架构。
2021-10-12 cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University(卡内基梅隆大学)
现有的神经架构搜索(NAS)方法通常返回一个具有良好搜索性能的架构,但推广到测试设置很差。为了实现更好的推广,我们提出了一种新的邻域感知NAS制定,以确定在搜索空间的平坦极小架构,与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构(例如,用跳跃连接代替卷积)。我们的配方需要考虑到“平面度”的架构,通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法,包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法,我们还提出了一个可微表示的邻域的架构。基于我们的公式,我们提出了邻域感知随机搜索(NA-RS)和邻域感知可微结构搜索(NA-DARTS)。值得注意的是,通过简单地使用我们的公式增强DARTS,NA-DARTS的性能优于DARTS,并在已建立的基准测试中实现了最先进的性能,包括CIFAR-10,CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay(巴黎萨克雷大学);MIT(麻省理工学院)
可区分的ARCHITERMS搜索(DARTS)是最流行的神经架构搜索(NAS)方法之一。它通过权重共享大大降低了搜索成本。然而,它也大大减少了搜索空间,从而排除了潜在的有前途的架构。在本文中,我们提出了D-DARTS,这是一种解决方案,它通过在细胞级别嵌套神经网络来解决这个问题,而不是使用权重共享来产生更多样化和专业化的架构。此外,我们引入了一种新的算法,可以从一些训练过的细胞中获得更深的架构,提高性能并节省计算时间。此外,我们还提出了一种替代的搜索空间(DARTOpti),在其中我们优化了现有的手工架构(例如,而不是从头开始。这种方法伴随着一个新的度量,该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
HHNAS-AM: Hierarchical Hybrid Neural Architecture Search using Adaptive Mutation Policies
SUTD(新加坡科技设计大学)
本文提出HHNAS-AM方法,通过分层混合架构模板和基于Q-learning的自适应变异策略组织并高效遍历NAS搜索空间,在Spider数据集db_id预测任务上较基线提升8%测试准确率。
2025-08-20 cs.LG
Disentangled Neural Architecture Search
Lenovo Research(联想研究院)
近年来,神经结构搜索在各个领域显示出巨大的潜力。然而,现有的方法严重依赖于一个黑盒控制器来搜索架构,这遭受缺乏可解释性的严重问题。在本文中,我们提出了解开神经结构搜索(DNAS),解开隐藏的表示的控制器到语义上有意义的概念,使神经结构搜索过程可解释。在系统研究的基础上,我们发现了网络架构与其性能之间的相关性,并提出了一种密集采样策略,在可能产生性能良好的架构的有希望的区域进行有针对性的搜索。我们证明:1)DNAS成功地解开了架构表示,包括操作选择、跳过连接和层数。2)得益于可解释性,DNAS可以在不同的FLOPS限制下灵活地找到优秀的体系结构。3)密集采样导致神经结构搜索具有更高的效率和更好的性能。在NASBench-101数据集上,DNAS实现了94.21%的最先进性能,计算成本不到基线方法的1/13。在ImageNet数据集上,DNAS发现了达到22.7%测试误差的竞争架构。我们的方法提供了一个新的角度来理解神经结构搜索。
2020-09-24 cs.LG cs.NE stat.ML
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing(计算学院);National University of Singapore(新加坡国立大学)
神经架构搜索(NAS)自动搜索给定任务的架构,例如,图像分类和语言建模。近年来,提高搜索效率和有效性越来越受到人们的关注。然而,很少有人致力于理解生成的架构。在本文中,我们首先揭示了现有的NAS算法(例如,DARTS、ENAS)倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛,因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此,这些架构可能不一定导致更好的泛化性能相比,在相同的搜索空间中的其他候选架构,因此进一步的改进是可能的,通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
Neural Architecture Search in Embedding Space
Cathay Fincial Holdings(国泰金控)
基于强化学习的神经结构搜索算法可以为神经结构的自动发现提供一个新的框架。然而,由于搜索空间的不连续性和高维性,使得优化困难。为了解决这些问题,我们提出了嵌入空间中的NAS(NASES),这是一个新的框架。与在离散和高维架构空间上搜索的具有强化学习方法的其他NAS不同,该方法使强化学习能够通过使用架构编码器和解码器在嵌入空间中搜索。目前的实验表明,使用NASES程序的最终架构网络的性能与其他流行的NAS方法的CIFAR-10上的图像分类任务相当。实验的结果是有效的,并表明,NASES是非常有效的发现最终的架构,只有$<$ 3.5 GPU小时。当应用结构嵌入搜索和权值初始化时,NASES的性能和有效性令人印象深刻。
2020-03-26 cs.LG stat.ML
NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks
University of Toronto(多伦多大学);University of Wisconsin(威斯康星大学);Carnegie Mellon University(卡内基梅隆大学)
大多数现有的神经架构搜索(NAS)基准和算法优先考虑经过充分研究的任务,例如CIFAR或ImageNet上的图像分类。这使得NAS方法在更多样化领域的性能知之甚少。在本文中,我们提出了NAS-Bench-360,一个基准套件,以评估方法的领域超出了传统的研究架构搜索,并使用它来解决以下问题:做国家的最先进的NAS方法在不同的任务上表现良好?为了构建基准,我们策划了十个任务,这些任务跨越了不同的应用领域、数据集大小、问题维度和学习目标。每个任务都经过精心选择,以便与现代基于CNN的搜索方法进行互操作,同时可能远离其原始开发领域。为了加快和降低NAS研究的成本,对于其中两项任务,我们发布了包括标准CNN搜索空间的15,625个架构的预计算性能。在实验中,我们需要更强大的NAS评估的NAS-Bench-360,使几个现代NAS程序在10个任务中执行不一致,许多灾难性的差的结果。我们还展示了NAS-Bench-360及其相关的预计算结果将如何通过测试NAS文献中最近提出的几个假设是否适用于不同的任务来实现未来的科学发现。NAS-Bench-360托管于https://nb360.ml.cmu.edu。
2023-01-19 cs.CV cs.LG
A Study of the Learning Progress in Neural Architecture Search Techniques
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司)
在神经架构搜索中,通过自动搜索过程来确定对给定数据集进行最佳建模的神经网络的结构。Pham等人(2018)提出的高效神经架构搜索(ENAS)最近受到了相当大的关注,因为它能够在极短的搜索时间内找到优秀的架构。在这项工作中,这是出于寻求进一步提高架构搜索的学习速度,我们评估的控制器,在ENAS中产生的架构的学习进度。我们通过比较它在不同的控制器训练时期生成的架构来衡量进度,在从头开始重新训练架构后对其进行评估。作为一个令人惊讶的结果,我们发现学习曲线是完全平坦的,即,就其生成的体系结构的性能而言,控制器没有可观察到的进展。该观察结果在CIFAR-10和CIFAR-100数据集以及两个不同的搜索空间中是一致的。我们的结论是,高质量的ENAS生成的模型是搜索空间设计的结果,而不是控制器的训练,我们的研究结果表明,一次性的架构设计是一个有效的替代架构搜索ENAS。
2019-06-18 cs.LG cs.NE stat.ML
Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
卷积神经网络(CNN)的神经结构搜索(NAS)的搜索空间是巨大的。为了减少搜索开销,大多数NAS算法使用固定的外部网络层结构,并且只搜索可重复的单元结构。当使用足够的小区和信道时,这种固定架构表现良好。然而,当架构变得更加轻量级时,性能会显著降低。为了获得更好的轻量级结构,需要更灵活和多样化的神经结构,并且应该为更大的搜索空间设计更有效的方法。受此启发,我们提出了MoARR算法,它利用现有的研究成果和历史信息,快速找到架构,既轻量级和准确。我们使用所发现的高性能细胞来构建网络架构。该方法增加了网络结构的多样性,同时也减少了单元结构设计的搜索空间。此外,设计了一种新的多目标方法,有效地分析历史评价信息,从而高效地搜索精度高、参数少的Pareto最优结构。实验结果表明,MoARR在CIFAR-10上仅用6个GPU时就能实现一个功能强大、轻量级的模型(出错率为1.9%,参数为2.3M),优于现有的模型。探索的架构可转移到ImageNet,并在4.9M参数下达到76.0%的top-1准确率。
2020-08-13 cs.CV cs.LG
Differentially-private Federated Neural Architecture Search
University of California San Diego(加州大学圣地亚哥分校);Rutgers University(罗格斯大学)
神经架构搜索,旨在自动搜索架构(例如,卷积,最大池化)的神经网络,最大限度地提高验证性能,最近取得了显着的进展。在许多应用场景中,多方希望通过利用来自各方的数据来协作搜索共享的神经架构。然而,由于隐私问题,没有一方希望其数据被其他方看到。为了解决这个问题,我们提出了联合神经架构搜索(FNAS),其中不同的各方通过交换架构变量的梯度来共同搜索可区分的架构,而不会将其数据暴露给其他各方。为了进一步保护隐私,我们研究了差分私有FNAS(DP-FNAS),它向架构变量的梯度添加随机噪声。为DP-FNAS实现差分隐私提供了理论保证。实验表明,DP-FNAS可以搜索高性能的神经结构,同时保护个人的隐私。代码可在https://github.com/UCSD-AI4H/DP-FNAS上获得
2020-06-22 cs.CR cs.LG stat.ML
Single-DARTS: Towards Stable Architecture Search
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
可区分架构搜索(DARTS)标志着神经架构搜索(NAS)的一个里程碑,拥有简单性和小搜索成本。然而,DARTS仍然遭受频繁的性能崩溃,当一些操作(如跳过连接,零和池)主导架构时,就会发生这种情况。在本文中,我们是第一个指出,这种现象归因于双层优化。我们提出了Single-DARTS,它只使用单级优化,使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过,没有文献提供了一个系统的解释,这一点。Single-DARTS取代了原有的两级优化,明显避免了性能崩溃,提高了体系结构搜索的稳定性。实验结果表明,Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如,在NAS-Benchmark-201上,搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
Evaluating the Search Phase of Neural Architecture Search
EPFL(洛桑联邦理工学院);Daskell;Swisscom Digital Lab(瑞士电信数字实验室)
神经架构搜索(NAS)旨在促进新任务的深度网络设计。现有的技术依赖于两个阶段:搜索架构空间和验证最佳架构。NAS算法目前仅根据其在下游任务上的结果进行比较。虽然直观,但这无法明确评估其搜索策略的有效性。在本文中,我们建议评估NAS搜索阶段。为此,我们比较了NAS搜索策略与随机架构选择的解决方案的质量。我们发现:(i)平均而言,最先进的NAS算法与随机策略执行类似;(ii)广泛使用的权重共享策略将NAS候选的排名降低到不能反映其真实性能的程度,从而降低了搜索过程的有效性。我们相信,我们的评估框架将是设计NAS策略的关键,这些策略可以始终如一地发现优于随机架构的架构。
2019-11-22 cs.LG stat.ML
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies(华为技术有限公司诺亚方舟实验室);Huawei Technologies(华为技术有限公司);The University of Sydney(悉尼大学);Peking University(北京大学)
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本,大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是,很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案,其目的是确定哪种体系结构的性能更好,而不是准确地预测绝对的体系结构性能。因此,我们提出了一个\textbf{relativistic}架构的NAS性能预测器(ReNAS)。我们将神经架构编码为特征张量,并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构,而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明,对424个(整个搜索空间的$0.1\%$)神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法,并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Intel Labs(英特尔研究院)
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索(NAS)的最新进展显示了很大的希望。然而,发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题,我们引入了顺序贪婪结构搜索(SGAS),一种有效的神经结构搜索方法。通过将搜索过程划分为子问题,SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络(CNN)和图卷积网络(GCN)的搜索架构。大量的实验表明,SGAS是能够找到国家的最先进的架构任务,如图像分类,点云分类和蛋白质相互作用图中的节点分类,以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University(鹿儿岛大学)
本文提出了一种自监督学习方法,用于多模态深度神经网络的架构搜索,能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌);Stanford University(斯坦福大学)
最近,神经结构搜索(NAS)已经成功地确定了神经网络结构,超过人类设计的大规模图像分类。在本文中,我们研究NAS的语义图像分割。现有的工作往往侧重于寻找可重复的细胞结构,而手工设计的外部网络结构,控制空间分辨率的变化。这种选择简化了搜索空间,但是对于呈现更多网络级架构变化的密集图像预测来说变得越来越成问题。因此,我们建议除了搜索单元级结构之外,还搜索网络级结构,这形成了分层结构的搜索空间。我们提出了一个网络级的搜索空间,其中包括许多流行的设计,并制定了一个公式,允许有效的基于梯度的架构搜索(3 P100 GPU天的城市景观图像)。我们证明了所提出的方法在具有挑战性的Cityscapes,PASCAL VOC 2012和ADE 20 K数据集上的有效性。Auto-DeepLab是我们专门针对语义图像分割搜索的架构,在没有任何ImageNet预训练的情况下达到了最先进的性能。
2019-04-06 cs.CV cs.LG
BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search
Monash University(莫纳什大学);Sun Yat-sen University(中山大学);DarkMatter AI Research(DarkMatter AI研究院);University of Oxford(牛津大学);Alibaba Group(阿里巴巴集团);RMIT University(皇家墨尔本理工大学)
最近在手工制作的视觉识别神经架构方面的无数突破突出了探索由多样化构建块组成的混合架构的迫切需要。与此同时,神经结构搜索方法正在激增,期望减少人类的努力。然而,NAS方法是否能够高效且有效地处理具有不同候选者(例如CNN和Transformers)的多样化搜索空间仍然是一个悬而未决的问题。在这项工作中,我们提出了块智能自监督神经架构搜索(BossNAS),一种无监督的NAS方法,解决了以前的方法中由于大的权重共享空间和有偏见的监督而导致的架构评级不准确的问题。更具体地说,我们分解成块的搜索空间,并利用一种新的自我监督的训练计划,命名为合奏自举,训练每个块单独搜索他们作为一个整体的人口中心。此外,我们提出了HyTra搜索空间,一个类似于织物的混合CNN变换器搜索空间,具有可搜索的下采样位置。在这个具有挑战性的搜索空间上,我们的搜索模型BossNet-T在ImageNet上的准确率高达82.5%,在计算时间相当的情况下超过EfficientNet 2.4%。此外,我们的方法在ImageNet的规范MBConv搜索空间和CIFAR-100的NATS-Bench大小搜索空间上分别实现了0.78和0.76 Spearman相关性的卓越架构评级准确性,超过了最先进的NAS方法。代码:https://github.com/changlin31/BossNAS
2021-08-19 cs.CV cs.LG
Design Principle Transfer in Neural Architecture Search via Large Language Models
The Hong Kong Polytechnic University(香港理工大学);Chongqing University(重庆大学);City University of Hong Kong(香港城市大学)
本文提出基于大语言模型的设计原则迁移(LAPT)框架,通过LLM自动推理并逐步精炼架构设计原则以缩小搜索空间,从而高效提升多任务神经架构搜索的性能与效率。
2024-12-18 cs.CL cs.LG