Powering One-shot Topological NAS with Stabilized Share-parameter Proxy
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）
One-shot NAS方法由于其显著的训练效率和发现高性能模型的能力而引起了研究界的极大兴趣。然而，以往基于单次搜索的搜索空间通常依赖于手工设计，缺乏对网络拓扑结构的灵活性。在这项工作中，我们试图通过在我们的大规模拓扑增强搜索空间（即，超过3.4*10^10个不同的拓扑结构）。具体地说，在这样一个复杂的空间中的架构搜索的困难已被所提出的稳定的共享参数代理，它采用随机梯度朗之万动力学，使快速共享参数采样，从而实现稳定的测量架构性能，即使在搜索空间与复杂的拓扑结构已消除。所提出的方法，即稳定的拓扑神经结构搜索（ST-NAS），在ImageNet上的Multiple-Adds（MAds）约束下实现了最先进的性能。我们的精简型号ST-NAS-A仅用3.26亿MAds就实现了76.4%的top-1精度。我们的中等型号ST-NAS-B达到77.9%的top-1精度，仅需503 M MAds。我们的两个模型都提供了优越的性能相比，其他并发作品的一次性NAS。
2020-05-21 cs.CV
Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；DeepAuto
提出一种轻量级鲁棒零成本代理，通过评估初始化状态下干净与扰动图像在特征、参数和梯度上的一致性，高效搜索出对多样扰动具有强鲁棒性的神经架构。
2023-10-20 cs.LG
Efficient Sampling for Predictor-Based Neural Architecture Search
Sony Europe B.V.（索尼欧洲有限公司）
最近，基于预测器的算法成为神经结构搜索（NAS）的一种很有前途的方法。对于NAS，我们通常必须计算大量深度神经网络（DNN）的验证准确性，这在计算上是复杂的。基于预测器的NAS算法解决了这个问题。他们训练一个代理模型，该模型可以直接从DNN的网络结构中推断DNN的验证准确性。在优化过程中，代理可用于缩小必须计算真实验证准确性的架构的数量，这使得基于预测器的算法采样效率高。通常，我们计算网络搜索空间中所有DNN的代理，并选择那些最大化代理的DNN作为优化的候选。然而，这在实践中是棘手的，因为搜索空间通常非常大，并且包含数十亿个网络架构。本文的贡献有三个方面：1）我们定义了一个样本效率增益来比较不同的基于预测器的NAS算法。2)我们在NASBench-101数据集上进行了实验，结果表明，如果仅为搜索空间的一个子集计算代理，则基于预测的算法的样本效率会显著降低。3)我们表明，如果我们选择的子集上的代理进行评估，在一个聪明的方式，原始的基于预测的算法，可以访问完整的搜索空间的样本效率的搜索空间可以重新获得。这是使基于预测器的NAS算法在实践中有用的重要步骤。
2020-11-24 cs.AI cs.LG cs.NE
One Proxy Device Is Enough for Hardware-Aware Neural Architecture Search
University of California, Riverside（加州大学河滨分校）；George Mason University（乔治梅森大学）；University of Notre Dame（圣母大学）
卷积神经网络（CNN）被用于许多现实世界的应用，例如基于视觉的自动驾驶和视频内容分析。为了在各种目标设备上运行CNN推理，硬件感知的神经架构搜索（NAS）至关重要。高效的硬件感知NAS的一个关键要求是快速评估推理延迟，以便对不同的架构进行排名。虽然在现有技术中通常使用为每个目标设备构建延迟预测器，但这是非常耗时的过程，在存在极其多样化的设备的情况下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战-不同设备上的架构延迟排名通常是相关的。当存在强延迟单调性时，我们可以在新的目标设备上重用搜索到一个代理设备的架构，而不会失去最优性。在没有强延迟单调性的情况下，我们提出了一种有效的代理自适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并进行了实验与不同平台的设备上的多个主流搜索空间，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，ProxylessNAS和FBNet。我们的研究结果强调，通过仅使用一个代理设备，我们可以找到与现有的每设备NAS几乎相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的高昂成本。GitHub：网站https://github.com/Ren-Research/OneProxy
2021-11-03 cs.AI cs.LG
Zero-Shot Neural Architecture Search with Weighted Response Correlation
School of Internet, Anhui University（安徽大学互联网学院）；Alibaba Group Holding Limited（阿里巴巴集团控股有限公司）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Alibaba International Digital Commerce（阿里巴巴国际数字商业）；Shenzhen Key Laboratory for High Performance Data Mining, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳高性能数据挖掘重点实验室，深圳先进技术研究所，中国科学院）
提出加权响应相关性（WRCor）作为免训练代理，用于零样本神经架构搜索，提高评估效率与准确性，在ImageNet-1k上4 GPU小时内达到22.1%测试错误率。
2025-08-06 cs.AI cs.CV cs.LG
Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning
Inha University（仁荷大学）；Kakao Enterprise（Kakao企业）
最近，神经结构搜索（NAS）方法已经被引入，并在许多基准测试中表现出令人印象深刻的性能。在这些NAS研究中，神经架构Transformer（NAT）旨在适应给定的神经架构，以提高性能，同时保持计算成本。然而，NAT缺乏可重复性，并且在网络权重训练之前需要额外的架构自适应过程。在本文中，我们提出了无代理的神经架构适应，是可再生的和有效的。我们的方法可以应用于监督学习和自监督学习。所提出的方法在各种架构上表现出稳定的性能。在两个数据集上进行了广泛的再现性实验，即，CIFAR-10和Tiny Imagenet的实验结果表明，该方法的性能明显优于NAT，并且适用于其他模型和数据集。
2022-05-15 cs.CV cs.LG
ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware
Massachusetts Institute of Technology（麻省理工学院）
神经网络结构搜索（NAS）通过自动设计有效的神经网络结构而具有很大的影响。然而，传统NAS算法的禁止性计算需求（例如，$10^4$ GPU小时）使得\emph{directly}难以在大规模任务（例如，ImageNet）上搜索架构。差异化NAS可以通过网络架构的连续表示来降低GPU时间的成本，但存在GPU内存消耗高的问题（相对于网络架构呈线性增长）。候选集大小）。因此，他们需要利用~ \emph{proxy}任务，例如在较小的数据集上进行训练，或者只使用几个块进行学习，或者只训练几个epoch。这些在代理任务上优化的架构并不能保证在目标任务上是最优的。在本文中，我们提出了\emph{ProxylessNAS}，它可以\emph{directly}学习大规模目标任务和目标硬件平台的体系结构。我们解决了可区分NAS的高内存消耗问题，并将计算成本（GPU小时和GPU内存）降低到与常规训练相同的水平，同时仍然允许大的候选集。在CIFAR-10和ImageNet上的实验证明了直接性和专业化的有效性。在CIFAR-10上，该模型仅用5.7M个参数就实现了2.08%的测试误差，优于之前的最先进的AmoebaNet-B体系结构，同时使用的参数少了6个$\times$.在ImageNet上，我们的模型实现了比MobileNetV 2高3.1\%的top-1准确性，同时在测量的GPU延迟下快1.2 $…
2019-02-23 cs.CV cs.LG stat.ML
ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies
Key Lab of High Confidence Software Technologies, Peking University（北京大学高可信软件技术重点实验室）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学计算社会科学研究所（青岛））；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Kuaishou Technology（快手科技）；Data Platform, TEG, Tencent Inc.（腾讯科技（深圳）有限公司TEG数据平台）
设计神经结构需要大量的人工努力。这促进了神经结构搜索（NAS）的发展，以实现设计的自动化。虽然以前的NAS方法实现了有希望的结果，但运行缓慢，零成本代理运行非常快，但不太有希望。因此，通过这些零成本代理来加速NAS具有很大的潜力。现有的方法有两个局限性，这是不可预见的可靠性和一次性使用。为了解决这些局限性，我们提出了ProxyBO，这是一个高效的贝叶斯优化（BO）框架，它利用零成本代理来加速神经架构搜索。我们应用泛化能力测量来估计在每次迭代过程中代理对任务的适应度，并设计了一种新的获取函数，将BO与零成本代理结合起来，基于它们的动态影响。广泛的实证研究表明，ProxyBO在三个公共基准的五个任务上始终优于竞争基准。具体来说，ProxyBO实现了最高5.41倍和3.86倍的加速比，超过了最先进的REA和BRP-NAS方法。
2023-03-13 cs.LG
Zero-Cost Proxies for Lightweight NAS
Samsung AI Center, Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）
神经结构搜索（NAS）正迅速成为设计神经网络模型的标准方法。然而，NAS通常是计算密集型的，因为在选择最佳模型之前需要评估多个模型。为了减少计算能力和所需的时间，通常使用代理任务来评估每个模型，而不是完全训练。在本文中，我们评估了传统的简化训练代理，并量化了它们在搜索过程中与最终训练准确度产生的排名相比在多个模型之间保持排名的情况。我们提出了一系列零成本代理，基于最近的修剪文献，只使用一个小批量的训练数据来计算模型的分数。我们的零成本代理使用3个数量级的计算，但可以匹配，甚至优于传统的代理。例如，Spearman在NAS-Bench-201上的最终验证准确性与我们最好的零成本代理之间的等级相关系数为0.82，而EcoNAS（最近提出的减少训练代理）为0.61。最后，我们使用这些零成本代理来增强现有的NAS搜索算法，如随机搜索，强化学习，进化搜索和基于预测的搜索。对于所有搜索方法和三个不同的NAS数据集，我们能够显着提高样本效率，从而减少计算，通过使用我们的零成本代理。例如，在NAS-Bench-101上，我们实现了相同的精度，比之前的最佳结果快4 $\times$。我们的代码在https://github.com/mohsaied/zero-cost-nas上公开。
2021-03-19 cs.AI cs.LG cs.NE
EcoNAS: Finding Proxies for Economical Neural Architecture Search
The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
神经结构搜索（NAS）在许多计算机视觉任务中取得了重大进展。虽然已经提出了许多方法来提高NAS的效率，但是搜索过程仍然是费力的，因为在大的搜索空间上训练和评估合理的架构是耗时的。在代理下评估网络候选（即，计算上减少的设置）因此变得不可避免。在本文中，我们观察到，大多数现有的代理表现出不同的行为，在保持网络候选人之间的排名一致性。特别是，一些代理可以更可靠-候选人的排名没有太大的差异，比较其减少设置性能和最终性能。在本文中，我们系统地研究了一些广泛采用的约化因子，并报告了我们的观察结果。受这些观察的启发，我们提出了一个可靠的代理，并进一步制定了分层代理策略。该策略将更多的计算花费在可能更准确的候选网络上，同时使用快速代理在早期丢弃不太有希望的网络。这就产生了一种经济的基于进化的NAS（EcoNAS），与基于进化的最新技术相比，它实现了令人印象深刻的400倍搜索时间减少（8 vs. 3150 GPU天）。由我们的观察结果领导的一些新代理也可以应用于加速其他NAS方法，同时仍然能够发现性能与以前的代理策略相匹配的良好候选网络。
2020-02-27 cs.CV cs.LG cs.NE
SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape
Northeastern University（东北大学）；Meta AI
本文提出“次单样本”NAS范式及SiGeo代理，通过少量数据预热超网络，结合零样本与单样本NAS优势，在降低约60%计算成本的同时实现优于现有NAS代理的性能。
2023-11-22 cs.AI cs.LG
TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search
Department of EECS, University of California, Irvine（电子工程与计算机科学系，加州大学伊市分校）；Department of Computer Science, University of California, San Diego（计算机科学系，加州大学圣地亚哥分校）
TG-NAS提出一种结合Transformer算子嵌入与图卷积网络的零成本代理，无需重训练即可跨搜索空间预测架构性能，显著提升搜索效率并发现高精度架构。
2025-05-23 cs.AI cs.LG
ZAPS: Zero-Cost Active Proxy Search for Neural Architecture Search
ENSICAEN（卡昂国立高等工程师学校）；ISIA Lab, Université de Mons（蒙斯大学ISIA实验室）
ZAPS提出四阶段零成本主动代理搜索流水线，结合抗冗余代理选择、混合K-means播种、自助投票重选及XGBoost集成，在NAS-Bench-201上以200次评估恢复超半数真实顶级架构，优于现有基线。
2026-09-15 cs.LG
Efficient Neural Architecture Search for End-to-end Speech Recognition via Straight-Through Gradients
Tsinghua University（清华大学）
神经架构搜索（NAS）是自动化架构工程的过程，是推进端到端自动语音识别（ASR）的一个有吸引力的下一步，用学习的、特定于任务的架构取代专家设计的网络。与早期的计算要求高的NAS方法相比，最近的基于梯度的NAS方法，例如，DARTS（Differentiable ArchiTensory Search）、SNAS（Stochastic NAS）和ProxylessNAS等算法的提出，极大地提高了NAS的效率。在本文中，我们做了两个贡献。首先，我们通过直通（ST）梯度严格开发了一种高效的NAS方法，称为ST-NAS。基本上，ST-NAS使用SNAS的损失，但使用ST通过离散变量反向传播梯度以优化损失，这在ProxylessNAS中没有显示。使用ST梯度来支持子图采样是实现DARTS和SNAS之外的高效NAS的核心元素。其次，我们成功地将ST-NAS应用到端到端ASR中。在广泛基准化的80小时WSJ和300小时Switchboard数据集上的实验表明，ST-NAS诱导的架构在两个数据集上的性能明显优于人类设计的架构。ST-NAS的优点，如架构的可移植性和低计算成本的内存和时间也报告。
2020-11-11 cs.LG eess.AS
ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm（高通公司）；Arm, Inc.（Arm公司）
本文提出零样本NAS代理指标ZiCo，通过分析梯度跨样本的逆变异系数预测架构性能，首次一致优于#Params，并在多个基准上以极低搜索成本取得与单样本/多样本NAS相当的精度。
2023-04-12 cs.LG
Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着神经结构搜索（NAS）的快速发展，研究人员发现了适用于各种视觉任务的强大网络结构。然而，目前还不清楚搜索的架构是否可以像手动设计的那样跨不同类型的任务进行转移。本文提出了这个问题，称为NAS在野外，它探讨了在代理数据集中找到最佳架构，然后将其部署到大多数看不见的场景的可能性。我们实例化这个设置使用目前流行的算法命名为微分架构搜索（DARTS），这往往会遭受不满意的性能，而在不同的任务之间转移。我们认为，准确率下降源于使用超级网络进行搜索，但使用子网络进行重新训练的公式。这些阶段的不同属性导致了显着的优化差距，因此，架构参数“过拟合”的超级网络。为了缓解这种差距，我们提出了一种渐进的方法，在搜索阶段逐渐增加网络深度，这导致了渐进DARTS（P-DARTS）算法。通过降低搜索成本（在单个GPU上运行7小时），P-DARTS在代理数据集（CIFAR 10）和一些目标问题（ImageNet分类，COCO检测和三个ReID基准测试）上实现了性能提升。我们的代码可在\url{https://github.com/chenxin061/pdarts}上获得。
2020-01-06 cs.CV cs.LG
NAS-LID: Efficient Neural Architecture Search with Local Intrinsic Dimension
Hong Kong Baptist University（香港浸会大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；NVIDIA AI Tech Center（英伟达人工智能技术中心）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Mahindra University（马恒达大学）；Coventry University（考文垂大学）
单次神经架构搜索（NAS）通过训练一个超网来估计每个可能的子架构的性能（即，子网）。然而，由于各子系统之间的特性不一致，对优化产生严重干扰，导致子系统性能排序相关性差。随后的探索通过特定的标准分解超网权重，例如，梯度匹配，以减少干扰，但他们遭受巨大的计算成本和低空间可分性。在这项工作中，我们提出了一个轻量级的和有效的本地固有维（LID）为基础的方法NAS-LID。NAS-LID通过逐层计算低成本的LID特征来评估架构的几何属性，LID表征的相似性与梯度相比具有更好的可分性，从而有效降低了子网之间的干扰。在NASBench-201上的大量实验表明，NAS-LID具有更好的效率和更好的性能。具体而言，与梯度驱动方法相比，NAS-LID在NASBench-201上搜索时可以节省高达86%的GPU内存开销。我们还证明了NAS-LID对ProxylessNAS和OFA空间的有效性。源代码：https://github.com/marsggbo/NAS-LID。
2022-11-24 cs.AI cs.CV cs.LG
Training-free Neural Architecture Search through Variance of Knowledge of Deep Network Weights
Czech Technical University（捷克技术大学）
本文提出一种基于Fisher信息的无训练代理，可在不训练候选网络的情况下估计图像分类准确率，从而大幅降低神经架构搜索的计算成本，并在多个数据集和搜索空间上取得最先进结果。
2025-02-07 cs.CV
ASP: Automatic Selection of Proxy dataset for efficient AutoML
Kuaishou Technology（快手科技）
本文提出ASP框架，通过动态选择信息丰富的训练数据代理子集，减少训练规模，在多个基准上优于其他数据选择方法，并实现2-20倍AutoML加速，同时获得更优架构与超参数。
2023-10-17 cs.AI cs.CV cs.LG
DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search
Microsoft（微软）
高效搜索是神经网络结构搜索（NAS）的核心问题。传统的NAS算法很难直接搜索像ImageNet这样的大规模任务的架构。一般来说，NAS的GPU时间成本随着训练数据集大小和候选集大小而增长。一种常见的方法是在较小的代理数据集上搜索（例如，CIFAR-10），然后转移到目标任务（例如，ImageNet）。这些在代理数据上优化的架构并不能保证在目标任务上是最优的。另一种常见的方法是使用较小的候选集进行学习，这可能需要专业知识，实际上违背了NAS的本质。在本文中，我们提出了DA-NAS，可以直接搜索大规模的目标任务的架构，同时允许一个大的候选人集，以更有效的方式。我们的方法基于一个有趣的观察，即深度神经网络中块的学习速度与识别不同类别的难度有关。我们精心设计了一个渐进的数据自适应修剪策略，有效的架构搜索。它将快速修剪目标数据集的子集上的低性能块（例如，简单的类），然后逐渐找到整个目标数据集上的最佳块。此时，原始候选集变得尽可能紧凑，从而在目标任务中提供更快的搜索。在ImageNet上的实验验证了该方法的有效性。它比以前的方法快2倍，而精度是目前最先进的，在小FLOPs约束下为76.2%。它支持参数搜索空间（即，更多的候选块）以有效地搜索性能最佳的架构。
2020-03-27 cs.CV
Generative Adversarial Neural Architecture Search
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）；University of Alberta（阿尔伯塔大学）；Huawei Kirin Solution（华为麒麟解决方案部）
尽管神经架构搜索（NAS）在深度学习应用中取得了经验上的成功，但NAS方案的最优性、可重复性和成本仍然难以评估。在本文中，我们提出了具有理论上可证明的收敛保证的生成对抗NAS（GA-NAS），提高了神经结构搜索的稳定性和可重复性。受重要性采样的启发，GA-NAS迭代地将生成器适配到先前发现的顶级架构，从而越来越多地关注大型搜索空间的重要部分。此外，我们提出了一种有效的对抗性学习方法，其中生成器是通过强化学习训练的，该学习是基于一个学习器提供的奖励，从而能够探索搜索空间，而无需评估大量的架构。大量的实验表明，GA-NAS击败最好的公布结果在几种情况下，在三个公共NAS基准。同时，GA-NAS可以处理ad-hoc搜索约束和搜索空间。我们表明，GA-NAS可用于改善其他NAS方法（包括EfficientNet和ProxylessNAS）在原始搜索空间中ImageNet准确性或参数数量方面发现的已经优化的基线。
2021-06-23 cs.CV cs.LG
Single-Path NAS: Designing Hardware-Efficient ConvNets in less than 4 Hours
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Harbin Institute of Technology（哈尔滨工业大学）
我们能否在移动终端的运行时间约束下自动设计具有最高图像分类精度的卷积网络（ConvNet）？神经架构搜索（NAS）通过自动化这个过程，彻底改变了硬件高效的ConvNets的设计。然而，NAS问题仍然具有挑战性，因为组合设计空间很大，导致搜索时间很长（至少200 GPU小时）。为了减轻这种复杂性，我们提出了单路径NAS，这是一种新颖的可区分NAS方法，用于在不到4小时的时间内设计硬件高效的ConvNets。我们的贡献如下：1.单路径搜索空间：与以前的可区分NAS方法相比，单路径NAS使用一个单路径过参数化ConvNet来使用共享卷积核参数对所有架构决策进行编码，从而大大减少了可训练参数的数量和搜索成本。2.硬件高效的ImageNet分类：单路径NAS在Pixel 1手机上以79 ms的延迟在ImageNet上实现了74.96%的top-1准确率，与具有类似约束（<80 ms）的NAS方法相比，这是最先进的准确率。3. NAS效率：单路径NAS搜索成本仅为8个epoch（30 TPU-小时），与之前的工作相比，速度快了5，000倍。4.复制：与所有最近的移动高效NAS方法不同，这些方法只发布预训练的模型，我们在https://github.com/dstamoulis/single-path-nas上开源了我们的整个代码库。
2019-04-05 cs.CV cs.LG stat.ML
How Does Supernet Help in Neural Architecture Search?
Microsoft Research（微软研究院）
权值共享作为一种加速体系结构性能评估的方法受到了广泛的关注。权重共享不是单独训练每个架构，而是构建一个将所有架构组装为其子模型的超网。然而，由于超网优化和NAS目标之间的差距，NAS过程是否真的受益于权重共享一直存在争议。为了进一步了解权重共享对NAS的影响，我们对NAS-Bench-101、NAS-Bench-201、DARTS-CIFAR 10、DARTS-PTB和ProxylessNAS五个搜索空间进行了全面分析。我们发现，权重共享工作在某些搜索空间，但在其他人失败。进一步，我们进一步确定了解释这种现象的偏差和权重共享的能力。我们的工作有望激励未来的NAS研究人员更好地利用体重分担的力量。
2021-05-05 cs.CV cs.LG cs.NE
Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（计算机视觉实验室，CAIDAS与IFI，乌尔姆大学，德国）
将迭代式LLM-NAS建模为参数化交叉熵方法，证明了收敛性、精英集概率几何收敛、增量生成有效性、MinHash-Jaccard去重防止模式崩溃以及代理可靠性闭式公式，并通过实验验证了理论预测。
2026-05-28 cs.LG
L-SWAG: Layer-Sample Wise Activation with Gradients information for Zero-Shot NAS on Vision Transformers
Free University of Bozen-Bolzano（博兹纳-博尔扎诺自由大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）
本文面向 ViT 零样本 NAS，提出 L-SWAG 零成本指标、Autoformer 多任务基准及 LIBRA-NAS 代理组合方法，仅用 0.1 GPU 天找到 ImageNet1k 错误率 17.0% 的架构。
2025-05-12 cs.CV
Dextr: Zero-Shot Neural Architecture Search with Singular Value Decomposition and Extrinsic Curvature
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Universität Ulm（乌尔姆大学）
本文提出Dextr，一种无需标签数据的零成本NAS代理，通过结合SVD特征条件数与网络输出外在曲率，同时考虑收敛性、泛化性和表达能力，在多个基准和搜索空间中实现高效且准确的架构性能预测。
2025-08-18 cs.CV
AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
AZ-NAS通过集成四种互补的零成本代理并提出非线性排名聚合方法，显著提升了免训练NAS中网络排名与真实性能的相关性，在标准基准上以合理运行成本超越现有方法。
2024-03-28 cs.CV cs.LG
DCNAS: Densely Connected Neural Architecture Search for Semantic Image Segmentation
Joyy Inc.（欢聚时代）；Kwai Inc.（快手科技）；Beihang University（北京航空航天大学）
神经结构搜索（NAS）在自动设计用于密集图像预测的可扩展网络结构方面显示出巨大的潜力。然而，现有的NAS算法通常妥协有限的搜索空间和搜索代理任务，以满足可实现的计算需求。为了允许尽可能广泛的网络架构，并避免目标和代理数据集之间的差距，我们提出了一个密集连接的NAS（DCNAS）框架，它直接搜索最佳的网络结构的视觉信息的多尺度表示，在一个大规模的目标数据集。具体来说，通过使用可学习的权重将单元彼此连接，我们引入了一个密集连接的搜索空间，以覆盖大量的主流网络设计。此外，通过结合路径级和通道级的采样策略，我们设计了一个融合模块，以减少内存消耗的丰富的搜索空间。我们证明了从我们的DCNAS算法获得的架构在公共语义图像分割基准上实现了最先进的性能，包括Cityscapes上的84.3%和PASCAL VOC 2012上的86.9%。在更具挑战性的ADE 20K和Pascal Context数据集上评估架构时，我们也保持了领先的性能。
2021-03-27 cs.CV cs.LG eess.IV
EZNAS: Evolving Zero Cost Proxies For Neural Architecture Scoring
Cornell University（康奈尔大学）；Intel Labs（英特尔实验室）
神经架构搜索（NAS）显著提高了神经网络（NN）设计和部署的生产力。由于NAS通常通过部分或全部训练来评估多个模型，因此提高的生产力是以显著的碳足迹为代价的。为了减轻这种昂贵的训练例程，zero-shot/成本代理在初始化时分析NN以生成分数，该分数与其真实准确度高度相关。零成本代理目前由专家设计，他们对可能的算法、数据集和神经架构设计空间进行多个周期的经验测试。这种实验降低了生产力，并且是一种不可持续的零成本代理设计方法，因为深度学习用例在本质上是多样化的。此外，现有的零成本代理无法在神经架构设计空间中推广。在本文中，我们提出了一个遗传编程框架，自动发现零成本代理神经架构评分。我们的方法有效地发现了一个可解释的和可推广的零成本代理，提供了最先进的得分准确性相关的所有数据集和搜索空间的NASBench-201和网络设计空间（NDS）。我们相信，这项研究表明了一个很有前途的方向，自动发现零成本代理，可以跨网络架构设计空间，数据集和任务。
2022-12-21 cs.CV cs.LG cs.NE
Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
神经结构搜索（NAS）研究中的大量工作一直致力于算法开发，旨在设计更有效，成本更低的方法。然而，这些技术的初始化的调查仍然稀缺，目前大多数NAS方法依赖于随机初始化过程，因为获取信息之前的搜索是昂贵的。然而，最近可用的NAS基准测试已经实现了低计算资源原型。在这项研究中，我们建议加速NAS算法使用数据驱动的初始化技术，利用NAS基准的可用性。特别是，我们提出了一个两步方法。首先，执行搜索空间的校准聚类分析。其次，提取质心并用于初始化NAS算法。我们使用老化进化（一种进化算法）在NAS-bench-101上测试了我们的提议。结果表明，与随机初始化相比，该算法收敛速度更快，最终解的性能更好。
2021-08-20 cs.LG
Reducing Neural Architecture Search Spaces with Training-Free Statistics and Computational Graph Clustering
ETH Zürich（苏黎世联邦理工学院）；Università di Bologna（博洛尼亚大学）
神经结构搜索（NAS）算法的计算需求通常与其目标搜索空间的大小成正比。因此，限制搜索到高质量的子集可以大大减少NAS算法的计算负荷。在本文中，我们提出了一种新的技术，以减少NAS的搜索空间的大小基于简化的缩减（C-BRED）。C-BRED通过聚类与其架构相关的计算图并使用与网络准确性相关的代理统计信息选择最有希望的集群来减少NAS空间。当考虑NAS-Bench-201（NB 201）数据集和CIFAR-100任务时，C-BRED选择了平均准确度为70%的子集，而不是整个空间的平均准确度为64%。
2022-04-29 cs.LG
Guided Evolutionary Neural Architecture Search With Efficient Performance Estimation
Universidade da Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）；DeepNeuronic（DeepNeuronic公司）
神经结构搜索（NAS）方法已成功地应用于图像任务，取得了良好的效果。然而，NAS方法通常是复杂的，并且一旦生成的架构似乎产生良好的结果，就倾向于收敛到局部最小值。本文提出了GEA，一种新的方法引导NAS。GEA通过探索搜索空间来指导进化，方法是在初始化阶段使用零代理估计器在每一代中生成和评估几个架构，其中只有得分最高的架构被训练并保留用于下一代。随后，GEA不断提取知识的搜索空间，而不增加复杂性，从现有的架构在每一代产生几个后代。更重要的是，GEA迫使后代利用最高性能的架构，同时通过父代突变来推动探索，并有利于年轻的架构，而不利于旧的架构。实验结果证明了该方法的有效性，广泛的烧蚀研究评估不同参数的重要性。结果表明，GEA在NAS-Bench-101、NAS-Bench-201和TransNAS-Bench-101基准测试的所有数据集上都取得了最先进的结果。
2022-07-22 cs.AI cs.CV cs.LG
A Survey on Computationally Efficient Neural Architecture Search
Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）；Donghua University（东华大学）
神经架构搜索（NAS）最近在深度学习社区中越来越受欢迎，主要是因为它可以提供一个机会，让没有丰富专业知识的感兴趣的用户从深度神经网络（DNN）的成功中受益。然而，NAS仍然是费力和耗时的，因为在NAS的搜索过程中需要大量的性能估计，并且训练DNN是计算密集型的。为了解决NAS的这一主要局限性，提高计算效率是NAS设计的关键。然而，系统的概述计算效率的NAS（CE-NAS）方法仍然缺乏。为了填补这一空白，我们提供了一个全面的调查国家的最先进的CE-NAS分类现有的工作到代理为基础的和代理辅助的NAS方法，连同彻底讨论他们的设计原则和定量比较他们的性能和计算复杂性。剩余的挑战和开放的研究问题进行了讨论，并提出了在这一新兴领域有前途的研究课题。
2022-10-22 cs.LG cs.NE
HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices
Ecole Nationale Supérieure d’Informatique（国立高等计算机学院）；Université Polytechnique Hauts-de-France（上法兰西理工大学）
视觉Transformer使最近的基于注意力的深度学习（DL）架构在计算机视觉（CV）任务中取得了显著的成果。然而，由于需要大量的计算资源，这些架构很少在资源受限的平台上实现。目前的研究调查混合手工卷积为基础的和注意力为基础的CV任务，如图像分类和目标检测模型。在本文中，我们提出了HyT-NAS，一种高效的硬件感知神经架构搜索（HW-NAS），包括针对微型设备上的视觉任务的混合架构。HyT-NAS通过丰富搜索空间和增强搜索策略以及性能预测器来改进最先进的HW-NAS。我们的实验表明，HyT-NAS实现了类似的超卷，训练评估不到5倍。我们得到的架构优于MLPerf MobileNetV 1的6.3%的准确性提高与3.5倍的视觉唤醒词的参数少。
2023-03-28 cs.CV cs.LG
ZiCo-BC: A Bias Corrected Zero-Shot NAS for Vision Tasks
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
针对零样本代理 ZiCo 偏向窄深网络且在复杂视觉任务中表现受限的问题，本文提出偏差校正方法 ZiCo-BC，并在分类、检测和分割任务上搜索到准确率更高、Galaxy S10 延迟更低的架构。
2023-09-26 cs.CV cs.LG
Graph is all you need? Lightweight data-agnostic neural architecture search without training
Rensselaer Polytechnic Institute（罗切斯特理工学院）；IBM Research（IBM研究院）
提出免训练的轻量级数据无关NAS方法nasgraph，通过将架构转为图并利用平均度作为代理指标，在217秒内从200个随机采样架构中选出最优，并在多个基准上表现优异。
2025-06-20 cs.LG
Towards Less Constrained Macro-Neural Architecture Search
Universidade da Beira Interior（贝拉内格罗大学）
使用神经架构搜索（NAS）发现的网络在各种任务中实现了最先进的性能，性能超过了人类设计的网络。然而，大多数NAS方法严重依赖于约束搜索的人类定义的假设：架构的外骨架，层数，参数选择和搜索空间。此外，公共搜索空间由可重复的模块（单元）组成，而不是通过设计整个架构（宏搜索）来充分探索架构的搜索空间。施加这样的限制需要深厚的人类专业知识，并将搜索限制在预定义的设置中。在本文中，我们提出了LCMNAS，一种方法，推动NAS的约束较少的搜索空间，通过执行宏搜索，而不依赖于预定义的算法或有界的搜索空间。LCMNAS为NAS管道引入了三个组件：i）利用关于公知架构的信息来基于具有隐藏属性的加权有向图自主地生成复杂搜索空间的方法，ii）从头开始生成完整架构的进化搜索策略，及iii）混合-一种性能评估方法，将初始化阶段的架构信息与较低的保真度评估相结合，以推断其可训练性和能力，模拟复杂函数。我们在13个不同的数据集上进行了实验，结果表明LCMNAS能够以最小的GPU计算量和最先进的结果生成基于细胞和宏的架构。此外，我们对不同NAS组件在基于小区和宏的设置中的重要性进行了广泛的研究。再现性代码在https://github.com/VascoLopes/LCMNAS上公开。
2023-01-06 cs.AI cs.CV cs.LG
Efficient NAS with FaDE on Hierarchical Spaces
University of Passau（帕绍大学）
提出 FaDE 方法，利用可微架构搜索在分层 NAS 空间的有限区域获取相对性能排名，并结合无记忆的伪梯度进化算法进行外部搜索，以线性成本探索深度分层空间，消除了对代理搜索空间的需求。
2024-04-24 cs.AI cs.LG cs.NE
Data-Free Neural Architecture Search via Recursive Label Calibration
Hong Kong University of Science and Technology（香港科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Google Research（谷歌研究院）
本文旨在探讨神经结构搜索（NAS）的可行性，只给一个预先训练的模型，而不使用任何原始的训练数据。这是隐私保护、避免偏见等的重要情况，在现实世界的场景中。为了实现这一目标，我们首先通过从预先训练的深度神经网络中恢复知识来合成可用数据。然后，我们使用合成的数据及其预测的软标签来指导神经结构搜索。我们确定，NAS任务需要合成的数据（我们在这里的图像域的目标）具有足够的语义，多样性和最小的域间隙从自然图像。对于语义，我们提出递归标签校准，以产生更多的信息输出。对于多样性，我们提出了一个区域更新策略，以产生更多样化和语义丰富的合成数据。对于最小域间隙，我们使用输入和特征级正则化来模拟原始数据在潜在空间中的分布。我们实例化我们提出的框架与三个流行的NAS算法：DARTS，ProxylessNAS和SPOS。令人惊讶的是，我们的研究结果表明，通过搜索我们的合成数据发现的架构实现的准确性，是相当的，甚至高于，从原始的搜索发现的架构，第一次，得出的结论是，NAS可以有效地完成，而不需要访问原始的或所谓的自然数据，如果合成方法是精心设计的。
2022-07-14 cs.AI cs.CV cs.LG
BRP-NAS: Prediction-based NAS using GCNs
Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索（NAS）使研究人员能够自动探索广阔的设计空间，以提高神经网络的效率。这种效率在设备上部署的情况下尤其重要，在这种情况下，准确性的提高应该与模型的计算需求相平衡。在实践中，模型的性能指标是计算昂贵的获得。以前的工作使用代理（例如，操作数）或神经网络层的逐层测量来估计端到端硬件性能，但不精确的预测降低了NAS的质量。为了解决这个问题，我们提出了BRP-NAS，一个高效的硬件感知的NAS，通过一个准确的性能预测器，基于图卷积网络（GCN）。更重要的是，我们调查的预测质量不同的指标，并表明样本效率的预测为基础的NAS可以提高考虑二元关系的模型和迭代的数据选择策略。我们表明，我们提出的方法优于NAS-Bench-101和NAS-Bench-201上的所有先前方法，并且我们的预测器可以始终如一地学习从DARTS搜索空间中提取有用的特征，从而改进二阶基线。最后，为了提高人们对准确延迟估计并非易事这一事实的认识，我们发布了LatBench --一个在各种设备上运行的NAS-Bench-201模型的延迟数据集。
2021-01-19 cs.LG eess.SP stat.ML
Zero-Shot NAS via the Suppression of Local Entropy Decrease
Ning Wu 1；Han Huang 1；Yueting Xu 1；Zhifeng Hao 2
本研究提出一种无数据、无需运行的零成本代理SED，通过抑制架构拓扑导致的局部熵降低来评估网络性能，在五个基准上优于多数现有代理，计算时间减少三个数量级，并能在一秒内选出更优架构。
2025-06-20 cs.CV cs.LG cs.NE
Kernel-Level Energy-Efficient Neural Architecture Search for Tabular Dataset
The Arctic University of Norway（挪威北极大学）
本文提出面向表格数据集的核级节能神经架构搜索方法，直接以最小化能耗为目标，在保持可接受准确率的同时，相比常规NAS推荐的架构最高可降低92%的能耗。
2025-04-11 cs.AI cs.LG
Towards Self-supervised and Weight-preserving Neural Architecture Search
University of Electronic Science and Technology of China（电子科技大学）；Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
神经结构搜索（NAS）算法节省了人类专家的大量劳动。最近的进步进一步降低了计算开销到一个负担得起的水平。然而，由于繁琐的过程和监督学习范例，在现实世界的应用中部署NAS技术仍然很麻烦。在这项工作中，我们提出了自我监督和权重保持神经架构搜索（SSWP-NAS）作为当前NAS框架的扩展，允许自我监督和保留伴随的权重在搜索阶段发现。因此，我们将NAS的工作流程简化为一个阶段和无代理程序。实验表明，该框架搜索的架构在CIFAR-10，CIFAR-100和ImageNet数据集上达到了最先进的准确性，而无需使用手动标签。此外，我们表明，采用伴随的权重作为初始化一致优于随机初始化和两阶段的权重预训练方法的明确保证金下半监督学习的情况下。代码可在https://github.com/LzVv123456/SSWP-NAS上公开获取。
2022-06-08 cs.CV
FNAS: Uncertainty-Aware Fast Neural Architecture Search
SenseTime（商汤科技）；The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）
基于强化学习（RL）的神经架构搜索（NAS）通常保证更好的收敛性，但与基于梯度的方法相比，由于推出瓶颈-对代理任务的每个采样生成进行穷举训练，因此需要大量计算资源。在本文中，我们提出了一个通用的流水线，以加速收敛的推出过程，以及在NAS的RL过程。它的动机是有趣的观察，结构和参数的知识可以在不同的实验，甚至不同的任务之间转移。我们首先在近端策略优化（PPO）中引入了一个不确定性感知的评价器（价值函数），以利用以前实验中的体系结构知识，稳定了训练过程，并将搜索时间减少了4倍。此外，一个架构知识池连同块相似性函数，提出了利用参数知识，并减少了2倍的搜索时间。它是第一个在基于RL的NAS中引入块级权重共享的方法。块相似度函数保证了100%的命中率和严格的公平性。此外，我们还表明，在强化学习优化的“回放缓冲区”中使用简单设计的偏离政策修正因子可以进一步减少一半的搜索时间。在移动神经架构搜索（MNAS）搜索空间上的实验表明，所提出的快速神经架构搜索（FNAS）将标准的基于RL的NAS过程加速约10倍（例如，对于MNAS，约256 2x2 TPUv 2 x天/20，000 GPU x小时-> 2，000 GPU x小时），并保证在各种视觉任务上具有更好的性能。
2021-05-27 cs.AI cs.CV cs.LG
Angle-based Search Space Shrinking for Neural Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；MEGVII Technology（旷视科技）
在这项工作中，我们提出了一个简单和通用的搜索空间收缩方法，称为基于角度的搜索空间收缩（ABS），神经结构搜索（NAS）。我们的方法逐步简化了原来的搜索空间通过放弃没有前途的候选人，从而可以减少现有的NAS方法找到更好的架构的难度。特别是，我们提出了一个基于角度的度量来指导收缩过程。我们提供了全面的证据表明，在权重共享超网中，所提出的度量比基于精度和基于幅度的度量更稳定和准确地预测子模型的能力。我们还表明，基于角度的度量可以快速收敛，而训练超网，使我们能够得到有前途的收缩搜索空间有效。ABS可以很容易地应用于大多数NAS方法（例如SPOS，FairNAS，ProxylessNAS，DARTS和PDARTS）。综合实验表明，ABS可以显着提高现有的NAS方法提供了一个有前途的缩小搜索空间。
2020-07-16 cs.CV cs.LG cs.NE
Guided Evolution for Neural Architecture Search
NOVA LINCS；Universidade da Beira Interior（贝拉内陆大学）
神经结构搜索（NAS）方法已成功地应用于图像任务，取得了良好的效果。然而，NAS方法通常是复杂的，并且一旦生成的架构似乎产生良好的结果，就倾向于收敛到局部最小值。在本文中，我们提出了G-EA，一种新的指导进化NAS的方法。G-EA背后的基本原理是通过在初始化阶段使用零代理估计器在每一代中生成和评估几个架构来探索搜索空间，其中只有最高得分的网络被训练并保留用于下一代。在初始化阶段的这种评估允许在不增加计算的情况下从搜索空间连续提取知识，从而允许有效地引导搜索。此外，G-EA迫使后代利用性能最好的网络，同时迫使父母突变和有利于年轻的架构，以损害老年人的探索。实验结果表明，G-EA在NAS-Bench-201搜索空间中，在CIFAR-10、CIFAR-100和ImageNet16 - 120上的平均准确率分别为93.98%、72.12%和45.94%。
2021-10-28 cs.AI cs.CV cs.LG
Variation Matters: from Mitigating to Embracing Zero-Shot NAS Ranking Function Variation
McGill University（麦吉尔大学）
针对零样本神经架构搜索中排序函数输出变化大的问题，提出将排序函数输出视为随机变量并构建随机排序来确定最佳架构，实验证明该方法能有效提升标准基准搜索空间的搜索性能。
2025-02-27 cs.LG stat.ML
HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork
School of Computer Science, Sichuan University（计算机学院，四川大学）
针对神经架构搜索（NAS）中预测器泛化能力差的问题，提出HyperNAS范式，通过全局编码方案和共享超网络增强架构表示，结合动态自适应多任务损失，在少样本场景下取得更优性能，样本效率提升至少5倍。
2025-09-16 cs.AI cs.LG
Bi-EZP: LLM-Guided Bilevel Program Evolution for Ensemble Zero-Cost Proxy Discovery
School of Mathematics and Statistics, Guangdong University of Technology（广东工业大学数学与统计学院）
该研究提出Bi-EZP双层框架，通过大语言模型与CMA-ES解耦聚合结构发现和参数校准，在NATS-Bench等数据集上验证了其构建集成零成本代理的有效性
2026-08-25 cs.AI cs.LG
Stronger NAS with Weaker Predictors
Texas A&M University（德州农工大学）；Microsoft Corporation（微软公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经架构搜索（NAS）经常训练和评估大量的架构。最近基于预测器的NAS方法试图通过两个关键步骤来减轻这种繁重的计算成本：对一些架构-性能对进行采样和拟合代理精度预测器。然而，给定有限的样本，由于难以拟合巨大的搜索空间，这些预测器远不能准确地定位顶级架构。本文思考了一个简单而关键的问题：如果我们的最终目标是找到最好的建筑，我们真的需要很好地建模整个空间吗？我们提出了一个范式的转变，从拟合整个架构空间使用一个强大的预测，逐步拟合搜索路径的高性能子空间，通过一组较弱的预测。作为弱预测器的一个关键属性，它们对更好架构进行采样的概率不断增加。因此，我们只对一些由先前学习的预测器指导的性能良好的架构进行采样，并估计一个新的更好的弱预测器。这个非常简单的框架，被称为WeakNAS，产生由粗到细的迭代，以逐渐细化采样空间的排名。大量的实验表明，WeakNAS成本更少的样本，找到最高性能的架构NAS-Bench-101和NAS-Bench-201。与最先进的（SOTA）基于预测器的NAS方法相比，WeakNAS以显著的优势优于所有方法，例如，在NAS-Bench-101上找到全局最优值所需的样本至少少7.5倍。WeakNAS还可以吸收他们的想法来进一步提高性能。此外，WeakNAS在ImageNet MobileNet搜索空间中获得了81.3%的新SOTA结果。该代码可在https://github…
2021-11-03 cs.CV cs.LG stat.ML
One-Shot Neural Architecture Search via Compressive Sensing
New York University（纽约大学）；Duke University（杜克大学）
神经架构搜索仍然是一个非常具有挑战性的元学习问题。最近几种基于参数共享思想的技术都集中在通过利用代理模型来减少NAS运行时间，从而使架构与手工设计的架构相比具有竞争力的性能。在本文中，我们提出了一种迭代技术NAS，启发学习低度稀疏布尔函数的算法。我们在DART搜索空间上验证了我们的方法（Liu等人，2018 b）和NAS-Bench-201（Yang等人，2020年）。此外，我们通过可靠学习所需的验证误差测量值的上限提供理论分析，并包括消融研究，以进一步深入了解我们的技术。
2022-02-07 cs.LG stat.ML
Measure the Deployment, Not Just the Model: Rethinking Hardware-Aware Model Selection for Microcontrollers
University of California, Los Angeles（加州大学洛杉矶分校）
提出CREST框架，通过硬件在环测量联合优化模型架构、目标平台、运行时调度和部署策略，在惯性里程计和音频分类任务上相比FLOPs选择降低中位推理能耗41.7%。
2026-11-10 cs.LG cs.SY eess.SY
Efficient Model Performance Estimation via Feature Histories
Carnegie Mellon University（卡内基梅隆大学）
神经网络设计任务中的一个重要步骤，如超参数优化（HPO）或神经结构搜索（NAS），是候选模型的性能评估。给定固定的计算资源，人们可以投入更多的时间来训练每个模型以获得更准确的最终性能估计，或者花费更多的时间在配置空间中探索更多种类的模型。在这项工作中，我们的目标是通过在训练过程的早期准确地近似模型的最大性能，在HPO和NAS的背景下优化这种探索-利用权衡，以进行图像分类。与最近为某些搜索空间定制的加速NAS方法相反，由于要求搜索空间是可微的，所以我们的方法是灵活的，并且对搜索空间几乎没有任何约束。我们的方法在训练的早期阶段使用网络特征的演化历史来构建与所考虑的网络的峰值性能相匹配的代理分类器。我们表明，我们的方法可以与多种搜索算法相结合，以找到更好的解决方案，在HPO和NAS的广泛的任务。使用基于采样的搜索算法和并行计算，我们的方法可以找到一个架构，这是优于DARTS和减少了80%的挂钟搜索时间。
2021-03-07 cs.CV cs.LG
Generalizing Few-Shot NAS with Gradient Matching
The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
从大的搜索空间中提取的结构的有效性能估计对于神经结构搜索是必不可少的。One-Shot方法通过训练一个超网来解决这个挑战，通过权重共享来近似搜索空间中每个架构的性能，从而大大降低搜索成本。然而，由于权重共享引起的子架构之间的耦合优化，One-Shot超网的性能估计可能不准确，导致搜索结果下降。为了解决这个问题，Few-Shot NAS通过逐边（逐层）穷举分区将One-Shot超网拆分为多个独立的子超网，从而降低了权重共享的级别。由于超网的每一个划分都不是同等重要的，因此需要设计一个更有效的划分准则。在这项工作中，我们提出了一个梯度匹配分数（GM），利用梯度信息在共享的权重作出明智的分裂决定。直观地说，来自不同子模型的梯度可以用来识别它们是否同意如何更新共享模块，并随后决定它们是否应该共享相同的权重。与穷举分割相比，该准则显著降低了每条边的分支因子。这使我们能够在给定的预算下分割更多的边（层），从而大大提高了性能，因为NAS搜索空间通常包括数十个边（层）。在广泛的搜索空间（NASBench-201，DARTS，MobileNet Space），数据集（cifar 10，cifar 100，ImageNet）和搜索算法（DARTS，SNAS，RSPS，ProxylessNAS，OFA）上对所提出的方法进行了广泛的实证评估，结果表明，它显着优于其Few-Shot同行，同时在衍生架构的准确…
2022-04-05 cs.CV cs.LG
