NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
一次性神经结构搜索（NAS）在使NAS方法在实践中计算可行方面发挥了至关重要的作用。然而，由于控制过程动态的许多因素，仍然缺乏对这些权重分配算法如何确切工作的理解。为了让这些组件的科学研究，我们介绍了一个通用的框架，可以实例化到许多最近推出的变种，并介绍了一个通用的基准框架，借鉴了最近的大规模表格基准NAS-Bench-101便宜的任何时候评估的一次性NAS方法。为了展示框架，我们比较了几种最先进的一次性NAS方法，研究了它们对超参数的敏感程度以及如何通过调整超参数来改进它们，并将它们的性能与NAS-Bench-101的黑盒优化器进行了比较。
2020-04-12 cs.CV cs.LG cs.NE
HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark
Rice University（莱斯大学）
HW-NAS-Bench是首个硬件感知神经架构搜索基准数据集，提供NAS-Bench-201和FBNet搜索空间中网络在六种硬件设备上的性能数据，旨在降低研究门槛并促进可复现研究。
2025-03-28 cs.LG
NAS-Bench-x11 and the Power of Learning Curves
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
虽然神经结构搜索（NAS）的早期研究需要极端的计算资源，但最近发布的表格和替代基准大大提高了NAS研究的速度和可重复性。然而，两个最流行的基准测试并没有为每个架构提供完整的训练信息。因此，在这些基准测试中，不可能运行许多类型的多保真度技术，例如学习曲线外推，这些技术需要在任意时期评估架构。在这项工作中，我们提出了一种使用奇异值分解和噪声建模的方法来创建代理基准，NAS-Bench-111，NAS-Bench-311和NAS-Bench-NLP 11，这些基准输出每个架构的完整训练信息，而不仅仅是最终的验证精度。我们通过引入学习曲线外推框架来修改单保真度算法，展示了使用完整训练信息的能力，表明它导致了对流行的单保真度算法的改进，这些算法在发布时声称是最先进的。我们的代码和预训练模型可以在https://github.com/automl/nas-bench-x11上找到。
2021-11-05 cs.AI cs.LG cs.NE
NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
神经结构搜索（NAS）是一个很有前途和快速发展的研究领域。训练大量的神经网络需要大量的计算能力，这使得NAS对于那些无法访问或无法访问高性能集群和超级计算机的研究人员来说是无法实现的。最近引入了一些具有预先计算的神经架构性能的基准测试来克服这个问题，并确保更多的可重复实验。然而，这些基准测试仅适用于计算机视觉领域，因此是从图像数据集和卷积衍生架构构建的。在这项工作中，我们走出计算机视觉领域，利用语言建模任务，这是自然语言处理（NLP）的核心。我们的主要贡献如下：我们在文本数据集上提供了递归神经网络的搜索空间，并在其中训练了14 k架构;我们使用语义相关性和语言理解评估数据集对训练模型进行了内在和外在评估;最后，我们测试了几种NAS算法，以证明如何利用预先计算的结果。我们相信我们的研究结果对NAS和NLP社区都有很高的使用潜力。
2020-06-12 cs.CL cs.LG stat.ML
NAS-Bench-360: Benchmarking Neural Architecture Search on Diverse Tasks
University of Toronto（多伦多大学）；University of Wisconsin（威斯康星大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数现有的神经架构搜索（NAS）基准和算法优先考虑经过充分研究的任务，例如CIFAR或ImageNet上的图像分类。这使得NAS方法在更多样化领域的性能知之甚少。在本文中，我们提出了NAS-Bench-360，一个基准套件，以评估方法的领域超出了传统的研究架构搜索，并使用它来解决以下问题：做国家的最先进的NAS方法在不同的任务上表现良好？为了构建基准，我们策划了十个任务，这些任务跨越了不同的应用领域、数据集大小、问题维度和学习目标。每个任务都经过精心选择，以便与现代基于CNN的搜索方法进行互操作，同时可能远离其原始开发领域。为了加快和降低NAS研究的成本，对于其中两项任务，我们发布了包括标准CNN搜索空间的15，625个架构的预计算性能。在实验中，我们需要更强大的NAS评估的NAS-Bench-360，使几个现代NAS程序在10个任务中执行不一致，许多灾难性的差的结果。我们还展示了NAS-Bench-360及其相关的预计算结果将如何通过测试NAS文献中最近提出的几个假设是否适用于不同的任务来实现未来的科学发现。NAS-Bench-360托管于https://nb360.ml.cmu.edu。
2023-01-19 cs.CV cs.LG
NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters
Yokohama National University（横滨国立大学）
神经架构搜索（NAS）的基准数据集已经开发出来，以减轻计算上昂贵的评估过程，并确保公平的比较。最近的NAS基准测试只关注架构优化，尽管训练超参数影响所获得的模型性能。构建用于架构和训练超参数联合优化的基准数据集对于进一步的NAS研究至关重要。现有的NAS-HPO-Bench是联合优化的基准，但它没有考虑现代NAS算法中所做的网络连接设计。本文介绍了第一个用于网络连接和训练超参数联合优化的基准数据集，我们称之为NAS-HPO-Bench-II。我们收集了在CIFAR-10数据集上训练的基于4K细胞的卷积神经网络架构的性能数据，这些架构具有不同的学习率和批量大小设置，从而产生了192K配置的数据。该数据集包括12个epoch训练的确切数据。我们进一步建立代理模型预测200个epoch训练后的准确率，以提供更长训练epoch的性能数据。通过对NAS-HPO-Bench-II的分析，我们确认了体系结构和训练超参数之间的依赖性以及联合优化的必要性。最后，我们使用NAS-HPO-Bench-II演示了基准优化算法。
2021-10-19 cs.AI cs.LG
NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Toronto（多伦多大学）
零成本代理（ZC代理）是一种新的架构性能预测技术，旨在显着加快神经架构搜索（NAS）的算法。最近的工作表明，这些技术显示出很大的希望，但某些方面，如评估和利用其互补优势，研究不足。在这项工作中，我们创建了NAS-Bench-Suite：我们在28个任务中评估了13个ZC代理，为ZC代理创建了迄今为止最大的数据集（和统一的代码库），使ZC代理上的实验速度提高了几个数量级，同时避免了来自不同实现的混淆因素。为了证明NAS-Bench-Suite的有用性，我们对ZC代理进行了大规模分析，包括偏差分析和第一次信息理论分析，得出结论认为ZC代理捕获了大量的补充信息。出于这些研究结果，我们提出了一个程序，以提高ZC代理的性能，减少偏见，如细胞大小，我们还表明，将所有13个ZC代理到NAS算法使用的代理模型可以提高其预测性能高达42%。我们的代码和数据集可以在https://github.com/automl/naslib/tree/zerocost上找到。
2022-10-06 cs.AI cs.LG stat.ML
Long-term Reproducibility for Neural Architecture Search
Newcastle University（纽卡斯尔大学）；Durham University（杜伦大学）
这是现代学术界的一个悲哀的反映，代码在发布后经常被忽视--没有学术上的“荣誉”来修复/维护错误。代码通常不可用，或者如果可用，则包含错误，不完整或依赖于过时/不可用的库。这对再现性和一般科学进步有重大影响。神经结构搜索（NAS）也不例外，在可重复性方面有一些先前的工作。然而，我们认为，这些不考虑长期的可重复性问题。因此，我们提出了一个清单，长期NAS再现性。我们评估我们的清单对常见的NAS方法，以及提出我们如何可以回顾性地使这些方法更长期的可重复性。
2022-07-18 cs.LG
How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor
University of Oxford（牛津大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）；Flower Labs（Flower实验室）；University of Warwick（华威大学）
本文利用6个NAS基准、16种设置，借鉴少样本元学习方法提取可跨任务和搜索空间迁移的通用NAS知识，重点研究任务相关性与预测器可迁移性的关系，并验证了其在新搜索空间和任务上的外推能力。
2023-11-30 cs.LG
Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance
Universidade da Beira Interior（贝拉内陆大学）；NOVA Lincs（NOVA 林肯斯实验室）
神经结构搜索（NAS）基准测试显著提高了开发和比较NAS方法的能力，同时通过提供关于数千个训练好的神经网络的元信息来大幅降低计算开销。然而，表格基准有几个缺点，可能会妨碍公平的比较，并提供不可靠的结果。这些通常集中于在严格约束的搜索空间中提供一个小的操作池-通常是具有预定义外骨架的基于细胞的神经网络。在这项工作中，我们进行了广泛使用的NAS-Bench-101，NAS-Bench-201和transNAS-Bench-101基准测试的可生成性和不同的操作如何影响所生成的架构的性能方面的实证分析。我们发现，只需要一个子集的操作池生成接近性能范围的上限架构。此外，性能分布是负偏的，在上限范围内具有更高的架构密度。我们一直发现卷积层对架构的性能影响最大，并且特定的操作组合有利于得分最高的架构。这些发现为使用NAS基准测试正确评估和比较NAS方法提供了见解，表明直接在NAS-Bench-201、ImageNet 16 -120和TransNAS-Bench-101上搜索比仅在CIFAR-10上搜索产生更可靠的结果。此外，通过这项工作，我们为未来的基准评估和设计提供了建议。用于进行评价的守则可在https://github.com/VascoLopes/NAS-Benchmark-Evaluation上查阅。
2023-03-29 cs.AI cs.CV cs.LG
Random Search and Reproducibility for Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；Determined AI（Determined AI公司）
神经结构搜索（NAS）是一个很有前途的研究方向，有可能取代专家设计的网络与学习，特定于任务的架构。在这项工作中，为了帮助地面在这一领域的经验结果，我们提出了新的NAS基线，建立了以下观察：（i）NAS是一个专门的超参数优化问题;（ii）随机搜索是一个有竞争力的基线超参数优化。利用这些观察，我们评估两个随机搜索与早期停止和一种新的随机搜索与权重共享算法在两个标准NAS基准-PTB和CIFAR-10。我们的研究结果表明，随机搜索与早期停止是一个有竞争力的NAS基线，例如，在两个基准测试中，它的表现至少与ENAS（一种领先的NAS方法）一样好。此外，具有权重共享的随机搜索优于具有早期停止的随机搜索，在PTB上实现了最先进的NAS结果，在CIFAR-10上实现了极具竞争力的结果。最后，我们探讨了现有的重复性问题发表的NAS结果。我们注意到缺乏源材料需要准确地重现这些结果，并进一步讨论了已发表的结果的稳健性给定的各种来源的变异性在NAS实验设置。与此相关，我们提供了精确重现结果所需的所有信息（代码、随机种子、文档），并在多次运行中为每个基准测试报告我们的随机搜索和权重共享结果。
2019-07-30 cs.LG stat.ML
AnalogNAS-Bench: A NAS Benchmark for Analog In-Memory Computing
Ecole Nationale Supérieure d’Informatique（国立信息学院）；Laboratoire de Méthodes de Conception des Systèmes（系统设计方法实验室）；IBM Research Europe（IBM欧洲研究院）
AnalogNAS-Bench是首个面向模拟内存计算的NAS基准，揭示了标准量化不足、鲁棒架构更宽且有分支、跳跃连接抗时间漂移等关键发现。
2025-06-23 cs.AR cs.LG
BRP-NAS: Prediction-based NAS using GCNs
Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索（NAS）使研究人员能够自动探索广阔的设计空间，以提高神经网络的效率。这种效率在设备上部署的情况下尤其重要，在这种情况下，准确性的提高应该与模型的计算需求相平衡。在实践中，模型的性能指标是计算昂贵的获得。以前的工作使用代理（例如，操作数）或神经网络层的逐层测量来估计端到端硬件性能，但不精确的预测降低了NAS的质量。为了解决这个问题，我们提出了BRP-NAS，一个高效的硬件感知的NAS，通过一个准确的性能预测器，基于图卷积网络（GCN）。更重要的是，我们调查的预测质量不同的指标，并表明样本效率的预测为基础的NAS可以提高考虑二元关系的模型和迭代的数据选择策略。我们表明，我们提出的方法优于NAS-Bench-101和NAS-Bench-201上的所有先前方法，并且我们的预测器可以始终如一地学习从DARTS搜索空间中提取有用的特征，从而改进二阶基线。最后，为了提高人们对准确延迟估计并非易事这一事实的认识，我们发布了LatBench --一个在各种设备上运行的NAS-Bench-201模型的延迟数据集。
2021-01-19 cs.LG eess.SP stat.ML
Differential Evolution for Neural Architecture Search
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
神经体系结构搜索（NAS）方法依赖于用于决定接下来评估哪些体系结构的搜索策略和用于评估它们的性能的性能估计策略（例如，使用完全评估、多保真度评估或一次性模型）。在本文中，我们集中在搜索策略。我们介绍了简单而强大的进化算法的差异进化的NAS社区。使用最简单的性能评估策略的全面评估，我们全面比较了这种搜索策略，正则化的进化和贝叶斯优化，并证明它产生了改进的和更强大的结果为13个表格NAS基准NAS-Bench-101，NAS-Bench-1 Shot 1，NAS-Bench-201和NAS-HPO板凳。
2021-08-09 cs.LG cs.NE
Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
神经结构搜索（NAS）研究中的大量工作一直致力于算法开发，旨在设计更有效，成本更低的方法。然而，这些技术的初始化的调查仍然稀缺，目前大多数NAS方法依赖于随机初始化过程，因为获取信息之前的搜索是昂贵的。然而，最近可用的NAS基准测试已经实现了低计算资源原型。在这项研究中，我们建议加速NAS算法使用数据驱动的初始化技术，利用NAS基准的可用性。特别是，我们提出了一个两步方法。首先，执行搜索空间的校准聚类分析。其次，提取质心并用于初始化NAS算法。我们使用老化进化（一种进化算法）在NAS-bench-101上测试了我们的提议。结果表明，与随机初始化相比，该算法收敛速度更快，最终解的性能更好。
2021-08-20 cs.LG
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule
Aalborg University（奥尔堡大学）；UTS（悉尼科技大学）；Monash University（莫纳什大学）；RMIT University（皇家墨尔本理工大学）
可区分体系结构搜索（DARTS）近年来受到了广泛的关注，主要是因为它通过权重共享和连续松弛来显著降低计算成本。然而，最近的工作发现，现有的可区分NAS技术的斗争，以超越天真的基线，产生恶化的架构，作为搜索的进行。本文不是直接优化结构参数，而是通过将结构权重放松为高斯分布来将神经结构搜索表示为分布学习问题。通过利用自然梯度变分推理（NGVI），可以基于现有的代码库轻松优化架构分布，而不会产生更多的内存和计算消耗。我们演示了如何区分NAS的贝叶斯原理的好处，加强探索和提高稳定性。在NAS-Bench-201和NAS-Bench-1 shot 1基准数据集上的实验结果证实了所提出的框架可以做出的显着改进。此外，我们不是简单地将argmax应用于学习的参数，而是进一步利用NAS中最近提出的免训练代理，从优化分布的一组架构中选择最佳架构，其中我们在NAS-Bench-201和NAS-Bench-1 shot 1基准测试中获得了最先进的结果。我们在DARTS搜索空间中的最佳架构在CIFAR-10、CIFAR-100和ImageNet数据集上也分别获得了2.37\%、15.72\%和24.2\%的竞争性测试误差。
2021-11-25 cs.LG
NASirt: AutoML based learning with instance-level complexity information
Federal Institute of Mato Grosso do Sul（南马托格罗索联邦学院）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Instituto Tecnológico Vale（淡水河谷技术研究所）；Federal University of Pará（帕拉联邦大学）
设计适当和精确的神经结构是一项具有挑战性的任务，通常由高度专业的人员完成。AutoML是一个机器学习领域，旨在以自动化的方式生成性能良好的模型。光谱数据，如从生物分析中获得的数据，通常具有许多重要的信息，并且这些数据由于它们的图像状形状而特别适合卷积神经网络（CNN）。在这项工作中，我们提出了NASirt，一种基于神经结构搜索（NAS）的AutoML方法，可以为光谱数据集找到高精度的CNN结构。所提出的方法依赖于项目反应理论（IRT）从实例级别，如歧视和难度，它是能够定义一个排名的表现最好的子模型获得的特性。为了证明该方法的性能与不同的光谱数据集进行了几个实验。将准确性结果与其他基准方法进行比较，例如高性能的手动制作的CNN和Auto-Keras AutoML工具。结果表明，在大多数情况下，我们的方法的性能优于基准测试，平均准确率高达97.40%。
2020-12-03 cs.LG stat.ML
confopt: A Library for Implementation and Evaluation of Gradient-based One-Shot NAS Methods
Department of Computer Science, University of Freiburg（计算机科学系，弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Prior Labs（Prior实验室）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本文提出confopt库，通过模块化API和新型评估协议，解决基于梯度的单次NAS方法评估过度依赖DARTS基准及实现分散的问题，并揭示现有评估方式的关键缺陷。
2025-07-22 cs.AI cs.LG
Zero-Cost Operation Scoring in Differentiable Architecture Search
University of Warwick（华威大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Cornell University（康奈尔大学）；University of Cambridge（剑桥大学）
我们形式化和分析的基本组成部分微分神经架构搜索（NAS）：本地“操作评分”在每个操作的选择。我们认为现有的操作评分功能的准确性不准确的代理，我们发现，他们表现不佳时，NAS基准经验分析。从这个角度来看，我们介绍了一种新的\textit{perturbation-based zero-cost operation scoring}（零成本PT）的方法，它利用零成本代理，最近研究了多次试验NAS，但降低显着较大的搜索空间，典型的可区分NAS。我们对一些NAS基准测试和大型搜索空间进行了全面的实证评估，从NAS-Bench-201，NAS-Bench-1 Shot 1，NAS-Bench-Macro，到DARTS和MobileNet空间，显示出搜索时间和准确性的显着改善。在DARTS搜索空间上的ImageNet分类任务中，与当前最好的免训练方法（TE-NAS）相比，我们的方法提高了准确性，同时比现有方法快10 $\times$以上（在单个GPU上的总搜索时间为25分钟），并且在CIFAR-10数据集上搜索的架构上观察到更好的可移植性，准确性提高了1.8 pp。我们的代码可在https://github.com/zerocostptnas/zerocost_operation_score上获得。
2023-02-09 cs.AI cs.LG
FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search
Southern University of Science and Technology（南方科技大学）
提出结合常规与反向图视图的GNN性能预测器FR-NAS，通过定制损失在多个NAS基准上显著提升预测精度。
2024-04-24 cs.LG
RBFleX-NAS: Training-Free Neural Architecture Search Using Radial Basis Function Kernel and Hyperparameter Detection
本文提出免训练NAS框架RBFleX-NAS，利用RBF核结合最后一层激活输出与输入特征进行性能预测，并设计超参数检测算法，在NAS-Bench-201和NAS-Bench-SSS上以短搜索时间取得更高top-1精度，同时提出NAFBee激活设计空间以提升激活函数搜索能力。
2025-06-03 cs.LG
Stronger NAS with Weaker Predictors
Texas A&M University（德州农工大学）；Microsoft Corporation（微软公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经架构搜索（NAS）经常训练和评估大量的架构。最近基于预测器的NAS方法试图通过两个关键步骤来减轻这种繁重的计算成本：对一些架构-性能对进行采样和拟合代理精度预测器。然而，给定有限的样本，由于难以拟合巨大的搜索空间，这些预测器远不能准确地定位顶级架构。本文思考了一个简单而关键的问题：如果我们的最终目标是找到最好的建筑，我们真的需要很好地建模整个空间吗？我们提出了一个范式的转变，从拟合整个架构空间使用一个强大的预测，逐步拟合搜索路径的高性能子空间，通过一组较弱的预测。作为弱预测器的一个关键属性，它们对更好架构进行采样的概率不断增加。因此，我们只对一些由先前学习的预测器指导的性能良好的架构进行采样，并估计一个新的更好的弱预测器。这个非常简单的框架，被称为WeakNAS，产生由粗到细的迭代，以逐渐细化采样空间的排名。大量的实验表明，WeakNAS成本更少的样本，找到最高性能的架构NAS-Bench-101和NAS-Bench-201。与最先进的（SOTA）基于预测器的NAS方法相比，WeakNAS以显著的优势优于所有方法，例如，在NAS-Bench-101上找到全局最优值所需的样本至少少7.5倍。WeakNAS还可以吸收他们的想法来进一步提高性能。此外，WeakNAS在ImageNet MobileNet搜索空间中获得了81.3%的新SOTA结果。该代码可在https://github…
2021-11-03 cs.CV cs.LG stat.ML
Mutation is all you need
LMU Munich（慕尼黑大学）
神经架构搜索（NAS）通过自动化深度神经网络的架构工程，有望使非专家也能访问深度学习。BANANAS是一种最先进的NAS方法，嵌入在贝叶斯优化框架中。最近的实验结果表明，BANANAS在NAS-Bench-101基准测试中的强大性能取决于其路径编码，而不是其代理模型的选择。我们目前的实验结果表明，在NAS-Bench-301基准测试的BANANAS的性能是由其采集功能优化器，这最小限度地改变现任。
2021-07-04 cs.LG cs.NE
Neural Architecture Search without Training
Usher Institute, University of Edinburgh（爱丁堡大学厄舍研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Engineering, University of Edinburgh（爱丁堡大学工程学院）
手工设计深度神经网络所需的时间和精力是巨大的。这促使了神经架构搜索（NAS）技术的发展，以自动化这种设计。然而，NAS算法往往是缓慢和昂贵的，他们需要训练大量的候选网络通知搜索过程。如果我们可以从初始状态部分预测网络的训练精度，这可以得到缓解。在这项工作中，我们研究了未经训练的网络中数据点之间的激活重叠，并激发了这如何能够给出一个有用的指标来衡量网络的训练性能。我们将这一措施纳入一个简单的算法，使我们能够在几秒钟内在单个GPU上搜索强大的网络，而无需任何训练，并在NAS-Bench-101，NAS-Bench-201，NATS-Bench和Network Design Spaces上验证其有效性。我们的方法可以很容易地与更昂贵的搜索方法相结合，我们研究一个简单的适应正规化的进化搜索。复制我们实验的代码可在https://github.com/BayesWatch/nas-without-training上获得。
2021-06-11 cs.CV cs.LG stat.ML
Guidelines for the Quality Assessment of Energy-Aware NAS Benchmarks
RWTH Aachen University（亚琛工业大学）；Leibniz University Hannover（汉诺威莱比锡大学）；Technical University Darmstadt（德累斯顿技术大学）；Leiden University（莱顿大学）
本研究针对神经架构搜索的能耗问题，提出能量感知基准测试的三项设计原则，分析了测量API对结果的影响并给出校准方案，为相关基准设计提供指导。
2025-05-21 cs.LG
TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
神经结构搜索（NAS）的最新突破将该领域的研究范围扩展到更广泛的视觉任务和更多样化的搜索空间。虽然现有的NAS方法主要针对单个任务设计架构，但超越单任务搜索的算法正在寻求跨各种任务的更高效和通用的解决方案。他们中的许多人利用迁移学习，并寻求保存，重用和完善网络设计知识，以实现未来任务的更高效率。然而，跨任务NAS的巨大计算成本和实验复杂性给这一方向的有价值的研究带来了障碍。现有的NAS基准测试都集中在一种类型的视觉任务上，即，分类.在这项工作中，我们提出了TransNAS-Bench-101，这是一个基准数据集，包含七个任务的网络性能，包括分类，回归，像素级预测和自我监督任务。这种多样性提供了在任务之间转移NAS方法的机会，并允许发展更复杂的转移方案。我们探索两种根本不同类型的搜索空间：单元级搜索空间和宏观级搜索空间。通过对7个任务的7，352个骨干进行评估，提供了51，464个具有详细训练信息的训练模型。通过TransNAS-Bench-101，我们希望鼓励出现特殊的NAS算法，将跨任务搜索效率和通用性提高到一个新的水平。我们的数据集文件将在VEGA的Mindspore提供。
2021-05-25 cs.CV cs.LG
Efficacy of Neural Prediction-Based Zero-Shot NAS
本文提出一种基于正弦傅里叶和编码与多层感知机的零样本NAS方法，通过可学习编码构建前馈图并对架构排序，在NAS-Bench-201上超越图卷积方法，且特征表示可跨基准迁移。
2023-09-22 cs.AI cs.LG
Graph is all you need? Lightweight data-agnostic neural architecture search without training
Rensselaer Polytechnic Institute（罗切斯特理工学院）；IBM Research（IBM研究院）
提出免训练的轻量级数据无关NAS方法nasgraph，通过将架构转为图并利用平均度作为代理指标，在217秒内从200个随机采样架构中选出最优，并在多个基准上表现优异。
2025-06-20 cs.LG
BLOX: Macro Neural Architecture Search Benchmark and Algorithms
Samsung AI Center（三星人工智能中心）；University of Warwick（华威大学）；University of Cambridge（剑桥大学）；Cornell University（康奈尔大学）
神经结构搜索（NAS）已成功地用于设计许多高性能的神经网络。然而，NAS是典型的计算密集型的，因此大多数现有的方法限制搜索，以确定操作和拓扑结构的单个块，然后相同的块被重复堆叠，形成一个端到端的模型。尽管这种方法减小了搜索空间的大小，但最近的研究表明，允许模型中的块不同的宏搜索空间可以导致更好的性能。为了系统地研究NAS算法在宏搜索空间上的性能，我们发布了Blox -一个基准测试，它由在CIFAR-100数据集上训练的91 k个唯一模型组成。该数据集还包括不同硬件平台上所有模型的运行时测量。我们进行了广泛的实验，比较现有的算法，以及基于细胞的搜索空间研究，与新兴的块的方法，旨在使NAS可扩展到更大的宏搜索空间。基准测试和代码可在https://github.com/SamsungLabs/blox上获得。
2022-10-13 cs.LG
SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS
School of Computing Technologies, RMIT University（RMIT大学计算技术学院）；University of Technology Sydney（悉尼科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对现有免训练NAS指标相关性弱、泛化性差的问题，提出基于样本级激活模式的SWAP-Score指标，经正则化优化后性能优于15种现有指标，结合进化算法的SWAP-NAS可在数分钟GPU时间内取得有竞争力的搜索结果。
2024-06-24 cs.CV cs.LG cs.NE
Neural Architecture Search: Two Constant Shared Weights Initialisations
Center for Basic Research on Materials（基础材料研究センター）；National Institute for Materials Science（材料科学国家研究所）
本文提出零成本NAS指标epsinas，通过两种恒定共享权重初始化的输出统计量评估架构潜力，无需标签和梯度计算，在多个基准上验证了其与训练准确率的相关性。
2025-04-08 cs.AI cs.LG
PhaseNAS: Language-Model Driven Architecture Search with Dynamic Phase Adaptation
Qiyuan Lab（启元实验室）
提出PhaseNAS框架，通过实时分数阈值驱动的动态阶段转换和结构化架构模板语言，解决基于LLM的NAS中静态策略与表示模糊问题，并在多个视觉任务上显著提升搜索效率与性能。
2025-07-28 cs.LG
Rethink DARTS Search Space and Renovate a New Benchmark
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对DARTS搜索空间准确率范围窄、影响方法排序可靠性的问题，研究构建了更大更难且保持高效的LHD搜索空间，基于12个基线、12种条件打造新基准，为NAS发展提供重要基础。
2023-06-12 cs.LG
How Does Supernet Help in Neural Architecture Search?
Microsoft Research（微软研究院）
权值共享作为一种加速体系结构性能评估的方法受到了广泛的关注。权重共享不是单独训练每个架构，而是构建一个将所有架构组装为其子模型的超网。然而，由于超网优化和NAS目标之间的差距，NAS过程是否真的受益于权重共享一直存在争议。为了进一步了解权重共享对NAS的影响，我们对NAS-Bench-101、NAS-Bench-201、DARTS-CIFAR 10、DARTS-PTB和ProxylessNAS五个搜索空间进行了全面分析。我们发现，权重共享工作在某些搜索空间，但在其他人失败。进一步，我们进一步确定了解释这种现象的偏差和权重共享的能力。我们的工作有望激励未来的NAS研究人员更好地利用体重分担的力量。
2021-05-05 cs.CV cs.LG cs.NE
CoRA-NAS: Coarse Ranking and Anchor-Residual Refinement for Neural Architecture Search
University of New South Wales（新南威尔士大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
CoRA-NAS 提出两阶段框架，结合静态排序先验与低成本学习曲线细化，实现跨空间鲁棒且低成本的架构选择，在多个基准上取得高排序相关性。
2026-09-11 cs.CV cs.LG
Geometry-Aware Gradient Algorithms for Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
最近的神经架构搜索（NAS）的最先进的方法利用基于梯度的优化，通过放松的问题到架构和共享权重的连续优化，一个嘈杂的过程，仍然知之甚少。我们认为，单级经验风险最小化的研究，以了解NAS与权重共享，减少NAS方法的设计，设计优化器和正则化，可以快速获得高质量的解决方案，这个问题。在镜像下降理论的基础上，我们提出了一个几何感知框架，该框架利用这种优化的底层结构来返回稀疏的架构参数，从而产生简单而新颖的算法，这些算法可以保证快速收敛，并在计算机视觉的最新NAS基准测试中达到最先进的精度。值得注意的是，我们在DARTS搜索空间和NAS-Bench 201上都超过了CIFAR和ImageNet的最佳发布结果;在后者上，我们在CIFAR-10和CIFAR-100上实现了接近oracle的最佳性能。总之，我们的理论和实验证明了一个原则性的方法来协同设计优化和连续松弛离散NAS搜索空间。
2021-03-18 cs.CV cs.LG cs.NE
ReNAS:Relativistic Evaluation of Neural Architecture Search
Noah’s Ark Lab Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Huawei Technologies（华为技术有限公司）；The University of Sydney（悉尼大学）；Peking University（北京大学）
一个有效的体系结构性能评估方案是神经网络体系结构搜索成功的关键。为了节省计算成本，大多数现有的NAS算法往往训练和评估中间神经网络结构上的一个小的代理数据集有限的训练时期。但是，很难期望在这样一个粗略的评估方式的体系结构的准确的性能估计。本文提出了一种新的神经网络体系结构评估方案，其目的是确定哪种体系结构的性能更好，而不是准确地预测绝对的体系结构性能。因此，我们提出了一个\textbf{relativistic}架构的NAS性能预测器（ReNAS）。我们将神经架构编码为特征张量，并使用预测器进一步细化表示。建议的相对论性能预测器可以部署在离散搜索方法中搜索所需的架构，而无需额外的评估。在NAS-Bench-101数据集上的实验结果表明，对424个（整个搜索空间的$0.1\%$）神经架构及其相应的验证性能进行采样已经足以学习准确的架构性能预测器。我们在NAS-Bench-101和NAS-Bench-201数据集上搜索的神经结构的准确性高于最先进的方法，并显示了所提出的方法的优先级。
2021-09-23 cs.LG cs.NE
TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search
Department of EECS, University of California, Irvine（电子工程与计算机科学系，加州大学伊市分校）；Department of Computer Science, University of California, San Diego（计算机科学系，加州大学圣地亚哥分校）
TG-NAS提出一种结合Transformer算子嵌入与图卷积网络的零成本代理，无需重训练即可跨搜索空间预测架构性能，显著提升搜索效率并发现高精度架构。
2025-05-23 cs.AI cs.LG
SEval-NAS: A Search-Agnostic Evaluation for Neural Architecture Search
Analytics Everywhere Lab, \ of New Brunswick Fredericton Canada；Analytics Everywhere Lab, \ of New Brunswick
SEval-NAS通过将架构转换为字符串并嵌入向量来预测性能指标，有效评估神经架构搜索中的硬件成本。
2026-02-17 cs.AI cs.LG cs.NE
Guided Evolutionary Neural Architecture Search With Efficient Performance Estimation
Universidade da Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）；DeepNeuronic（DeepNeuronic公司）
神经结构搜索（NAS）方法已成功地应用于图像任务，取得了良好的效果。然而，NAS方法通常是复杂的，并且一旦生成的架构似乎产生良好的结果，就倾向于收敛到局部最小值。本文提出了GEA，一种新的方法引导NAS。GEA通过探索搜索空间来指导进化，方法是在初始化阶段使用零代理估计器在每一代中生成和评估几个架构，其中只有得分最高的架构被训练并保留用于下一代。随后，GEA不断提取知识的搜索空间，而不增加复杂性，从现有的架构在每一代产生几个后代。更重要的是，GEA迫使后代利用最高性能的架构，同时通过父代突变来推动探索，并有利于年轻的架构，而不利于旧的架构。实验结果证明了该方法的有效性，广泛的烧蚀研究评估不同参数的重要性。结果表明，GEA在NAS-Bench-101、NAS-Bench-201和TransNAS-Bench-101基准测试的所有数据集上都取得了最先进的结果。
2022-07-22 cs.AI cs.CV cs.LG
Zero-Cost Proxies for Lightweight NAS
Samsung AI Center, Cambridge（三星剑桥人工智能中心）；University of Cambridge（剑桥大学）
神经结构搜索（NAS）正迅速成为设计神经网络模型的标准方法。然而，NAS通常是计算密集型的，因为在选择最佳模型之前需要评估多个模型。为了减少计算能力和所需的时间，通常使用代理任务来评估每个模型，而不是完全训练。在本文中，我们评估了传统的简化训练代理，并量化了它们在搜索过程中与最终训练准确度产生的排名相比在多个模型之间保持排名的情况。我们提出了一系列零成本代理，基于最近的修剪文献，只使用一个小批量的训练数据来计算模型的分数。我们的零成本代理使用3个数量级的计算，但可以匹配，甚至优于传统的代理。例如，Spearman在NAS-Bench-201上的最终验证准确性与我们最好的零成本代理之间的等级相关系数为0.82，而EcoNAS（最近提出的减少训练代理）为0.61。最后，我们使用这些零成本代理来增强现有的NAS搜索算法，如随机搜索，强化学习，进化搜索和基于预测的搜索。对于所有搜索方法和三个不同的NAS数据集，我们能够显着提高样本效率，从而减少计算，通过使用我们的零成本代理。例如，在NAS-Bench-101上，我们实现了相同的精度，比之前的最佳结果快4 $\times$。我们的代码在https://github.com/mohsaied/zero-cost-nas上公开。
2021-03-19 cs.AI cs.LG cs.NE
A Data-driven Approach to Neural Architecture Search Initialization
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心(DLR)）
神经结构搜索中的算法设计一直受到人们的关注，其目的是提高性能和降低计算成本。尽管取得了很大的进步，很少有人提出为NAS定制初始化技术。然而，文献表明，一个好的初始解集有助于找到最优解。因此，在这项研究中，我们提出了一个数据驱动的技术来初始化基于人口的NAS算法。特别是，我们提出了一个两步方法。首先，我们对搜索空间执行校准的聚类分析，其次，我们提取质心并使用它们来初始化NAS算法。我们基准我们提出的方法对随机和拉丁超立方体采样初始化使用三种基于人口的算法，即遗传算法，进化算法和老化进化，CIFAR-10。更具体地说，我们使用NAS-Bench-101来利用NAS基准的可用性。结果表明，与随机和拉丁超立方体采样相比，所提出的初始化技术能够实现两个搜索基线的显着长期改进，有时在各种搜索场景（各种训练预算）。此外，我们分析得到的解决方案的分布，并发现，人口提供的数据驱动的初始化技术，使检索局部最优（最大值）的高适应度和类似的配置。
2021-11-05 cs.AI cs.LG cs.NE
Carbon-Efficient Neural Architecture Search
Worcester Polytechnic Institute（伍斯特理工学院）
本文提出碳高效神经架构搜索框架CE-NAS，通过多目标优化与启发式GPU分配动态平衡节能采样和耗能评估，在NAS基准上实现了优于基线的碳效率与搜索效率。
2023-07-09 cs.AI cs.LG
Resource-Efficient Iterative LLM-Based NAS with Feedback Memory
本文提出一种基于大语言模型的高效迭代神经架构搜索方法，通过反馈记忆机制和双LLM专业化，在单块消费级GPU上实现高效模型搜索，提升图像分类性能。
2026-03-12 cs.AI cs.LG
CAP: A Context-Aware Neural Predictor for NAS
College of Computer Science, Sichuan University（四川大学计算机学院）
提出上下文感知神经预测器CAP，利用上下文自监督任务学习架构表示，仅需少量标注架构即可精确排名并高效探索NAS搜索空间。
2024-06-04 cs.LG cs.NE
Neural Architecture Search for Improving Latency-Accuracy Trade-off in Split Computing
Yokohama National University（横滨国立大学）；Tokyo Institute of Technology（东京工业大学）；SkillUp AI, Co., Ltd.（SkillUp AI株式会社）
提出了一种用于分裂计算的神经结构搜索方法。拆分计算是一种新兴的机器学习推理技术，可解决在物联网系统中部署深度学习所面临的隐私和延迟挑战。在分离计算中，神经网络模型被分离，并通过网络使用边缘服务器和物联网设备进行协同处理。因此，神经网络模型的架构显着影响通信有效负载大小、模型准确性和计算负载。在本文中，我们解决的挑战，优化神经网络架构的分裂计算。为此，我们提出了NASC，它共同探索最佳模型架构和分裂点，以实现更高的准确性，同时满足延迟要求（即，计算和通信的总延迟小于某个阈值）。NASC采用一次性NAS，不需要重复的模型训练来进行计算高效的架构搜索。我们的性能评估使用硬件（HW）-NAS-Bench的基准数据表明，建议的NASC可以改善"通信延迟和模型准确性”的权衡，即，将延迟从基线减少约40-60%，精度略有下降。
2022-08-30 cs.DC cs.LG
NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size
University of Technology Sydney（悉尼科技大学）
神经结构搜索（NAS）已经吸引了大量的关注，并已被证明在过去几年的大量应用中带来切实的好处。架构拓扑和架构大小一直被认为是影响深度学习模型性能的两个最重要的方面，社区已经为神经架构的这两个方面产生了大量的搜索算法。然而，这些搜索算法的性能增益是在不同的搜索空间和训练设置下实现的。这使得算法的整体性能在一定程度上无法比较，从搜索模型的一个子模块的改进不清楚。在本文中，我们提出了NATS-Bench，一个统一的基准搜索的拓扑结构和大小，（几乎）任何最新的NAS算法。NATS-Bench包括三个数据集上的15，625个架构拓扑神经细胞候选者和32，768个架构大小神经细胞候选者的搜索空间。我们分析了我们的基准的有效性，在各种标准和性能比较的所有候选人在搜索空间。我们还展示了NATS-Bench的多功能性，通过对13种最新的NAS算法进行基准测试。所有日志和诊断信息都使用相同的设置为每个候选人进行训练。这有助于更大的研究人员社区专注于在更具可比性和计算成本友好的环境中开发更好的NAS算法。所有代码均可在https://xuanyidong.com/assets/projects/NATS-Bench上公开获取。
2021-01-26 cs.LG stat.ML
Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS
The Hong Kong University of Science and Technology（香港科技大学）
本文提出可搜索训练代理的基准构建技术，降低真实 NAS 基准成本，并发布结合 ImageNet2012 与 GPU、TPU、FPGA 性能的开源双目标 Accel-NASBench。
2024-06-18 cs.LG eess.IV
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers
Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所）；AGH University of Science and Technology（AGH科技大学）
了解机器学习（ML）算法的优点和缺点对于确定其应用范围至关重要。在这里，我们介绍了DIverse和GENerative ML Benchmark（DIGEN）-一个综合数据集的集合，用于对二进制结果分类的机器学习算法进行全面，可重复和可解释的基准测试。DIGEN资源由40个数学函数组成，这些函数将连续特征映射到离散端点，以创建合成数据集。这40个函数是使用启发式算法发现的，该算法旨在最大限度地提高多个流行的机器学习算法之间的性能差异，从而为评估和比较新方法提供了有用的测试套件。访问生成函数有助于理解为什么一种方法与其他算法相比表现不佳，从而提供改进的想法。包含大量文档和分析的资源是开源的，可在GitHub上获得。
2021-07-14 cs.AI cs.CV cs.LG
Robust NAS under adversarial training: benchmark, theory, and beyond
LIONS, EPFL（洛桑联邦理工学院 LIONS）；University of Warwick（华威大学）；AWS Lablets（亚马逊云科技 Lablets）；Mirelo AI；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对对抗训练下搜索鲁棒神经架构缺乏基准评估和理论保证的问题，本文发布了一个包含大量对抗训练网络干净与鲁棒准确率的综合数据集，并利用神经正切核建立了多目标对抗训练下的架构搜索泛化理论。
2024-03-19 cs.AI cs.LG stat.ML
HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML
University of Freiburg（弗莱堡大学）；University of Hildesheim（希尔德斯海姆大学）；Amazon Research（亚马逊研究院）
超参数优化（HPO）是机器学习界的核心问题，并且由于评估超参数配置所需的大量计算资源而在很大程度上仍未解决。因此，最近的一系列相关工作都集中在迁移学习的方向上，以快速微调数据集上的超参数。不幸的是，社区没有一个通用的大规模基准来比较HPO算法。相反，事实上的实践包括对任意小规模元数据集的经验协议，这些元数据集在出版物中的变化不一致，使得再现性成为一个挑战。为了解决这一主要瓶颈，并在公平的竞争环境中对黑盒HPO方法进行公平快速的比较，我们提出了HPO-B，这是一个新的大规模基准，以元数据集的形式。我们的基准测试是从OpenML存储库中组装和预处理的，由176个搜索空间（算法）组成，在196个数据集上进行了稀疏评估，总共有640万个超参数评估。为了确保我们的基准的再现性，我们详细介绍了明确的实验协议，分裂和评估措施，用于比较非迁移学习和迁移学习HPO的方法。
2021-10-11 cs.LG
EDALearn: A Comprehensive RTL-to-Signoff EDA Benchmark for Democratized and Reproducible ML for EDA Research
Duke University（杜克大学）；Hong Kong University of Science（香港科学大学）
本文提出首个面向EDA中ML任务的整体开源基准套件EDALearn，覆盖从综合到物理实现的端到端流程，支持跨技术节点的可迁移性研究，并提供深入数据分析以促进高效ML模型构建。
2025-07-06 cs.LG
ECG-biometrics-bench: A Unified Framework for Reproducible Benchmarking of ECG Biometrics
Independent Researcher（独立研究者）
本文提出ECG-biometrics-bench框架，用于可重复评估ECG生物特征，揭示随机分割谬误，展示模型失效并非特定于模型，且通过动态多会话模板融合缓解时间老化影响。
2026-05-02 cs.CV cs.LG eess.SP
MQBench: Towards Reproducible and Deployable Model Quantization Benchmark
SenseTime Research（商汤科技研究院）
模型量化已经成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但现有的量化工作通常是不可复制和不可部署的。这是因为研究人员没有选择一致的训练管道，忽略了硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），第一次尝试评估，分析和基准模型量化算法的可重复性和可部署性。我们选择多种不同的平台进行实际部署，包括CPU、GPU、ASIC、DSP，并在统一的训练管道下评估广泛的最先进的量化算法。MQBench充当连接算法和硬件的桥梁。我们进行了全面的分析，并发现了相当多的直观或反直观的见解。通过调整训练设置，我们发现现有的算法在传统的学术轨道上具有相同的性能。而对于硬件可部署的量化，有一个巨大的精度差距，仍然没有解决。令人惊讶的是，没有现有的算法在MQBench中赢得每一个挑战，我们希望这项工作可以启发未来的研究方向。
2022-01-25 cs.CV cs.LG
