本文提出可搜索训练代理的基准构建技术，降低真实 NAS 基准成本，并发布结合 ImageNet2012 与 GPU、TPU、FPGA 性能的开源双目标 Accel-NASBench。
摘要：
阻碍神经架构搜索（Neural Architecture Search，NAS）进展的主要挑战之一，是其对高昂计算资源的严重依赖。NAS 基准旨在以零成本模拟 NAS 实验的运行，从而缓解对大量计算的需求。然而，现有 NAS 基准使用合成数据集和模型代理，并对这些数据集和模型的特征作出简化假设，导致评估结果不切实际。我们提出一种技术，能够搜索训练代理，以大幅降低基准构建成本，从而使为大规模数据集构建真实的 NAS 基准成为可能。利用该技术，我们为 ImageNet2012 数据集构建了一个开源双目标 NAS 基准，并结合加速器（包括 GPU、TPU 和 FPGA）的设备端性能。通过在多种 NAS 优化器和硬件平台上进行大量实验，我们表明该基准是准确的，并支持以零成本搜索最先进的硬件感知模型。
英文摘要：
One of the primary challenges impeding the progress of Neural Architecture Search (NAS) is its extensive reliance on exorbitant computational resources. NAS benchmarks aim to simulate runs of NAS experiments at zero cost, remediating the need for extensive compute. However, existing NAS benchmarks use synthetic datasets and model proxies that make simplified assumptions about the characteristics of these datasets and models, leading to unrealistic evaluations. We present a technique that allows searching for training proxies that reduce the cost of benchmark construction by significant margins, making it possible to construct realistic NAS benchmarks for large-scale datasets. Using this technique, we construct an open-source bi-objective NAS benchmark for the ImageNet2012 dataset combined with the on-device performance of accelerators, including GPUs, TPUs, and FPGAs. Through extensive experimentation with various NAS optimizers and hardware platforms, we show that the benchmark is accurate and allows searching for state-of-the-art hardware-aware models at zero cost.
Coflex: Enhancing HW-NAS with Sparse Gaussian Processes for Efficient and Scalable DNN Accelerator Design
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；Institute of High Performance Computing (IHPC)（高性能计算研究所）；Agency for Science, Technology and Research (A*STAR)（科技研究局）
ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies
Key Lab of High Confidence Software Technologies, Peking University（北京大学高可信软件技术重点实验室）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学计算社会科学研究所（青岛））；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Kuaishou Technology（快手科技）；Data Platform, TEG, Tencent Inc.（腾讯科技（深圳）有限公司TEG数据平台）
Zero-Shot Neural Architecture Search with Weighted Response Correlation
School of Internet, Anhui University（安徽大学互联网学院）；Alibaba Group Holding Limited（阿里巴巴集团控股有限公司）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Alibaba International Digital Commerce（阿里巴巴国际数字商业）；Shenzhen Key Laboratory for High Performance Data Mining, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳高性能数据挖掘重点实验室，深圳先进技术研究所，中国科学院）
EcoNAS: Finding Proxies for Economical Neural Architecture Search
The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
神经结构搜索（NAS）在许多计算机视觉任务中取得了重大进展。虽然已经提出了许多方法来提高NAS的效率，但是搜索过程仍然是费力的，因为在大的搜索空间上训练和评估合理的架构是耗时的。在代理下评估网络候选（即，计算上减少的设置）因此变得不可避免。在本文中，我们观察到，大多数现有的代理表现出不同的行为，在保持网络候选人之间的排名一致性。特别是，一些代理可以更可靠-候选人的排名没有太大的差异，比较其减少设置性能和最终性能。在本文中，我们系统地研究了一些广泛采用的约化因子，并报告了我们的观察结果。受这些观察的启发，我们提出了一个可靠的代理，并进一步制定了分层代理策略。该策略将更多的计算花费在可能更准确的候选网络上，同时使用快速代理在早期丢弃不太有希望的网络。这就产生了一种经济的基于进化的NAS（EcoNAS），与基于进化的最新技术相比，它实现了令人印象深刻的400倍搜索时间减少（8 vs. 3150 GPU天）。由我们的观察结果领导的一些新代理也可以应用于加速其他NAS方法，同时仍然能够发现性能与以前的代理策略相匹配的良好候选网络。
