Generalizing Few-Shot NAS with Gradient Matching
The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
从大的搜索空间中提取的结构的有效性能估计对于神经结构搜索是必不可少的。One-Shot方法通过训练一个超网来解决这个挑战，通过权重共享来近似搜索空间中每个架构的性能，从而大大降低搜索成本。然而，由于权重共享引起的子架构之间的耦合优化，One-Shot超网的性能估计可能不准确，导致搜索结果下降。为了解决这个问题，Few-Shot NAS通过逐边（逐层）穷举分区将One-Shot超网拆分为多个独立的子超网，从而降低了权重共享的级别。由于超网的每一个划分都不是同等重要的，因此需要设计一个更有效的划分准则。在这项工作中，我们提出了一个梯度匹配分数（GM），利用梯度信息在共享的权重作出明智的分裂决定。直观地说，来自不同子模型的梯度可以用来识别它们是否同意如何更新共享模块，并随后决定它们是否应该共享相同的权重。与穷举分割相比，该准则显著降低了每条边的分支因子。这使我们能够在给定的预算下分割更多的边（层），从而大大提高了性能，因为NAS搜索空间通常包括数十个边（层）。在广泛的搜索空间（NASBench-201，DARTS，MobileNet Space），数据集（cifar 10，cifar 100，ImageNet）和搜索算法（DARTS，SNAS，RSPS，ProxylessNAS，OFA）上对所提出的方法进行了广泛的实证评估，结果表明，它显着优于其Few-Shot同行，同时在衍生架构的准确…
2022-04-05 cs.CV cs.LG
Improving Ranking Correlation of Supernet with Candidates Enhancement and Progressive Training
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
单次神经结构搜索（NAS）采用权重共享超网来减少自动化结构设计中难以承受的计算开销。然而，由于不同候选网络之间的干扰，权重共享技术破坏了性能的排名一致性。为了解决这个问题，我们提出了一种候选增强方法和渐进式训练管道，以提高超网的排名相关性。具体来说，我们仔细地重新设计了超网中的子网络，并将原始超网映射到一个新的高容量超网。此外，我们逐步增加超网的窄分支，以减少权重分担的程度，有效地消除了子网之间的相互干扰。最后，我们的方法在CVPR 2021第一届轻量级NAS挑战赛的超网赛道中排名第一。
2021-08-12 cs.CV
Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture
ÉTS（高等技术学院）
针对CNN池化架构搜索中单SuperNet参数共享导致训练困难的问题，提出平衡混合SuperNet方法，在多个数据集上优于默认配置和其他方法。
2023-06-21 cs.CV cs.LG
RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
神经网络结构搜索（NAS）在有效神经网络结构的自动设计方面取得了巨大的进展，但存在计算量大的问题。One-shot NAS通过权重共享显著减轻了负担，并提高了计算效率。Zero-shot NAS通过从初始状态预测网络的性能进一步降低了成本，该状态不进行任何训练。这两种方法都旨在区分“好”和“坏”架构，即，预测和真实性能的一致性。本文提出了一种提高排序一致性的排序蒸馏单次NAS（RD-NAS）算法，该算法利用零成本代理作为廉价教师，采用边际排序损失提取排序知识。具体来说，我们提出了一个边缘子网采样器提取排名知识从zero-shot NAS到one-shot NAS通过引入组距离作为保证金。我们对NAS-Bench-201和基于ResNet的搜索空间的评估表明，RD-NAS的排名能力分别提高了10.7%和9.65%。我们的代码可在https://github.com/pprp/CVPR2022-NAS-competition-Track1-3th-solution上获得
2023-01-24 cs.CV
GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet
SenseTime（商汤科技）；Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
训练超网对于一次性神经架构搜索（NAS）方法很重要，因为它可以作为不同架构（路径）的基本性能估计器。目前的方法主要持有的假设，一个超网应该给一个合理的所有路径的排名。因此，他们平等地对待所有的路径，并不遗余力地训练路径。然而，对于单个超网来说，在如此大规模的搜索空间上准确地评估是苛刻的（例如，$7^{21}$）。在本文中，而不是覆盖所有的路径，我们减轻了超网的负担，鼓励它更专注于那些潜在的好的，这是确定使用验证数据的代理部分的评估。具体来说，在训练过程中，我们提出了一种带拒绝的多路径采样策略，并对弱路径进行了粗过滤。由于训练空间从所有路径向那些潜在的好路径进行了极大的收缩，因此提高了训练效率。此外，我们还通过引入经验候选路径池来进一步采取探索和开发策略。我们提出的方法GreedyNAS易于遵循，在ImageNet数据集上的实验结果表明，它可以在相同的搜索空间和FLOPs或延迟水平下获得更好的Top-1准确率，但只有超网训练成本的$\sim$ 60\%。通过在更大的空间上搜索，我们的GreedyNAS还可以获得新的最先进的架构。
2020-03-25 cs.CV cs.NE
CLOSE: Curriculum Learning On the Sharing Extent Towards Better One-shot NAS
Tsinghua University（清华大学）；Huawei（华为）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
One-shot Neural Architecture Search（NAS）由于其效率而被广泛用于发现架构。然而，先前的研究表明，架构的一次性性能估计可能与它们在独立训练中的性能没有很好的相关性，因为操作参数的过度共享（即，大的共享程度）之间的架构。因此，最近的方法构造更多的过参数化超网，以减少共享程度。但是这些改进的方法引入了大量的额外参数，从而导致训练成本和排名质量之间的不期望的权衡。为了缓解上述问题，我们提出了应用课程学习共享程度（CLOSE）的训练超网既高效和有效。具体来说，我们训练的超网与大的共享程度（一个较容易的课程）在开始和逐渐减少的超网的共享程度（一个较难的课程）。为了支持这种训练策略，我们设计了一种新的超网（CLOSENet），它从操作中提取参数，以实现灵活的共享方案和可调的共享程度。大量的实验表明，CLOSE可以获得更好的排名质量在不同的计算预算约束比其他一次超网，并能够发现优越的架构时，结合各种搜索策略。代码可在https://github.com/walkerning/aw_nas上获得。
2022-07-16 cs.CV
AlphaNet: Improved Training of Supernets with Alpha-Divergence
Facebook（脸书）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
权值共享神经结构搜索（NAS）是一种有效的神经结构设计自动化技术。权重共享NAS构建一个超网，将所有架构组装为子网，并与子网联合训练超网。权重共享NAS的成功在很大程度上依赖于将超网的知识提取到子网。然而，我们发现，广泛使用的蒸馏发散，即，KL发散可能导致学生子网络高估或低估教师超网的不确定性，从而导致子网络的较差性能。在这项工作中，我们建议用更广义的α发散来改进超网训练。通过自适应地选择α-散度，我们同时防止教师模型的不确定性的高估或低估。我们将所提出的基于α发散的超网训练应用于可瘦身的神经网络和权重共享NAS，并表现出显着的改进。具体来说，我们发现的模型家族AlphaNet在各种FLOP机制上都优于现有技术模型，包括BigNAS，Once-for-All网络和AttentiveNAS。我们实现了ImageNet top-1的80.0%准确率，仅用4.44亿FLOPs。我们的代码和预训练模型可以在https://github.com/facebookresearch/AlphaNet上找到。
2021-06-10 cs.AI cs.CV stat.ML
Neural Architecture Search as Sparse Supernet
KU Leuven（鲁汶大学）
本文旨在将神经结构搜索问题从单路径和多路径搜索扩展到自动混合路径搜索。特别是，我们建模的NAS问题作为一个稀疏的超网使用一个新的连续的体系结构表示与稀疏约束的混合物。稀疏超网使我们能够自动实现稀疏混合路径上的一个紧凑的节点集。为了优化建议的稀疏超网，我们采用了分层加速邻近梯度算法在一个双层优化框架。在卷积神经网络和递归神经网络上的大量实验表明，该方法能够搜索紧凑，通用和强大的神经结构。
2021-03-31 cs.CV stat.ML
Evolutionary Neural Cascade Search across Supernetworks
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Leiden University Medical Center（莱顿大学医学中心）；TU Delft（代尔夫特理工大学）
为了实现现代神经网络的卓越性能，拥有正确的网络架构非常重要。神经结构搜索（NAS）涉及自动发现特定于任务的网络结构。现代NAS方法利用超级网络，其子网络编码候选神经网络架构。这些子网可以同时训练，无需从头开始训练每个网络，从而提高NAS的效率。最近的一种称为神经架构转移（NAT）的方法通过使用多目标进化算法来寻找在ImageNet上预训练的超级网络的高质量子网络，进一步提高了NAS用于计算机视觉任务的效率。在NAT的基础上，我们引入了ENCAS -进化神经级联搜索。ENCAS可用于在多个预训练的超级网络上进行搜索，以实现不同神经网络架构级联的折衷前沿，从而最大限度地提高准确性，同时最大限度地减少FLOP计数。我们在常见的计算机视觉基准（CIFAR-10、CIFAR-100、ImageNet）上测试了ENCAS，并在高达1.5 GFLOP的情况下实现了对先前最先进NAS模型的帕累托优势。此外，将ENCAS应用于518个公开可用的ImageNet分类器的池中，导致所有计算机制中的帕累托优势，并将最大准确率从88.6%提高到89.0%，同时计算工作量从362 GFLOP降低18%到296 GFLOP。我们的代码可在https://github.com/AwesomeLemon/ENCAS上获得
2022-04-28 cs.CV cs.NE
BN-NAS: Neural Architecture Search with Batch Normalization
The University of Sydney（悉尼大学）；BAIDU USA LLC（百度美国有限责任公司）；University of Oxford（牛津大学）；SenseTime Group Limited（商汤科技集团）
提出了基于批量归一化的神经结构搜索算法（BN-NAS），以加速神经结构搜索（NAS）。BN-NAS可以显著减少NAS中模型训练和评估所需的时间。具体来说，为了快速评估，我们提出了一个基于BN的指标，用于在非常早期的训练阶段预测子网性能。基于BN的指标进一步便于我们通过在超网训练期间仅训练BN参数来提高训练效率。这是基于我们的观察，即训练整个超网是不必要的，而只训练BN参数加速了网络架构搜索的网络收敛。大量的实验表明，我们的方法可以显着缩短训练超网的时间超过10倍，缩短评估时间超过60万倍，而不损失准确性。
2021-08-16 cs.CV
SCARLET-NAS: Bridging the Gap between Stability and Scalability in Weight-sharing Neural Architecture Search
Xiaomi AI Lab（小米AI实验室）
发现强大而紧凑的模型是神经结构搜索的一个重要目标。以前的两阶段单次方法受到具有固定深度的搜索空间的限制。在搜索空间中包含一个额外的跳过连接以使深度可变似乎很方便。然而，它在超网训练过程中产生了大范围的扰动，并且很难为子网络提供可靠的排名。在本文中，我们发现跳过连接带来了显着的功能不一致性相比，其他操作，这可能会降低超网的性能。基于这一观察，我们通过施加一个等变的可学习稳定器来均匀化这种差异来解决这个问题。实验表明，我们提出的稳定器有助于提高超网的收敛性以及排名性能。通过将稳定的超网作为评估器的进化搜索后端，我们得到了一系列最先进的架构，几个深度的SCARLET系列，特别是SCARLET-A在ImageNet上获得了76.9%的top-1准确率。代码可在https://github.com/xiaomi-automl/ScarletNAS上获得。
2021-08-14 cs.CV cs.LG stat.ML
Efficient Few-Shot Neural Architecture Search by Counting the Number of Nonlinear Functions
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
提出一种基于非线性函数数量划分搜索空间的高效少样本NAS方法，通过减少通道维度和超网平衡采样技术，在标准基准上实现了高效且有效的架构搜索。
2024-12-19 cs.CV
Prior-Guided One-shot Neural Architecture Search
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）；Fujian Normal University（福建师范大学）；Jimei University（集美大学）
神经架构搜索方法通过有效的权重共享超网训练来寻找最佳候选者。然而，最近的研究表明，独立架构和共享权重网络之间的性能排名一致性较差。在本文中，我们提出了先验引导的单次NAS（PGONAS），以加强超网的排名相关性。具体来说，我们首先探讨了激活函数的影响，并提出了一个平衡的抽样策略的基础上三明治规则，以减轻重量耦合的超网。然后，采用FLOPs和Zen-Score来指导具有排序相关损失的超网的训练。我们的PGONAS在CVPR 2022第二届轻量级NAS挑战赛的超网赛道中排名第三。代码可在https://github.com/pprp/CVPR2022-NAS?上获得竞争第一道第三道解决方案。
2022-06-27 cs.CV
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）；Oracle Health and AI（甲骨文健康与人工智能部门）
本文提出SuperTickets，通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络，无需重训练即可实现更优的准确率与效率权衡，并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
Improving Differentiable Architecture Search via Self-Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对DARTS中超网络收敛至尖锐最小值导致性能差距的问题，提出SD-DARTS，利用自蒸馏和投票教师机制降低损失尖锐度，弥合离散化差距，实验验证优于现有方法。
2023-09-01 cs.AI cs.CV cs.LG
Subnet-Aware Dynamic Supernet Training for Neural Architecture Search
Yonsei University（延世大学）；Articron Inc.（阿蒂克朗公司）；Samsung Research（三星研究院）；Samsung Advanced Institute of Technology（三星先进技术研究院）；Chung-Ang University（中央大学）
针对 N-shot NAS 中超网静态训练导致的不公平与噪声动量问题，提出按子网络复杂度自适应调整学习率并分组分离动量的动态训练方法，以低边际成本显著提升搜索性能。
2025-03-13 cs.CV
Few-shot Neural Architecture Search
Worcester Polytechnic Institute（伍斯特理工学院）；Brown University（布朗大学）；Facebook AI Research（脸书人工智能研究院）
本文提出少样本NAS，通过多个覆盖搜索空间不同区域的子超级网络缓解单样本NAS中的协同适应问题，以少量评估成本提升架构评估准确性，并在ImageNet、CIFAR10、Auto-GAN及多个基准上取得新的最优结果。
2021-08-02 cs.LG cs.NE
Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach
Shanghai Jiao Tong University（上海交通大学）
针对两阶段NAS局部保序性不足问题，提出超网转移策略，将架构搜索与超网微调结合，提升保序性并实现跨数据集迁移。
2024-03-18 cs.CV
Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
在本文中，我们提出了一种基于Shapley值的方法来评估操作的贡献（Shapley-NAS）的神经结构搜索。可微结构搜索（DARTS）通过梯度下降优化结构参数来获得最优结构，从而大大降低了搜索代价。然而，通过梯度下降更新的架构参数的大小未能揭示实际操作对任务性能的重要性，因此损害了所获得的架构的有效性。相比之下，我们建议评估操作对验证准确性的直接影响。为了处理超网组件之间的复杂关系，我们利用Shapley值来量化它们的边际贡献，考虑所有可能的组合。具体而言，我们迭代优化超网权重，并通过Shapley值评估操作贡献来更新架构参数，从而通过选择对任务有显著贡献的操作来获得最佳架构。由于Shapley值的精确计算是NP-难的，采用基于Monte-Carlo采样的提前截断算法进行有效逼近，并采用动量更新机制来减小采样过程中的波动。在各种数据集和各种搜索空间上的大量实验表明，我们的Shapley-NAS比最先进的方法有相当大的优势，搜索成本低。代码可在www.example.com上获得
2022-06-20 cs.CV cs.LG
NASRec: Weight Sharing Neural Architecture Search for Recommender Systems
Duke University（杜克大学）；Meta AI；University of Houston（休斯顿大学）
NASRec提出基于权重共享超网的神经架构搜索范式，通过单算子任意连接采样、算子平衡交互模块和训练后微调解决推荐系统多模态与架构异构挑战，在CTR预测基准上超越人工设计和现有NAS方法。
2023-02-12 cs.IR cs.LG
Neural Architecture Search of SPD Manifold Networks
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文提出了一种新的对称正定流形网络的神经结构搜索问题，旨在实现SPD神经结构的自动化设计。为了解决这个问题，我们首先介绍了一个几何丰富和多样的SPD神经架构搜索空间的有效SPD单元设计。此外，我们用单个超网的一次性训练过程来建模我们的新NAS问题。基于超网模型，我们利用可微NAS算法在我们的放松连续搜索空间的SPD神经结构搜索。我们的方法对无人机，动作和情感识别任务的统计评估大多提供了比最先进的SPD网络和传统NAS算法更好的结果。实证结果表明，我们的算法在发现性能更好的SPD网络设计方面表现出色，并提供了比最先进的NAS算法搜索轻三倍以上的模型。
2021-06-13 cs.CV cs.LG cs.NE
ElasticViT: Conflict-aware Supernet Training for Deploying Fast Vision Transformer on Diverse Mobile Devices
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
神经结构搜索（NAS）在超过1G FLOP的视觉Transformer（ViT）的自动设计中表现出了很好的性能。然而，为各种移动设备设计轻量级和低延迟的ViT模型仍然是一个巨大的挑战。在这项工作中，我们提出了ElasticViT，一个两阶段的NAS方法，训练一个高质量的ViT超网在一个非常大的搜索空间，支持广泛的移动设备，然后搜索一个最佳的子网络（子网）直接部署。然而，依赖于均匀采样的现有超网训练方法受到梯度冲突问题的困扰：采样后的超网可以具有非常不同的模型大小（例如，50 M与2G FLOPs），导致不同的优化方向和较差的性能。为了解决这个问题，我们提出了两种新的采样技术：复杂性感知采样和性能感知采样。复杂度感知的采样限制了跨相邻训练步骤采样的样本之间的FLOP差异，同时覆盖搜索空间中不同大小的样本。性能感知采样进一步选择具有良好准确性的样本，这可以减少梯度冲突并提高超网质量。我们发现的模型，ElasticViT模型，在ImageNet上从60 M到8亿FLOP实现了67.2%到80.0%的顶级准确率，而无需额外的再训练，在准确性和延迟方面优于所有之前的CNN和ViT。我们的微型和小型模型也是第一批超越最先进CNN的ViT模型，并且在移动设备上的延迟显着降低。例如，ElasticViT-S1的运行速度比EfficientNet-B 0快2.62倍，精度高0.1%。
2023-03-21 cs.CV
NAS-LID: Efficient Neural Architecture Search with Local Intrinsic Dimension
Hong Kong Baptist University（香港浸会大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；NVIDIA AI Tech Center（英伟达人工智能技术中心）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Mahindra University（马恒达大学）；Coventry University（考文垂大学）
单次神经架构搜索（NAS）通过训练一个超网来估计每个可能的子架构的性能（即，子网）。然而，由于各子系统之间的特性不一致，对优化产生严重干扰，导致子系统性能排序相关性差。随后的探索通过特定的标准分解超网权重，例如，梯度匹配，以减少干扰，但他们遭受巨大的计算成本和低空间可分性。在这项工作中，我们提出了一个轻量级的和有效的本地固有维（LID）为基础的方法NAS-LID。NAS-LID通过逐层计算低成本的LID特征来评估架构的几何属性，LID表征的相似性与梯度相比具有更好的可分性，从而有效降低了子网之间的干扰。在NASBench-201上的大量实验表明，NAS-LID具有更好的效率和更好的性能。具体而言，与梯度驱动方法相比，NAS-LID在NASBench-201上搜索时可以节省高达86%的GPU内存开销。我们还证明了NAS-LID对ProxylessNAS和OFA空间的有效性。源代码：https://github.com/marsggbo/NAS-LID。
2022-11-24 cs.AI cs.CV cs.LG
Neural Architecture Search with Random Labels
MEGVII Technology（旷视科技）
在本文中，我们研究了一种新的变体的神经结构搜索（NAS）范式-搜索与随机标签（RLNAS）。对于大多数现有的NAS算法来说，该任务听起来是违反直觉的，因为随机标签提供了关于每个候选架构的性能的很少信息。相反，我们提出了一种新的NAS框架的基础上易于收敛的假设，它只需要随机标签搜索。该算法包括两个步骤：第一，我们训练一个超网使用随机标签;第二，从超网我们提取的子网络的权重变化最显着的训练过程中。在多个数据集（例如NAS-Bench-201和ImageNet）和多个搜索空间（例如DARTS和MobileNet）上评估了大量实验。非常令人惊讶的是，RLNAS与最先进的NAS方法（如PC-DARTS，Single Path One-Shot）相比，实现了相当甚至更好的结果，即使同行使用完整的地面真值标签进行搜索。我们希望我们的发现能启发人们对NAS本质的新认识。
2021-05-25 cs.CV
SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape
Northeastern University（东北大学）；Meta AI
本文提出“次单样本”NAS范式及SiGeo代理，通过少量数据预热超网络，结合零样本与单样本NAS优势，在降低约60%计算成本的同时实现优于现有NAS代理的性能。
2023-11-22 cs.AI cs.LG
LLM-NAS: LLM-driven Hardware-Aware Neural Architecture Search
Stevens Institute of Technology（史蒂文斯理工学院）；Technical University of Darmstadt（达姆施塔特技术大学）
LLM-NAS通过引入复杂度驱动的分区引擎、架构提示共进化操作符和零成本预测器，实现高精度低延迟的神经架构搜索，显著降低搜索成本。
2025-12-04 cs.LG
BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels
Ping An Technology（平安科技）
One-Shot方法由于超网的权重共享和单次训练而发展成为神经结构搜索（NAS）中最流行的方法之一。然而，现有的方法通常遭受两个问题：预定数量的通道，在每一层，这是次优的;和模型平均效应和差的排名相关性所造成的权重耦合和不断扩大的搜索空间。为了明确地解决这些问题，在本文中，提出了一个扩大和缩小的单次NAS（BS-NAS）的框架，其中“扩大”是指扩大搜索空间与弹簧块，使搜索通道的数量在训练过程中的超网，而“缩小”是指一种新的收缩策略逐渐关闭那些表现不佳的操作。上述创新扩大了搜索空间以获得更广泛的表示，然后通过逐渐去除表现不佳的操作来缩小搜索空间，然后使用进化算法来有效地搜索最佳架构。在ImageNet上的大量实验表明了所提出的BS-NAS的有效性以及最先进的性能。
2020-03-22 cs.LG stat.ML
Across-Task Neural Architecture Search via Meta Learning
Zhejiang University of Technology（浙江工业大学）
充足的标记数据和昂贵的计算资源是神经结构搜索成功的前提。在计算资源和数据有限的元学习场景中应用NAS具有挑战性。在本文中，跨任务的神经架构搜索（AT-NAS）提出了解决这个问题，通过结合基于梯度的元学习和EA的NAS学习的任务分布。超网通过元学习其权重来学习整个任务集。从超网中采样的结构编码迭代地适应进化算法，同时搜索一个任务敏感的元网络。搜索元网络可以通过几个学习步骤来适应新的任务，并且只需要很少的搜索时间。实验结果表明，AT-NAS在Few-Shot分类精度上优于相关方法。AT-NAS在分类基准测试中的性能与从头开始搜索的模型相当，通过在不到一个小时的时间内从5-GPU-天的预训练元网络中调整架构。
2021-10-12 cs.LG
Mixed-precision Supernet Training from Vision Foundation Models using Low Rank Adapter
Sony Group Corporation（索尼集团公司）
本文研究将视觉基础模型微调为混合精度量化超网，通过低秩适配器和渐进式训练降低内存开销，并在Segment Anything Model上实现约95%的BitOPs降低且无性能损失。
2024-03-29 cs.CV
Angle-based Search Space Shrinking for Neural Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；MEGVII Technology（旷视科技）
在这项工作中，我们提出了一个简单和通用的搜索空间收缩方法，称为基于角度的搜索空间收缩（ABS），神经结构搜索（NAS）。我们的方法逐步简化了原来的搜索空间通过放弃没有前途的候选人，从而可以减少现有的NAS方法找到更好的架构的难度。特别是，我们提出了一个基于角度的度量来指导收缩过程。我们提供了全面的证据表明，在权重共享超网中，所提出的度量比基于精度和基于幅度的度量更稳定和准确地预测子模型的能力。我们还表明，基于角度的度量可以快速收敛，而训练超网，使我们能够得到有前途的收缩搜索空间有效。ABS可以很容易地应用于大多数NAS方法（例如SPOS，FairNAS，ProxylessNAS，DARTS和PDARTS）。综合实验表明，ABS可以显着提高现有的NAS方法提供了一个有前途的缩小搜索空间。
2020-07-16 cs.CV cs.LG cs.NE
S3NAS: Fast NPU-aware Neural Architecture Search Methodology
Seoul National University（首尔大学）
随着卷积神经网络（CNN）在嵌入式设备中的应用领域不断增长，使用称为神经处理单元（NPU）的硬件CNN加速器来实现比CPU或GPU更高的性能功耗比变得流行。最近，自动神经架构搜索（NAS）作为默认技术出现，以找到比手动设计的图像分类架构具有更高精度的最先进的CNN架构。在本文中，我们提出了一种快速的NPU感知的NAS方法，称为S3 NAS，找到一个CNN架构具有更高的准确性比现有的在给定的延迟约束。它由三个步骤组成：超网设计，用于快速架构探索的单路径NAS和扩展。为了拓宽由阶段组成的超网结构的搜索空间，我们允许阶段具有不同数量的块，并且允许块具有不同内核大小的并行层。为了快速的神经结构搜索，我们采用了修改后的单路径NAS技术建议的超网结构。在这一步中，我们假设一个比减少搜索空间和搜索时间所需的更短的延迟约束。最后一步是在延迟约束内最大限度地扩展网络。为了准确的延迟估计，设计了一个分析延迟估计器，基于周期级NPU模拟器，该模拟器运行整个CNN，准确地考虑存储器访问开销。使用所提出的方法，我们能够使用TPUv 3在3小时内找到一个网络，在ImageNet上显示出82.72%的top-1准确率，延迟为11.66 ms。代码发布于https://github.com/cap-lab/S3NAS
2020-09-04 cs.CV cs.LG stat.ML
K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
在NAS的一次性权重共享中，每个操作（在每一层）的权重对于超网中的所有架构（路径）都应该是相同的。然而，这排除了调整操作权重以满足不同路径的可能性，这限制了评估结果的可靠性。在本文中，而不是指望一个单一的超网，我们介绍了$K$拍摄超网，并采取他们的权重为每个操作作为一个字典。每个路径的操作权重被表示为字典中的项与单纯形码的凸组合。这使得能够实现具有较高秩的独立权重矩阵（$K>1$）的矩阵近似。引入一个\textit{simplex-net}为每条路径生成架构自定义代码，使得所有路径都能自适应地学习如何在$K$ -shot超网中共享权值，并获得相应的权值，从而更好地进行评估. $K$ -shot超网和单纯形网可以迭代训练，我们进一步扩展搜索到通道维。在基准数据集上进行的大量实验表明，K-shot NAS显著提高了路径评估的准确性，从而带来了令人印象深刻的性能提升。
2021-06-11 cs.CV cs.LG
Efficient Novelty-Driven Neural Architecture Search
Beijing Institute of Technology（北京理工大学）；University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）
One-Shot神经网络结构搜索（NAS）由于能够通过权值共享减少计算时间而受到广泛关注。然而，对最近几项工作的大量实验表明，从超网继承权重的验证准确率与One-Shot NAS重新训练后的测试准确率之间没有正相关性。与设计控制器以找到具有继承权重的最佳性能架构不同，本文关注如何对架构进行采样以训练超网，使其更具预测性。该算法采用单路径超网结构，每一步只优化一小部分权值，大大减少了对内存的需求。此外，我们放弃了设计复杂的基于奖励的结构采样控制器，并采样结构训练基于新颖性搜索的超网。本文提出了一种新的基于新颖性搜索的结构抽样方法，并通过大量的实验验证了该方法的有效性。在相同的搜索空间下，我们的算法获得的最佳架构在CIFAR-10上的测试出错率为2.51%，在单个GPU上的搜索时间仅为7.5小时，在PTB上的验证复杂度为60.02，测试复杂度为57.36。我们还将这些搜索单元结构分别转移到更大的数据集ImageNet和WikiText-2。
2019-07-22 cs.LG cs.NE stat.ML
BatchQuant: Quantized-for-all Architecture Search with Robust Quantizer
Apple（苹果公司）
随着深度学习模型在边缘设备上的应用加速增长，快速适应具有不同资源约束的各种场景已成为模型部署的关键方面。因此，具有自适应配置的模型优化策略变得越来越流行。虽然单次量化神经架构搜索在模型架构和量化策略方面都具有灵活性，但组合搜索空间带来了许多挑战，包括训练权重共享超网时的不稳定性以及难以导航指数增长的搜索空间。现有的方法倾向于将架构搜索空间限制为一小组选项，或者将量化策略搜索空间限制为固定精度策略。为此，我们提出了BatchQuant，这是一种强大的量化器配方，可以快速稳定地训练紧凑，单次，混合精度，权重共享的超网。我们采用BatchQuant来训练一个紧凑的超网（提供超过$10^{76}$量化的超网），比以前的方法在更少的GPU时间。我们的方法，量化的所有（QFA），是第一个无缝扩展一杆权重共享NAS超网，以支持任意超低位宽混合精度量化策略的重复训练。QFA为联合硬件感知神经架构搜索和量化开辟了新的可能性。我们证明了我们的方法在ImageNet上的有效性，并在低复杂度约束（$<20$ MFLOPs）下实现了SOTA Top-1的准确性。代码和模型将在https://github.com/bhpfelix/QFA上公开提供。
2021-05-19 cs.CV cs.LG
FOX-NAS: Fast, On-device and Explainable Neural Architecture Search
National Yang Ming Chiao Tung University（国立阳明交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经结构搜索可以发现性能良好的神经网络，One-Shot方法是目前流行的方法。One-Shot方法通常需要一个具有权重共享和预测架构性能的预测器的超网。然而，以前的方法需要花费大量的时间来生成性能预测器，因此效率低下。为此，我们提出了FOX-NAS，它包括基于模拟退火和多元回归的快速和可解释的预测。我们的方法是量化友好的，可以有效地部署到边缘。在不同硬件上的实验表明，FOX-NAS模型的性能优于其他一些流行的神经网络结构。例如，FOX-NAS与MobileNetV 2和EfficientNet-Lite 0的准确性相匹配，边缘CPU上的延迟分别减少了240%和40%。FOX-NAS是2020年低功耗计算机视觉挑战赛（LPCVC）DSP分类赛道的第三名。查看所有评估结果https://lpcv.ai/competitions/2020。搜索代码和预训练模型在https://github.com/great8nctu/FOX-NAS上发布。
2021-08-14 cs.CV cs.LG
LESS: Lightweight Evolutionary Supernet Search in Minutes
The University of Tokyo（东京大学）；Sakana AI（Sakana人工智能）；Waseda University（早稻田大学）
LESS提出一种轻量级进化超网络搜索方法，结合公平硬路径预热与CMA-ES离散搜索，在几分钟内实现高精度架构搜索，显著降低计算成本并保持竞争力。
2026-10-02 cs.LG cs.NE
The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol
University of Warsaw（华沙大学）
针对可微神经架构搜索中的离散化误差问题，提出单阶段搜索协议，不依赖解码连续架构，在Cityscapes上达75.3%准确率，性能优于DCNAS，且仅需5.5GPU天，并提出新数据集划分程序防止架构退化。
2024-05-26 cs.AI cs.CV cs.LG
Searching for Network Width with Bilaterally Coupled Network
The University of Sydney（悉尼大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；SenseTime Research Centre（商汤科技研究中心）；Tsinghua University（清华大学）
寻找更紧凑的网络宽度最近作为一种有效的方式来修剪部署的卷积神经网络（CNN）的硬件约束下的通道。为了实现搜索，通常利用一次超网来有效地评估性能\wrt ~不同的网络宽度。然而，目前的方法主要遵循\textit{unilaterally augmented}（UA）原则来评估每个宽度，这导致了超网中信道的训练不公平性。在本文中，我们介绍了一个新的超网称为双边耦合网络（BCNet）来解决这个问题。在BCNet中，每个通道都经过公平的训练，并负责相同数量的网络宽度，因此可以更准确地评估每个网络宽度。此外，我们建议减少冗余的搜索空间，并提出BCNetV 2作为增强的超网，以确保严格的训练公平性的通道。此外，我们利用一个随机的互补策略来训练BCNet，并提出了一个先验的初始种群抽样方法，以提高进化搜索的性能。为了更好地比较宽度搜索算法，我们还提出了第一个关于宏结构的开源宽度基准测试，名为Questel-Bench-Macro。在基准CIFAR-10和ImageNet数据集上进行的大量实验表明，我们的方法可以实现最先进的性能或与其他基线方法竞争的性能。此外，我们的方法通过改进网络宽度来进一步提高NAS模型的性能。例如，在相同的FLOP预算下，我们获得的EfficientNet-B 0在ImageNet数据集上达到了77.53%的Top-1准确率，超过了原始设置的0.65%。
2022-03-25 cs.CV cs.LG
DimGrow: Memory-Efficient Field-level Embedding Dimension Search
Bilibili Inc.（哔哩哔哩公司）
针对推荐系统特征字段嵌入维度需自动化分配且现有SuperNet类方法内存开销大的问题，提出轻量级方法DimGrow，通过重要性评分动态调整维度，在三个推荐数据集上验证了有效性且降低了训练内存。
2026-09-30 cs.LG
IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance
Xi’an Jiaotong University（西安交通大学）
IS-DARTS通过信息测量精确评估候选重要性，并优化子网络目标，解决了DARTS的性能崩溃问题，提升了搜索鲁棒性。
2023-12-19 cs.CV cs.LG
FLORA: Fine-grained Low-Rank Architecture Search for Vision Transformer
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
针对视觉Transformer计算量大难以部署的问题，提出基于NAS的低秩架构搜索框架FLORA，通过低秩感知过滤、权重继承与感知采样实现细粒度秩配置，大幅降低FLOPs且性能损失极小，还可与其他压缩方法结合进一步增效。
2023-11-07 cs.CV cs.LG
Farthest Greedy Path Sampling for Two-shot Recommender Search
Tsinghua University（清华大学）；Duke University（杜克大学）；Meta AI；University of Houston（休斯顿大学）
本文提出最远贪心路径采样FGPS，通过平衡路径质量与多样性改进权重共享NAS，并结合两阶段NAS框架在三个CTR预测基准上取得优于人工设计和多数NAS模型的性能。
2023-10-31 cs.IR cs.LG
MedNNS: Supernet-based Medical Task-Adaptive Neural Network Search
Mohammed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对医学任务中模型架构选择和权重初始化难题，提出MedNNS框架，通过超网络构建元空间联合优化，扩大模型库51倍，引入排名损失和FID损失，平均准确率提升1.7%且收敛更快。
2025-04-23 cs.AI cs.CV cs.LG
Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search
University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）；East China University of Science and Technology（华东理工大学）；Bielefeld University（比勒费尔德大学）
由于有限的计算成本和能量消耗，大多数部署在移动设备中的神经网络模型都很小。然而，微小的神经网络通常非常容易受到攻击。目前的研究已经证明，较大的模型规模可以提高鲁棒性，但对如何提高微小型神经网络的鲁棒性的研究还不多。我们的工作集中在如何提高小型神经网络的鲁棒性，而不严重恶化的清洁精度下移动级资源。为此，我们提出了一个多目标oneshot网络架构搜索（NAS）算法，以获得最佳的权衡网络的对抗精度，清洁精度和模型大小。具体来说，我们设计了一个新的搜索空间的基础上新的小块和通道，以平衡模型的大小和对抗性能。此外，由于超网显着影响的性能，在我们的NAS算法中，我们揭示了超网如何帮助获得最佳的子网下白盒对抗攻击的见解。具体来说，我们通过分析对抗性的可移植性，超网的宽度以及从头开始训练和微调之间的差异，探索了一种新的对抗性训练范式。最后，我们对第一个非支配前沿上的某些块和通道的分层组合进行了统计分析，这可以作为设计微小神经网络架构以抵抗对抗性扰动的指导。
2022-01-09 cs.AI cs.CR cs.CV
MO-EMT-NAS: Multi-Objective Continuous Transfer of Architectural Knowledge Between Tasks from Different Datasets
East China University of Science and Technology（华东理工大学）；Westlake University（西湖大学）；University of Surrey（萨里大学）
提出MO-EMT-NAS框架，实现不同数据集任务间架构知识迁移，通过辅助目标缓解小模型陷阱，并行化加速，在多数据集上取得更优分类误差和灵活权衡，运行时间减少59.7%-77.7%。
2024-07-18 cs.AI cs.LG
Towards Efficient Few-shot Graph Neural Architecture Search via Partitioning Gradient Contribution
College of Software, Jilin University（吉林大学软件学院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（教育部符号计算与知识工程重点实验室，吉林大学）；School of Computer Science, Zhuhai College of Science and Technology（珠海科技学院计算机科学学院）；College of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系）
针对少样本图神经架构搜索中的权重耦合问题，提出基于梯度贡献划分的GC方法及统一搜索框架UGAS，高效探索MPNN与GT组合，实现SOTA性能。
2025-06-20 cs.AI cs.LG
PA&DA: Jointly Sampling PAth and DAta for Consistent NAS
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Kuaishou Technology（快手科技）
基于权值共享机制，one-shot NAS方法训练一个超网，然后继承预先训练好的权值来评估子模型，大大降低了搜索成本。然而，一些工作已经指出，共享权重在训练期间遭受不同的梯度下降方向。我们进一步发现，在超网训练过程中会出现较大的梯度方差，从而降低了超网的排序一致性。为了缓解这个问题，我们建议通过联合优化PATh和DAta（PA&DA）的采样分布来显式地最小化超网训练的梯度方差。从理论上推导了梯度方差与采样分布之间的关系，揭示了最优采样概率与路径和训练数据的归一化梯度范数成正比。因此，我们使用归一化梯度范数作为路径和训练数据的重要性指标，并采用重要性采样策略进行超网训练。我们的方法只需要微不足道的计算成本优化路径和数据的采样分布，但实现了更低的梯度方差在超网训练和更好的泛化性能的超网，从而导致更一致的NAS。在不同的搜索空间中，我们与其他改进方法进行了全面的比较。实验结果表明，该方法具有更可靠的排序性能和更高的搜索精度，显示了该方法的有效性。代码可在https://github.com/ShunLu91/PA-DA上获得。
2023-02-28 cs.CV cs.LG
CARS: Continuous Evolution for Efficient Neural Architecture Search
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peng Cheng Laboratory（鹏城实验室）；University of Sydney（悉尼大学）
现有的神经网络结构搜索算法中，由于效率的原因，搜索技术主要采用可微方法。相反，我们开发了一个有效的连续进化方法来搜索神经网络。在最新一代的一个SuperNet中共享参数的群体中的架构将在训练数据集上进行调整。在下一代进化中的搜索将直接继承SuperNet和种群，这加速了最优网络的生成。进一步应用非支配排序策略，仅保留Pareto前沿的结果，以准确地更新SuperNet。经过仅0.4 GPU天的连续搜索，将产生几个具有不同模型大小和性能的神经网络。因此，我们的框架提供了一系列的网络，参数的数量从3.7M到5.1M移动设置下。这些网络超过了在基准ImageNet数据集上使用最先进的方法生成的网络。
2020-03-09 cs.CV
Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经架构搜索（NAS）已经被爆炸性地研究，以自动发现性能最好的神经网络。目前的工作需要大量的超网训练或密集的架构评估，从而遭受沉重的资源消耗，并经常招致搜索偏见，由于截断训练或近似。我们能在不进行任何训练的情况下选择最好的神经架构，并消除搜索成本的一大部分吗？我们提供了一个肯定的答案，提出了一个新的框架，称为训练免费神经架构搜索（TE-NAS）。TE-NAS通过分析神经切线核（NTK）的频谱和输入空间中线性区域的数量来对架构进行排名。两者都是由深度网络的最新理论进展推动的，并且可以在没有任何训练和任何标签的情况下进行计算。我们证明：（1）这两个测量值意味着神经网络的可训练性和表达性;（2）它们与网络的测试准确性密切相关。此外，我们设计了一个基于修剪的NAS机制，以实现更灵活和更优越的可训练性和表达性之间的权衡在搜索过程中。在NAS-Bench-201和DARTS搜索空间中，TE-NAS在CIFAR-10和ImageNet上分别使用一个1080 Ti完成高质量搜索，但仅需0.5和4 GPU小时。我们希望我们的工作能够激发更多的尝试，将深度网络的理论发现与实际NAS应用中的实际影响联系起来。代码可在：https://github.com/VITA-Group/TENAS.
2021-03-16 cs.CV cs.LG
NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Microsoft Research Asia（微软亚洲研究院）
虽然预先训练的语言模型（例如，BERT）在不同的自然语言处理任务上取得了令人印象深刻的结果，它们具有大量的参数并且遭受大的计算和存储成本，这使得它们难以在现实世界中部署。因此，模型压缩对于减少预训练模型的计算和存储成本是必要的。在这项工作中，我们的目标是压缩BERT，并解决以下两个具有挑战性的实际问题：（1）压缩算法应该能够输出多个压缩模型具有不同的大小和延迟，以支持不同的内存和延迟限制的设备;（2）该算法应该是下游任务不可知的，使压缩模型一般适用于不同的下游任务。我们利用神经结构搜索（NAS）的技术，并提出NAS-BERT，一种有效的方法BERT压缩。NAS-BERT在包含各种架构的搜索空间上训练一个大的超网，并输出具有自适应大小和延迟的多个压缩模型。此外，NAS-BERT的训练是在标准的自我监督预训练任务（例如，掩蔽的语言模型）并且不依赖于特定的下游任务。因此，压缩模型可以跨各种下游任务使用。NAS-BERT的技术挑战在于，在预训练任务上训练一个大型超网的成本非常高。我们采用了几种技术，包括分块搜索，搜索空间修剪，和性能近似，以提高搜索效率和准确性。在GLUE和SQuAD基准数据集上的大量实验表明，NAS-BERT可以找到比以前方法更准确的轻量级模型，并且可以直接应用于不同的下游任务，具有自适应的模型大小，以满足不同的内存或延迟要求。
2021-05-30 cs.AI cs.CL cs.LG
Neural Architecture Transfer
Southern University of Science and Technology（南方科技大学）；Michigan State University（密歇根州立大学）
神经结构搜索（NAS）已成为自动设计特定任务的神经网络的一个有前途的途径。现有的NAS方法需要对硬件或目标的每个部署规范进行一次完整的搜索。考虑到潜在的大量应用场景，这在计算上是不切实际的努力。在本文中，我们提出了神经架构转移（NAT）来克服这一限制。NAT旨在高效地生成特定于任务的自定义模型，这些模型在多个相互冲突的目标下具有竞争力。为了实现这一目标，我们学习特定于任务的超网，从这些超网中可以对专门的超网进行采样，而无需任何额外的训练。我们的方法的关键是一个集成的在线迁移学习和多目标进化搜索过程。一个预先训练好的超网被迭代地适应，同时搜索特定于任务的超网。我们证明了NAT的功效11个基准图像分类任务，从大规模的多类到小规模的细粒度数据集。在所有情况下，包括ImageNet，NATNet在移动设置（$\leq$ 600 M Multiple-Adds）下都是最先进的。令人惊讶的是，小规模的细粒度数据集受益于NAT。同时，架构搜索和传输是数量级更有效的比现有的NAS方法。总的来说，实验评估表明，在不同的图像分类任务和计算目标，NAT是一个明显更有效的替代传统的迁移学习微调权值的现有网络架构上学习的标准数据集。代码可在https://github.com/human-analysis/neural-architecture-transfer上获得
2021-03-22 cs.CV cs.LG cs.NE
FMAS: Fast Multi-Objective SuperNet Architecture Search for Semantic Segmentation
McGill University（麦吉尔大学）
我们提出了FMAS，一个快速的多目标神经架构搜索框架的语义分割。FMAS对DeepLabV3+的结构和预训练参数进行子采样，无需微调，大大减少了搜索过程中的训练时间。为了进一步减少候选评估时间，我们在搜索过程中使用验证数据集的子集。只有最终的Pareto非支配候选者最终使用完整的训练集进行微调。我们通过在PASCAL VOC 2012数据集上搜索有效地权衡准确性和计算成本的模型来评估FMAS。FMAS可以快速找到有竞争力的设计，例如，仅用0.5 GPU天就能发现一个DeepLabV3+变体，它将FLOP和参数分别减少了10 $\%$和20 $\%$，误差增加不到3 $\%$。我们还搜索了一个名为GAP 8的边缘设备，并使用其延迟作为度量标准。FMAS能够发现2.2 $\times$更快的网络，同时丢失7.61 $\%$ MIoU。
2023-03-28 cs.AI cs.CV
RAM-NAS: Resource-aware Multiobjective Neural Architecture Search Method for Robot Vision Tasks
State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人系统国家重点实验室、哈尔滨工业大学）
提出RAM-NAS，一种资源感知多目标神经架构搜索方法，通过子网互蒸馏和延迟代理预测器，在ImageNet上达到76.7%-81.4%准确率，并降低机器人边缘硬件推理延迟。
2025-09-25 cs.CV cs.RO
Divide-and-Conquer the NAS puzzle in Resource Constrained Federated Learning Systems
Yale University（耶鲁大学）
提出DC-NAS分而治之方法，通过多样化采样和通道剪枝在联邦系统中高效进行神经架构搜索，以50%资源实现接近全规模NAS的精度。
2023-05-11 cs.AI cs.CV cs.LG
