DropNAS: Grouped Operation Dropout for Differentiable Architecture Search
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经架构搜索（NAS）在自动化架构设计方面取得了令人鼓舞的成果。最近，DARTS通过一种可微分的公式来放松搜索过程，该公式利用权重共享和SGD，其中所有候选操作都同时训练。我们的实验结果表明，这样的过程中的协同适应问题和马太效应的结果：具有较少的参数的操作将被提前训练。这导致两个问题：首先，具有更多参数的操作可能永远没有机会表达期望的功能，因为那些具有较少参数的操作已经完成了工作; 2其次，系统将通过降低其结构参数来惩罚那些表现不佳的操作，并且它们将获得较小的损失梯度，这导致马太效应。本文系统地研究了这些问题，并提出了一种新的分组操作丢弃算法DropNAS来解决DARTS中存在的问题。大量的实验表明，DropNAS解决了上述问题，并取得了良好的性能。具体来说，DropNAS在CIFAR-10上实现了2.26%的测试误差，在CIFAR-100上实现了16.39%的测试误差，在ImageNet上实现了23.4%的测试误差（为了公平比较，使用与DARTS相同的训练超参数）。还观察到，DropNAS在DARTS搜索空间的变体中是鲁棒的。代码可在www.example.com上获得。
2022-01-27 cs.CV cs.LG
EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition
China University of Mining and Technology（中国矿业大学）
针对眼动识别中深度学习架构依赖人工设计、传统DARTS存在架构多样性受限与搜评深度差异的问题，提出分层可微架构搜索算法EM-DARTS，通过全局-局部交替搜索与转移熵剪枝实现自动架构设计，在三个公开数据集上取得当前最优识别性能。
2025-01-13 cs.CV
Understanding and Robustifying Differentiable Architecture Search
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
微分结构搜索（DARTS）由于其简单性和小的搜索成本而引起了人们的广泛关注，该搜索成本是通过连续松弛和对所产生的双层优化问题的近似来实现的。然而，DARTS并不强大的新问题：我们确定了广泛的搜索空间DARTS产生退化的架构，测试性能非常差。我们研究了这种故障模式，并表明，虽然DARTS成功地最大限度地减少了验证损失，发现的解决方案概括较差，当它们符合高验证损失曲率的架构空间。我们表明，通过添加各种类型的正则化，我们可以robustify DARTS找到更小的曲率和更好的泛化性能的解决方案。基于这些观察结果，我们提出了几个简单的DARTS的变化，在实践中表现得更加稳健。我们的观察结果在三个图像分类任务的五个搜索空间中是鲁棒的，并且也适用于差异估计（密集回归任务）和语言建模的非常不同的领域。
2020-01-28 cs.AI cs.CV cs.LG
Stabilizing Differentiable Architecture Search via Perturbation-based Regularization
UCLA（加州大学洛杉矶分校）
可区分的体系结构搜索（DARTS）是用于识别体系结构的流行NAS解决方案。基于对体系结构空间的不断松弛，DARTS学习可微的体系结构权重，大大降低了搜索成本。然而，随着搜索的进行，它的稳定性受到了挑战，因为它产生了不断恶化的体系结构。我们发现，陡峭的验证损失景观，这导致了一个戏剧性的性能下降时，蒸馏的最终架构，是一个重要的因素，导致不稳定。基于这一观察，我们提出了一种基于扰动的正则化- SmoothDARTS（SDARTS），以平滑损失景观并提高基于DARTS的方法的泛化能力。特别是，我们的新配方稳定DARTS为基础的方法，无论是随机平滑或对抗攻击。NAS-Bench-1 Shot 1上的搜索轨迹证明了我们方法的有效性，并且由于稳定性的提高，我们在4个数据集上的各种搜索空间上实现了性能增益。此外，我们在数学上表明，SDARTS隐式地正则化了验证损失的Hessian范数，这导致了更平滑的损失景观和更好的性能。
2021-01-12 cs.CV cs.LG stat.ML
MSR-DARTS: Minimum Stable Rank of Differentiable Architecture Search
School of Computing, Tokyo Institute of Technology（东京工业大学计算学院）；Graduate School of Information Science and Technology, The University of Tokyo（东京大学情报理工学系研究科）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
在神经结构搜索（NAS）中，可微结构搜索（DARTS）由于其高效性而受到广泛关注。它定义了一个具有混合边的过参数化网络，每个边代表所有候选算子，并以交替的方式联合优化网络及其架构的权重。然而，这种方法发现一个模型的权重收敛速度比其他的，这样一个模型的收敛速度最快，往往导致过拟合。因此，由此产生的模型不能总是很好地推广。为了克服这个问题，我们提出了一种方法称为最小稳定秩DARTS（MSR-DARTS），找到一个最好的泛化误差的模型，取代结构优化与选择过程中使用的最小稳定秩标准。具体地，卷积算子由矩阵表示，并且MSR-DARTS选择具有最小稳定秩的卷积算子。我们在CIFAR-10和ImageNet数据集上评估了MSR-DARTS。它在CIFAR-10上的0.3 GPU天内实现了2.54%的出错率和4.0M参数，在ImageNet上的前1出错率为23.9%。官方代码可在https://github.com/mtaecchhi/msrdarts.git上获得。
2021-03-15 cs.AI cs.CV
Relax DARTS: Relaxing the Constraints of Differentiable Architecture Search for Eye Movement Recognition
Chongqing Technology and Business University（重庆工商大学）；Telecom SudParis, Institute Polytechnique de Paris（巴黎综合理工学院电信高等学院）；Chongqing University of Arts and Sciences（重庆文理学院）
针对眼动识别中深度学习网络依赖人工设计的问题，提出改进自DARTS的Relax DARTS算法，通过独立训练架构参数、引入模块输入权重提升性能，在四个公开库达SOTA，且适配多特征时序分类任务。
2024-09-18 cs.CR cs.CV
FX-DARTS: Designing Topology-unconstrained Architectures with Differentiable Architecture Search and Entropy-based Super-network Shrinking
Beijing Normal University（北京师范大学）；Southern University of Science and Technology（南方科技大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）；Politecnico di Milano（米兰理工大学）；Universita’ Della Svizzera Italiana（瑞士意大利大学）
本文提出FX-DARTS方法，通过消除单元拓扑约束并利用基于熵的超网络收缩框架，在扩大的搜索空间中稳定地推导出性能与计算复杂度具有竞争性权衡的神经架构。
2025-04-25 cs.AI cs.LG
Heart-Darts: Classification of Heartbeats Using Differentiable Architecture Search
Sichuan University（四川大学）
心律失常是一种心血管疾病，表现为不规则的心跳。在心律失常检测中，心电图（ECG）信号是一种重要的诊断技术。然而，手动评估ECG信号是一项复杂且耗时的任务。随着卷积神经网络（CNN）的应用，评估过程加快了，性能得到了提高。值得注意的是，CNN的性能在很大程度上取决于其架构设计，这是一个基于专家经验和试错的复杂过程。在本文中，我们提出了一种新的方法，心脏飞镖，有效地分类心电图信号自动设计的CNN模型与可微结构搜索（即，Darts，一种基于细胞的神经结构搜索方法）。具体来说，我们首先搜索一个细胞架构的飞镖，然后定制一个新的CNN模型的基础上获得的细胞心电图分类。为了研究所提出的方法的效率，我们评估了MIT-BIH心律失常数据库上构建的模型。此外，所提出的CNN模型的可扩展性在另外两个新的数据库上进行了验证。大量的实验结果表明，所提出的方法优于几个国家的最先进的CNN模型在ECG分类的性能和泛化能力。
2021-05-03 cs.LG eess.SP
RC-DARTS: Resource Constrained Differentiable Architecture Search
Bytedance AI Lab（字节跳动人工智能实验室）；Google Inc.（谷歌公司）；National University of Singapore（新加坡国立大学）
最近的进展表明，神经架构搜索（NAS）方法能够找到最先进的图像分类深层架构。在本文中，我们考虑了资源受限的应用程序的一次性NAS问题。这个问题是非常感兴趣的，因为它是关键的，选择不同的架构，根据任务的复杂性时，资源是有限的。以前的技术要么对于一次性学习来说太慢，要么没有考虑资源约束。在本文中，我们提出了资源约束可微架构搜索（RC-DARTS）方法来学习架构，这些架构显着更小，更快，同时达到相当的准确性。具体来说，我们建议制定的RC-DARTS任务作为一个约束优化问题，通过添加资源约束。提出了一种迭代投影方法来求解给定的约束优化问题。我们还提出了一种多级搜索策略，使不同深度的层能够自适应地学习不同类型的神经架构。通过对Cifar 10和ImageNet数据集的广泛实验，我们证明了RC-DARTS方法可以学习轻量级神经架构，这些架构具有更小的模型大小和更低的计算复杂性，同时实现与最先进的方法相当或更好的性能。
2019-12-30 cs.CV cs.NE
sharpDARTS: Faster and More Accurate Differentiable Architecture Search
Johns Hopkins University（约翰斯·霍普金斯大学）
神经架构搜索（NAS）已经成为神经网络设计的一个巨大改进的来源，最近的结果达到或超过了手动调整架构的性能。然而，我们对如何表示神经网络架构的搜索空间以及如何有效地搜索该空间的理解仍处于起步阶段。我们已经进行了深入的分析，以确定在广泛使用的搜索空间和最近的架构搜索方法，差分架构搜索（DARTS）的局限性。这些发现使我们引入了具有更通用、平衡和一致设计的新型网络块;更优化的余弦功率退火学习率调度;以及其他改进。与DARTS相比，我们得到的sharpDARTS搜索速度快50%，CIFAR-10的最终模型误差相对改善20-30%。我们最好的单一模型运行在CIFAR-10上有1.93%（1.98+/-0.07）的验证误差，在最近发布的CIFAR-10.1测试集上有5.5%的误差（5.8+/-0.3）。据我们所知，两者都是类似尺寸模型的最新技术。该模型也以25.1%的top-1（7.8%的top-5）误差与ImageNet竞争。我们发现改进现有的搜索空间，但DARTS推广到新的领域？我们提出了可微超参数网格搜索和超长方体搜索空间，这是旨在利用DARTS进行更一般的参数优化的表示。在这里，我们发现，DARTS未能概括时，与人类的一杆选择的模型。我们回顾DARTS和sharpDARTS搜索空间以了解原因，一项消融研究揭示了一个不寻常的泛化差距。最后，我们提出了Max-W正则化来解决这个问题，这证明…
2019-03-23 cs.AI cs.CV cs.LG
$β$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；Oracle（甲骨文公司）
近年来，神经结构搜索引起了越来越多的关注。其中，差分NAS方法，如DARTS，已获得流行的搜索效率。然而，他们仍然遭受三个主要问题，即，由于性能崩溃，弱稳定性，搜索架构的泛化能力差，以及对不同类型的代理的鲁棒性差。为了解决稳定性和泛化问题，提出了一种简单但有效的正则化方法，称为Beta-Decay，用于正则化基于DARTS的NAS搜索过程（即，$β$ -DARTS）。具体来说，Beta-Decay正则化可以施加约束，以保持激活的架构参数的值和方差不会太大，从而确保架构参数之间的公平竞争，并使超网对输入对操作集的影响不那么敏感。深入的理论分析，它是如何工作的，为什么它的作品提供。综合实验验证了Beta-Decay正则化有助于稳定搜索过程，并使搜索到的网络在不同数据集之间更具可移植性。为了解决鲁棒性问题，我们首先基准测试不同的NAS方法下广泛的代理数据，代理通道，代理层和代理时代，因为在不同类型的代理NAS的鲁棒性还没有被探索之前。然后，我们总结了一些有趣的发现，发现$β$ -DARTS总是达到最好的结果在所有比较NAS方法在几乎所有的代理。我们进一步将新的泛洪正则化引入到$β$ -DARTS的权重优化（即，双层正则化），并从实验和理论上验证了其对提高可微NAS代理鲁棒性的有效性。
2023-01-16 cs.AI cs.LG
G-DARTS-A: Groups of Channel Parallel Sampling with Attention
University of Secience and Technology Beijing（北京科技大学）
可区分结构搜索（DARTS）为基于梯度搜索有效的网络结构提供了一个基础，但在搜索和训练网络结构时，它伴随着巨大的计算开销。最近，许多新的作品都改进了飞镖。特别是部分连通DARTS（PC-DARTS）提出了部分通道采样技术，取得了很好的效果。在这项工作中，我们发现由DARTS提供的主干容易过拟合。为了缓解这个问题，我们提出了一种名为Group-DARTS with Attention（G-DARTS-A）的方法，使用多组通道进行搜索。受PC-DARTS部分采样策略的启发，我们使用分组通道对超网络进行采样，以在保持网络信息相对完整性的同时执行更有效的搜索。为了缓解渠道群之间的竞争，保持渠道平衡，我们遵循了挤压-激励网络中的注意力机制。每组通道共享定义的权重，因此它们可以提供不同的搜索建议。搜索的架构更强大，更适合不同的部署。具体地说，通过仅使用DARTS上的注意力模块，我们在CIFAR 10/100上实现了2.82%/16.36%的出错率，在CIFAR 10上的搜索过程为0. 3 GPU-天。将我们的G-DARTS-A应用于DARTS/PC-DARTS，在CIFAR 10上，在0.5/0.4 GPU-天的条件下，其出错率分别为2.57%/2.61%。
2020-10-16 cs.CV cs.LG
Differentiable Architecture Search for Reinforcement Learning
Google Research（谷歌研究院）
在本文中，我们调查的基本问题：在何种程度上是基于梯度的神经结构搜索（NAS）技术适用于RL？使用原始的DARTS作为一个方便的基线，我们发现，在非策略和策略RL算法的离散和连续动作空间环境中，与手动架构设计相比，离散架构可以实现高达250%的性能，仅需3倍的计算时间。此外，通过大量的消融研究，我们系统地验证了DARTS不仅在其超网阶段正确地增加了操作的权重，而且还逐渐提高了产生的离散单元的效率，比随机搜索高出30倍，这表明DARTS是改进RL架构的有效工具。
2022-11-15 cs.AI cs.CV cs.LG
Memory-Efficient Differentiable Transformer Architecture Search
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Microsoft Corporation（微软公司）
可区分结构搜索（DARTS）已成功应用于许多视觉任务。然而，直接将DARTS用于Transformers是内存密集型的，这使得搜索过程不可行。为此，我们提出了一种多分裂可逆网络，并将其与DARTS相结合。具体来说，我们设计了一个反向传播与重建算法，使我们只需要存储最后一层的输出。通过减轻DARTS的内存负担，它允许我们搜索更大的隐藏大小和更多的候选操作。我们在三个序列到序列数据集上评估搜索的架构，即，WMT'14英语-德语，WMT'14英语-法语和WMT'14英语-捷克语。实验结果表明，我们的网络始终优于标准的Transformers在整个任务。此外，我们的方法与大尺寸的进化Transformers相比，减少了一个数量级的搜索计算。
2021-05-31 cs.CL cs.LG
$β$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search
Fudan University（复旦大学）；BAIDU USA LLC（百度美国有限责任公司）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）
神经网络结构搜索（NAS）由于能够自动设计深层神经网络而受到越来越多的关注。其中，差分NAS方法，如DARTS，已获得流行的搜索效率。然而，他们遭受的两个主要问题，弱鲁棒性的性能崩溃和搜索架构的泛化能力差。为了解决这两个问题，提出了一种简单但有效的正则化方法，称为Beta-Decay，用于正则化基于DARTS的NAS搜索过程。具体而言，Beta-Decay正则化可以施加约束以保持激活的架构参数的值和方差过大。此外，我们提供了深入的理论分析，它是如何工作的，为什么它的工作。在NAS-Bench-201上的实验结果表明，该方法可以帮助稳定搜索过程，并使搜索到的网络在不同数据集之间更具可移植性。此外，我们的搜索方案显示出对训练时间和数据依赖性较低的突出特性。在多种搜索空间和数据集上的综合实验验证了该方法的有效性。
2022-03-04 cs.AI cs.LG
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients
Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
\textit{Differentiable ARchiTecture Search}（DARTS）由于其高效性和简单性，近年来已成为神经结构搜索（NAS）的主流。DARTS采用基于梯度的双层优化方法，在一个权值共享的超网中交替优化内部模型权值和外部结构参数。学习架构的可扩展性和质量面临的一个关键挑战是需要通过内环优化进行区分。虽然已经讨论了DARTS中的几个潜在致命因素，但体系结构梯度，也就是高梯度，受到较少的关注。本文基于隐函数定理解决了DARTS中的超梯度计算问题，使其只依赖于获得的内环优化解，而不依赖于优化路径。为了进一步降低计算量，我们对可微NAS构造了一个随机超梯度近似，并从理论上证明了该方法（iDARTS）的架构优化，会收敛到一个固定点在两个NAS基准搜索空间和普通NAS搜索空间上的综合实验验证了该方法的有效性。它导致架构的性能优于基线方法所学习到的架构，并且具有很大的裕度。
2021-06-21 cs.LG
Single-DARTS: Towards Stable Architecture Search
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
可区分架构搜索（DARTS）标志着神经架构搜索（NAS）的一个里程碑，拥有简单性和小搜索成本。然而，DARTS仍然遭受频繁的性能崩溃，当一些操作（如跳过连接，零和池）主导架构时，就会发生这种情况。在本文中，我们是第一个指出，这种现象归因于双层优化。我们提出了Single-DARTS，它只使用单级优化，使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过，没有文献提供了一个系统的解释，这一点。Single-DARTS取代了原有的两级优化，明显避免了性能崩溃，提高了体系结构搜索的稳定性。实验结果表明，Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如，在NAS-Benchmark-201上，搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
现有的神经架构搜索（NAS）方法通常返回一个具有良好搜索性能的架构，但推广到测试设置很差。为了实现更好的推广，我们提出了一种新的邻域感知NAS制定，以确定在搜索空间的平坦极小架构，与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构（例如，用跳跃连接代替卷积）。我们的配方需要考虑到“平面度”的架构，通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法，包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法，我们还提出了一个可微表示的邻域的架构。基于我们的公式，我们提出了邻域感知随机搜索（NA-RS）和邻域感知可微结构搜索（NA-DARTS）。值得注意的是，通过简单地使用我们的公式增强DARTS，NA-DARTS的性能优于DARTS，并在已建立的基准测试中实现了最先进的性能，包括CIFAR-10，CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection
EURECOM（欧洲通信系统工程学院）
本文报告了可区分架构搜索（DARTS）方法在深度伪造和欺骗检测问题中的首次成功应用。作为神经架构搜索的一个例子，DARTS在连续的、可微分的搜索空间上操作，这使得架构和参数都能够通过梯度下降来优化。基于部分连接DARTS的解决方案在搜索空间中使用随机通道掩蔽，以减少GPU时间，并自动学习和优化由卷积运算和残差块组成的复杂神经架构。尽管学习速度很快，几乎没有人力投入，但由此产生的网络与文献中报道的最佳性能系统相比具有竞争力。有些也远没有那么复杂，包含的参数比Res2Net竞争对手少85%。
2021-06-30 cs.LG cs.SD eess.AS
Making Differentiable Architecture Search less local
Spotify；University of Bristol（布里斯托大学）
神经结构搜索（NAS）是一种用于自动设计神经网络结构的新方法。可区分神经结构搜索（DARTS）是一种很有前途的NAS方法，可以显著提高搜索效率。然而，它已被证明遭受性能崩溃，搜索往往导致有害的架构。许多最近的作品试图解决这个问题的DARTS通过识别指标提前停止，定期搜索目标，以减少一些操作的主导地位，或改变参数化的搜索问题。在这项工作中，我们假设性能崩溃可能是由于典型的初始架构和权重的局部最优值不佳而引起的。我们通过开发一个更全局的优化方案来解决这个问题，该方案能够在不改变DARTS问题公式的情况下更好地探索空间。我们的实验表明，我们的搜索算法的变化，允许发现的架构，更好的测试性能和更少的参数。
2021-04-21 cs.LG
Regularizing Differentiable Architecture Search with Smooth Activation
Samsung Semiconductor, Inc.（三星半导体公司）
本文提出平滑激活DARTS（SA-DARTS），通过平滑激活函数作为辅助损失，解决跳跃连接主导和离散化不一致问题，在NAS-Bench-201、分类和超分辨率任务上取得SOTA结果，并提升少参数模型性能。
2025-04-22 cs.CV cs.NE
ZO-DARTS++: An Efficient and Size-Variable Zeroth-Order Neural Architecture Search Algorithm
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系）
本文提出ZO-DARTS++，通过零阶近似、温度退火sparsemax和尺寸可变搜索，在医学影像任务中实现比DARTS类方法更高准确率、更快搜索速度及更少参数的高效神经架构搜索。
2025-03-08 cs.AI cs.CV cs.LG
Improving Differentiable Architecture Search via Self-Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对DARTS中超网络收敛至尖锐最小值导致性能差距的问题，提出SD-DARTS，利用自蒸馏和投票教师机制降低损失尖锐度，弥合离散化差距，实验验证优于现有方法。
2023-09-01 cs.AI cs.CV cs.LG
Enhancing Speech Emotion Recognition Through Differentiable Architecture Search
University of Southern Queensland（南昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Imperial College London（伦敦帝国理工学院）
本文提出DARTS优化的CNN-LSTM架构，并允许其自主决定CNN层顺序，从而在IEMOCAP和MSP-IMPROV上提升语音情感识别准确率。
2024-01-19 cs.LG cs.SD eess.AS
$Λ$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells
University of Tehran（德黑兰大学）；LMU Munich（慕尼黑大学）；Google Brain（谷歌大脑）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所）
可微分神经结构搜索（DARTS）是一种流行的神经结构搜索（NAS）方法，它进行细胞搜索，并通过基于梯度的优化利用连续松弛来提高搜索效率。DARTS的主要缺点是性能崩溃，发现的体系结构在搜索过程中质量下降。性能崩溃已经成为一个重要的研究课题，许多方法试图通过正则化或对DARTS进行根本性的更改来解决这个问题。然而，在DARTS中用于小区搜索的权重共享框架和结构参数的收敛性尚未被分析。在本文中，我们提供了一个深入和新颖的理论和实证分析DARTS及其收敛点。我们表明，DARTS遭受一个特定的结构缺陷，由于其权重共享框架，限制了DARTS的收敛到softmax函数的饱和点。在选择最佳架构时，这种收敛点为更接近输出的层提供了不公平的优势，导致性能崩溃。然后，我们提出了两个新的正则化项，旨在通过调整层的梯度来协调操作选择，从而防止性能崩溃。在六个不同的搜索空间和三个不同的数据集上的实验结果表明，我们的方法（$Λ$ -DARTS）确实可以防止性能崩溃，为我们的理论分析和提出的补救措施提供了理由。
2023-03-01 cs.CV cs.LG
LP-NAS: Linear Programming-based Neural Architecture Search
IIT Kanpur（印度理工学院坎普尔分校）；IIM Ahmedabad（印度管理研究所艾哈迈达巴德分校）
本文提出LP-NAS框架，将线性规划应用于可微分NAS，其变体在CIFAR等数据集上的搜索与评估阶段均优于DARTS及其多种变体，且架构可迁移至ImageNet。
2026-08-17 cs.AI cs.LG
Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着神经结构搜索（NAS）的快速发展，研究人员发现了适用于各种视觉任务的强大网络结构。然而，目前还不清楚搜索的架构是否可以像手动设计的那样跨不同类型的任务进行转移。本文提出了这个问题，称为NAS在野外，它探讨了在代理数据集中找到最佳架构，然后将其部署到大多数看不见的场景的可能性。我们实例化这个设置使用目前流行的算法命名为微分架构搜索（DARTS），这往往会遭受不满意的性能，而在不同的任务之间转移。我们认为，准确率下降源于使用超级网络进行搜索，但使用子网络进行重新训练的公式。这些阶段的不同属性导致了显着的优化差距，因此，架构参数“过拟合”的超级网络。为了缓解这种差距，我们提出了一种渐进的方法，在搜索阶段逐渐增加网络深度，这导致了渐进DARTS（P-DARTS）算法。通过降低搜索成本（在单个GPU上运行7小时），P-DARTS在代理数据集（CIFAR 10）和一些目标问题（ImageNet分类，COCO检测和三个ReID基准测试）上实现了性能提升。我们的代码可在\url{https://github.com/chenxin061/pdarts}上获得。
2020-01-06 cs.CV cs.LG
Rethinking Architecture Selection in Differentiable NAS
DiDi AI Labs（滴滴AI实验室）
微分神经结构搜索（Differentiable Neural Architecture Search，NAS）是目前最流行的神经结构搜索方法之一，它通过基于梯度的算法在一个权值共享超网中联合优化模型权值和结构参数来实现。在搜索阶段结束时，将选择具有最大架构参数的操作来形成最终架构，隐含假设架构参数的值反映了操作强度。虽然已经讨论了很多关于超网的优化，架构选择过程很少受到关注。我们提供的经验和理论分析表明，架构参数的大小并不一定表明有多少操作有助于超网的性能。我们提出了一种替代的扰动为基础的架构选择，直接衡量每个操作的超网的影响。我们重新评估了几个不同的NAS方法与建议的架构选择，并发现它是能够提取显着改进的架构，从底层超网一致。此外，我们发现，DARTS的几种故障模式可以大大减轻与建议的选择方法，这表明在DARTS中观察到的大部分不良的泛化可以归因于失败的基于幅度的架构选择，而不是完全优化其超网。
2021-08-10 cs.CV cs.LG
PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；Futurewei Technologies（未来wei科技）
可区分体系结构搜索（DARTS）是一种快速有效的网络体系结构搜索方法，但在联合训练超网络和搜索最优体系结构时，存在着较大的存储和计算开销。本文提出了一种新的搜索算法--部分连通DARTS算法，通过对超网络的一小部分进行采样，减少了网络空间搜索的冗余度，从而在不影响性能的前提下提高了搜索效率。特别地，我们在通道的子集中执行操作搜索，同时在快捷方式中绕过保持的部分。该策略可能遭受由于采样不同信道而导致的在选择超网的边缘上的不期望的不一致性。我们使用边缘归一化来缓解它，它增加了一组新的边缘级参数来减少搜索中的不确定性。由于降低了存储器成本，PC-DARTS可以用更大的批量进行训练，因此，具有更快的速度和更高的训练稳定性。通过仿真和实测数据处理验证了所提方法的有效性。具体而言，我们在CIFAR 10上仅用0.1个GPU天进行架构搜索就实现了2.57%的出错率，而在ImageNet（在移动设置下）上使用3.8个GPU天进行搜索就实现了24.2%的最先进的前1位出错率。我们的代码已在https://github.com/yuhuixu1993/PC-DARTS上提供。
2020-04-07 cs.CV cs.LG
DARTSRepair: Core-failure-set Guided DARTS for Network Robustness to Common Corruptions
Tianjin University of Technology（天津理工大学）；Kyushu University（九州大学）；Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
网络架构搜索（NAS），特别是可区分架构搜索（DARTS）方法，已经显示出在特定数据集上学习优秀模型架构的强大功能。与使用固定数据集相比，在这项工作中，我们专注于NAS的一个不同但重要的场景：如何在一些收集和错误分类的示例的指导下改进部署网络的模型架构以增强其鲁棒性，这些示例被一些具有特定模式的真实世界未知损坏降级（例如，噪声、模糊等）。为此，我们首先进行了实证研究，以验证模型架构可以明确相关的腐败模式。令人惊讶的是，通过添加一些损坏和错误分类的例子（例如，$10^3$示例）到干净的训练数据集（例如，$5.0 \times 10^4$示例），我们可以细化模型架构并显著增强鲁棒性。为了使其更实用，关键问题，即，如何为有效的NAS制导选择适当的故障实例，应该仔细研究。然后，我们提出了一种新的核心故障集引导DARTS嵌入一个K-中心贪心算法DARTS选择合适的损坏的故障的例子，以改善模型的架构。我们将我们的方法用于DARTS精炼的DNN上的干净以及15个腐败，并以四个具体的现实世界腐败为指导。与最先进的NAS以及基于数据增强的增强方法相比，我们的最终方法可以在损坏的数据集和原始的干净数据集上实现更高的准确性。在某些腐败模式上，我们可以实现高达45%以上的绝对准确性改进。
2022-09-21 cs.CV cs.LG
Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出免训练可微架构搜索框架FreeDARTS，通过定义零成本操作敏感性ZEROS评分，在初始化时衡量DARTS中操作重要性，避免参数密集性偏差，并证明其与泛化界负相关，实验验证其高效可靠。
2023-05-12 cs.CV cs.LG
Differentiable Channel Sparsity Search via Weight Sharing within Filters
Xidian University（西安电子科技大学）；HiSilicon Technologies（海思技术有限公司）
本文提出了一种用于卷积神经网络的可微通道稀疏搜索算法。与传统的通道修剪算法不同，传统的通道修剪算法需要用户手动为每个卷积层设置修剪比率，DCSS自动搜索稀疏度的最佳组合。受可微结构搜索（DARTS）的启发，我们从连续松弛中吸取教训，并利用梯度信息来平衡计算成本和度量。由于直接应用DARTS方案会导致形状不匹配和过多的内存消耗，我们引入了一种新的技术，称为滤波器内的权重共享。这种技术优雅地消除了形状不匹配的问题，而额外的资源可以忽略不计。我们进行了全面的实验，不仅对图像分类，而且发现粒度的任务，包括语义分割和图像超分辨率，以验证DCSS的有效性。与以往的网络修剪方法相比，DCSS实现了最先进的图像分类的结果。语义分割和图像超分辨率的实验结果表明，特定任务搜索比传递瘦模型具有更好的性能，证明了DCSS的广泛适用性和高效性。
2022-01-05 cs.CV
iDARTS: Improving DARTS by Node Normalization and Decorrelation Discretization
微分ARchiToggle搜索（DARTS）使用网络表示的连续松弛，并在GPU天内将神经架构搜索（NAS）大幅加速近数千倍。然而，DARTS的搜索过程是不稳定的，当训练时期变大时，搜索过程会严重退化，从而限制了其应用。在本文中，我们认为这种退化问题是由不同节点之间的不平衡范数和各种操作的高度相关输出引起的。然后，我们提出了一个改进版本的DARTS，即iDARTS，以处理这两个问题。在训练阶段，它引入节点归一化来保持范数平衡。在离散化阶段，基于节点的输出与去相关操作之间的相似性而不是架构参数的值来近似连续架构。在CIFAR-10和ImageNet上进行了广泛的评估，在0.2和1.9 GPU-天内，架构搜索的出错率分别为2.25%和24.7%，表明了该方法的有效性。进一步的分析还表明，iDARTS具有鲁棒性和泛化能力优于其他基于DARTS的同行。
2021-08-25 cs.CV
Delve into the Performance Degradation of Differentiable Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
可区分体系结构搜索（DARTS）被广泛认为是容易过拟合的验证集，导致性能下降。我们首先采用了一系列的探索性实验来验证，无论是高强度的结构参数正则化，热身训练计划可以有效地解决这个问题。基于实验结果，我们推测DARTS的性能并不依赖于训练良好的超网权重，并认为应该通过在训练的早期阶段而不是最后阶段获得的梯度来训练架构参数。然后通过交换权值和参数的学习率方案来验证这一论点。实验结果表明，简单的学习率交换可以有效地解决学习性能退化问题，并取得较好的性能。进一步的经验证据表明，退化不是一个简单的问题的验证集过拟合，但表现出一些退化和操作选择偏差内的双层优化动态之间的联系。我们证明了这种偏见的泛化，并建议利用这种偏见来实现基于操作幅度的选择性停止。
2021-09-28 cs.AI cs.CV cs.LG
RARTS: An Efficient First-Order Relaxed Architecture Search Method
University of California at Irvine（加州大学欧文分校）
可微结构搜索（DARTS）是一种基于求解双层优化问题的数据驱动神经网络设计的有效方法。尽管它在许多架构搜索任务中取得了成功，但仍然存在一些关于一阶DARTS的准确性和二阶DARTS的效率的问题。在本文中，我们制定了一个单一的水平替代和宽松的架构搜索（RARTS）的方法，利用整个数据集的架构学习，通过数据和网络分裂，而不涉及混合的二阶导数相应的损失函数，如DARTS。在我们的网络分裂公式中，两个具有不同但相关权重的网络合作寻找共享架构。收敛定理和解析可解模型证明了RARTS优于DARTS的优点。此外，RARTS优于DARTS及其变种的准确性和搜索效率，在足够的实验结果表明。对于搜索拓扑结构的任务，即，在CIFAR-10上，RARTS算法比二阶DARTS算法获得了更高的精度，计算量减少了60%.在转移到ImageNet后，RARTS的性能继续优于DARTS，并且与DARTS的最新变体不相上下，尽管我们的创新纯粹是在训练算法上，而没有修改搜索空间。对于搜索宽度的任务，即，卷积层中的通道数量，RARTS也优于传统的网络修剪基准。在NATS-Bench等公共体系结构搜索基准上的进一步实验也支持了RARTS的卓越性。
2022-06-24 cs.CV cs.LG stat.ML
DOTS: Decoupling Operation and Topology in Differentiable Architecture Search
Nankai University（南开大学）；Zhejiang University（浙江大学）
可区分结构搜索（DARTS）由于其在搜索细胞结构方面的高效性而受到广泛关注。DARTS主要关注于操作搜索，并从操作权重导出单元拓扑。然而，操作权重不能反映单元拓扑的重要性，导致拓扑评级正确性差。为了解决这个问题，我们提出了解耦的操作和拓扑搜索（DOTS），它从操作权重中提取拓扑表示，并进行显式的拓扑搜索。DOTS是通过引入一个包含候选边组合的拓扑搜索空间来实现的。所提出的搜索空间直接反映了搜索目标，并且可以很容易地扩展以支持被搜索单元中的灵活数目的边。现有的基于梯度的NAS方法可以被纳入DOTS进一步改善的拓扑搜索。考虑到一些操作（例如，为了更好地进行拓扑搜索，我们提出了一种组操作搜索方案来保留拓扑相关的操作。在CIFAR 10/100和ImageNet上的实验表明，DOTS是一种有效的可区分NAS解决方案。
2021-04-08 cs.CV
Stretchable Cells Help DARTS Search Better
SenseTime（商汤科技）
可区分神经结构搜索（DARTS）在发现灵活多样的细胞类型方面取得了很大成功。为了减少评估差距，超网被期望具有与目标网络相同的层。然而，即使对于这种一致的搜索，搜索的单元也经常遭受较差的性能，特别是对于具有较少层的超网，因为当前的DARTS方法倾向于宽和浅的单元，并且这种拓扑崩溃导致次优的搜索单元。在本文中，我们通过赋予细胞显式的可拉伸性来缓解这个问题，因此搜索可以直接在我们的可拉伸细胞上同时实现操作类型和拓扑结构。具体地说，我们引入了一组拓扑变量和组合概率分布来明确地建模目标拓扑。对于更多样化和复杂的拓扑结构，我们的方法可以很好地适应各种层数。在CIFAR-10和ImageNet上进行的大量实验表明，我们的可拉伸单元以更少的层和参数获得了更好的性能。例如，我们的方法可以在CIFAR-10数据集上将DARTS的准确率提高0.28\%，减少45\%的参数，或者在ImageNet数据集上提高2.9\%的FLOP。
2022-04-18 cs.CV
MIDAS: Mosaic Input-Specific Differentiable Architecture Search
Independent Researcher（独立研究者）
MIDAS通过引入动态输入特定参数和拓扑感知搜索空间，提高了神经架构搜索的鲁棒性和性能，实现了在多个数据集上的优异表现。
2026-10-28 cs.AI cs.LG cs.NE
Adaptive Channel Allocation for Robust Differentiable Architecture Search
School of Computer Science, Huazhong University of Science and Technology（华中科技大学计算机学院）；China Mobile Information Technology Co.,Ltd（中国移动信息技术有限公司）；Microsoft Research Asia（微软亚洲研究院）
针对DARTS在训练轮数增大时跳跃连接过度累积导致鲁棒性降低的问题，提出自适应通道分配（ACA）策略，在搜索阶段不显式搜索跳跃连接，而在评估阶段通过通道重要性排序和分配策略隐式搜索并填充不重要通道，有效提升了鲁棒性并解决了崩溃问题。
2024-12-23 cs.AI cs.CV
Pseudo-Inverted Bottleneck Convolution for DARTS Search Space
University of Toronto（多伦多大学）；Concordia University（康考迪亚大学）
可区分结构搜索（DARTS）作为一种基于梯度的神经结构搜索方法已经引起了相当大的关注。自DARTS引入以来，基于CNN最先进的架构设计原则，在调整动作空间方面所做的工作很少。在这项工作中，我们的目标是解决这一差距，增量增加DARTS搜索空间与微设计的变化，灵感来自ConvNeXt和研究之间的权衡精度，评估层数和计算成本。我们引入伪反向瓶颈转换（PIBConv）块，旨在减少ConvNeXt中提出的反向瓶颈块的计算占用空间。我们提出的架构对评估层数不太敏感，并且在层数小到2的情况下显著优于具有类似大小的DARTS网络。此外，通过更少的层，它不仅可以实现更高的准确性和更低的计算占用（以GMAC测量）和参数计数，GradCAM比较表明，与DARTS相比，我们的网络可以更好地检测目标对象的独特特征。代码可从www.example.com获得。
2023-03-19 cs.LG eess.IV
Efficient Neural Architecture Search via Proximal Iterations
Paradigm Inc（第四范式公司）；Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）
神经结构搜索（NAS）最近吸引了很多研究的关注，因为它能够识别更好的架构比手工制作的。然而，在离散搜索空间中优化搜索过程的许多NAS方法需要许多GPU天来进行收敛。最近，DARTS，它构造一个可微的搜索空间，然后优化它的梯度下降，可以获得高性能的架构，并减少搜索时间到几天。然而，DARTS仍然很慢，因为它更新所有操作的集合，并且在收敛后仅保留一个。此外，由于操作之间的强相关性，DARTS可以收敛到较差的架构。在本文中，我们提出了一种新的可微神经结构搜索方法的基础上，近端梯度下降（表示为NASP）。与DARTS不同的是，NASP将搜索过程重新定义为一个优化问题，约束条件是在前向和后向传播过程中只允许更新一个操作。针对该约束难以处理的问题，本文提出了一种新的近似迭代算法来求解该约束，并在多个任务上进行了实验，实验结果表明，NASP可以获得比DARTS高10倍的计算速度。
2019-11-20 cs.LG stat.ML
DARTS-: Robustly Stepping out of Performance Collapse Without Indicators
Meituan（美团）；Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）
尽管可区分体系结构搜索（DARTS）发展迅速，但长期以来其性能不稳定，极大地限制了其应用。现有的鲁棒方法从结果恶化的行为中寻找线索，而不是找出其原因。各种指标，如Hessian特征值被提出作为一个信号，以停止搜索之前的性能崩溃。然而，这些基于指标的方法往往很容易拒绝良好的架构，如果阈值设置不当，更不用说搜索本质上是嘈杂的。在本文中，我们采取了一种更微妙和直接的方法来解决崩溃。我们首先证明了跳过连接比其他候选操作具有明显的优势，它可以很容易地从不利状态恢复并成为主导。我们推测，这种特权是造成退化的性能。因此，我们建议通过辅助跳过连接来消除这种好处，确保所有操作的公平竞争。我们称这种方法为DARTS-。在各种数据集上的大量实验证明，它可以大大提高鲁棒性。我们的代码可在https://github.com/Meituan-AutoML/DARTS-上获得。
2021-01-15 cs.AI cs.CV cs.LG
DNAD: Differentiable Neural Architecture Distillation
School of Systems Science, Beijing Normal University（北京师范大学系统科学学院）；School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）
本文提出可微神经架构蒸馏算法DNAD，结合基于DARTS的超网络渐进收缩（SNPS）与知识蒸馏（KD），推导出帕累托最优的灵活架构，有效避免过拟合并实现更优的性能与复杂度权衡。
2025-04-25 cs.AI cs.LG
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule
Aalborg University（奥尔堡大学）；UTS（悉尼科技大学）；Monash University（莫纳什大学）；RMIT University（皇家墨尔本理工大学）
可区分体系结构搜索（DARTS）近年来受到了广泛的关注，主要是因为它通过权重共享和连续松弛来显著降低计算成本。然而，最近的工作发现，现有的可区分NAS技术的斗争，以超越天真的基线，产生恶化的架构，作为搜索的进行。本文不是直接优化结构参数，而是通过将结构权重放松为高斯分布来将神经结构搜索表示为分布学习问题。通过利用自然梯度变分推理（NGVI），可以基于现有的代码库轻松优化架构分布，而不会产生更多的内存和计算消耗。我们演示了如何区分NAS的贝叶斯原理的好处，加强探索和提高稳定性。在NAS-Bench-201和NAS-Bench-1 shot 1基准数据集上的实验结果证实了所提出的框架可以做出的显着改进。此外，我们不是简单地将argmax应用于学习的参数，而是进一步利用NAS中最近提出的免训练代理，从优化分布的一组架构中选择最佳架构，其中我们在NAS-Bench-201和NAS-Bench-1 shot 1基准测试中获得了最先进的结果。我们在DARTS搜索空间中的最佳架构在CIFAR-10、CIFAR-100和ImageNet数据集上也分别获得了2.37\%、15.72\%和24.2\%的竞争性测试误差。
2021-11-25 cs.LG
Improving Differentiable Architecture Search with a Generative Model
UC San Diego（加州大学圣地亚哥分校）
在DARTS等可微神经架构搜索（NAS）算法中，用于更新模型权重的训练集和用于更新模型架构的验证集是从相同的数据分布中采样的。因此，数据集中不常见的特征在训练过程中没有得到足够的关注。在本文中，我们没有引入更复杂的NAS算法，而是探索了将高质量的合成数据集添加到训练中可以帮助分类模型识别其弱点并提高识别精度的想法。我们引入了一种训练策略，称为“具有生成模型的可区分体系结构搜索（DASGM）”。在DASGM中，训练集用于更新分类模型权重，而合成数据集用于训练其架构。生成的图像具有与训练集不同的分布，这可以帮助分类模型学习更好的特征以识别其弱点。本文将DASGM构造成一个多层次的优化框架，并设计了一个有效的算法来求解，在CIFAR-10、CIFAR-100和ImageNet上的实验证明了DASGM的有效性。代码将提供。
2021-11-30 cs.CV cs.LG
Small Temperature is All You Need for Differentiable Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对可微架构搜索（DARTS）中训练与评估阶段网络不匹配导致的性能差异甚至模型崩溃问题，提出利用小温度系数稀疏化连续分布的方法，通过稀疏噪声softmax、指数温度调度及熵自适应方案缩小差距，经实验验证了方法的效率与有效性。
2023-06-12 cs.LG
Probeable DARTS with Application to Computational Pathology
University of Waterloo（滑铁卢大学）；University of New Brunswick（新不伦瑞克大学）；Sunnybrook Health Science Center（桑尼布鲁克健康科学中心）；Kingston Health Sciences Center（金斯顿健康科学中心）；St. Michaels Hospital（圣迈克尔医院）；Huron Digital Pathology（休伦数字病理公司）；University of Toronto（多伦多大学）
AI技术在计算病理学（CPath）方面取得了令人瞩目的成就，特别是在深度神经网络的帮助下。然而，网络性能与架构设计高度相关，这通常需要具有领域知识的人类专家。在本文中，我们与神经架构搜索（NAS）的最新进展，以找到一个最佳的网络CPath应用程序来应对这一挑战。特别是，我们使用微分架构搜索（DARTS）的效率。我们首先采用探测度量来表明原始DARTS在CIFAR数据集上缺乏适当的超参数调整，以及如何使用自适应优化策略来解决泛化问题。然后，我们通过在组织学组织类型数据集（ADP）上搜索最佳网络架构，将搜索框架应用于CPath应用程序。结果表明，搜索网络优于国家的最先进的网络在预测精度和计算复杂度。我们进一步进行了广泛的实验，以证明搜索网络的可转移性，新的CPath应用程序，对降尺度输入的鲁棒性，以及预测的可靠性。
2021-08-16 cs.CV
Efficient Architecture Search via Bi-level Data Pruning
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出双层数据剪枝（BDP）范式，利用超网络预测动态渐进剪枝数据并自动平衡类别，将DARTS搜索成本降低超50%，且与PC-DARTS等变体集成实现约2倍加速。
2023-12-21 cs.CV
Zero-Cost Operation Scoring in Differentiable Architecture Search
University of Warwick（华威大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Cornell University（康奈尔大学）；University of Cambridge（剑桥大学）
我们形式化和分析的基本组成部分微分神经架构搜索（NAS）：本地“操作评分”在每个操作的选择。我们认为现有的操作评分功能的准确性不准确的代理，我们发现，他们表现不佳时，NAS基准经验分析。从这个角度来看，我们介绍了一种新的\textit{perturbation-based zero-cost operation scoring}（零成本PT）的方法，它利用零成本代理，最近研究了多次试验NAS，但降低显着较大的搜索空间，典型的可区分NAS。我们对一些NAS基准测试和大型搜索空间进行了全面的实证评估，从NAS-Bench-201，NAS-Bench-1 Shot 1，NAS-Bench-Macro，到DARTS和MobileNet空间，显示出搜索时间和准确性的显着改善。在DARTS搜索空间上的ImageNet分类任务中，与当前最好的免训练方法（TE-NAS）相比，我们的方法提高了准确性，同时比现有方法快10 $\times$以上（在单个GPU上的总搜索时间为25分钟），并且在CIFAR-10数据集上搜索的架构上观察到更好的可移植性，准确性提高了1.8 pp。我们的代码可在https://github.com/zerocostptnas/zerocost_operation_score上获得。
2023-02-09 cs.AI cs.LG
Architecture-Aware Minimization (A$^2$M): How to Find Flat Minima in Neural Architecture Search
Department of Electronics, Information and Bioengineering（电子、信息与生物工程系）
本文研究了神经架构搜索中架构空间的几何特性，提出A$^2$M算法以偏导数方向寻找平坦极小值，提升模型泛化能力。
2026-03-24 cond-mat.dis-nn cs.CV cs.LG
Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search
Nanjing University of Information Science and Technology（南京信息工程大学）
可微分神经结构搜索（DARTS）作为一种梯度引导的搜索方法，大大降低了计算成本，加快了搜索速度。在DARTS中，架构参数被引入到候选操作中，但是一些权重配备的操作的参数可能在初始阶段没有被很好地训练，这导致候选操作之间的不公平竞争。无重量操作大量出现，导致性能崩溃现象。此外，在训练超网时会占用大量的内存，导致内存利用率较低。提出了一种基于通道注意的部分通道连接可微分神经结构搜索算法。通过注意力机制选择权值较高的通道送入操作空间，而其他通道则直接与处理后的通道联系。选择少数关注权值较高的通道，可以更好地将重要特征信息传递到搜索空间中，大大提高搜索效率和内存利用率。也可以避免随机选择造成的网络结构不稳定。实验结果表明，ADARTS在CIFAR-10和CIFAR-100上分别获得了2.46%和17.06%的分类出错率。ADARTS能有效地解决搜索过程中出现的跳跃连接过多的问题，得到性能更好的网络结构。
2022-08-01 cs.LG
DASViT: Differentiable Architecture Search for Vision Transformer
School of Computer Science and Electronic Engineering University of Surrey（计算机科学与电子工程学院大学 Surrey 大学）；School of Artificial Intelligence and Computer Science Jiangnan University（人工智能与计算机科学学院江南大学）
本文提出DASViT，将可微架构搜索引入视觉Transformer，以突破传统编码器设计，在多个数据集上超越ViT-B/16，并实现更低参数和FLOPs的高效架构。
2025-07-17 cs.CV cs.LG
ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
针对单路径DARTS因跳跃连接过多导致性能崩溃的问题，提出ROME算法，通过解耦拓扑与操作搜索、引入Gumbel-Top2重参数化和梯度累积优化双层优化，在15个基准上验证了其有效性与鲁棒性。
2023-08-03 cs.AI cs.CV cs.LG
Cyclic Differentiable Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）；City University of Hong Kong（香港城市大学）；Stony Brook University（石溪大学）
可区分的ARCHITECTOR搜索，即，DARTS在神经结构研究中引起了极大的关注。它试图在浅层搜索网络中找到最佳架构，然后在深层评估网络中测量其性能。然而，搜索和评估网络的独立优化通过允许两个网络之间的交互而留下了潜在的改进空间。为了解决有问题的优化问题，我们提出了新的联合优化目标和一个新的循环微分ARchiToggle搜索框架，被称为CDARTS。考虑到网络结构的差异，CDARTS在搜索网络和评价网络之间建立了一种循环反馈机制，并引入了内省蒸馏。首先，搜索网络生成用于评估的初始架构，并且优化评估网络的权重。其次，通过分类中的标签监督以及通过特征提取对评价网络进行正则化，进一步优化搜索网络中的结构权重。重复上述循环导致搜索和评估网络的联合优化，从而使得架构的演进能够适合最终的评估网络。在CIFAR、ImageNet和NAS-Bench-201上的实验和分析表明了该方法的有效性。具体来说，在DARTS搜索空间中，我们在CIFAR 10上实现了97.52%的top-1准确率，在ImageNet上实现了76.3%的top-1准确率。在链式结构的搜索空间中，我们在ImageNet上实现了78.2%的top-1准确率，比EfficientNet-B 0高出1.1%。我们的代码和模型可在https://github.com/microsoft/Cream上公开获取。
2022-04-25 cs.CV
