EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
在硬件感知的可区分神经架构搜索（DNAS）中，计算硬件度量的梯度以执行架构搜索是具有挑战性的。现有的作品依赖于线性近似与有限的支持定制的硬件加速器。在这项工作中，我们提出了端到端硬件感知DNAS（EH-DNAS），端到端硬件基准测试的无缝集成，以及完全自动化的DNAS，以在各种平台上提供硬件高效的深度神经网络，包括边缘GPU，边缘TPU，移动CPU和定制加速器。给定一个期望的硬件平台，我们建议学习一个可微模型预测端到端的硬件性能的神经网络架构的DNAS。我们还推出了E2 E-Perf，这是一款用于定制加速器的端到端硬件基准测试工具。在CIFAR 10和ImageNet上的实验表明，EH-DNAS在保持分类精度的前提下，在自定义加速器上平均提高了$1.4\times$，在现有硬件处理器上平均提高了$1.6\times$。
2021-11-24 cs.LG
RAPDARTS: Resource-Aware Progressive Differentiable Architecture Search
Sandia National Laboratories（桑迪亚国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
早期的神经网络架构是由所谓的“研究生血统”设计的。从那时起，神经架构搜索（NAS）领域的发展目标是在算法上设计为感兴趣的数据集量身定制的架构。最近，已经创建了基于梯度的NAS方法来快速执行搜索。与替代NAS方法相比，基于代理的方法对搜索施加了更多的结构，从而实现了更快的搜索阶段优化。在现实世界中，衡量神经架构性能的不仅仅是高精度。人们越来越需要高效的神经架构，其中还必须考虑模型大小或延迟等资源。基于代理的NAS也适用于这种多目标优化。在这项工作中，我们扩展了一个流行的基于梯度的NAS方法，以支持一个或多个资源成本。然后，我们进行深入的分析，发现满足单资源约束的分类CIFAR-10的架构。
2019-11-08 cs.LG
EDD: Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Advanced Digital Sciences Center（先进数字科学中心）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
高质量的AI解决方案需要AI算法及其硬件实现的联合优化。在这项工作中，我们是第一个提出一个完全同步，高效的可区分DNN架构和实现协同搜索（EDD）方法的人。我们通过将DNN搜索变量和硬件实现变量融合到一个解空间中来制定共同搜索问题，并最大限度地提高算法精度和硬件实现质量。该公式是可微的融合变量，使梯度下降算法可以应用，以大大减少搜索时间。该配方也适用于具有不同目的的各种器械。在实验中，我们证明了我们的EDD方法的有效性，通过搜索三个代表DNN，针对低延迟GPU实现和FPGA实现的递归和流水线架构。EDD生成的每个模型都达到了与ImageNet上神经架构搜索（NAS）方法搜索的现有最佳DNN模型相似的精度，但在12个GPU小时的搜索内获得了卓越的性能。我们的DNN目标GPU比Proxyless中报告的最先进的解决方案快1.40倍，我们的DNN目标FPGA比DNNBuilder中报告的最先进的解决方案高1.45倍。
2020-05-06 cs.LG
Small Temperature is All You Need for Differentiable Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对可微架构搜索（DARTS）中训练与评估阶段网络不匹配导致的性能差异甚至模型崩溃问题，提出利用小温度系数稀疏化连续分布的方法，通过稀疏噪声softmax、指数温度调度及熵自适应方案缩小差距，经实验验证了方法的效率与有效性。
2023-06-12 cs.LG
RADARS: Memory Efficient Reinforcement Learning Aided Differentiable Neural Architecture Search
University of Notre Dame（圣母大学）；George Mason University（乔治梅森大学）
可微分神经结构搜索（DNAS）以其自动生成高级神经网络的能力而闻名。然而，当搜索空间扩展时，基于DNAS的方法遭受存储器使用爆炸，这可能阻止它们在甚至先进的GPU平台上成功运行。另一方面，基于强化学习（RL）的方法虽然具有存储效率，但非常耗时。结合这两种方法的优点，本文提出了RADARS，一个可扩展的RL辅助DNAS框架，可以探索大搜索空间在一个快速和内存效率的方式。RADARS迭代地应用RL来修剪不期望的架构候选，并识别有希望的子空间来执行DNAS。使用具有12 GB GPU内存的工作站进行的实验表明，在CIFAR-10和ImageNet数据集上，与最先进的基于RL的方法相比，RADARS可以实现高达3.41%的准确性，搜索时间减少2.5倍，而两个DNAS基线由于过多的内存使用或搜索时间而无法完成。据作者所知，这是第一个可以处理具有有限内存使用的大搜索空间的DNAS框架。
2021-09-13 cs.LG
Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search
Nanjing University of Information Science and Technology（南京信息工程大学）
可微分神经结构搜索（DARTS）作为一种梯度引导的搜索方法，大大降低了计算成本，加快了搜索速度。在DARTS中，架构参数被引入到候选操作中，但是一些权重配备的操作的参数可能在初始阶段没有被很好地训练，这导致候选操作之间的不公平竞争。无重量操作大量出现，导致性能崩溃现象。此外，在训练超网时会占用大量的内存，导致内存利用率较低。提出了一种基于通道注意的部分通道连接可微分神经结构搜索算法。通过注意力机制选择权值较高的通道送入操作空间，而其他通道则直接与处理后的通道联系。选择少数关注权值较高的通道，可以更好地将重要特征信息传递到搜索空间中，大大提高搜索效率和内存利用率。也可以避免随机选择造成的网络结构不稳定。实验结果表明，ADARTS在CIFAR-10和CIFAR-100上分别获得了2.46%和17.06%的分类出错率。ADARTS能有效地解决搜索过程中出现的跳跃连接过多的问题，得到性能更好的网络结构。
2022-08-01 cs.LG
Differentiable Neural Architecture Transformation for Reproducible Architecture Improvement
Hana Institute of Technology（Hana技术研究所）
最近，神经结构搜索（NAS）方法被引入，并在许多基准测试中表现出令人印象深刻的性能。在这些NAS研究中，神经架构Transformer（NAT）旨在改进给定的神经架构，以在保持计算成本的同时具有更好的性能。然而，NAT具有缺乏再现性的局限性。在本文中，我们提出了可微神经架构转换，是可再生的和有效的。所提出的方法在各种架构上表现出稳定的性能。在两个数据集上进行了广泛的再现性实验，即，CIFAR-10和Tiny Imagenet的实验结果表明，该方法的性能明显优于NAT，并适用于其他模型和数据集。
2020-06-15 cs.CV cs.LG stat.ML
Recovering Quantitative Models of Human Information Processing with Differentiable Architecture Search
Princeton Neuroscience Institute, Princeton University（普林斯顿大学普林斯顿神经科学研究所）；Princeton, NJ 08544, USA（美国新泽西州普林斯顿（注：此为地址信息，非机构，不应提取，原数据中可能存在格式问题））；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
将行为现象整合到认知功能的机械模型中是认知科学的一个基本要素。然而，研究人员开始积累越来越多的数据，而没有时间或金钱资源将这些数据整合到科学理论中。我们试图通过将现有的机器学习技术整合到一个开源管道中来克服这些限制，以自动构建定量模型。该管道利用神经架构搜索来自动发现可解释的模型架构，并利用自动微分来自动将模型参数拟合到数据。我们评估这些方法的效用的基础上，他们的能力，以恢复定量模型的人类信息处理从合成数据。我们发现，这些方法是能够恢复基本的定量图案从模型的心理物理学，学习和决策。我们还强调了这一框架的弱点，并讨论其缓解未来的方向。
2021-05-17 cs.LG
Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection
EURECOM（欧洲通信系统工程学院）
本文报告了可区分架构搜索（DARTS）方法在深度伪造和欺骗检测问题中的首次成功应用。作为神经架构搜索的一个例子，DARTS在连续的、可微分的搜索空间上操作，这使得架构和参数都能够通过梯度下降来优化。基于部分连接DARTS的解决方案在搜索空间中使用随机通道掩蔽，以减少GPU时间，并自动学习和优化由卷积运算和残差块组成的复杂神经架构。尽管学习速度很快，几乎没有人力投入，但由此产生的网络与文献中报道的最佳性能系统相比具有竞争力。有些也远没有那么复杂，包含的参数比Res2Net竞争对手少85%。
2021-06-30 cs.LG cs.SD eess.AS
D-DARTS: Distributed Differentiable Architecture Search
Université Paris-Saclay（巴黎萨克雷大学）；MIT（麻省理工学院）
可区分的ARCHITERMS搜索（DARTS）是最流行的神经架构搜索（NAS）方法之一。它通过权重共享大大降低了搜索成本。然而，它也大大减少了搜索空间，从而排除了潜在的有前途的架构。在本文中，我们提出了D-DARTS，这是一种解决方案，它通过在细胞级别嵌套神经网络来解决这个问题，而不是使用权重共享来产生更多样化和专业化的架构。此外，我们引入了一种新的算法，可以从一些训练过的细胞中获得更深的架构，提高性能并节省计算时间。此外，我们还提出了一种替代的搜索空间（DARTOpti），在其中我们优化了现有的手工架构（例如，而不是从头开始。这种方法伴随着一个新的度量，该度量在我们的自定义搜索空间内测量架构之间的距离。我们的解决方案在多个计算机视觉任务上达到了具有竞争力的性能。代码和预训练模型可以在https://github.com/aheuillet/D-DARTS上访问。
2022-11-01 cs.CV cs.LG
Improving Differentiable Architecture Search with a Generative Model
UC San Diego（加州大学圣地亚哥分校）
在DARTS等可微神经架构搜索（NAS）算法中，用于更新模型权重的训练集和用于更新模型架构的验证集是从相同的数据分布中采样的。因此，数据集中不常见的特征在训练过程中没有得到足够的关注。在本文中，我们没有引入更复杂的NAS算法，而是探索了将高质量的合成数据集添加到训练中可以帮助分类模型识别其弱点并提高识别精度的想法。我们引入了一种训练策略，称为“具有生成模型的可区分体系结构搜索（DASGM）”。在DASGM中，训练集用于更新分类模型权重，而合成数据集用于训练其架构。生成的图像具有与训练集不同的分布，这可以帮助分类模型学习更好的特征以识别其弱点。本文将DASGM构造成一个多层次的优化框架，并设计了一个有效的算法来求解，在CIFAR-10、CIFAR-100和ImageNet上的实验证明了DASGM的有效性。代码将提供。
2021-11-30 cs.CV cs.LG
Rethinking Architecture Selection in Differentiable NAS
DiDi AI Labs（滴滴AI实验室）
微分神经结构搜索（Differentiable Neural Architecture Search，NAS）是目前最流行的神经结构搜索方法之一，它通过基于梯度的算法在一个权值共享超网中联合优化模型权值和结构参数来实现。在搜索阶段结束时，将选择具有最大架构参数的操作来形成最终架构，隐含假设架构参数的值反映了操作强度。虽然已经讨论了很多关于超网的优化，架构选择过程很少受到关注。我们提供的经验和理论分析表明，架构参数的大小并不一定表明有多少操作有助于超网的性能。我们提出了一种替代的扰动为基础的架构选择，直接衡量每个操作的超网的影响。我们重新评估了几个不同的NAS方法与建议的架构选择，并发现它是能够提取显着改进的架构，从底层超网一致。此外，我们发现，DARTS的几种故障模式可以大大减轻与建议的选择方法，这表明在DARTS中观察到的大部分不良的泛化可以归因于失败的基于幅度的架构选择，而不是完全优化其超网。
2021-08-10 cs.CV cs.LG
DASViT: Differentiable Architecture Search for Vision Transformer
School of Computer Science and Electronic Engineering University of Surrey（计算机科学与电子工程学院大学 Surrey 大学）；School of Artificial Intelligence and Computer Science Jiangnan University（人工智能与计算机科学学院江南大学）
本文提出DASViT，将可微架构搜索引入视觉Transformer，以突破传统编码器设计，在多个数据集上超越ViT-B/16，并实现更低参数和FLOPs的高效架构。
2025-07-17 cs.CV cs.LG
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India（计算机科学与工程系，PES大学，班加罗尔，印度）
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法，自动为多语言命名实体识别寻找最优微架构，以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，微分搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而，这些方法在评估搜索的架构或将其转移到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。在本文中，我们提出了一个有效的算法，它允许搜索架构的深度逐渐增长的训练过程中。这带来了两个问题，即较重的计算开销和较弱的搜索稳定性，我们解决了搜索空间近似和正则化，分别。通过显著减少搜索时间（在单个GPU上约7小时），我们的方法在代理数据集（CIFAR10或CIFAR100）和目标数据集（ImageNet）上都实现了最先进的性能。代码可在https://github.com/chenxin061/pdarts上获得。
2019-04-29 cs.CV cs.LG
Understanding the wiring evolution in differentiable neural architecture search
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
关于可微神经结构搜索方法能否有效地发现布线拓扑存在争议。要了解如何布线拓扑结构的演变，我们研究了几个现有的可区分的NAS框架的底层机制。我们的研究是由三个观察到的搜索模式的可微NAS的动机：1）他们通过增长而不是修剪搜索; 2）更宽的网络比更深的网络更受欢迎; 3）在双层优化中没有选择边。为了剖析这些现象，我们对现有框架的搜索算法提出了一个统一的观点，将全局优化转化为局部代价最小化。在此基础上，我们进行了实证和理论分析，揭示了隐含的诱导偏差的成本的分配机制和演化动力学，导致观察到的现象。这些偏见表明对某些拓扑结构的强烈歧视。为此，我们提出的问题，未来的可区分的神经布线发现的方法需要面对的，希望引起讨论和重新思考有多少偏见已隐含在现有的NAS方法。
2021-02-25 cs.LG stat.ML
DAAS: Differentiable Architecture and Augmentation Policy Search
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
神经结构搜索（NAS）是自动机器学习（Auto-ML）的一个活跃方向，旨在探索高效的网络结构。通过在具有固定数据增强策略的数据集上进行训练来评估所搜索的架构。然而，最近的自动增强工作表明，合适的增强策略可以根据不同的结构而变化。因此，这项工作考虑了可能的耦合之间的神经架构和数据增强，并提出了一种有效的算法联合搜索它们。具体而言，针对NAS任务，采用基于单路径的可微方法和Gumbel-softmax重参数化策略，以提高内存效率;针对自动增强任务，采用基于策略梯度算法的搜索方法，显著降低计算复杂度。我们的方法在CIFAR-10上达到了97.91%的准确率，在ImageNet数据集上达到了76.6%的Top-1准确率，显示了我们搜索算法的出色性能。
2022-01-28 cs.CV cs.LG
Enabling Hard Constraints in Differentiable Neural Network and Accelerator Co-Exploration
Yonsei University（延世大学）；NAVER（NAVER公司）
最佳神经架构及其硬件加速器的共同探索是一种越来越感兴趣的方法，它解决了计算成本问题，特别是在低配置系统中。大的共同探索空间通常通过采用可微神经结构搜索的思想来处理。然而，尽管可区分的共同探索的优越的搜索效率，它面临着不能系统地满足硬约束，如帧速率的关键挑战。为了处理可微共同探索的硬约束问题，我们提出了HDX，它搜索硬约束的解决方案，而不损害全局设计目标。通过操纵梯度的利益，给定的硬约束，高品质的解决方案，满足约束可以获得。
2023-01-23 cs.AR cs.LG
DSRNA: Differentiable Search of Robust Neural Architectures
UC San Diego（加州大学圣迭戈分校）
在深度学习应用中，深度神经网络的架构对于实现高精度至关重要。已经提出了许多方法来自动搜索高性能的神经结构。然而，这些搜索的架构容易受到对抗攻击。输入数据的小扰动可以使架构显著地改变预测结果。为了解决这个问题，我们提出了方法来执行可微搜索的强大的神经架构。在我们的方法中，定义了两个可微度量来衡量架构的鲁棒性，基于认证的下界和雅可比范数界。然后，我们通过最大化鲁棒性度量来搜索鲁棒性架构。与以前旨在以隐式方式提高架构鲁棒性的方法不同：执行对抗性训练和注入随机噪声，我们的方法显式地直接最大化鲁棒性度量以收获鲁棒架构。在CIFAR-10，ImageNet和MNIST上，我们对我们方法的鲁棒性进行了基于游戏的评估和基于验证的评估。实验结果表明，我们的方法1）比几个强大的NAS基线对各种范数约束攻击更鲁棒; 2）当没有攻击时，比基线更准确; 3）比基线具有更高的认证下限。
2020-12-11 cs.CR cs.CV cs.LG
TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework
University of Electronic Science and Technology of China（电子科技大学）；Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
针对可微NAS无法处理不可微目标的问题，提出TND-NAS框架，结合可微NAS的高效性与多目标NAS的兼容性，通过离散空间优化与渐进搜索空间缩减，在较低计算成本下搜索出高性能紧凑架构。
2023-07-01 cs.AI cs.LG
Incremental Learning with Differentiable Architecture and Forgetting Search
Georgia Institute of Technology（佐治亚理工学院）；SRI International（斯坦福国际研究院）
随着在递增扩展分类任务上训练机器学习模型（即，增量学习），下一步是将这一进展转化为行业预期。增量学习中缺少的一种技术是通过神经架构搜索（NAS）进行自动架构设计。在本文中，我们证明了利用NAS进行增量学习可以为分类任务带来强大的性能增益。具体来说，我们做出了以下贡献：首先，我们基于可区分架构搜索（DARTS）和最先进的增量学习策略创建了一个强大的增量学习基线方法，优于许多使用类似规模的流行架构训练的现有策略;其次，我们扩展了架构搜索的概念，以规范架构遗忘，提高性能超过我们提出的基线。我们评估我们的方法对RF信号和图像分类任务，并证明我们可以实现高达10%的性能提高超过国家的最先进的方法。最重要的是，我们的贡献使得能够从真实世界应用数据的连续分布中学习，其中数据分布的复杂性是未知的，或者模态较少探索（例如RF信号分类）。
2022-05-19 cs.AI cs.LG
Memory-Efficient Differentiable Transformer Architecture Search
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Microsoft Corporation（微软公司）
可区分结构搜索（DARTS）已成功应用于许多视觉任务。然而，直接将DARTS用于Transformers是内存密集型的，这使得搜索过程不可行。为此，我们提出了一种多分裂可逆网络，并将其与DARTS相结合。具体来说，我们设计了一个反向传播与重建算法，使我们只需要存储最后一层的输出。通过减轻DARTS的内存负担，它允许我们搜索更大的隐藏大小和更多的候选操作。我们在三个序列到序列数据集上评估搜索的架构，即，WMT'14英语-德语，WMT'14英语-法语和WMT'14英语-捷克语。实验结果表明，我们的网络始终优于标准的Transformers在整个任务。此外，我们的方法与大尺寸的进化Transformers相比，减少了一个数量级的搜索计算。
2021-05-31 cs.CL cs.LG
Flexible Channel Dimensions for Differentiable Architecture Search
EPFL（洛桑联邦理工学院）
针对现有通道维度神经架构搜索依赖固定搜索空间的问题，提出带动态通道分配的可微搜索方法，在CIFAR-10上实现与现有方法性能相当的架构，同时提升搜索效率并降低内存需求，无需预设搜索空间。
2023-06-13 cs.AI cs.LG
Analytical aspects of non-differentiable neural networks
Università di Trento（特伦托大学）；ETH Zürich（苏黎世联邦理工学院）
计算深度学习的研究已经通过简化激活函数或量化激活和权重，将相当大的努力引向深度神经网络的面向硬件的优化。由此产生的网络的不可微性（甚至不连续性）带来了一些具有挑战性的问题，特别是与学习过程有关的问题。在本文中，我们解决了几个问题，量化的神经网络和逼近技术的不可微网络的表达能力。首先，我们肯定地回答QNN是否具有与DNN相同的表现力的问题，在$L^{\infty}$规范中近似Lipschitz函数。然后，考虑到一个连续但不一定是可微的网络，我们描述了一种逐层随机正则化技术来产生可微近似，我们展示了这种正则化方法如何提供优雅的定量估计。最后，我们考虑网络定义的Heaviside型激活函数，并证明了他们的一个逐点逼近结果，通过光滑网络适当的假设下，正则化的激活。
2020-11-03 cs.LG math.OC
A short note on the decision tree based neural turing machine
grusoft（格鲁软件）
图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展，它们之间出现了交叉。神经图灵机（NTM）为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中，我们展示了这两个模型之间的深层联系。即：可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系，我们提出了一个响应增强差分森林（RaDF）。RaDF的控制器是可微森林，外部存储器是响应向量，可由叶子节点读写。
2020-10-27 cs.AI cs.LG cs.NE
Heart-Darts: Classification of Heartbeats Using Differentiable Architecture Search
Sichuan University（四川大学）
心律失常是一种心血管疾病，表现为不规则的心跳。在心律失常检测中，心电图（ECG）信号是一种重要的诊断技术。然而，手动评估ECG信号是一项复杂且耗时的任务。随着卷积神经网络（CNN）的应用，评估过程加快了，性能得到了提高。值得注意的是，CNN的性能在很大程度上取决于其架构设计，这是一个基于专家经验和试错的复杂过程。在本文中，我们提出了一种新的方法，心脏飞镖，有效地分类心电图信号自动设计的CNN模型与可微结构搜索（即，Darts，一种基于细胞的神经结构搜索方法）。具体来说，我们首先搜索一个细胞架构的飞镖，然后定制一个新的CNN模型的基础上获得的细胞心电图分类。为了研究所提出的方法的效率，我们评估了MIT-BIH心律失常数据库上构建的模型。此外，所提出的CNN模型的可扩展性在另外两个新的数据库上进行了验证。大量的实验结果表明，所提出的方法优于几个国家的最先进的CNN模型在ECG分类的性能和泛化能力。
2021-05-03 cs.LG eess.SP
DARC: Differentiable ARchitecture Compression
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
在许多学习情况下，推理时的资源比训练时的资源更受约束。本文研究了一种称为微分架构压缩（DARC）的通用范式，该范式将模型压缩和架构搜索相结合，以学习在推理时具有资源效率的模型。给定一个资源密集型的基础架构，DARC利用训练数据来学习哪些子组件可以被更便宜的替代品取代。高层次的技术可以应用于任何神经架构，我们报告的国家的最先进的卷积神经网络的图像分类的实验。对于CIFAR-10上具有$97.2\%$精度的WideResNet，我们将单样本推理速度提高了$2.28\times$，将内存占用提高了$5.64\times$，而没有精度损失。对于ImageNet上具有$79.15\%$ Top1精度的ResNet，我们通过$1.29\times$提高了批量推理速度，通过$3.57\times$提高了内存占用，但损失了$1\%$精度。我们还在简化的情况下给出了理论Rademacher复杂性界限，展示了DARC如何避免过拟合，尽管过参数化。
2019-05-20 cs.CV cs.LG stat.ML
FX-DARTS: Designing Topology-unconstrained Architectures with Differentiable Architecture Search and Entropy-based Super-network Shrinking
Beijing Normal University（北京师范大学）；Southern University of Science and Technology（南方科技大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）；Politecnico di Milano（米兰理工大学）；Universita’ Della Svizzera Italiana（瑞士意大利大学）
本文提出FX-DARTS方法，通过消除单元拓扑约束并利用基于熵的超网络收缩框架，在扩大的搜索空间中稳定地推导出性能与计算复杂度具有竞争性权衡的神经架构。
2025-04-25 cs.AI cs.LG
RT-DNAS: Real-time Constrained Differentiable Neural Architecture Search for 3D Cardiac Cine MRI Segmentation
University of Notre Dame（圣母大学）；Guangdong Provincial People’s Hospital（广东省人民医院）；Zhejiang University（浙江大学）；University of New Mexico（新墨西哥大学）
电影磁共振成像（MRI）的时间帧的准确分割是各种实时MRI引导心脏介入治疗的关键步骤。为了实现快速准确的视觉辅助，对分割框架的最大延迟和最小吞吐量有严格的要求。这项任务中最先进的神经网络大多是手工制作的，以满足这些约束，同时实现高精度。另一方面，虽然现有文献已经证明了神经架构搜索（NAS）在自动识别各种医疗应用的最佳神经架构方面的能力，但它们大多以准确性为指导，有时具有计算复杂性，并且忽略了实时约束的重要性。一个主要的挑战是，这种约束是不可微的，因此与广泛使用的可微NAS框架不兼容。在本文中，我们提出了一种策略，直接处理实时约束的可区分的NAS框架RT-DNAS。在扩展的2017年MICCAI ACDC数据集上的实验表明，与最先进的手动和自动设计的架构相比，RT-DNAS能够在满足实时约束的同时以更高的准确性识别架构。
2022-06-13 cs.CV cs.LG eess.IV
DARTS+: Improved Differentiable Architecture Search with Early Stopping
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，人们对自动化神经架构设计过程的兴趣越来越大，而可区分架构搜索（DARTS）方法使该过程在几天内可用。然而，DARTS的性能往往被观察到崩溃时，搜索时期的数量变得很大。同时，在选定的体系结构中发现了大量的“{ \em skip-connect}”。本文认为，这种崩溃的原因是DARTS优化过程中存在过拟合。因此，我们提出了一个简单而有效的算法，命名为“DARTS+”，以避免崩溃和改善原来的DARTS，通过“早期停止”的搜索过程时，满足一定的标准。我们还在基准数据集和不同的搜索空间上进行了全面的实验，并展示了我们的DARTS+算法的有效性，DARTS+在CIFAR 10上实现了$2.32\%$测试错误，在CIFAR 100上实现了$14.87\%$，在ImageNet上实现了$23.7\%$。我们进一步指出，“提前停止”的想法是隐含地包括在一些现有的DARTS变种手动设置少量的搜索时期，而我们给出了一个{ \em明确}标准“提前停止”。
2020-10-20 cs.CV cs.LG
Bonsai-Net: One-Shot Neural Architecture Search via Differentiable Pruners
Newcastle University（纽卡斯尔大学）
One-shot Neural Architecture Search（NAS）旨在最大限度地减少发现最先进模型的计算费用。然而，在过去的一年里，人们的注意力已经吸引到在相同的搜索空间的领先NAS算法使用的朴素随机搜索的可比性能。为了解决这个问题，我们探索的影响，大幅放宽NAS搜索空间，我们提出了Bonsai-Net，一个有效的一次性NAS方法来探索我们放松的搜索空间。Bonsai-Net是围绕修改后的差分修剪器构建的，可以始终如一地发现最先进的架构，这些架构比随机搜索要好得多，参数比其他最先进的方法要少。此外，Bonsai-Net同时执行模型搜索和训练，大大减少了从头开始生成完全训练的模型所需的总时间。
2021-06-04 cs.LG stat.ML
Zero-Cost Operation Scoring in Differentiable Architecture Search
University of Warwick（华威大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Cornell University（康奈尔大学）；University of Cambridge（剑桥大学）
我们形式化和分析的基本组成部分微分神经架构搜索（NAS）：本地“操作评分”在每个操作的选择。我们认为现有的操作评分功能的准确性不准确的代理，我们发现，他们表现不佳时，NAS基准经验分析。从这个角度来看，我们介绍了一种新的\textit{perturbation-based zero-cost operation scoring}（零成本PT）的方法，它利用零成本代理，最近研究了多次试验NAS，但降低显着较大的搜索空间，典型的可区分NAS。我们对一些NAS基准测试和大型搜索空间进行了全面的实证评估，从NAS-Bench-201，NAS-Bench-1 Shot 1，NAS-Bench-Macro，到DARTS和MobileNet空间，显示出搜索时间和准确性的显着改善。在DARTS搜索空间上的ImageNet分类任务中，与当前最好的免训练方法（TE-NAS）相比，我们的方法提高了准确性，同时比现有方法快10 $\times$以上（在单个GPU上的总搜索时间为25分钟），并且在CIFAR-10数据集上搜索的架构上观察到更好的可移植性，准确性提高了1.8 pp。我们的代码可在https://github.com/zerocostptnas/zerocost_operation_score上获得。
2023-02-09 cs.AI cs.LG
Towards a Robust Differentiable Architecture Search under Label Noise
The Australian National University（澳大利亚国立大学）；Monash University（莫纳什大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织Data61）
神经架构搜索（NAS）是设计强大神经架构的游戏规则改变者。NAS设计的架构在准确性、大小、内存占用和FLOP方面优于最好的手动网络设计或与其竞争。也就是说，以前的研究集中在为干净的高质量数据开发NAS算法，这是一个限制性的和有些不切实际的假设。在本文中，专注于可区分的NAS算法，我们表明，香草NAS算法遭受的性能损失，如果类标签是嘈杂的。为了解决这个问题，我们利用信息瓶颈的原则作为正则化。这导致我们开发了一个噪声注入操作，该操作包括在学习过程中，防止网络从噪声样本中学习。我们的经验评估表明，噪声注入操作不会降低NAS算法的性能，如果数据确实是干净的。相比之下，如果数据是嘈杂的，我们的算法学习的架构舒适地优于专门配备了复杂机制的算法，在标签噪声的存在下学习。与许多设计用于在存在噪声标签的情况下工作的算法相比，我们的算法不需要关于噪声的属性及其特性的先验知识。
2021-10-23 cs.CV cs.LG
GOLD-NAS: Gradual, One-Level, Differentiable
Huawei Inc.（华为公司）；Tsinghua University（清华大学）；Tongji University（同济大学）
已有大量的神经结构搜索文献，但大多数现有的工作利用启发式规则，在很大程度上限制了搜索的灵活性。在本文中，我们首先放松这些手动设计的约束，并扩大搜索空间，包含更多的$10^{160}$候选人。在新的空间中，大多数现有的可微搜索方法可能会显着失败。然后，我们提出了一种新的算法命名为渐进的一级可微神经结构搜索（GOLD-NAS），它引入了一个可变的资源约束的一级优化，使弱运营商逐渐修剪出的超级网络。在标准的图像分类基准测试中，GOLD-NAS可以在单个搜索过程中找到一系列帕累托最优架构。大多数发现的架构以前从未被研究过，但它们在识别准确性和模型复杂性之间实现了很好的权衡。我们相信，新的空间和搜索算法可以提高可微NAS的搜索。
2020-07-07 cs.CV cs.LG cs.NE
CycleGANAS: Differentiable Neural Architecture Search for CycleGAN
Korea University（高丽大学）
本文提出CycleGANAS，首个针对CycleGAN的可微分神经架构搜索框架，通过堆叠ResNet单元并分别搜索两个翻译方向，实现了性能匹配或超越原始CycleGAN并解决数据不平衡问题。
2023-11-13 cs.CV cs.LG eess.IV
CHASE: Robust Visual Tracking via Cell-Level Differentiable Neural Architecture Search
University of Alberta（阿尔伯塔大学）；Yazd University（亚兹德大学）；Sharif University of Technology（谢里夫理工大学）
如今，强大的视觉对象跟踪器依赖于其精心制作的模块，这些模块通常由手动设计的网络架构组成，以提供高质量的跟踪结果。毫不奇怪，手工设计过程成为一个特别具有挑战性的障碍，因为它需要足够的经验，巨大的努力，直觉，也许还有一些好运气。与此同时，神经网络结构搜索作为解决可行网络结构自动搜索问题的一种很有前途的方法，在实际应用中获得了越来越多的基础。在这项工作中，我们提出了一种新的细胞级可区分的架构搜索机制，提前停止自动化的网络设计的跟踪模块，旨在适应骨干功能的暹罗跟踪网络的目标在离线训练。此外，所提出的提前停止策略避免了过度拟合和性能崩溃问题，从而提高了泛化能力。所提出的方法简单、高效，并且不需要堆叠一系列模块来构建网络。我们的方法很容易被纳入现有的跟踪器，这是经验验证使用不同的可区分的架构搜索为基础的方法和跟踪目标。广泛的实验评估表明，我们的方法优于五个常用的基准性能。
2021-10-26 cs.AI cs.CV cs.LG
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University（耶鲁大学）
本文综述了将凸优化问题作为可微层嵌入神经网络的方法，梳理其从二次规划到一般凸优化的发展，并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
DropNAS: Grouped Operation Dropout for Differentiable Architecture Search
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经架构搜索（NAS）在自动化架构设计方面取得了令人鼓舞的成果。最近，DARTS通过一种可微分的公式来放松搜索过程，该公式利用权重共享和SGD，其中所有候选操作都同时训练。我们的实验结果表明，这样的过程中的协同适应问题和马太效应的结果：具有较少的参数的操作将被提前训练。这导致两个问题：首先，具有更多参数的操作可能永远没有机会表达期望的功能，因为那些具有较少参数的操作已经完成了工作; 2其次，系统将通过降低其结构参数来惩罚那些表现不佳的操作，并且它们将获得较小的损失梯度，这导致马太效应。本文系统地研究了这些问题，并提出了一种新的分组操作丢弃算法DropNAS来解决DARTS中存在的问题。大量的实验表明，DropNAS解决了上述问题，并取得了良好的性能。具体来说，DropNAS在CIFAR-10上实现了2.26%的测试误差，在CIFAR-100上实现了16.39%的测试误差，在ImageNet上实现了23.4%的测试误差（为了公平比较，使用与DARTS相同的训练超参数）。还观察到，DropNAS在DARTS搜索空间的变体中是鲁棒的。代码可在www.example.com上获得。
2022-01-27 cs.CV cs.LG
Improving Differentiable Architecture Search via Self-Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对DARTS中超网络收敛至尖锐最小值导致性能差距的问题，提出SD-DARTS，利用自蒸馏和投票教师机制降低损失尖锐度，弥合离散化差距，实验验证优于现有方法。
2023-09-01 cs.AI cs.CV cs.LG
HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search
Alibaba Group（阿里巴巴集团）
神经网络的实际使用通常需要遵守对延迟、能量和存储器等的多个约束。找到拟合网络的一种流行方法是通过约束神经结构搜索（NAS），然而，以前的方法只能柔和地执行约束。因此，所得到的网络不完全遵守资源约束，其准确性受到损害。在这项工作中，我们解决了这个问题，通过引入硬约束可出租NAS（HardCore-NAS），这是基于一个准确的制定预期的资源需求和可扩展的搜索方法，满足整个搜索的硬约束。我们的实验表明，HardCore-NAS生成国家的最先进的架构，超越其他NAS方法，同时严格满足硬资源约束，无需任何调整。
2021-02-23 cs.AI cs.CV cs.LG
DDNAS: Discretized Differentiable Neural Architecture Search for Text Classification
National Cheng Kung University（国立成功大学）
针对文本NAS缺乏操作融合与层次类别建模的问题，提出DDNAS，通过连续松弛、梯度搜索及互信息离散化层提升文本分类性能。
2023-07-12 cs.CL cs.IR cs.LG
AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search
Alibaba Group（阿里巴巴集团）
大型预训练语言模型，如BERT，已经在各种自然语言处理任务中显示出其有效性。然而，巨大的参数大小使得它们难以部署在需要快速推理的实时应用中。现有方法将BERT压缩成小模型，而这种压缩是与任务无关的，即，对于所有不同的下游任务，使用相同的压缩BERT。基于面向任务的BERT压缩的必要性和优点，提出了一种新的压缩方法Ada BERT，利用可微神经结构搜索将BERT自动压缩为特定任务的自适应小模型。我们将面向任务的知识蒸馏损失提供搜索提示和效率意识的损失作为搜索约束，这使得任务自适应BERT压缩的效率和有效性之间的良好权衡。我们在几个NLP任务上对Ada BERT进行了评估，结果表明，这些任务自适应压缩模型在推理时间上比BERT快12.7倍到29.3倍，在参数大小方面小11.5倍到17.0倍，同时保持了相当的性能。
2021-01-22 cs.CL cs.LG
A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
Università di Milano（米兰大学）；Gruppo Nazionale Calcolo Scientifico, INDAM（意大利国家数学物理应用研究所国家科学计算小组）；Università di Pavia（帕维亚大学）
本文扩展基于奇异黎曼度量的神经网络几何框架，使其适用于卷积、残差和递归网络及 ReLU 等不可微激活函数，并通过图像分类与热力学数值实验验证。
2024-04-09 cs.LG math.DG
Noisy Differentiable Architecture Search
Xiaomi AI Lab（小米人工智能实验室）
简单是最终的复杂。可区分结构搜索（DARTS）现已成为神经结构搜索的主流范式之一。然而，由于跳过连接的聚集，它在很大程度上遭受了众所周知的性能崩溃问题。它被认为过度受益于加速信息流动的剩余结构。为了削弱这种影响，我们建议注入无偏随机噪声来阻碍流量。我们将这种新颖的方法命名为NoisyDARTS。实际上，网络优化器应该在每个训练步骤中都意识到这种困难，并避免过冲，特别是在跳过连接时。从长远来看，由于我们在期望方面没有向梯度添加偏差，因此它仍然有可能收敛到正确的解区域。我们还证明了注入的噪声在平滑损失景观中起作用，这使得优化更容易。我们的方法非常简单，并作为一个新的强基线。我们在各种搜索空间、数据集和任务中进行了广泛的实验，在这些实验中，我们稳健地获得了最先进的结果。我们的代码可在https://github.com/xiaomi-automl/NoisyDARTS上获得。
2021-10-17 cs.CV cs.LG stat.ML
DNAD: Differentiable Neural Architecture Distillation
School of Systems Science, Beijing Normal University（北京师范大学系统科学学院）；School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）
本文提出可微神经架构蒸馏算法DNAD，结合基于DARTS的超网络渐进收缩（SNPS）与知识蒸馏（KD），推导出帕累托最优的灵活架构，有效避免过拟合并实现更优的性能与复杂度权衡。
2025-04-25 cs.AI cs.LG
Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics Simulations with Neural Architecture Search and Transfer Learning
Beihang University（北京航空航天大学）
针对神经网络代理模型泛化性差、高保真仿真数据成本高的问题，提出结合NAS与迁移学习的可微多保真度融合模型，仅需少量高保真样本即可实现更优的物理仿真学习效果。
2023-06-12 cs.AI cs.LG
Differentiable Symbolic Planning: A Neural Architecture for Constraint Reasoning with Learned Feasibility
Sithara Inc.（Sithara公司）
本文提出可微符号规划（DSP），通过神经架构实现离散符号推理并保持全可微性，结合通用认知内核（UCK）在约束推理基准中取得高准确率。
2026-02-19 cs.AI cs.LG
Operation-level Progressive Differentiable Architecture Search
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
可区分神经结构搜索（DARTS）由于其高搜索效率和低计算代价而成为神经结构搜索（NAS）方法中越来越受欢迎的方法。然而，DARTS的稳定性非常差，特别是跳过连接聚合，导致性能崩溃。虽然现有的方法利用Hessian特征值来减轻跳过连接聚集，但它们使DARTS无法探索具有更好性能的架构。在本文中，我们提出了操作级渐进可微神经结构搜索（OPP-DARTS），以避免跳过连接聚合，同时探索更好的结构。我们首先在搜索阶段将搜索过程分为几个阶段，并在每个阶段开始时逐步增加候选操作到搜索空间中。它可以有效地缓解DARTS搜索阶段操作之间的不公平竞争，抵消跳过连接相对于其他操作的固有不公平优势。此外，为了保持操作之间的竞争相对公平，从候选操作集中选择使超网训练损失最大的操作。实验结果表明，该方法是有效的.该方法在CIFAR-10上的性能优于标准DARTS的体系结构，并且该方法的可移植性也优于标准DARTS。我们进一步证明了我们的方法在三个简单的搜索空间，即，S2，S3，S4，结果表明我们的方法比标准DARTS更鲁棒。我们的代码可在https://github.com/zxunyu/OPP-DARTS上获得。
2023-02-11 cs.AI cs.CV cs.LG
Efficient Automation of Neural Network Design: A Survey on Differentiable Neural Architecture Search
IBISC（IBISC实验室）；Univ Evry（埃夫里大学）；Université Paris-Saclay（巴黎萨克雷大学）；Massachusetts Institute of Technology（麻省理工学院）
本文是聚焦可微神经网络架构搜索（DNAS）的综述，梳理该领域最新进展，提出基于挑战的新分类法，分析其成果与对NAS领域的影响，并给出未来研究方向。
2023-05-01 cs.AI cs.CV cs.LG
Fair DARTS: Eliminating Unfair Advantages in Differentiable Architecture Search
Xiaomi AI Lab（小米人工智能实验室）；Minzu University of China（中央民族大学）
可区分架构搜索（DARTS）现在是一种广泛传播的权重共享神经架构搜索方法。然而，由于不可避免的跳过连接的聚集，它遭受了众所周知的性能崩溃。本文首先揭示了其根源在于排他性竞争中的不公平优势。通过实验，我们表明，如果两个条件中的任何一个被打破，崩溃消失。因此，我们提出了一种新的方法，称为公平的DARTS的独家竞争是放松合作。具体来说，我们让每个操作的架构权重独立于其他操作。然而，仍然有一个重要的问题，离散化的差异。然后，我们提出了一个零一损失，推动建筑权重接近零或一，这近似于预期的多热解决方案。我们的实验是在两个主流的搜索空间上进行的，我们在CIFAR-10和ImageNet上得到了新的最先进的结果。我们的代码可以在https://github.com/xiaomi-automl/fairdarts上找到。
2020-07-16 cs.AI cs.CV cs.LG
MIDAS: Mosaic Input-Specific Differentiable Architecture Search
Independent Researcher（独立研究者）
MIDAS通过引入动态输入特定参数和拓扑感知搜索空间，提高了神经架构搜索的鲁棒性和性能，实现了在多个数据集上的优异表现。
2026-10-28 cs.AI cs.LG cs.NE
DANCE: Differentiable Accelerator/Network Co-Exploration
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
为了应对DNN执行的不断增长的计算需求，最近的神经架构搜索（NAS）算法考虑了硬件成本指标，例如GPU延迟。为了进一步追求快速，高效的执行，DNN专用硬件加速器正在被设计用于多种用途，这远远超过了GPU的效率。然而，这些硬件相关的指标已被证明表现出与网络架构的非线性关系。因此，是针对加速器优化网络，还是针对网络优化加速器，就成了一个鸡和蛋的问题。在这种情况下，这项工作提出了DANCE，一个不同的方法对硬件加速器和网络架构设计的共同探索。DANCE的核心是一个可区分的评估器网络。通过利用神经网络对硬件评估软件进行建模，加速器架构与硬件度量之间的关系变得可区分，从而允许利用反向传播来执行搜索。与幼稚的现有方法相比，我们的方法在更短的时间内执行共同探索，同时实现更高的准确性和硬件成本指标。
2021-02-16 cs.AI cs.AR cs.LG
SpiderNet: Hybrid Differentiable-Evolutionary Architecture Search via Train-Free Metrics
Red Hat（红帽公司）；Newcastle University（纽卡斯尔大学）
神经结构搜索（NAS）算法旨在消除人工神经网络设计的负担，并已被证明能够为各种众所周知的问题设计优秀的模型。然而，这些算法需要以用户配置或硬编码决策的形式的各种设计参数，这限制了可以发现的网络的种类。这意味着NAS算法并没有消除模型设计调优，它们只是转移了需要应用调优的地方的负担。在本文中，我们提出了蜘蛛网，一个混合微分进化和硬件感知算法，快速，有效地产生国家的最先进的网络。更重要的是，SpiderNet是一个最小配置NAS算法的概念验证;在其他算法中看到的大多数设计选择都被纳入SpiderNet的动态演化搜索空间，将用户选择的数量最小化到只有两个：减少单元数和初始通道数。SpiderNet生成的模型与最先进的模型具有很强的竞争力，并且在准确性、运行时间、内存大小和参数计数方面优于随机搜索。
2022-04-20 cs.CV cs.LG cs.NE
U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search
EPFL（洛桑联邦理工学院）
优化目标平台中的资源利用率是在DNN推理期间实现高性能的关键。虽然已经提出了针对推理延迟、内存占用和能耗的优化，但现有的硬件感知神经架构搜索（NAS）方法忽略了资源利用，从而阻止了DNN充分利用目标推理平台。有效和准确地建模资源利用率是一项挑战，特别是对于广泛使用的基于数组的推理加速器，如Google TPU。在这项工作中，我们提出了一种新的硬件感知的NAS框架，不仅优化任务的准确性和推理延迟，而且资源利用率。我们还提出并验证了一个新的计算模型的推理加速器的资源利用率。通过使用所提出的NAS框架和所提出的资源利用模型，与先前的硬件感知NAS方法相比，我们实现了DNN推理的2.8 - 4倍加速，同时在CIFAR-10和Imagenet-100数据集上实现了图像分类的相似或改进的准确性。
2022-03-23 cs.AI cs.CV cs.LG
