EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition
China University of Mining and Technology（中国矿业大学）
针对眼动识别中深度学习架构依赖人工设计、传统DARTS存在架构多样性受限与搜评深度差异的问题，提出分层可微架构搜索算法EM-DARTS，通过全局-局部交替搜索与转移熵剪枝实现自动架构设计，在三个公开数据集上取得当前最优识别性能。
2025-01-13 cs.CV
Understanding and Robustifying Differentiable Architecture Search
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
微分结构搜索（DARTS）由于其简单性和小的搜索成本而引起了人们的广泛关注，该搜索成本是通过连续松弛和对所产生的双层优化问题的近似来实现的。然而，DARTS并不强大的新问题：我们确定了广泛的搜索空间DARTS产生退化的架构，测试性能非常差。我们研究了这种故障模式，并表明，虽然DARTS成功地最大限度地减少了验证损失，发现的解决方案概括较差，当它们符合高验证损失曲率的架构空间。我们表明，通过添加各种类型的正则化，我们可以robustify DARTS找到更小的曲率和更好的泛化性能的解决方案。基于这些观察结果，我们提出了几个简单的DARTS的变化，在实践中表现得更加稳健。我们的观察结果在三个图像分类任务的五个搜索空间中是鲁棒的，并且也适用于差异估计（密集回归任务）和语言建模的非常不同的领域。
2020-01-28 cs.AI cs.CV cs.LG
Relax DARTS: Relaxing the Constraints of Differentiable Architecture Search for Eye Movement Recognition
Chongqing Technology and Business University（重庆工商大学）；Telecom SudParis, Institute Polytechnique de Paris（巴黎综合理工学院电信高等学院）；Chongqing University of Arts and Sciences（重庆文理学院）
针对眼动识别中深度学习网络依赖人工设计的问题，提出改进自DARTS的Relax DARTS算法，通过独立训练架构参数、引入模块输入权重提升性能，在四个公开库达SOTA，且适配多特征时序分类任务。
2024-09-18 cs.CR cs.CV
DARTS: Differentiable Architecture Search
Google Brain（谷歌大脑）；CMU（卡内基梅隆大学）；DeepMind（深度思考）
本文解决了架构搜索的可扩展性的挑战，制定了一个不同的方式的任务。与在离散和不可微的搜索空间上应用进化或强化学习的传统方法不同，我们的方法是基于对体系结构表示的连续松弛，允许使用梯度下降对体系结构进行有效搜索。在CIFAR-10、ImageNet、Penn Treebank和WikiText-2上的大量实验表明，我们的算法在发现用于图像分类的高性能卷积架构和用于语言建模的递归架构方面表现出色，同时比最先进的不可微技术快了几个数量级。我们的实现已公开，以促进进一步研究高效的架构搜索算法。
2019-04-23 cs.CL cs.CV cs.LG
RC-DARTS: Resource Constrained Differentiable Architecture Search
Bytedance AI Lab（字节跳动人工智能实验室）；Google Inc.（谷歌公司）；National University of Singapore（新加坡国立大学）
最近的进展表明，神经架构搜索（NAS）方法能够找到最先进的图像分类深层架构。在本文中，我们考虑了资源受限的应用程序的一次性NAS问题。这个问题是非常感兴趣的，因为它是关键的，选择不同的架构，根据任务的复杂性时，资源是有限的。以前的技术要么对于一次性学习来说太慢，要么没有考虑资源约束。在本文中，我们提出了资源约束可微架构搜索（RC-DARTS）方法来学习架构，这些架构显着更小，更快，同时达到相当的准确性。具体来说，我们建议制定的RC-DARTS任务作为一个约束优化问题，通过添加资源约束。提出了一种迭代投影方法来求解给定的约束优化问题。我们还提出了一种多级搜索策略，使不同深度的层能够自适应地学习不同类型的神经架构。通过对Cifar 10和ImageNet数据集的广泛实验，我们证明了RC-DARTS方法可以学习轻量级神经架构，这些架构具有更小的模型大小和更低的计算复杂性，同时实现与最先进的方法相当或更好的性能。
2019-12-30 cs.CV cs.NE
sharpDARTS: Faster and More Accurate Differentiable Architecture Search
Johns Hopkins University（约翰斯·霍普金斯大学）
神经架构搜索（NAS）已经成为神经网络设计的一个巨大改进的来源，最近的结果达到或超过了手动调整架构的性能。然而，我们对如何表示神经网络架构的搜索空间以及如何有效地搜索该空间的理解仍处于起步阶段。我们已经进行了深入的分析，以确定在广泛使用的搜索空间和最近的架构搜索方法，差分架构搜索（DARTS）的局限性。这些发现使我们引入了具有更通用、平衡和一致设计的新型网络块;更优化的余弦功率退火学习率调度;以及其他改进。与DARTS相比，我们得到的sharpDARTS搜索速度快50%，CIFAR-10的最终模型误差相对改善20-30%。我们最好的单一模型运行在CIFAR-10上有1.93%（1.98+/-0.07）的验证误差，在最近发布的CIFAR-10.1测试集上有5.5%的误差（5.8+/-0.3）。据我们所知，两者都是类似尺寸模型的最新技术。该模型也以25.1%的top-1（7.8%的top-5）误差与ImageNet竞争。我们发现改进现有的搜索空间，但DARTS推广到新的领域？我们提出了可微超参数网格搜索和超长方体搜索空间，这是旨在利用DARTS进行更一般的参数优化的表示。在这里，我们发现，DARTS未能概括时，与人类的一杆选择的模型。我们回顾DARTS和sharpDARTS搜索空间以了解原因，一项消融研究揭示了一个不寻常的泛化差距。最后，我们提出了Max-W正则化来解决这个问题，这证明…
2019-03-23 cs.AI cs.CV cs.LG
Differentiable Architecture Search for Reinforcement Learning
Google Research（谷歌研究院）
在本文中，我们调查的基本问题：在何种程度上是基于梯度的神经结构搜索（NAS）技术适用于RL？使用原始的DARTS作为一个方便的基线，我们发现，在非策略和策略RL算法的离散和连续动作空间环境中，与手动架构设计相比，离散架构可以实现高达250%的性能，仅需3倍的计算时间。此外，通过大量的消融研究，我们系统地验证了DARTS不仅在其超网阶段正确地增加了操作的权重，而且还逐渐提高了产生的离散单元的效率，比随机搜索高出30倍，这表明DARTS是改进RL架构的有效工具。
2022-11-15 cs.AI cs.CV cs.LG
Adaptive Channel Allocation for Robust Differentiable Architecture Search
School of Computer Science, Huazhong University of Science and Technology（华中科技大学计算机学院）；China Mobile Information Technology Co.,Ltd（中国移动信息技术有限公司）；Microsoft Research Asia（微软亚洲研究院）
针对DARTS在训练轮数增大时跳跃连接过度累积导致鲁棒性降低的问题，提出自适应通道分配（ACA）策略，在搜索阶段不显式搜索跳跃连接，而在评估阶段通过通道重要性排序和分配策略隐式搜索并填充不重要通道，有效提升了鲁棒性并解决了崩溃问题。
2024-12-23 cs.AI cs.CV
Regularizing Differentiable Architecture Search with Smooth Activation
Samsung Semiconductor, Inc.（三星半导体公司）
本文提出平滑激活DARTS（SA-DARTS），通过平滑激活函数作为辅助损失，解决跳跃连接主导和离散化不一致问题，在NAS-Bench-201、分类和超分辨率任务上取得SOTA结果，并提升少参数模型性能。
2025-04-22 cs.CV cs.NE
Stabilizing Differentiable Architecture Search via Perturbation-based Regularization
UCLA（加州大学洛杉矶分校）
可区分的体系结构搜索（DARTS）是用于识别体系结构的流行NAS解决方案。基于对体系结构空间的不断松弛，DARTS学习可微的体系结构权重，大大降低了搜索成本。然而，随着搜索的进行，它的稳定性受到了挑战，因为它产生了不断恶化的体系结构。我们发现，陡峭的验证损失景观，这导致了一个戏剧性的性能下降时，蒸馏的最终架构，是一个重要的因素，导致不稳定。基于这一观察，我们提出了一种基于扰动的正则化- SmoothDARTS（SDARTS），以平滑损失景观并提高基于DARTS的方法的泛化能力。特别是，我们的新配方稳定DARTS为基础的方法，无论是随机平滑或对抗攻击。NAS-Bench-1 Shot 1上的搜索轨迹证明了我们方法的有效性，并且由于稳定性的提高，我们在4个数据集上的各种搜索空间上实现了性能增益。此外，我们在数学上表明，SDARTS隐式地正则化了验证损失的Hessian范数，这导致了更平滑的损失景观和更好的性能。
2021-01-12 cs.CV cs.LG stat.ML
ZO-DARTS++: An Efficient and Size-Variable Zeroth-Order Neural Architecture Search Algorithm
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系）
本文提出ZO-DARTS++，通过零阶近似、温度退火sparsemax和尺寸可变搜索，在医学影像任务中实现比DARTS类方法更高准确率、更快搜索速度及更少参数的高效神经架构搜索。
2025-03-08 cs.AI cs.CV cs.LG
Improving Differentiable Architecture Search via Self-Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对DARTS中超网络收敛至尖锐最小值导致性能差距的问题，提出SD-DARTS，利用自蒸馏和投票教师机制降低损失尖锐度，弥合离散化差距，实验验证优于现有方法。
2023-09-01 cs.AI cs.CV cs.LG
DropNAS: Grouped Operation Dropout for Differentiable Architecture Search
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经架构搜索（NAS）在自动化架构设计方面取得了令人鼓舞的成果。最近，DARTS通过一种可微分的公式来放松搜索过程，该公式利用权重共享和SGD，其中所有候选操作都同时训练。我们的实验结果表明，这样的过程中的协同适应问题和马太效应的结果：具有较少的参数的操作将被提前训练。这导致两个问题：首先，具有更多参数的操作可能永远没有机会表达期望的功能，因为那些具有较少参数的操作已经完成了工作; 2其次，系统将通过降低其结构参数来惩罚那些表现不佳的操作，并且它们将获得较小的损失梯度，这导致马太效应。本文系统地研究了这些问题，并提出了一种新的分组操作丢弃算法DropNAS来解决DARTS中存在的问题。大量的实验表明，DropNAS解决了上述问题，并取得了良好的性能。具体来说，DropNAS在CIFAR-10上实现了2.26%的测试误差，在CIFAR-100上实现了16.39%的测试误差，在ImageNet上实现了23.4%的测试误差（为了公平比较，使用与DARTS相同的训练超参数）。还观察到，DropNAS在DARTS搜索空间的变体中是鲁棒的。代码可在www.example.com上获得。
2022-01-27 cs.CV cs.LG
Differentiable Channel Sparsity Search via Weight Sharing within Filters
Xidian University（西安电子科技大学）；HiSilicon Technologies（海思技术有限公司）
本文提出了一种用于卷积神经网络的可微通道稀疏搜索算法。与传统的通道修剪算法不同，传统的通道修剪算法需要用户手动为每个卷积层设置修剪比率，DCSS自动搜索稀疏度的最佳组合。受可微结构搜索（DARTS）的启发，我们从连续松弛中吸取教训，并利用梯度信息来平衡计算成本和度量。由于直接应用DARTS方案会导致形状不匹配和过多的内存消耗，我们引入了一种新的技术，称为滤波器内的权重共享。这种技术优雅地消除了形状不匹配的问题，而额外的资源可以忽略不计。我们进行了全面的实验，不仅对图像分类，而且发现粒度的任务，包括语义分割和图像超分辨率，以验证DCSS的有效性。与以往的网络修剪方法相比，DCSS实现了最先进的图像分类的结果。语义分割和图像超分辨率的实验结果表明，特定任务搜索比传递瘦模型具有更好的性能，证明了DCSS的广泛适用性和高效性。
2022-01-05 cs.CV
iDARTS: Improving DARTS by Node Normalization and Decorrelation Discretization
微分ARchiToggle搜索（DARTS）使用网络表示的连续松弛，并在GPU天内将神经架构搜索（NAS）大幅加速近数千倍。然而，DARTS的搜索过程是不稳定的，当训练时期变大时，搜索过程会严重退化，从而限制了其应用。在本文中，我们认为这种退化问题是由不同节点之间的不平衡范数和各种操作的高度相关输出引起的。然后，我们提出了一个改进版本的DARTS，即iDARTS，以处理这两个问题。在训练阶段，它引入节点归一化来保持范数平衡。在离散化阶段，基于节点的输出与去相关操作之间的相似性而不是架构参数的值来近似连续架构。在CIFAR-10和ImageNet上进行了广泛的评估，在0.2和1.9 GPU-天内，架构搜索的出错率分别为2.25%和24.7%，表明了该方法的有效性。进一步的分析还表明，iDARTS具有鲁棒性和泛化能力优于其他基于DARTS的同行。
2021-08-25 cs.CV
Delve into the Performance Degradation of Differentiable Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
可区分体系结构搜索（DARTS）被广泛认为是容易过拟合的验证集，导致性能下降。我们首先采用了一系列的探索性实验来验证，无论是高强度的结构参数正则化，热身训练计划可以有效地解决这个问题。基于实验结果，我们推测DARTS的性能并不依赖于训练良好的超网权重，并认为应该通过在训练的早期阶段而不是最后阶段获得的梯度来训练架构参数。然后通过交换权值和参数的学习率方案来验证这一论点。实验结果表明，简单的学习率交换可以有效地解决学习性能退化问题，并取得较好的性能。进一步的经验证据表明，退化不是一个简单的问题的验证集过拟合，但表现出一些退化和操作选择偏差内的双层优化动态之间的联系。我们证明了这种偏见的泛化，并建议利用这种偏见来实现基于操作幅度的选择性停止。
2021-09-28 cs.AI cs.CV cs.LG
G-DARTS-A: Groups of Channel Parallel Sampling with Attention
University of Secience and Technology Beijing（北京科技大学）
可区分结构搜索（DARTS）为基于梯度搜索有效的网络结构提供了一个基础，但在搜索和训练网络结构时，它伴随着巨大的计算开销。最近，许多新的作品都改进了飞镖。特别是部分连通DARTS（PC-DARTS）提出了部分通道采样技术，取得了很好的效果。在这项工作中，我们发现由DARTS提供的主干容易过拟合。为了缓解这个问题，我们提出了一种名为Group-DARTS with Attention（G-DARTS-A）的方法，使用多组通道进行搜索。受PC-DARTS部分采样策略的启发，我们使用分组通道对超网络进行采样，以在保持网络信息相对完整性的同时执行更有效的搜索。为了缓解渠道群之间的竞争，保持渠道平衡，我们遵循了挤压-激励网络中的注意力机制。每组通道共享定义的权重，因此它们可以提供不同的搜索建议。搜索的架构更强大，更适合不同的部署。具体地说，通过仅使用DARTS上的注意力模块，我们在CIFAR 10/100上实现了2.82%/16.36%的出错率，在CIFAR 10上的搜索过程为0. 3 GPU-天。将我们的G-DARTS-A应用于DARTS/PC-DARTS，在CIFAR 10上，在0.5/0.4 GPU-天的条件下，其出错率分别为2.57%/2.61%。
2020-10-16 cs.CV cs.LG
DOTS: Decoupling Operation and Topology in Differentiable Architecture Search
Nankai University（南开大学）；Zhejiang University（浙江大学）
可区分结构搜索（DARTS）由于其在搜索细胞结构方面的高效性而受到广泛关注。DARTS主要关注于操作搜索，并从操作权重导出单元拓扑。然而，操作权重不能反映单元拓扑的重要性，导致拓扑评级正确性差。为了解决这个问题，我们提出了解耦的操作和拓扑搜索（DOTS），它从操作权重中提取拓扑表示，并进行显式的拓扑搜索。DOTS是通过引入一个包含候选边组合的拓扑搜索空间来实现的。所提出的搜索空间直接反映了搜索目标，并且可以很容易地扩展以支持被搜索单元中的灵活数目的边。现有的基于梯度的NAS方法可以被纳入DOTS进一步改善的拓扑搜索。考虑到一些操作（例如，为了更好地进行拓扑搜索，我们提出了一种组操作搜索方案来保留拓扑相关的操作。在CIFAR 10/100和ImageNet上的实验表明，DOTS是一种有效的可区分NAS解决方案。
2021-04-08 cs.CV
Stretchable Cells Help DARTS Search Better
SenseTime（商汤科技）
可区分神经结构搜索（DARTS）在发现灵活多样的细胞类型方面取得了很大成功。为了减少评估差距，超网被期望具有与目标网络相同的层。然而，即使对于这种一致的搜索，搜索的单元也经常遭受较差的性能，特别是对于具有较少层的超网，因为当前的DARTS方法倾向于宽和浅的单元，并且这种拓扑崩溃导致次优的搜索单元。在本文中，我们通过赋予细胞显式的可拉伸性来缓解这个问题，因此搜索可以直接在我们的可拉伸细胞上同时实现操作类型和拓扑结构。具体地说，我们引入了一组拓扑变量和组合概率分布来明确地建模目标拓扑。对于更多样化和复杂的拓扑结构，我们的方法可以很好地适应各种层数。在CIFAR-10和ImageNet上进行的大量实验表明，我们的可拉伸单元以更少的层和参数获得了更好的性能。例如，我们的方法可以在CIFAR-10数据集上将DARTS的准确率提高0.28\%，减少45\%的参数，或者在ImageNet数据集上提高2.9\%的FLOP。
2022-04-18 cs.CV
Single-DARTS: Towards Stable Architecture Search
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
可区分架构搜索（DARTS）标志着神经架构搜索（NAS）的一个里程碑，拥有简单性和小搜索成本。然而，DARTS仍然遭受频繁的性能崩溃，当一些操作（如跳过连接，零和池）主导架构时，就会发生这种情况。在本文中，我们是第一个指出，这种现象归因于双层优化。我们提出了Single-DARTS，它只使用单级优化，使用同一批数据同时更新网络权重和结构参数。即使单级优化以前已经尝试过，没有文献提供了一个系统的解释，这一点。Single-DARTS取代了原有的两级优化，明显避免了性能崩溃，提高了体系结构搜索的稳定性。实验结果表明，Single-DARTS算法在主流搜索空间上的性能达到了最佳水平。例如，在NAS-Benchmark-201上，搜索到的架构几乎是最优的。我们还验证了单级优化框架比双级优化框架更稳定。我们希望这种简单而有效的方法将提供一些见解差分架构搜索。该代码可在https://github.com/PencilAndBike/Single-DARTS.git上获得。
2021-08-18 cs.CV cs.LG
DARTS-: Robustly Stepping out of Performance Collapse Without Indicators
Meituan（美团）；Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）
尽管可区分体系结构搜索（DARTS）发展迅速，但长期以来其性能不稳定，极大地限制了其应用。现有的鲁棒方法从结果恶化的行为中寻找线索，而不是找出其原因。各种指标，如Hessian特征值被提出作为一个信号，以停止搜索之前的性能崩溃。然而，这些基于指标的方法往往很容易拒绝良好的架构，如果阈值设置不当，更不用说搜索本质上是嘈杂的。在本文中，我们采取了一种更微妙和直接的方法来解决崩溃。我们首先证明了跳过连接比其他候选操作具有明显的优势，它可以很容易地从不利状态恢复并成为主导。我们推测，这种特权是造成退化的性能。因此，我们建议通过辅助跳过连接来消除这种好处，确保所有操作的公平竞争。我们称这种方法为DARTS-。在各种数据集上的大量实验证明，它可以大大提高鲁棒性。我们的代码可在https://github.com/Meituan-AutoML/DARTS-上获得。
2021-01-15 cs.AI cs.CV cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
现有的神经架构搜索（NAS）方法通常返回一个具有良好搜索性能的架构，但推广到测试设置很差。为了实现更好的推广，我们提出了一种新的邻域感知NAS制定，以确定在搜索空间的平坦极小架构，与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构（例如，用跳跃连接代替卷积）。我们的配方需要考虑到“平面度”的架构，通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法，包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法，我们还提出了一个可微表示的邻域的架构。基于我们的公式，我们提出了邻域感知随机搜索（NA-RS）和邻域感知可微结构搜索（NA-DARTS）。值得注意的是，通过简单地使用我们的公式增强DARTS，NA-DARTS的性能优于DARTS，并在已建立的基准测试中实现了最先进的性能，包括CIFAR-10，CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
$Λ$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells
University of Tehran（德黑兰大学）；LMU Munich（慕尼黑大学）；Google Brain（谷歌大脑）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所）
可微分神经结构搜索（DARTS）是一种流行的神经结构搜索（NAS）方法，它进行细胞搜索，并通过基于梯度的优化利用连续松弛来提高搜索效率。DARTS的主要缺点是性能崩溃，发现的体系结构在搜索过程中质量下降。性能崩溃已经成为一个重要的研究课题，许多方法试图通过正则化或对DARTS进行根本性的更改来解决这个问题。然而，在DARTS中用于小区搜索的权重共享框架和结构参数的收敛性尚未被分析。在本文中，我们提供了一个深入和新颖的理论和实证分析DARTS及其收敛点。我们表明，DARTS遭受一个特定的结构缺陷，由于其权重共享框架，限制了DARTS的收敛到softmax函数的饱和点。在选择最佳架构时，这种收敛点为更接近输出的层提供了不公平的优势，导致性能崩溃。然后，我们提出了两个新的正则化项，旨在通过调整层的梯度来协调操作选择，从而防止性能崩溃。在六个不同的搜索空间和三个不同的数据集上的实验结果表明，我们的方法（$Λ$ -DARTS）确实可以防止性能崩溃，为我们的理论分析和提出的补救措施提供了理由。
2023-03-01 cs.CV cs.LG
Probeable DARTS with Application to Computational Pathology
University of Waterloo（滑铁卢大学）；University of New Brunswick（新不伦瑞克大学）；Sunnybrook Health Science Center（桑尼布鲁克健康科学中心）；Kingston Health Sciences Center（金斯顿健康科学中心）；St. Michaels Hospital（圣迈克尔医院）；Huron Digital Pathology（休伦数字病理公司）；University of Toronto（多伦多大学）
AI技术在计算病理学（CPath）方面取得了令人瞩目的成就，特别是在深度神经网络的帮助下。然而，网络性能与架构设计高度相关，这通常需要具有领域知识的人类专家。在本文中，我们与神经架构搜索（NAS）的最新进展，以找到一个最佳的网络CPath应用程序来应对这一挑战。特别是，我们使用微分架构搜索（DARTS）的效率。我们首先采用探测度量来表明原始DARTS在CIFAR数据集上缺乏适当的超参数调整，以及如何使用自适应优化策略来解决泛化问题。然后，我们通过在组织学组织类型数据集（ADP）上搜索最佳网络架构，将搜索框架应用于CPath应用程序。结果表明，搜索网络优于国家的最先进的网络在预测精度和计算复杂度。我们进一步进行了广泛的实验，以证明搜索网络的可转移性，新的CPath应用程序，对降尺度输入的鲁棒性，以及预测的可靠性。
2021-08-16 cs.CV
Efficient Architecture Search via Bi-level Data Pruning
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出双层数据剪枝（BDP）范式，利用超网络预测动态渐进剪枝数据并自动平衡类别，将DARTS搜索成本降低超50%，且与PC-DARTS等变体集成实现约2倍加速。
2023-12-21 cs.CV
Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild
Tongji University（同济大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着神经结构搜索（NAS）的快速发展，研究人员发现了适用于各种视觉任务的强大网络结构。然而，目前还不清楚搜索的架构是否可以像手动设计的那样跨不同类型的任务进行转移。本文提出了这个问题，称为NAS在野外，它探讨了在代理数据集中找到最佳架构，然后将其部署到大多数看不见的场景的可能性。我们实例化这个设置使用目前流行的算法命名为微分架构搜索（DARTS），这往往会遭受不满意的性能，而在不同的任务之间转移。我们认为，准确率下降源于使用超级网络进行搜索，但使用子网络进行重新训练的公式。这些阶段的不同属性导致了显着的优化差距，因此，架构参数“过拟合”的超级网络。为了缓解这种差距，我们提出了一种渐进的方法，在搜索阶段逐渐增加网络深度，这导致了渐进DARTS（P-DARTS）算法。通过降低搜索成本（在单个GPU上运行7小时），P-DARTS在代理数据集（CIFAR 10）和一些目标问题（ImageNet分类，COCO检测和三个ReID基准测试）上实现了性能提升。我们的代码可在\url{https://github.com/chenxin061/pdarts}上获得。
2020-01-06 cs.CV cs.LG
Rethinking Architecture Selection in Differentiable NAS
DiDi AI Labs（滴滴AI实验室）
微分神经结构搜索（Differentiable Neural Architecture Search，NAS）是目前最流行的神经结构搜索方法之一，它通过基于梯度的算法在一个权值共享超网中联合优化模型权值和结构参数来实现。在搜索阶段结束时，将选择具有最大架构参数的操作来形成最终架构，隐含假设架构参数的值反映了操作强度。虽然已经讨论了很多关于超网的优化，架构选择过程很少受到关注。我们提供的经验和理论分析表明，架构参数的大小并不一定表明有多少操作有助于超网的性能。我们提出了一种替代的扰动为基础的架构选择，直接衡量每个操作的超网的影响。我们重新评估了几个不同的NAS方法与建议的架构选择，并发现它是能够提取显着改进的架构，从底层超网一致。此外，我们发现，DARTS的几种故障模式可以大大减轻与建议的选择方法，这表明在DARTS中观察到的大部分不良的泛化可以归因于失败的基于幅度的架构选择，而不是完全优化其超网。
2021-08-10 cs.CV cs.LG
PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；Futurewei Technologies（未来wei科技）
可区分体系结构搜索（DARTS）是一种快速有效的网络体系结构搜索方法，但在联合训练超网络和搜索最优体系结构时，存在着较大的存储和计算开销。本文提出了一种新的搜索算法--部分连通DARTS算法，通过对超网络的一小部分进行采样，减少了网络空间搜索的冗余度，从而在不影响性能的前提下提高了搜索效率。特别地，我们在通道的子集中执行操作搜索，同时在快捷方式中绕过保持的部分。该策略可能遭受由于采样不同信道而导致的在选择超网的边缘上的不期望的不一致性。我们使用边缘归一化来缓解它，它增加了一组新的边缘级参数来减少搜索中的不确定性。由于降低了存储器成本，PC-DARTS可以用更大的批量进行训练，因此，具有更快的速度和更高的训练稳定性。通过仿真和实测数据处理验证了所提方法的有效性。具体而言，我们在CIFAR 10上仅用0.1个GPU天进行架构搜索就实现了2.57%的出错率，而在ImageNet（在移动设置下）上使用3.8个GPU天进行搜索就实现了24.2%的最先进的前1位出错率。我们的代码已在https://github.com/yuhuixu1993/PC-DARTS上提供。
2020-04-07 cs.CV cs.LG
ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
针对单路径DARTS因跳跃连接过多导致性能崩溃的问题，提出ROME算法，通过解耦拓扑与操作搜索、引入Gumbel-Top2重参数化和梯度累积优化双层优化，在15个基准上验证了其有效性与鲁棒性。
2023-08-03 cs.AI cs.CV cs.LG
DARTSRepair: Core-failure-set Guided DARTS for Network Robustness to Common Corruptions
Tianjin University of Technology（天津理工大学）；Kyushu University（九州大学）；Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
网络架构搜索（NAS），特别是可区分架构搜索（DARTS）方法，已经显示出在特定数据集上学习优秀模型架构的强大功能。与使用固定数据集相比，在这项工作中，我们专注于NAS的一个不同但重要的场景：如何在一些收集和错误分类的示例的指导下改进部署网络的模型架构以增强其鲁棒性，这些示例被一些具有特定模式的真实世界未知损坏降级（例如，噪声、模糊等）。为此，我们首先进行了实证研究，以验证模型架构可以明确相关的腐败模式。令人惊讶的是，通过添加一些损坏和错误分类的例子（例如，$10^3$示例）到干净的训练数据集（例如，$5.0 \times 10^4$示例），我们可以细化模型架构并显著增强鲁棒性。为了使其更实用，关键问题，即，如何为有效的NAS制导选择适当的故障实例，应该仔细研究。然后，我们提出了一种新的核心故障集引导DARTS嵌入一个K-中心贪心算法DARTS选择合适的损坏的故障的例子，以改善模型的架构。我们将我们的方法用于DARTS精炼的DNN上的干净以及15个腐败，并以四个具体的现实世界腐败为指导。与最先进的NAS以及基于数据增强的增强方法相比，我们的最终方法可以在损坏的数据集和原始的干净数据集上实现更高的准确性。在某些腐败模式上，我们可以实现高达45%以上的绝对准确性改进。
2022-09-21 cs.CV cs.LG
RARTS: An Efficient First-Order Relaxed Architecture Search Method
University of California at Irvine（加州大学欧文分校）
可微结构搜索（DARTS）是一种基于求解双层优化问题的数据驱动神经网络设计的有效方法。尽管它在许多架构搜索任务中取得了成功，但仍然存在一些关于一阶DARTS的准确性和二阶DARTS的效率的问题。在本文中，我们制定了一个单一的水平替代和宽松的架构搜索（RARTS）的方法，利用整个数据集的架构学习，通过数据和网络分裂，而不涉及混合的二阶导数相应的损失函数，如DARTS。在我们的网络分裂公式中，两个具有不同但相关权重的网络合作寻找共享架构。收敛定理和解析可解模型证明了RARTS优于DARTS的优点。此外，RARTS优于DARTS及其变种的准确性和搜索效率，在足够的实验结果表明。对于搜索拓扑结构的任务，即，在CIFAR-10上，RARTS算法比二阶DARTS算法获得了更高的精度，计算量减少了60%.在转移到ImageNet后，RARTS的性能继续优于DARTS，并且与DARTS的最新变体不相上下，尽管我们的创新纯粹是在训练算法上，而没有修改搜索空间。对于搜索宽度的任务，即，卷积层中的通道数量，RARTS也优于传统的网络修剪基准。在NATS-Bench等公共体系结构搜索基准上的进一步实验也支持了RARTS的卓越性。
2022-06-24 cs.CV cs.LG stat.ML
Cyclic Differentiable Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）；City University of Hong Kong（香港城市大学）；Stony Brook University（石溪大学）
可区分的ARCHITECTOR搜索，即，DARTS在神经结构研究中引起了极大的关注。它试图在浅层搜索网络中找到最佳架构，然后在深层评估网络中测量其性能。然而，搜索和评估网络的独立优化通过允许两个网络之间的交互而留下了潜在的改进空间。为了解决有问题的优化问题，我们提出了新的联合优化目标和一个新的循环微分ARchiToggle搜索框架，被称为CDARTS。考虑到网络结构的差异，CDARTS在搜索网络和评价网络之间建立了一种循环反馈机制，并引入了内省蒸馏。首先，搜索网络生成用于评估的初始架构，并且优化评估网络的权重。其次，通过分类中的标签监督以及通过特征提取对评价网络进行正则化，进一步优化搜索网络中的结构权重。重复上述循环导致搜索和评估网络的联合优化，从而使得架构的演进能够适合最终的评估网络。在CIFAR、ImageNet和NAS-Bench-201上的实验和分析表明了该方法的有效性。具体来说，在DARTS搜索空间中，我们在CIFAR 10上实现了97.52%的top-1准确率，在ImageNet上实现了76.3%的top-1准确率。在链式结构的搜索空间中，我们在ImageNet上实现了78.2%的top-1准确率，比EfficientNet-B 0高出1.1%。我们的代码和模型可在https://github.com/microsoft/Cream上公开获取。
2022-04-25 cs.CV
Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出免训练可微架构搜索框架FreeDARTS，通过定义零成本操作敏感性ZEROS评分，在初始化时衡量DARTS中操作重要性，避免参数密集性偏差，并证明其与泛化界负相关，实验验证其高效可靠。
2023-05-12 cs.CV cs.LG
A Lightweight Neural Architecture Search Model for Medical Image Classification
Tongji University（同济大学）；Politecnico di Milano（米兰理工大学）
针对医学图像分类中模型开发成本高、重复劳动多的问题，本文提出可微神经架构搜索算法 ZO-DARTS+，利用双层优化生成稀疏概率以提升效率，并在五个公开医学数据集上达到最先进准确率且搜索时间最多缩短三倍。
2024-05-06 cs.AI cs.CV cs.LG
Efficient Automation of Neural Network Design: A Survey on Differentiable Neural Architecture Search
IBISC（IBISC实验室）；Univ Evry（埃夫里大学）；Université Paris-Saclay（巴黎萨克雷大学）；Massachusetts Institute of Technology（麻省理工学院）
本文是聚焦可微神经网络架构搜索（DNAS）的综述，梳理该领域最新进展，提出基于挑战的新分类法，分析其成果与对NAS领域的影响，并给出未来研究方向。
2023-05-01 cs.AI cs.CV cs.LG
Architecture-Aware Minimization (A$^2$M): How to Find Flat Minima in Neural Architecture Search
Department of Electronics, Information and Bioengineering（电子、信息与生物工程系）
本文研究了神经架构搜索中架构空间的几何特性，提出A$^2$M算法以偏导数方向寻找平坦极小值，提升模型泛化能力。
2026-03-24 cond-mat.dis-nn cs.CV cs.LG
ZARTS: On Zero-order Optimization for Neural Architecture Search
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Zhuiyi Technology Co., Ltd.（深圳追一科技有限公司）
可区分体系结构搜索（DARTS）由于其高效率而成为NAS的一种流行的一次性范例。该算法引入可训练的结构参数来表示候选操作的重要性，并提出一阶/二阶近似来估计候选操作的梯度，从而使得采用梯度下降算法求解NAS成为可能。然而，我们深入的实证结果表明，近似往往会扭曲损失的景观，导致有偏见的目标，以优化和反过来不准确的梯度估计的架构参数。这项工作转向零阶优化，并提出了一种新的NAS计划，称为ZARTS，搜索不强制执行上述近似。具体介绍了三种具有代表性的零阶优化方法：RS、MGS和GLD，其中MGS在平衡精度和速度方面表现最好。此外，我们探索RS/MGS和梯度下降算法之间的联系，并表明我们的ZARTS可以被看作是一个强大的无梯度对应DARTS。在多个数据集和搜索空间上的大量实验表明了该方法的显著性能。特别是，12个基准测试的结果验证了ZARTS的出色鲁棒性，其中DARTS的性能由于其已知的不稳定性问题而崩溃。此外，我们在DARTS的搜索空间上进行搜索，与同行方法进行比较，我们发现的架构在CIFAR-10上达到了97.54%的准确率，在ImageNet上达到了75.7%的top-1准确率，这是最先进的性能。
2022-01-31 cs.CV
Mutually-aware Sub-Graphs Differentiable Architecture Search
Malong LLC（马龙有限责任公司）；MYBank, Ant Group（网商银行，蚂蚁集团）
可区分体系结构搜索以其简单、高效的特点在NAS领域得到了广泛的应用，主要有多路径搜索和单路径搜索两种模式。多路径框架（例如DARTS）是直观的，但存在内存使用和训练崩溃的问题。单路径方法（例如GDAS和ProxylessNAS）缓解了内存问题，缩小了搜索和评估之间的差距，但牺牲了性能。在本文中，我们提出了一个概念上简单而有效的方法来桥接这两个范例，称为相互感知的子图可区分的架构搜索（MSG-DAS）。我们框架的核心是一个可微的Gumbel-TopK采样器，它产生多个互斥的单路径子图。为了缓解多子图设置带来的重复跳接问题，我们提出了一个Dropblock-Identity模块来稳定优化。为了充分利用现有的模型（超网和子图），我们引入了一个内存高效的超网指导蒸馏来改善训练。该框架在灵活的内存使用和搜索质量之间取得了平衡。我们在ImageNet和CIFAR 10上证明了我们的方法的有效性，其中搜索的模型显示出与最新方法相当的性能。
2021-11-06 cs.CV
Improving Differentiable Architecture Search with a Generative Model
UC San Diego（加州大学圣地亚哥分校）
在DARTS等可微神经架构搜索（NAS）算法中，用于更新模型权重的训练集和用于更新模型架构的验证集是从相同的数据分布中采样的。因此，数据集中不常见的特征在训练过程中没有得到足够的关注。在本文中，我们没有引入更复杂的NAS算法，而是探索了将高质量的合成数据集添加到训练中可以帮助分类模型识别其弱点并提高识别精度的想法。我们引入了一种训练策略，称为“具有生成模型的可区分体系结构搜索（DASGM）”。在DASGM中，训练集用于更新分类模型权重，而合成数据集用于训练其架构。生成的图像具有与训练集不同的分布，这可以帮助分类模型学习更好的特征以识别其弱点。本文将DASGM构造成一个多层次的优化框架，并设计了一个有效的算法来求解，在CIFAR-10、CIFAR-100和ImageNet上的实验证明了DASGM的有效性。代码将提供。
2021-11-30 cs.CV cs.LG
UNAS: Differentiable Architecture Search Meets Reinforcement Learning
NVIDIA（英伟达）
神经架构搜索（NAS）旨在发现具有所需属性（如高准确性或低延迟）的网络架构。最近，可微分NAS（DNAS）已经证明了有前途的结果，同时保持搜索成本的数量级低于强化学习（RL）的NAS。然而，DNAS模型只能优化可微损失函数的搜索，他们需要一个精确的可微近似不可微的标准。在这项工作中，我们提出了UNAS，NAS的统一框架，封装在一个框架下最近的DNAS和基于RL的方法。我们的框架带来了两全其美，它使我们能够在一个统一的框架中搜索具有可区分和不可区分标准的架构，同时保持低搜索成本。此外，我们引入了一个新的目标函数的基础上搜索的泛化差距，防止选择的架构容易过拟合。我们在CIFAR-10、CIFAR-100和ImageNet数据集上进行了广泛的实验，并在两个根本不同的搜索空间中进行搜索。我们表明，UNAS在所有三个数据集上获得了最先进的平均精度，与DARTS空间中搜索的架构相比。此外，我们表明，UNAS可以找到一个高效和准确的架构在ProxylessNAS搜索空间，优于现有的MobileNetV 2的基础架构。源代码可在https://github.com/NVlabs/unas上获得。
2020-08-27 cs.CV cs.LG stat.ML
DASViT: Differentiable Architecture Search for Vision Transformer
School of Computer Science and Electronic Engineering University of Surrey（计算机科学与电子工程学院大学 Surrey 大学）；School of Artificial Intelligence and Computer Science Jiangnan University（人工智能与计算机科学学院江南大学）
本文提出DASViT，将可微架构搜索引入视觉Transformer，以突破传统编码器设计，在多个数据集上超越ViT-B/16，并实现更低参数和FLOPs的高效架构。
2025-07-17 cs.CV cs.LG
Noisy Differentiable Architecture Search
Xiaomi AI Lab（小米人工智能实验室）
简单是最终的复杂。可区分结构搜索（DARTS）现已成为神经结构搜索的主流范式之一。然而，由于跳过连接的聚集，它在很大程度上遭受了众所周知的性能崩溃问题。它被认为过度受益于加速信息流动的剩余结构。为了削弱这种影响，我们建议注入无偏随机噪声来阻碍流量。我们将这种新颖的方法命名为NoisyDARTS。实际上，网络优化器应该在每个训练步骤中都意识到这种困难，并避免过冲，特别是在跳过连接时。从长远来看，由于我们在期望方面没有向梯度添加偏差，因此它仍然有可能收敛到正确的解区域。我们还证明了注入的噪声在平滑损失景观中起作用，这使得优化更容易。我们的方法非常简单，并作为一个新的强基线。我们在各种搜索空间、数据集和任务中进行了广泛的实验，在这些实验中，我们稳健地获得了最先进的结果。我们的代码可在https://github.com/xiaomi-automl/NoisyDARTS上获得。
2021-10-17 cs.CV cs.LG stat.ML
DART: Differentiable Dynamic Adaptive Region Tokenizer for Vision Foundation Models
Sun Yat-sen University（中山大学）
本文提出完全可微的动态自适应区域分词器 DART，通过可学习区域分数与分位数划分生成内容感知的变长 patch，使小模型以近两倍推理速度匹配大模型性能，并可推广至密集预测与视频任务。
2026-10-28 cs.CV
FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions
UC Berkeley（加州大学伯克利分校）；Facebook Inc.（脸书公司）
微分神经结构搜索（DNAS）在设计最先进、高效的神经网络方面取得了巨大成功。然而，与其他搜索方法相比，基于DART的DNAS的搜索空间很小，因为所有候选网络层必须在存储器中显式地实例化。为了解决这个瓶颈，我们提出了一种内存和计算效率高的DNAS变体：DMaskingNAS。该算法将搜索空间扩展到传统DNAS上的$10^{14}\times$，支持在空间和信道维度上的搜索，否则这些维度是非常昂贵的：输入分辨率和滤波器数量。我们提出了一个屏蔽机制的特征图重用，使内存和计算成本保持几乎恒定的搜索空间扩大。此外，我们采用有效的形状传播，以最大限度地提高每FLOP或每参数的准确性。与所有以前的架构相比，搜索到的FBNetV 2具有最先进的性能。DMaskingNAS的搜索成本最多可减少421 $\times$，与MobileNetV 3-Small相比，DMaskingNAS查找模型的准确性提高了0.9%，FLOPs减少了15%;与Efficient-B 0相比，DMaskingNAS查找模型的准确性相似，但FLOPs减少了20%。此外，我们的FBNetV 2在准确性上优于MobileNetV 3 2.6%，具有相同的模型大小。FBNetV 2模型在https://github.com/facebookresearch/mobile-vision上开源。
2020-04-12 cs.AI cs.CV cs.LG
The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol
University of Warsaw（华沙大学）
针对可微神经架构搜索中的离散化误差问题，提出单阶段搜索协议，不依赖解码连续架构，在Cityscapes上达75.3%准确率，性能优于DCNAS，且仅需5.5GPU天，并提出新数据集划分程序防止架构退化。
2024-05-26 cs.AI cs.CV cs.LG
Differentiable Feature Aggregation Search for Knowledge Distillation
Peking University（北京大学）；Megvii (Face++) Technology Inc（旷视科技（Face++））；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用技术国家工程实验室）；DiDi AI Labs（滴滴人工智能实验室）
在模型压缩中，知识蒸馏变得越来越重要。它通过监督来自复杂教师网络的输出分布和特征图来提高小型化学生网络的性能。最近的一些作品介绍了多教师蒸馏，以提供更多的监督，以学生网络。然而，多教师蒸馏方法的有效性伴随着昂贵的计算资源。为了解决知识蒸馏的效率和效果，我们引入特征聚合来模拟多教师蒸馏的单教师蒸馏框架，通过从多个教师特征图中提取信息监督。具体来说，我们引入DFA，一个两阶段的可区分的特征聚合搜索方法的DARTS在神经结构搜索的动机，有效地找到聚合。在第一阶段中，DFA将搜索问题制定为双层优化，并利用由学生到教师路径和教师到学生路径组成的新型桥损失来找到合适的特征聚合。这两条路径充当相互对抗的两个参与者，试图将统一的架构参数优化到相反的方向，同时保证特征聚合的表达性和可学习性。在第二阶段，DFA执行知识蒸馏与派生的特征聚合。实验结果表明，DFA优于现有的方法在CIFAR-100和CINIC-10数据集上的各种师生设置，验证了设计的有效性和鲁棒性。
2020-08-02 cs.CV cs.LG
RelativeNAS: Relative Neural Architecture Search via Slow-Fast Learning
Southern University of Science and Technology（南方科技大学）；Huawei Technologies Co.,Ltd.（华为技术有限公司）；The University of Hong Kong（香港大学）
尽管卷积神经网络（CNN）在计算机视觉中取得了显著的成功，但手动设计CNN既耗时又容易出错。在各种旨在自动设计高性能CNN的神经结构搜索（NAS）方法中，可区分NAS和基于群体的NAS由于其独特的特性而引起了越来越多的兴趣。为了在克服两者不足的同时，充分利用两者的优点，本文提出了一种新的NAS方法RelativeNAS。作为高效搜索的关键，RelativeNAS以成对的方式在快速学习者（即具有相对较高精度的网络）和慢速学习者之间执行联合学习。此外，由于RelativeNAS只需要低保真度的性能估计来区分每对快学习器和慢学习器，因此它节省了用于训练候选架构的一定计算成本。所提出的RelativeNAS带来了几个独特的优点：（1）它在ImageNet上实现了最先进的性能，前1出错率为24.88%，即分别超过DARTS和AmoebaNet-B 1.82%和1.12%;（2）使用单个1080Ti GPU仅需9小时即可获得发现的细胞，即分别比DARTS和AmoebaNet快3.75倍和7875倍;（3）它提供了在CIFAR-10上获得的发现的细胞可以直接转移到目标检测、语义分割和关键点检测，分别在PASCAL VOC上产生73.1%的mAP、在Cityscapes上产生78.7%的mIoU和在MSCOCO上产生68.5%的AP的竞争结果。有关RelativeNAS的实施，请访问https:/…
2021-07-13 cs.CV
Binarized Neural Architecture Search
Beihang University（北京航空航天大学）；Xiamen University（厦门大学）；University at Buffalo（布法罗大学）；Shenzhen Institutes of Advanced Technology, University of Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
神经结构搜索（NAS）可以通过自动设计用于各种任务的最佳神经网络架构来对计算机视觉产生重大影响。一种变体，二进制神经架构搜索（BNAS），具有二进制卷积的搜索空间，可以产生极度压缩的模型。不幸的是，这一领域在很大程度上仍未得到探索。BNAS比NAS更具挑战性，因为优化需求和巨大的架构空间导致学习效率低下。为了解决这些问题，我们引入信道采样和操作空间减少到一个可区分的NAS显着降低搜索成本。这是通过基于性能的策略来实现的，该策略用于放弃潜在性较小的操作。两种二值化神经网络的优化方法被用来验证我们的BNAS的有效性。大量的实验表明，所提出的BNAS在CIFAR和ImageNet数据库上实现了与NAS相当的性能。在CIFAR-10数据集上实现了$96.53\%$与$97.22\%$的准确度，但具有显著压缩的模型，并且$40\%$比最先进的PC-DARTS更快的搜索。
2020-02-11 cs.CV
L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Huawei Technologies（华为技术）；Huawei Kirin Solution Shanghai（华为麒麟解决方案上海）
神经结构搜索（NAS）在深度神经网络设计中取得了显著的效果。可微结构搜索将离散结构上的搜索转化为超参数优化问题，可以通过梯度下降来求解。然而，人们对梯度法求解非凸建筑超参数优化问题的有效性和推广性提出了质疑。在本文中，我们提出了L $^{2}$ NAS，它学习智能优化和更新架构超参数，通过演员神经网络的基础上分布的高性能架构的搜索历史。我们引入了一个分位数驱动的训练过程，有效地训练L $^{2}$ NAS在一个演员-评论家的框架，通过连续动作强化学习。实验结果表明，L $^{2}$ NAS在NAS-Bench-201基准测试、DARTS搜索空间和One-for-All MobileNetV3搜索空间上均取得了较好的性能。我们还表明，由L $^{2}$ NAS生成的搜索策略是可推广的，并可在不同的训练数据集之间进行最小的微调。
2021-09-25 cs.CV cs.LG
MSR-Net: Multi-Scale Relighting Network for One-to-One Relighting
Jadavpur University（贾达布尔大学）；IIT Jodhpur（印度理工学院焦特布尔分校）；IIT Madras（印度理工学院马德拉斯分校）
深度图像重新照明允许通过照明特定的修饰而无需人工努力来增强照片，因此最近越来越受到关注。现有的大多数流行的方法可用于重新照明是运行时密集型和内存效率低下。考虑到这些问题，我们建议使用堆叠的深度多尺度层次网络，它以不同的尺度聚合每个图像的特征。我们的解决方案是可微的和强大的转换图像照明设置从输入图像到目标图像。此外，我们还表明，使用多步训练方法来解决这个问题，使用两个不同的损失函数可以显着提高性能，并可以实现高质量的重新照明图像重建。
2021-07-13 cs.CV
Efficient Model Performance Estimation via Feature Histories
Carnegie Mellon University（卡内基梅隆大学）
神经网络设计任务中的一个重要步骤，如超参数优化（HPO）或神经结构搜索（NAS），是候选模型的性能评估。给定固定的计算资源，人们可以投入更多的时间来训练每个模型以获得更准确的最终性能估计，或者花费更多的时间在配置空间中探索更多种类的模型。在这项工作中，我们的目标是通过在训练过程的早期准确地近似模型的最大性能，在HPO和NAS的背景下优化这种探索-利用权衡，以进行图像分类。与最近为某些搜索空间定制的加速NAS方法相反，由于要求搜索空间是可微的，所以我们的方法是灵活的，并且对搜索空间几乎没有任何约束。我们的方法在训练的早期阶段使用网络特征的演化历史来构建与所考虑的网络的峰值性能相匹配的代理分类器。我们表明，我们的方法可以与多种搜索算法相结合，以找到更好的解决方案，在HPO和NAS的广泛的任务。使用基于采样的搜索算法和并行计算，我们的方法可以找到一个架构，这是优于DARTS和减少了80%的挂钟搜索时间。
2021-03-07 cs.CV cs.LG
Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
在本文中，我们提出了一种基于Shapley值的方法来评估操作的贡献（Shapley-NAS）的神经结构搜索。可微结构搜索（DARTS）通过梯度下降优化结构参数来获得最优结构，从而大大降低了搜索代价。然而，通过梯度下降更新的架构参数的大小未能揭示实际操作对任务性能的重要性，因此损害了所获得的架构的有效性。相比之下，我们建议评估操作对验证准确性的直接影响。为了处理超网组件之间的复杂关系，我们利用Shapley值来量化它们的边际贡献，考虑所有可能的组合。具体而言，我们迭代优化超网权重，并通过Shapley值评估操作贡献来更新架构参数，从而通过选择对任务有显著贡献的操作来获得最佳架构。由于Shapley值的精确计算是NP-难的，采用基于Monte-Carlo采样的提前截断算法进行有效逼近，并采用动量更新机制来减小采样过程中的波动。在各种数据集和各种搜索空间上的大量实验表明，我们的Shapley-NAS比最先进的方法有相当大的优势，搜索成本低。代码可在www.example.com上获得
2022-06-20 cs.CV cs.LG
Towards Learning of Filter-Level Heterogeneous Compression of Convolutional Neural Networks
Technion（以色列理工学院）
最近，深度学习已经成为机器学习的事实上的标准，卷积神经网络（CNN）在各种任务上都取得了惊人的成功。然而，CNN在推理时通常对计算要求非常高。减轻某些硬件平台上的这种负担的方法之一是量化，其依赖于对权重和激活使用低精度算术表示。另一种流行的方法是修剪每层中的过滤器数量。虽然主流的深度学习方法训练神经网络权重，同时保持网络架构固定，但新兴的神经架构搜索（NAS）技术使后者也易于训练。在本文中，我们制定了最佳的算术位长分配和神经网络修剪作为NAS问题，寻找满足计算复杂性预算的配置，同时最大限度地提高精度。我们使用基于Liu等人（arXiv：1806.09055）提出的搜索空间的连续松弛的可微搜索方法。我们表明，通过网格搜索，异构量化网络遭受高方差，这使得搜索的好处值得怀疑。对于修剪，可以改进同质情况，但使用所提出的方法找到这些配置仍然具有挑战性。该代码可在https://github.com/yochaiz/Slimmable和https://github.com/yochaiz/darts-UNIQ上公开获取
2019-09-26 cs.CV cs.LG cs.NE
Real-time Scene Text Detection with Differentiable Binarization
Huazhong University of Science and Technology（华中科技大学）；Megvii（旷视科技）；Shanghai Jiao Tong University（上海交通大学）；Onlyou Tech.（唯友科技）
近年来，基于分割的方法在场景文本检测中相当流行，因为分割结果可以更准确地描述各种形状的场景文本，如曲线文本。然而，二值化的后处理对于基于分割的检测是必不可少的，基于分割的检测将由分割方法产生的概率图转换为文本的边界框/区域。在本文中，我们提出了一个名为可微分二值化（DB）的模块，它可以在分割网络中执行二值化过程。与DB模块一起优化，分割网络可以自适应地设置二值化的阈值，这不仅简化了后处理，而且提高了文本检测的性能。基于一个简单的分割网络，我们在五个基准数据集上验证了DB的性能改进，这些数据集在检测精度和速度方面始终达到了最先进的结果。特别是，对于轻量级骨干，DB的性能改进是显着的，因此我们可以在检测精度和效率之间寻找理想的折衷。具体来说，使用ResNet-18的主干，我们的检测器在MSRA-TD 500数据集上以62 FPS运行时实现了82.8的F测量。代码可在：https://github.com/MhLiao/DB
2019-12-03 cs.CV
