UXNet: Searching Multi-level Feature Aggregation for 3D Medical Image Segmentation
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳大数据研究院）
聚集多层次特征表示对于实现鲁棒的体积医学图像分割至关重要，对于辅助诊断和治疗非常重要。与最近的神经结构搜索（NAS）方法，通常在每个网络层中搜索最佳的运营商，但错过了一个很好的策略来搜索特征聚合，本文提出了一种新的NAS方法的3D医学图像分割，命名为UXNet，它搜索两个尺度的特征聚合策略，以及在编码器-解码器网络的分块操作。UXNet有几个吸引人的好处。(1)它显着提高了灵活性的经典UNet架构，它只聚集在等效分辨率的编码器和解码器的特征表示。(2)精心设计了UXNet的连续松弛，使其搜索方案以有效的可微方式执行。(3)大量的实验证明了UXNet与最近的NAS方法相比用于医学图像分割的有效性。UXNet发现的架构在几个公共3D医学图像分割基准的Dice方面优于现有的最先进模型，特别是对于边界位置和微小组织。UXNet的搜索计算复杂性很低，能够在两个TitanXP GPU上搜索不到1.5天的最佳性能网络。
2020-09-16 cs.CV
LidarNAS: Unifying and Searching Neural Architectures for 3D Point Clouds
Waymo LLC（Waymo有限责任公司）
开发能够准确理解3D点云中物体的神经模型对于机器人和自动驾驶的成功至关重要。然而，可以说由于数据的高维性质（与图像相比），现有的神经架构在其设计中表现出很大的多样性，包括但不限于所考虑的视图，神经特征的格式以及所使用的神经操作。由于缺乏统一的框架和解释，很难正确看待这些设计，也很难系统地探索新的设计。在本文中，我们首先提出了一个统一的框架，这样的关键思想是分解成一系列的视图转换和神经层的神经网络。我们证明，这个模块化的框架可以重现各种现有的作品，同时允许一个公平的比较骨干设计。然后，我们展示了这个框架如何可以很容易地实现到一个具体的神经架构搜索（NAS）空间，允许一个原则性的NAS-3D探索。在Waymo开放数据集上对3D目标检测任务执行进化NAS时，我们不仅优于最先进的模型，而且还报告了一个有趣的发现，即NAS倾向于为车辆和行人类别发现相同的宏观层次架构概念。
2022-10-10 cs.CV
Searching Efficient Model-guided Deep Network for Image Denoising
Xidian University（西安电子科技大学）；West Virginia University（西弗吉尼亚大学）
神经结构搜索（NAS）最近重塑了我们对各种视觉任务的理解。与NAS在高级视觉任务中的成功类似，通过NAS可以找到具有高度降噪性能的内存和计算效率解决方案。然而，超级网络和子架构之间的优化差距仍然是一个开放的问题，在低层次和高层次的愿景。在本文中，我们提出了一种新的方法来填补这一空白，通过连接模型引导设计与NAS（MoD-NAS），并展示了其应用到图像去噪。具体而言，我们建议在模型引导的框架下构建一个新的搜索空间，并开发更稳定和有效的差分搜索策略。MoD-NAS采用高度可重用的宽度搜索策略和密集连接的搜索块，通过梯度下降自动选择每一层的操作以及网络的宽度和深度。在搜索过程中，所提出的MoG-NAS是能够避免模式崩溃，由于平滑的搜索空间下设计的模型引导的框架。在几个流行的数据集上的实验结果表明，我们的MoD-NAS比当前最先进的方法具有更少的参数，更少的触发器数量和更少的测试时间，实现了更好的PSNR性能。
2021-04-06 cs.CV eess.IV
Auto-ReID: Searching for a Part-aware ConvNet for Person Re-Identification
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）
用于人员重新识别（reID）的主流深度卷积神经网络（CNN）通常建立在ResNet或VGG骨干上，这些骨干最初是为分类而设计的。由于reID与分类不同，因此应相应地修改架构。我们建议自动搜索特别适合reID任务的CNN架构。有三个方面需要解决。首先，身体结构信息在reID中起着重要作用，但它不在骨架中编码。第二，神经架构搜索（NAS）自动化的架构设计过程中，没有人的努力，但现有的NAS方法纳入输入图像的结构信息。第三，reID本质上是一个检索任务，但目前的NAS算法仅仅是为分类而设计的。为了解决这些问题，我们提出了一个基于检索的搜索算法，在一个专门设计的reID搜索空间，名为Auto-ReID。我们的Auto-ReID使自动化方法能够为reID找到高效和有效的CNN架构。大量的实验表明，搜索的架构实现了最先进的性能，同时减少了50%的参数和53%的FLOPs相比，其他。
2019-08-20 cs.CV
GPUNet: Searching the Deployable Convolution Neural Networks for GPUs
NVIDIA（英伟达）
定制卷积神经网络（CNN）用于生产一直是DL从业者的一项具有挑战性的任务。本文旨在通过模型中心加快模型定制，该模型中心包含使用神经架构搜索（NAS）按推理延迟分层的优化模型。为了实现这一目标，我们建立了一个分布式NAS系统，搜索一个新的搜索空间，包括突出的因素，影响延迟和准确性。由于我们的目标是GPU，我们将NAS优化模型命名为GPUNet，它在推理延迟和准确性方面建立了一个新的SOTA Pareto边界。在1 $ms$内，GPUNet比EfficientNet-X和FBNetV 3快2倍，精度更高。我们还在检测任务上验证了GPUNet，GPUNet在延迟和准确性方面始终优于COCO检测任务上的EfficientNet-X和FBNetV 3。所有这些数据验证了我们的NAS系统是有效的和通用的处理不同的设计任务。通过这个NAS系统，我们扩展了GPUNet，以覆盖广泛的延迟目标，以便DL从业者可以在不同的场景中直接部署我们的模型。
2022-04-26 cs.AI cs.CV
The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol
University of Warsaw（华沙大学）
针对可微神经架构搜索中的离散化误差问题，提出单阶段搜索协议，不依赖解码连续架构，在Cityscapes上达75.3%准确率，性能优于DCNAS，且仅需5.5GPU天，并提出新数据集划分程序防止架构退化。
2024-05-26 cs.AI cs.CV cs.LG
AutoPose: Searching Multi-Scale Branch Aggregation for Pose Estimation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德克萨斯农工大学）；Horizon Robotics Inc（地平线机器人公司）
我们提出了AutoPose，这是一种新型的神经架构搜索（NAS）框架，能够自动发现跨尺度连接的多个并行分支，以实现准确和高分辨率的2D人体姿势估计。最近，用于姿态估计的高性能手工卷积网络显示出对多尺度融合和高分辨率表示的需求不断增长。然而，目前的NAS工作表现出有限的灵活性的规模搜索，他们主要采用简化的搜索空间的单分支结构。这种简化限制了不同尺度信息的融合，并且无法保持高分辨率的表示。所呈现的AutoPose框架能够搜索多分支尺度和网络深度，以及细胞级微观结构。在搜索空间的启发下，提出了一种新的双层优化方法，其中网络级结构通过强化学习进行搜索，单元级结构通过基于梯度的方法进行搜索.在2.5 GPU天内，AutoPose能够在MS COCO数据集上找到非常有竞争力的架构，这些架构也可以转移到MPII数据集。我们的代码可在https://github.com/VITA-Group/AutoPose上获得。
2020-08-16 cs.CV
Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
Google（谷歌）
设备上的ML加速器正在成为现代移动片上系统（SoC）的标准。神经架构搜索（NAS）可以有效地利用这些加速器提供的高计算吞吐量。然而，现有的NAS框架在扩展到多个任务和不同的目标平台方面有几个实际的限制。在这项工作中，我们提供了一个双管齐下的方法来应对这一挑战：（i）NAS使能基础设施，其将模型成本评估、搜索空间设计和NAS算法结合在一起，以快速针对各种设备上的ML任务，以及（ii）从基于组卷积的反向瓶颈（IBN）变体制作的搜索空间，其在ML加速器上提供灵活的质量/性能权衡，补充了现有的基于全卷积和去卷积的IBN。使用这种方法，我们针对最先进的移动平台Google Tensor SoC，并展示了神经架构，可以提高各种计算机视觉（分类，检测，分割）以及自然语言处理任务的质量性能帕累托边界。
2022-04-09 cs.CV cs.DC cs.LG
einspace: Searching for Neural Architectures from Fundamental Operations
针对现有NAS搜索空间多样性不足难催生架构范式转变的问题，提出基于参数化概率上下文无关文法的einspace搜索空间，可建模多种网络结构，在Unseen NAS数据集上从零搜索可得有竞争力的架构，以强基线初始化可获大幅提升，推动变革性NAS范式发展。
2024-10-30 cs.AI cs.CV cs.LG
SEAL: Searching Expandable Architectures for Incremental Learning
Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano（电子信息与生物工程系，米兰理工学院）
提出SEAL框架，基于NAS动态扩展模型结构，仅在必要时扩展以平衡可塑性与稳定性，通过交叉蒸馏保持旧知识，联合搜索架构与扩展策略，有效减少遗忘并提升准确率。
2026-06-24 cs.AI cs.CV cs.LG
Searching for Efficient Multi-Stage Vision Transformers
Massachusetts Institute of Technology（麻省理工学院）
视觉Transformer（ViT）表明，用于自然语言处理的Transformer可应用于计算机视觉任务，并具有与卷积神经网络（CNN）相当的性能，后者已在计算机视觉中研究和采用多年。这自然提出了一个问题，即如何使用CNN的设计技术来提高ViT的性能。为此，我们建议将两种技术，并提出ViT-ResNAS，一个有效的多阶段ViT架构设计与神经架构搜索（NAS）。首先，我们提出了残差空间减少，以减少更深层次的序列长度，并利用多级架构。当减少长度时，我们添加跳过连接以提高性能并稳定训练更深的网络。其次，我们提出了权重共享NAS与多架构采样。我们扩大一个网络，并利用它的子网络来定义一个搜索空间。然后训练一个覆盖所有子网络的超级网络，以快速评估它们的性能。为了有效地训练超级网络，我们提出了采样和训练多个子网络与一个向前-向后通过。在此之后，进化搜索进行发现高性能的网络架构。ImageNet上的实验表明，ViT-ResNAS比原始DeiT和ViT的其他强基线实现了更好的准确性-MAC和准确性-吞吐量权衡。代码可在https://github.com/yilunliao/vit-search上获得。
2021-09-01 cs.CV
HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文提出HKNAS，利用超核直接生成结构参数并设计仅含卷积的分层搜索空间，以降低高光谱图像分类的架构搜索成本并提升性能。
2023-04-23 cs.CV
PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search
RMIT University（皇家墨尔本理工大学）；University of Technology Sydney（悉尼科技大学）
神经架构搜索（NAS）的目标是自动化神经网络的架构工程。这通常需要高计算开销来在搜索期间从搜索空间中的所有可能网络的集合中评估多个候选网络。网络性能的预测可以通过减少评估每个候选网络的需要来减轻这种高计算开销。开发这样的预测器通常需要大量的评估架构，这可能难以获得。我们提出了一种新的基于进化的NAS策略，预测辅助E-NAS（PRE-NAS），它可以很好地执行，即使是极少数的评估架构，以解决这一挑战。PRE-NAS利用新的进化搜索策略，并集成了几代人的高保真权重继承。与一次性策略不同，由于权重共享，可能会在评估中出现偏差，PRE-NAS中的后代候选人在拓扑上是同质的，这避免了偏差并导致更准确的预测。在NAS-Bench-201和DARTS搜索空间上的大量实验表明，PRE-NAS可以优于最先进的NAS方法。PRE-NAS在CIFAR-10和ImageNet上的测试出错率分别达到2.40%和24%，仅用单个GPU搜索0.6天就能找到有竞争力的架构。
2022-04-27 cs.CV
Revisiting Training-free NAS Metrics: An Efficient Training-based Method
University of Central Florida（中佛罗里达大学）；Bytedance Inc.（字节跳动公司）
最近的神经结构搜索（NAS）工作提出了训练的免费指标来排名网络，大大降低了搜索成本的NAS。在本文中，我们重新审视了这些无训练指标，并发现：（1）参数的数量（\#Param），这是最直接的无训练指标，在以前的工作中被忽视，但令人惊讶的是有效的，（2）最近的无训练指标在很大程度上依赖于\#Param信息来排名网络。我们的实验表明，当\#Param信息不可用时，最近的无训练指标的性能急剧下降。受这些观察的启发，我们认为，与\#Param相关性较低的指标是希望为NAS提供额外的信息。我们提出了一个轻量级的基于训练的度量，它与\#Param具有弱相关性，同时以较低的搜索成本实现比无训练度量更好的性能。具体而言，在DARTS搜索空间上，我们的方法仅用2.6 GPU小时就完成了直接在ImageNet上的搜索，并实现了24.1\%/7.1\%的top-1/top-5出错率，这在最先进的NAS方法中具有竞争力。代码可从\url{https://github.com/taoyang1122/Revisit_TrainingFree_NAS}获得
2022-11-16 cs.CV
TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search
CRIPAC & NLPR, CASIA（中国科学院自动化研究所 模式识别国家重点实验室与智能感知与计算研究中心）；JD AI Research（京东人工智能研究院）
随着可微神经结构搜索（NAS）的蓬勃发展，自动搜索延迟约束的结构提供了一个新的视角，以减少人力和专业知识。然而，搜索到的架构通常在准确性上是次优的，并且可能在目标延迟周围具有较大的抖动。在本文中，我们重新考虑可区分NAS的三个自由度，即操作级，深度级和宽度级，并提出了一种新的方法，命名为三自由度NAS（TF-NAS），以实现良好的分类精度和精确的延迟约束。对于操作级，我们提出了一个双采样搜索算法来缓和操作崩溃。在深度层，引入了一个连接汇点的搜索空间，保证了skip与其他候选操作之间的互斥性，同时消除了结构冗余。对于宽度级别，我们提出了一种弹性伸缩策略，以渐进的细粒度方式实现精确的延迟约束。在ImageNet上的实验验证了TF-NAS的有效性。特别是，我们搜索的TF-NAS-A获得了76.9%的top-1准确率，以更少的延迟实现了最先进的结果。在1颗Titan RTX GPU上，总搜索时间仅为1.8天。代码可在https://github.com/AberHu/TF-NAS上获得。
2020-08-12 cs.CV
FP-NAS: Fast Probabilistic Neural Architecture Search
Facebook AI（脸书人工智能研究院）
差分神经架构搜索（NAS）要求所有层选择同时保存在内存中;这限制了搜索空间和最终架构的大小。相比之下，像PARSEC这样的ProbabilNAS学习高性能架构上的分布，并且只使用训练单个模型所需的内存。然而，它需要对许多架构进行采样，这使得在广泛的空间中进行搜索的计算成本很高。为了解决这些问题，我们提出了一种自适应分布熵的抽样方法，在开始时抽取更多的样本来鼓励探索，并随着学习的进行减少样本。此外，为了在多变量空间中快速搜索，我们提出了一种从粗到细的策略，在开始时使用因子分解的分布，可以将架构参数的数量减少一个数量级以上。我们称这种方法为快速概率NAS（FP-NAS）。与PARSEC相比，它可以减少64%的架构样本，搜索速度提高2.1倍。与FBNetV 2相比，FP-NAS的速度提高了1.9 - 3.5倍，并且搜索模型在ImageNet上的性能优于FBNetV 2模型。FP-NAS允许我们将巨大的FBNetV 2空间扩展到更宽（即更大的通道选择）和更深（即更多的块），同时添加Split-Attention块并启用对拆分数量的搜索。当搜索大小为0.4G FLOPS的模型时，FP-NAS比EfficientNet快132倍，搜索到的FP-NAS-L0模型比EfficientNet-B 0精确0.7%。在不使用任何架构代理或缩放技巧的情况下，我们直接搜索高达1.0G FLOPS的大型模型。…
2021-03-31 cs.CV cs.LG
Powering One-shot Topological NAS with Stabilized Share-parameter Proxy
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）
One-shot NAS方法由于其显著的训练效率和发现高性能模型的能力而引起了研究界的极大兴趣。然而，以往基于单次搜索的搜索空间通常依赖于手工设计，缺乏对网络拓扑结构的灵活性。在这项工作中，我们试图通过在我们的大规模拓扑增强搜索空间（即，超过3.4*10^10个不同的拓扑结构）。具体地说，在这样一个复杂的空间中的架构搜索的困难已被所提出的稳定的共享参数代理，它采用随机梯度朗之万动力学，使快速共享参数采样，从而实现稳定的测量架构性能，即使在搜索空间与复杂的拓扑结构已消除。所提出的方法，即稳定的拓扑神经结构搜索（ST-NAS），在ImageNet上的Multiple-Adds（MAds）约束下实现了最先进的性能。我们的精简型号ST-NAS-A仅用3.26亿MAds就实现了76.4%的top-1精度。我们的中等型号ST-NAS-B达到77.9%的top-1精度，仅需503 M MAds。我们的两个模型都提供了优越的性能相比，其他并发作品的一次性NAS。
2020-05-21 cs.CV
SASE: A Searching Architecture for Squeeze and Excitation Operations
China Telecom Research Institute (CTRI)（中国电信研究院）
本文提出 SASE，一种通过 NAS 自动搜索 Squeeze 和 Excitation 操作以构建即插即用注意力模块的架构，在细分搜索空间并引入新操作后，使 ResNet-50/101 在多项视觉任务上达到最优性能。
2024-11-13 cs.CV
EASNet: Searching Elastic and Accurate Network Architecture for Stereo Matching
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；Hong Kong Baptist University（香港浸会大学）；The Hong Kong University of Science and Technology（香港科技大学）；XGRIDS；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
近年来的高级研究在优化立体匹配网络结构上花费了大量的人力，但很难同时实现高精度和快速的推理速度。为了减轻网络设计中的工作量，神经结构搜索（NAS）已成功应用于各种稀疏预测任务，如图像分类和目标检测。然而，现有的NAS研究的密集预测任务，特别是立体匹配，仍然不能有效地和有效地部署在不同的计算能力的设备。为此，我们建议训练一个弹性和准确的立体匹配网络（EASNet），支持不同的计算能力的设备上的各种3D架构设置。考虑到目标设备上的部署延迟约束，我们可以快速从整个EASNet中提取子网络，而无需额外的训练，同时仍然可以保持子网络的准确性。大量的实验表明，我们的EASNet在模型精度和推理速度方面优于Scene Flow和MPI Sintel数据集上最先进的人类设计和基于NAS的架构。特别是，部署在推理GPU上，EASNet在100 ms的场景流数据集上实现了新的SOTA 0.73 EPE，比LEASstereo快4.5 $\times$，模型质量更好。
2022-07-20 cs.AI cs.CV
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
条件生成对抗网络（cGAN）被设计为基于所提供的条件\eg、类级分布来生成图像。然而，现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想，采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积，其中后者被设计为引入类特定信息，同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线，使得搜索成本不会随着类的数量而增长。为了学习采样策略，将马尔可夫决策过程嵌入到搜索算法中，并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外，我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
NAS-FCOS: Fast Neural Architecture Search for Object Detection
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
深度神经网络的成功依赖于重要的架构工程。最近，神经架构搜索（NAS）已经成为通过自动搜索最佳架构来大大减少网络设计中的手动工作的承诺，尽管通常这样的算法需要过量的计算资源，例如，几千个GPU日。迄今为止，在目标检测等具有挑战性的视觉任务中，对NAS（尤其是快速版本的NAS）的研究较少。在这里，我们建议搜索的解码器结构的对象检测器的搜索效率被考虑在内。更具体地说，我们的目标是使用定制的强化学习范例有效地搜索特征金字塔网络（FPN）以及简单的无锚对象检测器（即FCOS）的预测头。通过精心设计的搜索空间、搜索算法和评估网络质量的策略，我们能够使用8个V100 GPU在4天内高效地搜索出性能最佳的检测架构。所发现的架构在COCO数据集上的AP中超过了最先进的目标检测模型（例如Faster R-CNN，RetinaNet和FCOS）1.5到3.5个点，具有相当的计算复杂性和内存占用，证明了所提出的NAS用于目标检测的有效性。
2020-02-25 cs.CV
TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification
Beihang University（北京航空航天大学）
本文提出TopoNAS，通过拓扑简化和模块共享策略减少一次性NAS的搜索时间与内存开销，并引入核归一化保持精度，在NASBench201上验证了其高效性。
2024-08-02 cs.CV
MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection
Alibaba Group（阿里巴巴集团）
在目标检测中，检测主干消耗了总推理成本的一半以上。最近的研究试图通过神经架构搜索（NAS）的帮助下优化骨干架构，以减少这种成本。然而，现有的用于目标检测的NAS方法需要数百到数千个GPU小时的搜索，这使得它们在快节奏的研究和开发中不切实际。在这项工作中，我们提出了一种新的zero-shot NAS方法来解决这个问题。该方法名为MAE-DET，通过最大熵原理自动设计高效的检测骨干，无需训练网络参数，将架构设计成本降低到几乎为零，同时提供最先进的（SOTA）性能。在引擎盖下，MAE-DET最大化检测骨干的差分熵，从而在相同的计算预算下为目标检测提供更好的特征提取器。经过一天的GPU全自动设计，MAE-DET在多个检测基准数据集上创新了SOTA检测骨干，几乎没有人为干预。与ResNet-50主干相比，在使用相同数量的FLOP/参数时，MAE-DET在mAP中的$+2.0\%$更好，在相同mAP的NVIDIA V100上的$1.54$更快。代码和预训练模型可在https://github.com/alibaba/lightweight-neuralarchitecture-search上获得。
2022-06-15 cs.CV
NAS-FCOS: Efficient Search for Object Detection Architectures
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
神经架构搜索（NAS）通过自动发现最佳架构，在有效减少网络设计中的手动工作方面显示出巨大的潜力。值得注意的是，到目前为止，尽管目标检测在计算机视觉中非常重要，但NAS算法对它的影响较小。据我们所知，大多数最近的NAS研究目标检测任务未能令人满意地取得平衡的性能和效率的结果模型，更不用说过多的计算资源成本的这些算法。在这里，我们提出了一种有效的方法，通过使用定制的强化学习范例搜索特征金字塔网络（FPN）以及简单的无锚对象检测器（即FCOS）的预测头来获得更好的对象检测器[36]。通过精心设计的搜索空间、搜索算法和评估网络质量的策略，我们能够在4天内使用8个V100 GPU找到性能最佳的检测架构。所发现的架构在COCO数据集上的AP中超过了最先进的目标检测模型（如Faster R-CNN，Retina-Net和FCOS）1.0%至5.4%，具有相当的计算复杂性和内存占用，证明了所提出的NAS方法用于目标检测的有效性。代码可在https://github.com/Lausannen/NAS-FCOS上获得。
2021-10-24 cs.CV
NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search
University of Technology Sydney（悉尼科技大学）；Baidu Research（百度研究院）
近年来，神经网络结构搜索（NAS）在大量的应用中取得了突破性的成功。现在是时候退一步，分析NAS领域的好与坏。各种算法在不同的搜索空间下搜索结构。使用不同的设置来训练这些搜索到的架构，例如，超参数、数据增强、正则化。这在比较各种NAS算法的性能时提出了可比性问题。NAS-Bench-101已经成功地缓解了这个问题。在这项工作中，我们提出了一个扩展NAS-Bench-101：NAS-Bench-201具有不同的搜索空间，多个数据集上的结果，以及更多的诊断信息。NAS-Bench-201具有固定的搜索空间，并为几乎所有最新的NAS算法提供了统一的基准。我们的搜索空间的设计灵感来自于最流行的基于单元的搜索算法中使用的搜索空间，其中单元被表示为DAG。这里的每条边都与从预定义操作集中选择的操作相关联。为了使其适用于所有NAS算法，NAS-Bench-201中定义的搜索空间包括由4个节点和5个相关联的操作选项生成的所有可能的架构，这导致总共15，625个候选。为三个数据集提供了每个架构候选者的训练日志和性能。这使得研究人员可以避免对选定的候选人进行不必要的重复训练，而只关注搜索算法本身。为每个候选人节省的训练时间也大大提高了许多方法的效率。我们提供了额外的诊断信息，如细粒度的损失和准确性，这可以给新的设计的NAS算法的灵感。在进一步的支持下，我们从多个方面进行了分析，并对最近的10个NAS算…
2020-01-15 cs.CV
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
Michigan State University（密歇根州立大学）；AInnovation（旷视）
最近，在设计神经网络架构中使用自动方法（通常称为神经架构搜索（NAS））引起了相当大的关注。在这项工作中，我们提出了一个有效的NAS方法，命名为HM-NAS，推广现有的基于权重共享的NAS方法。现有的基于权重共享的NAS方法仍然采用手工设计的算法来生成架构候选。因此，架构候选者的空间被约束在所有可能架构的子集中，使得架构搜索结果次优。HM-NAS通过两项创新解决了这一限制。首先，HM-NAS结合了多级架构编码方案，以能够搜索更灵活的网络架构。其次，它放弃了手工设计的算法，并采用了一个分层掩蔽方案，自动学习和确定最佳架构。与最先进的基于权重共享的方法相比，HM-NAS能够实现更好的架构搜索性能和有竞争力的模型评估精度。没有手工设计的算法所施加的约束，我们搜索的网络包含更灵活和有意义的架构，现有的基于权重共享的NAS方法是无法发现的。
2019-09-07 cs.CV cs.LG stat.ML
ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
针对单路径DARTS因跳跃连接过多导致性能崩溃的问题，提出ROME算法，通过解耦拓扑与操作搜索、引入Gumbel-Top2重参数化和梯度累积优化双层优化，在15个基准上验证了其有效性与鲁棒性。
2023-08-03 cs.AI cs.CV cs.LG
NAS-FAS: Static-Dynamic Central Difference Network Search for Face Anti-Spoofing
University of Oulu（奥卢大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern Polytechnical University（西北工业大学）；Westlake University（西湖大学）
人脸反欺骗（FAS）在保护人脸识别系统中起着至关重要的作用。现有的方法严重依赖于专家设计的网络，这可能会导致FAS任务的次优解。在这里，我们提出了第一个FAS方法基于神经结构搜索（NAS），称为NAS-FAS，发现适合的任务感知网络。与以往NAS的工作主要集中在开发有效的搜索策略在通用对象分类，我们更注重研究的搜索空间FAS任务。利用NAS进行FAS的挑战有两个方面：1）在特定获取条件下搜索的网络可能在看不见的条件下表现不佳，2）特定的欺骗攻击可能会对看不见的攻击产生不良影响。为了克服这两个问题，我们开发了一种新的搜索空间，包括中央差分卷积和池化算子。此外，一个有效的静态-动态表示充分挖掘FAS感知的时空差异。此外，我们提出了域/类型感知元NAS，它利用跨域/类型的知识鲁棒搜索。最后，为了评估跨数据集和未知攻击类型的NAS可移植性，我们发布了一个大规模的3D掩码数据集，即CASIA-SURF 3DMask，以支持新的“跨数据集跨类型”测试协议。实验证明，所提出的NAS-FAS在九个FAS基准数据集和四个测试协议上实现了最先进的性能。
2020-11-03 cs.CV
Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach
Shanghai Jiao Tong University（上海交通大学）
针对两阶段NAS局部保序性不足问题，提出超网转移策略，将架构搜索与超网微调结合，提升保序性并实现跨数据集迁移。
2024-03-18 cs.CV
BCNet: Searching for Network Width with Bilaterally Coupled Network
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
寻找更紧凑的网络宽度最近作为一种有效的方式来修剪部署的卷积神经网络（CNN）的硬件约束下的通道。为了实现搜索，通常利用一次超网来有效地评估性能\wrt ~不同的网络宽度。然而，目前的方法主要遵循\textit{unilaterally augmented}（UA）原则来评估每个宽度，这导致了超网中信道的训练不公平性。在本文中，我们介绍了一个新的超网称为双边耦合网络（BCNet）来解决这个问题。在BCNet中，每个通道都经过公平的训练，并负责相同数量的网络宽度，因此可以更准确地评估每个网络宽度。此外，我们利用随机互补策略训练BCNet，并提出了一种先验初始种群抽样方法，以提高进化搜索的性能。在基准CIFAR-10和ImageNet数据集上进行的大量实验表明，我们的方法可以实现最先进的性能或与其他基线方法竞争的性能。此外，我们的方法通过改进网络宽度来进一步提高NAS模型的性能。例如，在相同的FLOP预算下，我们获得的EfficientNet-B 0在ImageNet数据集上达到了77.36%的Top-1准确率，超过了原始设置的0.48%。
2021-05-21 cs.CV
Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
最近，神经结构搜索（NAS）方法引起了人们的广泛关注，并在一些高级视觉任务上优于手动设计的架构。在本文中，我们提出了HiNAS（层次NAS），努力采用NAS自动设计有效的神经网络架构的图像去噪。HiNAS采用基于梯度的搜索策略，并采用自适应感受野操作，构建灵活的分层搜索空间。在搜索阶段，HiNAS在不同的特征级别上共享单元，以节省内存，并采用提前停止策略，以避免NAS中的崩溃问题，并大大加快搜索速度。建议的HiNAS是内存和计算效率，它只需要大约4.5小时的搜索使用一个GPU。我们评估了我们提出的HiNAS在两个不同数据集上的有效性，即加性高斯白噪声数据集BSD 500和现实噪声数据集SIM 1800。实验结果表明，HiNAS算法具有参数少、推理速度快的特点，与现有算法相比，具有很强的竞争力。我们还提出了分析的NAS发现的架构。HiNAS在图像去雨的实验中也表现出了良好的性能。
2020-02-07 cs.CV
MRF-UNets: Searching UNet with Markov Random Fields
KU Leuven（鲁汶大学）
UNet [27]由于其简单性和有效性而广泛用于语义分割。然而，其手动设计的架构被应用于大量的问题设置，要么没有架构优化，要么手动调优，这是耗时的，可能是次优的。在这项工作中，首先，我们提出了马尔可夫随机场神经结构搜索（MRF-NAS），它扩展和改进了最近的自适应和最优网络宽度搜索（AOWS）方法[4]，（i）更一般的MRF框架（ii）多样的M-best循环推理（iii）可微参数学习。这提供了必要的NAS框架，以有效地探索导致循环推理图的网络架构，包括由跳过连接引起的循环。以UNet为主干，我们发现一个架构，MRF-UNet，显示了几个有趣的特点。其次，通过这些特征的镜头，我们确定了原始UNet架构的次优性，并进一步改进了MRF-UNetV 2的结果。实验表明，我们的MRF-UNets显着优于三个航空图像数据集和两个医学图像数据集的几个基准，同时保持较低的计算成本。该代码可从以下网址获取：https://github.com/zifuwanggg/MRF-UNets。
2022-07-13 cs.AI cs.CV cs.LG
BM-NAS: Bilevel Multimodal Neural Architecture Search
Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）在各种多模态学习问题上表现出优越的性能。然而，它往往需要巨大的努力，通过手动工程单峰特征和设计多模态特征融合策略，使DNN适应个别的多模态任务。本文提出了一种双层多模态神经结构搜索（BM-NAS）框架，通过双层搜索机制实现了对多模态融合模型结构的完全搜索。在上层，BM-NAS从预训练的单峰骨干中选择模态间/模态内特征对。在较低级别，BM-NAS学习每个特征对的融合策略，该策略是预定义的基元操作的组合。该算法的基本操作经过精心设计，可以灵活组合，以适应多种有效的特征融合模块，如多头注意力（Transformer）和注意力上的注意力（AoA）。在三个多模态任务上的实验结果证明了BM-NAS框架的有效性和效率。与现有的广义多模态NAS方法相比，BM-NAS方法具有更少的搜索时间和更少的模型参数，具有很好的性能。
2022-01-02 cs.CV cs.LG
DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search
Microsoft（微软）
高效搜索是神经网络结构搜索（NAS）的核心问题。传统的NAS算法很难直接搜索像ImageNet这样的大规模任务的架构。一般来说，NAS的GPU时间成本随着训练数据集大小和候选集大小而增长。一种常见的方法是在较小的代理数据集上搜索（例如，CIFAR-10），然后转移到目标任务（例如，ImageNet）。这些在代理数据上优化的架构并不能保证在目标任务上是最优的。另一种常见的方法是使用较小的候选集进行学习，这可能需要专业知识，实际上违背了NAS的本质。在本文中，我们提出了DA-NAS，可以直接搜索大规模的目标任务的架构，同时允许一个大的候选人集，以更有效的方式。我们的方法基于一个有趣的观察，即深度神经网络中块的学习速度与识别不同类别的难度有关。我们精心设计了一个渐进的数据自适应修剪策略，有效的架构搜索。它将快速修剪目标数据集的子集上的低性能块（例如，简单的类），然后逐渐找到整个目标数据集上的最佳块。此时，原始候选集变得尽可能紧凑，从而在目标任务中提供更快的搜索。在ImageNet上的实验验证了该方法的有效性。它比以前的方法快2倍，而精度是目前最先进的，在小FLOPs约束下为76.2%。它支持参数搜索空间（即，更多的候选块）以有效地搜索性能最佳的架构。
2020-03-27 cs.CV
FTSO: Effective NAS via First Topology Second Operator
The Hong Kong University of Science and Technology（香港科技大学）
现有的单次神经结构搜索方法需要在一个巨大的超网络上进行搜索，这导致了巨大的计算代价。为了减少这种成本，在本文中，我们提出了一种方法，称为FTSO，整个架构搜索分为两个子步骤。具体来说，在第一步中，我们只搜索拓扑，在第二步中，我们搜索算子。FTSO不仅将NAS的搜索时间从几天缩短到0.68秒，而且还显著提高了找到的架构的准确性。我们在ImageNet上的大量实验表明，在18秒内，FTSO可以达到76.4%的测试准确率，比SOTA，PC-DARTS高1.5%。此外，FTSO在CIFAR 10上搜索时，测试准确率可达97.77%，比SOTA高0.27%，搜索时间节省近100%（99.8%）。
2023-02-28 cs.CV cs.LG
Searching a High-Performance Feature Extractor for Text Recognition Network
Paradigm Inc（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）；Huazhong University of Science and Technology（华中科技大学）
特征提取器在文本识别（TR）中起着至关重要的作用，但由于昂贵的手动调整，定制其架构的研究相对较少。在这项工作中，灵感来自神经架构搜索（NAS）的成功，我们建议寻找合适的特征提取器。我们设计了一个特定领域的搜索空间，探索具有良好的特征提取器的原则。该空间包括用于空间模型的3D结构空间和用于序列模型的基于变换的空间。由于空间巨大且结构复杂，现有的NAS算法无法应用。我们提出了一个两阶段的算法，有效地搜索空间。在第一阶段，我们将空间切割成几个块，并在辅助头的帮助下逐步训练每个块。我们在第二阶段引入时延约束，通过自然梯度下降从训练好的超网中搜索子网络。在实验中，进行了一系列的消融研究，以更好地理解设计的空间，搜索算法和搜索的架构。我们还比较了所提出的方法与各种国家的最先进的手写和现场TR任务。大量的结果表明，我们的方法可以实现更好的识别性能，更少的延迟。
2022-09-27 cs.AI cs.CV
DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Nanyang Institute of Technology（南阳理工学院）；UNIUBI Research, Universal Ubiquitous Co.（普适智联（杭州）科技有限公司UNIUBI研究院）
本文提出DCP-NAS框架，在实值父模型监督下通过切线传播和解耦优化方法高效搜索1-bit CNN架构，在CIFAR-10和ImageNet上取得优异结果，并在行人重识别和目标检测中展现出强泛化能力。
2023-06-27 cs.AI cs.CV
FNAS: Uncertainty-Aware Fast Neural Architecture Search
SenseTime（商汤科技）；The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）
基于强化学习（RL）的神经架构搜索（NAS）通常保证更好的收敛性，但与基于梯度的方法相比，由于推出瓶颈-对代理任务的每个采样生成进行穷举训练，因此需要大量计算资源。在本文中，我们提出了一个通用的流水线，以加速收敛的推出过程，以及在NAS的RL过程。它的动机是有趣的观察，结构和参数的知识可以在不同的实验，甚至不同的任务之间转移。我们首先在近端策略优化（PPO）中引入了一个不确定性感知的评价器（价值函数），以利用以前实验中的体系结构知识，稳定了训练过程，并将搜索时间减少了4倍。此外，一个架构知识池连同块相似性函数，提出了利用参数知识，并减少了2倍的搜索时间。它是第一个在基于RL的NAS中引入块级权重共享的方法。块相似度函数保证了100%的命中率和严格的公平性。此外，我们还表明，在强化学习优化的“回放缓冲区”中使用简单设计的偏离政策修正因子可以进一步减少一半的搜索时间。在移动神经架构搜索（MNAS）搜索空间上的实验表明，所提出的快速神经架构搜索（FNAS）将标准的基于RL的NAS过程加速约10倍（例如，对于MNAS，约256 2x2 TPUv 2 x天/20，000 GPU x小时-> 2，000 GPU x小时），并保证在各种视觉任务上具有更好的性能。
2021-05-27 cs.AI cs.CV cs.LG
Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance
Universidade da Beira Interior（贝拉内陆大学）；NOVA Lincs（NOVA 林肯斯实验室）
神经结构搜索（NAS）基准测试显著提高了开发和比较NAS方法的能力，同时通过提供关于数千个训练好的神经网络的元信息来大幅降低计算开销。然而，表格基准有几个缺点，可能会妨碍公平的比较，并提供不可靠的结果。这些通常集中于在严格约束的搜索空间中提供一个小的操作池-通常是具有预定义外骨架的基于细胞的神经网络。在这项工作中，我们进行了广泛使用的NAS-Bench-101，NAS-Bench-201和transNAS-Bench-101基准测试的可生成性和不同的操作如何影响所生成的架构的性能方面的实证分析。我们发现，只需要一个子集的操作池生成接近性能范围的上限架构。此外，性能分布是负偏的，在上限范围内具有更高的架构密度。我们一直发现卷积层对架构的性能影响最大，并且特定的操作组合有利于得分最高的架构。这些发现为使用NAS基准测试正确评估和比较NAS方法提供了见解，表明直接在NAS-Bench-201、ImageNet 16 -120和TransNAS-Bench-101上搜索比仅在CIFAR-10上搜索产生更可靠的结果。此外，通过这项工作，我们为未来的基准评估和设计提供了建议。用于进行评价的守则可在https://github.com/VascoLopes/NAS-Benchmark-Evaluation上查阅。
2023-03-29 cs.AI cs.CV cs.LG
Searching for the Fakes: Efficient Neural Architecture Search for General Face Forgery Detection
Nankai University（南开大学）
针对人脸伪造检测手动设计网络耗时费力的问题，提出基于NAS的端到端框架，通过伪造导向搜索空间、新型评估指标、跨数据集搜索和级联金字塔连接，实现了兼具竞争力与泛化性的自动检测架构设计。
2023-06-16 cs.CV
Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration
Northwestern Polytechnical University（西北工业大学）；Intellifusion（智融）；Yan’an University（延安大学）
近年来，神经结构搜索（NAS）得到了广泛的关注，其目标是在高级视觉识别任务中超越那些人工设计的神经结构。受成功的启发，在这里，我们试图利用NAS技术来自动设计高效的网络架构，用于低级别的图像复原任务。特别是，我们提出了一个内存高效的分层NAS（称为HiNAS），并将其应用到两个这样的任务：图像去噪和图像超分辨率。HiNAS采用基于梯度的搜索策略，构建了一个灵活的分层搜索空间，包括内部搜索空间和外部搜索空间。他们分别负责设计单元架构和决定单元宽度。对于内部搜索空间，我们提出了一个分层的架构共享策略（LWAS），从而更灵活的架构和更好的性能。对于外部搜索空间，我们设计了一种单元共享策略，以节省内存，并大大加快搜索速度。所提出的HiNAS方法是内存和计算效率。使用单个GTX1080Ti GPU，在BSD-500数据集上搜索去噪网络仅需约1小时，在DIV 2K数据集上搜索超分辨率结构仅需3.5小时。实验表明，HiNAS发现的架构具有更少的参数，并享有更快的推理速度，同时实现与最先进的方法相比具有很强的竞争力的性能。代码可在：https://github.com/hkzhang91/HiNAS
2021-10-09 cs.CV
ParZC: Parametric Zero-Cost Proxies for Efficient NAS
HKUST(GZ)（香港科技大学（广州））；NUDT（国防科技大学）；HITSZ（哈尔滨工业大学深圳校区）；HKUST（香港科技大学）
针对零成本代理忽略节点重要性差异的问题，提出参数化零成本代理框架ParZC，结合贝叶斯混合架构与可微Kendall损失，在多个NAS基准上取得优越性能。
2024-02-03 cs.CV
Coarse-to-Fine Searching for Efficient Generative Adversarial Networks
Tsinghua University（清华大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
本文研究了开发高效生成器网络的神经结构搜索（NAS）问题。与用于视觉识别任务的深度模型相比，生成对抗网络（GAN）通常被设计用于进行各种复杂图像生成。我们首先发现一个完整的生成器网络的搜索空间，包括三个维度，即，充分挖掘网络性能的路径、运营商、渠道。为了降低搜索成本，我们探索了一种由粗到精的搜索策略，将整个搜索过程分为三个子优化问题。此外，一个公平的超网训练方法，以确保所有的子网络可以公平和稳定的更新。基准测试的实验结果表明，我们可以提供更好的图像质量和更低的计算成本比国家的最先进的方法的生成器网络。例如，使用我们的方法，在整个edges-to-shoes数据集上只需大约8个GPU小时即可获得2.56 MB的模型，FID得分为24.13，在整个Urban 100数据集上只需10个GPU小时即可获得1.49 MB的模型，PSNR得分为24.94。
2021-04-19 cs.CV
Binarized Neural Architecture Search
Beihang University（北京航空航天大学）；Xiamen University（厦门大学）；University at Buffalo（布法罗大学）；Shenzhen Institutes of Advanced Technology, University of Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
神经结构搜索（NAS）可以通过自动设计用于各种任务的最佳神经网络架构来对计算机视觉产生重大影响。一种变体，二进制神经架构搜索（BNAS），具有二进制卷积的搜索空间，可以产生极度压缩的模型。不幸的是，这一领域在很大程度上仍未得到探索。BNAS比NAS更具挑战性，因为优化需求和巨大的架构空间导致学习效率低下。为了解决这些问题，我们引入信道采样和操作空间减少到一个可区分的NAS显着降低搜索成本。这是通过基于性能的策略来实现的，该策略用于放弃潜在性较小的操作。两种二值化神经网络的优化方法被用来验证我们的BNAS的有效性。大量的实验表明，所提出的BNAS在CIFAR和ImageNet数据库上实现了与NAS相当的性能。在CIFAR-10数据集上实现了$96.53\%$与$97.22\%$的准确度，但具有显著压缩的模型，并且$40\%$比最先进的PC-DARTS更快的搜索。
2020-02-11 cs.CV
Neural Architecture Searching for Facial Attributes-based Depression Recognition
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng National Laboratory（鹏城国家实验室）；Shenzhen Jinzhou Precision Technology Corp.（深圳金洲精工科技股份有限公司）
最近的研究表明，抑郁症可以部分反映在人类的面部属性。由于人脸属性具有不同的数据结构，并携带不同的信息，现有的方法没有具体考虑的最佳方式来提取抑郁相关的功能，以及调查的最佳融合策略。在本文中，我们提出了扩展神经架构搜索（NAS）技术，设计一个最佳的模型，多个面部属性为基础的抑郁症识别，这可以有效地和强大的实现在一个小的数据集。我们的方法首先对每个面部属性的特征提取器进行预热步骤，旨在大大减少搜索空间并提供定制的架构，其中每个特征提取器可以是卷积神经网络（CNN）或图神经网络（GNN）。然后，我们对所有特征提取器和融合网络进行端到端的架构搜索，使互补的抑郁线索以更少的冗余进行最佳组合。在AVEC 2016数据集上的实验结果表明，该方法在RMSE和MAE上分别比现有方法提高了27%和30%，取得了突破性的效果，为NAS在基于时间序列数据的心理健康分析中的应用提供了坚实的基础.
2022-01-24 cs.AI cs.CV
Flexiffusion: Segment-wise Neural Architecture Search for Flexible Denoising Schedule
University of New South Wales（新南威尔士大学）；University of Technology Sydney（技术与科学大学）；CSIRO’s Data61 and University of New South Wales（CSIRO的数据61与新南威尔士大学）
本文提出免训练的分段式 NAS 方法 Flexiffusion，通过联合搜索完整、部分和空去噪步骤及网络结构，在多个扩散模型与数据集上显著降低推理冗余并取得最高 5.1 倍加速。
2025-06-06 cs.CV
Network Space Search for Pareto-Efficient Spaces
MediaTek Inc.（联发科技股份有限公司）
网络空间在手工网络设计或定义神经架构搜索（NAS）的搜索空间中都被认为是一个关键因素。然而，有效的空间涉及大量的先验知识和/或手动工作，并且需要额外的约束来发现效率感知架构。在本文中，我们定义了一个新的问题，网络空间搜索（NSS），寻找有利的网络空间，而不是一个单一的架构。我们提出了一个NSS方法，直接搜索有效的感知网络空间自动，减少了人工的努力和巨大的成本，发现令人满意的。由此产生的网络空间，命名为精英空间，发现从扩展的搜索空间与最小的人类专业知识强加。帕累托有效的精英空间在各种复杂性约束下与帕累托前沿对齐，并且可以进一步用作NAS搜索空间，从而使可区分的NAS方法受益（例如，在CIFAR-100中，与基线相比，平均低2.3%的出错率和3.7%的目标约束更接近，其中需要减少约90%的样本来找到令人满意的网络）。此外，我们的NSS方法是能够在未来的未开发的空间中搜索优越的空间，揭示了巨大的潜力，在自动搜索网络空间。网址：https://minhungchen.netlify.app/publication/nss。
2021-06-20 cs.AI cs.CV cs.LG
Searching for TrioNet: Combining Convolution with Local and Global Self-Attention
Zhejiang University（浙江大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近，自我注意力算子作为视觉模型的独立构建块表现出优越的性能。然而，现有的自注意力模型通常是手工设计的，从CNN修改而来，并且仅通过堆叠一个算子来获得。结合不同的自注意算子和卷积的更广泛的架构空间很少被探索。在本文中，我们探索这个新的架构空间与权重共享神经架构搜索（NAS）算法。结果架构被命名为TrioNet，用于组合卷积、局部自注意和全局（轴向）自注意运算符。为了在这个巨大的架构空间中有效地搜索，我们提出了分层采样来更好地训练超网。此外，我们提出了一种新的权重共享策略，多头共享，专门为多头自注意运营商。我们搜索到的TrioNet结合了自我注意力和卷积，在ImageNet分类上的表现优于所有独立模型，并且FLOP更少，其中自我注意力的表现优于卷积。此外，在各种小数据集上，我们观察到自我注意力模型的性能较差，但我们的TrioNet仍然能够匹配最佳算子，在这种情况下是卷积。我们的代码可在https://github.com/phj128/TrioNet上获得。
2021-11-15 cs.CV
Prioritized Architecture Sampling with Monto-Carlo Tree Search
SenseTime Research（商汤科技研究院）
单次神经结构搜索（NAS）方法通过将整个搜索空间视为一个网络，只需要训练一次，从而显著降低了搜索成本。然而，当前的方法独立地选择每个操作而不考虑先前的层。此外，以巨大的计算代价获得的历史信息通常只使用一次，然后丢弃。在本文中，我们介绍了一种基于蒙特卡罗树搜索（MCTS）的抽样策略，其搜索空间被建模为蒙特卡罗树（MCT），它捕获层之间的依赖性。此外，中间结果存储在MCT中，以供未来决策和更好的勘探开发平衡。具体地说，MCT更新使用训练损失作为奖励的架构性能;为了准确地评估众多的节点，我们提出了节点通信和分层节点选择方法，分别在训练和搜索阶段，更好地利用操作奖励和层次信息。此外，为了公平地比较不同的NAS方法，我们构建了一个开源的NAS基准的宏搜索空间评估CIFAR-10，即NAS-Bench-Macro。在NAS-Bench-Macro和ImageNet上的大量实验表明，我们的方法显着提高了搜索效率和性能。例如，通过仅搜索$20$架构，我们获得的架构在ImageNet上以4.42亿FLOP实现了$78.0\%$ top-1的准确度。代码（基准）可在：\url{https://github.com/xiusu/NAS-Bench-Macro} .
2021-03-22 cs.CV
SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via Jointly Architecture Searching and Parameter Pruning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）；Oracle Health and AI（甲骨文健康与人工智能部门）
本文提出SuperTickets，通过联合架构搜索和参数剪枝的二合一训练方案直接从超网络中识别高效DNNs及其彩票子网络，无需重训练即可实现更优的准确率与效率权衡，并具备跨任务迁移能力。
2025-03-03 cs.CV cs.LG
Searching for Fast Model Families on Datacenter Accelerators
Google（谷歌）
神经架构搜索（NAS）与模型缩放一起，在设计高精度和快速卷积架构家族方面取得了显着进展。然而，由于NAS和模型扩展都没有考虑足够的硬件架构细节，因此它们没有充分利用新兴的数据中心（DC）加速器。在本文中，我们寻找快速和准确的CNN模型族的DC加速器上的有效推理。我们首先分析了DC加速器，发现现有的CNN存在操作强度、并行性和执行效率不足的问题。这些见解让我们创建了一个DC加速器优化的搜索空间，具有空间到深度，空间到批处理，混合融合卷积结构，具有香草卷积和去卷积卷积，以及逐块激活函数。在我们的DC加速器优化的神经架构搜索空间之上，我们进一步提出了一种延迟感知复合缩放（LACS），这是第一种同时优化准确性和延迟的多目标复合缩放方法。我们的LACS发现，网络深度的增长速度应该比图像大小和网络宽度快得多，这与以前的复合缩放结果有很大不同。借助新的搜索空间和LACS，我们在数据中心加速器上的搜索和扩展产生了名为EfficientNet-X的新模型系列。EfficientNet-X在TPUv 3和GPUv 100上的速度比EfficientNet（一个在FLOP和准确性方面具有最先进折衷的模型系列）快2倍以上，精度相当。EfficientNet-X在TPUv 3和GPUv 100上的速度也比最近的RegNet和ResNeSt快7倍。
2021-02-10 cs.CV eess.IV
Differentiable Architecture Search with Ensemble Gumbel-Softmax
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Intel Labs China（英特尔中国研究院）
对于网络体系结构搜索（NAS），同时保证有效性和效率是至关重要的，但具有挑战性。为了实现这一目标，我们开发了一个可区分的NAS解决方案，其中的搜索空间包括任意前馈网络组成的预定义数量的连接。受益于所提出的集成Gumbel-Softmax估计器，我们的方法在同一轮反向传播中优化了深度网络的架构及其参数，从而产生了搜索网络架构的端到端机制。在各种流行数据集上进行的大量实验有力地证明了我们的方法能够发现高性能的架构，同时保证搜索过程中所需的效率。
2019-05-06 cs.CV cs.LG stat.ML
FasterSeg: Searching for Faster Real-time Semantic Segmentation
Horizon Robotics Inc.（地平线机器人公司）；Texas A&M University（德克萨斯农工大学）
我们提出FasterSeg，一个自动设计的语义分割网络，不仅具有最先进的性能，而且速度比目前的方法更快。FasterSeg利用神经架构搜索（NAS），从一个新的和更广泛的搜索空间集成多分辨率分支，最近已被发现是至关重要的手动设计的分割模型中发现。为了更好地校准高准确性和低延迟目标之间的平衡，我们提出了一种解耦和细粒度的延迟正则化，有效地克服了我们观察到的现象，即搜索的网络容易“崩溃”到低延迟但准确性差的模型。此外，我们无缝地扩展FasterSeg到一个新的协作搜索（共同搜索）框架，同时搜索教师和学生网络在同一个单一的运行。师生蒸馏进一步提高了学生模型的准确性。流行的分割基准上的实验证明了FasterSeg的能力。例如，FasterSeg可以比Cityscapes上最接近的手动设计竞争对手快30%以上，同时保持相当的准确性。
2020-01-16 cs.CV cs.LG
DiNTS: Differentiable Neural Network Topology Search for 3D Medical Image Segmentation
Johns Hopkins University（约翰霍普金斯大学）；NVIDIA（英伟达）
最近，神经结构搜索（NAS）已被应用于自动搜索高性能网络的医学图像分割。NAS搜索空间通常包含网络拓扑级别（控制具有不同空间尺度的小区之间的连接）和小区级别（每个小区内的操作）。现有的方法要么需要长时间的搜索大规模的三维图像数据集，或限于预定义的拓扑结构（如U形或单路径）。在这项工作中，我们专注于NAS在3D医学图像分割中的三个重要方面：灵活的多路径网络拓扑结构，高搜索效率和预算的GPU内存使用。提出了一种新的可微分搜索框架，以支持在高度灵活的网络拓扑搜索空间内的快速梯度搜索。在可微格式中对搜索到的最优连续模型进行离散化可能会产生次优的最终离散模型（离散化间隙）。因此，我们提出了一个拓扑损失，以减轻这个问题。此外，在搜索期间，用于搜索的3D模型的GPU存储器使用受到预算约束的限制。我们的微分网络拓扑搜索方案（DiNTS）进行评估的医疗分割十项全能（MSD）的挑战，其中包含十个具有挑战性的分割任务。我们的方法实现了最先进的性能和MSD挑战排行榜上的最高排名。
2021-03-29 cs.CV
