Searching for Winograd-aware Quantized Networks
University of Oxford(牛津大学);Arm ML Research Lab(安谋机器学习研究实验室)
卷积神经网络(CNN)的轻量级架构设计以及量化为在移动设备上部署要求苛刻的计算机视觉应用铺平了道路。与此并行,卷积运算的替代公式,如FFT,Strassen和Winograd,已被适配用于CNN,提供进一步的加速。Winograd卷积是空间小卷积的最快已知算法,但充分利用其潜力会带来数值误差的负担,使其在量化环境中无法使用。在这项工作中,我们提出了一个Winograd感知的卷积层公式,它将Winograd变换引入的数值不准确性暴露在模型参数的学习中,从而能够在不影响模型大小的情况下设计有竞争力的量化模型。我们还解决了数值误差的来源,并提出了一个放松的形式的转换矩阵,导致高达10%的分类精度提高CIFAR-10。最后,我们提出了wiNAS,一个神经架构搜索(NAS)框架,利用Winograd感知层,联合优化给定的宏架构的准确性和延迟。与im 2 row(最广泛使用的优化卷积实现之一)相比,Winograd感知的ResNet-18(使用wiNAS针对CIFAR-10进行优化)可实现2.66倍的加速,并且不会损失准确性。
2020-02-25 cs.CV cs.LG stat.ML
Summarize and Search: Learning Consensus-aware Dynamic Convolution for Co-Saliency Detection
Northwestern Polytechnical University(西北工业大学);Inception Institute of Artificial Intelligence(人工智能初始研究所)
人类通过首先总结整个组中的共识知识,然后在每个图像中搜索对应的对象来执行共显着性检测。以前的方法通常缺乏鲁棒性,可扩展性或稳定性的第一个过程,并简单地融合共识功能与图像特征的第二个过程。在本文中,我们提出了一种新的共识感知的动态卷积模型,明确和有效地执行“总结和搜索”的过程。为了总结共识图像特征,我们首先使用有效的池化方法总结每个图像的鲁棒特征,然后通过自我注意力机制聚合跨图像共识线索。通过这样做,我们的模型满足可扩展性和稳定性的要求。接下来,我们从共识特征生成动态内核来编码总结的共识知识。两种内核的补充方式,分别总结细粒度的图像特定的共识对象线索和粗糙的组明智的共同知识。然后,我们可以有效地执行对象搜索,采用动态卷积在多个尺度。此外,还提出了一种新颖有效的数据综合方法来训练网络。在四个基准数据集上的实验结果验证了该方法的有效性。我们的代码和显着图可在\url{https://github.com/nnizhang/CADC}上获得。
2021-10-01 cs.CV
Binarizing MobileNet via Evolution-based Searching
Carnegie Mellon University(卡内基梅隆大学);Hong Kong University of Science and Technology(香港科技大学);Axon Enterprise(Axon企业公司)
二进制神经网络(Binary Neural Networks,BNN)是一种高效的紧凑网络结构,在视觉任务中取得了很好的效果。由于网络的二进制性质,设计有效的二进制架构并不简单。在本文中,我们提出了一种使用进化搜索,以促进建设和训练计划时,二进制MobileNet,一个紧凑的网络与可分离的深度卷积。受一次性架构搜索框架的启发,我们利用组卷积的思想来设计高效的1位卷积神经网络(CNN),假设计算成本和模型精度之间的近似最佳权衡。我们的目标是通过探索组卷积的最佳候选者,同时在复杂性和延迟方面优化模型性能,从而提出一种微小而有效的二进制神经架构。这一办法有三个方面。首先,我们训练强基线二进制网络,在每个卷积层上使用各种随机组组合。这种设置使二进制神经网络具有通过层保存基本信息的能力。其次,为了找到一组好的群卷积超参数,我们使用进化搜索,它利用了有效的1位模型的探索。最后,这些二进制模型以通常的方式从头开始训练,以实现最终的二进制模型。在ImageNet上进行的各种实验表明,按照我们的构建指南,最终模型达到了60.09%的Top-1准确率,并且在相同的计算成本下优于最先进的CI-BCNN。
2020-05-15 cs.CV cs.LG cs.NE
Searching for Fast Model Families on Datacenter Accelerators
Google(谷歌)
神经架构搜索(NAS)与模型缩放一起,在设计高精度和快速卷积架构家族方面取得了显着进展。然而,由于NAS和模型扩展都没有考虑足够的硬件架构细节,因此它们没有充分利用新兴的数据中心(DC)加速器。在本文中,我们寻找快速和准确的CNN模型族的DC加速器上的有效推理。我们首先分析了DC加速器,发现现有的CNN存在操作强度、并行性和执行效率不足的问题。这些见解让我们创建了一个DC加速器优化的搜索空间,具有空间到深度,空间到批处理,混合融合卷积结构,具有香草卷积和去卷积卷积,以及逐块激活函数。在我们的DC加速器优化的神经架构搜索空间之上,我们进一步提出了一种延迟感知复合缩放(LACS),这是第一种同时优化准确性和延迟的多目标复合缩放方法。我们的LACS发现,网络深度的增长速度应该比图像大小和网络宽度快得多,这与以前的复合缩放结果有很大不同。借助新的搜索空间和LACS,我们在数据中心加速器上的搜索和扩展产生了名为EfficientNet-X的新模型系列。EfficientNet-X在TPUv 3和GPUv 100上的速度比EfficientNet(一个在FLOP和准确性方面具有最先进折衷的模型系列)快2倍以上,精度相当。EfficientNet-X在TPUv 3和GPUv 100上的速度也比最近的RegNet和ResNeSt快7倍。
2021-02-10 cs.CV eess.IV
AutoPose: Searching Multi-Scale Branch Aggregation for Pose Estimation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Texas A&M University(德克萨斯农工大学);Horizon Robotics Inc(地平线机器人公司)
我们提出了AutoPose,这是一种新型的神经架构搜索(NAS)框架,能够自动发现跨尺度连接的多个并行分支,以实现准确和高分辨率的2D人体姿势估计。最近,用于姿态估计的高性能手工卷积网络显示出对多尺度融合和高分辨率表示的需求不断增长。然而,目前的NAS工作表现出有限的灵活性的规模搜索,他们主要采用简化的搜索空间的单分支结构。这种简化限制了不同尺度信息的融合,并且无法保持高分辨率的表示。所呈现的AutoPose框架能够搜索多分支尺度和网络深度,以及细胞级微观结构。在搜索空间的启发下,提出了一种新的双层优化方法,其中网络级结构通过强化学习进行搜索,单元级结构通过基于梯度的方法进行搜索.在2.5 GPU天内,AutoPose能够在MS COCO数据集上找到非常有竞争力的架构,这些架构也可以转移到MPII数据集。我们的代码可在https://github.com/VITA-Group/AutoPose上获得。
2020-08-16 cs.CV
Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
Google(谷歌)
设备上的ML加速器正在成为现代移动片上系统(SoC)的标准。神经架构搜索(NAS)可以有效地利用这些加速器提供的高计算吞吐量。然而,现有的NAS框架在扩展到多个任务和不同的目标平台方面有几个实际的限制。在这项工作中,我们提供了一个双管齐下的方法来应对这一挑战:(i)NAS使能基础设施,其将模型成本评估、搜索空间设计和NAS算法结合在一起,以快速针对各种设备上的ML任务,以及(ii)从基于组卷积的反向瓶颈(IBN)变体制作的搜索空间,其在ML加速器上提供灵活的质量/性能权衡,补充了现有的基于全卷积和去卷积的IBN。使用这种方法,我们针对最先进的移动平台Google Tensor SoC,并展示了神经架构,可以提高各种计算机视觉(分类,检测,分割)以及自然语言处理任务的质量性能帕累托边界。
2022-04-09 cs.CV cs.DC cs.LG
AutoHR: A Strong End-to-end Baseline for Remote Heart Rate Measurement with Neural Searching
Center for Machine Vision and Signal Analysis, University of Oulu(奥卢大学机器视觉与信号分析中心);Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
远程光电体积描记术(rPPG)旨在无任何接触地测量心脏活动,在许多应用中具有巨大的潜力(例如,远程医疗)。现有的来自面部视频的端到端rPPG和心率(HR)测量方法容易受到约束较少的场景(例如,具有头部移动和不良照明)。在这封信中,我们探讨了现有端到端网络在具有挑战性的条件下表现不佳的原因,并建立了一个强大的端到端基线(AutoHR),用于使用神经架构搜索(NAS)进行远程HR测量。所提出的方法包括三个部分:1)一个强大的搜索骨干与新的时间差分卷积(TDC),旨在捕捉帧之间的内在rPPG感知线索; 2)一个混合损失函数,考虑到从时域和频域的约束;和3)时空数据增强策略,更好的表示学习。在三个基准数据集上进行了全面的实验,以显示我们在数据集内和跨数据集测试上的卓越性能。
2020-04-26 cs.CV
HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers
The University of Hong Kong(香港大学);Bytedance Inc.(字节跳动公司)
高分辨率表示(HR)对于密集预测任务(如分割,检测和姿态估计)至关重要。学习HR表示通常在关注图像分类的先前神经架构搜索(NAS)方法中被忽略。这项工作提出了一种新的NAS方法,称为HR-NAS,它能够找到有效和准确的网络,为不同的任务,有效地编码多尺度上下文信息,同时保持高分辨率的表示。在HR-NAS中,我们更新了NAS的搜索空间和搜索策略。为了更好地在HR-NAS的搜索空间中编码多尺度图像上下文,我们首先仔细设计了一个轻量级的Transformer,其计算复杂性可以根据不同的目标函数和计算预算动态地改变。为了保持学习网络的高分辨率表示,HR-NAS采用了多分支架构,该架构提供了多个特征分辨率的卷积编码,灵感来自HRNet。最后,我们提出了一种有效的细粒度搜索策略来训练HR-NAS,该策略有效地探索了搜索空间,并在给定各种任务和计算资源的情况下找到了最优的架构。HR-NAS能够在三个密集预测任务和一个图像分类任务的性能和FLOP之间实现最先进的权衡,只需少量的计算预算。例如,HR-NAS超越了专门为语义分割设计的SqueezeNAS,同时将效率提高了45.9%。代码可在https://github.com/dingmyu/HR-NAS上获得
2021-06-11 cs.CV
CONet: Channel Optimization for Convolutional Neural Networks
University of New Brunswick(新不伦瑞克大学);University of Toronto(多伦多大学)
神经架构搜索(NAS)已经将网络设计从使用人类直觉转变为利用由评估指标指导的搜索算法。我们研究了卷积神经网络(CNN)中的通道大小优化,并确定了它在模型准确性和复杂性中所起的作用。现有的通道尺寸选择方法通常受离散样本空间的限制,同时遭受人工迭代和简单的算法。为了解决这个问题,我们引入了一种有效的动态缩放算法-- CONet --它可以自动优化给定CNN的跨网络层的通道大小。引入了两个度量--“\textit{Rank}“和“\textit{Rank Average Slope}“--来识别训练中积累的信息。该算法在固定的搜索阶段动态地增大或减小信道大小。我们在CIFAR 10/100和ImageNet数据集上进行了实验,结果表明,CONet可以找到在ResNet、DARTS和DARTS+空间中搜索到的高效准确的架构,这些架构的性能优于其基线模型。本文件取代先前在ICCV 2021-NeurArch研讨会上发表的论文。另外一节是关于人工缩放CNN中的信道大小,以数字验证在CNN中搜索最佳信道配置时使用的度量。
2022-04-07 cs.CV cs.LG cs.NE
Searching for Efficient Multi-Stage Vision Transformers
Massachusetts Institute of Technology(麻省理工学院)
视觉Transformer(ViT)表明,用于自然语言处理的Transformer可应用于计算机视觉任务,并具有与卷积神经网络(CNN)相当的性能,后者已在计算机视觉中研究和采用多年。这自然提出了一个问题,即如何使用CNN的设计技术来提高ViT的性能。为此,我们建议将两种技术,并提出ViT-ResNAS,一个有效的多阶段ViT架构设计与神经架构搜索(NAS)。首先,我们提出了残差空间减少,以减少更深层次的序列长度,并利用多级架构。当减少长度时,我们添加跳过连接以提高性能并稳定训练更深的网络。其次,我们提出了权重共享NAS与多架构采样。我们扩大一个网络,并利用它的子网络来定义一个搜索空间。然后训练一个覆盖所有子网络的超级网络,以快速评估它们的性能。为了有效地训练超级网络,我们提出了采样和训练多个子网络与一个向前-向后通过。在此之后,进化搜索进行发现高性能的网络架构。ImageNet上的实验表明,ViT-ResNAS比原始DeiT和ViT的其他强基线实现了更好的准确性-MAC和准确性-吞吐量权衡。代码可在https://github.com/yilunliao/vit-search上获得。
2021-09-01 cs.CV
Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition
University of Oulu(奥卢大学);Macau University of Science and Technology(澳门科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Westlake University(西湖大学)
手势识别因其巨大的应用潜力而受到广泛关注。虽然多模态学习方法近年来取得了很大的进展,但现有的方法仍然缺乏有效的整合,以充分发挥时空模态之间的协同作用,有效地用于手势识别。这些问题部分是由于现有的人工设计的网络架构在多模态联合学习中效率低下。在本文中,我们提出了第一个基于神经架构搜索(NAS)的RGB-D手势识别方法。所提出的方法包括两个关键组成部分:1)通过所提出的3D中心差分卷积(3D-CDC)家族增强的时间表示,该家族能够通过聚合时间差信息来捕获丰富的时间上下文;以及2)针对多采样率分支和不同模态之间的横向连接进行优化的主干。由此产生的多模态多速率网络提供了一个新的视角来理解RGB和深度模态及其时间动态之间的关系。在三个基准数据集(IsoGD,NvGesture和EgoGesture)上进行了全面的实验,展示了单模态和多模态设置中的最新性能。代码可在https://github.com/ZitongYu/3DCDC-NAS上获得
2020-08-21 cs.CV
einspace: Searching for Neural Architectures from Fundamental Operations
针对现有NAS搜索空间多样性不足难催生架构范式转变的问题,提出基于参数化概率上下文无关文法的einspace搜索空间,可建模多种网络结构,在Unseen NAS数据集上从零搜索可得有竞争力的架构,以强基线初始化可获大幅提升,推动变革性NAS范式发展。
2024-10-30 cs.AI cs.CV cs.LG
Searching for Network Width with Bilaterally Coupled Network
The University of Sydney(悉尼大学);Beijing University of Posts and Telecommunications(北京邮电大学);SenseTime Research Centre(商汤科技研究中心);Tsinghua University(清华大学)
寻找更紧凑的网络宽度最近作为一种有效的方式来修剪部署的卷积神经网络(CNN)的硬件约束下的通道。为了实现搜索,通常利用一次超网来有效地评估性能\wrt ~不同的网络宽度。然而,目前的方法主要遵循\textit{unilaterally augmented}(UA)原则来评估每个宽度,这导致了超网中信道的训练不公平性。在本文中,我们介绍了一个新的超网称为双边耦合网络(BCNet)来解决这个问题。在BCNet中,每个通道都经过公平的训练,并负责相同数量的网络宽度,因此可以更准确地评估每个网络宽度。此外,我们建议减少冗余的搜索空间,并提出BCNetV 2作为增强的超网,以确保严格的训练公平性的通道。此外,我们利用一个随机的互补策略来训练BCNet,并提出了一个先验的初始种群抽样方法,以提高进化搜索的性能。为了更好地比较宽度搜索算法,我们还提出了第一个关于宏结构的开源宽度基准测试,名为Questel-Bench-Macro。在基准CIFAR-10和ImageNet数据集上进行的大量实验表明,我们的方法可以实现最先进的性能或与其他基线方法竞争的性能。此外,我们的方法通过改进网络宽度来进一步提高NAS模型的性能。例如,在相同的FLOP预算下,我们获得的EfficientNet-B 0在ImageNet数据集上达到了77.53%的Top-1准确率,超过了原始设置的0.65%。
2022-03-25 cs.CV cs.LG
Neural Architecture Searching for Facial Attributes-based Depression Recognition
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng National Laboratory(鹏城国家实验室);Shenzhen Jinzhou Precision Technology Corp.(深圳金洲精工科技股份有限公司)
最近的研究表明,抑郁症可以部分反映在人类的面部属性。由于人脸属性具有不同的数据结构,并携带不同的信息,现有的方法没有具体考虑的最佳方式来提取抑郁相关的功能,以及调查的最佳融合策略。在本文中,我们提出了扩展神经架构搜索(NAS)技术,设计一个最佳的模型,多个面部属性为基础的抑郁症识别,这可以有效地和强大的实现在一个小的数据集。我们的方法首先对每个面部属性的特征提取器进行预热步骤,旨在大大减少搜索空间并提供定制的架构,其中每个特征提取器可以是卷积神经网络(CNN)或图神经网络(GNN)。然后,我们对所有特征提取器和融合网络进行端到端的架构搜索,使互补的抑郁线索以更少的冗余进行最佳组合。在AVEC 2016数据集上的实验结果表明,该方法在RMSE和MAE上分别比现有方法提高了27%和30%,取得了突破性的效果,为NAS在基于时间序列数据的心理健康分析中的应用提供了坚实的基础.
2022-01-24 cs.AI cs.CV
VINNAS: Variational Inference-based Neural Network Architecture Search
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
近年来,神经结构搜索(NAS)由于其能够为诸如图像分类或目标检测的各种人工智能任务找到具有高精度的神经结构而受到了强烈的科学和工业兴趣。特别是,基于梯度的NAS方法由于其在搜索过程中的计算效率而成为最受欢迎的方法之一。然而,这些方法经常经历模式坍塌,其中由于算法诉诸于为整个网络选择单个操作类型,或者对于各种数据集或搜索空间停滞在局部最小值,所找到的架构的质量很差。针对这些缺陷,我们提出了一种基于可微变分推理的NAS方法来搜索稀疏卷积神经网络。我们的方法通过使用具有自动相关性确定先验的变分丢弃来丢弃过参数化超图中的候选操作,从而找到最优神经架构,这使得算法逐渐去除不必要的操作和连接,而不会冒模式坍塌的风险。通过搜索两种类型的卷积单元来进行评估,所述两种类型的卷积单元形成用于对不同图像数据集进行分类的神经网络。我们的方法找到了不同的网络单元,同时显示出最先进的精度,非零参数减少了近2倍。
2021-01-14 cs.CV cs.LG stat.ML
Learning Graph Convolutional Network for Skeleton-based Human Action Recognition by Neural Searching
University of Oulu(奥卢大学);Xi’an Jiaotong University(西安交通大学)
基于图卷积网络(GCN)的骨架数据人体动作识别,由于其对非欧结构数据建模能力强,受到了广泛关注。然而,许多现有的GCN方法提供了一个预定义的图,并通过整个网络固定它,这可能会丢失隐含的联合相关性。此外,主流的谱GCN近似为一阶跳,因此没有很好地涉及高阶连接。因此,需要付出巨大的努力来探索更好的GCN架构。为了解决这些问题,我们转向神经结构搜索(NAS),并提出了第一个自动设计的GCN基于神经网络的动作识别。具体来说,我们丰富的搜索空间,提供多个动态图形模块后,充分探索节点之间的时空相关性。此外,我们还引入了多跳模块,希望能突破一阶近似所带来的表示能力的限制。此外,采样和内存效率的演化策略,提出了搜索最佳的结构,为这项任务。由此产生的架构证明了高阶近似和动态图建模机制的有效性与时间的相互作用,这是几乎没有讨论过。为了评估搜索模型的性能,我们在两个非常大规模的数据集上进行了大量的实验,结果表明我们的模型得到了最先进的结果。
2019-11-11 cs.CV
Efficient Differentiable Neural Architecture Search with Meta Kernels
Huazhong University of Science and Technology(华中科技大学);Yitu Technology(依图科技);National University of Singapore(新加坡国立大学)
神经结构搜索(NAS)的搜索过程非常耗时且成本高昂,为了使搜索空间连续,现有的基于梯度的NAS方法大多将特定操作的类别选择放松为所有可能操作的softmax,并计算多个特征的加权和,导致大量的内存需求和巨大的计算负担。在这项工作中,我们提出了一个有效的和新颖的搜索策略与Meta内核。我们直接从卷积核的角度对超网进行编码,并在这些候选者对输入特征进行操作之前将多个卷积核候选者“缩小”为一个。这样,在两个中间结点之间仅生成单个特征。用于存储中间特征的存储器和用于进行卷积运算的资源预算都显著减少。尽管效率很高,我们的搜索策略可以搜索在一个更细粒度的方式比现有的作品,并增加了代表可能的网络的容量。我们证明了我们的搜索策略的有效性进行了广泛的实验。具体来说,我们的方法在ImageNet基准数据集上实现了77.0%的top-1准确率,仅需3.57亿FLOPs,在相同的FLOPs约束下,优于EfficientNet和MobileNetV 3。与最先进的NAS方法发现的模型相比,我们的方法实现了相同(有时甚至更好)的性能,同时速度快了三个数量级。
2019-12-10 cs.CV
Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells
The University of Adelaide(阿德莱德大学)
为特定任务量身定制的神经网络架构的自动化设计是一个非常有前途的探索途径,尽管本质上是困难的。虽然这个领域的大多数成果都是在图像分类和语言建模问题上取得的,但在这里,我们专注于密集的每像素任务,特别是使用全卷积网络的语义图像分割。与上述领域相比,全卷积网络的设计选择需要几个变化,从需要使用的操作类型,例如,扩张卷积-解决一个更困难的优化问题。在这项工作中,我们特别感兴趣的是寻找高性能的紧凑分割架构,能够使用有限的资源实时运行。为了实现这一点,我们故意在训练期间通过一组辅助单元对架构进行过度参数化,这些辅助单元提供中间监督信号,并且可以在评估阶段省略。辅助单元的设计由控制器发出,该控制器是使用强化学习训练的具有固定结构的神经网络。更重要的是,我们展示了如何有效地搜索这些架构在有限的时间和计算预算。特别是,我们依赖于一个渐进的策略,终止非有前途的架构进行进一步的训练,并在Polyak平均加上知识蒸馏,以加快收敛。量化,在8个GPU天,我们的方法发现了一组架构,在语义分割,姿态估计和深度预测任务上的紧凑模型中表现得与最先进的水平相当。代码将在这里提供:https://github.com/drsleep/nas-segm-pytorch
2019-05-17 cs.CV
WAS-VTON: Warping Architecture Search for Virtual Try-on Network
Sun Yat-Sen University(中山大学);UiT The Arctic University of Norway(挪威北极大学);Momo Technology Company Limited(陌陌科技有限公司);DarkMatter AI Research(暗物质人工智能研究院)
尽管基于图像的虚拟试穿最近取得了进展,但当前方法受到共享翘曲网络的约束,因此当面对需要不同翘曲操作的服装类别时,无法合成自然的试穿结果。在本文中,我们通过神经结构搜索(NAS)为虚拟试穿任务找到服装类别特定的翘曲网络来解决这个问题。我们引入了NAS-Warping模块,并精心设计了一个双层分层搜索空间,以确定最佳的网络级和操作级流量估计架构。给定包含不同数量的扭曲块的网络级搜索空间和具有不同卷积操作的操作级搜索空间,我们共同学习可重复扭曲单元和卷积操作的组合,专门用于服装-人对齐。此外,提出了一个NAS融合模块来合成更自然的最终试穿结果,这是通过利用特定的跳过连接来产生更好的融合特征来实现的,这些特征是无缝融合翘曲的衣服和未改变的人的部分所需的。我们采用一种高效稳定的一次性搜索策略来搜索上述两个模块。大量的实验表明,我们的WAS-VTON显着优于以前的固定架构的试穿方法,更自然的翘曲结果和虚拟的试穿结果。
2021-08-01 cs.CV
MobileDets: Searching for Object Detection Architectures for Mobile Accelerators
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google(谷歌)
反向瓶颈层建立在依赖卷积的基础上,是移动设备上最先进的目标检测模型中的主要构建块。在这项工作中,我们通过重新审视常规卷积的有用性,研究了这种设计模式在广泛的移动加速器上的最优性。我们发现,规则卷积是一个有效的组成部分,以提高延迟-准确性的权衡加速器上的目标检测,只要他们被放置在网络中的战略通过神经架构搜索。通过在搜索空间中加入常规卷积并直接优化目标检测的网络架构,我们获得了一系列目标检测模型MobileDets,这些模型在移动加速器中获得了最先进的结果。在COCO目标检测任务中,MobileDets在可比的移动CPU推理时间上比MobileNetV 3 +SSDLite高出1.7 mAP。MobileDets在移动CPU上的性能也优于MobileNetV 2 +SSDLite,在移动CPU上为1.9 mAP,在Google EdgeTPU上为3.7 mAP,在Qualcomm Hexagon DSP上为3.4 mAP,在Nvidia Jetson GPU上为2.7 mAP,而不会增加延迟。此外,MobileDets在移动CPU上与最先进的MnasFPN相当,即使不使用功能金字塔,也能在EdgeTPU和DSP上获得更好的mAP分数,加速高达2倍。代码和模型可在TensorFlow目标检测API中找到:https://github.com/tensorflow/models/tree/…
2021-03-31 cs.CV
Multi-Objective Evolutionary Design of Deep Convolutional Neural Networks for Image Classification
Michigan State University(密歇根州立大学)
卷积神经网络(CNN)架构的早期发展主要是由人类专业知识和精心设计的过程驱动的。最近,提出了神经结构搜索,其目的是自动化网络设计过程并生成任务相关的结构。虽然现有的方法已经在图像分类中实现了有竞争力的性能,但是由于两个原因,它们并不很好地适合于计算预算受限的问题:(1)所获得的架构或者仅针对分类性能进行优化,或者仅针对一个部署场景进行优化;(2)在大多数方法中,搜索过程需要大量的计算资源。为了克服这些限制,我们提出了一种进化算法,用于在多个目标下搜索神经架构,例如分类性能和浮点运算(FLOPs)。所提出的方法解决了第一个缺点,通过填充一组架构,以近似整个帕累托边界,通过遗传操作,重组和修改建筑组件逐步。我们的方法通过仔细缩小搜索过程中的架构,以及通过贝叶斯模型学习加强过去成功的架构中共享的模式,提高了计算效率。这两个主要贡献的集成允许有竞争力的架构的有效设计,并且在大多数情况下优于基准图像分类数据集上手动和自动设计的架构:CIFAR,ImageNet和人类胸部X射线。同时获得多个架构的选择,不同的计算要求提供的灵活性,进一步区分我们的方法从文献中的其他方法。代码可在https://github.com/mikelzc1990/nsganetv1上获得
2020-09-15 cs.CV cs.LG cs.NE
Neural Architecture Search as Sparse Supernet
KU Leuven(鲁汶大学)
本文旨在将神经结构搜索问题从单路径和多路径搜索扩展到自动混合路径搜索。特别是,我们建模的NAS问题作为一个稀疏的超网使用一个新的连续的体系结构表示与稀疏约束的混合物。稀疏超网使我们能够自动实现稀疏混合路径上的一个紧凑的节点集。为了优化建议的稀疏超网,我们采用了分层加速邻近梯度算法在一个双层优化框架。在卷积神经网络和递归神经网络上的大量实验表明,该方法能够搜索紧凑,通用和强大的神经结构。
2021-03-31 cs.CV stat.ML
C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation
NVIDIA(英伟达);The Johns Hopkins University(约翰斯·霍普金斯大学)
3D卷积神经网络(CNN)已被证明在解析3D医学图像中的器官或肿瘤方面非常成功,但在给定不同任务上下文的情况下选择或设计适当的3D网络仍然是复杂和耗时的。最近,神经结构搜索(NAS)被提出来解决这个问题,通过自动搜索最佳的网络结构。然而,由于存储空间的限制和搜索空间的庞大,NAS算法中搜索阶段和部署阶段的不一致性往往存在,当NAS应用于一些耗时耗机的任务时,如三维医学图像分割,这种不一致性会变得更加严重。在本文中,我们提出了由粗到细的神经架构搜索(C2FNAS),可以从头开始自动搜索3D分割网络,而不会在网络大小或输入大小上出现不一致。具体来说,我们将搜索过程分为两个阶段:1)粗略阶段,我们搜索网络的宏观级拓扑,即每个卷积模块如何连接到其他模块; 2)精细阶段,我们基于先前搜索的宏观级拓扑在微观级搜索每个单元中的操作。由粗到精的方法将搜索过程分为两个连续的阶段,同时解决了搜索过程中的不一致性。我们在来自Medical Segmentation Decalthon(MSD)挑战赛的10个公共数据集上评估了我们的方法,并使用一个数据集搜索网络实现了最先进的性能,这证明了我们搜索模型的有效性和通用性。
2020-04-20 cs.CV
Automatic Design of CNNs via Differentiable Neural Architecture Search for PolSAR Image Classification
Harbin Institute of Technology(哈尔滨工业大学)
卷积神经网络(CNN)在极化合成孔径雷达(PolSAR)图像分类中表现出良好的性能,这是由于特征工程的自动化。CNN的优秀手工架构融合了人类专家的智慧,这是CNN成功的重要原因。然而,体系结构的设计是一个困难的问题,它需要大量的专业知识以及计算资源。此外,手工设计的架构可能是次优的,因为它只是数千条未观察到但客观存在的路径之一。考虑到深度学习的成功很大程度上是由于其特征工程过程的自动化,如何设计自动架构搜索方法来取代手工制作的方法是一个有趣的话题。本文首次探索了神经结构搜索在极化SAR领域的应用。不同于现有的NAS方法的利用,我们提出了一个可区分的架构搜索(DAS)的方法,这是定制的PolSAR分类。建议DAS配备了PolSAR定制的搜索空间和改进的一次性搜索策略。通过DAS,在训练过程中可以通过随机梯度下降方法优化权值参数和结构参数(对应于超参数而不是拓扑)。将优化后的结构参数转化为相应的CNN结构并重新训练,实现高精度的PolSAR分类。此外,复值DAS的发展,以考虑到极化SAR图像的特点,以进一步提高性能。在三个PolSAR基准数据集上的实验表明,通过搜索得到的CNN比手工构建的CNN具有更好的分类性能。
2019-11-19 cs.CV
Binarized Neural Architecture Search
Beihang University(北京航空航天大学);Xiamen University(厦门大学);University at Buffalo(布法罗大学);Shenzhen Institutes of Advanced Technology, University of Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
神经结构搜索(NAS)可以通过自动设计用于各种任务的最佳神经网络架构来对计算机视觉产生重大影响。一种变体,二进制神经架构搜索(BNAS),具有二进制卷积的搜索空间,可以产生极度压缩的模型。不幸的是,这一领域在很大程度上仍未得到探索。BNAS比NAS更具挑战性,因为优化需求和巨大的架构空间导致学习效率低下。为了解决这些问题,我们引入信道采样和操作空间减少到一个可区分的NAS显着降低搜索成本。这是通过基于性能的策略来实现的,该策略用于放弃潜在性较小的操作。两种二值化神经网络的优化方法被用来验证我们的BNAS的有效性。大量的实验表明,所提出的BNAS在CIFAR和ImageNet数据库上实现了与NAS相当的性能。在CIFAR-10数据集上实现了$96.53\%$与$97.22\%$的准确度,但具有显著压缩的模型,并且$40\%$比最先进的PC-DARTS更快的搜索。
2020-02-11 cs.CV
RARTS: An Efficient First-Order Relaxed Architecture Search Method
University of California at Irvine(加州大学欧文分校)
可微结构搜索(DARTS)是一种基于求解双层优化问题的数据驱动神经网络设计的有效方法。尽管它在许多架构搜索任务中取得了成功,但仍然存在一些关于一阶DARTS的准确性和二阶DARTS的效率的问题。在本文中,我们制定了一个单一的水平替代和宽松的架构搜索(RARTS)的方法,利用整个数据集的架构学习,通过数据和网络分裂,而不涉及混合的二阶导数相应的损失函数,如DARTS。在我们的网络分裂公式中,两个具有不同但相关权重的网络合作寻找共享架构。收敛定理和解析可解模型证明了RARTS优于DARTS的优点。此外,RARTS优于DARTS及其变种的准确性和搜索效率,在足够的实验结果表明。对于搜索拓扑结构的任务,即,在CIFAR-10上,RARTS算法比二阶DARTS算法获得了更高的精度,计算量减少了60%.在转移到ImageNet后,RARTS的性能继续优于DARTS,并且与DARTS的最新变体不相上下,尽管我们的创新纯粹是在训练算法上,而没有修改搜索空间。对于搜索宽度的任务,即,卷积层中的通道数量,RARTS也优于传统的网络修剪基准。在NATS-Bench等公共体系结构搜索基准上的进一步实验也支持了RARTS的卓越性。
2022-06-24 cs.CV cs.LG stat.ML
AssembleNet: Searching for Multi-Stream Neural Connectivity in Video Architectures
Google Research(谷歌研究院)
学习表示视频在算法和计算上都是一项非常具有挑战性的任务。标准视频CNN架构已经通过直接扩展为图像理解而设计的架构以包括时间维度、使用诸如3D卷积的模块或通过使用双流设计来捕获视频中的外观和运动来设计。我们将视频CNN解释为相互连接的多流卷积块的集合,并提出了自动寻找具有更好连接性和时空交互的神经架构的方法,用于视频理解。这是通过进化由连接权重学习指导的过度连接架构的群体来完成的。将抽象不同输入类型的表示(即,RGB和光流),从而允许不同类型或来源的信息彼此交互。我们的方法被称为AssemblleNet,在公共视频数据集上的性能优于以前的方法,在某些情况下,性能会有很大的提高。我们获得了58.6%的mAP上的字谜和34.27%的准确率时刻的时间。
2020-05-27 cs.CV cs.LG cs.NE
Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance
Universidade da Beira Interior(贝拉内陆大学);NOVA Lincs(NOVA 林肯斯实验室)
神经结构搜索(NAS)基准测试显著提高了开发和比较NAS方法的能力,同时通过提供关于数千个训练好的神经网络的元信息来大幅降低计算开销。然而,表格基准有几个缺点,可能会妨碍公平的比较,并提供不可靠的结果。这些通常集中于在严格约束的搜索空间中提供一个小的操作池-通常是具有预定义外骨架的基于细胞的神经网络。在这项工作中,我们进行了广泛使用的NAS-Bench-101,NAS-Bench-201和transNAS-Bench-101基准测试的可生成性和不同的操作如何影响所生成的架构的性能方面的实证分析。我们发现,只需要一个子集的操作池生成接近性能范围的上限架构。此外,性能分布是负偏的,在上限范围内具有更高的架构密度。我们一直发现卷积层对架构的性能影响最大,并且特定的操作组合有利于得分最高的架构。这些发现为使用NAS基准测试正确评估和比较NAS方法提供了见解,表明直接在NAS-Bench-201、ImageNet 16 -120和TransNAS-Bench-101上搜索比仅在CIFAR-10上搜索产生更可靠的结果。此外,通过这项工作,我们为未来的基准评估和设计提供了建议。用于进行评价的守则可在https://github.com/VascoLopes/NAS-Benchmark-Evaluation上查阅。
2023-03-29 cs.AI cs.CV cs.LG
Auto-ReID: Searching for a Part-aware ConvNet for Person Re-Identification
Baidu Research(百度研究院);University of Technology Sydney(悉尼科技大学)
用于人员重新识别(reID)的主流深度卷积神经网络(CNN)通常建立在ResNet或VGG骨干上,这些骨干最初是为分类而设计的。由于reID与分类不同,因此应相应地修改架构。我们建议自动搜索特别适合reID任务的CNN架构。有三个方面需要解决。首先,身体结构信息在reID中起着重要作用,但它不在骨架中编码。第二,神经架构搜索(NAS)自动化的架构设计过程中,没有人的努力,但现有的NAS方法纳入输入图像的结构信息。第三,reID本质上是一个检索任务,但目前的NAS算法仅仅是为分类而设计的。为了解决这些问题,我们提出了一个基于检索的搜索算法,在一个专门设计的reID搜索空间,名为Auto-ReID。我们的Auto-ReID使自动化方法能够为reID找到高效和有效的CNN架构。大量的实验表明,搜索的架构实现了最先进的性能,同时减少了50%的参数和53%的FLOPs相比,其他。
2019-08-20 cs.CV
CONetV2: Efficient Auto-Channel Size Optimization for CNNs
University of Toronto(多伦多大学);University of New Brunswick(新不伦瑞克大学)
神经结构搜索(NAS)在为卷积神经网络(CNN)寻找最佳网络配置方面一直是关键。虽然许多方法从全局搜索空间的角度探索NAS,但所采用的优化方案通常需要大量的计算资源。这项工作介绍了一种方法,是有效的,在计算受限的环境中,通过检查微搜索空间的信道大小。在解决通道大小优化问题时,我们设计了一种自动算法来提取网络不同连接层内的依赖关系。此外,我们引入了知识蒸馏的思想,它可以保存训练的权重,admist试验中的通道大小是变化的。此外,由于标准的性能指标(准确性,损失)未能捕捉到单个网络组件的性能(提供整体网络评估),我们引入了一个新的度量,高度相关的测试准确性,并使个别网络层的分析。结合依赖提取,指标,和知识蒸馏,我们引入了一个有效的搜索算法,模拟退火启发随机性,并证明其有效性,找到最佳的架构,超过基线的大幅度。
2021-10-13 cs.AI cs.CV
Beyond Trade-off: Accelerate FCN-based Face Detector with Higher Accuracy
Beihang University(北京航空航天大学);The Chinese University of Hong Kong(香港中文大学);Sensetime Group Limited(商汤集团有限公司)
全卷积神经网络(FCN)凭借其具有共享核的滑动窗口搜索的先天能力,简化了所有冗余计算,在人脸检测任务中占据主导地位,最近的最先进方法,如Faster-RCNN,SSD,YOLO和FPN,都使用FCN作为其骨干。所以这里有一个问题:我们能否找到一种通用的策略,以更高的精度进一步加速FCN,从而加速所有最近基于FCN的方法?为了分析这一点,我们将人脸搜索空间分解为两个正交方向,“尺度”和“空间”。在由两个基向量扩展的空间中,只有少数坐标指示前景。因此,如果FCN可以忽略大多数其他点,搜索空间和虚警应该大大减少。基于这一思想,提出了一种新的方法,称为规模估计和空间注意力建议($S^2AP$)关注的图像金字塔中的一些特定的尺度和有效的位置。此外,我们采用了基于注意力结果的掩蔽卷积运算来加速FCN计算。实验表明,在$S^2AP$和masked-FCN的帮助下,基于FCN的方法RPN可以加速约$4\times$,同时在FDDB、AFW和MALF人脸检测基准上也达到了最新水平。
2018-06-02 cs.CV
DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Nanyang Institute of Technology(南阳理工学院);UNIUBI Research, Universal Ubiquitous Co.(普适智联(杭州)科技有限公司UNIUBI研究院)
本文提出DCP-NAS框架,在实值父模型监督下通过切线传播和解耦优化方法高效搜索1-bit CNN架构,在CIFAR-10和ImageNet上取得优异结果,并在行人重识别和目标检测中展现出强泛化能力。
2023-06-27 cs.AI cs.CV
AutoSlim: Towards One-Shot Architecture Search for Channel Numbers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究了如何在神经网络中设置通道数,以在受限资源(例如,FLOP、延迟、内存占用或模型大小)。提出了一种简单的一次性解决方案,称为AutoSlim。我们不是训练许多网络样本并使用强化学习进行搜索,而是训练单个可精简的网络来近似不同通道配置的网络精度。然后,我们迭代地评估训练好的可精简模型,并以最小的精度下降对层进行精简。通过这一单通道,我们可以得到不同的资源约束下的最优信道配置。我们使用MobileNet v1,MobileNet v2,ResNet-50和RL搜索的MNasNet对ImageNet分类进行了实验。我们展示了其默认通道配置的显着改进。我们还实现了比最近的通道修剪方法和神经结构搜索方法更好的准确性。值得注意的是,通过设置优化的通道数,我们的AutoSlim-MobileNet-v2在3.05亿FLOPs下实现了74.2%的top-1准确性,比默认MobileNet-v2(3.01亿FLOPs)高2.4%,甚至比RL搜索的MNasNet(3.17亿FLOPs)高0.2%。我们的AutoSlim-ResNet-50在570 M FLOPs下,没有dependencyconvolutions,比MobileNet-v1(569 M FLOPs)高出1.3%。代码和模型将在https://github.com/JiahuiYu/slimmable_networks上提供
2019-06-01 cs.AI cs.CV
HASA: Hybrid Architecture Search with Aggregation Strategy for Echinococcosis Classification and Ovary Segmentation in Ultrasound Images
Shenzhen University(深圳大学)
与手工特征不同,深度神经网络可以从数据中自动学习特定于任务的特征。由于这种数据驱动的性质,他们在各个领域取得了显着的成功。然而,人工设计和选择合适的网络架构是耗时的,需要人类专家的大量努力。为了解决这个问题,研究人员提出了神经结构搜索(NAS)算法,它可以自动生成网络结构,但如果从头开始搜索,则会遭受沉重的计算成本和不稳定性。在本文中,我们提出了一个混合NAS框架超声(US)图像分类和分割。混合框架由预训练的骨干和若干搜索的单元(即,网络构建块),其利用NAS和来自现有卷积神经网络的专家知识两者的优势。具体而言,两个有效的和轻量级的操作,混合的深度方向卷积算子和挤压和激励块,引入到候选操作,以提高搜索细胞的种类和容量。这两种操作不仅降低了模型参数,而且提高了网络性能。此外,我们提出了一个重新聚合策略的搜索细胞,旨在进一步提高不同的视觉任务的性能。我们在两个大型的美国图像数据集上测试了我们的方法,包括包含9566个用于分类的图像的9类包虫病数据集和包含3204个用于分割的图像的卵巢数据集。消融实验和与其他手工制作或自动搜索的架构的比较表明,我们的方法可以生成更强大和轻量级的模型,为上述美国图像分类和分割任务。
2022-04-20 cs.AI cs.CV cs.LG
D-Net: Learning for Distinctive Point Clouds by Self-Attentive Point Searching and Learnable Feature Fusion
Tsinghua University(清华大学);Wayne State University(韦恩州立大学);Kuaishou Technology(快手科技)
提出D-Net,通过自注意力点搜索和可学习特征融合学习点云中点的独特性,以提升形状理解性能,并在ModelNet和ShapeNet数据集上达到最先进水平。
2023-05-10 cs.CV
Particle Swarm Optimisation for Evolving Deep Neural Networks for Image Classification by Evolving and Stacking Transferable Blocks
Victoria University of Wellington(惠灵顿维多利亚大学)
深度卷积神经网络(Deep Convolutional Neural Networks,CNN)已广泛应用于图像分类任务,但设计CNN架构的过程非常复杂,因此自动搜索最优CNN架构的神经架构搜索(Neural Architecture Search,NAS)吸引了越来越多的研究兴趣。然而,NAS的计算成本通常太高,无法将NAS应用于实际应用。在本文中,一个有效的粒子群优化方法命名为EPSO CNN提出了进化CNN架构的启发,迁移学习的想法。EPSOCNN通过将搜索空间最小化为单个块并在进化过程中利用训练集的一个小子集来评估CNN,成功地降低了计算成本。同时,EPSOCNN还通过多次堆叠进化块以适应整个数据集来保持非常有竞争力的分类精度。在CIFAR-10数据集上对所提出的EPSOCNN算法进行了评估,并与由手工制作的深度CNN组成的13个同行竞争对手进行了比较,通过强化学习方法学习并通过演化计算方法进化,在分类精度,参数数量和计算成本方面优于所有同行竞争对手,显示出非常有前途的结果。
2020-03-21 cs.CV cs.LG cs.NE
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
条件生成对抗网络(cGAN)被设计为基于所提供的条件\eg、类级分布来生成图像。然而,现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想,采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积,其中后者被设计为引入类特定信息,同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线,使得搜索成本不会随着类的数量而增长。为了学习采样策略,将马尔可夫决策过程嵌入到搜索算法中,并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外,我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
Efficient Attention Network: Accelerate Attention by Searching Where to Plug
Tsinghua University(清华大学);Purdue University(普渡大学);Northwestern University(西北大学);Nanyang Technological University(南洋理工大学)
最近,许多即插即用的自注意模块被提出来通过利用深度卷积神经网络(CNN)的内部信息来增强模型泛化。以往的工作侧重于针对特定功能的注意模块的设计,例如,轻重量或任务导向的注意力。然而,他们忽略了在哪里插件注意力模块的重要性,因为他们理所当然地将模块单独与整个CNN主干的每个块连接起来,导致随着网络深度的增长,计算成本和参数数量增加。因此,我们提出了一个框架,称为有效的注意力网络(EAN),以提高现有的注意力模块的效率。在EAN中,我们利用共享机制(Huang et al. 2020)来共享主干中的注意力模块,并通过强化学习搜索在哪里连接共享的注意力模块。最后,我们得到的注意力网络之间的骨干和模块的稀疏连接,同时(1)保持准确性,(2)减少额外的参数增量和(3)加速推理。广泛使用的基准测试和流行的注意力网络上的大量实验表明EAN的有效性。此外,我们的经验表明,我们的EAN有能力转移到其他任务和捕获的信息功能。该代码可在https://github.com/gbup-group/EAN-efficient-attention-network上获得。
2021-07-11 cs.AI cs.CV cs.LG