ParC-Net: Position Aware Circular Convolution with Merits from ConvNets and Transformer
Intellifusion(云天励飞)
最近,视觉Transformer开始显示出令人印象深刻的结果,这些结果显着优于基于大型卷积的模型。然而,在移动或资源受限设备的小型模型领域,ConvNet在性能和模型复杂度方面仍然有自己的优势。我们提出了ParC-Net,一个纯粹的基于ConvNet的骨干模型,通过将视觉Transformer的优点融合到ConvNet中,进一步加强了这些优势。具体来说,我们提出了位置感知循环卷积(ParC),这是一种轻量级卷积运算,它拥有全局感受野,同时像局部卷积一样产生位置敏感特征。我们将ParCs和挤压激发操作结合起来,形成一个类似模型块的元模型,它还具有类似Transformers的注意力机制。上述块可以以即插即用的方式用于替换ConvNets或Transformers中的相关块。实验结果表明,在常见的视觉任务和数据集上,所提ParC-Net模型比目前流行的轻量级ConvNets和基于视觉Transformer的模型具有更好的性能,同时具有更少的参数和更快的推理速度。对于ImageNet-1 k上的分类,ParC-Net使用约500万个参数实现了78.6%的top-1准确率,节省了11%的参数和13%的计算成本,但与MobileViT相比,精度提高了0.2%,推理速度提高了23%(基于ARM的Rockchip RK3288),并且与DeIT相比,仅使用了0.5倍的参数,但精度提高了2.7%。…
2022-07-26 cs.CV
simCrossTrans: A Simple Cross-Modality Transfer Learning for Object Detection with ConvNets or Vision Transformers
Hunter College, CUNY(纽约市立大学亨特学院);The Graduate Center, CUNY(纽约市立大学研究生中心)
迁移学习广泛应用于计算机视觉、自然语言处理等领域,并取得了巨大的成功。大多数迁移学习系统都基于相同的模态(例如CV中的RGB图像和NLP中的文本)。然而,跨模态迁移学习(CMTL)系统却很少。在这项工作中,我们研究CMTL从2D到3D传感器,探索上限性能的3D传感器只有系统,在机器人导航中发挥关键作用,并在低光场景下表现良好。虽然从2D到3D视觉的大多数CMTL管道都很复杂,并且基于卷积神经网络(ConvNets),但我们的管道很容易实现,扩展并基于ConvNets和视觉Transformer(ViTs):1)通过将点云转换为伪图像,我们可以使用基于2D图像的预训练模型的几乎相同的网络。这使得我们的系统易于实现和扩展。2)最近ViTs已经显示出良好的性能和鲁棒性的闭塞,3D视觉系统的性能差的关键原因之一。我们使用相似的模型大小探索了ViT和ConvNet,以研究性能差异。我们将我们的方法命名为simCrossTrans:使用ConvNets或ViTs的简单跨模态迁移学习。在SUN RGB-D数据集上的实验表明:使用simCrossTrans分别实现了基于ConvNets和ViTs的$13.2\%$和$16.1\%$的绝对性能增益。我们还观察到基于ViT的执行$9.7\%$优于ConvNets,显示了simCrossTrans与ViT的强大功能。具有ViTs的simCrossTran…
2022-03-20 cs.CV
DecomposeMe: Simplifying ConvNets for End-to-End Learning
NICTA(国家信息与通信技术研究院);Data61(Data61数据科学研究所)
深度学习和卷积神经网络(ConvNets)已成功应用于计算机视觉领域的大多数相关任务。然而,这些网络对计算要求很高,不适合内存和时间消耗相关的嵌入式设备。在本文中,我们提出了DecomposeMe,这是一种使用1D卷积学习特征的简单但有效的技术。所提出的架构使简单性和过滤器共享,从而提高学习能力。在ImageNet和Places 2上进行的一组全面的大规模实验证明了我们的方法能够提高性能,同时显着减少所需参数的数量。值得注意的是,在Places 2上,我们获得了7.7%的相对前1分类准确度的改进,与VGG-B相比,该架构需要的参数减少了92%。该网络也被证明可以通过转换现有网络来推广到其他任务。
2016-06-17 cs.CV
A Tensor-based Convolutional Neural Network for Small Dataset Classification
Indiana University Bloomington(印第安纳大学伯明顿分校)
受具有结构化隐藏表示的ConvNets的启发,我们提出了一种基于张量的神经网络,TCNN。与ConvNets不同,TCNN由结构化神经元而不是标量神经元组成,基本操作是神经元张量变换。与其他结构化的ConvNets不同,其中部分-整体关系是显式建模的,这些关系是在TCNN中隐式学习的。此外,TCNN中的结构化神经元是高阶张量,而不是向量或矩阵。我们将TCNN与当前流行的ConvNets进行比较,包括ResNets,MobileNets,EfficientNets,RegNets等,CIFAR 10、CIFAR 100和Tiny ImageNet。实验表明,TCNN在参数方面具有更高的效率。与ConvNets相比,TCNN对MNIST上的白盒对抗攻击也表现出更高的鲁棒性。
2023-03-29 cs.CV cs.GT
ConvNets vs. Transformers: Whose Visual Representations are More Transferable?
The University of Hong Kong(香港大学);ShanghaiTech University(上海科技大学)
视觉变换器吸引了计算机视觉研究人员的广泛关注,因为它们不限于ConvNets的空间感应偏差。然而,尽管基于Transformer的主干在ImageNet分类方面取得了很大进展,但目前还不清楚学习的表示是否与ConvNets的特征一样可转移,甚至比ConvNets的特征更可转移。为了解决这一点,我们系统地研究了ConvNets和视觉转换器在15个单任务和多任务性能评估中的迁移学习能力。考虑到预训练模型的性能与迁移学习之间的强相关性,我们包括2个剩余ConvNets(即,R-101 x3和R-152 x4)和3个基于transformer的视觉骨干(即,ViT-B,ViT-L和Swin-B),在ImageNet上具有接近的错误率,这表明在下游数据集上具有类似的迁移学习性能。我们在13个下游任务上观察到基于transformer的骨干的一致优势(共15项),包括但不限于细粒度分类、场景识别(分类、分割和深度估计)、开域分类、人脸识别等。更具体地说,我们发现,两个ViT模型严重依赖于整个网络的微调,以实现性能增益,而Swin变压器没有这样的要求。此外,视觉变换器在多任务学习中表现得更鲁棒,即,在管理互利的任务时带来更多的改进,并在处理不相关的任务时减少性能损失。我们希望我们的发现可以促进未来视觉转换器的探索和开发。
2021-08-17 cs.CV
Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps
Visual Geometry Group, University of Oxford(牛津大学视觉几何组)
本文讨论了使用深度卷积网络(ConvNets)学习的图像分类模型的可视化。我们考虑两种可视化技术,基于计算相对于输入图像的类分数的梯度。第一个生成图像,其最大化类得分[Erhan等人,2009],从而可视化类的概念,由ConvNet捕获。第二种技术计算特定于给定图像和类的类显著性图。我们表明,这样的地图可以用于弱监督对象分割使用分类ConvNets。最后,我们建立了基于梯度的ConvNet可视化方法与去卷积网络之间的联系[Zeiler et al.,2013年]。
2014-04-19 cs.CV
Convolutional Neural Networks Applied to House Numbers Digit Classification
The Courant Institute of Mathematical Sciences(柯朗数学科学研究所);New York University(纽约大学)
我们使用卷积神经网络(ConvNets)对真实世界的门牌号码进行分类。ConvNets是分层特征学习神经网络,其结构受到生物学的启发。与许多手工设计的流行视觉方法不同,ConvNets可以自动学习针对给定任务优化的一组独特功能。我们通过学习多阶段特征和使用Lp池来增强传统的ConvNet架构,并在SVHN数据集上建立了94.85%的准确率(45.2%的错误改进)。此外,我们还分析了ConvNets中不同池化方法和多阶段特性的好处。源代码和教程可以在eblearn.sf.net上找到。
2012-04-18 cs.CV cs.LG cs.NE
Transfer learning for music classification and regression tasks
在本文中,我们提出了一个迁移学习方法的音乐分类和回归任务。我们建议使用预先训练的convnet特征,这是一个级联的特征向量,它使用训练的卷积网络中多层特征图的激活。我们展示了如何这个convnet功能可以作为通用的音乐表示。在实验中,一个convnet训练音乐标记,然后转移到其他音乐相关的分类和回归任务。convnet功能在所有考虑的任务和聚合MFCC以及低级和高级音乐功能的几种以前的方法中优于基线MFCC功能。
2017-09-13 cs.AI cs.CV cs.MM
Temporal 3D ConvNets: New Architecture and Transfer Learning for Video Classification
ESAT-PSI, KU Leuven(鲁汶大学 ESAT-PSI);Sensifai;University of Bonn(波恩大学);CV:HCI, KIT, Karlsruhe(卡尔斯鲁厄理工学院 CV:HCI)
在本文中的工作是驱动的问题,如何利用时间线索在视频中的准确分类,特别是人类的动作识别?到目前为止,视觉社区一直专注于具有固定时间卷积内核深度的时空方法。我们引入了一个新的时间层,模型可变的时间卷积内核深度。我们将这个新的时间层嵌入到我们提出的3D CNN中。我们扩展了DenseNet架构-通常是2D -具有3D过滤器和池化内核。我们将我们提出的视频卷积网络命名为“时间3D ConvNet”~(T3 D),并将其新的时间层命名为“时间转换层”~(TTL)。我们的实验表明,T3 D在HMDB 51,UCF 101和Kinetics数据集上的性能优于当前最先进的方法。训练3D ConvNets的另一个问题是用一个巨大的标记数据集从头开始训练它们,以获得合理的性能。因此,在2D ConvNets中学习的知识被完全忽略。这项工作的另一个贡献是一种简单有效的技术,将知识从预先训练的2D CNN转移到随机初始化的3D CNN,以实现稳定的权重初始化。这使我们能够显着减少3D CNN的训练样本数量。因此,通过对该网络进行微调,我们击败了3D CNN中通用和最新方法的性能,这些方法在大型视频数据集上进行了训练,例如Sports-1 M,并在目标数据集上进行了微调,例如HMDB 51/UCF 101。将发布T3 D代码
2017-11-22 cs.CV
A Multi-Stage Duplex Fusion ConvNet for Aerial Scene Classification
Wuhan University(武汉大学)
现有的基于深度学习的方法有效地提高了空中场景分类的性能。然而,由于大量的参数和计算成本,这是相当困难的,将这些方法应用到多个实时遥感应用,如机载数据接收的无人机和卫星上。在本文中,我们通过开发一个名为多级双工融合网络(MSDF-Net)的轻量级ConvNet来解决这一任务。其核心思想是使用尽可能少的参数,同时获得尽可能强的场景表示能力。为此,开发了一种剩余密集双工融合策略,以增强特征传播,同时尽可能多地重用参数,并通过我们的双工融合块(DFblock)实现。具体来说,我们的MSDF-Net由带有DFblock的多级结构组成。此外,双工语义聚合(DSA)模块被开发用于从提取的卷积特征中挖掘遥感场景信息,它也包含两个并行的分支用于语义描述。在三个广泛使用的空中场景分类基准上进行了大量的实验,并反映出我们的MSDF-Net可以在减少多达80%的参数数量的同时实现与最近最先进的技术相比具有竞争力的性能。特别地,在仅具有0.49M参数的AID上实现了92.96%的准确性。
2022-05-26 cs.AI cs.CV cs.LG
Study and development of a Computer-Aided Diagnosis system for classification of chest x-ray images using convolutional neural networks pre-trained for ImageNet and data augmentation
University of São Paulo(圣保罗大学)
卷积神经网络(ConvNets)是图像识别和分类的实际标准。在目前的工作中,我们开发了一个计算机辅助诊断(CAD)系统,使用ConvNets将X射线胸部图像数据集分为两组:正常和肺炎。该研究使用PyTorch平台上可用的ConvNets模型:AlexNet,SqueezeNet,ResNet和Inception。我们最初使用三种训练风格:使用随机初始化从头开始,使用预训练的ImageNet模型只训练适应我们问题的最后一层(迁移学习),以及预训练的模型修改训练模型的所有分类层(微调)。最后一种训练策略是使用数据增强技术,避免ConvNets上的过度拟合问题,从而在本研究中获得更好的结果
2018-06-03 cs.CV
LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference
我们设计了一个家庭的图像分类架构,优化在高速政权的准确性和效率之间的权衡。我们的工作利用了最近的研究结果,在高度并行处理硬件上具有竞争力的基于注意力的架构。我们重新审视了大量关于卷积神经网络的文献中的原理,将其应用于Transformers,特别是具有降低分辨率的激活图。我们还介绍了注意偏差,一种新的方式来整合位置信息的视觉Transformer。因此,我们提出了LeVIT:一个混合神经网络的快速推理图像分类。我们在不同的硬件平台上考虑不同的效率指标,以便最好地反映广泛的应用场景。我们广泛的实验经验验证了我们的技术选择,并表明它们适用于大多数架构。总体而言,LeViT在速度/精度权衡方面明显优于现有的convnet和视觉Transformer。例如,在ImageNet top-1准确率为80%的情况下,LeViT在CPU上比EfficientNet快5倍。我们在https://github.com/facebookresearch/LeViT上发布了代码
2021-05-06 cs.CV
Surface EMG-Based Inter-Session/Inter-Subject Gesture Recognition by Leveraging Lightweight All-ConvNet and Transfer Learning
Université du Québec à Trois-Rivières(魁北克大学三河分校);Concordia University(康考迪亚大学)
针对表面肌电手势识别中跨会话和跨被试数据变异导致的分布偏移问题,本文提出仅由卷积层构成的轻量级All-ConvNet+TL模型,以极低计算成本在多个数据集上超越现有复杂方法并取得最先进性能。
2024-02-19 cs.AI cs.CV cs.LG
A Feature Embedding Strategy for High-level CNN representations from Multiple ConvNets
University of Windsor(温莎大学);Zhejiang University(浙江大学)
随着数字图像应用的迅速增长,图像自动分类成为一个重要的研究领域。它已经扩展并不时地采用许多算法,从而基于多特征(通常是手工设计的特征)的图像表征可以方便地提高准确性。最近,在机器学习中,预训练的深度卷积神经网络(DCNN或ConvNets)已经证明,通过这种DCNN提取的特征可以提高分类精度。因此,在本文中,我们进一步研究了一种特征嵌入策略,以利用来自多个DCNN的线索。我们通过嵌入三个不同的DCNN瓶颈特征来推导出一个广义特征空间,这些特征的权重与它们的Softmax交叉熵损失有关。在六个不同的目标分类数据集和一个动作分类数据集上的测试结果表明,无论图像统计和任务的变化如何,所提出的多DCNN瓶颈特征融合都非常适合于图像分类任务,并且是DCNN的有效补充。与现有的基于融合的图像分类方法的比较证明,所提出的方法超越了最先进的方法,并产生具有竞争力的结果与充分训练的DCNN以及。
2017-05-11 cs.CV
Learning a Deep ConvNet for Multi-label Classification with Partial Labels
Borealis AI(北极光人工智能);Simon Fraser University(西蒙弗雷泽大学)
深度ConvNets在单标签图像分类(例如ImageNet)方面表现出了出色的性能,但有必要超越单标签分类任务,因为日常生活的图片本质上是多标签的。多标签分类是一个比单标签分类更困难的任务,因为输入图像和输出标签空间都更复杂。此外,收集干净的多标签注释比单标签注释更难以扩展。为了降低标注成本,我们建议用部分标签训练模型,即每个图像只知道一些标签。我们首先经验比较不同的标签策略,以显示在多标签数据集上使用部分标签的潜力。然后,为了使用部分标签进行学习,我们引入了一种新的分类损失,它利用了每个示例中已知标签的比例。我们的方法允许使用与使用所有注释学习时相同的训练设置。我们进一步探讨了几种基于课程学习的策略来预测缺失的标签。实验在三个大规模多标签数据集上进行:MS COCO,NUS-WIDE和Open Images。
2019-02-26 cs.CV
Detecting Noteheads in Handwritten Scores with ConvNets and Bounding Box Regression
Charles University(查理大学)
记头是乐谱和音乐之间的接口。页面上的每个音符头表示要播放的一个音符,因此检测音符头是光学音乐识别不可避免的步骤。便签头是明显不同的对象,然而,乐谱手写的多样性使得便签头更难识别,并且虽然手写乐谱符号{ \em分类}是一项研究充分的任务,但是符号{ \em检测}通常限于分析和基于规则的系统,而不是更适合于处理手写中的不确定性的机器学习方法。我们目前正在进行的工作,一个简单的便签检测器,使用卷积神经网络的像素分类和限界框框回归,实现了检测f-分数为0.97的二进制得分图像的MUSCIMA++数据集,不需要人员删除,并适用于各种手写风格和音乐复杂程度。
2017-08-05 cs.CV
PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Meituan(美团);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
本文提出类人周边卷积,将卷积复杂度从O(K²)降至O(logK),减少90%以上参数,并基于此构建参数高效大核网络PeLK,首次将核尺寸扩展到101x101,在多个视觉任务上超越现有架构。
2024-03-16 cs.CV
Boosted Cascaded Convnets for Multilabel Classification of Thoracic Diseases in Chest Radiographs
Paralleldots, Inc.(Paralleldots 公司)
胸部X线检查是诊断多种疾病的最有效的医学影像技术之一。ChestX-ray 14是一个庞大的胸部X射线图像数据集,可为14种胸部疾病提供注释;随着ChestX-ray 14的可用性,可以训练深度卷积神经网络(DCNN)来构建计算机辅助诊断(CAD)系统。在这项工作中,我们实验了一组深度学习模型,并提出了一个级联的深度神经网络,它可以比基线更好地诊断所有14种病理,并且与其他已发表的方法相比具有竞争力。我们的工作提供了定量结果来回答数据集的以下研究问题:1)在ChestX-ray 14数据集上从头开始训练DCNN使用什么损失函数,该数据集表现出高类别不平衡和标签共现?2)如何使用级联来对标签依赖进行建模并提高深度学习模型的准确性?
2017-11-23 cs.CV
Targeted Gradient Descent: A Novel Method for Convolutional Neural Networks Fine-tuning and Online-learning
Johns Hopkins University(约翰斯·霍普金斯大学);Canon Medical Research USA, INC.(佳能医疗研究美国公司)
卷积神经网络(ConvNet)通常使用从相同分布中提取的图像进行训练和测试。将ConvNet推广到各种任务通常需要一个完整的训练数据集,该数据集由从不同任务中绘制的图像组成。在大多数情况下,几乎不可能先验地收集每个可能的代表性数据集。只有在ConvNet在临床实践中部署后,新数据才可用。然而,ConvNet可能会在分布外测试样本上生成工件。在这项研究中,我们提出了目标梯度下降(TGD),这是一种新的微调方法,可以将预训练的网络扩展到新任务,而无需重新访问先前任务的数据,同时保留从先前训练中获得的知识。在更进一步的程度上,所提出的方法还使得能够对患者特异性数据进行在线学习。该方法基于重用预训练ConvNet的冗余内核来学习新知识的思想。我们比较了TGD的性能,几种常用的训练方法的正电子发射断层扫描(PET)图像去噪的任务。来自临床图像的结果表明,TGD生成的结果与从头开始的训练相当,同时显着减少了数据准备和网络训练时间。更重要的是,它使在线学习的测试研究,以提高网络的泛化能力,在现实世界中的应用。
2021-09-29 cs.CV
Structured Pruning for Efficient ConvNets via Incremental Regularization
Zhejiang University(浙江大学)
参数修剪是CNN压缩和加速的一种有前途的方法,通过消除冗余的模型参数,具有可容忍的性能损失。尽管其有效性,现有的基于正则化的参数修剪方法通常使用大而恒定的正则化因子将权重推向零,这忽略了CNN的表达能力是脆弱的,并且需要更温和的正则化方式来使网络在修剪过程中适应。为了解决这个问题,我们提出了一种新的基于正则化的修剪方法(名为IncReg),根据其相对重要性将不同的正则化因子递增地分配给不同的权重组,与最先进的方法相比,其有效性在流行的CNN上得到了证明。
2018-12-18 cs.CV cs.LG