Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一种新的架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC(2012年平均IU为62.2%,相对提高了20%),NYUDv2和SIFT Flow的最先进分割,而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割中改善了以前的最佳结果。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一个跳过架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC的改进分割(相对于2012年的67.2%平均IU提高了30%),NYUDv 2,SIFT Flow和PASCAL-Context,而对于典型图像,推理需要十分之一秒。
2016-05-20 cs.CV
3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
Facebook AI Research(Facebook人工智能研究院);University of Oxford(牛津大学)
卷积网络是分析图像、视频和3D形状等时空数据的事实标准。虽然其中一些数据自然很密集(例如,照片),许多其他数据源本质上是稀疏的。示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点云。卷积网络的标准“密集”实现在应用于这种稀疏数据时非常低效。我们引入了新的稀疏卷积运算,旨在更有效地处理空间稀疏数据,并使用它们来开发空间稀疏卷积网络。我们展示了强大的性能所产生的模型,称为子流形稀疏卷积网络(SSCN),在两个任务,涉及语义分割的三维点云。特别是,我们的模型在最近的语义分割竞赛的测试集上优于所有现有的最先进的模型。
2017-11-28 cs.CV
Hybrid Pooling and Convolutional Network for Improving Accuracy and Training Convergence Speed in Object Detection
City University of Hong Kong(香港城市大学);Xiamen University(厦门大学)
本文提出HPC-Net,通过混合池化与卷积网络提升目标检测的准确率和训练收敛速度。
2024-01-02 cs.CV
ECAFormer: Low-light Image Enhancement using Cross Attention
School of Mathematics and Statistics, Chongqing Jiaotong University(重庆交通大学数学与统计学院);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);College of Information Science and Technology & Artificial Intelligence, Nanjing Forestry University(南京林业大学信息科学技术与人工智能学院)
针对低光照图像增强中模块间互补信息丢失问题,提出ECAFormer模型,通过交叉注意力与双多头自注意力实现多特征并发交互与跨层信息整合,在多个基准上PSNR提升近3%。
2024-12-22 cs.CV
Pointwise Convolutional Neural Networks
The University of Tokyo(东京大学);Singapore University of Technology and Design(新加坡科技设计大学)
利用诸如重建的点云和CAD模型的3D数据的深度学习最近受到了极大的研究兴趣。然而,使用点云与卷积神经网络的能力迄今尚未得到充分探索。本文提出了一种用于三维点云语义分割和目标识别的卷积神经网络。我们网络的核心是逐点卷积,这是一种新的卷积运算符,可以应用于点云的每个点。我们的全卷积网络设计,虽然实现起来非常简单,但在语义分割和对象识别任务中都可以产生有竞争力的准确性。
2018-03-29 cs.CV cs.LG
Research Progress of Convolutional Neural Network and its Application in Object Detection
East China University of Science and Technology(华东理工大学)
随着计算机性能的提高和数据量的增加,基于卷积神经网络(CNN)的目标检测已成为目标检测的主要算法。综述了卷积神经网络及其在目标检测中的应用研究进展,重点分析和讨论了将卷积神经网络应用于目标检测的具体思路和方法,指出了目前存在的不足和未来的发展方向。
2020-07-27 cs.CV cs.LG eess.IV
Lightweight Channel Attention for Efficient CNNs
Rochester Institute of Technology(罗切斯特技术研究所)
本文提出轻量级通道注意力机制LCA,通过减少参数使用并保持有效注意力行为,在ResNet 18和MobileNetV2上实现了高准确率和低延迟的性能。
2026-01-02 cs.CV
Interpretable Fully Convolutional Classification of Intrapapillary Capillary Loops for Real-Time Detection of Early Squamous Neoplasia
Wellcome / EPSRC Centre for Interventional and Surgical Sciences(威康/EPSRC介入与外科科学中心);University College London Hospitals(伦敦大学学院医院);Gastroenterology National Taiwan University(台湾大学胃肠病学科);E-Da Cancer Hospital(义大癌症医院);Innersight Labs(内视实验室)
在这项工作中,我们已经集中我们的努力,从一个完全卷积神经网络的分类结果的可解释性。出于对食管组织进行分类以实时的【形】检测早期鳞状上皮瘤变(亚洲最常见的食管癌)的动机,我们提出了一个新的数据集和一种新的深度学习方法,通过深度监督和新引入的概念,嵌入式类激活图(eCAM),重点关注结果的可解释性作为卷积网络的设计约束。我们提出了一种新的方法来可视化注意力,旨在提供一些见解的食管组织,导致网络得出结论,图像属于一个特定的类,并将它们与临床医生使用的视觉特征进行比较,以产生临床诊断。与不具有深度监督但通过嫁接类激活图提供注意力的基线方法相比,我们将F1分数从87.3%提高到92.7%,并提供更详细的注意力图。
2018-05-02 cs.CV
Real Time Visual Tracking using Spatial-Aware Temporal Aggregation Network
Horizon Robotics Inc(地平线机器人公司)
从深度神经网络衍生出的更强大的特征表示使视觉跟踪算法广泛受益。然而,缺乏开发的时间信息,使跟踪算法不能适应外观变化或抵抗漂移。本文提出了一种基于相关滤波器的跟踪方法,该方法在空间对齐和尺度感知的范例中聚合历史特征。该算法通过对历史帧的特征进行采样和聚合,利用基于可变形卷积的像素级对齐模块进行搜索。此外,我们还使用特征金字塔结构来处理不同尺度的运动估计,并解决跟踪丢失和变形偏移学习之间对特征粒度的不同要求。通过这种设计,跟踪器,命名为空间感知的时间聚合网络(SATA),能够组装外观和运动上下文的各种规模在一个时间段内,从而导致更好的性能相比,一个单一的静态图像。该跟踪器在OTB2013、OTB2015、VOT 2015、VOT 2016和LaSOT上均取得了领先的性能,实时运行速度达到26 FPS,表明该方法是有效和实用的。我们的代码将在\href{https://github.com/ecart18/SATA}{https://github.com/ecart18/SATA}上公开。
2019-08-02 cs.CV cs.LG
Towards Explainable End-to-End Prostate Cancer Relapse Prediction from H&E Images Combining Self-Attention Multiple Instance Learning with a Recurrent Neural Network
University Medical Center Hamburg-Eppendorf(汉堡-埃彭多夫大学医学中心);Universität Hamburg(汉堡大学)
组织病理学图像数据的临床决策支持主要集中在强监督的注释,它提供直观的可解释性,但受专家性能的约束。在这里,我们提出了一个可解释的癌症复发预测网络(eCaReNet),并表明没有强注释的端到端学习提供了最先进的性能,而可解释性可以通过注意力机制来实现。在前列腺癌生存预测的用例中,使用14,479张图像和仅复发时间作为注释,我们在验证集上达到了0.78的累积动态AUC,与专家病理学家相当(在单独的测试集上AUC为0.77)。我们的模型是经过良好校准的,并输出生存曲线以及每个患者的风险评分和组。利用多实例学习层的注意力权重,我们发现恶性斑块对预测的影响比良性斑块更大,从而提供了对预测的直观解释。我们的代码可在www.github.com/imsb-uke/ecarenet上获得。
2021-11-26 cs.CV cs.LG
Geometry-Aware Neural Rendering
OpenAI(开放人工智能);UC Berkeley(加州大学伯克利分校)
理解世界的三维结构是计算机视觉和机器人技术的核心挑战。神经渲染方法通过预测相机从任意视点看到的内容来学习隐式3D模型。我们将现有的神经渲染扩展到比以前更复杂,更高维的场景。我们提出了极线交叉注意力(ECA),一个注意力机制,利用场景的几何形状来执行有效的非本地操作,只需要$O(n)$比较每个空间维度,而不是$O(n^2)$。我们介绍了三个新的模拟数据集的灵感来自现实世界的机器人,并证明ECA显着提高了生成查询网络(GQN)的定量和定性性能。
2019-10-28 cs.CV cs.LG stat.ML
Convolutional Mean: A Simple Convolutional Neural Network for Illuminant Estimation
我们提出了卷积平均(CM)-一个简单而快速的卷积神经网络的照明估计。我们提出的方法只需要一个小的神经网络模型(1.1K参数)和一个48 x 32缩略图输入图像。我们未优化的Python实现需要1毫秒/图像,可以说比当前领先的解决方案快3- 3750倍,具有类似的精度。使用两个公共数据集,我们表明,我们提出的轻量级方法在多个测量中提供了与当前领先方法(由数千/数百万个参数组成)相当的准确性。
2020-01-14 cs.CV
Interpreting video features: a comparison of 3D convolutional networks and convolutional LSTM networks
KTH Royal Institute of Technology(瑞典皇家理工学院)
在计算机视觉的深度学习中,已经提出了许多可解释性技术,其目标通常是理解网络的分类基础。然而,深度视频架构的可解释性仍处于起步阶段,我们还没有一个清晰的概念如何解码时空特征。在本文中,我们提出了一项研究,比较了3D卷积网络和卷积LSTM网络如何在时间依赖帧中学习特征。这是两个视频模型的第一次比较,这两个模型都是卷积来学习空间特征,但建模时间的方法主要不同。此外,我们将\cite{MeaningFulPert}引入的有意义扰动的概念扩展到时间维度,以识别对网络分类决策最有意义的序列的时间部分。我们的研究结果表明,3D卷积模型集中在输入序列中较短的事件上,并将其空间焦点放在较少的连续区域上。
2020-07-10 cs.CV
Convolutional Neural Networks learn compact local image descriptors
Technische Universität München(慕尼黑工业大学)
与合适的损失函数配对的标准深度卷积神经网络学习紧凑的局部图像描述符,该描述符执行最先进的方法。
2013-06-02 cs.CV
Training convolutional neural networks with megapixel images
Radboud University Medical Center(拉德堡德大学医学中心);Computational Pathology Group(计算病理学小组)
为了训练深度卷积神经网络,需要将输入数据和中间激活保存在存储器中以计算梯度下降步骤。鉴于当前一代加速卡中可用的存储器有限,这限制了输入数据的最大维度。我们展示了一种方法来训练卷积神经网络只持有部分的图像在内存中,同时给出等效的结果。我们定量地比较了这种训练卷积神经网络的新方法与传统的训练方法。此外,作为概念验证,我们用6400万像素的图像训练了一个卷积神经网络,它需要的内存比传统方法少97%。
2018-04-16 cs.CV
Frequency-Domain AI-Generated Image Detection: Exploring Decoder and Channel Attention for Feature Refinement
本研究提出使用FFT与EfficientNet-B0结合解码器(U-Net、Attention U-Net)和通道注意力(ECA)进行频域AI生成图像检测,其中Attention U-Net达到最佳准确率85.51%。
2026-09-29 cs.AI cs.CV cs.LG
ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks
Politecnico di Milano(米兰理工大学);University of Montreal(蒙特利尔大学)
在本文中,我们提出了一个深度神经网络架构的对象识别基于递归神经网络。该网络被称为ReNet,它用四个循环神经网络取代了深度卷积神经网络中无处不在的卷积+池化层,这些循环神经网络在图像的两个方向上水平和垂直扫描。我们在三个广泛使用的基准数据集上评估了建议的ReNet; MNIST,CIFAR-10和SVHN。结果表明,ReNet是深度卷积神经网络的可行替代方案,需要进一步研究。
2015-07-23 cs.CV
Analysis of Dutch Master Paintings with Convolutional Neural Networks
通过对正在研究的艺术家的作品和其他艺术家的视觉上可比较的作品进行训练,卷积神经网络可以识别作品并提供属性。他们还可以在一幅画中分配分类概率,揭示混合作者身份,并识别不同手画的区域。
2020-08-16 cs.CV
Skin Lesion Classification Using Deep Multi-scale Convolutional Neural Networks
University Of Guelph(圭尔夫大学)
我们使用多尺度卷积神经网络为ISIC 2017皮肤病变分类挑战提出了一种深度学习方法。我们的方法利用了在ImageNet数据集上预先训练的Inception-v3网络,该网络使用两种不同尺度的输入图像进行皮肤病变分类。
2017-03-04 cs.CV
Use of symmetric kernels for convolutional neural networks
Taras Shevchenko National University of Kyiv(基辅塔拉斯·舍甫琴科国立大学)
在这项工作中,我们为CNN引入了水平对称卷积核,使网络输出对图像的水平翻转保持不变。我们还研究了其他类型的对称核,导致垂直翻转不变性,近似旋转不变性。我们表明,使用这样的内核作为正则化,并提高了泛化的卷积神经网络的代价是更复杂的训练过程。
2018-05-23 cs.CV
Convolutional Neural Network with Convolutional Block Attention Module for Finger Vein Recognition
Southwest Jiaotong University(西南交通大学)
卷积神经网络以其强大的图像特征表示能力成为手指静脉识别领域的研究热点。然而,大多数研究人员专注于通过增加CNN的深度和宽度来提高网络的性能,这通常需要很高的计算工作量。而且,我们可以注意到,不仅不同通道中像素的重要性不同,而且同一通道中不同位置的像素的重要性也不同。为了减少计算量并考虑到像素的不同重要性,提出了一种轻量级的带有卷积块注意模块(CBAM)的卷积神经网络用于手指静脉识别,通过注意力机制可以实现对视觉结构更准确的捕捉。首先,将图像序列输入到我们设计的轻量级卷积神经网络中,以改善视觉特征。然后,它在卷积块注意模块的帮助下学习以自适应的方式分配特征权重。在两个公开数据库上进行的实验表明,该方法在多模态手指识别中具有稳定、高精度和鲁棒性的特点。
2022-02-14 cs.CV
Secrets in Computing Optical Flow by Convolutional Networks
The Australian National University(澳大利亚国立大学)
卷积神经网络(CNN)在计算机视觉领域有着广泛的应用。尤其是在分类方面。最近,FlowNet和一些使用CNN进行光学估计的工作显示了CNN在进行逐像素回归方面的潜在能力。我们提出了几种可以估计光流的CNN网络结构,并充分揭示了这些结构之间的内在差异。
2017-10-04 cs.CV
Skin Lesion Analysis Towards Melanoma Detection via End-to-end Deep Learning of Convolutional Neural Networks
本文介绍了我们提交给2018年ISIC挑战赛的解决方案的设计,实验和结果:皮肤病变分析对黑色素瘤检测。我们使用最先进的卷积神经网络(CNN)模型设计了一个管道,用于病变边界分割任务和病变诊断任务。
2018-07-22 cs.CV
Application of Convolutional Neural Network for Image Classification on Pascal VOC Challenge 2012 dataset
Manipal Institute of Technology(马尼帕尔理工学院)
在这个项目中,我们致力于创建一个模型来为Pascal VOC Challenge 2012分类图像。我们使用卷积神经网络在Amazon通过其云服务Amazon Web Services(AWS)提供的单个GPU实例上进行训练,以对Pascal VOC 2012数据集中的图像进行分类。我们对多个卷积神经网络模型进行了训练,最终确定了最佳模型,验证准确率为85.6%,测试准确率为85.24%。
2016-07-13 cs.CV
Node Specificity in Convolutional Deep Nets Depends on Receptive Field Position and Size
U.C. Berkeley(加州大学伯克利分校);Redwood Center for Theoretical Neuroscience(雷德伍德理论神经科学中心)
在卷积深度神经网络中,感受野(RF)大小随着分层深度而增加。当RF大小接近输入图像的完全覆盖时,不同的RF位置导致具有不同特异性的RF,因为RF的部分落在输入空间之外。这导致了位置不变性的卷积概念的偏离,并为复杂形式的上下文特异性打开了可能性。
2015-11-23 cs.CV
Sparse 3D convolutional neural networks
University of Warwick(华威大学)
我们已经实现了一个卷积神经网络设计用于处理稀疏的三维输入数据。我们生活的世界是三维的,因此有大量的潜在应用,包括三维物体识别和时空物体分析。为了提高效率,我们在2D三角晶格和3D四面体晶格上进行了CNN实验。
2015-08-25 cs.CV
Automatic Skin Lesion Segmentation Using Deep Fully Convolutional Networks
Cleveland Clinic(克利夫兰诊所)
本文总结了我们的方法和验证结果的ISIC挑战2018 -皮肤病变分析对黑色素瘤检测-任务1:病变分割
2018-07-17 cs.CV
Ensemble of Convolutional Neural Networks Trained with Different Activation Functions
University of Padua(帕多瓦大学)
激活函数在卷积神经网络的训练中起着至关重要的作用。因此,开发高效的和执行功能是深度学习社区的一个关键问题。这些方法的关键是允许可靠的参数学习,避免消失梯度问题。这项工作的目标是提出一个集成的卷积神经网络训练使用几个不同的激活函数。此外,本文首次提出了一种新的激活函数。我们的目标是提高卷积神经网络在中小规模生物医学数据集上的性能。我们的结果清楚地表明,所提出的集成优于使用标准ReLU作为激活函数训练的卷积神经网络。所提出的集成优于每个测试的独立激活函数,p值为0.01;为了进行可靠的性能比较,我们使用两个著名的卷积神经网络:Vgg 16和ResNet 50,在10多个数据集上测试了我们的方法。此处使用的MATLAB代码可在www.example.com上获得。
2020-09-21 cs.CV
A comment on the paper Prediction of Kidney Function from Biopsy Images using Convolutional Neural Networks
Fundação Oswaldo Cruz, Instituto Gonçalo Moniz(奥斯瓦尔多·克鲁兹基金会,贡萨洛·莫尼兹研究所);Universidade Federal de Estadual de Feira de Santana(费拉迪圣安娜州立联邦大学)
这封信对Ledbetter等人(2017)的论文《使用卷积神经网络从活检图像预测肾功能》提出了评论。
2017-07-23 cs.CV
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
我们提出了两个有效的近似标准卷积神经网络:二进制权重网络和XNOR网络。在二进制权重网络中,滤波器近似于二进制值,从而节省了32倍的内存。在XNOR网络中,滤波器和卷积层的输入都是二进制的。XNOR网络主要使用二进制运算来近似卷积。这导致卷积运算速度提高58倍,内存节省32倍。XNOR-Nets提供了在CPU(而不是GPU)上实时运行最先进网络的可能性。我们的二进制网络简单、准确、高效,可以处理具有挑战性的视觉任务。我们在ImageNet分类任务上评估了我们的方法。AlexNet的二进制权重网络版本的分类精度仅比全精度AlexNet低2.9%(在前1项测量中)。我们将我们的方法与最近的网络二值化方法BinaryConnect和BinaryNets进行了比较,并在ImageNet上大幅超越了这些方法,前1名的准确率超过16%。
2016-08-02 cs.CV
Face Parsing via a Fully-Convolutional Continuous CRF Neural Network
在这项工作中,我们解决了面部解析任务与全卷积连续CRF神经网络(FC-CNN)架构。与之前数百次应用基于区域的子网络的人脸解析方法相比,我们的FC-CNN是完全卷积的,具有很高的分割精度。为了实现这一目标,FC-CNN将三个子网络,一元网络,成对网络和连续条件随机场(C-CRF)网络集成到一个统一的框架中。跨不同卷积层的高级语义信息和低级细节由一元网络中的卷积和解卷积结构捕获。通过成对网络分支学习语义边缘上下文,以构建像素级亲和力。基于可微超像素池化层和可微C-CRF层,通过一种新的连续CRF网络将一元网络和成对网络相结合,以实现深度神经网络训练和测试过程的空间一致性。对LFW-PL和HELEN数据集的综合评估表明,FC-CNN在具有挑战性的图像上准确标记人脸方面的性能优于其他最先进的技术。
2017-08-12 cs.CV
U-Net Convolutional Network for Recognition of Vessels and Materials in Chemistry Lab
卷积网络在计算机视觉系统中得到了广泛的应用。在这些结果的鼓舞下,U-Net卷积网络被应用于使用最近的Vector-LabPics数据集识别化学实验室中的容器和材料,该数据集包含化学实验室和其他一般设置中大部分透明容器内的2187张材料图像,标记为13类。通过优化包括学习率和学习率衰减的超参数,血管识别的准确率达到87%。在训练集和测试集相对较小的情况下(相对稀有的材料状态,训练集样本数小于500,测试集样本数小于100),最佳模型的IoU综合提高了18%以上,准确率提高了19%。通过将改进的卷积网络结构纳入我们的模型,可以实现进一步的改进。
2022-11-10 cs.CV
Emotion Recognition with Facial Attention and Objective Activation Functions
School of Computing, University of Leeds(利兹大学计算机学院)
本文研究在VGGNet、ResNet等CNN模型中引入SEN-Net、ECA-Net和CBAM注意力机制,并证明注意力结合不同激活函数可进一步提升面部情感识别性能。
2024-10-23 cs.AI cs.CV
On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations
Cornell University(康奈尔大学);Augsburg University(奥格斯堡大学);Technische Universität München(慕尼黑工业大学);Ludwig-Maximilians-Universität München(慕尼黑大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
深度卷积神经网络通常被认为是鲁棒的函数逼近器。到目前为止,这种直觉是基于对外部刺激的扰动,例如要分类的图像。在这里,我们探讨了卷积神经网络对网络本身的内部权重和结构扰动的鲁棒性。我们发现,卷积网络对较高卷积层中的一些内部扰动具有惊人的鲁棒性,但底层卷积层要脆弱得多。例如,Alexnet在随机删除顶部卷积层或密集层中超过70%的权重连接时,分类性能下降不到30%,但在第一个卷积层中使用相同的扰动时,性能几乎是偶然的。最后,我们建议进一步的研究,可以继续为卷积网络对内部扰动的鲁棒性提供信息。
2017-03-23 cs.CV cs.LG
Enhancement of land-use change modeling using convolutional neural networks and convolutional denoising autoencoders
Kyushu University(九州大学)
邻里效应是土地利用变化过程的重要驱动因子。本研究应用卷积神经网络(CNN)从卫星影像中撷取邻近区域的特徴,以提升LUC模型的效能。我们开发了一个混合的CNN模型(conv-net),通过结合卫星图像和地理特征来预测LU转移概率。设计了一个空间权值层,将邻域效应的距离衰减特性引入到conv-net中。作为一种替代模型,我们还开发了一种混合卷积去噪自动编码器和多层感知器模型(CDAE-net),它专门从卫星图像中学习潜在表示并对图像数据进行去噪。最后,基于DINAMICA的元胞自动机(CA)模型模拟LU模式。结果表明,基于卷积的模型提高了建模性能相比,只接受地理特征的模型。总体而言,conv-net在LUC预测性能方面优于CDAE-net。尽管如此,CDAE-net在数据有噪声时表现更好。
2018-03-03 cs.CV stat.AP
Coarse and fine-grained automatic cropping deep convolutional neural network
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
现有的卷积神经网络剪枝算法可以分为粗粒度剪枝和细粒度剪枝两大类。提出了一种粗粒度和细粒度的自动剪枝算法,可以实现对卷积神经网络更高效、更准确的压缩加速。首先对卷积神经网络的中间特征图进行聚类,得到粗粒度裁剪后的网络结构,然后使用粒子群优化算法对结构进行迭代搜索和优化。最后得到了最优的网络裁剪子结构。
2020-10-14 cs.CV cs.NE
Copy-move Forgery Detection based on Convolutional Kernel Network
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种基于卷积核网络的复制-移动伪造检测方法。与传统的基于手工特征的方法不同,卷积核网络是一种数据驱动的具有深度卷积结构的局部描述符。由于深度学习理论的发展和广泛可用的数据集,数据驱动的方法可以在不同的条件下获得具有竞争力的性能,其出色的区分能力。此外,我们的卷积核网络被重新定义为一系列矩阵计算和卷积运算,易于并行化和GPU加速,从而提高效率。然后,对卷积核网络进行适当的预处理和后处理,实现复制-移动伪造检测。特别地,提出了一种基于分割的关键点分配策略,并采用了一种基于GPU的自适应过分割方法。大量的实验证明了卷积核网络的GPU版本的有效性和鲁棒性,以及所提出的基于卷积核网络的复制-移动伪造检测方法的最新性能。
2017-07-05 cs.CV cs.MM
Submanifold Sparse Convolutional Networks
Facebook AI Research(Facebook人工智能研究院)
卷积网络是分析时空数据(如图像、视频、3D形状等)的事实标准。虽然其中一些数据是自然密集的(例如照片),但许多其他数据源本质上是稀疏的。示例包括在一张纸上形成的笔画,或使用LiDAR扫描仪或RGB-D相机获得的(彩色)3D点云。卷积网络的标准“密集”实现在应用于这种稀疏数据时非常低效。我们引入了一种专门用于处理稀疏数据的稀疏卷积运算,它与稀疏卷积网络的先前工作不同,因为它严格地在子流形上操作,而不是在网络中的每一层“扩大”观察。我们对由此产生的子流形稀疏卷积网络的经验分析表明,它们的性能与最先进的方法相当,同时需要更少的计算。
2017-06-05 cs.CV cs.NE
Image Denoising with Graph-Convolutional Neural Networks
Politecnico di Torino(都灵理工大学)
从噪声观测中恢复图像是信号处理中的一个关键问题。最近,研究表明,采用卷积神经网络的数据驱动方法可以优于经典的基于模型的技术,因为它们可以捕获更强大和更有区别的特征。然而,由于这些方法基于卷积运算,它们只能利用局部相似性,而不考虑非局部自相似性。在本文中,我们提出了一种卷积神经网络,它采用图形卷积层,以利用局部和非局部相似性。图卷积层在特征空间中动态构建邻域,以检测隐藏层产生的特征图中的潜在相关性。实验结果表明,该架构优于经典的卷积神经网络的去噪任务。
2019-05-29 cs.CV eess.IV
3D Fully Convolutional Network for Vehicle Detection in Point Cloud
Baidu Inc.(百度公司)
2D全卷积网络最近已成功地应用于图像中的目标检测。在本文中,我们将基于完全卷积网络的检测技术扩展到3D,并将其应用于点云数据。该方法在自动驾驶激光雷达点云车辆检测任务中得到了验证。在KITTI数据集上的实验表明,与以前的基于点云的检测方法相比,性能有了显着的提高。
2017-01-16 cs.CV cs.RO
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto(多伦多大学)
我们提出了一种新的方法,将视频中的时间信息合并到在图像上训练的空间卷积神经网络(ConvNets)中,避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明,为了学习视频的时间表示,明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法,并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
Improving correlation method with convolutional neural networks
National Research Nuclear University "MEPhI"(国立核研究大学“MEPhI”)
我们提出了一个卷积神经网络的相关滤波器获得的相关响应的分类。该方法可以提高分类的准确率,以及实现不变性的图像类别和参数。
2020-04-20 cs.CV eess.IV
Vehicle Detection from 3D Lidar Using Fully Convolutional Network
Baidu Research – Institute for Deep Learning(百度研究院深度学习研究所)
卷积网络技术最近在基于视觉的检测任务中取得了巨大的成功。本文介绍了我们在将全卷积网络技术移植到三维距离扫描数据检测任务中的研究进展。具体而言,场景被设置为来自Velodyne 64E激光雷达的距离数据的车辆检测任务。我们建议在2D点地图中呈现数据,并使用单个2D端到端全卷积网络来同时预测对象置信度和边界框。通过仔细设计限界框编码,即使使用2D卷积网络,也能够预测完整的3D边界框。在KITTI数据集上的实验表明了该方法的最佳性能。
2016-08-29 cs.CV cs.RO
A Multiscale Patch Based Convolutional Network for Brain Tumor Segmentation
Stryker Corporation(史赛克公司)
本文提出了一种基于多尺度块的卷积神经网络,用于多模态3D MR图像中脑肿瘤的自动分割。我们使用多尺度深度监督和输入来训练卷积网络。我们评估了所提出的方法在BRATS 2017分割挑战中的有效性,在该挑战中,我们分别获得了增强肿瘤核心、整个肿瘤和肿瘤核心的0.755、0.900、0.782和95% Hausdorff距离(3.63 mm、4.10 mm和6.81 mm)的骰子分数。
2017-10-06 cs.CV q-bio.NC
Convolutional Radio Modulation Recognition Networks
Virginia Tech(弗吉尼亚理工大学);Corgan Labs(科根实验室)
我们研究了卷积神经网络对复杂时间无线电信号域的适应性。我们比较了无线电调制分类的功效,使用天真的学习功能对使用专家功能,广泛使用的领域,今天,我们表现出显着的性能改善。我们表明,使用深度卷积神经网络对大型密集编码的时间序列进行盲时间学习是可行的,并且是这项任务的强有力的候选方法,特别是在低信噪比下。
2016-06-10 cs.CV cs.LG
Descriptor Matching with Convolutional Neural Networks: a Comparison to SIFT
最新的结果表明,通过卷积神经网络学习的特征在分类任务中的表现大大优于以前的描述符。事实证明,当这些网络应用于与它们训练时不同的数据集或识别任务时,它们仍然工作得很好。然而,像SIFT这样的描述符不仅用于识别,而且还用于许多依赖于描述符匹配的对应问题。在本文中,我们将卷积神经网络的各个层的特征与标准SIFT描述符进行了比较。我们考虑一个在ImageNet上训练的网络和另一个在没有监督的情况下训练的网络。令人惊讶的是,卷积神经网络在描述符匹配方面明显优于SIFT。本文已与arXiv:1406.6909合并
2015-06-24 cs.CV cs.LG
On the Universal Approximation Property of Deep Fully Convolutional Neural Networks
本文从动力系统视角研究深度全卷积网络对平移不变或等变函数的逼近,证明了残差网络及满足通道与卷积核大小条件的非残差变体可实现万能逼近,并验证了这些条件的必要性。
2023-05-18 cs.CV cs.LG
Land Cover Classification from Remote Sensing Images Based on Multi-Scale Fully Convolutional Network
Wuhan University(武汉大学);Lancaster University(兰卡斯特大学)
提出了一种基于多尺度卷积核的多尺度全卷积网络(MSFCN),用于从二维(2D)卫星图像中提取鉴别表示。
2020-10-21 cs.AI cs.CV eess.IV
A Modified Convolutional Network for Auto-encoding based on Pattern Theory Growth Function
Nanyang Technological University(南洋理工大学)
这篇简短的论文报告了卷积神经网络的一个变体的缺点,其组件是基于模式理论框架开发的。
2021-04-04 cs.CV cs.LG eess.IV
GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文描述了一种使用深度卷积神经网络进行图像识别的系统。提出了改进的网络结构,重点是提高收敛性和降低训练复杂度。网络第一层中的滤波器被约束以拟合Gabor函数。Gabor函数的参数是可学习的,并通过标准的反向传播技术进行更新。该系统在Python上实现,在几个数据集上进行了测试,性能优于常见的卷积网络。
2019-04-30 cs.CV cs.LG eess.IV
2D and 3D Deep Learning Models for MRI-based Parkinson's Disease Classification: A Comparative Analysis of Convolutional Kolmogorov-Arnold Networks, Convolutional Neural Networks, and Graph Convolutional Networks
University of Oxford(牛津大学);King’s College London(伦敦国王学院);Guy’s and St Thomas’ NHS Foundation Trust(盖伊和圣托马斯国民保健服务基金会信托)
本研究首次将3D ConvKANs应用于基于结构MRI的帕金森病分类,对比CNNs和GCNs,发现ConvKANs在准确率和跨数据集泛化能力上表现优异,突显了3D分析的重要性。
2024-09-26 cs.CV eess.IV q-bio.QM
Temporally Folded Convolutional Neural Networks for Sequence Forecasting
Kavli IPMU (WPI), University of Tokyo(东京大学卡弗里数物连携宇宙研究机构(世界顶级国际研究中心))
在这项工作中,我们提出了一种新的方法,利用卷积神经网络的时间序列预测。具有空间维度的序列数据的时间方向$D=1,2$被民主地认为是时空$(D+1)$维卷积神经网络的输入。然后,后者从$D +1 \to D$维度减少数据流,然后是使用此信息预测后续时间步长的定罪单元。我们根据经验将这种策略与卷积LSTM和LSTM分别在顺序MNIST和JSB chorals数据集上的性能进行了比较。我们的结论是,时间折叠卷积神经网络(TFC的)可能优于传统的递归策略。
2020-01-10 cs.CV cs.LG stat.ML
Seeing Convolution Through the Eyes of Finite Transformation Semigroup Theory: An Abstract Algebraic Interpretation of Convolutional Neural Networks
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
研究人员正在积极尝试更好地了解卷积神经网络的代表性属性,以指导更好的网络设计和解释网络的计算性质。由于网络中参数的数量和网络架构的复杂性,获得这种见解可能是一项艰巨的任务。目前的神经网络解释方法包括贝叶斯概率解释和信息论解释。在这项研究中,我们采取了不同的方法来研究卷积神经网络,提出了一个抽象的代数解释,使用有限变换半群理论。具体来说,卷积层被分解并映射到有限空间。然后将所提出的有限变换半群的状态空间定义为卷积层内的单个元素,其中由周围的状态元素与卷积核元素组合定义的作用元素。定义了有限变换半群的生成元来完成这一解释。我们利用这种方法来分析所得到的有限变换半群的基本属性,以获得对卷积神经网络的表示属性的见解,包括对量化网络表示的见解。这样的有限变换半群解释还可以使得能够更好地理解固定格数据结构的界限之外,因此对于处理位于不规则格上的数据是有用的。此外,所提出的抽象代数解释被证明是可行的解释各种卷积神经网络架构内的卷积运算。
2019-05-26 cs.CV cs.LG cs.NE