Convolutional Neural Networks learn compact local image descriptors
Technische Universität München（慕尼黑工业大学）
与合适的损失函数配对的标准深度卷积神经网络学习紧凑的局部图像描述符，该描述符执行最先进的方法。
2013-06-02 cs.CV
Training convolutional neural networks with megapixel images
Radboud University Medical Center（拉德堡德大学医学中心）；Computational Pathology Group（计算病理学小组）
为了训练深度卷积神经网络，需要将输入数据和中间激活保存在存储器中以计算梯度下降步骤。鉴于当前一代加速卡中可用的存储器有限，这限制了输入数据的最大维度。我们展示了一种方法来训练卷积神经网络只持有部分的图像在内存中，同时给出等效的结果。我们定量地比较了这种训练卷积神经网络的新方法与传统的训练方法。此外，作为概念验证，我们用6400万像素的图像训练了一个卷积神经网络，它需要的内存比传统方法少97%。
2018-04-16 cs.CV
Analysis of Dutch Master Paintings with Convolutional Neural Networks
通过对正在研究的艺术家的作品和其他艺术家的视觉上可比较的作品进行训练，卷积神经网络可以识别作品并提供属性。他们还可以在一幅画中分配分类概率，揭示混合作者身份，并识别不同手画的区域。
2020-08-16 cs.CV
Irregular Convolutional Neural Networks
Institution of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
卷积核是深度卷积神经网络（CNN）的基本和重要组成部分。在本文中，我们配备卷积核形状属性，以产生深度不规则卷积神经网络（ICNN）。与传统的CNN应用规则卷积核（如${3\times3}$）相比，我们的方法训练不规则的核形状，以更好地适应输入特征的几何变化。换句话说，形状是除了权重之外的可学习参数。内核形状和权重在端到端训练期间使用标准反向传播算法同时学习。通过语义分割实验验证了ICNN的有效性。
2017-06-24 cs.CV
Full-Page Text Recognition: Learning Where to Start and When to Stop
A2iA SA（A2iA公司）；Teklia SAS（Teklia公司）；Université de Lyon（里昂大学）；CNRS（法国国家科学研究中心）；INSA-Lyon（里昂国立应用科学学院）
文本行检测和定位是整页文档分析的关键步骤，但仍然受到现实生活中文档异构性的影响。在本文中，我们提出了一种新的方法，全文识别。文本行的本地化基于以全卷积神经网络和多维长短期记忆作为上下文层的回归。为了提高该定位方法的效率，仅预测文本行左侧的位置。然后，文本识别器负责预测要识别的文本的结尾。该方法在高度异构的Maurdor数据集上的整页文本识别中取得了良好的效果。
2017-04-27 cs.CV
ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks
Politecnico di Milano（米兰理工大学）；University of Montreal（蒙特利尔大学）
在本文中，我们提出了一个深度神经网络架构的对象识别基于递归神经网络。该网络被称为ReNet，它用四个循环神经网络取代了深度卷积神经网络中无处不在的卷积+池化层，这些循环神经网络在图像的两个方向上水平和垂直扫描。我们在三个广泛使用的基准数据集上评估了建议的ReNet; MNIST，CIFAR-10和SVHN。结果表明，ReNet是深度卷积神经网络的可行替代方案，需要进一步研究。
2015-07-23 cs.CV
Effective Early Stopping of Point Cloud Neural Networks
University of Barcelona（巴塞罗那大学）
早期停止技术可以用于减少时间成本，然而目前早期停止技术的最终目标与准确性升级或神经网络在结构上不庞大或复杂的情况下更好地概括看不见的数据的能力密切相关，并且与其效率不直接相关。时间效率是神经网络中的关键因素，特别是在处理3D点云数据分割时，这不仅是因为神经网络本身在计算上是昂贵的，而且还因为点云是大而嘈杂的数据，使得学习过程更加昂贵。针对神经网络处理三维点云时学习效率和精度之间的矛盾，提出了一种新的基于基础数学的早期停止技术。我们的研究结果表明，通过在四个不同的和高度利用的神经网络在分割三维点云，使用我们的早期停止技术，模型的训练时间效率大大提高，效率增益值高达94\%，虽然模型在仅仅几个时期内实现近似类似的分割准确度度量值，200个纪元。此外，我们的建议优于四个传统的早期停止方法的分割精度，这意味着一个有前途的创新早期停止技术在点云分割。
2022-09-30 cs.AI cs.CV cs.LG
Skin Lesion Classification Using Deep Multi-scale Convolutional Neural Networks
University Of Guelph（圭尔夫大学）
我们使用多尺度卷积神经网络为ISIC 2017皮肤病变分类挑战提出了一种深度学习方法。我们的方法利用了在ImageNet数据集上预先训练的Inception-v3网络，该网络使用两种不同尺度的输入图像进行皮肤病变分类。
2017-03-04 cs.CV
Skin Lesion Analysis Towards Melanoma Detection via End-to-end Deep Learning of Convolutional Neural Networks
本文介绍了我们提交给2018年ISIC挑战赛的解决方案的设计，实验和结果：皮肤病变分析对黑色素瘤检测。我们使用最先进的卷积神经网络（CNN）模型设计了一个管道，用于病变边界分割任务和病变诊断任务。
2018-07-22 cs.CV
Two-stage architectural fine-tuning with neural architecture search using early-stopping in image classification
Korea University（高丽大学）；Hongik University（弘益大学）；Ajou University（亚洲大学）
在许多深度神经网络（DNN）应用中，行业领域高质量数据的采集难度阻碍了DNN的实用化。因此，出现了迁移学习的概念，它利用了在大规模数据集上训练的DNN的预训练知识。因此，本文建议两阶段的架构微调，神经架构搜索（NAS）的启发。其主要思想之一是变异，它使用给定的结构信息来降低搜索成本。此外，提前停止被认为是通过提前终止搜索过程来降低NAS成本。实验结果表明，该方法减少了32.4%的计算量和22.3%的搜索量。
2022-09-27 cs.AI cs.CV
Application of Convolutional Neural Network for Image Classification on Pascal VOC Challenge 2012 dataset
Manipal Institute of Technology（马尼帕尔理工学院）
在这个项目中，我们致力于创建一个模型来为Pascal VOC Challenge 2012分类图像。我们使用卷积神经网络在Amazon通过其云服务Amazon Web Services（AWS）提供的单个GPU实例上进行训练，以对Pascal VOC 2012数据集中的图像进行分类。我们对多个卷积神经网络模型进行了训练，最终确定了最佳模型，验证准确率为85.6%，测试准确率为85.24%。
2016-07-13 cs.CV
Sparse 3D convolutional neural networks
University of Warwick（华威大学）
我们已经实现了一个卷积神经网络设计用于处理稀疏的三维输入数据。我们生活的世界是三维的，因此有大量的潜在应用，包括三维物体识别和时空物体分析。为了提高效率，我们在2D三角晶格和3D四面体晶格上进行了CNN实验。
2015-08-25 cs.CV
Use of symmetric kernels for convolutional neural networks
Taras Shevchenko National University of Kyiv（基辅塔拉斯·舍甫琴科国立大学）
在这项工作中，我们为CNN引入了水平对称卷积核，使网络输出对图像的水平翻转保持不变。我们还研究了其他类型的对称核，导致垂直翻转不变性，近似旋转不变性。我们表明，使用这样的内核作为正则化，并提高了泛化的卷积神经网络的代价是更复杂的训练过程。
2018-05-23 cs.CV
Ensemble of Convolutional Neural Networks Trained with Different Activation Functions
University of Padua（帕多瓦大学）
激活函数在卷积神经网络的训练中起着至关重要的作用。因此，开发高效的和执行功能是深度学习社区的一个关键问题。这些方法的关键是允许可靠的参数学习，避免消失梯度问题。这项工作的目标是提出一个集成的卷积神经网络训练使用几个不同的激活函数。此外，本文首次提出了一种新的激活函数。我们的目标是提高卷积神经网络在中小规模生物医学数据集上的性能。我们的结果清楚地表明，所提出的集成优于使用标准ReLU作为激活函数训练的卷积神经网络。所提出的集成优于每个测试的独立激活函数，p值为0.01;为了进行可靠的性能比较，我们使用两个著名的卷积神经网络：Vgg 16和ResNet 50，在10多个数据集上测试了我们的方法。此处使用的MATLAB代码可在www.example.com上获得。
2020-09-21 cs.CV
A comment on the paper Prediction of Kidney Function from Biopsy Images using Convolutional Neural Networks
Fundação Oswaldo Cruz, Instituto Gonçalo Moniz（奥斯瓦尔多·克鲁兹基金会，贡萨洛·莫尼兹研究所）；Universidade Federal de Estadual de Feira de Santana（费拉迪圣安娜州立联邦大学）
这封信对Ledbetter等人（2017）的论文《使用卷积神经网络从活检图像预测肾功能》提出了评论。
2017-07-23 cs.CV
Convolutional neural networks applied to modification of images
Instituto Politécnico Nacional（墨西哥国立理工学院）；Yonsei University（延世大学）
本研究介绍从滤波器概念到卷积神经网络的机器学习技术，讲解基于线性代数与微积分的数字图像编辑方法。
2024-10-08 cs.CV
Voronoi Convolutional Neural Networks
在本技术报告中，我们研究了将卷积神经网络扩展到函数不以网格模式采样的设置。我们表明，通过将样本视为细胞内函数的平均值，我们可以找到CNN中使用的大多数层的自然等价物。我们还提出了一个算法运行这些模型的推理，正是使用标准的凸几何算法。
2020-10-21 cs.CV
Convolutional Neural Network with Convolutional Block Attention Module for Finger Vein Recognition
Southwest Jiaotong University（西南交通大学）
卷积神经网络以其强大的图像特征表示能力成为手指静脉识别领域的研究热点。然而，大多数研究人员专注于通过增加CNN的深度和宽度来提高网络的性能，这通常需要很高的计算工作量。而且，我们可以注意到，不仅不同通道中像素的重要性不同，而且同一通道中不同位置的像素的重要性也不同。为了减少计算量并考虑到像素的不同重要性，提出了一种轻量级的带有卷积块注意模块（CBAM）的卷积神经网络用于手指静脉识别，通过注意力机制可以实现对视觉结构更准确的捕捉。首先，将图像序列输入到我们设计的轻量级卷积神经网络中，以改善视觉特征。然后，它在卷积块注意模块的帮助下学习以自适应的方式分配特征权重。在两个公开数据库上进行的实验表明，该方法在多模态手指识别中具有稳定、高精度和鲁棒性的特点。
2022-02-14 cs.CV
Multi-path Convolutional Neural Networks for Complex Image Classification
Dalhousie University（达尔豪斯大学）
卷积神经网络在ImageNet大规模视觉识别挑战赛上展示了高性能。然而，发布的结果仅显示了所有图像类别的整体性能。没有进一步的分析为什么某些图像得到更差的结果，以及如何改善它们。本文对不同类型的图像进行了深入的性能分析，并通过实验指出了卷积神经网络的不足。我们设计了一种新颖的多路径卷积神经网络，它将不同版本的图像输入到不同的路径中，以学习更全面的特征。该模型比传统的单路径模型具有更好的图像表现力。我们获得了更好的分类结果复杂的验证集上的前1和前5名的分数比最好的ILSVRC 2013分类模型。
2015-06-22 cs.CV
A concatenating framework of shortcut convolutional neural networks
卷积神经网络在学习图像分类和识别的优良特征方面发挥着重要作用。然而，在传统上，它们只允许相邻层连接，限制了多尺度信息的集成。为了进一步提高它们的性能，我们提出了一个连接框架的快捷卷积神经网络。该框架可以通过直接馈送到输出层的全连接层的快捷连接来连接多尺度特征。我们做了大量的实验，以研究性能的捷径卷积神经网络在许多基准的视觉数据集不同的任务。这些数据集包括用于性别分类的AR，FERET，FaceScrub，CelebA，用于纹理分类的CURET，用于数字识别的MNIST和用于对象识别的CIFAR-10。实验结果表明，在不同的池化方案、激活函数、优化、初始化、核数和核大小设置下，快捷卷积神经网络都能取得比传统神经网络更好的结果，具有更高的稳定性。
2017-10-03 cs.CV
Orthogonal Convolutional Neural Networks
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
深度卷积神经网络受到训练不稳定性和特征冗余的阻碍，无法进一步提高性能。一个有前途的解决方案是在卷积滤波器上施加正交性。我们开发了一种有效的方法，基于卷积核的双块Toeplitz矩阵表示，而不是使用公共核正交方法，在卷积层上施加滤波器正交性，我们证明这只是必要的，但不足以确保正交卷积。我们提出的正交卷积不需要额外的参数和很少的计算开销。该方法在监督、半监督和无监督设置下的广泛任务（例如图像分类和修复）上始终优于核正交性替代方案。此外，它学习更多样化和更具表现力的特征，具有更好的训练稳定性，鲁棒性和泛化能力。我们的代码可在https://github.com/samaonline/Orthogonal-Convolutional-Neural-Networks上公开获取。
2020-04-08 cs.CV
Drone Detection Using Convolutional Neural Networks
Qom University of Technology (QUT)（库姆理工大学）
在图像处理中，对空中目标，特别是无人机的检测和跟踪是必不可少的。在本文中，我们检测飞行的无人机使用鱼眼相机。在对象的诊断和分类领域中，总是存在许多问题，这些问题阻碍了该领域的快速和重大进展的发展。在过去的几十年中，已经开发了一些先进的分类方法，如卷积神经网络和支持向量机。在这项研究中，使用卷积神经网络（CNN），支持向量机（SVM），和最近邻的三种分类方法检测无人机。结果表明，CNN，SVM和最近邻的总准确率分别为95%，88%和80%。与相同实验条件下的其他分类器相比，卷积神经网络分类器的准确率是令人满意的。
2021-07-03 cs.CV
Design of Image Matched Non-Separable Wavelet using Convolutional Neural Network
IIIT-Delhi（德里英迪拉·甘地信息技术学院）
图像匹配不可分小波在图像分类、图像分割、压缩感知等领域有着广泛的应用前景。本文提出了一种利用卷积神经网络（CNN）设计与给定图像匹配的双通道不可分小波的新方法。该设计是在quin-cunx晶格上提出的.卷积神经网络的损失函数是用输入到CNN的给定图像与在CNN的输出处的重建图像之间的总平方误差来设置的，从而导致在训练结束时的完美重建。模拟结果已在一些标准图像上显示。
2016-12-15 cs.CV
How convolutional neural network see the world - A survey of convolutional neural network visualization methods
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
如今，卷积神经网络（CNN）在许多与计算机视觉相关的任务上取得了令人印象深刻的性能，如目标检测，图像识别，图像检索等。这些成就得益于CNN具有深层神经元结构和迭代训练过程的输入特征学习能力。然而，从人类视觉的角度来看，这些学习到的特征很难识别和解释，导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性，CNN可视化被很好地用作定性分析方法，其将内部特征转化为视觉上可感知的模式。许多CNN的可视化工作已经在文献中提出了解释CNN的网络结构，操作和语义概念的角度。在本文中，我们希望提供一个全面的调查几个代表性的CNN可视化方法，包括激活最大化，网络反演，反卷积神经网络（DeconvNet），和基于网络解剖的可视化。这些方法的动机，算法和实验结果。基于这些可视化方法，我们还讨论了它们的实际应用，以证明CNN可解释性在网络设计，优化，安全增强等领域的重要性。
2018-05-31 cs.CV
Saliency Detection With Fully Convolutional Neural Network
University of Tehran（德黑兰大学）
显著性检测是图像处理中的一项重要任务，因为它可以解决许多问题，并且通常是其他处理的第一步。卷积神经网络已被证明是非常有效的几个图像处理任务，如分类，分割，语义着色和对象操作。此外，使用预训练网络的权重是提高网络精度的常见做法。本文提出了一种利用部分VGG-16的全卷积神经网络用于图像显著性检测。
2019-06-24 cs.CV
Distilling Critical Paths in Convolutional Neural Networks
George Mason University（乔治梅森大学）
由于大多数部署目标的资源限制，目前广泛需要神经网络压缩和加速。在本文中，通过分析卷积神经网络中的过滤器激活、梯度和可视化过滤器的功能，我们证明了高层的过滤器学习了非常特定于任务的特征，这些特征只针对整个任务的一小部分，甚至是单个类。基于这些发现，我们揭示了不同类别的信息流的关键路径。利用卷积神经网络固有的排他性，提出了一种关键路径蒸馏方法，该方法可以有效地将卷积神经网络定制为模型尺寸更小、计算量更少的小网络。
2018-11-08 cs.CV
Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras
University of Dayton（代顿大学）；Umm Al-Qura University（乌姆·古拉大学）
本文提出了一种新的方法，用于标记真实世界的神经形态相机传感器数据，通过计算在短时间窗口内每个像素处生成事件的可能性，我们将其称为“事件概率掩模”或“事件概率掩模”。其应用包括（i）事件去噪性能的客观基准测试，（ii）训练用于噪声去除的卷积神经网络，称为“事件去噪卷积神经网络“（EDnCNN），以及（iii）估计内部神经形态相机参数。我们提供了第一个数据集（DVSNOISE20）的真实世界标记的神经形态相机事件的噪声去除。
2020-03-23 cs.CV
A Non-Technical Survey on Deep Convolutional Neural Network Architectures
Technical University of Munich（慕尼黑工业大学）；Cognition Factory GmbH（认知工厂有限责任公司）
人工神经网络近年来在许多学科和各种应用中显示出巨大的成果，包括自然语言理解、语音处理、游戏和图像数据生成。人工神经网络的强大性能被证明的一个特定应用是图像中的对象的识别，其中通常应用深度卷积神经网络。在本综述中，我们将全面介绍这一主题（使用深度卷积神经网络进行对象识别），重点关注网络架构的演变。因此，我们的目标是以简单和非技术的方式压缩该领域中最重要的概念，以便未来的研究人员能够快速了解。本文的工作结构如下：1.我们将解释（卷积）神经网络和深度学习的基本思想，并研究它们在三个对象识别任务中的使用：图像分类、对象定位和目标检测。2.我们对深度卷积神经网络的发展进行了回顾，对最重要的网络架构进行了广泛的概述，并按时间顺序排列。
2018-03-06 cs.CV
What are the Receptive, Effective Receptive, and Projective Fields of Neurons in Convolutional Neural Networks?
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
在这项工作中，我们详细解释了如何计算卷积神经网络（CNN）的不同层（卷积或池化）中的神经元的感受野、有效感受野和投射野。虽然我们这里的重点是CNN，但相同的操作，但顺序相反，可以用来计算去卷积神经网络的这些量。这些都是重要的概念，不仅可以更好地理解和分析卷积和去卷积网络，还可以优化它们在现实应用中的性能。
2018-04-07 cs.CV
Object Detection in Satellite Imagery using 2-Step Convolutional Neural Networks
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
提出了一种有效的卫星图像目标检测目标检测方法。在许多机器学习算法中，我们提出了两个卷积神经网络（CNN）的组合，分别针对高精度和高召回率。我们使用高尔夫球场作为目标对象来验证我们的模型。所提出的深度学习方法比以前的对象识别方法具有更高的准确性。
2018-08-09 cs.CV
Personalized Human Activity Recognition Using Convolutional Neural Networks
Washington State University（华盛顿州立大学）
使用可穿戴传感器的个性化人类活动识别的主要障碍是识别模型的性能在新用户采用系统或用户的身体/行为状态改变时显著下降。因此，需要通过在新的上下文中收集新的标记数据来重新训练模型。在这项研究中，我们使用卷积神经网络开发了一个迁移学习框架，以最小的用户监督来构建个性化的活动识别模型。
2018-01-25 cs.CV
Record Counting in Historical Handwritten Documents with Convolutional Neural Networks
在本文中，我们研究了使用卷积神经网络来计算历史手写文档中的记录数。通过这项工作，我们证明了只使用合成图像训练网络可以让我们对历史文档上打印的记录数量进行近乎完美的评估。实验已经在由婚姻记录组成的基准数据集上进行，并且在该数据集上的表现优于以前的结果。
2016-10-25 cs.CV
Statistically Significant Stopping of Neural Network Training
Swarm Labs（Swarm实验室）；University of Maryland, College Park（马里兰大学学院市分校）
训练深度学习分类器时采取的一般方法是在每几次迭代后保存参数，训练直到人类观察者或简单的基于度量的启发式算法决定网络不再学习，然后回溯并选择具有最佳验证精度的保存参数。使用简单的方法来确定神经网络是否不再学习，因为只要在找到最佳值之后，该条件就不会影响模型的最终精度。然而，从运行时的角度来看，这对于同时训练多个神经网络（例如超参数调整）的许多情况具有重要意义。基于此，我们引入了一个统计显著性检验来确定神经网络是否已经停止学习。与其他流行的停止标准相比，这种停止标准似乎代表了一种快乐的媒介，在77%或更少的时期内实现了与达到最高最终准确度的标准相当的准确度，而更快停止的标准则会对最终准确度造成可观的损失。此外，我们使用这作为一个新的学习率调度的基础上，消除了需要手动选择学习率调度和作为一个准线搜索，实现优越的或可比的经验性能，现有的方法。
2021-07-28 cs.AI cs.CV cs.LG
AutoGrow: Automatic Layer Growing in Deep Convolutional Networks
Duke University（杜克大学）；University of Nevada, Reno（内华达大学雷诺分校）
深度是深度神经网络（DNN）的关键组成部分，然而，设计深度是启发式的，需要许多人工努力。我们提出AutoGrow来自动化DNN中的深度发现：从浅种子架构开始，如果增长提高了准确性，AutoGrow会增长新的层;否则，停止增长，从而发现深度。我们提出了鲁棒的增长和停止策略，以推广到不同的网络架构和数据集。我们的实验表明，通过将相同的策略应用于不同的网络架构，AutoGrow总是可以在MNIST，FashionMNIST，SVHN，CIFAR 10，CIFAR 100和ImageNet的各种数据集上发现接近最佳的深度。例如，在准确性-计算权衡方面，AutoGrow在ResNets中发现了比人类专家更好的深度组合。我们的AutoGrow是高效的。它在训练单个DNN的类似时间内发现深度。我们的代码可在https://github.com/wenwei202/autogrow上获得。
2020-06-15 cs.CV cs.LG cs.NE
Distillation $\approx$ Early Stopping? Harvesting Dark Knowledge Utilizing Anisotropic Information Retrieval For Overparameterized Neural Network
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Stanford University（斯坦福大学）
蒸馏是一种将知识从一个模型转移到另一个模型的方法，通常可以在相同的容量下实现更高的准确性。在本文中，我们的目的是提供一个理论上的理解，主要是什么有助于蒸馏。我们的答案是“早停”。假设教师网络是过度参数化的，我们认为教师网络本质上是通过提前停止从数据中获取暗知识。这可以通过一个新的概念来证明，{各向异性信息检索（AIR）}，这意味着神经网络倾向于首先拟合信息信息，然后拟合非信息信息（包括噪声）。受近年来对过参数化神经网络理论分析的启发，我们可以用神经切核（NTK）的特征空间来刻画AIR。空气促进了对蒸馏的新理解。有了这个，我们进一步利用蒸馏来细化噪声标签。我们提出了一种自蒸馏算法，在前一个训练时期从网络中顺序提取知识，以避免记住错误的标签。我们还证明，无论是理论上和经验上，自我蒸馏可以受益于不仅仅是早期停止。理论上，我们证明了该算法收敛于随机初始化的超参数化神经网络在$\ell_2$距离方面的真实标签，而之前的结果是在$0$ - $1$损失方面的收敛.理论结果保证了学习后的神经网络在训练数据上有一定的余量，从而具有更好的泛化能力。经验上，我们实现了更好的测试精度，并完全避免了早期停止，这使得算法更用户友好。
2019-10-02 cs.CV cs.IT cs.LG
Early-exit Convolutional Neural Networks
Middle East Technical University（中东科技大学）
提出EENets早退CNN，通过多个可学习置信度分支按输入动态停止推理，在保持ResNet准确率的同时将计算成本降至20%。
2024-09-09 cs.AI cs.CV
Improving correlation method with convolutional neural networks
National Research Nuclear University "MEPhI"（国立核研究大学“MEPhI”）
我们提出了一个卷积神经网络的相关滤波器获得的相关响应的分类。该方法可以提高分类的准确率，以及实现不变性的图像类别和参数。
2020-04-20 cs.CV eess.IV
Coarse and fine-grained automatic cropping deep convolutional neural network
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
现有的卷积神经网络剪枝算法可以分为粗粒度剪枝和细粒度剪枝两大类。提出了一种粗粒度和细粒度的自动剪枝算法，可以实现对卷积神经网络更高效、更准确的压缩加速。首先对卷积神经网络的中间特征图进行聚类，得到粗粒度裁剪后的网络结构，然后使用粒子群优化算法对结构进行迭代搜索和优化。最后得到了最优的网络裁剪子结构。
2020-10-14 cs.CV cs.NE
Image Denoising with Graph-Convolutional Neural Networks
Politecnico di Torino（都灵理工大学）
从噪声观测中恢复图像是信号处理中的一个关键问题。最近，研究表明，采用卷积神经网络的数据驱动方法可以优于经典的基于模型的技术，因为它们可以捕获更强大和更有区别的特征。然而，由于这些方法基于卷积运算，它们只能利用局部相似性，而不考虑非局部自相似性。在本文中，我们提出了一种卷积神经网络，它采用图形卷积层，以利用局部和非局部相似性。图卷积层在特征空间中动态构建邻域，以检测隐藏层产生的特征图中的潜在相关性。实验结果表明，该架构优于经典的卷积神经网络的去噪任务。
2019-05-29 cs.CV eess.IV
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto（多伦多大学）
我们提出了一种新的方法，将视频中的时间信息合并到在图像上训练的空间卷积神经网络（ConvNets）中，避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明，为了学习视频的时间表示，明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法，并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks
Chongqing United Microelectronics Center Co. Ltd（重庆联合微电子中心有限责任公司）；Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）
针对深度脉冲神经网络（SNN）缺乏高效高精度学习算法的问题，提出时空正交传播（STOP）算法，协同学习权重、阈值和泄漏因子，降低内存与计算复杂度，在多个数据集上取得高精度，适用于边缘智能场景。
2024-11-27 cs.CV cs.NE
On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations
Cornell University（康奈尔大学）；Augsburg University（奥格斯堡大学）；Technische Universität München（慕尼黑工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
深度卷积神经网络通常被认为是鲁棒的函数逼近器。到目前为止，这种直觉是基于对外部刺激的扰动，例如要分类的图像。在这里，我们探讨了卷积神经网络对网络本身的内部权重和结构扰动的鲁棒性。我们发现，卷积网络对较高卷积层中的一些内部扰动具有惊人的鲁棒性，但底层卷积层要脆弱得多。例如，Alexnet在随机删除顶部卷积层或密集层中超过70%的权重连接时，分类性能下降不到30%，但在第一个卷积层中使用相同的扰动时，性能几乎是偶然的。最后，我们建议进一步的研究，可以继续为卷积网络对内部扰动的鲁棒性提供信息。
2017-03-23 cs.CV cs.LG
Joint convolutional neural pyramid for depth map super-resolution
Hunan University（湖南大学）；College of Computer Science and Electronic Engineering（计算机科学与电子工程学院）；College of Electric and Information Engineering（电气与信息工程学院）
高分辨率深度图可以在同一场景的附加高分辨率纹理图的指导下从低分辨率深度图推断。最近，具有大感受野的深度神经网络被证明有益于图像完成等应用。我们的见解是，超分辨率类似于图像完成，其中只有部分深度值是精确已知的。在本文中，我们提出了一个联合卷积神经金字塔模型与大的感受野联合深度图超分辨率。我们的模型由三个子网络组成，两个卷积神经金字塔由一个普通的卷积神经网络连接起来。卷积神经金字塔从深度图和引导图的大感受野提取信息，而卷积神经网络有效地将引导图像的有用结构转移到深度图像。实验结果表明，我们的模型优于现有的最先进的算法，不仅对RGB/深度图像的数据对，而且对其他数据对，如颜色/显着性和颜色涂鸦/彩色图像。
2018-01-03 cs.CV cs.GR
Descriptor Matching with Convolutional Neural Networks: a Comparison to SIFT
最新的结果表明，通过卷积神经网络学习的特征在分类任务中的表现大大优于以前的描述符。事实证明，当这些网络应用于与它们训练时不同的数据集或识别任务时，它们仍然工作得很好。然而，像SIFT这样的描述符不仅用于识别，而且还用于许多依赖于描述符匹配的对应问题。在本文中，我们将卷积神经网络的各个层的特征与标准SIFT描述符进行了比较。我们考虑一个在ImageNet上训练的网络和另一个在没有监督的情况下训练的网络。令人惊讶的是，卷积神经网络在描述符匹配方面明显优于SIFT。本文已与arXiv：1406.6909合并
2015-06-24 cs.CV cs.LG
Perineural Invasion Detection in Multiple Organ Cancer Based on Deep Convolutional Neural Network
Shiraz University of Technology（设拉子科技大学）；National Brain Mapping Laboratory（国家脑图谱实验室）
恶性肿瘤细胞的神经浸润（PNI）已被报道为各种癌症预后不良的独立指标。在载玻片上评估小神经中的PNI是一项劳动密集型任务。在这项研究中，我们提出了一种算法来检测神经浸润的结肠癌，前列腺癌和胰腺癌的卷积神经网络（CNN）的基础上。
2021-10-23 cs.CV eess.IV
Forensic Video Steganalysis in Spatial Domain by Noise Residual Convolutional Neural Network
Netherlands Forensic Institute（荷兰法医研究所）；Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出使用噪声残差卷积神经网络在空间域进行取证视频隐写分析，通过构建视频隐写数据集训练模型，实验检测率达99.96%，验证了CNN方法在视频隐写取证中的有效性。
2023-05-29 cs.CR cs.CV
Research Progress of Convolutional Neural Network and its Application in Object Detection
East China University of Science and Technology（华东理工大学）
随着计算机性能的提高和数据量的增加，基于卷积神经网络（CNN）的目标检测已成为目标检测的主要算法。综述了卷积神经网络及其在目标检测中的应用研究进展，重点分析和讨论了将卷积神经网络应用于目标检测的具体思路和方法，指出了目前存在的不足和未来的发展方向。
2020-07-27 cs.CV cs.LG eess.IV
Pointwise Convolutional Neural Networks
The University of Tokyo（东京大学）；Singapore University of Technology and Design（新加坡科技设计大学）
利用诸如重建的点云和CAD模型的3D数据的深度学习最近受到了极大的研究兴趣。然而，使用点云与卷积神经网络的能力迄今尚未得到充分探索。本文提出了一种用于三维点云语义分割和目标识别的卷积神经网络。我们网络的核心是逐点卷积，这是一种新的卷积运算符，可以应用于点云的每个点。我们的全卷积网络设计，虽然实现起来非常简单，但在语义分割和对象识别任务中都可以产生有竞争力的准确性。
2018-03-29 cs.CV cs.LG
4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks
在许多机器人和VR/AR应用中，3D视频是现成的输入源（连续的深度图像序列或LIDAR扫描）。然而，这些3D视频通过2D convnets或3D感知算法逐帧处理。在这项工作中，我们提出了4维卷积神经网络的时空感知，可以直接处理这样的三维视频使用高维卷积。为此，我们采用稀疏张量，并提出了广义稀疏卷积，包括所有离散卷积。为了实现广义稀疏卷积，我们为稀疏张量创建了一个开源的自动微分库，为高维卷积神经网络提供了广泛的功能。我们使用该库创建了4D时空卷积神经网络，并在各种3D语义分割基准上对其进行了验证，并提出了用于3D视频感知的4D数据集。为了克服4D空间中的挑战，我们提出了混合内核，广义稀疏卷积的特殊情况，以及在7 D时空色度空间中执行时空一致性的三边固定条件随机场。在实验上，我们表明，只有广义三维稀疏卷积的卷积神经网络可以大大优于2D或2D-3D混合方法。此外，我们还表明，在3D视频上，4D时空卷积神经网络对噪声具有鲁棒性，优于3D卷积神经网络，并且在某些情况下比3D对应物更快。
2019-06-13 cs.AI cs.CV
A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image Change Detection
Xidian University（西安电子科技大学）；Wuhan University（武汉大学）
近年来，许多卷积神经网络（CNN）被成功地应用于双时相SAR图像变化检测。然而，大多数现有的网络过于沉重，并占用大量的存储和计算的内存。受此启发，在本文中，我们提出了一个轻量级的神经网络，以减少计算和空间的复杂性，并促进边缘设备上的变化检测。在所提出的网络中，我们用瓶颈层取代了正常的卷积层，使输入和输出之间的通道数量保持不变。接下来，我们使用具有一些非零条目的扩张卷积核，以减少卷积运算符的运行时间。与传统的卷积神经网络相比，我们的轻量级神经网络将更有效地与更少的参数。我们验证了我们的轻量级神经网络上的四套双时SAR图像。实验结果表明，与传统的CNN相比，该网络具有更好的性能和更好的模型泛化能力，特别是在复杂场景的挑战性数据集上。
2020-06-21 cs.CV eess.IV
Uneven illumination surface defects inspection based on convolutional neural network
School of Mechanical Engineering, Anhui University of Technology（安徽工业大学机械工程学院）
针对不均匀光照导致表面缺陷检测率下降的问题，本文通过调整卷积神经网络结构与训练参数，实现铜带和钢材图像缺陷的自动特征学习与准确识别。
2023-07-15 cs.CV eess.IV
Local Binary Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
我们提出了局部二进制卷积（LBC），这是标准卷积神经网络（CNN）中卷积层的有效替代方案。LBC的设计原则是由局部二进制模式（LBP）激发的。LBC层包括在训练过程期间不更新的一组固定稀疏预定义二进制卷积滤波器、非线性激活函数和一组可学习线性权重。线性权重组合激活的滤波器响应以近似标准卷积层的对应激活的滤波器响应。LBC层提供了显着的参数节省，与标准卷积层相比，可学习参数的数量为9倍至169倍。此外，与标准卷积层相比，权重的稀疏和二进制性质还导致模型大小节省高达9倍至169倍。我们从理论和实验上证明，我们的局部二进制卷积层是标准卷积层的一个很好的近似。从经验上讲，具有LBC层的CNN，称为局部二进制卷积神经网络（LBCNN），在一系列视觉数据集（MNIST，SVHN，CIFAR-10和ImageNet）上实现了与常规CNN的性能等同，同时节省了大量计算。
2017-07-01 cs.CV cs.LG
Shape recognition of volcanic ash by simple convolutional neural network
Tokyo Institute of Technology（东京工业大学）
火山碎屑颗粒的形状分析有助于了解火山喷发机制。然而，我们必须定义和选择参数集，如凸度的火山灰颗粒的精确判别。火山灰形状识别的最佳参数集的选择是复杂的。实际上，已经提出了许多形状参数。近年来，神经网络在机器学习领域取得了巨大的成功。卷积神经网络可以在不考虑人的主观偏见和形状参数的情况下识别图像的形状。我们应用简单的卷积神经网络开发的手写数字识别火山灰形状。用Morphologi火山灰图像对网络进行训练，识别火山灰形状的准确率约为90%。
2017-06-22 cs.CV physics.geo-ph
Temporally Folded Convolutional Neural Networks for Sequence Forecasting
Kavli IPMU (WPI), University of Tokyo（东京大学卡弗里数物连携宇宙研究机构（世界顶级国际研究中心））
在这项工作中，我们提出了一种新的方法，利用卷积神经网络的时间序列预测。具有空间维度的序列数据的时间方向$D=1,2$被民主地认为是时空$(D+1)$维卷积神经网络的输入。然后，后者从$D +1 \to D$维度减少数据流，然后是使用此信息预测后续时间步长的定罪单元。我们根据经验将这种策略与卷积LSTM和LSTM分别在顺序MNIST和JSB chorals数据集上的性能进行了比较。我们的结论是，时间折叠卷积神经网络（TFC的）可能优于传统的递归策略。
2020-01-10 cs.CV cs.LG stat.ML
