Appearance invariance in convolutional networks with neighborhood similarity
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah（犹他大学）
我们提出了一个邻域相似性层（NSL），当与卷积层结合使用时，它会在网络中引起外观不变性。我们的动机是观察到，即使卷积网络具有低的泛化误差，其泛化能力不延伸到不由训练数据表示的样本。例如，虽然学习概念的新外观对人类视觉系统没有问题，但前馈卷积网络在这种情况下通常不会成功。出于对相似性分组的完形原则，建议的NSL变换其输入的特征图，使用每个像素的特征向量作为参考系，即注意力的中心，其周围的邻居。这种变换是空间变化的，因此不是卷积。它是可区分的;因此，包括所提出的层的网络可以以端到端的方式进行训练。我们分析了NSL对训练数据中未表示的外观显著变化的不变性。我们也证明了它的优势，数字识别，语义标记和细胞检测问题。
2017-07-03 cs.CV stat.ML
Convolutional Patch Networks with Spatial Prior for Road Detection and Urban Scene Understanding
Friedrich Schiller University of Jena（耶拿弗里德里希·席勒大学）
对单个图像块进行分类在许多不同的应用中是重要的，例如道路检测或场景理解。在本文中，我们提出了卷积补丁网络，这是一种学习来区分不同图像补丁的卷积网络，可用于逐像素标记。我们还展示了如何将补丁的空间信息作为网络的输入，这允许学习空间先验的某些类别与外观模型。特别是，我们专注于道路检测和城市场景理解，这两个应用领域，我们能够在KITTI以及LabelMeFacade数据集上实现最先进的结果。此外，我们的论文为在该领域工作的人们提供了一个指导方针，并拼命地徘徊在所有令图像补丁训练CN变得非常困难的艰苦细节中。
2015-02-23 cs.CV
Visualizing and Understanding Convolutional Networks
New York University（纽约大学）
大型卷积网络模型最近在ImageNet基准测试中表现出令人印象深刻的分类性能。然而，人们并不清楚为什么它们表现如此出色，或者如何改进它们。在本文中，我们解决这两个问题。我们介绍了一种新的可视化技术，使洞察到中间功能层和分类器的操作。我们还进行了消融研究，以发现不同的模型层的性能贡献。这使我们能够找到在ImageNet分类基准测试中优于Krizhevsky \etal的模型架构。我们证明了我们的ImageNet模型可以很好地推广到其他数据集：当softmax分类器被重新训练时，它令人信服地击败了Caltech-101和Caltech-256数据集上的当前最先进的结果。
2013-11-28 cs.CV
Understanding Aesthetics in Photography using Deep Convolutional Neural Networks
Warsaw University of Technology（华沙理工大学）
评估数字照片的美学价值是一项具有挑战性的任务，主要是由于需要考虑的众多因素和这一过程的主观方式。在本文中，我们提出使用深度卷积神经网络来解决这个问题。使用从Flickr收集的超过170万张照片的数据集，我们训练并评估了一个深度学习模型，该模型的目标是通过分析输入图像的美学价值对其进行分类。这项工作的结果是一个公开的基于Web的应用程序，可用于几个现实生活中的应用程序，例如，通过预先选择最好的照片来改善专业摄影师的工作流程。
2017-08-08 cs.CV
Understanding Convolutional Neural Networks with A Mathematical Model
University of Southern California（南加州大学）
这项工作试图解决关于卷积神经网络（CNN）结构的两个基本问题：1）为什么非线性激活函数在每个卷积层的滤波器输出端是必不可少的？2)双层级联系统比单层系统有什么优点？本文提出了一个称为“球面上的修正相关关系”（RECOS）的数学模型来回答这两个问题。在CNN训练过程之后，收敛的滤波器权重定义RECOS模型中的一组锚向量。锚向量表示频繁出现的模式（或频谱分量）。用RECOS模型说明了整流的必要性。在此基础上，分析了双层RECOS系统的性能，并与单层RECOS系统进行了比较。LeNet-5和MNIST数据集用于说明讨论要点。最后，以AlexNet网络为例，将RECOS模型推广到多层系统。关键词：卷积神经网络（CNN），非线性激活，RECOS模型，校正线性单元（ReLU），MNIST数据集。
2016-11-02 cs.CV
ADCrowdNet: An Attention-injective Deformable Convolutional Network for Crowd Understanding
Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；University of Maryland（马里兰大学）；Shanghai Jiao Tong University（上海交通大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；WINNER Technology
我们提出了一种称为ADCrowdNet的注意力注入可变形卷积网络，用于人群理解，可以解决高度拥挤的嘈杂场景的准确性下降问题。ADCrowdNet包含两个级联网络。一种称为注意力地图生成器（AMG）的注意力感知网络首先检测图像中的人群区域，并计算这些区域的拥挤程度。基于检测到的人群区域和拥塞先验，称为密度图估计（DME）的多尺度可变形网络然后生成高质量的密度图。通过注意力感知训练方案和多尺度可变形卷积方案，所提出的ADCrowdNet实现了更有效地捕获人群特征和更抵抗各种噪声的能力。我们已经在四个流行的人群计数数据集（ShanghaiTech，UCF_CC_50，WorldEXPO'10和UCSD）和一个额外的车辆计数数据集TRANCOS上评估了我们的方法，我们的方法在所有这些数据集上都击败了现有的最先进的方法。
2019-04-11 cs.CV
Understanding the hand-gestures using Convolutional Neural Networks and Generative Adversial Networks
Boston University（波士顿大学）
本文介绍了一个实时的识别字符的手势识别系统。该系统由实时手势跟踪、手势训练和基于卷积神经网络的手势识别三个模块组成。利用Camshift算法和手部斑点分析进行手部跟踪，得到运动描述符和手部区域。该算法对背景聚类具有较好的鲁棒性，并利用肤色信息进行手势跟踪和识别。此外，已经提出的技术，以提高识别的性能和准确性，使用的方法，如选择的训练图像和自适应阈值手势，以消除非手势模式，这有助于有资格的输入模式作为手势。在实验中，对包括字母和数字在内的36个手势词汇进行了测试，结果表明了该方法的有效性。
2020-11-10 cs.CV
An Empirical Study towards Understanding How Deep Convolutional Nets Recognize Falls
Ulm University（乌尔姆大学）
检测意外跌倒对于独居老人的环境智能和医疗保健至关重要。近年来，深度卷积网络被广泛应用于人体动作分析，基于此提出了许多跌倒检测方法。尽管卷积网络具有非常高效的性能，但卷积网络如何识别跌倒的行为仍然不清楚。在本文中，而不是提出一个新的方法，我们进行了系统的实证研究，试图调查潜在的跌倒识别过程。我们提出了四个任务进行调查，其中涉及五种类型的输入模态，七个网络实例和不同的训练样本。所获得的定量和定性结果揭示了网络倾向于学习的模式，以及可能严重影响跌倒识别性能的几个因素。我们期望我们的结论有利于为跌倒检测系统提出更好的深度学习解决方案。
2018-12-05 cs.CV
Depth Not Needed - An Evaluation of RGB-D Feature Encodings for Off-Road Scene Understanding by Convolutional Neural Network
Durham University（杜伦大学）；Institute for Infocomm Research（资讯通信研究所）
自动驾驶车辆的场景理解是一项具有挑战性的计算机视觉任务，卷积神经网络（CNN）的最新进展取得了明显超过现有传统特征驱动方法的结果。然而，有限的工作调查的应用程序，这种方法无论是在高度非结构化的越野环境或RGBD输入数据。在这项工作中，我们采用了一种现有的CNN架构，旨在对城市道路场景的RGB图像进行语义分割，然后对其进行调整和重新训练，以使用在一系列具有挑战性的越野条件下获得的多通道RGBD图像执行相同的任务。我们比较了两种不同的立体匹配算法和五种不同的编码深度信息的方法，包括视差，局部法线方向和HHA（水平视差，地平面以上的高度，与重力的角度），以创建我们的数据集的总共十个实验变化，其中每一个都用于训练和测试CNN，以便可以对使用标准RGB输入训练的CNN评估分类性能。
2018-01-04 cs.CV
An Interaction-based Convolutional Neural Network (ICNN) Towards Better Understanding of COVID-19 X-ray Images
Columbia University（哥伦比亚大学）
可解释人工智能（XAI）领域旨在构建可解释和可解释的机器学习（或深度学习）方法，而不牺牲预测性能。卷积神经网络（CNN）在预测方面取得了成功，特别是在图像分类方面。然而，这些著名的深度学习模型使用了数千万个参数，这些参数是基于大量预先训练的过滤器，这些过滤器是从以前的数据集重新设计的。我们提出了一种新的基于交互的卷积神经网络（ICNN），不对本地信息的相关性作出假设。相反，我们使用一个无模型的影响力得分（I-score），直接从图像中提取有影响力的信息，形成重要的变量模块。我们证明，所提出的方法在对COVID-19胸部X射线图像进行分类的真实数据集上产生了99.8%的最先进的预测性能，而不会牺牲模型的解释能力。这种设计可以在人类诊断之前有效地筛选COVID-19患者，并将成为解决未来大规模数据集中XAI问题的基准。
2021-06-13 cs.CV
Attention-driven Tree-structured Convolutional LSTM for High Dimensional Data Understanding
CuraCloud Corporation（库拉云公司）；University at Albany, State University at New York（纽约州立大学奥尔巴尼分校）；UNC Charlotte（北卡罗来纳大学夏洛特分校）
图像序列的序列信息建模是各种视觉任务的重要步骤，而卷积长短期记忆（ConvLSTM）在这类时空问题中表现出了卓越的性能。然而，大量任务中的分层数据结构（例如，生物医学图像中的人体部分和血管/气道树）不能通过顺序模型适当地建模。因此，ConvLSTM不适合树结构的图像数据分析。为了解决这些限制，我们提出了用于树结构图像分析任务的树结构ConvLSTM模型，可以进行端到端训练。为了证明所提出的树结构ConvLSTM模型的有效性，我们提出了一个树结构分割框架，该框架由树结构ConvLSTM和注意力全卷积网络（FCN）模型组成。该框架在四个大规模冠状动脉数据集上进行了广泛的验证。结果表明了该方法的有效性和效率。
2019-01-29 cs.CV
CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
我们提出了一个名为CSRNet的拥挤场景识别网络，以提供一种数据驱动和深度学习方法，可以理解高度拥挤的场景，并执行准确的计数估计，以及呈现高质量的密度图。拟议的CSRNet由两个主要组成部分组成：卷积神经网络（CNN）作为2D特征提取的前端，以及用于后端的扩张的CNN，其使用扩张的内核来提供更大的接收字段并取代池化操作。CSRNet是一个易于训练的模型，因为它具有纯卷积结构。我们在四个数据集（上海科技数据集，UCF_CC_50数据集，WorldEXPO'10数据集和UCSD数据集）上演示了CSRNet，并提供了最先进的性能。在ShanghaiTech Part_B数据集中，CSRNet的平均绝对误差（MAE）比之前的最先进方法低47.3%。我们扩展的目标应用程序计数其他对象，如在TRANCOS数据集的车辆。结果表明，CSRNet显着提高了输出质量，MAE比以前的最先进的方法低15.4%。
2018-04-11 cs.CV
NAC-TCN: Temporal Convolutional Networks with Causal Dilated Neighborhood Attention for Emotion Understanding
University of Pennsylvania（宾夕法尼亚大学）
提出NAC-TCN模型，通过引入因果膨胀邻域注意力与卷积结合，在降低计算和内存开销的同时，于标准情感识别数据集上以更少参数达到或超越现有主流方法性能。
2024-01-06 cs.CV
Total Recall: Understanding Traffic Signs using Deep Hierarchical Convolutional Neural Networks
Center for Cognitive Skill Enhancement（认知技能提升中心）；Independent University Bangladesh（孟加拉国独立大学）
使用智能系统识别交通标志可以大大减少全球范围内发生的事故数量。随着自动驾驶汽车的到来，解决主要街道上交通和手持标志的自动识别已成为一个主要挑战。已经提出了各种机器学习技术，如随机森林、SVM以及深度学习模型，用于对交通标志进行分类。虽然它们在特定的数据集上达到了最先进的性能，但在处理多个交通标志识别基准方面却有所欠缺。在本文中，我们提出了一种新颖的和一个为所有的架构，aces多个基准更好的整体得分比国家的最先进的架构。我们的模型是由残留卷积块与分层扩张跳跃连接加入步骤。在德国标志识别基准测试中，我们获得了99.33%的准确率，在比利时交通标志分类基准测试中，我们获得了99.17%的准确率。此外，我们提出了一个新设计的扩张残差学习表示技术，这是非常低的内存和计算复杂性。
2018-10-26 cs.CV
Physically-Based Rendering for Indoor Scene Understanding Using Convolutional Neural Networks
Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
室内场景理解对于诸如机器人导航和人类同伴辅助之类的应用是核心的。在过去的几年里，数据驱动的深度神经网络由于其表示学习能力而优于许多传统方法。训练以获得更好的表示的瓶颈之一是核心场景理解任务（如语义分割、法线预测和对象边缘检测）所需的可用每像素地面实况数据量。为了解决这一问题，提出了许多使用合成数据的工作。然而，缺乏对这种合成数据是如何产生的系统研究。在这项工作中，我们引入了一个大规模的合成数据集，其中包含来自45K逼真3D室内场景的400K基于物理的渲染图像。我们研究了渲染方法和场景照明对三个计算机视觉任务训练的影响：表面法线预测，语义分割和对象边界检测。这项研究提供了对使用合成数据进行训练的最佳实践的见解（更真实的渲染是值得的），并表明使用我们的新合成数据集进行预训练可以在所有三个任务上改进当前最先进的结果。
2017-07-02 cs.CV
Beyond saliency: understanding convolutional neural networks from saliency prediction on layer-wise relevance propagation
Stony Brook University（石溪大学）；Midea Emerging Technology Center（美的新兴技术中心）
尽管深度卷积神经网络（CNN）在许多计算机视觉任务中取得了巨大成就，但了解它们的实际工作方式仍然是一个重大挑战。在本文中，我们提出了一种新的两步理解方法，即显著相关（SR）图，旨在揭示深度CNN如何识别图像并从其中的区域（称为注意区域）中学习特征。我们所提出的方法开始了逐层相关传播（LRP）的步骤，估计一个像素级的相关性映射的输入图像。接下来，我们从LRP生成的地图中构建了一个上下文感知的显着性地图，SR地图，该地图预测靠近注意力焦点的区域，而不是LRP揭示的孤立像素。在人类视觉系统中，区域信息比像素信息更重要。因此，我们提出的方法密切模拟人类识别。使用ILSVRC 2012验证数据集结合两个成熟的深度CNN模型AlexNet和VGG-16的实验结果清楚地表明，我们提出的方法不仅可以简洁地识别关键像素，还可以识别有助于底层神经网络理解给定图像的注意区域。因此，我们提出的SR映射构成了一个方便的视觉界面，它揭示了网络的视觉注意力，并揭示了模型在训练后学会识别的对象类型。源代码可在https://github.com/Hey1Li/Salient-Relevance-Propagation上获得。
2019-03-30 cs.CV
Understanding data augmentation for classification: when to warp?
Defence Science and Technology（国防科学与技术组织）；Australian Defence Force（澳大利亚国防军）；University of South Australia（南澳大利亚大学）
在本文中，我们调查的好处，增加数据与合成创建的样本时，训练机器学习分类器。创建额外训练样本的两种方法是数据扭曲，它通过在数据空间中应用的变换生成额外的样本，以及合成过采样，它在特征空间中创建额外的样本。我们使用标准MNIST手写数字数据集，通过实验评估了数据增强对卷积反向传播训练的神经网络、卷积支持向量机和卷积极端学习机分类器的好处。我们发现，虽然可以在特征空间中执行通用增强，但如果数据的合理变换是已知的，则数据空间中的增强为提高性能和减少过拟合提供了更大的好处。
2016-11-26 cs.CV
A Non-Technical Survey on Deep Convolutional Neural Network Architectures
Technical University of Munich（慕尼黑工业大学）；Cognition Factory GmbH（认知工厂有限责任公司）
人工神经网络近年来在许多学科和各种应用中显示出巨大的成果，包括自然语言理解、语音处理、游戏和图像数据生成。人工神经网络的强大性能被证明的一个特定应用是图像中的对象的识别，其中通常应用深度卷积神经网络。在本综述中，我们将全面介绍这一主题（使用深度卷积神经网络进行对象识别），重点关注网络架构的演变。因此，我们的目标是以简单和非技术的方式压缩该领域中最重要的概念，以便未来的研究人员能够快速了解。本文的工作结构如下：1.我们将解释（卷积）神经网络和深度学习的基本思想，并研究它们在三个对象识别任务中的使用：图像分类、对象定位和目标检测。2.我们对深度卷积神经网络的发展进行了回顾，对最重要的网络架构进行了广泛的概述，并按时间顺序排列。
2018-03-06 cs.CV
What Do We Understand About Convolutional Networks?
York University（约克大学）
本文将回顾使用多层卷积架构的最突出的建议。重要的是，典型卷积网络的各种组件将通过审查不同的方法来讨论，这些方法将其设计决策基于生物学发现和/或合理的理论基础。此外，还将回顾通过可视化和实证研究来理解ConvNets的不同尝试。最终目标是阐明ConvNet架构中涉及的每一层处理的作用，提取我们目前对ConvNet的理解，并突出关键的开放问题。
2018-03-23 cs.CV
An All-In-One Convolutional Neural Network for Face Analysis
University of Maryland（马里兰大学）
我们提出了一个多用途的算法，同时人脸检测，人脸对齐，姿态估计，性别识别，微笑检测，年龄估计和人脸识别使用一个单一的深度卷积神经网络（CNN）。所提出的方法采用了多任务学习框架，该框架对CNN的共享参数进行了正则化，并在不同的域和任务之间建立了协同作用。大量的实验表明，该网络对人脸有更好的理解，并在大多数任务中取得了最先进的结果。
2016-11-03 cs.CV
Towards Better Analysis of Deep Convolutional Neural Networks
Tsinghua University（清华大学）
深度卷积神经网络（CNN）在图像分类等许多模式识别任务中取得了突破性的性能。然而，高质量深度模型的开发通常依赖于大量的试错，因为仍然没有清楚地了解深度模型何时以及为什么有效。在本文中，我们提出了一种可视化分析方法，用于更好地理解、诊断和改进深度CNN。我们将深度CNN公式化为有向非循环图。在此基础上，开发了一种混合可视化方法来揭示每个神经元的多个方面以及它们之间的相互作用。特别是，我们引入了一个分层矩形包装算法和矩阵重排算法来显示神经元簇的衍生功能。我们还提出了一种基于双聚类的边缘捆绑方法，以减少神经元之间的大量连接所造成的视觉混乱。我们在一组CNN上评估了我们的方法，结果总体上是有利的。
2016-05-04 cs.CV
Multi-task Graph Convolutional Neural Network for Calcification Morphology and Distribution Analysis in Mammograms
National University of Singapore（新加坡国立大学）；Taipei Medical University（台北医学大学）；Nanyang Technological University（南洋理工大学）；Wan Fang Hospital（万芳医院）；Institute of Data Science（数据科学研究所）
簇状微钙化的形态和分布是放射科医师诊断乳腺癌最重要的特征。然而，这是费时和困难的放射科医生来识别这些特征，也缺乏有效的解决方案，自动表征。在这项研究中，我们提出了一个多任务的深度图卷积网络（GCN）的方法自动表征的形态和分布的微钙化在乳房X线照片。我们提出的方法将形态和分布特征转化为节点和图分类问题，并同时学习表示。通过大量的实验，我们证明了显着的改进与建议的多任务GCN相比，基线。此外，所实现的改善可以与临床理解相关并增强临床理解。我们首次探索了GCN在微钙化表征中的应用，这表明图学习对医学图像的更强大理解的潜力。
2021-05-14 cs.CV
What are the Receptive, Effective Receptive, and Projective Fields of Neurons in Convolutional Neural Networks?
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
在这项工作中，我们详细解释了如何计算卷积神经网络（CNN）的不同层（卷积或池化）中的神经元的感受野、有效感受野和投射野。虽然我们这里的重点是CNN，但相同的操作，但顺序相反，可以用来计算去卷积神经网络的这些量。这些都是重要的概念，不仅可以更好地理解和分析卷积和去卷积网络，还可以优化它们在现实应用中的性能。
2018-04-07 cs.CV
Understand Scene Categories by Objects: A Semantic Regularized Scene Classifier Using Convolutional Neural Networks
Zhejiang University（浙江大学）；The University of Technology, Sydney（悉尼科技大学）
场景分类是当今机器人环境理解的基本感知任务。在本文中，我们试图利用流行的机器学习技术深度学习来增强场景理解，特别是在机器人应用中。由于场景图像比标志性对象图像具有更大的多样性，因此深度学习方法在较少样本的情况下从场景图像中自动学习特征更具挑战性。受人类基于对象知识的场景理解的启发，我们通过鼓励深层神经网络结合对象级信息来解决场景分类问题。这是通过语义分割的正则化来实现的。与250万张图像相比，只有5000张训练图像，我们在公开的SUN RGB-D数据集上展示了所提出的深度架构实现了优于最先进的场景分类结果。此外，语义分割的性能，正则化，也达到了一个新的记录与细化来自预测的场景标签。最后，我们将我们的SUN RGB-D数据集训练的模型应用于移动机器人捕获的图像，对我们大学的场景进行分类，证明了所提出的算法的泛化能力。
2015-09-22 cs.CV
Interpreting video features: a comparison of 3D convolutional networks and convolutional LSTM networks
KTH Royal Institute of Technology（瑞典皇家理工学院）
在计算机视觉的深度学习中，已经提出了许多可解释性技术，其目标通常是理解网络的分类基础。然而，深度视频架构的可解释性仍处于起步阶段，我们还没有一个清晰的概念如何解码时空特征。在本文中，我们提出了一项研究，比较了3D卷积网络和卷积LSTM网络如何在时间依赖帧中学习特征。这是两个视频模型的第一次比较，这两个模型都是卷积来学习空间特征，但建模时间的方法主要不同。此外，我们将\cite{MeaningFulPert}引入的有意义扰动的概念扩展到时间维度，以识别对网络分类决策最有意义的序列的时间部分。我们的研究结果表明，3D卷积模型集中在输入序列中较短的事件上，并将其空间焦点放在较少的连续区域上。
2020-07-10 cs.CV
Towards Accurate Vehicle Behaviour Classification With Multi-Relational Graph Convolutional Networks
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；McGill University（麦吉尔大学）；Mila（米拉研究所）；IIT Madras（印度理工学院马德拉斯分校）
从传感器数据的时间序列中了解道路车辆行为越来越受欢迎。在本文中，我们提出了一个管道从单目图像序列或视频理解车辆行为。单目序列以及场景语义、光流和对象标签被用于获得关于感兴趣的对象（车辆）和场景中的其他对象（语义上连续的位置集合）的空间信息。该空间信息由多关系图卷积网络（MR-GCN）编码，并且这种编码的时间序列被馈送到递归网络以标记车辆行为。所提出的框架可以对各种车辆行为进行分类，以高保真的数据集，这些数据集是多样化的，包括欧洲，中国和印度的道路场景。该框架还提供了跨数据集的模型无缝传输，而无需重新注释，重新训练甚至微调。我们展示了与基线时空分类器相比的比较性能增益，并详细说明了各种消融以展示框架的功效。
2020-05-12 cs.CV
Understanding Deep Convolutional Networks
École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL（巴黎文理研究大学）
深度卷积网络为许多高维问题提供了最先进的分类和回归结果。我们回顾他们的架构，分散的数据与级联的线性滤波器的权重和非线性。引入一个数学框架来分析它们的性质。不变量的计算涉及多尺度收缩、层次对称的线性化和稀疏分离。应用进行了讨论。
2016-01-19 cs.CV cs.LG stat.ML
The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance
Stanford（斯坦福大学）
随着对象识别成为越来越常见的机器学习任务，以及最近的研究表明CNN易受攻击和小图像扰动的影响，有必要充分理解对象识别的基础。我们专注于理解神经网络如何推广到复杂对象的空间变换背后的机制。虽然人类擅长区分在新位置、方向和尺度上显示的物体，但过去的结果表明，这可能仅限于熟悉的物体-人类对有目的地构建的新物体表现出较低的空间差异容忍度。由于从头开始训练人工神经网络类似于向人类展示新的对象，因此我们试图了解影响CNN对空间变换的耐受性的因素。我们对七种卷积神经网络（CNN）架构进行了彻底的实证研究。通过在受控的人脸图像数据集上进行训练，我们测量了不同程度的5种变换的模型准确性：位置，大小，旋转，高斯模糊和分辨率变换。我们还通过研究不同数量的预训练对模型鲁棒性的影响来研究学习策略如何影响泛化能力。总的来说，我们发现，对变换不变性最重要的贡献者是在大型、多样化的图像数据集上进行预训练。此外，虽然AlexNet往往是最不健壮的网络，但VGG和ResNet架构对不同的转换表现出更高的健壮性。除了内核可视化和定性分析，我们还研究了学习策略和固有架构属性之间的差异，这些差异有助于实现变换的不变性，为理解如何在CNN中实现更强的变换鲁棒性提供了有价值的信息。
2018-10-31 cs.CV
Understanding learned CNN features through Filter Decoding with Substitution
Computer Vision Center（计算机视觉中心）；UAB（巴塞罗那自治大学）
在CNN成功解决视觉问题的同时，人们对开发理解和可视化这些网络内部表示的方法越来越感兴趣。如何训练的CNN的响应编码的视觉信息是计算机和人类视觉研究的一个基本问题。由第一卷积层提供的图像表示以及由最大轮询操作提供的分辨率变化很容易理解，然而，一旦在表示中添加第二个和更多的卷积层，就失去了任何直观性。处理这个问题的一种常用方法是定义去卷积网络，以某种方式允许探索图像空间中最重要的激活的内部表示，其中去卷积被假设为与转置滤波器的卷积。然而，这个假设并不是逆卷积的最佳近似。在本文中，我们提出了一种基于滤波器替换的新假设来反转卷积层的编码。这为我们提供了一个新的工具，可以直接将任何CNN单个神经元可视化为第一层中的滤波器，这是在图像空间方面。
2015-11-17 cs.CV
Understanding Cross-Model Perceptual Invariances Through Ensemble Metamers
Friedrich-Alexander University（弗里德里希-亚历山大大学）；Pontificia Universidad Católica de Valparaíso（瓦尔帕莱索天主教大学）；Technische Universität München（慕尼黑工业大学）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）
本文提出利用人工神经网络集成生成等观察对的新方法，捕获卷积神经网络和视觉Transformer等架构的共享表征子空间，研究发现架构偏差显著影响模型的表征不变性。
2025-04-04 cs.CV
Object-Scene Convolutional Neural Networks for Event Recognition in Images
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
从静止图像中识别事件对于图像理解具有重要意义。然而，与视频中的事件识别相比，图像中的事件识别的研究工作要少得多。针对图像事件识别问题，提出了一种基于深度神经网络的有效方法。具体来说，我们设计了一个新的架构，称为对象场景卷积神经网络（OS-CNN）。该体系结构被分解为对象网和场景网，分别从对象和场景上下文的角度提取对事件理解有用的信息。同时，我们研究了OS-CNN设计的不同网络架构，并使深度（AlexNet）和非常深度（GoogLeNet）网络适应事件识别任务。此外，我们还发现深度网络和超深度网络是互补的。最后，基于所提出的OS-CNN和不同网络架构的比较研究，我们提出了一个五流CNN的解决方案，用于ChaLearn Looking at People（ChaLearn Looking at People）2015挑战赛中的文化事件识别。我们的方法获得了85.5%的性能和排名的$1^{st}$在这个挑战的地方。
2015-05-02 cs.CV
Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units
Oculus VR；NEC Laboratories America（NEC美国实验室）；Enlitic；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
近年来，卷积神经网络（CNN）已被用作解决机器学习和计算机视觉的许多问题的有力工具。在本文中，我们的目标是提供对卷积神经网络特性的深入了解，以及提高许多CNN架构性能的通用方法。具体来说，我们首先检查现有的CNN模型，并观察到一个有趣的特性，即较低层中的滤波器形成对（即，反相滤波器）。受我们观察的启发，我们提出了一种新的，简单而有效的激活方案，称为级联ReLU（CRelu），并从理论上分析了它在CNN中的重建特性。我们将CRelu集成到几种最先进的CNN架构中，并在CIFAR-10/100和ImageNet数据集上证明了其识别性能的改进，并且具有更少的可训练参数。我们的研究结果表明，更好地理解CNN的属性可以通过简单的修改来显着提高性能。
2016-07-19 cs.CV cs.LG
Convolutional Neural Pyramid for Image Processing
The Chinese University of Hong Kong（香港中文大学）
我们提出了一个原则性的卷积神经金字塔（CNP）框架，用于一般的低级视觉和图像处理任务。它是基于基本的发现，许多应用程序需要大的结构理解的感受野。但是用于回归的相应神经网络要么堆叠许多层，要么应用大的内核来实现它，这在计算上是非常昂贵的。我们的金字塔结构可以大大扩大领域，而不牺牲计算效率。额外的好处包括自适应网络深度和渐进式上采样，可在VGA大小的输入上进行准实时测试。我们的方法利润广泛的应用，如深度/RGB图像复原，完成，噪声/伪影去除，边缘细化，图像滤波，图像增强和彩色化。
2017-04-07 cs.CV
A Taxonomy and Library for Visualizing Learned Features in Convolutional Neural Networks
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Bologna（博洛尼亚大学）
本文提出一种 CNN 学习特征可视化方法的通用分类体系，并发布开源 FeatureVis 库，以帮助理解中间层特征和分析网络失效原因。
2016-06-24 cs.CV
Visualizing and Comparing Convolutional Neural Networks
Microsoft Research（微软研究院）；Harbin Institute of Technology（哈尔滨工业大学）
卷积神经网络（CNN）在ILSVRC 2014图像分类任务中实现了与训练有素的人类相当的出错率。为了实现更好的性能，CNN的复杂性随着更深、更大的架构而不断增加。虽然CNN实现了有前途的外部分类行为，但对其内部工作机制的理解仍然有限。在这项工作中，我们试图通过在两个全面的方面探索CNN的内部表示来理解CNN的内部工作机制，即，可视化由不同层构造的表示空间中的块，以及可视化保持在每个层中的视觉信息。我们进一步比较了不同深度的CNN，并展示了更深架构带来的优势。
2014-12-26 cs.CV
Studying Invariances of Trained Convolutional Neural Networks
Eidgenössische Technische Hochschule (ETH) Zürich（苏黎世联邦理工学院）
卷积神经网络（CNN）定义了一类非常强大的图像分类模型，但理论背景和对某些变换的不变性是如何学习的理解是有限的。在一个大规模的筛选中，图像被不同大小的仿射和非仿射变换修改，我们分析了CNN架构AlexNet和ResNet的行为。如果不同转换的幅度不超过类和转换相关的阈值，则两种架构都表现出不变的行为。在这项工作中，我们还介绍了一个新的学习模块，不变的Transformer网，它使我们能够学习一组仿射变换的可微参数。这允许我们提取CNN不变的变换空间，并且其类预测是鲁棒的。
2018-03-15 cs.CV
Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding
University of Cambridge（剑桥大学）
我们提出了一个深度学习框架，用于概率像素语义分割，我们称之为贝叶斯SegNet。语义分割是视觉场景理解的重要工具，而一个有意义的不确定性度量对于决策是必不可少的。我们的贡献是一个实用的系统，它能够预测像素类标签与模型的不确定性的措施。我们实现这一点的Monte Carlo抽样与辍学在测试时产生的像素类标签的后验分布。此外，我们还表明，建模不确定性在许多最先进的架构（如SegNet，FCN和Dilation Network）中将分割性能提高了2-3%，而无需额外的参数化。我们还观察到较小数据集的性能有显着改善，其中建模不确定性更有效。我们在室内SUN场景理解和室外CamVid驾驶场景数据集上对贝叶斯SegNet进行了基准测试。
2016-10-10 cs.CV cs.NE
DeepFix: A Fully Convolutional Neural Network for predicting Human Eye Fixations
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
理解和预测人类视觉注意机制是神经科学和计算机视觉领域的一个活跃研究领域。在这项工作中，我们提出了DeepFix，这是一种用于精确显着性预测的首个完全卷积神经网络。与使用各种手工特征来表征显着性图的经典作品不同，我们的模型以分层方式自动学习特征，并以端到端的方式预测显着性图。DeepFix的设计目的是在多个尺度上捕获语义，同时使用具有非常大的接受域的网络层考虑全局上下文。通常，全卷积网络是空间不变的，这防止它们对位置相关模式（例如中心偏置）进行建模。我们的网络通过引入一个新的位置偏置卷积层克服了这一限制。我们在两个具有挑战性的眼睛注视数据集-MIT 300，CAT 2000上评估了我们的模型，并表明它明显优于其他最近的方法。
2015-10-10 cs.CV
Using convolutional networks and satellite imagery to identify patterns in urban environments at a large scale
Massachusetts Institute of Technology（麻省理工学院）
城市规划应用（能源审计、投资等）需要了解已建成的基础设施及其环境，即，低层次的物理特征（植被数量、建筑面积和几何形状等），以及更高层次的概念，如土地使用类别（编码对社会经济最终用途的专家理解）。这类数据的获取既昂贵又劳动密集，限制了其可用性（特别是在发展中国家）。我们使用大规模卫星图像数据（可从全球第三方提供商获得）和基于深度卷积神经网络的最先进计算机视觉技术来分析城市社区的土地使用模式。为了监督，鉴于遥感数据标准基准的可用性有限，我们从开源调查中仔细取样获得地面真实土地利用类标签，特别是$~300$欧洲城市$20$土地利用类的城市地图集土地分类数据集。我们使用这些数据来训练和比较深度架构，这些架构最近在标准计算机视觉任务（图像分类和分割）中表现出良好的性能，包括地理空间数据。此外，我们表明，从城市环境的卫星图像中提取的深层表示可以用来比较几个城市的街区。我们使我们的数据集可供其他机器学习研究人员用于遥感应用。
2017-09-13 cs.CV
Towards understanding feedback from supermassive black holes using convolutional neural networks
Stanford University（斯坦福大学）
星系团中心的超大质量黑洞通过活动星系核反馈与其宿主环境发生强烈的相互作用。这种活动的关键示踪物是X射线空洞-星团内X射线亮度较低的区域。我们提出了一种自动检测方法，并在嘈杂的，低分辨率的X射线图像的X射线腔的特征。我们模拟星系团，插入空腔，并产生逼真的低质量的图像相比，在高红移观测。然后，我们训练一个定制的卷积神经网络，以生成集群中空腔存在的逐像素分析。然后使用ResNet架构从像素预测中解码空腔半径。我们超越了目前基于模拟数据的视觉检测方法的准确性，稳定性和速度。
2017-12-02 astro-ph.IM cs.CV
Automatic localization and decoding of honeybee markers using deep convolutional neural networks
Freie Universität Berlin（柏林自由大学）
蜜蜂是一种有趣的模式动物，可以用来研究集体行为是如何从数千个个体的（相互）行动中产生的。蜜蜂一生中可能会获得独特的记忆。这些经历甚至在很长的时间范围内影响社会互动。因此，跟踪和识别蜂群中所有蜜蜂的一生可能会揭示个体差异和蜂群行为的相互作用。本文提出了一种基于两个深度卷积神经网络的软件管道，用于蜜蜂从生命的第一天到最后一天携带的自定义二进制标记的定位和解码。我们表明，这种方法优于最近文献中提出的类似系统。通过向公众开放这个软件，我们希望由此产生的数据集将有助于促进对蜜蜂集体智慧的理解。
2018-02-14 cs.CV
Dilated Fully Convolutional Neural Network for Depth Estimation from a Single Image
Texas A&M University（德克萨斯农工大学）；Stony Brook University（石溪大学）；Stevens Institute of Technology（史蒂文斯理工学院）
深度预测在理解3D场景中起着关键作用。多年来，已经开发了几种技术，其中卷积神经网络最近在从单个图像估计深度方面实现了最先进的性能。然而，传统CNN存在池化层导致的分辨率较低和信息丢失的问题。从完全连接的层生成的超大参数通常会导致内存使用问题激增。在本文中，我们提出了一个先进的扩张全卷积神经网络，以解决的不足。利用扩张卷积中感受野的指数扩展，我们的模型可以最小化分辨率的损失。它还通过用全卷积层替换全连接层来显着减少参数的数量。我们在NYU Depth V2数据集上的实验表明，从我们的模型中获得的深度预测比传统CNN技术更接近地面实况。
2021-03-12 cs.CV
Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos
本文主要研究视频中的时间语言定位问题，其目的是在未经裁剪的视频中识别由自然语言句子描述的时刻的起点和终点。然而，它是不平凡的，因为它不仅需要全面理解的视频和句子查询，但也准确的语义之间的对应捕捉。现有的努力主要集中在探索视频片段和查询词之间的顺序关系以推理视频和句子查询，而忽略了其他模态内关系（例如，视频剪辑之间的语义相似性和查询词之间的句法依赖性）。为此，在这项工作中，我们提出了一个多模态交互图卷积网络（MIGCN），它共同探讨了复杂的模态内的关系和模态间的相互作用驻留在视频和句子查询，以促进理解和语义对应捕捉的视频和句子查询。此外，我们设计了一个自适应的上下文感知定位方法，其中的上下文信息被带到候选时刻和多尺度全连接层的设计，以排名和调整的边界生成的粗候选时刻具有不同的长度。Charades-STA和ActivityNet数据集上的大量实验证明了我们模型的良好性能和优越效率。
2021-10-12 cs.CV
The application of deep convolutional neural networks to ultrasound for modelling of dynamic states within human skeletal muscle
本文涉及的主动和被动的动态骨骼肌状态，使用超声成像的全自动直接在体内测量。尽管存在长期的医疗需求（肌病、神经病、疼痛、损伤、衰老），但目前的技术（肌电图、测力计、剪切波成像）没有提供用于骨骼肌状态的在线估计的通用的、非侵入性的方法。超声提供了一种可以非侵入性地观察静态和动态肌肉状态的技术，但目前的计算图像理解方法是不够的。我们提出了一种新的方法，其中使用深度学习方法来理解肌肉的超声图像的测量状态方面的内容。记录了19名健康参与者（6名女性，年龄：30 ± 7.7岁）的超声数据与小腿肌肉肌电图同步，并测量了关节扭矩/角度。我们的小组以前开发的分割算法被应用到提取的内侧腓肠肌的感兴趣的区域。然后，训练深度卷积神经网络以直接从分割图像预测测量状态（关节角度/扭矩、肌电图）。结果首次显示，主动和被动肌肉状态可以直接从标准b型超声图像中测量，准确预测关节角度，肌电图和扭矩的变化，误差分别为0.022°，0.0001V，0.256Nm（均方根误差）。
2017-06-28 cs.CV
Structural Compression of Convolutional Neural Networks
University of California, San Francisco（加利福尼亚大学旧金山分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
深度卷积神经网络（CNN）在机器视觉的许多任务中已经取得了成功，然而，CNN中数以千计的卷积滤波器形式的数百万个权重使得它们难以为人类解释或理解科学。在这篇文章中，我们介绍了CAR，一种贪婪的结构压缩方案，以获得更小，更可解释的CNN，同时达到接近原始的准确性。压缩基于对分类精度贡献最小的修剪过滤器。我们通过展示我们的算法修剪具有视觉冗余功能的过滤器（如颜色过滤器）来证明CAR压缩CNN的可解释性。这些压缩网络更容易解释，因为它们保留了未压缩网络的滤波器多样性，滤波器数量级更少。最后，引入CAR的变体来量化每个图像类别对每个CNN滤波器的重要性。具体来说，最重要和最不重要的类标签被证明是每个过滤器的有意义的解释。
2020-03-25 cs.CV
Shallow2Deep: Indoor Scene Modeling by Single Image Understanding
Bournemouth University（伯恩茅斯大学）；Xiamen University（厦门大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Tsinghua University（清华大学）
由于缺乏深度信息和杂乱的遮挡，从2D图像中建立密集的室内场景模型一直是一个难题。提出了一种基于神经网络深度特征的室内场景自动建模方法。给定一个单一的RGB图像，我们的方法同时恢复语义内容，3D几何和对象关系的推理室内环境上下文。特别地，我们设计了一个基于卷积网络的由浅入深的结构，用于语义场景理解和建模。它涉及多级卷积网络，将室内语义/几何解析为非关系和关系知识。从浅端网络中提取的非关系知识（例如房间布局，对象几何形状）被前馈到更深层次以解析关系语义（例如支持关系）。提出了一种关系网络来推断对象之间的支持关系。所有的结构化语义和几何以上组装，以指导全局优化的三维场景建模。定性和定量分析表明，我们的方法在理解和建模语义丰富的室内场景的重建精度，计算性能和场景复杂性的性能评估的可行性。
2020-02-22 cs.CV
3D Pose Regression using Convolutional Neural Networks
Center for Imaging Science, Johns Hopkins University（约翰斯·霍普金斯大学成像科学中心）
三维位姿估计是自主导航、三维场景理解等重要计算机视觉任务的关键组成部分。用于3D姿态估计的大多数现有技术的方法将该问题解决为姿态分类问题，其中姿态空间被离散化为仓并且使用CNN分类器来预测姿态仓。我们认为，3D姿态空间是连续的，并建议解决姿态估计问题的CNN回归框架与适当的表示，数据增强和损失函数，捕捉姿态空间的几何形状。在PASCAL3D+上的实验表明，该方法与现有方法相比具有较好的性能。
2017-08-18 cs.CV
Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
视频中的视觉特征对于人类行为理解至关重要。本文提出了一种新的视频表示，称为自动池深度卷积描述符（TDD），它具有手工制作的特征和深度学习特征的优点。具体来说，我们利用深度架构来学习有区别的卷积特征映射，并进行冗余约束池化，将这些卷积特征聚合成有效的描述符。为了增强TDDs的鲁棒性，我们设计了两种归一化方法来变换卷积特征图，即时空归一化和通道归一化。我们的特征的优点来自：（i）TDDs是自动学习的，与手工制作的特征相比，它具有较高的区分能力;（ii）TDDs考虑了时间维度的内在特征，并引入了随机约束采样和池化策略来聚合深度学习的特征。我们在两个具有挑战性的数据集上进行了实验：HMDB 51和UCF 101。实验结果表明，TDDs优于以前的手工制作的功能和深度学习的功能。我们的方法在这些数据集上也实现了优于现有技术的性能（HMDB 51 65.9%，UCF 101 91.5%）。
2015-05-19 cs.CV
How convolutional neural network see the world - A survey of convolutional neural network visualization methods
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
如今，卷积神经网络（CNN）在许多与计算机视觉相关的任务上取得了令人印象深刻的性能，如目标检测，图像识别，图像检索等。这些成就得益于CNN具有深层神经元结构和迭代训练过程的输入特征学习能力。然而，从人类视觉的角度来看，这些学习到的特征很难识别和解释，导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性，CNN可视化被很好地用作定性分析方法，其将内部特征转化为视觉上可感知的模式。许多CNN的可视化工作已经在文献中提出了解释CNN的网络结构，操作和语义概念的角度。在本文中，我们希望提供一个全面的调查几个代表性的CNN可视化方法，包括激活最大化，网络反演，反卷积神经网络（DeconvNet），和基于网络解剖的可视化。这些方法的动机，算法和实验结果。基于这些可视化方法，我们还讨论了它们的实际应用，以证明CNN可解释性在网络设计，优化，安全增强等领域的重要性。
2018-05-31 cs.CV
Fully Convolutional Networks for Dense Semantic Labelling of High-Resolution Aerial Imagery
Defence Science & Technology Group（国防科学技术集团）
高分辨率遥感图像的趋势促进了从土地使用分类向物体一级场景理解的过渡。而不是纯粹依赖于光谱内容，基于外观的图像特征发挥作用。在这项工作中，深度卷积神经网络（CNN）应用于高分辨率遥感数据的语义标记。全卷积网络（FCN）的最新进展适用于开销数据，并与其他领域一样有效。使用深度FCN推断全分辨率标记，无需下采样，从而无需反卷积或插值。为了更好地利用图像特征，预先训练的CNN在混合网络环境中对遥感数据进行微调，与从头开始训练的网络相比，结果更好。所提出的方法适用于高分辨率航空影像，精细的边界细节是很重要的标签的问题。密集的标签为ISPRS Vaihingen和波茨坦基准数据集提供了最先进的准确性。
2016-06-08 cs.CV
Convolutional Neural Networks at Constrained Time Cost
Microsoft Research（微软研究院）
虽然最近先进的卷积神经网络（CNN）已经提高了图像识别的准确性，但模型变得更加复杂和耗时。对于工业和商业场景中的实际应用，工程师和开发人员经常面临时间预算受限的要求。本文研究了时间成本受限下CNN的准确性。在此约束下，网络架构的设计应该表现为权衡的因素，如深度，过滤器的数量，过滤器的大小等，一系列的控制比较，我们逐步修改基线模型，同时保持其时间复杂度。这也有助于理解网络设计中因素的重要性。我们提出了一个架构，在ImageNet数据集中实现了非常有竞争力的准确性（11.8%的前5名错误，10视图测试），但比“AlexNet”快20%（16.0%的前5名错误，10视图测试）。
2014-12-04 cs.CV
Understanding Adversarial Robustness from Feature Maps of Convolutional Layers
Yantai University（烟台大学）；East China Normal University（华东师范大学）
该研究从卷积层特征图角度探究网络抗扰动能力，发现平均池化前更大的特征图可提升抗扰性，据此通过上采样或调步长改进架构，在多个基准模型上实现准确率与鲁棒性双提升。
2024-01-29 cs.CV cs.LG
About Pyramid Structure in Convolutional Neural Networks
University of Milan（米兰大学）
深度卷积神经网络（CNN）无疑为各种具有挑战性的任务带来了革命，主要是在计算机视觉领域。然而，他们的模型设计仍然需要注意减少可学习参数的数量，而不会有意义地降低性能。在本文中，我们调查了CNN可以利用生物神经元的典型金字塔结构的程度。介绍了从输入到全连接层的卷积层的一般化陈述，有助于进一步理解和设计成功的深度网络。它减少了模糊性、参数数量及其在磁盘上的大小，而不会降低整体精度。性能显示在MNIST，Cifar-10，Cifar-100和ImageNet-12数据集的最新模型上。尽管Caffe_LENET的参数减少了80%以上，但仍获得了具有挑战性的结果。此外，尽管训练数据减少了10-20%，AlexNet模型及其变体的参数减少了10-40%，但与类似的精心设计的更深层次架构相比，仍然取得了有竞争力的结果。
2016-08-14 cs.CV
On filter design in deep convolutional neural network
The University of Auckland（奥克兰大学）
本研究针对深度卷积神经网络中滤波器相关属性缺乏系统研究、多被当作超参数的问题，梳理论证了滤波器物理参数选择、初始化及学习技术，评估了相关无监督方法，并探讨了局限与未来方向。
2024-10-31 cs.CV
