Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies
Beihang University（北京航空航天大学）；SenseTime Group（商汤集团）；Nanyang Technological University（南洋理工大学）
现有的二值神经网络主要是对二值化函数进行局部卷积运算。然而，这种简单的位操作缺乏建模上下文依赖关系的能力，这对于学习视觉模型中的区分性深度表示至关重要。在这项工作中，我们通过提出新的二进制神经模块设计来解决这个问题，这使得BNN能够学习有效的上下文依赖关系。首先，我们提出了一个二进制多层感知器（MLP）块作为替代二进制卷积块直接建模上下文依赖。短距离和长距离特征依赖性都由二进制MLP建模，其中前者提供局部归纳偏差，后者打破了二进制卷积中有限的感受野。其次，为了提高具有上下文依赖性的二进制模型的鲁棒性，我们计算上下文动态嵌入以确定一般二进制卷积块中的二进制化阈值。有了我们的二进制MLP块和改进的二进制卷积，我们用显式上下文依赖模型构建了BNN，称为BCDNet。在标准的ImageNet-1 K分类基准测试中，BCDNet达到了72.3%的Top-1准确率，并且远远优于领先的二进制方法。特别是，拟议的BCDNet超过了最先进的ReActNet-A的2.9%的前1名的准确性与类似的操作。我们的代码可在https://github.com/Sense-GVT/BCDN上获得
2022-09-03 cs.CV
Multi-Contextual Design of Convolutional Neural Network for Steganalysis
最近，基于深度学习的隐写分析分类器由于其最先进的性能而变得流行。大多数深度隐写分析分类器通常使用高通滤波器提取噪声残差作为预处理步骤，并将其馈送到其深度模型进行分类。据观察，最近的隐写嵌入并不总是限制他们的嵌入在高频区;相反，他们分布根据嵌入策略。因此，除了噪声残差之外，学习嵌入区域是另一项具有挑战性的任务。在这项工作中，与传统方法不同，所提出的模型首先使用学习的去噪内核提取噪声残差，以提高信噪比。预处理后，稀疏噪声残差被馈送到一个新的多上下文卷积神经网络（M-CNET），使用异构上下文大小来学习噪声残差的稀疏和低幅度表示。模型的性能进一步提高，通过纳入自我注意力模块，专注于易于隐写分析嵌入的领域。一组全面的实验进行了显示所提出的方案的效率超过现有技术。此外，消融研究给出了证明所提出的架构的各个模块的贡献。
2021-11-04 cs.CV cs.MM eess.IV
Contextual Multi-Scale Region Convolutional 3D Network for Activity Detection
KAUST（阿卜杜拉国王科技大学）；Boston University（波士顿大学）；Institute of Software, CAS（中国科学院软件研究所）
活动检测是计算机视觉中的一个基本问题。检测不同时间尺度的活动特别具有挑战性。在本文中，我们提出了上下文多尺度区域卷积3D网络（CMS-RC 3D）的活动检测。为了处理活动实例固有的时间尺度变化性，时间特征金字塔被用来表示不同时间尺度的活动。在时间特征金字塔的每个级别上，学习活动提议检测器和活动分类器以检测特定时间尺度的活动。时间上下文信息被融合到活动分类器中以更好地识别。更重要的是，所有级别的整个模型都可以进行端到端的训练。我们的CMS-RC 3D检测器可以处理所有时间尺度范围内的活动，只需通过主干网络一次。我们在两个公共活动检测基准测试，THUMOS 14和ActivityNet上测试我们的检测器。大量的实验表明，所提出的CMS-RC 3D检测器在THUMOS 14上的性能明显优于最先进的方法，并且尽管使用了浅特征提取器，但在ActivityNet上也取得了相当的结果。
2018-01-28 cs.CV
Agile Amulet: Real-Time Salient Object Detection with Contextual Attention
Dalian University of Technology（大连理工大学）；University of Adelaide（阿德莱德大学）
本文提出了一个敏捷聚合多层次特征框架（敏捷护身符）的显着目标检测。Agile Amulet建立在以前的工作基础上，使用多级卷积特征预测显着性图。与以前的作品相比，敏捷Amulet采用了一些关键创新，以提高训练和测试速度，同时提高预测准确性。更具体地说，我们首先介绍了一个上下文注意模块，可以快速突出最显着的对象或区域与上下文金字塔。因此，它有效地指导了低层卷积特征的学习，并告诉骨干网络在哪里寻找。上下文注意力模块是一个完全卷积的机制，它同时学习互补特征并预测每个像素的显著性得分。此外，我们提出了一种新的方法来聚合多级深度卷积特征。因此，我们能够单独使用预训练卷积网络的集成侧输出功能，这大大减少了模型参数，使模型大小为67 MB，约为Amulet的一半。与其他基于深度学习的显着性方法相比，Agile Amulet的重量更轻，运行速度更快（实时的【形】30 fps），并且在定量和定性评估方面在七个公共基准测试中实现了更高的性能。
2018-02-20 cs.CV
Going Deeper with Contextual CNN for Hyperspectral Image Classification
Booz Allen Hamilton Inc.（博思艾伦咨询公司）；Army Research Laboratory（陆军研究实验室）
在本文中，我们描述了一种新的深度卷积神经网络（CNN），它比其他现有的用于高光谱图像分类的深度网络更深、更宽。与当前基于CNN的高光谱图像分类的最先进方法不同，所提出的网络称为上下文深度CNN，可以通过联合利用相邻单个像素向量的局部空间-光谱关系来最佳地探索局部上下文交互。空间-频谱信息的联合利用是通过多尺度卷积滤波器组作为所提出的CNN管道的初始组件来实现的。然后将从多尺度滤波器组获得的初始空间和光谱特征图组合在一起以形成联合空间-光谱特征图。然后，表示高光谱图像的丰富光谱和空间属性的联合特征图通过完全卷积网络馈送，该完全卷积网络最终预测每个像素向量的对应标签。该方法在三个基准数据集上进行了测试：印第安松数据集，萨利纳斯数据集和帕维亚大学数据集。性能比较显示，所提出的方法在三个数据集上的分类性能优于当前最先进的方法。
2017-05-09 cs.CV cs.LG
A Deep Spatial Contextual Long-term Recurrent Convolutional Network for Saliency Detection
传统的显著性模型通常采用手工绘制的图像特征和人为设计的机制来计算局部或全局对比度。在本文中，我们提出了一种新的计算显着性模型，即，深度空间上下文长期递归卷积网络（DSCLRCN），用于预测人们在自然场景中的位置。DSCLRCN首先并行地自动学习每个图像位置上的显著性相关局部特征。然后，与大多数其他基于深度网络的显着性模型在局部上下文中推断显着性相比，DSCLRCN可以模仿人类视觉系统中的皮层侧抑制机制，以通过利用深度空间长短期记忆（DSLSTM）模型来结合全局上下文来评估每个图像位置的显着性。此外，我们还将场景上下文调制集成到DSLSTM中进行显着性推理，从而产生了一种新的深度空间上下文LSTM（DSCLSTM）模型。整个网络可以进行端到端的训练，并在测试时有效地工作。在两个基准数据集上的实验结果表明，DSCLRCN可以实现最先进的显著性检测性能。此外，所提出的DSCLSTM模型可以显着提高显着性检测性能，通过将全局空间互连和场景上下文调制，这可能会发现新的启发，在计算显着性模型的研究。
2016-10-06 cs.CV
ConAM: Confidence Attention Module for Convolutional Neural Networks
所谓的“注意力”是一种提高卷积神经网络性能的有效机制。它使用上下文信息来重新校准输入，以加强信息特征的传播。然而，大多数的注意力机制只考虑局部或全局的上下文信息，这是单一的提取特征。此外，许多现有的机制直接使用上下文信息来重新校准输入，这单方面地增强了信息特征的传播，但没有抑制无用的特征。本文提出了一种新的注意力机制模型，该模型基于局部和全局上下文信息之间的相关性，我们将这种相关性称为置信度。新的注意力机制同时提取局部和全局上下文信息，并计算它们之间的置信度，然后使用该置信度重新校准输入像素。局部和全局上下文信息的提取增加了特征的多样性。带置信度的重新校准抑制了无用信息，同时用较少的参数增强了有信息的信息。我们在实验中使用CIFAR-10和CIFAR-100，并通过充分的消融研究来探索我们方法的组件的性能。最后，我们比较了我们的方法与各种国家的最先进的卷积神经网络和结果表明，我们的方法完全超越这些模型。我们使用Python库Pytorch实现ConAM，代码和模型将公开提供。
2022-03-19 cs.CV
HDAM: Heuristic Difference Attention Module for Convolutional Neural Networks
注意力机制是增强卷积神经网络的重要先验知识之一。大多数注意力机制都绑定到卷积层，并使用局部或全局上下文信息来重新校准输入。这是一种流行的注意力策略设计方法。全局上下文信息有助于网络考虑整体分布，而局部上下文信息则更一般。上下文信息使网络关注特定感受野的平均值或最大值。与大多数注意力机制不同，本文提出了一种新的基于启发式差异注意力模块的注意力机制HDAM。HDAM的输入重新校准是基于局部和全局上下文信息之间的差异，而不是平均值和最大值。同时，为了使不同层次的局部感受野具有更合适的大小，增加局部感受野设计的灵活性，我们采用遗传算法来启发式地产生局部感受野。首先，HDAM提取整体和局部感受野的平均值作为相应的上下文信息。然后计算全局和局部上下文信息之间的差异。最后，HDAM使用此差异来重新校准输入。此外，我们利用遗传算法的启发式能力来搜寻每一层的局部感受野大小。我们在CIFAR-10和CIFAR-100上的实验表明，HDAM可以使用比其他注意力机制更少的参数来实现更高的准确性。我们使用Python库Pytorch实现HDAM，代码和模型将公开提供。
2022-03-19 cs.CV
MSDC-Net: Multi-Scale Dense and Contextual Networks for Automated Disparity Map for Stereo Matching
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
立体图像视差预测对于自动驾驶、三维模型重建和目标检测等计算机视觉应用至关重要。为了预测准确的视差图，我们提出了一种新的深度学习架构，用于从校正的立体图像对中检测视差图，称为MSDC-Net。MSDC-Net包含两个模块：多尺度融合2D卷积和多尺度残差3D卷积模块。多尺度融合2D卷积模块充分利用了图像中潜在的多尺度特征，通过密度网络提取并融合不同尺度的特征。多尺度残差3D卷积模块从多尺度融合2D卷积模块聚集的成本体积中学习不同尺度的几何上下文。场景流和KITTI数据集上的实验结果表明，我们的MSDC-Net显着优于其他方法在非遮挡区域。
2019-04-30 cs.CV
DANet: Density Adaptive Convolutional Network with Interactive Attention for 3D Point Clouds
Hunan University（湖南大学）；Xidian University（西安电子科技大学）；The University of Western Australia（西澳大学）
局部特征和上下文相关性对于3D点云分析至关重要。许多工作致力于设计更好的局部卷积核，利用上下文依赖性。然而，当前的点卷积对不同的点云密度缺乏鲁棒性。此外，上下文建模是由非本地或自我注意力模型，这是计算昂贵的占主导地位。为了解决这些问题，我们提出了密度自适应卷积，创造了DAConv。关键思想是从点密度和位置获得的几何连接中自适应地学习卷积权重。为了以更少的计算量提取精确的上下文依赖关系，我们提出了一个交互式注意模块（IAM），该模块将空间信息嵌入到沿着不同空间方向的通道注意中。DAConv和IAM集成在分层网络架构中，以实现点云分析的局部密度和上下文方向感知学习。实验表明，与现有方法相比，DAConv对点密度的鲁棒性更强，并且在具有挑战性的3D点云数据集上的广泛比较表明，我们的网络在ModelNet40上实现了93.6%的最先进分类结果，在S3DIS上实现了68.71% mIoU的竞争性语义分割结果，在ShapeNet上实现了86.7% mIoU的部分分割结果。
2023-03-08 cs.CV
Contextual Attention Network: Transformer Meets U-Net
RWTH Aachen University（亚琛工业大学）；Iran University of Science and Technology（伊朗科技大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
目前，卷积神经网络（CNN）（例如，U-Net）已经成为事实上的标准，并取得了巨大的成功，在医学图像分割。然而，作为缺点，基于CNN的方法是一把双刃剑，因为由于卷积运算的固有特性导致的有限的接受域，它们无法建立长距离依赖关系和全局上下文连接。因此，最近的文章已经利用Transformer变体进行医学图像分割任务，由于其通过注意力机制捕获远程相关性的固有能力，这些任务开辟了很大的机会。虽然设计可行，但大多数队列研究在捕获局部信息方面表现不佳，从而导致边界区域不清晰。在本文中，我们提出了一个上下文注意力网络来解决上述限制。该方法利用Transformer模块的强度对长距离上下文依赖进行建模。同时，它利用CNN编码器捕获本地语义信息。此外，一个对象级的表示包括模拟区域的相互作用地图。然后将提取的分层特征馈送到上下文注意力模块，以使用局部信息自适应地重新校准表示空间。然后，他们强调信息区域，同时考虑到由Transformer模块导出的长距离上下文依赖性。我们在几个大规模的公共医学图像分割数据集上验证了我们的方法，并达到了最先进的性能。我们在https://github.com/rezazad68/TMUnet中提供了实现代码。
2022-03-31 cs.CV cs.LG eess.IV
LapTool-Net: A Contextual Detector of Surgical Tools in Laparoscopic Videos Based on Recurrent Convolutional Neural Networks
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Baylor University Medical Center（贝勒大学医学中心）
我们提出了一个新的多标签分类器，称为LapTool-Net的腹腔镜视频的每一帧中检测手术工具的存在。LapTool-Net的新颖之处在于利用了不同工具的使用之间的相关性，以及工具和任务之间的相关性-即工具使用的上下文。为了实现这一目标，在工具的同现模式被用来设计一个决策策略的多标签分类器的基础上的递归卷积神经网络（RCNN）架构，同时提取的时空特征。与以前的多标签分类方法相比，RCNN和决策模型是使用多任务学习方案以端到端的方式进行训练的。为了克服高不平衡并避免由训练数据中缺乏变化引起的过拟合，基于更频繁的组合来选择高的下采样率。此外，在后处理步骤中，通过设计一个双向RNN来建模长期任务的顺序，对视频的所有帧的预测进行校正。LapTool-net使用公开可用的腹腔镜胆囊切除术数据集进行训练。结果表明，LapTool-Net的性能明显优于现有方法，即使使用更少的训练样本和更浅的架构。
2019-05-22 cs.CV cs.LG
GCN-MIF: Graph Convolutional Network with Multi-Information Fusion for Low-dose CT Denoising
University of Electronic Science and Technology of China（电子科技大学）；West China Hospital, Sichuan University（四川大学华西医院）；West China No.4 Hospital, Sichuan University（四川大学华西第四医院）
低剂量计算机断层扫描（LDCT）辐射暴露低，对健康危害小，已被广泛用于肺癌和COVID-19的早期筛查。LDCT图像不可避免地受到复杂噪声的影响。据报道，使用卷积神经网络（CNN）的基于深度学习（DL）的LDCT去噪方法实现了令人印象深刻的去噪性能。尽管大多数现有的基于DL的方法（例如，编码器-解码器框架）可以经由下采样算子和3D CNN隐式地利用非局部和上下文信息，显式多信息（即，本地的、非本地的和上下文的）整合可能没有被充分地探索。为了解决这个问题，我们提出了一种新的基于图卷积网络的LDCT去噪模型，即GCN-MIF，显式地执行多信息融合去噪的目的。具体地说，通过构造片内和片间图，引入图卷积网络来利用像素之间的非局部和上下文关系。采用传统的CNN进行局部信息的提取。最后，建议GCN-MIF模型融合所有提取的本地，非本地和上下文信息。大量的实验表明，我们提出的GCN-MIF模型的有效性，定量和可视化的结果。此外，还对公共临床数据集进行了双盲读者研究，以验证去噪结果在结构保真度，噪声抑制和总体得分方面的可用性。模型和代码可在www.example.com上获得。
2022-04-17 cs.CV eess.IV
Convolutional Neural Bandit for Visual-aware Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线推荐/广告在网络商业中无处不在。图像显示被认为是与客户交互的最常用的格式之一。上下文多臂强盗已经成功地应用广告来解决推荐过程中存在的探索-开发困境。受视觉感知推荐的启发，本文提出了一种上下文Bandit算法，其中卷积神经网络（CNN）用于学习奖励函数以及用于探索的置信上限（UCB）。我们还证明了一个接近最优的遗憾界$\tilde{\mathcal{O}}(\sqrt{T})$当网络是过参数化，并建立强连接卷积神经切线核（CNTK）。最后，我们评估了所提出的算法的经验性能，并表明它优于其他国家的最先进的基于UCB的强盗算法在现实世界的图像数据集。
2022-02-09 cs.CV cs.LG
Learning Contextual Dependencies with Convolutional Hierarchical Recurrent Neural Networks
Nanyang Technological University（南洋理工大学）
现有的深度卷积神经网络（CNN）在图像分类方面取得了巨大成功。CNN主要由卷积层和池化层组成，这两个层都是在局部图像区域上执行的，而不考虑不同图像区域之间的依赖性。然而，这种依赖关系是非常重要的生成显式的图像表示。相比之下，循环神经网络（RNN）以其在序列数据中编码上下文信息的能力而闻名，并且它们只需要有限数量的网络参数。一般的RNN很难直接应用于非序列数据。因此，我们提出了层次RNN（HRNN）。在HRNN中，每个RNN层专注于对来自相同尺度但不同位置的图像区域之间的空间依赖性进行建模。而交叉RNN尺度连接的目标是对同一位置但不同尺度的区域之间的尺度依赖关系进行建模。具体来说，我们提出了两种递归神经网络模型：1）层次简单递归网络（HSRN），它具有速度快、计算量小的特点; 2）层次长短期记忆递归网络（HLSTM），它的性能优于HSRN，但代价是计算量大。在本文中，我们将CNN与HRNN集成，并开发端到端卷积分层循环神经网络（C-HRNN）。C-HRNN不仅利用了CNN的表示能力，而且还有效地编码了不同图像区域之间的空间和尺度依赖性。在四个最具挑战性的对象/场景图像分类基准测试中，我们的C-HRNN在Places 205、SUN 397、MIT室内测试中取得了最先进的结果，在ILSVRC 2012上取得了有竞争力的结果。
2016-02-07 cs.CV
Spatial Context-Aware Self-Attention Model For Multi-Organ Segmentation
University of California Irvine（加州大学尔湾分校）；School of Medicine（医学院）；Shanghai Jiao Tong University（上海交通大学）
多器官分割是深度学习在医学图像分析中最成功的应用之一。深度卷积神经网络（CNN）在实现CT或MRI图像的临床适用图像分割性能方面表现出很大的潜力。最先进的CNN分割模型对输入图像应用2D或3D卷积，每种方法都有优缺点：2D卷积速度快，内存密集度低，但不足以从体积图像中提取3D上下文信息，而3D卷积则相反。为了在商品GPU上的CT或MRI图像上拟合3D CNN模型，通常必须对输入图像进行下采样或使用裁剪的局部区域作为输入，这限制了3D模型用于多器官分割的实用性。在这项工作中，我们提出了一个新的框架相结合的3D和2D模型，其中的分割是通过高分辨率的2D卷积实现的，但从低分辨率的3D模型提取的空间上下文信息的指导。我们实现了一个自我关注机制来控制哪些3D特征应该用于指导2D分割。我们的模型在内存使用上很轻，但完全有能力考虑到3D上下文信息。在多器官分割数据集上的实验表明，通过利用2D和3D模型，我们的方法在器官分割精度方面始终优于现有的2D和3D模型，同时能够直接将原始全体积图像数据作为输入。
2020-12-16 cs.CV cs.LG eess.IV
DMC-Net: Lightweight Dynamic Multi-Scale and Multi-Resolution Convolution Network for Pancreas Segmentation in CT Images
Mallinckrodt Institute of Radiology（马林克罗特放射学研究所）；Institute for Informatics, Data Science and Biostatistics（信息学、数据科学与生物统计学研究所）；Washington University School of Medicine（华盛顿大学医学院）
本文提出DMC-Net，通过设计轻量级动态多分辨率卷积（DMRC）和动态多尺度卷积（DMSC）模块增强单一卷积的表示能力，并将其集成到U-Net中，以提升CT图像胰腺分割精度。
2024-10-03 cs.CV eess.IV
Multi-Level Contextual Network for Biomedical Image Segmentation
Shahid Beheshti University（沙希德·贝赫什提大学）
准确可靠的图像分割是生物医学图像分析的重要组成部分。在本文中，我们考虑使用深度卷积神经网络的生物医学图像分割的问题。我们提出了一个新的端到端的网络架构，有效地整合了本地和全球的上下文模式的组织学基元，以获得更可靠的分割结果。具体来说，我们引入了一个深度全卷积残差网络，它具有一个新的跳过连接策略来控制向前传递的上下文信息。此外，我们的训练模型由于其网络参数数量少，在计算上也很便宜。我们在两个公共数据集上评估了我们的方法，用于上皮分割和小管分割任务。我们的实验结果表明，该方法提供了一种快速，有效的方式产生一个像素级的密集预测的生物医学图像。
2018-09-30 cs.CV
Learning to Predict Context-adaptive Convolution for Semantic Segmentation
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室）；Shenzhen Key Lab of Computer Vision and Pattern Recognition, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院计算机视觉与模式识别深圳市重点实验室）；SenseTime Research（商汤科技研究院）
长距离上下文信息对于实现高性能的语义分割是必不可少的。以往的特征重加权方法表明，使用全局上下文重加权特征通道可以有效地提高语义分割的准确性。然而，全局共享特征重新加权向量对于输入图像中的不同类别的区域可能不是最佳的。在本文中，我们提出了一个上下文自适应卷积网络（CaC-Net）预测的语义特征地图的每个空间位置的空间变化的特征权重向量。在CaC-Net中，以参数有效的方式从全局上下文信息预测一组上下文自适应卷积核。当用于与语义特征图的卷积时，预测的卷积核可以生成捕获全局和局部上下文信息两者的空间变化特征加权因子。综合实验结果表明，我们的CaC-Net在三个公共数据集，PASCAL Context，PASCAL VOC 2012和ADE 20 K上取得了优异的分割性能。
2020-08-26 cs.CV
Hyperspectral Image Classification With Context-Aware Dynamic Graph Convolutional Network
Nanjing University of Science and Technology（南京理工大学）；National University of Defense Technology（国防科技大学）；Monash University（莫纳什大学）
在高光谱图像（HSI）分类中，空间上下文已经证明了其重要性，在实现有前途的性能。然而，传统的基于空间上下文的方法简单地假设空间上相邻的像元应该对应于同一个土地覆盖类，因此在复杂情况下往往不能正确地发现像元之间的上下文关系，从而导致在类边界等不规则或不均匀区域的分类结果不理想。为了解决这个问题，我们开发了一种新的HSI分类方法的基础上最近提出的图卷积网络（GCN），因为它可以灵活地编码任意结构的非欧数据之间的关系。与传统的GCN不同，我们的方法采用了两种新的策略来进一步利用上下文关系进行准确的HSI分类。首先，由于传统的GCN的感受野往往局限于相当小的邻域，我们提出了捕捉长范围的上下文关系在HSI上执行连续的图形卷积学习区域诱导图，这是从原始的2D图像网格转换。其次，我们通过学习改进的邻接矩阵和“边缘滤波器”来细化图的边缘权重和图像区域之间的连接关系，从而使图可以逐渐细化以适应每个图卷积层生成的表示。这种更新的图形将反过来导致准确的区域表示，反之亦然。在三个真实世界的基准数据集上进行的实验表明，与一些最先进的方法相比，所提出的方法在分类性能上有显着的改善。
2019-09-26 cs.CV cs.LG eess.IV
Contextual Transformer Networks for Visual Recognition
JD AI Research（京东人工智能研究院）
具有自我注意力的Transformer导致了自然语言处理领域的革命性变化，最近激发了Transformer风格架构设计的出现，并在众多计算机视觉任务中取得了竞争性结果。然而，大多数现有的设计直接采用自注意的2D特征映射，以获得注意力矩阵的基础上对孤立的查询和关键字在每个空间位置，但离开丰富的上下文之间的邻居关键字开发不足。在这项工作中，我们设计了一个新的transformer风格的模块，即，上下文Transformer（CoT）块，用于视觉识别。这种设计充分利用了输入键之间的上下文信息来指导动态注意矩阵的学习，从而增强了视觉表征能力。从技术上讲，CoT块首先通过$3\times3$卷积对输入键进行上下文编码，从而得到输入的静态上下文表示。我们进一步将编码的键与输入查询连接起来，通过两个连续的$1\times1$卷积来学习动态多头注意力矩阵。学习的注意力矩阵乘以输入值，以实现输入的动态上下文表示。静态和动态语境表征的融合最终作为输出。我们的CoT块很有吸引力，因为它可以很容易地替换ResNet架构中的每个$3\times3$卷积，产生一个名为上下文Transformer网络（CoTNet）的transformer风格的主干。通过在广泛的应用（例如，图像识别、目标检测和实例分割），我们验证了CoTNet作为更强大主干的优越性。源代码可在\url{https://github.com/J…
2021-07-26 cs.AI cs.CV cs.LG
Towards Context-aware Convolutional Network for Image Restoration
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；Ocean Engineering Research Center, Nankai University（南开大学海洋工程研究中心）
针对现有图像复原卷积模块特征映射能力有限、感受野不足的问题，提出含高效残差星型模块与大型动态集成模块的上下文感知卷积网络，在低复杂度下实现多项图像复原任务的性能提升。
2024-12-15 cs.CV
Expert Kernel Generation Network Driven by Contextual Mapping for Hyperspectral Image Classification
iFLYTEK（讯飞科技）；Aegon THTF（东方明珠新媒体）
针对高光谱图像分类中深度神经网络面临的过拟合与泛化能力有限等问题，提出EKGNet，通过上下文感知映射网络和动态核生成模块，在不增加网络参数的情况下提升分类性能，优于主流方法。
2025-04-17 cs.CV
Deep Feature Based Contextual Model for Object Detection
Zhejiang University（浙江大学）
目标检测是计算机视觉中最活跃的领域之一，近年来取得了显著的进展。现有的目标检测方法大多采用基于卷积神经网络（R-CNN）的区域框架，仅利用目标边界框内的局部外观特征。由于这些方法忽略了对象建议周围的上下文信息，因此这些检测器的结果可能会生成输入图像的语义不一致的解释。在本文中，我们提出了一个集成的目标检测系统，它结合了本地外观，上下文信息的关系，对象和全局场景的上下文特征由卷积神经网络产生。该系统被公式化为一个完全连接的条件随机场（CRF）定义的对象建议和对象建议之间的上下文约束建模为边缘自然。此外，一个快速平均场近似方法被用来在这个CRF模型有效地推理。实验结果表明，与基线算法Faster R-CNN相比，我们的方法在PASCAL VOC 2007数据集上实现了更高的平均精度（mAP）。
2016-04-14 cs.CV
ABCNet: Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images
Wuhan University（武汉大学）
遥感图像的语义分割在精准农业、环境保护、经济评价等方面有着重要的作用。近年来，大量的高分辨率遥感图像可用于语义分割。然而，由于空间分辨率的提高导致的复杂信息，最先进的深度学习算法通常利用复杂的网络架构进行分割，这通常会导致高计算复杂性。具体而言，卷积神经网络（CNN）的高性能在很大程度上依赖于细粒度的空间细节（精细分辨率）和足够的上下文信息（大的感受野），这两者都会引发高计算成本。这严重阻碍了它们在需要实时处理的现实场景中的实用性和可用性。在本文中，我们提出了一种注意双边上下文网络（ABCNet），一种具有双分支的卷积神经网络（CNN），与尖端算法相比，其计算消耗显著降低，同时保持了具有竞争力的准确性。代码可在https://github.com/lironui/ABCNet上获得。
2021-02-04 cs.CV
Self-Attention-Based Contextual Modulation Improves Neural System Identification
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出用自注意力机制改进CNN的视觉皮层神经响应预测，发现其可提升调谐曲线相关性和峰值调谐，且与全连接读出层互补，增量分解学习感受野与上下文调制有效。
2025-02-28 cs.CV q-bio.NC
Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional Architectures in a Contextual Approach for Video-Based Visual Emotion Recognition in the Wild
National Technical University of Athens（雅典国家技术大学）
在这项工作中，我们解决了在野外基于视频的视觉情感识别的任务。仅仅依赖于身体和面部特征的提取的标准方法在上述情感信息源由于头部/身体取向、低分辨率和不良照明而不可访问的情况下常常达不到准确的情感预测。我们希望通过利用视觉上下文的场景特征和属性的形式来缓解这个问题，作为更广泛的情感识别框架的一部分。时间段网络（TSN）构成了我们提出的模型的骨干。除了RGB输入模式外，我们还使用了密集的光流，遵循直观的多流方法，以实现更有效的运动编码。此外，我们将注意力转向基于行为的学习，并利用以行为为中心的数据作为预训练时空图卷积网络（ST-GCN）的手段，用于情感识别任务。我们在具有挑战性的肢体语言数据集（BoLD）上进行了大量实验，验证了我们的方法优于现有方法，同时通过将所有上述模块适当地整合到网络集成中，我们成功地超过了之前公布的最佳识别分数。
2021-05-16 cs.CV
Contextual Pyramid Attention Network for Building Segmentation in Aerial Imagery
Eindhoven University of Technology（埃因霍温理工大学）
从航空图像中提取建筑物在城市规划、变化检测和灾害管理等问题中有着广泛的应用。随着数据可用性的不断提高，近年来，用于遥感图像语义分割的卷积神经网络（CNN）得到了显著的改进。然而，卷积在局部邻域中操作，并且未能捕获在航空图像的语义理解中必不可少的非局部特征。在这项工作中，我们建议通过使用上下文金字塔注意力（CPA）捕获长距离依赖关系来改善不同大小的建筑分割。这些路径有效地处理多个尺度的输入，并以加权的方式将它们组合起来，类似于集成模型。所提出的方法获得国家的最先进的性能的Inria航空图像标注数据集以最小的计算成本。我们的方法比目前最先进的方法提高了1.8个点，比现有的交集超过并集（IoU）度量基准高出12.6个点，而无需任何后处理。代码和模型将公开发布。
2020-04-15 cs.CV
SmallBigNet: Integrating Core and Contextual Views for Video Classification
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
时域卷积已被广泛用于视频分类。然而，它是在有限的视角下对时空背景进行的，这往往削弱了它学习视频表示的能力。为了缓解这个问题，我们提出了一个简洁而新颖的SmallBig网络，与合作的小和大的意见。对于当前时间步，小视图分支用于学习核心语义，而大视图分支用于捕获上下文语义。与传统的时间卷积不同，大视图分支可以从更广泛的3D感受野为小视图分支提供最活跃的视频特征。通过聚合这样的大视图上下文，小视图分支可以学习用于视频分类的更鲁棒和有区别的时空表示。此外，我们建议在小视图和大视图分支中共享卷积，这提高了模型的紧凑性并消除了过拟合。因此，我们的SmallBigNet实现了与2D CNN相当的模型大小，同时提高了3D CNN的准确性。我们在大规模视频基准上进行了广泛的实验，例如，Kinetics400，Something-Something V1和V2。我们的SmallBig网络在准确性和/或效率方面优于许多最先进的方法。代码和模型将在www.example.com上提供。
2020-06-25 cs.CV
Efficient 3D Fully Convolutional Networks for Pulmonary Lobe Segmentation in CT Images
University of Oxford（牛津大学）；Universiti Malaysia Perlis（马来西亚玻璃市大学）；Churchill Hospital（丘吉尔医院）
人类的肺是一个复杂的呼吸器官，由五个不同的解剖隔室组成，称为肺叶。从计算机断层扫描（CT）图像中准确和自动分割这些肺叶对于肺部疾病评估和治疗计划具有重要的临床意义。然而，这项任务是具有挑战性的，由于模糊的肺叶边界，解剖变异和病理变形。在本文中，我们提出了一种高分辨率和高效的3D全卷积网络来自动分割叶。我们将该网络称为肺叶分割网络（PLS-Net），该网络旨在有效地利用来自高分辨率体积CT图像的3D空间和上下文信息，以进行有效的体积到体积学习和推理。PLS网络基于具有三个新颖组件的非对称编码器-解码器架构：（i）3D深度可分离卷积，以通过将每个常规3D卷积分解为两个更简单的操作来提高网络效率;（ii）扩张的剩余密集块，以有效地扩展网络的感受野并聚合多尺度上下文信息用于分割;以及（iii）在每个下采样分辨率下的输入增强，以补偿由于卷积和下采样操作而导致的空间信息的损失。我们在一个多机构数据集上评估了拟议的PLS-Net，该数据集由210张从患有各种肺部异常的患者中获得的CT图像组成。实验结果表明，我们的PLS网络实现了最先进的性能与更好的计算效率。进一步的实验证实了PLS网络的每个新组件的有效性。
2019-09-16 cs.CV eess.IV
X-Net: Brain Stroke Lesion Segmentation Based on Depthwise Separable Convolution and Long-range Dependencies
University of Chinese Academy of Sciences（中国科学院大学）；Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）；Guangdong General Hospital, Guangdong Academy of Medical Sciences（广东省医学科学院广东省人民医院）；Henan Provincial People’s Hospital（河南省人民医院）；Nanchang University（南昌大学）
近年来脑卒中发病率迅速上升。为了帮助病变测量和治疗计划的专家，自动分割方法是临床实践中至关重要的。最近，基于深度学习的方法和上下文信息提取方法已经用于许多图像分割任务。然而，由于大量参数的训练不足，它们的性能受到限制，有时无法捕获长期依赖性。为了解决这些问题，我们提出了一个依赖可分离卷积的X-Net，设计了一个非局部操作，即特征相似性模块（FSM），以捕获长程依赖。所采用的深度卷积可以减少网络的大小，而开发的FSM提供了一个更有效的，密集的上下文信息提取，从而有利于更好的分割。在开放数据集卒中后病变解剖学追踪（ATLAS）上评价了X-Net的有效性，与其他六种最先进的方法相比，X-Net的性能更优。我们在https://github.com/Andrewsher/X-Net上提供我们的代码和模型。
2019-12-30 cs.CV eess.IV
Attentional Graph Convolutional Network for Structure-aware Audio-Visual Scene Classification
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；McGill University（麦吉尔大学）
视听场景理解是一个具有挑战性的问题，由于非结构化的时空关系，存在于音频信号和空间布局的不同对象和各种纹理模式的视觉图像。近年来，许多研究都集中在从卷积神经网络中提取特征，而对声音信号和视觉图像的显式语义相关帧的学习却被忽视了。为此，我们提出了一个端到端的框架，即注意力图卷积网络（AGCN），结构感知的视听场景表示。首先，声音和输入图像的频谱图通过骨干网络进行特征提取。然后，为了建立输入特征的多尺度层次信息，我们利用注意力融合机制来聚合来自骨干网络的多个层的特征。值得注意的是，为了更好地表示视听输入的显著区域和上下文信息，为视听场景表示构建了显著声学图（SAG）和上下文声学图（CAG）、显著视觉图（SVG）和上下文视觉图（CVG）。最后，构造的图通过图卷积网络进行结构感知的视听场景识别。在音频、视频和视听场景识别数据集上的大量实验结果表明，AGCN方法取得了令人满意的结果。在频谱图和图像上的可视化图形已经被呈现以显示所提出的CAG/SAG和CVG/SVG的有效性，其可以集中于显著和语义相关的区域。
2022-12-31 cs.CV
Focusing and Diffusion: Bidirectional Attentive Graph Convolutional Networks for Skeleton-based Action Recognition
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
一系列基于图卷积网络的方法通过探索邻域信息和帧内关节之间的密集依赖关系，在基于卷积的动作识别中取得了成功。然而，这些方法通常忽略了时空全局上下文以及帧间和帧内的局部关系。在本文中，我们提出了一种聚焦和扩散机制，以提高图卷积网络关注的运动学依赖性的关节的人体姿势在一个帧和他们的隐式依赖帧。在聚焦过程中，我们引入了一个注意力模块来学习帧内关节上的潜在节点，以传达空间上下文信息。通过这种方式，可以很好地捕获帧中关节之间的稀疏连接，而整个序列上的全局上下文通过这些具有双向LSTM的隐藏节点进一步捕获。在扩散过程中，学习到的时空上下文信息被传递回空间关节，导致双向注意图卷积网络（BAGCN），可以促进基于动作的动作识别。在具有挑战性的NTU RGB+D和Queton-Kinetics基准上进行的大量实验证明了我们方法的有效性。
2019-12-24 cs.CV cs.LG cs.RO
BiCANet: Bi-directional Contextual Aggregating Network for Image Semantic Segmentation
Nanjing University of Posts & Telecommunications（南京邮电大学）；Kyushu Institute of Technology（九州工业大学）；Temple University（天普大学）
近年来，在卷积神经网络（CNN）中探索上下文信息对于语义分割获得了大量关注。本文介绍了一个双向上下文聚合网络，称为BiCANet，语义分割。与以往在特征空间中编码上下文的方法不同，BiCANet从范畴的角度聚合上下文线索，主要由三部分组成：上下文凝聚投影块（CCPB）、双向上下文交互块（BCIB）和多尺度上下文融合块（MCFB）。更具体地说，CCPB通过分裂-转换-合并架构学习基于类别的映射，该架构将来自中间层的具有不同感受野的上下文线索浓缩。另一方面，BCIB采用密集的跳过连接来增强类级上下文交换。最后，MCFB通过调查短期和长期的空间依赖性来整合多尺度的上下文线索。为了评估BiCANet，我们对三个语义分割数据集进行了广泛的实验：PASCAL VOC 2012，Cityscapes和ADE 20 K。实验结果表明，BiCANet优于最近的国家的最先进的网络，没有任何后处理技术。特别是，BiCANet在PASCAL VOC 2012、Cityscapes和ADE 20 K测试集上的mIoU得分分别为86.7%、82.4%和38.66%。
2020-03-21 cs.CV eess.IV
Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显著性检测方法，通过开发一个深度监督的递归卷积神经网络（DSRCNN），它执行一个完整的图像到图像的显著性预测。对于显著性检测，显著对象的局部、全局和上下文信息对于获得高质量的显著性图是重要的。为了实现这一目标，DSRCNN基于VGGNet-16设计。首先，将递归连接合并到每个卷积层中，这可以使模型更强大地学习上下文信息。其次，增加侧输出层进行深度监督操作，通过影响中间层，使模型学习到更具鉴别力和鲁棒性的特征。最后，对所有的侧输出进行融合，综合局部和全局信息，得到最终的显著性检测结果。因此，DSRCNN结合了递归卷积神经网络和深度监督网络的优点。在5个基准数据集上对DSRCNN模型进行了测试，实验结果表明，该方法在所有测试数据集上的显著性检测性能均明显优于现有的显著性检测方法。
2016-08-18 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
Spot What Matters: Learning Context Using Graph Convolutional Networks for Weakly-Supervised Action Detection
TNO（荷兰应用科学研究组织）；Leiden University（莱顿大学）
时空动作检测中的主要范例是使用通过2D或3D卷积网络学习的时空特征对动作进行分类。我们认为，几个动作的特点是他们的背景下，如相关的对象和演员在视频中。为此，我们引入了一种基于自注意和图卷积网络的架构，以模拟上下文线索，如演员-演员和演员-对象交互，以提高视频中的人体动作检测。我们有兴趣在弱监督设置中实现这一点，即在动作边界框方面使用尽可能少的注释。我们的模型通过将学习到的上下文可视化为注意力地图来帮助解释，即使是在训练过程中看不到的动作和对象。我们评估如何以及我们的模型突出了相关的背景下，通过引入一个定量指标的基础上召回的对象检索的注意力地图。我们的模型依赖于3D卷积RGB流，并且不需要昂贵的光流计算。我们在DALY数据集上评估我们的模型，该数据集由人与物体的交互动作组成。实验结果表明，我们的上下文方法优于基线动作检测方法超过2点，在视频mAP。代码可在\url{https://github.com/micts/acgcn}上获得
2021-07-28 cs.CV cs.LG
Class-wise Dynamic Graph Convolution for Semantic Segmentation
Peking University（北京大学）；SenseTime Group Limited（商汤科技集团有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
最近的工作已经在语义分割方面取得了很大的进展，这些工作通过以局部或全局的方式利用上下文信息，使用扩张卷积、金字塔池或自注意力机制。为了避免潜在的误导性上下文信息聚合在以前的作品中，我们提出了一个类明智的动态图卷积（CDGC）模块自适应地传播信息。在同一类中的像素之间执行图推理。在提出的CDGC模块的基础上，我们进一步介绍了类动态图卷积网络（CDGCNet），它由两个主要部分组成，包括CDGC模块和基本分割网络，形成了一个由粗到细的范例。CDGC模块将粗分割结果作为类掩码，提取节点特征用于图的构建，并对构建的图进行动态图卷积，学习特征聚合和权值分配。然后将细化后的特征与原始特征进行融合，得到最终的预测结果。我们对三个流行的语义分割基准测试进行了广泛的实验，包括Cityscapes，PASCAL VOC 2012和COCO Stuff，并在所有三个基准测试中实现了最先进的性能。
2020-07-19 cs.CV
Efficient Context-Aware Network for Abdominal Multi-organ Segmentation
Fosun Aitrox Information Technology Co LTD（复星艾特罗克斯信息技术有限公司）
在腹部CT扫描中呈现的背景信息是相对一致的。为了充分利用整体3D背景，我们开发了一个基于全体积的粗到细框架，用于高效和有效的腹部多器官分割。我们提出了一种新的高效SegNet网络，它由基本编码器，超薄解码器和高效上下文块组成。对于解码器模块，设计了具有k*k*1切片内卷积和1*1*k切片间卷积的各向异性卷积以减少计算负担。对于上下文块，我们提出了条带池模块来捕获腹部场景中存在的各向异性和长距离上下文信息。通过对FLARE 2021验证案例的定量评价，该方法的平均骰子相似系数（DSC）为0.895，平均归一化表面距离（NSD）为0.775。该方法在2021-MICCAI-FLARE挑战赛中获得第一名。代码和模型可在https://github.com/Shanghai-Aitrox-Technology/EfficientSegmentation上获得。
2021-10-29 cs.CV eess.IV
GCCN: Global Context Convolutional Network
RMIT University（皇家墨尔本理工大学）
在本文中，我们提出了全局上下文卷积网络（GCCN）的视觉识别。GCCN计算表示跨图像块的上下文信息的全局特征。这些全局上下文特征被定义为每个补丁中具有高视觉锐度的局部最大值像素。然后将这些特征连接并用于增强卷积特征。学习的特征向量使用全局上下文特征使用Frobenius范数进行归一化。这种简单的方法实现了与最先进的方法相比的高准确性，在CIFAR-10和STL-10数据集上分别为94.6%和95.41%。为了探索GCCN对其他视觉表示任务的潜在影响，我们将GCCN作为Few-Shot图像分类的基础模型。我们学习增强特征向量与其原型表示之间的度量距离，类似于原型和匹配网络。GCCN优于最先进的少样本学习方法，在Omniglot、MiniImageNet和CUB-200上分别达到99.9%、84.8%和80.74%。在不同的少样本学习场景中，GCCN显著提高了最先进的原型和匹配网络的准确性，最高可达30%。
2021-10-22 cs.CV
Adaptive Graph Convolutional Networks for Weakly Supervised Anomaly Detection in Videos
Northwestern Polytechnical University（西北工业大学）
对于弱监督异常检测，大多数现有的工作是有限的问题，由于无法建模长期的上下文信息的视频表示不足。为了解决这个问题，我们提出了一种新的弱监督自适应图卷积网络（WAGCN）的视频片段之间的复杂的上下文关系建模。通过这种方法，我们在为每个视频段生成异常概率得分时，充分考虑了其他视频段对当前视频段的影响。首先，我们结合时间的一致性以及视频片段的特征相似性来构建一个全局图，它充分利用视频异常事件的时空特征之间的关联信息。其次，为了突破人工设置拓扑结构的局限性，提出了一个图学习层，能够有效地自适应地提取基于数据的图邻接矩阵。在两个公共数据集上进行了广泛的实验（即，UCF-Crime数据集和ShanghaiTech数据集）证明了我们方法的有效性，实现了最先进的性能。
2022-10-08 cs.CV
PointRGCN: Graph Convolution Networks for 3D Vehicles Detection Refinement
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
在自动驾驶管道中，感知模块提供对周围道路场景的视觉理解。在感知任务中，车辆检测对于安全驾驶至关重要，因为它识别共享道路的其他智能体的位置。在我们的工作中，我们提出了PointRGCN：一个基于图卷积网络（GCN）的基于图的3D目标检测管道，它只在3D LiDAR点云上运行。为了执行更准确的3D目标检测，我们利用一个图形表示，执行建议功能和上下文聚合。我们将残余GCN集成在两阶段的3D目标检测流水线中，其中使用新的图形表示来细化3D对象提案。特别地，R-GCN是对3D提案进行分类和回归的残差GCN，并且C-GCN是通过在多个提案之间共享上下文信息来进一步细化提案的上下文GCN。我们将我们的细化模块集成到一个新的3D检测流水线，PointRGCN，并实现了最先进的性能上的简单困难的鸟瞰图检测任务。
2019-11-27 cs.CV
Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition
Harvard University（哈佛大学）
卷积神经网络（CNN）的进步在实现多个对象识别任务的高性能水平方面取得了重大进展。虽然一些方法利用来自整个场景的信息来提出感兴趣的区域，但是解释特定区域或对象的任务仍然独立于图像中的其他对象和特征来执行。在这里，我们证明了一个场景的“要点”可以显着有助于人类如何识别物体。这些发现与人类在物体上形成中央凹并结合周边信息以帮助识别的概念一致。我们使用生物启发的两部分卷积神经网络（“GistNet”），该网络对中央凹和外围进行建模，以提供原理证明，即计算对象识别可以从场景的要点作为上下文信息中显著受益。我们的模型在某些对象类别中结合上下文要点时，准确性提高了50%，而原始模型大小仅增加了5%。这个模型反映了我们对人类视觉系统如何识别物体的直觉，提出了具体的生物学合理的约束，以改善机器视觉和建立初步步骤的挑战场景理解。
2018-06-09 cs.CV
MSHCNet: Multi-Stream Hybridized Convolutional Networks with Mixed Statistics in Euclidean/Non-Euclidean Spaces and Its Application to Hyperspectral Image Classification
Jiangsu Ocean University（江苏海洋大学）；Xuzhou Medical University（徐州医科大学）
众所周知，高光谱图像（HSI）包含丰富的空间-光谱背景信息，如何利用动态神经网络有效地结合光谱和空间信息进行HSI分类已成为新的研究热点。与具有方形核的CNN相比，GCN表现出令人兴奋的潜力来建模空间上下文结构，并对任意不规则的图像区域进行灵活的卷积。然而，目前的GCN只使用一阶谱空间签名会导致边界模糊和孤立的错误分类。为了解决这些问题，我们首先设计了基于图的二阶池（GSOP）操作，以获得上下文节点的信息，在非欧空间的GCN。此外，我们提出了一种新的多流混合卷积网络（MSHCNet），在欧几里德/非欧几里德空间中结合一阶和二阶统计量来学习和融合多视图互补信息以分割HSI。具体来说，我们的MSHCNet采用了四个并行流，其中G-流，利用非欧空间中相邻土地覆盖之间的一阶图的不规则相关性; C-流，采用卷积算子学习欧空间中规则的空间-光谱特征; N-流，结合一阶和二阶特征学习欧空间中具有代表性和区分性的规则空间-光谱特征; S流，使用GSOP捕获边界相关性并从非欧几里德空间的图中的所有节点获得图表示。此外，这些特征表示从四个不同的流学习融合，集成多视图的互补信息HSI分类。最后，我们在三个高光谱数据集上评估了我们提出的MSHCNet，实验结果表明，我们的方法显着优于最先进的八种方法。
2021-10-07 cs.AI cs.CV
SFA-UNet: More Attention to Multi-Scale Contrast and Contextual Information in Infrared Small Object Segmentation
针对红外小目标分割中对比与上下文利用不足、小目标丢失和噪声问题，提出SFA-UNet，结合Scharr卷积、快速傅里叶卷积和注意力门，在SIRST和IRSTD数据集上平均提升0.75%。
2024-11-16 cs.AI cs.CV
Salient Object Detection via High-to-Low Hierarchical Context Aggregation
显著目标检测的最新进展主要旨在利用如何有效地将卷积侧输出特征集成到卷积神经网络（CNN）中。基于此，现有的最先进的显著性检测器设计复杂的网络结构，融合骨干特征提取网络的侧输出特征。然而，融合策略是否应该越来越复杂，以实现精确的显著目标检测？在本文中，我们观察到自然图像的上下文可以通过侧输出卷积特征的从高到低的自学习来很好地表达。正如我们所知，图像的上下文通常指的是全局结构，而CNN的顶层通常学习传达全局信息。另一方面，中间侧输出特征难以表达上下文信息。在这里，我们设计了一个具有中间监督的沙漏网络，以从高到低的方式学习上下文特征。所学习的分层上下文被聚合以生成用于输入图像的混合上下文表达。最后，混合上下文特征可以用于精确的显著性估计。我们在六个具有挑战性的显着性数据集上广泛评估了我们的方法，我们的简单方法在各种评估指标下实现了最先进的性能。代码将在纸质验收后发布。
2019-04-01 cs.CV
Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images
Beihang University（北京航空航天大学）
在资源受限的无人机平台上，低延迟的无人机图像目标检测是一项重要但具有挑战性的任务。本文研究了基于稀疏卷积的探测头优化设计，有效地平衡了探测精度和效率。然而，它遭受不足的集成的上下文信息的微小的对象，以及笨拙的控制掩模比例存在的前景具有不同的规模。为了解决上述问题，我们提出了一种新的全局上下文增强自适应稀疏卷积网络（CEASC）。该算法首先开发了一个上下文增强的组归一化（CE-GN）层，将基于稀疏采样特征的统计信息替换为全局上下文特征，然后设计了一种自适应多层掩模策略，在不同尺度下生成最优掩模比率，以实现紧凑的前景覆盖，提高了准确性和效率。在VisDrone和UAVDT两个主要基准上的大量实验结果表明，CEASC在插入典型的最先进的检测框架（例如RetinaNet和GFL V1）时，显着降低了GFLOP并加速了推理过程，具有竞争力的性能。代码可在https://github.com/Cuogeihong/CEASC上获得。
2023-03-25 cs.CV
MDCN: Multi-Scale, Deep Inception Convolutional Neural Networks for Efficient Object Detection
University of Kansas（堪萨斯大学）；Ainstein Inc.（Ainstein公司）
在尺度变化、遮挡和截断等具有挑战性的情况下的目标检测不仅依赖于特征细节，还依赖于上下文信息。以往的大多数网络过于强调通过更深、更广的网络进行细节特征提取，这在一定程度上可以提高目标检测的准确性。然而，在经过复杂的滤波结构之后，特征细节很容易被改变或洗掉。为了更好地应对这些挑战，本文提出了一种新的框架，多尺度，深度初始卷积神经网络（MDCN），它通过激活网络深层产生的特征图来关注越来越广泛的对象区域。在网络的深层引入多尺度概念，而不是在网络的浅层引入内层。该框架通过一个单发网络结构将上下文信息整合到学习过程中。该方法计算效率高，避免了以往针对浅层设计的宏特征提取网络训练困难的问题。大量的实验证明了MDCN的有效性和优越的性能超过国家的最先进的模型。
2018-09-06 cs.CV
Contextual Prediction Difference Analysis for Explaining Individual Image Classifications
University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
近年来，人们一直致力于理解深度神经网络的决策。许多模型感知的显着性方法被提出来解释个人的分类决策，通过创建显着性图。然而，当基础模型的参数和梯度不可用时，它们不适用。最近，模型不可知的方法也受到关注。作为其中之一，提出了概率声方法\textit{Prediction Difference Analysis}（PDA）。在这项工作中，我们首先表明，PDA可以遭受饱和分类器。在现有的基于神经网络的分类器中，普遍存在分类器饱和现象.为了更好地解释饱和分类器的决策，我们进一步提出了上下文PDA，它的运行速度比PDA快数百倍。实验表明，我们的方法的优越性，通过解释国家的最先进的深卷积神经网络的图像分类。
2020-06-06 cs.CV cs.LG stat.ML
Classifying a specific image region using convolutional nets with an ROI mask as input
Vayavision（Vayavision公司）
卷积神经网络（CNN）是用于图像分类的主要计算机视觉方法。在某些情况下，希望仅对图像中对应于某个对象的特定区域进行分类。因此，假设图像中对象的区域是预先已知的，并且作为二进制感兴趣区域（ROI）掩模给出，目标是使用卷积神经网络对该区域中的对象进行分类。这个目标是通过使用标准的图像分类网络以及附加的侧分支来实现的，该侧分支将ROI掩模转换为注意力图。然后将该图与图像分类网组合。这允许网络将注意力集中在对象区域上，同时仍然从背景中提取上下文线索。使用COCO对象数据集和OpenSurfaces材料数据集对这种方法进行了评估。在这两种情况下，它都比完全忽略背景区域的方法提供了更好的结果。此外，发现在网络的第一层组合注意力图比在网络的更高层组合注意力图得到更好的结果。这种方法的优点是最明显的小区域的分类，需要大量的上下文信息的背景。
2018-12-05 cs.CV
Improving Deep Pancreas Segmentation in CT and MRI Images via Recurrent Neural Contextual Learning and Direct Loss Function
University of Florida（佛罗里达大学）；National Institutes of Health Clinical Center（国立卫生研究院临床中心）
深度神经网络已经证明了对具有挑战性的器官（例如，胰腺）进行腹部CT和MRI扫描。当前的深度学习方法通过对每个图像进行深度、密集的每像素掩蔽来独立地处理2D图像切片的序列来进行胰腺分割，而不对连续切片的分割明确地实施空间一致性约束。我们提出了一种新的卷积/递归神经网络架构来解决上下文学习和分割一致性问题。首先从头开始设计和预训练深度卷积子网络。然后，该网络模块的输出层连接到递归层，并且可以以端到端的方式针对上下文学习进行微调。我们的递归子网络是一种长短期记忆（LSTM）网络，它通过整合其相邻切片分割预测来对图像进行分割，其形式是依赖序列处理。此外，提出了一种新的分段直接损失函数（称为Jaccard损失），并训练深度网络以直接优化Jaccard指数（JI）。进行了大量的实验，以验证我们提出的深度模型，定量胰腺分割使用CT和MRI扫描。我们的方法分别优于CT [11]和MRI胰腺分割[1]的最新工作。
2017-07-18 cs.CV
Patch Network for medical image Segmentation
Beihang University（北京航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）；Nankai University（南开大学）
医学图像的准确快速分割是临床上必不可少的，但目前的研究方法包括卷积神经网络推理速度快但难以学习图像上下文特征，Transformer性能好但硬件要求高。在本文中，我们提出了一个补丁网络（PNet），它将Swin Transformer概念融入卷积神经网络，使其能够收集更丰富的上下文信息，同时实现速度和准确性的平衡。我们在息肉（CVC-ClinicDB和ETIS- LaribPolypDB），皮肤（ISIC-2018皮肤病变分割挑战数据集）分割数据集上测试了我们的PNet。我们的PNet在速度和准确性方面都达到了SOTA性能。
2023-02-23 cs.CV
Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification
Nanjing University of Science and Technology（南京理工大学）；Shanghai Jiao Tong University（上海交通大学）；Monash University（莫纳什大学）
如今，深度学习方法，特别是图卷积网络（GCN），在高光谱图像（HSI）分类中表现出令人印象深刻的性能。然而，目前基于GCN的方法将图构造和图像分类视为两个独立的任务，这通常导致次优性能。这些方法的另一个缺陷是，它们主要集中在建模的局部节点之间的成对重要性，而缺乏能力，捕捉全局上下文信息的HSI。在本文中，我们提出了一个多层次的GCN与自动图学习方法（MGCN-AGL）的HSI分类，它可以自动学习的图形信息在局部和全局水平。通过引入注意力机制来表征空间相邻区域之间的重要性，可以自适应地结合最相关的信息进行决策，这有助于对空间上下文进行编码，形成局部层次的图信息。此外，我们利用多种途径进行局部级图卷积，以利用HSI的不同空间背景的优点，并增强所生成的表示的表达能力。为了重建全局上下文关系，我们的MGCN-AGL编码的基础上，已在局部水平上产生的表达图像区域之间的长程依赖关系。然后可以沿着连接远处区域的重构图边缘执行推理。最后，多层次信息自适应融合，产生网络输出。这种方法可以将图学习和图像分类集成到一个统一的框架中，并相互促进。在三个真实高光谱数据集上进行了大量的实验，实验结果表明，这些方法的性能优于最先进的方法。
2020-09-19 cs.CV cs.LG
Accurate Image Super-Resolution Using Very Deep Convolutional Networks
Seoul National University（首尔大学）
提出了一种高精度的单图像超分辨率（SR）方法。我们的方法使用了一个非常深的卷积网络，灵感来自用于ImageNet分类\cite{simonyan2015very}的VGG-net。我们发现，增加网络深度可以显着提高准确性。我们的最终模型使用20个权重层。通过在深度网络结构中多次级联小过滤器，以有效的方式利用大图像区域上的上下文信息。然而，对于非常深度的网络，收敛速度在训练过程中成为一个关键问题。我们提出了一个简单而有效的训练程序。我们只学习残差，并使用极高的学习率（$10^4$比SRCNN高\cite{dong2015image}倍），通过可调梯度裁剪实现。我们提出的方法在准确性和视觉上的改进方面比现有的方法更好，我们的结果很容易被注意到。
2016-11-11 cs.CV cs.LG
