SemGeoMo: Dynamic Contextual Human Motion Generation with Semantic and Geometric Guidance
ShanghaiTech University（上海科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出 SemGeoMo 方法，利用文本-可供性-关节多级语义和几何引导生成动态上下文人体运动，在三个数据集上达到SOTA并具备卓越泛化能力。
2025-03-03 cs.CV
Evaluating Contextual Bias in CNN Image Classification: Evidence from Agricultural Benchmark Datasets
本研究通过农业基准数据集评估CNN分类中的上下文偏差，发现多数数据集存在高于随机概率的上下文依赖，并提出系统量化框架。
2026-09-15 cs.CV
Contextual Action Recognition with R*CNN
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
图像中有多种线索可以揭示一个人正在执行的动作。例如，慢跑者具有慢跑特有的姿势，但是场景（例如，道路、小径）和其他慢跑者的存在可以是附加的信息源。在这项工作中，我们利用简单的观察，行动伴随着上下文线索，建立一个强大的动作识别系统。我们调整RCNN以使用多个区域进行分类，同时仍然保持定位动作的能力。我们称我们的系统为R*CNN。特定于动作的模型和特征图是联合训练的，从而允许出现特定于动作的表示。R*CNN在PASAL VOC Action数据集上实现了90.2%的平均AP，显著优于该领域的所有其他方法。最后，我们证明了R*CNN不仅限于动作识别。特别是，R*CNN还可以用于处理细粒度的任务，如属性分类。我们通过报告Berkeley Attributes of People数据集的最新性能来验证这一说法。
2016-03-25 cs.CV
Swin Transformer coupling CNNs Makes Strong Contextual Encoders for VHR Image Road Extraction
Beijing University of Chemical Technology（北京化工大学）；College of Information Science & Technology（信息科学与技术学院）
本文提出ConSwin双分支网络块，融合ResNet的局部细节提取能力与Swin Transformer的全局上下文感知能力，构建沙漏形道路提取网络，并设计两种新连接结构增强细节传递，在Massachusetts和CHN6-CUG数据集上取得最优性能。
2023-05-28 cs.CV
TDAM: Top-Down Attention Module for Contextually Guided Feature Selection in CNNs
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
卷积神经网络（CNN）的注意力模块是提高多个计算机视觉任务性能的有效方法。虽然现有的方法适当地模型通道，空间和自我注意，他们主要是在前馈自下而上的方式。因此，注意力机制强烈地依赖于单个输入特征图的局部信息，并且不包括在较高层处可用的相对语义上更丰富的上下文信息，该上下文信息可以通过自上而下的信息流来指定较低级别特征图中的“看什么和在哪里”。因此，在这项工作中，我们提出了一个轻量级的自上而下的注意力模块（TDAM），迭代地生成一个“视觉探照灯”，以执行其输入的通道和空间调制，并在每个计算步骤输出更多的上下文相关的特征图。我们的实验表明，TDAM在多个对象识别基准测试中增强了CNN的性能，并优于突出注意力模块，同时更具参数和内存效率。此外，基于TDAM的模型通过在每个计算步骤中定位单个对象或特征来学习“转移注意力”，而无需任何明确的监督，从而使ResNet50在弱监督对象定位方面提高了5%。源代码和模型可在https://github.com/shantanuj/TDAM_Top_down_attention_module上公开获取。
2022-10-21 cs.CV
CAFCT-Net: A CNN-Transformer Hybrid Network with Contextual and Attentional Feature Fusion for Liver Tumor Segmentation
School of Information Technology, Monash University（莫纳什大学信息技术学院）
针对CT图像肝肿瘤自动分割问题，提出融合上下文与注意力特征的CNN-Transformer混合网络CAFCT-Net，通过引入AFF、ASPP、AG模块增强边界上下文信息，在LiTS数据集上取得优于纯CNN/Transformer方法的分割精度。
2024-10-04 cs.CV eess.SP stat.AP
ParaCNN: Visual Paragraph Generation via Adversarial Twin Contextual CNNs
Queen’s University Belfast（贝尔法斯特女王大学）
图像描述生成在图像检索、自动导航、残疾人辅助等实际应用中起着重要的作用。图像描述生成的成熟任务是图像描述，其通常生成简短的字幕语句，因此忽略了许多细粒度的属性，例如，微妙物体的信息及其关系。本文研究了视觉段落生成技术，它可以用一个包含丰富细节的长段落来描述图像。以往的研究往往通过一个层次化的递归神经网络（RNN）模型来生成段落，该模型具有复杂的记忆、遗忘和耦合机制。相反，我们提出了一种新的纯CNN模型，Para CNN，使用分层CNN架构与一个段落内的句子之间的上下文信息来生成视觉段落。ParaCNN可以生成任意长度的段落，这在许多现实世界的应用中更适用。此外，为了使ParaCNN能够全面地对段落进行建模，我们还提出了一种对抗性的双网训练方案。在训练过程中，我们通过对抗训练迫使前向网络的隐藏特征接近后向网络。在测试过程中，我们只使用前向网络来生成一个段落，前向网络已经包含了后向网络的知识。我们在Stanford Visual Paragraph数据集上进行了广泛的实验，并实现了最先进的性能。
2020-04-21 cs.CV
SituationalLLM: Proactive language models with scene awareness for dynamic, contextual task guidance
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出SituationalLLM，通过将结构化场景图信息集成到LLM中并使用SAD-Instruct数据集进行训练，使模型能够主动识别环境信息缺口并寻求澄清，从而在真实物理环境中提供更可靠、适应性更强的任务指导。
2025-01-31 cs.CV
Contextual Attention for Hand Detection in the Wild
Stony Brook University（石溪大学）；Caltech（加州理工学院）
我们提出了Hand-CNN，这是一种新型的卷积网络架构，用于检测手部面具并预测无约束图像中的手部方向。Hand-CNN用一种新的注意力机制扩展了MaskRCNN，以在检测过程中结合上下文线索。该注意力机制可以被实现为捕获特征之间的非局部依赖性的有效网络模块。该网络模块可以插入目标检测网络的不同阶段，并且整个检测器可以端到端地训练。我们还介绍了一个大规模的注释的手数据集，包含在不受约束的图像的训练和评估的手。我们在几个数据集上证明了Hand-CNN优于现有方法，包括我们的手部检测基准和公开的PASCAL VOC人体布局挑战。我们还对手部检测进行了消融研究，以显示所提出的上下文注意力模块的有效性。
2019-04-09 cs.CV
Edge Preserving and Multi-Scale Contextual Neural Network for Salient Object Detection
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Australian National University（澳大利亚国立大学）
本文提出了一种新的边缘保持和多尺度上下文神经网络用于显著目标检测。所提出的框架旨在解决现有的基于CNN的方法的两个限制。首先，基于区域的CNN方法缺乏足够的上下文来准确定位显著对象，因为它们独立地处理每个区域。其次，基于像素的CNN方法由于卷积层和池化层的存在而遭受模糊边界。受此启发，我们首先提出了一种基于Fast R-CNN框架的端到端边缘保留神经网络（名为RegionNet），以高效地生成具有尖锐对象边界的显着图。之后，为了进一步改进它，多尺度空间上下文附加到RegionNet考虑区域和全球场景之间的关系。此外，我们的方法可以通过深度细化一般地应用于RGB-D显著性检测。该框架首次同时实现了清晰的检测边界和多尺度上下文鲁棒性，从而达到了优化的性能。在六个RGB和两个RGB-D基准数据集上的实验表明，该方法达到了最先进的性能。
2017-09-22 cs.CV
CMAMRNet: A Contextual Mask-Aware Network Enhancing Mural Restoration Through Comprehensive Mask Guidance
University of Macau（澳门大学）；Guangdong University of Technology（广东工业大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）；Shenzhen Polytechnic University（深圳职业技术大学）
本文提出CMAMRNet壁画修复网络，通过掩码感知上/下采样器和协同特征聚合器实现全面掩码引导与多尺度特征提取，在基准数据集上优于现有方法，有效保持壁画结构完整性与艺术细节。
2025-08-21 cs.CV
Contextual Attention Network: Transformer Meets U-Net
RWTH Aachen University（亚琛工业大学）；Iran University of Science and Technology（伊朗科技大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
目前，卷积神经网络（CNN）（例如，U-Net）已经成为事实上的标准，并取得了巨大的成功，在医学图像分割。然而，作为缺点，基于CNN的方法是一把双刃剑，因为由于卷积运算的固有特性导致的有限的接受域，它们无法建立长距离依赖关系和全局上下文连接。因此，最近的文章已经利用Transformer变体进行医学图像分割任务，由于其通过注意力机制捕获远程相关性的固有能力，这些任务开辟了很大的机会。虽然设计可行，但大多数队列研究在捕获局部信息方面表现不佳，从而导致边界区域不清晰。在本文中，我们提出了一个上下文注意力网络来解决上述限制。该方法利用Transformer模块的强度对长距离上下文依赖进行建模。同时，它利用CNN编码器捕获本地语义信息。此外，一个对象级的表示包括模拟区域的相互作用地图。然后将提取的分层特征馈送到上下文注意力模块，以使用局部信息自适应地重新校准表示空间。然后，他们强调信息区域，同时考虑到由Transformer模块导出的长距离上下文依赖性。我们在几个大规模的公共医学图像分割数据集上验证了我们的方法，并达到了最先进的性能。我们在https://github.com/rezazad68/TMUnet中提供了实现代码。
2022-03-31 cs.CV cs.LG eess.IV
Attentive Contexts for Object Detection
Beijing Institute of Technology University（北京理工大学）；Beijing Jiaotong University（北京交通大学）；Sun Yat-Sen University（中山大学）；National University of Singapore（新加坡国立大学）
基于现代深度神经网络的目标检测方法通常使用候选提案的内部特征对其进行分类。然而，被认为对目标检测有价值的全局和局部周围环境尚未被现有方法充分利用。在这项工作中，我们采取了一个步骤，了解什么是一个强大的做法，提取和利用上下文信息，以促进目标检测在实践中。具体来说，我们考虑以下两个问题：“如何识别有用的全局上下文信息，以检测某一对象？以及“如何利用提案的当地背景更好地推断其内容？".我们通过开发一种新的基于上下文卷积神经网络（AC-CNN）的目标检测模型，为这些问题提供了初步的答案。AC-CNN有效地将全局和局部上下文信息合并到基于区域的CNN（例如，快速RCNN）检测模型中，并提供更好的目标检测性能。它由一个基于注意力的全局上下文化（AGC）子网络和一个多尺度局部上下文化（MLC）子网络组成。为了捕获全局上下文，AGC子网络通过多个堆叠的长短期记忆（LSTM）层，为输入图像循环地生成注意力图，以突出有用的全局上下文位置。为了捕获周围的本地上下文，MLC子网络在多个尺度上利用每个特定提案的内部和外部上下文信息。然后将全局和局部上下文融合在一起，以做出最终的检测决策。在PASCAL VOC 2007和VOC 2012上进行的大量实验很好地证明了所提出的AC-CNN优于既定基线。特别是，AC-CNN在VOC 2007和VOC 2012的mAP方面分别优于流行的Fast-RCNN 2.0%和…
2016-03-24 cs.CV
QPIC: Query-Based Pairwise Human-Object Interaction Detection with Image-Wide Contextual Information
Lumada Data Science Lab, Hitachi, Ltd.（日立株式会社 Lumada 数据科学实验室）；Center for Technology Innovation - Artificial Intelligence, Hitachi, Ltd.（日立株式会社 技术创新中心人工智能部）
我们提出了一种简单，直观，但功能强大的方法来检测人与物体的交互（HOI）。HOI在图像中的空间分布是如此多样，以至于现有的基于CNN的方法面临以下三个主要缺点;由于CNN的局部性，它们不能利用图像范围的特征，它们依赖于手动定义的特征聚合的感兴趣位置，这有时不覆盖上下文重要的区域，并且如果它们位于靠近，它们不能帮助但混合多个HOI实例的特征。为了克服这些缺点，我们提出了一个基于transformer的特征提取器，其中的注意力机制和基于查询的检测起着关键作用。注意力机制是有效的聚合上下文重要信息的图像范围内，而查询，我们设计的方式，每个查询捕获最多一个人-对象对，可以避免混淆的功能，从多个实例。这种基于变换器的特征提取器产生如此有效的嵌入，使得随后的检测头可以相当简单和直观。广泛的分析表明，所提出的方法成功地提取了上下文重要的功能，从而优于现有的方法大幅度（5.37 mAP的HICO-DET，和5.7 mAP的V-COCO）。源代码可从$\href{https://github.com/hitachi-rd-cv/qpic}{\text{this https URL}}$获得。
2021-03-09 cs.CV cs.LG
CMS-RCNN: Contextual Multi-Scale Region-based CNN for Unconstrained Face Detection
Carnegie Mellon University（卡内基梅隆大学）
鲁棒的人脸检测是支持各种人脸相关问题的最终组成部分之一，即无约束人脸识别，面部眼周识别，面部标志和姿态估计，面部表情识别，3D人脸模型构建等。尽管人脸检测问题已经被深入研究了几十年，并有各种商业应用，但是由于许多挑战，例如严重的面部遮挡、极低的分辨率、强照明、异常的姿势变化、图像或视频压缩伪影等，它在一些现实世界场景中仍然遇到问题。在本文中，本文提出了一种基于上下文多尺度区域卷积神经网络（CMS-RCNN）的人脸检测方法来解决上述问题。与基于区域的CNN类似，我们提出的网络由区域建议组件和感兴趣区域（RoI）检测组件组成。然而，与该网络相距甚远，我们提出的网络中有两个主要贡献，它们在实现最先进的人脸检测性能方面发挥了重要作用。首先，在区域建议和ROI检测中对多尺度信息进行分组，以处理微小的人脸区域。其次，我们提出的网络允许显式的身体上下文推理的网络灵感来自人类视觉系统的直觉。所提出的方法是基准上最近两个具有挑战性的人脸检测数据库，即WIDER面部数据集，其中包含高度的变化，以及人脸检测数据集和基准（FDDB）。实验结果表明，我们提出的方法在WIDER FACE数据集上训练的性能大大优于WIDER FACE数据集上的强基线，并且与最近最先进的人脸检测方法相比，在FDDB上始终取得有竞争力的结果。
2016-06-17 cs.CV
Context R-CNN: Long Term Temporal Context for Per-Camera Object Detection
California Institute of Technology（加州理工学院）；Google（谷歌公司）
在静态监控摄像机中，有用的上下文信息可以远远超出典型视频理解模型可能看到的几秒钟：主体可能在多天内表现出类似的行为，背景对象保持静态。由于功率和存储限制，采样频率较低，通常不快于每秒一帧，并且有时由于使用运动触发器而不规则。为了在这种情况下表现良好，模型必须对不规则的采样率具有鲁棒性。在本文中，我们提出了一种方法，利用时间上下文从一个新的相机的未标记的帧，以提高该相机的性能。具体来说，我们提出了一种基于注意力的方法，该方法允许我们的模型Context R-CNN索引到基于每个相机构建的长期记忆库中，并聚合来自其他帧的上下文特征，以提高当前帧的目标检测性能。我们将Context R-CNN应用于两种设置：（1）使用相机陷阱的物种检测，以及（2）交通摄像头中的车辆检测，在这两种设置中，Context R-CNN都可以在强基线上获得性能增益。此外，我们表明，增加上下文的时间范围导致改善的结果。当应用于来自快照塞伦盖蒂数据集的相机陷阱数据时，具有长达一个月图像上下文的上下文R-CNN的性能比单帧基线高出17.9% mAP，比S3 D（基于3D卷积的基线）高出11.2% mAP。
2020-04-22 cs.CV cs.LG eess.IV
Locality Guidance for Improving Vision Transformers on Tiny Datasets
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
虽然视觉Transformer（VT）架构在计算机视觉中越来越流行，但纯VT模型在微小数据集上的表现很差。为了解决这个问题，本文提出了局部性指导，以提高性能的小数据集上的VT。我们首先分析了由于虚拟机中自我注意力机制的高度灵活性和内在的全局性，使得对于理解图像至关重要的局部信息难以在有限的数据下学习。为了促进本地信息，我们通过模仿已经训练好的卷积神经网络（CNN）的特征来实现VT的本地指导，其灵感来自CNN的内置本地到全局层次结构。在我们的双任务学习范式下，在低分辨率图像上训练的轻量级CNN提供的局部指导足以加速收敛并在很大程度上提高VT的性能。因此，我们的局部指导方法是非常简单和有效的，可以作为一个基本的性能增强方法的小数据集上的VT。大量的实验表明，我们的方法可以显着改善VT时，从零开始训练的微小数据集，并兼容不同类型的VT和数据集。例如，我们提出的方法可以提高各种VT在微小数据集上的性能（例如，DeiT为13.07%，T2T为8.98%，PVT为7.85%），并将更强的基线PVTv2增强1.86%至79.30%，显示了VT在微小数据集上的潜力。该代码可在https://github.com/lkhl/tiny-transformers上获得。
2022-07-20 cs.CV
Pancreas Segmentation in CT and MRI Images via Domain Specific Network Designing and Recurrent Neural Contextual Learning
University of Florida（佛罗里达大学）；Nvidia Corporation（英伟达公司）
放射学图像中的自动胰腺分割，例如，计算机辅助筛选、诊断和定量评估经常需要计算机断层扫描（CT）和磁共振成像（MRI）。然而，胰腺是一个具有挑战性的腹部器官分割，由于高患者间的解剖变异性的形状和体积度量。最近，卷积神经网络（CNN）在胰腺的准确分割方面表现出了良好的性能。然而，基于CNN的方法往往遭受分割不连续的原因，如噪声图像质量和模糊的胰腺边界。从这一点上，我们建议引入递归神经网络（RNN）来解决相邻图像切片之间切片间胰腺分割的空间非平滑性问题。为了推断初始分割，我们首先训练一个二维CNN子网络，在那里我们通过深度监督和多尺度特征图聚合来修改其网络架构，以便它可以用小规模的训练数据从头开始训练，并且表现出比转移模型更优越的性能。此后，连续的CNN输出由另一个RNN子网络处理，该RNN子网络细化分割形状的一致性。更具体地说，RNN子网络由自上而下和自下而上两个方向的卷积长短期记忆（CLSTM）单元组成，其通过整合其相邻切片的预测来正则化图像的分割。我们对堆叠的CNN-RNN模型进行端到端的训练，并对CT和MRI图像进行定量评估。
2018-03-30 cs.CV
Deep Feature Based Contextual Model for Object Detection
Zhejiang University（浙江大学）
目标检测是计算机视觉中最活跃的领域之一，近年来取得了显著的进展。现有的目标检测方法大多采用基于卷积神经网络（R-CNN）的区域框架，仅利用目标边界框内的局部外观特征。由于这些方法忽略了对象建议周围的上下文信息，因此这些检测器的结果可能会生成输入图像的语义不一致的解释。在本文中，我们提出了一个集成的目标检测系统，它结合了本地外观，上下文信息的关系，对象和全局场景的上下文特征由卷积神经网络产生。该系统被公式化为一个完全连接的条件随机场（CRF）定义的对象建议和对象建议之间的上下文约束建模为边缘自然。此外，一个快速平均场近似方法被用来在这个CRF模型有效地推理。实验结果表明，与基线算法Faster R-CNN相比，我们的方法在PASCAL VOC 2007数据集上实现了更高的平均精度（mAP）。
2016-04-14 cs.CV
R-Sparse R-CNN: SAR Ship Detection Based on Background-Aware Sparse Learnable Proposals
Visual Information Laboratory, University of Bristol（视觉信息实验室，布里斯托尔大学）
本文提出R-Sparse R-CNN框架，通过引入背景感知提案和双上下文池化及交互模块学习船舶与背景的上下文关系，在SAR图像定向船舶检测中显著提升了准确性与效率。
2025-04-26 cs.CV
Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment
University of Maryland College Park（马里兰大学帕克分校）；University of Pittsburgh（匹兹堡大学）
本文提出一种基于强化学习智能体的CNN结构化剪枝方法，通过联合训练权重与剪枝策略，并利用可学习环境表示应对动态奖励，在CIFAR-10和ImageNet上验证了其有效性。
2024-03-28 cs.CV
Graph R-CNN for Scene Graph Generation
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种新的场景图生成模型，称为Graph R-CNN，它在检测图像中的对象及其关系方面既有效又高效。我们的模型包含一个关系建议网络（RePN），它可以有效地处理图像中对象之间潜在关系的二次数。我们还提出了一个注意力图卷积网络（aGCN），有效地捕捉对象和关系之间的上下文信息。最后，我们引入了一个新的评估指标，比现有的指标更全面和现实。我们报告使用现有的和我们提出的指标评估的最先进的性能场景图生成。
2018-08-01 cs.CV cs.LG
TRIG: Transformer-Based Text Recognizer with Initial Embedding Guidance
Shanghai University（上海大学）
场景文本识别是图像和文本之间的重要桥梁，引起了广泛的研究关注。虽然卷积神经网络（CNNS）在这一任务上取得了显著的进展，但现有的大多数工作都需要一个额外的模块（上下文建模模块）来帮助CNN捕捉全局依赖关系，以解决归纳偏差，加强文本特征之间的关系。近年来，Transformer被认为是一种基于自注意力机制的全局上下文建模网络，但其主要缺点之一是识别效率低。我们提出了一个1-D的分裂，以解决复杂性的挑战，并取代CNN与Transformer编码器，以减少对上下文建模模块的需要。此外，最近的方法使用冻结的初始嵌入来引导解码器将特征解码为文本，从而导致精度损失。我们建议使用从Transformer编码器学习的可学习的初始嵌入，使其适应不同的输入图像。首先，我们介绍了一种新的文本识别体系结构，命名为TRansformer为基础的文本识别器与初始嵌入指导（TRIG），由三个阶段（转换，特征提取，和预测）。大量的实验表明，我们的方法可以达到国家的最先进的文本识别基准。
2021-11-16 cs.CV
ABCNet: Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images
Wuhan University（武汉大学）
遥感图像的语义分割在精准农业、环境保护、经济评价等方面有着重要的作用。近年来，大量的高分辨率遥感图像可用于语义分割。然而，由于空间分辨率的提高导致的复杂信息，最先进的深度学习算法通常利用复杂的网络架构进行分割，这通常会导致高计算复杂性。具体而言，卷积神经网络（CNN）的高性能在很大程度上依赖于细粒度的空间细节（精细分辨率）和足够的上下文信息（大的感受野），这两者都会引发高计算成本。这严重阻碍了它们在需要实时处理的现实场景中的实用性和可用性。在本文中，我们提出了一种注意双边上下文网络（ABCNet），一种具有双分支的卷积神经网络（CNN），与尖端算法相比，其计算消耗显著降低，同时保持了具有竞争力的准确性。代码可在https://github.com/lironui/ABCNet上获得。
2021-02-04 cs.CV
Contextual Diversity for Active Learning
IIIT-Delhi（印度德里信息技术学院）；Flixstock Inc.（Flixstock公司）；Indian Institute of Technology Delhi（印度理工学院德里分校）
大型注释数据集的需求限制了深度卷积神经网络（CNN）在许多实际应用中的使用。该问题可以通过使用主动学习（AL）技术来缓解，该技术在给定的注释预算下允许选择在微调时产生最大准确度的数据子集。最先进的人工智能方法通常依赖于视觉多样性或预测不确定性的测量，这是无法有效地捕捉空间背景的变化。另一方面，现代CNN架构大量使用空间上下文来实现高度准确的预测。由于上下文是难以评估的情况下，地面实况标签，我们引入了上下文多样性的概念，捕捉与空间共现类相关联的混乱。上下文多样性（CD）取决于一个关键的观察，即由CNN预测的感兴趣区域的概率向量通常包含来自更大感受野的信息。利用这一观察结果，我们在两个AL框架中使用拟议的CD度量：（1）基于核心集的策略和（2）基于强化学习的策略，用于主动帧选择。我们广泛的经验评估建立了语义分割、目标检测和图像分类的基准数据集上的主动学习的最新结果。我们的消融研究显示了使用情境多样性进行主动学习的明显优势。源代码和其他结果可在https://github.com/sharat29ag/CDAL上获得。
2020-08-13 cs.CV
Classification of Findings with Localized Lesions in Fundoscopic Images using a Regionally Guided CNN
VUNO Inc.（VUNO公司）；Seoul National University College of Medicine（首尔大学医学院）；Seoul National University Bundang Hospital（首尔大学盆唐医院）
眼科医生经常检查眼底镜图像以发现异常病变并做出诊断。最近卷积神经网络的成功局限于诊断少数疾病，而没有适当的病变定位。在本文中，我们提出了一种有效的注释方法定位病变和CNN架构，可以分类一个单独的发现，并在同一时间定位病变。此外，我们引入了一个新的损失函数，以指导网络学习有意义的模式与指导的区域注释。在实验中，我们证明了我们的网络比广泛使用的网络表现得更好，引导损失有助于实现高达4.1%的AUROC和卓越的定位能力。
2018-11-02 cs.CV
Learning Contextual Dependencies with Convolutional Hierarchical Recurrent Neural Networks
Nanyang Technological University（南洋理工大学）
现有的深度卷积神经网络（CNN）在图像分类方面取得了巨大成功。CNN主要由卷积层和池化层组成，这两个层都是在局部图像区域上执行的，而不考虑不同图像区域之间的依赖性。然而，这种依赖关系是非常重要的生成显式的图像表示。相比之下，循环神经网络（RNN）以其在序列数据中编码上下文信息的能力而闻名，并且它们只需要有限数量的网络参数。一般的RNN很难直接应用于非序列数据。因此，我们提出了层次RNN（HRNN）。在HRNN中，每个RNN层专注于对来自相同尺度但不同位置的图像区域之间的空间依赖性进行建模。而交叉RNN尺度连接的目标是对同一位置但不同尺度的区域之间的尺度依赖关系进行建模。具体来说，我们提出了两种递归神经网络模型：1）层次简单递归网络（HSRN），它具有速度快、计算量小的特点; 2）层次长短期记忆递归网络（HLSTM），它的性能优于HSRN，但代价是计算量大。在本文中，我们将CNN与HRNN集成，并开发端到端卷积分层循环神经网络（C-HRNN）。C-HRNN不仅利用了CNN的表示能力，而且还有效地编码了不同图像区域之间的空间和尺度依赖性。在四个最具挑战性的对象/场景图像分类基准测试中，我们的C-HRNN在Places 205、SUN 397、MIT室内测试中取得了最先进的结果，在ILSVRC 2012上取得了有竞争力的结果。
2016-02-07 cs.CV
Context-Aware Learning using Transferable Features for Classification of Breast Cancer Histology Images
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；University Hospitals Coventry & Warwickshire（考文垂与沃里克郡大学医院）
卷积神经网络（CNN）最近已被用于各种组织学图像分析。然而，大数据集的可用性是训练CNN的主要先决条件，这限制了计算病理学社区对其的使用。在以前的研究中，CNN已经证明了它们在特征概括性和可转移性方面的潜力，并具有更好的性能。考虑到CNN的这些特点，我们提出了一种简单而有效的方法，该方法利用了CNN的优势，结合了包括上下文信息的优势，特别是针对小数据集设计的。我们的方法包括两个主要步骤：首先，它使用CNN的激活特征训练的基于补丁的分类，然后它训练一个单独的分类器使用重叠补丁的功能执行基于图像的分类使用上下文信息。所提出的框架优于最先进的乳腺癌分类方法。
2018-03-06 cs.CV
Seeing the Big Picture: Deep Embedding with Contextual Evidences
Tsinghua University（清华大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在基于词袋模型的图像检索任务中，视觉匹配的精度对提高检索性能起着至关重要的作用。常规地，采用关键点的局部线索。然而，这种策略没有考虑关键点的上下文证据，这将导致错误匹配的流行。为了解决这个问题，本文将“真匹配”定义为在三个级别上相似的一对关键点，即，本地、区域和全球。然后，建立一个原则性的概率框架，这是能够隐式地集成从所有这些特征水平的判别线索。具体地说，卷积神经网络（CNN）被用来从区域和全局补丁中提取特征，从而产生所谓的“深度嵌入”框架。CNN在图像分类和检测等十几个计算机视觉任务上表现出了优异的性能，但在基于BoW的图像检索方面却鲜有研究。在本文中，首先，我们表明，适当的预处理技术是必要的有效利用CNN功能。然后，在尝试将其融入我们的模型中时，引入了一种称为“深度索引”的新型索引结构，该结构大大减少了内存使用。在三个基准数据集上的实验表明，本文提出的深度嵌入方法在融合CNN特征的情况下，极大地提高了检索精度。我们表明，我们的方法是有效的内存和时间成本方面，并与最先进的方法相比毫不逊色。
2014-06-01 cs.CV
Robots Understanding Contextual Information in Human-Centered Environments using Weakly Supervised Mask Data Distillation
人类环境中的上下文信息，如标志，符号和对象，为机器人提供了用于探索和导航的重要信息。为了从在这些环境中获得的复杂图像中识别和分割上下文信息，使用诸如卷积神经网络（CNN）的数据驱动方法。然而，这些方法需要大量的人工标记的数据，这是缓慢和耗时的获得。弱监督方法通过生成伪分割标签（PSL）来解决这一限制。在本文中，我们提出了一种新的弱监督掩码数据蒸馏（WeSuperMaDD）架构，用于使用未专门针对上下文分割任务训练的CNN自主生成PSL;即，WeSuperMaDD使用从稀疏和有限的多样性数据中学习的图像特征独特地生成PSL;常见于以人为中心的环境（商场，杂货店）中的机器人导航任务。我们提出的架构使用了一个新的掩模细化系统，自动搜索PSL与最少的前景像素，满足成本约束。这消除了对手工制作的启发式规则的需要。大量的实验成功地验证了WeSuperMaDD在多个室内/室外环境中为具有各种比例、字体和视角的文本的数据集生成PSL的性能。与Naive、GrabCut和Pyramid方法的比较发现，标签和分割质量有了显著提高。此外，使用WeSuperMaDD架构训练的上下文分割CNN与使用Naive PSLs训练的上下文分割相比，在准确性方面实现了可测量的改进。我们的方法在真实数据集上的性能也与现有的最先进的文本检测和分割方法相当，而不需要分割标签进行训练。
2020-12-15 cs.CV cs.RO
Signal Strength and Noise Drive Feature Preference in CNN Image Classifiers
Wesleyan University（卫斯理大学）
卷积神经网络（CNN）图像分类器中的特征偏好是其决策过程中不可或缺的一部分，虽然该主题已经得到了很好的研究，但仍然没有在基础层面上得到理解。我们测试了一系列任务相关的特征属性（包括形状，纹理和颜色）与不同程度的信号和噪声在高度控制的CNN图像分类实验使用合成数据集，以确定特征偏好。我们发现，CNN更喜欢信号强度更强、噪声更低的特征，而不管特征是纹理、形状还是颜色。这为任务相关特征偏好的预测模型提供了指导，展示了通过仔细控制实验设置可以避免的机器模型中的偏差路径，并建议应该重新审视人类和机器如何在视觉分类任务中偏好任务相关特征的比较。在\url{https://github.com/mwolff31/signal_preference}中可以找到本文中再现实验的代码。
2022-01-19 cs.CV cs.LG
Self-Attention-Based Contextual Modulation Improves Neural System Identification
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出用自注意力机制改进CNN的视觉皮层神经响应预测，发现其可提升调谐曲线相关性和峰值调谐，且与全连接读出层互补，增量分解学习感受野与上下文调制有效。
2025-02-28 cs.CV q-bio.NC
Self-supervised Learning of Contextualized Local Visual Embeddings
Institute of Computing（计算研究所）；University of Campinas（坎皮纳斯大学）；Department of Informatics（信息学系）；University of Oslo（奥斯陆大学）
提出自监督卷积方法 CLoVE，通过归一化多头自注意力层学习上下文局部嵌入，在 4 项密集预测任务中实现 CNN 架构的 SOTA 性能。
2023-10-04 cs.CV
An intelligent approach towards automatic shape modeling and object extraction from satellite images using cellular automata based algorithm
MANIT-Bhopal（曼尼特-博帕尔）
自动特征提取领域在过去的十年中已经见证了许多智能方法的应用，然而这些方法的检测精度受到限制，因为对象的几何形状和上下文知识没有得到足够的考虑。在本文中，我们提出了一个框架工作的准确检测功能，自动插值，并解释建模特征形状以及上下文知识，使用先进的技术，如SVRF，细胞神经网络，核心集，和MACA。已开发的方法进行了比较，与当代方法使用不同的统计措施。对各种卫星图像的调查表明，CNN的做法取得了相当大的成功。CNN在有效地对不同的复杂特征进行建模方面是有效的，并且使用紧身胸衣优化大大降低了该方法的复杂性。该系统使用CNN-Prolog方法动态地使用光谱和空间信息来表示上下文知识。该系统在提供智能插值和解释随机特征方面也被证明是有效的。
2013-03-27 cs.CV
Maintaining Natural Image Statistics with the Contextual Loss
The Technion - Israel（以色列理工学院）
保持自然的图像统计是恢复和生成逼真图像的关键因素。在训练CNN时，通常通过对抗训练（GAN）来尝试照片现实主义，这会将输出图像推到自然图像的流形上。GANs非常强大，但并不完美。他们很难训练，结果仍然经常受到人为因素的影响。在本文中，我们提出了一种互补的方法，可以应用或没有GAN，其目标是训练前馈CNN，以保持自然的内部统计。我们明确地查看图像中特征的分布，并训练网络以生成具有自然特征分布的图像。我们的方法将训练所需的图像数量减少了几个数量级，并在单图像超分辨率和高分辨率表面法线估计方面取得了最先进的结果。
2018-07-18 cs.CV
Contextual Embedding Learning to Enhance 2D Networks for Volumetric Image Segmentation
Shenzhen University（深圳大学）；Shenzhen University Medical School（深圳大学医学院）；School of Biomedical Engineering（生物医学工程学院）；Huawei Cloud Computing Technologies Company Limited（华为云计算技术有限公司）；Shenzhen University General Hospital（深圳大学总医院）
针对传统2D CNN难以利用体数据空间相关性、3D CNN内存计算开销大的问题，提出上下文嵌入学习方法，通过逐切片邻域匹配传递上下文信息，以即插即用且内存高效的方式增强2D网络的体数据医学图像分割性能，在PROMISE12和CHAOS数据集上验证有效。
2024-05-18 cs.CV eess.IV
Breast Ultrasound Tumor Classification Using a Hybrid Multitask CNN-Transformer Network
University of Idaho（爱达荷大学）
提出混合多任务网络Hybrid-MT-ESTAN，结合CNN与Swin Transformer进行乳腺超声肿瘤分类与分割，在3320张图像数据集上取得82.7%准确率等最优结果。
2023-08-04 cs.CV cs.LG eess.IV
The Contextual Loss for Image Transformation with Non-Aligned Data
Technion - Israel Institute of Technology（以色列理工学院）
针对图像变换问题训练的前馈CNN依赖于损失函数，该损失函数测量生成的图像与目标图像之间的相似性。大多数常见的损失函数假设这些图像在空间上对齐，并比较相应位置处的像素。然而，对于许多任务，对齐的训练图像对将不可用。我们提出了一个替代的损失函数，不需要对齐，从而提供了一个有效的和简单的解决方案，为一个新的空间的问题。我们的损失是基于上下文和语义的-它比较具有相似语义的区域，同时考虑整个图像的上下文。因此，例如，当将一张脸的风格转换为另一张脸时，它将眼睛转换为眼睛，嘴巴转换为嘴巴。我们的代码可以在https://www.github.com/roimehrez/contextualLoss上找到
2018-07-18 cs.CV cs.LG
T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；SenseTime Group Limited（商汤集团有限公司）；University of Toronto（多伦多大学）
目标检测的最新性能在过去两年中得到了显著提高。除了引入强大的深度神经网络（如GoogleNet和VGG）之外，R-CNN及其后继者Fast R-CNN和Faster R-CNN等新型目标检测框架在改进最新技术方面发挥了重要作用。尽管这些框架在静态图像上有效，但这些框架并不是专门为视频中的目标检测而设计的。视频的时间和上下文信息没有得到充分的研究和利用。在这项工作中，我们提出了一个深度学习框架，该框架结合了从视频中获得的tubelets的时间和上下文信息，这大大提高了现有静止图像检测框架应用于视频时的基线性能。它被称为T-CNN，即具有卷积神经网络的tubelets。提出的框架赢得了最近推出的视频对象检测（VID）任务，并在ImageNet大规模视觉识别挑战赛2015（ILSVRC 2015）中提供了数据。
2017-08-03 cs.CV
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
自监督视觉表示学习（SSL）的研究提高了编码器的骨干，以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能，但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发，我们提出了一个CNN注意力恢复（CARE）框架，以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流（C-stream）和Transformer流（T-stream）组成，其中每个流包含两个分支。C-stream遵循现有的SSL框架，具有两个CNN编码器，两个投影仪和一个预测器。T-stream包含两个Transformers，两个projector和一个predictor。T-Stream连接到CNN编码器，并与其余的C-Stream并行。在训练过程中，我们同时在两个流中执行SSL，并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强，并且变得适合于SSL场景。我们使用这些调制特征来监督C流，以学习专注的CNN编码器。为此，我们以Transformers为指导，重振CNN的关注。几个标准的视觉识别基准，包括图像分类，目标检测和语义分割的实验表明，所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
HTC-SGA Former: A Hybrid Transformer-CNN Network with Self-Guided Attention and a New Boundary-Weighted Adaptive Loss for Coronary DSA Vessel Segmentation
Shenzhen Institutes of Advanced Technology (SIAT)（深圳先进技术研究院）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Department of Biomedical Engineering and Systems, Faculty of Engineering（工程学院生物医学工程与系统系）；Cairo University（开罗大学）
提出HTC-SGA Former混合网络，通过CNN编码器提取局部血管形态、Transformer解码器建模上下文、MS-GLWA模块实现全局-局部注意力、SGFA模块增强弱血管响应及BWACL损失函数优化边界，在0.81M参数下超越14种方法，提升细血管恢复与连续性。
2026-07-09 cs.CV
Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance
Northwestern Polytechnical University（西北工业大学）
自监督深度估计在从未标记图像序列学习深度方面取得了巨大成功。虽然图像和像素级深度之间的映射在当前的方法中得到了很好的研究，但图像，深度和场景语义之间的相关性却很少考虑。这阻碍了网络更好地理解场景的真实几何形状，因为上下文线索不仅贡献了场景深度的潜在表示，而且还贡献了深度图的直接约束。在本文中，我们利用这两个好处，提出了精确的自我监督深度估计的隐式和显式语义指导。我们提出了一个语义感知的空间特征对齐（SSFA）计划，有效地对齐隐含的语义特征与深度特征的场景感知的深度估计。我们还提出了一个语义指导的排名损失明确限制估计的深度图与真实场景的上下文属性是一致的。语义标签噪声和预测不确定性都被认为是产生可靠的深度监督。大量的实验结果表明，我们的方法产生高质量的深度图，无论是在复杂的场景或不同的语义类别是一贯优越的，并优于国家的最先进的方法显着的利润。
2021-02-11 cs.CV
Weakly Supervised Human Skin Segmentation using Guidance Attention Mechanisms
University of Alicante（阿利坎特大学）
人体皮肤分割是计算机视觉和生物识别系统中的一项重要任务，但它带来了一些挑战，如肤色，姿势和光照的变化。本文提出了一种强大的数据驱动的皮肤分割方法，通过整合上下文信息和高效的网络设计来解决这些挑战。除了鲁棒性和准确性之外，集成到实时系统中还需要在计算能力、速度和性能之间进行仔细的平衡。该方法结合了两个注意力模块，身体注意力和皮肤注意力，利用上下文信息，以提高分割结果。这些模块将注意力吸引到所需的区域，分别关注身体边界和皮肤像素。此外，在编码器部分中采用了高效的网络架构，以在保持高性能的同时最小化计算能力。为了处理皮肤数据集中的噪声标签问题，所提出的方法使用弱监督训练策略，依赖于皮肤注意力模块。这项研究的结果表明，该方法是可比的，或优于，最先进的方法对基准数据集。
2023-02-09 cs.CV
Exploring contextual modeling with linear complexity for point cloud segmentation
Tsinghua University（清华大学）；Bosch Corporate Research（博世公司研究部门）
本文提出融合CNN与Mamba优势的MEEPO架构，通过移除因果卷积并设计跨步双向SSM，实现线性复杂度上下文建模，在点云分割基准上以更高速度和内存效率超越PTv3。
2024-10-28 cs.CV
Contextual Semantic Interpretability
Wageningen University（瓦赫宁根大学）；Oxford University（牛津大学）；CMAP, École Polytechnique（巴黎综合理工学院应用数学中心）；IRISA, University Bretagne Sud, CNRS（南布列塔尼大学、法国国家科学研究中心、IRISA）；EPFL（洛桑联邦理工学院）
已知卷积神经网络（CNN）学习捕获与任务相关的概念的图像表示，但是以妨碍模型可解释性的隐式方式这样做。然而，有人可能会说，这种表示隐藏在神经元中，可以通过教模型识别场景中存在的语义可解释属性来显式化。我们将这样的中间层称为\emph{semantic bottleneck}。一旦属性被学习，它们可以被重新组合以达到最终决策，并提供准确的预测和CNN决策背后的明确推理。在本文中，我们将探讨捕获上下文的语义瓶颈：我们希望属性在几个有意义的元素的组中，并共同参与最终决策。我们使用两层语义瓶颈，将属性收集到可解释的稀疏组中，允许它们根据上下文对最终输出做出不同的贡献。我们测试我们的上下文语义可解释的瓶颈（CSIB）的任务，景观scenicness估计和训练的语义可解释的瓶颈使用辅助数据库（SUN属性）。当应用于Flickr图像的真实测试集时，我们的模型产生的预测与不可解释的基线一样准确，同时为每个预测提供清晰和可解释的解释。
2020-09-18 cs.AI cs.CV cs.LG
Click Here: Human-Localized Keypoints as Guidance for Viewpoint Estimation
University of Michigan（密歇根大学）
我们激励和解决单目视点估计任务的人在回路中的变体，其中一个语义对象关键点的位置和类在测试时可用。为了利用关键点信息，我们设计了一种称为Click-Here CNN（CH-CNN）的卷积神经网络，它将关键点信息与处理图像的层的激活相集成。它将关键点信息转换为2D地图，可用于更重地加权图像某些部分的特征。这些空间特征的加权和与全局图像特征相结合，以向预测层提供相关信息。为了训练我们的网络，我们在数千个CAD模型上收集了一个新的3D关键点注释数据集，并综合渲染了数百万张具有2D关键点信息的图像。在PASCAL 3D+的测试实例中，我们的模型实现了90.7%的平均类准确率，而最先进的基线仅获得了85.7%的平均类准确率，证明了我们对人在回路推理的论点。
2017-08-04 cs.CV
IAUnet: Global Context-Aware Feature Learning for Person Re-Identification
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，基于CNN网络的人员重新识别（reID）取得了良好的性能。然而，大多数现有的基于CNN的方法没有充分利用时空上下文建模。事实上，全局时空背景可以极大地澄清局部干扰，以增强目标特征表示。为了全面利用时空上下文信息，在这项工作中，我们提出了一个新的块，交互聚合更新（IAU），高性能的人reID。首先介绍了时空IAU（STIAU）模块。STIAU将两种类型的上下文交互结合到用于目标特征学习的CNN框架中。在这里，空间交互学习计算单个帧的不同身体部位之间的上下文依赖性。而时间交互用于捕获跨所有帧的相同身体部位之间的上下文依赖性。此外，通道IAU（CIAU）模块的设计，以模拟通道功能之间的语义上下文的相互作用，以提高特征表示，特别是小规模的视觉线索和身体部位。因此，IAU块使该特征能够结合全局空间、时间和信道上下文。它是轻量级的，端到端可训练的，并且可以很容易地插入到现有的CNN中以形成IAUnet。实验表明，IAUnet在图像和视频reID任务上表现良好，并在一般对象分类任务上取得了令人信服的结果。源代码可在https://github.com/blue-blue272/ImgReID-IAnet上获得。
2020-09-02 cs.CV
Depth Edge Guided CNNs for Sparse Depth Upsampling
Chongqing University（重庆大学）；College of Computer Science（计算机学院）
引导稀疏深度上采样旨在当对齐的高分辨率彩色图像作为指导时，对不规则采样的稀疏深度图进行上采样。许多神经网络已被设计用于这一任务。然而，他们往往忽略了深度和彩色图像之间的结构差异，导致明显的伪影，如纹理复制和上采样深度处的深度模糊。受归一化卷积运算的启发，我们提出了一种引导卷积层，以深度边缘图像为指导，从稀疏和不规则的深度图像中恢复密集深度。我们的新型引导网络可以防止深度值穿过深度边缘，以促进上采样。我们进一步设计了一个卷积网络的基础上提出的卷积层，结合不同算法的优点，并取得更好的性能。我们进行了全面的实验，以验证我们的方法在真实世界的室内和合成室外数据集。我们的方法产生了强有力的结果。它在Virtual KITTI数据集和Middlebury数据集上的性能优于最先进的方法。它还在不同的3D点密度，各种照明和天气条件下具有强大的泛化能力。
2020-03-23 cs.CV
Global Guidance Network for Breast Lesion Segmentation in Ultrasound Images
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）；Inception Institute of Artificial Intelligence（启迪人工智能研究院）；The Hong Kong University of Science and Technology（香港科技大学）；Jinan University（暨南大学）；Southern University of Science and Technology（南方科技大学）；Chinese Academy of Sciences（中国科学院）
超声中的自动乳腺病变分割有助于诊断乳腺癌，这是影响全球女性的可怕疾病之一。由于乳腺超声图像固有的斑点伪影、模糊的乳腺病变边界以及乳腺病变区域内的不均匀强度分布，从超声图像中准确分割乳腺区域是一项具有挑战性的任务。最近，卷积神经网络（CNN）在医学图像分割任务中表现出了显着的效果。然而，CNN中的卷积操作通常集中于局部区域，这些局部区域在捕获输入超声图像的长程依赖性方面遭受有限的能力，从而导致降低的乳房病变分割准确度。在本文中，我们开发了一种深度卷积神经网络，配备了全局指导块（GGB）和乳腺病变边界检测（BD）模块，用于增强乳腺超声病变分割。GGB利用多层集成特征映射作为指导信息，从空间域和信道域学习远程非局部依赖性。BD模块学习额外的乳腺病变边界图，以提高分割结果细化的边界质量。在公共数据集和收集数据集上的实验结果表明，我们的网络优于其他医学图像分割方法和最近的语义分割方法对乳腺超声病变的分割。此外，我们还展示了我们的网络在超声前列腺分割上的应用，其中我们的方法比最先进的网络更好地识别前列腺区域。
2021-04-05 cs.CV cs.LG eess.IV
Exploring Inter-frequency Guidance of Image for Lightweight Gaussian Denoising
Xiaomi Camera（小米相机）
图像去噪在许多成像或计算机视觉相关领域中至关重要。随着卷积神经网络在计算机视觉领域表现出强大的应用能力，基于CNN的图像去噪方法也在不断提高。虽然基于CNN的图像去噪方法在这方面取得了很好的效果，但目前大多数基于CNN的图像去噪方法都试图直接学习从噪声图像到干净图像的映射，缺乏对图像和噪声的先验知识的明确探索。自然图像服从倒幂定律，即图像的低频带往往占据大部分能量。因此，在加性高斯白噪声（AGWN）恶化的条件下，低频带往往比高频带保持更高的PSNR。考虑到不同频带的空间形态一致性，可以使用更逼真的低频带作为指导，以细化污染更严重的高频带。基于这一思想，我们提出了一种新的网络架构表示为IGNet，以细化频带从低到高，在一个渐进的方式。该方法首先利用离散小波变换（DWT）迭代地将特征映射分解为高频子带和低频子带，然后利用每个低频子带特征对高频子带特征进行细化。最后，由解码器处理细化的特征图以恢复干净的结果。通过这种设计，利用了更多的频率间先验和信息，因此可以减轻模型的大小，同时仍然保持有竞争力的结果。在多个公开数据集上的实验表明，该模型具有轻量级的结构，与其他最先进的方法相比，具有竞争力的性能。
2021-12-22 cs.CV eess.IV
Deep Learning Model with GA based Feature Selection and Context Integration
深度学习模型在计算机视觉和图像处理应用中非常成功。自诞生以来，许多性能最好的图像分割方法都是基于深度CNN模型的。然而，深度CNN模型无法将全局和局部上下文与视觉特征集成在一起，尽管具有复杂的多层架构。我们提出了一种新颖的三层深度学习模型，该模型独立地融合或学习全局和局部上下文信息以及视觉特征。该模型的新颖之处在于，在视觉层引入One-vs-All二进制类学习器来学习遗传算法（GA）优化的特征，然后在上下文层学习图像的全局和局部上下文，最后在第三层最优地整合所有信息以获得最终的类标签。Stanford Background和CamVid基准图像解析数据集用于我们的模型评估，我们的模型显示出有希望的结果。实证分析表明，具有全局和局部上下文信息的优化视觉特征在提高准确性和产生与最先进的深度CNN模型相当的稳定预测方面发挥着重要作用。
2022-04-13 cs.AI cs.CV
SmallBigNet: Integrating Core and Contextual Views for Video Classification
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
时域卷积已被广泛用于视频分类。然而，它是在有限的视角下对时空背景进行的，这往往削弱了它学习视频表示的能力。为了缓解这个问题，我们提出了一个简洁而新颖的SmallBig网络，与合作的小和大的意见。对于当前时间步，小视图分支用于学习核心语义，而大视图分支用于捕获上下文语义。与传统的时间卷积不同，大视图分支可以从更广泛的3D感受野为小视图分支提供最活跃的视频特征。通过聚合这样的大视图上下文，小视图分支可以学习用于视频分类的更鲁棒和有区别的时空表示。此外，我们建议在小视图和大视图分支中共享卷积，这提高了模型的紧凑性并消除了过拟合。因此，我们的SmallBigNet实现了与2D CNN相当的模型大小，同时提高了3D CNN的准确性。我们在大规模视频基准上进行了广泛的实验，例如，Kinetics400，Something-Something V1和V2。我们的SmallBig网络在准确性和/或效率方面优于许多最先进的方法。代码和模型将在www.example.com上提供。
2020-06-25 cs.CV
When CNN Meet with ViT: Towards Semi-Supervised Learning for Multi-Class Medical Image Semantic Segmentation
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
针对医学图像分割标注稀缺问题，提出一种结合CNN与ViT的半监督框架，通过伪标签双视图协同训练和一致性感知引导，在公共基准上取得最先进性能。
2024-02-08 cs.CV eess.IV
FGN: Fully Guided Network for Few-Shot Instance Segmentation
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Wuhan University（武汉大学）
Few-Shot实例分割（FSIS）将少样本学习范式与一般实例分割结合起来，为在缺乏丰富标记数据的情况下解决实例分割问题提供了一种可能的方法。提出了一种用于Few-Shot实例分割的完全引导网络（FGN）。FGN将FSIS视为引导模型，其中所谓的支持集被编码并用于引导基本实例分割网络的预测（即，Mask R-CNN），其中关键的是指导机制。从这个角度来看，FGN在Mask R-CNN中的各个关键组件中引入了不同的指导机制，包括Attention-Guided RPN，Attention-Guided Detector和Attention-Guided FCN，以充分利用支持集的指导作用，更好地适应类间泛化。在公共数据集上的实验表明，我们提出的FGN可以优于最先进的方法。
2020-03-31 cs.CV
