Node Specificity in Convolutional Deep Nets Depends on Receptive Field Position and Size
U.C. Berkeley(加州大学伯克利分校);Redwood Center for Theoretical Neuroscience(雷德伍德理论神经科学中心)
在卷积深度神经网络中,感受野(RF)大小随着分层深度而增加。当RF大小接近输入图像的完全覆盖时,不同的RF位置导致具有不同特异性的RF,因为RF的部分落在输入空间之外。这导致了位置不变性的卷积概念的偏离,并为复杂形式的上下文特异性打开了可能性。
2015-11-23 cs.CV
SRF-Net: Selective Receptive Field Network for Anchor-Free Temporal Action Detection
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
时间动作检测是一个具有挑战性的任务,其目的是在时间上定位和识别未修剪的视频中的人的动作。当前主流的一阶段的锚定方法依赖于预定义的锚定,其中的位置和规模的动作实例是由设计师设置的本地化和分类的行动建议。显然,这种基于锚点的训练方法限制了其泛化能力,并且当视频包含丰富的动作变化时会导致性能下降。在这项研究中,我们探讨删除的要求,预先定义的锚的锚的方法。提出了一种新的分类器模型--选择性感受场网络(SRF-Net),该模型可以直接在特征图中估计每个时间位置的位置偏移量和分类得分,并以端到端的方式训练SRF-Net。创新性地,专门设计了称为选择性感受野卷积(SRFC)的构建块,其能够根据特征图中每个时间位置处的输入信息的多个尺度自适应地调整其感受野大小。在THUMOS 14数据集上进行了广泛的实验,并报告了与最先进的方法相比具有优越性的结果。
2021-06-29 cs.CV
Dilated Point Convolutions: On the Receptive Field Size of Point Convolutions on 3D Point Clouds
RWTH Aachen University(亚琛工业大学)
在这项工作中,我们提出了扩张点卷积(DPC)。在一个彻底的消融研究中,我们表明,感受野的大小直接关系到三维点云处理任务的性能,包括语义分割和对象分类。点卷积被广泛用于有效地处理3D数据表示,如点云或图形。然而,我们观察到最近的点卷积网络的感受野大小本质上是有限的。我们的扩张点卷积缓解了这个问题,它们显着增加了点卷积的感受野大小。重要的是,我们的膨胀机制可以轻松集成到大多数现有的点卷积网络中。为了评估由此产生的网络架构,我们可视化的感受野,并报告在流行的点云基准的竞争力得分。
2020-05-23 cs.CV
Complementary Network with Adaptive Receptive Fields for Melanoma Segmentation
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong SAR, China
皮肤镜图像中黑色素瘤的自动分割是皮肤癌计算机辅助诊断的关键。现有的方法可能会受到空洞和收缩的问题,有限的分割性能。为了解决这些问题,我们提出了一种新的互补网络与自适应接收字段学习。而不是独立的分割任务,我们引入了一个前景网络来检测黑色素瘤病变和一个背景网络来掩盖非黑色素瘤区域。此外,我们提出了自适应的atrous卷积(AAC)和知识聚合模块(KAM),以填补漏洞,缓解收缩问题。AAC在多个尺度上显式地控制感受野,KAM通过扩张卷积与自适应感受野卷积浅特征图,该自适应感受野根据深特征图进行调整。此外,提出了一种新的互损,利用前台和后台网络之间的依赖性,从而使这两个网络内的干扰影响。因此,这种相互训练策略使半监督学习和提高边界敏感性。使用皮肤成像协作(ISIC)2018皮肤病变分割数据集进行训练,我们的方法实现了86.4%的骰子系数,并且与最先进的黑色素瘤分割方法相比表现出更好的性能。
2020-01-12 cs.CV
Multi Receptive Field Network for Semantic Segmentation
Samsung Research China(三星中国研究院)
语义分割是计算机视觉中的关键任务之一,即为图像中的每个像素分配一个类别标签。尽管最近取得了重大进展,但大多数现有方法仍然存在两个具有挑战性的问题:1)图像中对象和东西的大小可能非常多样化,需要将多尺度特征纳入全卷积网络(FCN); 2)由于卷积网络的固有弱点,靠近或位于对象/东西边界处的像素难以分类。为了解决第一个问题,我们提出了一个新的多感受场模块(MRFM),明确考虑到多尺度功能。对于第二个问题,我们设计了一个边缘感知的损失,这是有效的区分对象/东西的边界。通过这两个设计,我们的多接收场网络在两个广泛使用的语义分割基准数据集上实现了新的最先进的结果。具体来说,我们在Cityscapes数据集上实现了83.0的平均IoU,在Pascal VOC 2012数据集上实现了88.4的平均IoU。
2022-09-07 cs.CV
GLGait: A Global-Local Temporal Receptive Field Network for Gait Recognition in the Wild
Beihang University(北京航空航天大学);Hangzhou Dianzi University(杭州电子科技大学)
针对野外步态识别中卷积时间感受野有限、Transformer难增强局部感受野的问题,提出GLGait网络,通过含PGTA和时间卷积的GLTM构建全局-局部时间感受野,结合中心增强三元组损失,在Gait3D、GREW数据集上取得SOTA结果。
2024-08-13 cs.CV
SDA-$x$Net: Selective Depth Attention Networks for Adaptive Multi-scale Feature Representation
University of Jinan(济南大学);Jiangnan University(江南大学)
现有的多尺度解决方案导致仅增加感受野大小而忽略小感受野的风险。因此,有效地构造自适应神经网络来识别各种空间尺度的目标是一个具有挑战性的问题。为了解决这个问题,我们首先引入一个新的注意力维度,即,深度,除了现有的注意维度,如通道,空间,和分支,并提出了一种新的选择性深度注意网络对称处理多尺度物体在各种视觉任务。具体地说,给定神经网络的每一级内的块,即,ResNet,输出共享相同分辨率但具有不同感受野大小的分层特征图。基于这种结构特性,我们设计了一个阶段式构建模块,即SDA,它包括一个主干分支和一个类似SE的注意分支。主干分支的块输出被融合以通过注意分支全局地引导它们的深度注意分配。根据所提出的注意力机制,我们可以动态地选择不同的深度特征,这有助于自适应地调整感受野大小的可变大小的输入对象。以这种方式,跨块信息交互导致沿深度方向的长程依赖性。与其他多尺度方法相比,我们的SDA方法结合了多个感受野从以前的块到阶段输出,从而提供了更广泛和更丰富的有效感受野范围。此外,我们的方法可以作为一个可插拔的模块,以其他多尺度网络以及注意力网络,创造为SDA- $x$ Net。它们的组合进一步将有效感受野的范围扩展到小感受野,从而实现可解释的神经网络。我们的源代码可以在\url{https://github.com/QingbeiGuo/SDA-xNet.git}上找到。
2022-09-21 cs.CV
A Visually Attentive Splice Localization Network with Multi-Domain Feature Extractor and Multi-Receptive Field Upsampler
本文提出一种视觉注意力拼接定位网络,通过多域特征提取、注意力下采样和多感受野上采样,在CASIA v2.0上以0.851 IoU等指标超越现有方法。
2024-01-13 cs.CV
Piece-wise Matching Layer in Representation Learning for ECG Classification
School of Informatics, Computing and Cyber Systems(信息、计算与网络系统学院);Northern Arizona University(北亚利桑那大学)
本文提出分段匹配层作为心电图(ECG)分类表示学习方法中的一种新层。尽管表示学习方法在时间序列分析中表现出色,但这些方法仍然存在一些挑战,包括方法结构复杂,解决方案缺乏通用性,需要专家知识和大规模训练数据集。我们引入了基于两个级别的分段匹配层,以解决上述一些挑战。在第一级,一组形态,统计和频率特征和比较形式的基础上,每个周期性的部分和它的邻居计算。在第二级,这些功能修改预定义的转换功能的基础上的感受野的情况。离线处理、增量处理、固定滑动感受野和基于事件的触发感受野的几种场景可以基于指示感受野的长度和机制的选择来实现。我们提出了动态时间包装作为一种机制,表示一个基于事件触发策略的感受野。为了评估该方法在时间序列分析中的性能,我们将该层应用于2015年和2017年PhysioNet竞赛的两个公开数据集,其中输入数据是ECG信号。我们将我们的方法的性能与来自专家知识,机器学习,深度学习方法及其组合的各种已知调优方法进行了比较。所提出的方法在2015年和2017年的两个已知完成中相应地提高了约4%和7%的最新技术水平,同时它不依赖于心律失常的类别或可能位置的预先知识。
2020-09-26 cs.CV cs.LG eess.IV
A Foreground Inference Network for Video Surveillance Using Multi-View Receptive Field
University of Windsor(温莎大学)
前景(FG)像素标记在视频监控中起着至关重要的作用。最近的工程解决方案已经尝试利用最初针对图像分类的深度学习(DL)模型的功效来处理FG像素标记。这种策略的一个主要缺点是当训练样本有限时,缺乏对视觉对象的描绘。为了解决这个问题,我们引入了一个多视图感受野全卷积神经网络(MV-FCN),它利用了最近的开创性思想,如全卷积结构,初始模块和剩余网络。由此,我们实现了一个系统的编码器-解码器的方式,包括一个核心和两个互补的功能流路径。该模型利用初始模块在早期和晚期阶段与三个不同大小的感受野捕捉在不同尺度的不变性。在编码阶段学习的特征在解码阶段通过残差连接与适当的特征图融合,以实现增强的空间表示。这些多视图感受野和残余特征连接预计将产生高度概括的功能,用于精确的像素级FG区域识别。然后,用数据库特定的示例性分割来训练它以预测期望的FG对象。在11个基准数据集上的对比实验结果验证了该模型与现有算法和最新算法相比具有非常有竞争力的性能。我们还报告了如何以及一个迁移学习的方法可以是有用的,以提高我们提出的MV-FCN的性能。
2018-01-19 cs.CV
Depth Adaptive Deep Neural Network for Semantic Segmentation
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
在这项工作中,我们提出了深度自适应深度神经网络使用深度图的语义分割。典型的深度神经网络在预定位置处接收输入,而不管距相机的距离如何。这种固定的感受野对在神经网络中概括不同距离处的对象的特征提出了挑战。具体地,预定的感受野在短距离处太小,反之亦然。为了克服这一挑战,我们开发了一个神经网络,它能够适应的感受野不仅为每一层,而且为每个神经元在空间位置。为了调整感受野,我们提出了由自适应感知神经元和层内多尺度神经元组成的深度自适应多尺度(DaM)卷积层。自适应感知神经元使用相应的深度信息来调整每个空间位置处的感受野。层内多尺度神经元是在每个特征空间应用不同大小的感受野来学习多个尺度的特征。所提出的DaM卷积被应用于两个完全卷积神经网络。我们证明了所提出的神经网络的有效性公开可用的RGB-D数据集的语义分割和新的手分割数据集的手对象交互。实验结果表明,该方法优于国家的最先进的方法,没有任何额外的层或前/后处理。
2018-01-29 cs.CV
Sparse Global Matching for Video Frame Interpolation with Large Motion
Nanjing University(南京大学);SenseTime Research(商汤科技研究院);Shanghai AI Lab(上海人工智能实验室)
针对大运动下视频帧插值性能受限的问题,提出融合初始光流与稀疏全局匹配补偿的新流水线,在大运动基准子集上达到SOTA性能。
2024-08-19 cs.CV
VMRFANet:View-Specific Multi-Receptive Field Attention Network for Person Re-identification
Suning Commerce R&D Center USA(苏宁美国研发中心)
人员重新识别(re-ID)的目的是在不同的摄像机中检索同一个人。在实践中,它仍然是一个具有挑战性的任务,由于背景杂乱,身体姿势和视图条件的变化,不准确的限界框检测等,为了解决这些问题,在本文中,我们提出了一种新的多感受野注意(MRFA)模块,利用各种大小的过滤器,以帮助网络集中在信息像素。此外,我们提出了一个特定于视图的机制,指导注意模块处理视图条件的变化。此外,我们引入了高斯水平随机裁剪/填充方法,进一步提高了我们提出的网络的鲁棒性。综合实验证明了各组成部分的有效性。我们的方法在Market-1501上的rank-1 / mAP达到95.5% / 88.1%,在DukeMTMC-reID上达到88.9% / 80.0%,在CUHK 03标记数据集上达到81.1% / 78.8%,在CUHK 03检测数据集上达到78.9% / 75.3%,优于当前最先进的方法。
2020-01-21 cs.CV
PARF-Net: integrating pixel-wise adaptive receptive fields into hybrid Transformer-CNN network for medical image segmentation
School of Information Engineering, Ningxia University(宁夏大学信息工程学院)
针对混合 Transformer-CNN 固定感受野及依赖融合不足的问题,本文提出 PARF-Net,利用逐像素自适应卷积和轻量混合模块提升医学图像分割性能。
2025-01-06 cs.CV
RFAConv: Receptive-Field Attention Convolution for Improving Convolutional Neural Networks
College of Computer and Information Science, Chongqing Normal University(重庆师范大学计算机与信息科学学院);Chongqing Engineering Research Center of Educational Big Data Intelligent Perception and Application(教育大数据智能感知与应用重庆工程研究中心);College of Electronic and Information Engineering, Southwest University(西南大学电子与信息工程学院)
RFAConv通过接收场注意力机制改进卷积神经网络,提升性能同时保持低计算开销
2026-02-28 cs.CV
Receptive Field Block Net for Accurate and Fast Object Detection
Beijing Advanced Innovation Center for Big Data and Brain Computing(北京大数据与脑计算高精尖创新中心);Beihang University(北京航空航天大学)
目前性能最好的对象检测器依赖于深度CNN骨干,如ResNet-101和Inception,受益于其强大的特征表示,但计算成本高。相反,一些轻量级的基于模型的检测器满足实时的处理,而他们的精度往往受到批评。在本文中,我们探索了一种替代方案,通过使用手工制作的机制来加强轻量级功能,从而构建快速准确的检测器。受人类视觉系统中感受野结构的启发,本文提出了一种新的RFB模块,该模块考虑了感受野大小与偏心率之间的关系,以提高特征的可分辨性和鲁棒性。我们进一步将RFB组装到SSD的顶部,构建RFB Net检测器。为了评估其有效性,在两个主要基准上进行了实验,结果表明,RFB Net能够在保持实时速度的同时达到高级非常深的检测器的性能。代码可在https://github.com/ruinmessi/RFBNet上获得。
2018-07-26 cs.CV
Multiple receptive fields and small-object-focusing weakly-supervised segmentation network for fast object detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Science(中国科学院大学);Didi Chuxing(滴滴出行)
目标检测在各种视觉应用中起着重要的作用。然而,探测器的精度和速度往往是矛盾的。快速探测器精度下降的一个主要原因是小目标难以被探测到。为了解决这个问题,我们提出了一个多感受野和小目标聚焦弱监督分割网络(MRFSWSnet),以实现快速目标检测。在MRFSWSnet中,多感受野块(MRF)用于关注目标及其相邻背景的不同空间位置,并使用不同的权重来增强特征的可区分性。此外,为了提高小目标检测的准确率,在检测网络中集成了小目标聚焦的弱监督分割模块进行辅助训练,以提高小目标检测的准确率。大量的实验表明,我们的方法在PASCAL VOC和MS COCO检测数据集上的有效性。特别是,在300x300的较低分辨率版本下,MRFSWSnet在VOC 2007测试中实现了80.9%mAP,推理速度为每帧15毫秒,是实时检测器中最先进的检测器。
2019-05-22 cs.CV
Modelling and analysis of the 8 filters from the "master key filters hypothesis" for depthwise-separable deep networks in relation to idealized receptive fields based on scale-space theory
KTH Royal Institute of Technology(皇家理工学院);TU Wien(维也纳技术大学)
本文基于尺度空间理论,分析了深度可分离网络中8个'主钥匙滤波器',通过建模理想化感受野,展示了学习滤波器可被离散尺度空间滤波器近似。
2026-02-23 cs.CV
Understanding the Effective Receptive Field in Deep Convolutional Neural Networks
University of Toronto(多伦多大学)
我们研究了深度卷积网络中单元的感受野特性。在许多视觉任务中,感受野的大小是一个至关重要的问题,因为输出必须对图像中足够大的区域做出响应,以捕获有关大型物体的信息。我们介绍了一个有效的感受野的概念,并表明,它既有一个高斯分布,只占一小部分的完整的理论感受野。本文分析了几种结构设计中的有效感受野,以及非线性激活、丢弃、子采样和跳跃连接对有效感受野的影响,并提出了解决有效感受野过小的建议。
2017-01-25 cs.AI cs.CV cs.LG
Multi-scale Receptive Fields Graph Attention Network for Point Cloud Classification
Shanghai Jiao Tong University(上海交通大学);Foshan Woman and Children’s Hospital(佛山市妇幼保健院)
由于点云数据的不规则性和稀疏性,理解点云数据的含义仍然是实现分类或分割目标的一个挑战。PointNet架构作为点云领域的一个突破性的研究成果,能够直接在无序的三维点云上高效地学习形状特征,并取得了良好的性能。然而,该模型没有考虑点云局部结构的细粒度语义信息。之后,提出了许多有价值的工作,以提高PointNet的性能,通过局部补丁的点云的语义特征。本文提出了一种多尺度感受野图注意网络(MRFGAT)用于点云分类。通过关注点云的局部精细特征,并应用基于通道亲和度的多注意模块,我们的网络学习特征映射可以很好地捕捉点云的丰富特征信息。在ModelNet10和ModelNet40数据集上测试了所提出的MRFGAT架构,结果表明它在形状分类任务中实现了最先进的性能。
2020-09-28 cs.CV
Dead Pixel Test Using Effective Receptive Field
Pohang University of Science and Technology(浦项科技大学)
深度神经网络已被应用于各个领域,但其内部行为并不为人所知。在这项研究中,我们讨论了卷积神经网络(CNN)的两个违反直觉的行为。首先,我们评估了感受野的大小。以前的研究试图增加或控制感受野的大小。然而,我们观察到,感受野的大小并不能描述分类精度。感受野的大小不适合代表性能的优越性,因为它只反映深度或内核大小,而不反映其他因素,如宽度或基数。第二,使用有效感受野,我们检查了对输出有贡献的像素。直观地说,每个像素都应该对最终输出做出同样的贡献。然而,我们发现,存在的像素在一个部分死的状态,对输出的贡献很小。我们揭示了这一点的原因在于CNN的架构,并讨论解决方案,以减少这种现象。有趣的是,对于一般的分类任务,死像素的存在改善了CNN的训练。然而,在捕获小扰动的任务中,死像素降低了性能。因此,在CNN的实际应用中,应该理解和考虑这些死像素的存在。
2021-08-31 cs.CV
Semantic Segmentation for Point Cloud Scenes via Dilated Graph Feature Aggregation and Pyramid Decoders
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
点云的语义分割通过密集预测每个点的类别来产生对场景的全面理解。由于感受野的单一性,点云的语义分割对于多感受野特征的表达具有挑战性,容易导致空间结构相似的实例误分类。在本文中,我们提出了一个图卷积网络DGFA-Net植根于扩张图特征聚合(DGFA),通过金字塔解码器计算的多基聚合损失(MALoss)的指导。为了配置多感受野特征,DGFA以所提出的扩张图卷积(DGConv)为基本构建块,通过捕获具有各种感受区域的扩张图来聚合多尺度特征表示。通过同时考虑不同分辨率的点集作为计算基础对感受野信息进行惩罚,针对感受野基础的多样性,引入MALoss驱动的金字塔解码器。结合这两个方面,DGFA-Net显着提高分割性能的实例具有相似的空间结构。在S3 DIS、ShapeNetPart和Toronto-3D上的实验表明,DGFA-Net的性能优于基线方法,实现了新的最先进的分割性能。
2022-11-03 cs.CV
PANet: Perspective-Aware Network with Dynamic Receptive Fields and Self-Distilling Supervision for Crowd Counting
人群计数旨在学习人群密度分布并估计图像中对象(例如人)的数量。透视效应对数据点的分布有重要影响,在人群计数中起着重要作用。在本文中,我们提出了一种新的视角感知方法称为PANet来解决的角度问题。基于观察到的物体的大小变化很大,在一个图像中,由于透视效果,我们提出了动态感受野(DRF)框架。该框架能够根据输入图像通过扩张的卷积参数来调整感受野,这有助于模型为每个局部区域提取更多的区分特征。与以往大多数使用高斯核函数生成密度图作为监督信息的方法不同,本文提出了自蒸馏监督训练方法。地面实况密度图从第一个训练阶段细化,透视信息在第二阶段提取到模型中。在上海理工大学Part_A和Part_B、UCF_QNRF和UCF_CC_50数据集上的实验结果表明,我们提出的PANet方法的性能大大优于现有的方法。
2022-08-18 cs.CV
HDAM: Heuristic Difference Attention Module for Convolutional Neural Networks
注意力机制是增强卷积神经网络的重要先验知识之一。大多数注意力机制都绑定到卷积层,并使用局部或全局上下文信息来重新校准输入。这是一种流行的注意力策略设计方法。全局上下文信息有助于网络考虑整体分布,而局部上下文信息则更一般。上下文信息使网络关注特定感受野的平均值或最大值。与大多数注意力机制不同,本文提出了一种新的基于启发式差异注意力模块的注意力机制HDAM。HDAM的输入重新校准是基于局部和全局上下文信息之间的差异,而不是平均值和最大值。同时,为了使不同层次的局部感受野具有更合适的大小,增加局部感受野设计的灵活性,我们采用遗传算法来启发式地产生局部感受野。首先,HDAM提取整体和局部感受野的平均值作为相应的上下文信息。然后计算全局和局部上下文信息之间的差异。最后,HDAM使用此差异来重新校准输入。此外,我们利用遗传算法的启发式能力来搜寻每一层的局部感受野大小。我们在CIFAR-10和CIFAR-100上的实验表明,HDAM可以使用比其他注意力机制更少的参数来实现更高的准确性。我们使用Python库Pytorch实现HDAM,代码和模型将公开提供。
2022-03-19 cs.CV
Progressive Meta-Pooling Learning for Lightweight Image Classification Model
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院)
边缘设备的实际网络采用浅深度和小卷积核来节省内存和计算成本,这导致了有限的感受野。传统的高效学习方法集中于轻量级卷积设计,忽略了感受野在神经网络设计中的作用。在本文中,我们提出了元池框架,使感受野可学习的轻量级网络,其中包括参数化池为基础的操作。具体来说,我们引入了一个参数化的空间增强器,它是由池化操作,为每一层的轻量级模型提供通用的感受野。然后,我们提出了一个渐进的元池学习(PMPL)策略的参数化空间增强器,以获得一个合适的感受野大小。ImageNet数据集上的结果表明,使用Meta-Pooling的MobileNetV 2达到了74.6%的top1准确率,比MobileNetV 2高出2.3%。
2023-01-24 cs.CV
Interpretation of ResNet by Visualization of Preferred Stimulus in Receptive Fields
The University of Electro-Communications(电气通信大学)
图像识别中使用的方法之一是深度卷积神经网络(DCNN)。DCNN是一种通过加深CNN的隐藏层来大大提高特征表达能力的模型。CNN的架构是基于哺乳动物视觉皮层的模型确定的。有一种称为残差网络(ResNet)的模型具有跳过连接。ResNet在学习方法方面是一种先进的模型,但尚未从生物学的角度对其进行解释。在这项研究中,我们研究了ResNet在ImageNet分类任务中的感受野。我们发现ResNet具有方向选择神经元和双对立颜色神经元。此外,我们认为ResNet第一层中的一些不活跃的神经元会影响分类任务。
2020-07-09 cs.CV
Structured Receptive Fields in CNNs
University of Amsterdam(阿姆斯特丹大学);TU Delft(代尔夫特理工大学)
当训练数据有限时,使用CNN学习强大的特征表示是困难的。预训练是克服这一问题的一种方法,但它需要与目标领域足够相似的大型数据集。另一种选择是将先验设计到模型中,其范围可以从调整的超参数到完全工程化的表示,如散射网络。我们将这些想法结合到结构化的感受野网络中,这种模型具有固定的过滤器基础,但保留了CNN的灵活性。这种灵活性是通过将CNN中的感受野表示为固定基础上的加权和来实现的,这与散射网络的精神相似。关键的区别在于,我们从基础中学习任意有效的滤波器集,而不是对滤波器进行建模。这种方法明确地将经典的多尺度图像分析与一般的CNN连接起来。通过结构化感受野网络,我们大大改善了中小型数据集场景的非结构化CNN以及大型数据集的散射。我们验证了ILSVRC 2012,Cifar-10,Cifar-100和MNIST的研究结果。作为一个现实的小数据集的例子,我们展示了流行的3D MRI脑疾病数据集的最先进的分类结果,由于缺乏类似领域的大型公共数据集,预训练是困难的。
2016-05-13 cs.CV
ReGLA: Efficient Receptive-Field Modeling with Gated Linear Attention Network
University of Science and Technology of China(中国科学技术大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
ReGLA通过结合高效卷积与门控线性注意力,实现了高分辨率图像的高效建模,在ImageNet-1K上达到80.85%的Top-1精度,同时保持低延迟和优越的下游任务性能。
2026-02-05 cs.CV
Integrating Multiple Receptive Fields through Grouped Active Convolution
Korea Advanced Institute of Science and Technology(韩国科学技术院)
卷积网络在各种视觉任务中取得了巨大成功。这主要是由于对网络结构进行了大量的研究。在这项研究中,我们关注的不是架构,而是卷积单元本身。现有的卷积单元具有固定的形状,并且仅限于观察受限的感受野。在早期的工作中,我们提出了主动卷积单元(ACU),它可以自由定义其形状并自行学习。在本文中,我们提供了一个详细的分析,以前提出的单位,并表明它是一个有效的表示稀疏权重卷积。此外,我们将一个ACU扩展为一个分组的ACU,它可以在一个层中观察多个感受野。我们发现,一个天真的分组卷积的性能下降,通过增加组的数量;然而,所提出的单元保持准确性,即使参数的数量减少。在此基础上,我们提出了一种降维ACU,各种实验表明,我们的单元是有效的,可以取代现有的卷积。
2019-02-11 cs.CV
3D Wavelet Convolutions with Extended Receptive Fields for Hyperspectral Image Classification
iFLYTEK(讯飞科技);Aegon THTF(南京熊猫汉达科技有限公司)
针对高光谱图像分类中深度神经网络面临的过拟合与泛化能力有限问题,提出集成小波变换的改进3D-DenseNet模型WCNet,通过小波卷积扩展感受野并增强低频响应,在IN、UP、KSC数据集上性能优于主流方法。
2025-04-15 cs.CV
Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution
Nanjing University of Posts and Telecommunications(南京邮电大学);Soochow University(苏州大学);Shanghai University(上海大学);Nanjing University of Science and Technology(南京理工大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对现有Transformer超分方法忽视动态上下文特征提取的问题,提出融合CNN与Transformer的轻量CFIN网络,通过跨尺度聚合和跨感受野引导Transformer实现高效重建,在性能与计算成本间取得良好平衡。
2023-04-29 cs.CV
Log-Polar Space Convolution for Convolutional Neural Networks
Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室);Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学)
卷积神经网络使用规则四边形卷积核来提取特征。由于参数的数量随着卷积核的大小呈二次方增加,因此许多流行的模型使用小卷积核,导致较低层的局部感受野较小。提出了一种新的对数极空间卷积(LPSC)方法,卷积核为椭圆形,并根据相对方向和对数距离自适应地将局部感受野划分为不同的区域。局部感受野随距离水平的数量呈指数增长。因此,所提出的LPSC不仅自然地编码局部空间结构,而且在保持参数数量的同时大大增加了单层感受野。我们表明,LPSC可以通过对数极坐标空间池用传统卷积实现,并且可以应用于任何网络架构以取代传统卷积。在不同任务和数据集上的实验证明了所提出的LPSC的有效性。代码可在https://github.com/BingSu12/Log-Polar-Space-Convolution上获得。
2021-07-26 cs.CV
Event detection in coarsely annotated sports videos via parallel multi receptive field 1D convolutions
University of Waterloo(滑铁卢大学)
在诸如体育视频分析的问题中,由于冗长的视频和庞大的视频数据量,很难获得准确的帧级注释和准确的事件持续时间。这个问题在冰球等快节奏运动中更为突出。在粗略的尺度上获得注释可能更加实用和省时。我们提出了粗注释视频中的事件检测任务。我们为所提出的任务引入了一个多塔时间卷积网络架构。该网络在多个感受野的帮助下,处理不同时间尺度的信息,以解释事件确切位置和持续时间的不确定性。我们通过适当的消融研究证明了多感受野结构的有效性。该方法在两个任务上进行评估-NHL数据集中粗略注释的曲棍球视频中的事件检测和SoccerNet数据集中的足球事件检测。这两个数据集缺乏帧级注释,并且具有非常不同的事件频率。实验结果证明了网络的有效性,通过获得55%的平均F1分数的NHL数据集,并通过实现竞争力的性能相比,最先进的SoccerNet数据集。我们相信我们的方法将有助于开发更实用的体育视频事件检测管道。
2020-04-13 cs.CV
MobileMamba: Lightweight Multi-Receptive Visual Mamba Network
Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室);Huazhong University of Science and Technology(华中科技大学)
本文提出 MobileMamba 轻量级视觉网络,通过三阶段结构、多感受野特征交互模块及训练测试策略,在保持高精度同时显著提升推理速度,实现速度与精度的最优平衡。
2024-11-24 cs.CV
Pooling Revisited: Your Receptive Field is Suboptimal
Seoul National University(首尔大学)
感受野的大小和形状决定了网络如何聚集局部信息,并对模型的整体性能产生重大影响。神经网络中的许多组件,例如卷积和池化操作的内核大小和步长,都会影响感受野的配置。然而,它们仍然依赖于超参数,现有模型的感受野导致了次优的形状和大小。因此,我们提出了一个简单而有效的动态优化池操作,称为DynOPool,它优化的比例因子的特征地图端到端的学习所需的大小和形状的感受野在每一层。深度神经网络中的任何类型的嵌入式模块都可以以最小的成本被DynOPool的操作所取代。此外,DynOPool通过引入限制计算成本的额外损失项来控制模型的复杂性。我们的实验表明,配备了所提出的可学习的神经网络模块的模型在多个数据集上的图像分类和语义分割优于基线网络。
2022-06-29 cs.CV cs.LG
ARFC-WAHNet: Adaptive Receptive Field Convolution and Wavelet-Attentive Hierarchical Network for Infrared Small Target Detection
School of Information and Communication Engineering(信息与通信工程学院);Laboratory of Imaging Detection and Intelligent Perception(成像检测与智能感知实验室);University of Electronic Science and Technology of China(电子科学与技术大学)
针对红外小目标检测中特征信息有限和池化损失问题,提出ARFC-WAHNet,通过多感受野卷积、小波增强下采样及高低特征融合等模块,在SIRST等数据集上超越现有方法。
2025-05-23 cs.CV
MSFD:Multi-Scale Receptive Field Face Detector
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Faceall Technology Co.,Ltd(北京飞搜科技有限公司)
我们的目标是研究一个单一的卷积神经网络的多尺度感受野检测不同尺度的人脸。本文提出了我们的多尺度感受野人脸检测器(MSFD),它具有优越的性能,在不同尺度的人脸检测和实时推理速度。MSFD通过层次结构聚合上下文和纹理。更多的额外信息和丰富的感受野带来了显着的改善,但产生边际时间消耗。我们同时提出了一个锚点分配策略,可以覆盖范围广泛的规模,以提高召回率的小脸和旋转的脸。为了降低假阳性率,我们训练我们的检测器与焦点损失,使容易的样品从压倒。因此,MSFD在FDDB、Pascal-Faces和WIDER FACE数据集上获得了出色的结果,并且可以在GPU上以31 FPS的速度运行VGA分辨率的图像。
2019-03-11 cs.CV
Translated Skip Connections -- Expanding the Receptive Fields of Fully Convolutional Neural Networks
University of the Witwatersrand(金山大学)
在设计架构时,全卷积神经网络的有效感受野是一个重要的考虑因素,因为它定义了每个卷积核可见的输入部分。我们提出了一个神经网络模块,扩展了传统的跳过连接,称为翻译跳过连接。平移跳跃连接几何地增加了架构的感受野,而对参数空间的大小和计算复杂性的影响可以忽略不计。通过将翻译的跳过连接嵌入到基准架构中,我们证明了我们的模块与其他四种方法相匹配或优于其他四种方法,以扩展完全卷积神经网络的有效感受野。我们在来自不同领域的五个当代图像分割数据集上证实了这一结果,包括COVID-19感染的检测,航空图像的分割,常见对象分割和自动驾驶汽车的分割。
2022-11-03 cs.CV cs.LG eess.IV
Understanding the Influence of Receptive Field and Network Complexity in Neural-Network-Guided TEM Image Analysis
Molecular Foundry(分子铸造研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California Berkeley(加州大学伯克利分校)
经过训练的神经网络是分析不断增加的科学图像数据量的有前途的工具,但目前还不清楚如何最好地定制这些网络,以适应透射电子显微照片的独特功能。在这里,我们系统地研究了神经网络结构的选择如何影响神经网络如何在透射电子显微镜(TEM)图像中将结晶纳米颗粒与无定形背景分割或逐像素分离。我们专注于解耦的影响,感受野,或输入图像的面积,有助于输出决策,从网络的复杂性,这决定了可训练参数的数量。我们发现,对于依赖于振幅对比度来区分纳米颗粒与背景的低分辨率TEM图像,感受野并不显著影响分割性能。另一方面,对于依赖于振幅和相位对比度变化的组合来识别纳米颗粒的高分辨率TEM图像,感受野是提高性能的关键参数,特别是在具有最小振幅对比度的图像中。我们的研究结果为如何使神经网络适应TEM数据集的应用提供了见解和指导。
2022-04-08 cond-mat.mtrl-sci cs.CV eess.IV
Perceptual Extreme Super Resolution Network with Receptive Field Block
OPPO Research(OPPO研究院)
由于不同图像的纹理细节差异很大,因此对单幅图像进行感知极高分辨率是非常困难的。为了解决这个问题,我们开发了一个超分辨率网络与感受野块的基础上增强SRGAN。我们将我们的网络称为RFB-ESRGAN。主要贡献如下。首先,为了提取多尺度信息,增强特征的可分辨性,我们将感受野块(RFB)用于超分辨率。RFB在目标检测和分类方面取得了有竞争力的成果。其次,在多尺度感受野块中使用几个小核,而不是使用大的卷积核,这使得我们能够提取详细的特征,并降低计算复杂度。第三,在上采样阶段交替使用不同的上采样方法,以降低高计算复杂度,并仍然保持令人满意的性能。第四,我们使用不同迭代的10个模型的集成,以提高模型的鲁棒性和减少每个单独的模型引入的噪声。实验结果表明RFB-ESRGAN具有较好的性能。根据NTIRE 2020感知极限超分辨率挑战赛的初步结果,我们的解决方案在所有参赛者中排名第一。
2020-05-26 cs.CV eess.IV
Selective Kernel Networks
PCA Lab, Key Lab of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education, and Jiangsu Key Lab of Image and Video Understanding for Social Security, School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Momenta;National Key Lab for Novel Software Technology, Nanjing University(南京大学);Tsinghua National Laboratory for Information Science and Technology (TNList) Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
在标准的卷积神经网络(CNN)中,每层中人工神经元的感受野被设计为共享相同的大小。视觉皮层神经元的感受野大小受刺激的调节是神经科学界所熟知的,但在构建CNN时很少考虑这一点。我们提出了一种CNN中的动态选择机制,允许每个神经元根据输入信息的多个尺度自适应地调整其感受野大小。设计了一个称为选择性内核(SK)单元的构建块,其中具有不同内核大小的多个分支使用softmax注意力进行融合,该注意力由这些分支中的信息引导。对这些分支的不同关注产生不同大小的融合层神经元的有效感受野。多个SK单元堆叠到称为选择性内核网络(SKNets)的深度网络。在ImageNet和CIFAR基准测试中,我们通过经验证明SKNet的性能优于现有的最先进的架构,模型复杂度更低。详细的分析表明,SKNet中的神经元可以捕获不同尺度的目标对象,验证了神经元根据输入自适应调整其感受野大小的能力。代码和模型可在https://github.com/implus/SKNet上获得。
2019-03-18 cs.CV
UCAN: Unified Convolutional Attention Network for Expansive Receptive Fields in Lightweight Super-Resolution
Ho Chi Minh City Open University(胡志明市开放大学);AI Tech Lab, Ho Chi Minh City University of Technology(胡志明市科技大学人工智能技术实验室);Code Mely AI Research Team(Code Mely 人工智能研究团队);Global College, Shanghai Jiao Tong University(上海交通大学全球学院);Ha Noi University of Science and Technology(河内科技大学);University of Manitoba(曼尼托巴大学)
UCAN通过融合卷积与注意力机制,有效扩展感受野,采用Hedgehog注意力和蒸馏模块实现高效轻量化,适用于资源受限设备的超分辨率恢复。
2026-04-07 cs.CV
Gated Path Selection Network for Semantic Segmentation
Beihang University(北京航空航天大学);University of Oxford(牛津大学);University of Kentucky(肯塔基大学);Tsinghua University(清华大学)
语义分割是一个具有挑战性的任务,需要处理大规模的变化,变形和不同的观点。在本文中,我们开发了一种新的网络命名为门控路径选择网络(GPSNet),其目的是学习自适应感受野。在GPSNet中,我们首先设计了一个二维多尺度网络-SuperNet,它密集地结合了来自不断增长的感受野的特征。为了动态地选择期望的语义上下文,进一步引入了门预测模块。与以往专注于优化规则网格上的样本位置的工作相比,GPSNet可以自适应地捕获自由形式的密集语义上下文。导出的自适应感受野是数据依赖的,并且是灵活的,可以模拟不同的对象的几何变换。在两个代表性的语义分割数据集上,即,Cityscapes和ADE20K,我们表明,所提出的方法始终优于以前的方法,并实现了竞争力的性能,没有花里胡哨。
2020-01-19 cs.CV
SDC - Stacked Dilated Convolution: A Unified Descriptor Network for Dense Matching Tasks
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
密集像素匹配对于诸如视差和流估计的许多计算机视觉任务是重要的。我们提出了一个强大的,统一的描述符网络,认为一个大的上下文区域具有高空间方差。我们的网络具有非常大的感受野,并避免跨越层以保持空间分辨率。这些特性是通过创建一个新的神经网络层来实现的,该层由多个并行堆叠的扩张卷积(SDC)组成。这些层中的几个层组合在一起形成了我们的SDC描述符网络。在我们的实验中,我们表明,我们的SDC功能优于国家的最先进的特征描述符的准确性和鲁棒性。此外,我们展示了卓越的性能,SDC在国家的最先进的立体匹配,光流和场景流算法在几个著名的公共基准。
2019-04-05 cs.CV
ARMA Nets: Expanding Receptive Field for Dense Prediction
University of Maryland, College Park, MD USA(马里兰大学帕克分校);Nanjing University, Nanjing, China(南京大学)
全局信息对于稠密预测问题是必不可少的,其目标是为图像中的每个像素计算离散或连续的标签。神经网络中的传统卷积层最初是为图像分类设计的,在这些问题上是有限制的,因为滤波器的大小限制了它们的感受野。在这项工作中,我们建议用自回归移动平均(ARMA)层取代任何传统的卷积层,这是一种新的模块,具有由可学习的自回归系数控制的可调节感受野。与传统的卷积层相比,我们的ARMA层使输出神经元的显式互连成为可能,并通过调整互连的自回归系数来学习其感受野。ARMA层可以根据不同类型的任务进行调整:对于全局信息至关重要的任务,它能够学习相对较大的自回归系数,以允许输出神经元的感受野覆盖整个输入;对于仅需要局部信息的任务,它可以学习较小或接近零的自回归系数,并自动减少到传统的卷积层。我们从理论和经验上证明了具有ARMA层的网络(称为ARMA网络)的有效感受野随着自回归系数的增大而扩大。我们还证明解决了学习和预测的不稳定性问题,在ARMA层通过重新参数化机制。此外,我们还证明ARMA网络在具有挑战性的密集预测任务(包括视频预测和语义分割)上大大提高了其基线。
2020-09-25 cs.CV cs.LG stat.ML
Deformable Kernels: Adapting Effective Receptive Fields for Object Deformation
UC Berkeley(加州大学伯克利分校);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
卷积网络不知道对象的几何变化,这导致模型和数据容量的利用效率低下。为了克服这个问题,最近的变形建模工作寻求在空间上重新配置的数据朝向一个共同的安排,使语义识别遭受较少的变形。这通常通过在图像空间中使用学习的自由形式采样网格来增强静态算子来完成,动态地调整到数据和任务以适应感受野。然而,调整感受野并不能完全达到实际的目标--对网络来说,真正重要的是“有效”感受野(ERF),它反映了每个像素的贡献。因此,设计其他方法来直接在运行时调整ERF是很自然的。在这项工作中,我们将一种可能的解决方案实例化为可变形核(DKs),这是一系列新颖而通用的卷积算子,用于通过直接调整ERF来处理对象变形,同时保持感受野不变。我们方法的核心是能够对原始内核空间进行重新采样,以恢复对象的变形。这种方法是合理的理论见解,ERF是严格由数据采样位置和核值。我们实现DK作为通用的下拉式刚性内核的替代品,并进行了一系列的实证研究,其结果符合我们的理论。在几个任务和标准的基础模型,我们的方法相比,在运行时适应以前的作品。此外,进一步的实验提出了一个工作机制正交和补充以前的工作。
2020-02-12 cs.CV
Efficient Image Super-Resolution using Vast-Receptive-Field Attention
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室);The University of Sydney(悉尼大学)
注意机制在设计高级超分辨率(SR)网络中起着关键作用。在这项工作中,我们设计了一个有效的SR网络,通过改进的注意力机制。我们从一个简单的像素注意力模块开始,并逐渐修改它,以减少参数来实现更好的超分辨率性能。具体做法包括:(1)增加注意力分支的感受野,(2)用深度可分离卷积代替大的密集卷积核,以及(3)引入像素归一化。这些方法为注意力机制的设计描绘了一个清晰的进化路线图。基于这些观察,我们提出了VapSR,即Vast感受野像素注意力网络。实验证明了VapSR的优越性能。VapSR比目前的轻量级网络性能更好,参数更少。而VapSR的轻量级版本仅使用了IMDB和RFDN的21.68%和28.18%的参数,就可以达到与这些网络相似的性能。代码和模型可在https://github.com/zhoumumu/VapSR上获得。
2022-10-12 cs.CV eess.IV
Wavelet Convolutions for Large Receptive Fields
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对现有CNN增大卷积核实现大感受野易饱和的问题,提出基于小波变换的WTConv层,参数随感受野对数增长,可即插即用,在分类及下游任务中表现优异且具备鲁棒性等优势。
2024-07-15 cs.CV
Collaborative Receptive Field Learning
HKUST(香港科技大学);Noah’s Ark Lab of Huawei Co. Ltd.(华为有限公司诺亚方舟实验室)
图像中对象分类的挑战主要是由于前景对象的任意平移和缩放。为了解决这个困难,我们提出了一种新的方法,称为协作感受野学习,从多个图像中提取特定的感受野(RF)或区域,并且所选择的RF应该集中在一个共同类别的前景对象上。为此,我们解决了这个问题,通过最大限度地提高子模块功能的相似性图构建的RF候选人的池。然而,测量RF的成对距离以构建相似性图是一个非平凡的问题。因此,我们引入了一个相似性度量称为双误差距离(PED)来衡量他们的成对距离,通过总结了一组低级别的功能的双类匹配错误。此外,在一致的建议PED,我们构造了一个简单的非参数分类器进行分类。实验结果表明,该方法能有效地发现图像中的前景目标,提高分类性能。
2014-02-02 cs.CV cs.LG cs.MM
Receptive Field Broadening and Boosting for Salient Object Detection
State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室);Pengcheng Laboratory(鹏城实验室)
显著目标检测需要一个全面的和可扩展的感受野,以定位图像中的视觉上显著的对象。近年来,视觉Transformers和多分支模块的出现显著增强了神经网络在不同尺度上感知物体的能力。然而,与传统的主干网相比,Transformers的计算过程非常耗时。此外,多分支模块的不同分支可能导致每次训练迭代中相同的误差反向传播,这不利于提取区分性特征。为了解决这些问题,我们提出了一个双边网络的基础上Transformer和CNN,有效地扩大局部细节和全局语义信息的同时。此外,提出了一种多头推进(MHB)策略,以提高不同的网络分支的特异性。通过计算不同预测头的误差,每个分支可以分别更多地关注其他分支预测错误的像素。此外,与多路径并行训练不同,MHB每次随机选择一个分支进行梯度反向传播。此外,提出了一个注意力特征融合模块(AF),根据各自的特点融合两种类型的功能。在5个基准数据集上的综合实验表明,与现有方法相比,该方法具有显著的性能提升.
2021-10-15 cs.CV
ARFA: An Asymmetric Receptive Field Autoencoder Model for Spatiotemporal Prediction
Qinghai University(青海大学);Tsinghua University(清华大学)
针对时空预测中自编码器感受野大小相同的问题,提出非对称感受野自编码器模型ARFA,通过编码器大核模块提取全局特征和解码器小核模块重建局部信息,并在多个数据集上达到SOTA,同时构建了大规模雷达回波数据集RainBench。
2024-01-08 cs.CV
GMConv: Modulating Effective Receptive Fields for Convolutional Kernels
Huazhong University of Science and Technology(华中科技大学);Microsoft Research Asia(微软亚洲研究院)
针对方形卷积核固定感受野与实际高斯型 ERF 不匹配的问题,提出可即插即用、端到端训练的 GMConv,并在分类和检测任务上验证其稳定增益。
2023-04-20 cs.CV
Efficiently Expanding Receptive Fields: Local Split Attention and Parallel Aggregation for Enhanced Large-scale Point Cloud Semantic Segmentation
Xidian University(西安电子科技大学)
本文提出LSNet框架,通过局部分裂注意力池化(LSAP)和并行聚合增强(PAE)模块高效扩展感受野,在大规模点云语义分割中提升mIoU最高达11%,并实现约38.8%的加速。
2024-09-03 cs.CV
Dilated Deep Residual Network for Image Denoising
卷积神经网络(CNN)等深度神经网络的变体已成功应用于图像去噪。目标是在给定由噪声图像和干净图像对组成的训练数据的情况下,自动学习从噪声图像到干净图像的映射。大多数现有的用于图像去噪的CNN模型具有许多层。在这种情况下,模型涉及大量的参数,并且对于训练来说在计算上是昂贵的。在本文中,我们开发了一个扩张的残差CNN高斯图像去噪。与最近提出的残差去噪方法相比,我们的方法可以以更少的计算成本达到相当的性能。具体地说,我们通过在残差网络中采用扩张卷积来扩大感受野,并将扩张因子设置为一定值。我们利用适当的零填充来使输出的维度与输入相同。实验证明,感受野的扩大可以提高CNN在图像分类中的性能,并且我们进一步证明,它也可以导致去噪问题的竞争性能。此外,我们提出了一个公式来计算感受野大小时,扩张卷积。因此,可以从数学上解释感受野的变化。为了验证我们的方法的有效性,我们进行了广泛的实验,灰度和彩色图像去噪特定或随机噪声水平。与最先进的基线相比,定量测量和去噪的视觉结果都是有希望的。
2017-09-27 cs.CV