Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一种新的架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC(2012年平均IU为62.2%,相对提高了20%),NYUDv2和SIFT Flow的最先进分割,而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割中改善了以前的最佳结果。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一个跳过架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC的改进分割(相对于2012年的67.2%平均IU提高了30%),NYUDv 2,SIFT Flow和PASCAL-Context,而对于典型图像,推理需要十分之一秒。
2016-05-20 cs.CV
Putting 3D Spatially Sparse Networks on a Diet
POSTECH(浦项科技大学);NVIDIA(英伟达);Caltech(加州理工学院)
3D神经网络已经普遍用于许多3D视觉任务,包括3D输入的目标检测、分割、配准和各种感知任务。然而,由于3D数据的稀疏性和不规则性,自定义3D算子或网络设计一直是研究的主要焦点,而网络的大小或参数的有效性却被忽视了。在这项工作中,我们对空间稀疏3D卷积网络的权重稀疏性进行了第一次全面的研究,并提出了一个紧凑的权重稀疏和空间稀疏3D卷积网络(WS^3-Convnet),用于在真实世界的室内和室外数据集上进行语义和实例分割。我们采用各种网络修剪策略来寻找紧凑的网络,并显示我们的WS^3-Convnet实现了最小的性能损失(2.15%下降),参数数量级更少(99%压缩率)和计算成本(95%减少)。最后,我们系统地分析了WS^3-Convnet的压缩模式,并展示了压缩网络中常见的有趣的新兴稀疏模式,以进一步加快推理速度(快45%)。\keywords{Efficient network architecture, Network pruning, 3D scene segmentation, Spatially sparse convolution}
2022-04-08 cs.CV
Semi-convolutional Operators for Instance Segmentation
University of Oxford(牛津大学);NAVER LABS Europe(NAVER LABS欧洲)
目标检测和实例分割主要由基于区域的方法(例如Mask RCNN)主导。然而,人们越来越有兴趣将这些问题减少到像素标记任务,因为后者可能更有效,可以无缝集成到图像到图像网络架构中,如在许多其他任务中使用的那样,并且对于边界框不能很好地近似的对象可能更准确。在本文中,我们从理论上和经验上证明,使用卷积算子无法轻松实现构建可以分离对象实例的密集像素嵌入。与此同时,我们表明,简单的修改,我们称之为半卷积,有更好的机会成功完成这项任务。我们使用后者来显示与Hough投票以及由卷积网络空间引导的双边内核的变体的连接。我们证明,这些算子也可以用于改进Mask RCNN等方法,证明复杂生物形状和PASCAL VOC类别的分割比单独使用Mask RCNN更好。
2018-07-27 cs.CV
Spatially-Adaptive Filter Units for Deep Neural Networks
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);CN-CR Centre, School of Computer Science, University of Birmingham(伯明翰大学计算机学院CN-CR中心)
经典的深度卷积网络通过逐渐降低分辨率或应用手工制作的扩张卷积来增加感受野大小,以防止参数数量的增加。在本文中,我们提出了一种新的位移聚合单元(DAU),不需要手工制作。与将单元(像素)放置在固定的规则网格上的经典滤波器相比,DAU的位移是学习的,这使得滤波器能够在空间上使其感受野适应给定的问题。我们广泛展示了DAU在分类和语义分割任务上的优势。与使用常规过滤器的ConvNets相比,使用DAU的ConvNets在更快的收敛速度和高达3倍的参数减少方面实现了相当的性能。此外,DAU允许我们从新的角度研究深度网络。我们研究了DAU滤波器的空间分布,并分析了滤波器中为空间覆盖分配的参数数量。
2018-03-15 cs.CV
A Relation-Augmented Fully Convolutional Network for Semantic Segmentation in Aerial Scenes
German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich (TUM)(慕尼黑工业大学)
大多数当前的语义分割方法都依赖于深度卷积神经网络(CNN)。然而,他们使用的卷积运算与当地的感受野导致失败的建模上下文空间关系。先前的工作试图通过在网络中使用图形模型或空间传播模块来解决这个问题。但这种模型往往无法捕捉实体之间的长期空间关系,这导致空间碎片化的预测。此外,最近的工作表明,通道信息也在CNN中起着关键作用。在这项工作中,我们引入了两个简单而有效的网络单元,空间关系模块和通道关系模块,学习和推理任何两个空间位置或特征图之间的全局关系,然后产生关系增强的特征表示。空间和信道关系模块是通用的和可扩展的,并且可以以即插即用的方式与现有的全卷积网络(FCN)框架一起使用。我们评估关系模块配备网络的语义分割任务使用两个航空图像数据集,这从根本上取决于远程空间关系推理。这些网络取得了非常有竞争力的结果,比基线有了重大改进。
2020-05-19 cs.CV
Combining the Best of Convolutional Layers and Recurrent Layers: A Hybrid Network for Semantic Segmentation
Facebook(脸书);Google(谷歌);The University of Hong Kong(香港大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
语义分割的最新成果是由全卷积神经网络(FCN)建立的。FCS依赖于级联的卷积层和池化层来逐渐扩大神经元的感受野,从而以间接的方式对远程上下文依赖性进行建模。在这项工作中,我们提倡使用空间递归层(即ReNet层),它直接捕获全局上下文并导致改进的特征表示。我们通过构建一个朴素的深度ReNet(N-ReNet)来证明ReNet层的有效性,该ReNet在斯坦福背景数据集上实现了具有竞争力的性能。此外,我们将ReNet层与FCNs集成,并开发了一种新的混合深度ReNet(H-ReNet)。它具有一些显着的特性,包括全图像感受野,端到端训练和高效的网络执行。在PASCAL VOC 2012基准测试中,H-ReNet将最先进的分段、CRFasRNN和DeepParsing方法的结果分别提高了3.6%、2.3%和0.2%,并在20个对象类中的13个实现了最高的IoU。
2016-03-15 cs.CV
TNet: Terrace Convolutional Decoder Network for Remote Sensing Image Semantic Segmentation
针对现有遥感分割网络解码器忽略多分辨率全局上下文依赖的问题,提出仅用卷积与加法实现跨分辨率特征渐进融合的TNet,搭配ResNet-18编码器在三个基准数据集上取得了兼具高精度与高效率的分割效果。
2025-09-02 cs.CV
Spatial Shortcut Network for Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学)
像许多计算机视觉问题一样,人体姿态估计是一个具有挑战性的问题,因为识别身体部位不仅需要来自局部区域的信息,而且需要来自具有大空间距离的区域的信息。为了在空间上传递信息,通常使用大卷积核和深层,这引入了高计算成本和大参数空间。幸运的是,对于姿势估计,人体在图像中是几何结构的,从而能够对空间依赖性进行建模。在本文中,我们提出了一个空间捷径网络的姿态估计任务,其中信息更容易在空间上流动。我们评估我们的模型进行了详细的分析,并提出了其出色的性能与较小的结构。
2019-04-05 cs.CV
Deep Class-Specific Affinity-Guided Convolutional Network for Multimodal Unpaired Image Segmentation
Southern University of Science and Technology(南方科技大学);NVIDIA(英伟达);Technical University of Munich(慕尼黑工业大学)
多模态医学图像分割在临床诊断中起着至关重要的作用。它仍然具有挑战性,因为输入方式往往在空间上没有很好地对齐。现有的基于学习的方法主要考虑跨模态共享可训练层和最小化视觉特征差异。虽然这个问题通常被表述为联合监督特征学习,但多尺度特征和特定于类的表示尚未被探索。在本文中,我们提出了一个仿射引导的全卷积网络的多模态图像分割。为了学习有效的表示,我们设计了特定于类的亲和矩阵来编码分层特征推理的知识,以及共享的卷积层来确保跨模态泛化。我们的亲和矩阵不依赖于视觉特征的空间对齐,因此允许我们用不成对的多模态输入进行训练。我们在两个公共多模态基准数据集上广泛评估了我们的方法,并优于最先进的方法。
2021-01-05 cs.AI cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri(密苏里大学);TCL Research America(TCL美国研究院)
在本文中,我们开发了一种新的方法,空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发,我们研究了时间域中长短期记忆(LSTM)的回归能力,并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比,这些跟踪器对区域候选者使用二进制分类,我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较,结果表明,我们的跟踪器更准确,更强大,同时保持较低的计算成本。对于大多数测试视频序列,我们的方法实现了最好的跟踪性能,往往优于第二个最好的大幅度。
2016-07-19 cs.CV
Fully Convolutional Mesh Autoencoder using Efficient Spatially Varying Kernels
Adobe Research(奥多比研究院);Facebook Reality Labs(脸书现实实验室);University of Southern California(南加利福尼亚大学);Pinscreen(品屏)
学习注册网格的潜在表示对于许多3D任务是有用的。技术最近已经转移到神经网格自动编码器。虽然它们比传统方法具有更高的精度,但它们仍然无法捕获细粒度的变形。此外,这些方法只能应用于模板特定的表面网格,而不适用于更一般的网格,如四面体和非流形网格。虽然可以采用更一般的图形卷积方法,但它们在重建精度方面缺乏性能,并且需要更高的存储器使用。在本文中,我们提出了一个非模板特定的全卷积网格自动编码器的任意注册的网格数据。它是通过我们的新卷积和(非)池化算子来实现的,这些算子使用全局共享权重和局部变化系数来学习,可以有效地捕获由不规则网格连接呈现的空间变化内容。我们的模型在重建精度上优于最先进的方法。此外,由于完全卷积结构,我们网络的潜在代码完全本地化,因此具有比许多传统3D网格生成模型更高的插值能力。
2020-10-21 cs.CV
Distance transform regression for spatially-aware deep semantic segmentation
ONERA(法国国家航空航天研究院);Université Paris Saclay(巴黎-萨克雷大学);Univ. Bretagne-Sud(南布列塔尼大学);IRISA(法国信息与随机系统研究所)
理解视觉场景越来越依赖于通过深度全卷积神经网络获得的密集像素分类。然而,由于网络的性质,预测通常会受到模糊边界和分割不良形状的影响,从而加剧了对后处理的需求。本文提出了一种基于距离变换回归的语义分割正则化方法。在计算标签掩码上的距离变换后,我们通过联合学习分类和距离回归,在离散和连续空间中的多任务设置中训练FCN。这几乎不需要修改网络结构,并且对训练过程增加了非常低的开销。学习近似距离变换反向传播空间线索,隐式地正则化分割。我们在各种数据集上使用几种架构验证了这种技术,与竞争基线相比,我们显示出显着的改进。
2019-09-04 cs.CV cs.NE eess.IV
A Constrained Deformable Convolutional Network for Efficient Single Image Dynamic Scene Blind Deblurring with Spatially-Variant Motion Blur Kernels Estimation
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing University(重庆大学)
现有的基于深度学习的单幅图像动态场景盲去模糊(SIDSBD)方法通常设计深度网络直接从一幅输入的运动模糊图像中去除空间变化的运动模糊,而不进行模糊核估计。受投影运动路径模糊(PMPB)模型和可变形卷积的启发,提出了一种新的约束可变形卷积网络(CDCN),用于有效的单幅图像动态场景盲去模糊,同时实现了精确的空变运动模糊核估计和高质量的运动模糊图像复原。在我们提出的CDCN中,我们首先构建了一个新的多尺度多级多输入多输出(MSML-MIMO)编码器-解码器架构,以获得更强大的特征提取能力。其次,与DLVBD方法使用多帧连续图像不同,提出了一种新的约束可变形卷积再模糊(CDCR)策略,该策略首先对输入的单幅运动模糊图像的模糊特征进行可变形卷积,以学习每个像素的运动模糊核的采样点,其类似于PMPB模型中相机抖动的运动密度函数的估计,然后提出一种新的基于PMPB的再模糊损失函数来约束学习的采样点收敛,可以使学习的采样点与各像素的相对运动轨迹更好地匹配,提高空变运动模糊核估计的准确性。
2022-08-23 cs.CV
Focal Sparse Convolutional Networks for 3D Object Detection
The Chinese University of Hong Kong(香港中文大学);MEGVII Technology(旷视科技);SmartMore(思谋科技)
非均匀3D稀疏数据,例如,不同空间位置的点云或体素以不同的方式对3D目标检测的任务做出贡献。稀疏卷积网络(Sparse CNN)中的现有基本组件处理所有稀疏数据,无论是常规卷积还是子流形稀疏卷积。在本文中,我们引入了两个新模块来增强稀疏CNN的能力,这两个模块都是基于通过位置重要性预测使特征稀疏性可学习。它们是焦点稀疏卷积(Focals Conv)及其融合焦点稀疏卷积的多模态变体,或简称为Focals Conv-F。新模块可以很容易地替换现有稀疏CNN中的普通对应模块,并以端到端的方式进行联合训练。这是第一次,我们表明,在稀疏卷积空间可学习的稀疏性是必不可少的复杂的三维目标检测。在KITTI,nuScenes和Waymo基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下,我们的结果在论文提交时优于nuScenes测试基准上所有现有的单一模型条目。代码和模型在https://github.com/dvlab-research/FocalsConv上。
2022-04-26 cs.CV cs.LG
Semi-Blind Spatially-Variant Deconvolution in Optical Microscopy with Local Point Spread Function Estimation By Use Of Convolutional Neural Networks
Idiap Research Institute(伊迪亚普研究所);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种半盲,空间变化的反卷积技术,旨在光学显微镜,结合了局部估计步骤的点扩散函数(PSF)和反卷积使用空间变化,正则化Richardson-Lucy算法。为了以计算上易于处理的方式找到局部PSF图,我们训练卷积神经网络来对合成模糊图像块执行光学参数模型的回归。我们反卷积合成和实验获得的数据,并实现了平均1.00 dB的图像信噪比的改善,相比其他反卷积算法。
2019-05-17 cs.CV cs.LG
Location Dependency in Video Prediction
Bonn University(波恩大学)
深度卷积神经网络用于解决许多计算机视觉问题,包括视频预测。视频预测的任务需要在时间和空间上分析视频帧,并构建环境如何演变的模型。然而,卷积神经网络是空间不变的,这使得它们无法对位置相关模式进行建模。在这项工作中,作者提出了位置偏置卷积层来克服这一限制。位置偏差的有效性进行了评估的两种架构:视频梯形网络(VLN)和卷积预测门金字塔(Conv-PGP)。结果表明,编码的位置相关的功能是至关重要的视频预测任务。我们提出的方法显着优于空间不变模型。
2018-10-16 cs.CV
Unsupervised Body Part Regression via Spatially Self-ordering Convolutional Neural Networks
National Institutes of Health Clinical Center(美国国立卫生研究院临床中心)
针对CT切片的自动身体部位识别可以有益于各种医学图像应用。最近的深度学习方法表现出良好的性能,需要大量的标记图像进行训练。CT体积中的内在结构或上下切片排序信息未被充分利用。在本文中,我们提出了一种基于卷积神经网络(CNN)的无监督身体部位回归(UBR)算法来解决这个问题。提出了一种新的无监督学习方法和两种样本间CNN损失函数。与以前的工作不同,UBR为人体建立了一个坐标系,并为每个轴向切片输出一个连续的分数,表示切片中身体部位的标准化位置。UBR的训练过程类似于自组织过程:切片分数是从切片间关系中学习的。训练样本是大量的未标记CT体积,因此不需要额外的注释工作。UBR简单、快速、准确。定量和定性实验验证了其有效性。此外,我们展示了UBR在网络初始化和异常检测中的两个应用。
2018-03-07 cs.CV
Adaptive feature recombination and recalibration for semantic segmentation with Fully Convolutional Networks
CMEMS-UMinho Research Unit, University of Minho(米尼奥大学CMEMS-UMinho研究单元);Centro Algoritmi, University of Minho(米尼奥大学算法中心)
全卷积网络在图像语义分割中取得了显著的效果,同时也是高效的。这种效率来自于在单个正向通过中分割若干体素的能力。因此,在特征图中的单元和相同位置的体素之间存在直接的空间对应关系。在卷积层中,内核跨越所有通道并从中提取信息。我们观察到,线性重组的特征图,增加通道的数量,然后压缩,可以提高他们的辨别力。此外,并非所有的特征图对于被预测的类都具有相同的相关性。为了学习通道间的关系并重新校准通道以抑制不太相关的通道,在使用卷积神经网络进行图像分类的背景下提出了挤压和激励块。然而,这并不适合使用全卷积网络进行分割,因为它们同时分割多个对象,因此特征图可能仅在某些位置包含相关信息。在本文中,我们提出了重组的功能和空间自适应重新校准块,适用于语义分割与全卷积网络-SegSE块。通过考虑跨通道信息和空间相关性来重新校准特征图。实验结果表明,简化和重新校准改善了竞争性基线的结果,并概括了三个不同的问题:脑肿瘤分割,中风半影估计,缺血性中风病变结果预测。所获得的结果在三种应用中具有竞争力或优于现有技术。
2020-06-19 cs.CV eess.IV
AgileFormer: Spatially Agile Transformer UNet for Medical Image Segmentation
Washington University in St. Louis(圣路易斯华盛顿大学)
针对现有ViT-UNet难以应对医学图像中目标外观异质的问题,提出融合可变形块嵌入、空间动态多头注意力、可变形位置编码的AgileFormer架构,在三个公开数据集分割任务上验证了有效性。
2024-09-17 cs.CV eess.IV
Spatially-sparse convolutional neural networks
University of Warwick(华威大学)
卷积神经网络(CNN)在手写识别和图像分类等问题上表现良好。然而,网络的性能通常受到预算和时间约束的限制,特别是在尝试训练深度网络时。受在线手写识别问题的启发,我们开发了一个用于处理空间稀疏输入的CNN;用一个像素宽的笔在高分辨率网格上绘制的字符看起来像一个稀疏矩阵。利用稀疏性,我们可以更有效地训练和测试大型深度CNN。在CASIA-OLHWDB 1.1数据集上,我们得到了3.82%的测试误差。虽然图片不是稀疏的,但可以通过添加填充来认为它们是稀疏的。使用稀疏性应用深度卷积网络可以大幅降低CIFAR小图片数据集的测试误差:CIFAR-10为6.28%,CIFAR-100为24.30%。
2014-09-22 cs.CV cs.NE
CoordGate: Efficiently Computing Spatially-Varying Convolutions in Convolutional Neural Networks
University of Oxford(牛津大学);John Adams Institute for Accelerator Science(约翰·亚当斯加速器科学研究所)
提出轻量级模块CoordGate,通过乘法门控与坐标编码网络实现CNN中空间变化卷积的高效计算,在图像去模糊任务中优于传统方法,提升了空间感知能力。
2024-01-09 cs.CV eess.IV
CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks
Institute for Integrated and Intelligent Systems(集成与智能系统研究所);Griffith University(格里菲斯大学)
针对现有注意力机制无法同时利用特征图统计与空间关系的问题,提出受地理分析启发的CSA注意力机制,以极少开销提升性能,在多个视觉任务上优于同类先进模型。
2024-05-13 cs.AI cs.CV cs.LG
Convolutional Two-Stream Network Fusion for Video Action Recognition
Graz University of Technology(格拉茨技术大学);University of Oxford(牛津大学)
最近应用卷积神经网络(ConvNets)进行视频中的人类动作识别,提出了不同的解决方案,用于合并外观和运动信息。我们研究了多种在空间和时间上融合ConvNet塔的方法,以便最好地利用这种时空信息。我们得出以下发现:(i)空间和时间网络可以在卷积层融合,而不是在softmax层融合,而不会损失性能,但可以大幅节省参数;(ii)最好在最后一个卷积层空间融合此类网络比之前更好,并且在类别预测层进行额外融合可以提高准确性;最后(iii)在时空邻域上汇集抽象卷积特征进一步提高性能。基于这些研究,我们提出了一个新的ConvNet架构的时空融合的视频片段,并评估其性能的标准基准,该架构实现了最先进的结果。
2016-09-26 cs.CV
Learning Spatially Adaptive $\ell_1$-Norms Weights for Convolutional Synthesis Regularization
MaLGa Center, DIBRIS, Università di Genova, MMS, Istituto Italiano di Tecnologia(MaLGa中心、DIBRIS、热那亚大学、MMS、意大利理工学院)
提出一种展开算法,在卷积合成正则化框架中学习空间自适应参数图,通过展开FISTA估计深度参数化稀疏特征图权重,用于低场MRI重建,结果与模型驱动深度学习方法相当且可解释性强。
2025-10-22 cs.CV cs.LG math.OC
Effective Aesthetics Prediction with Multi-level Spatially Pooled Features
University of Konstanz(康斯坦茨大学)
我们提出了一种有效的深度学习方法来进行美学质量评估,该方法依赖于一种新型的预训练特征,并将其应用于AVA数据集,这是目前最大的美学数据库。虽然以前的方法由于在训练过程中进行小裁剪,缩小或扭曲原始图像而错过了原始图像中的一些信息,但我们提出了第一种有效支持全分辨率图像作为输入的方法,并且可以在可变输入大小上进行训练。这使我们能够显着改善现有技术,将地面实况平均意见得分(MOS)的斯皮尔曼等级顺序相关系数(SRCC)从现有的最佳报告的0.612增加到0.756。为了实现这一性能,我们从预训练的InceptionResNet-v2网络的所有卷积块中提取多级空间池(MLSP)特征,并在这些新特征上训练自定义浅层卷积神经网络(CNN)架构。
2019-04-02 cs.CV
Spatially Aware Melanoma Segmentation Using Hybrid Deep Learning Techniques
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与革新研究所);School of Medicine, Deakin University(迪肯大学医学院)
在本文中,我们提出了一种混合方法,该方法利用深度卷积和递归神经网络来准确描绘ISBI 2017病变分割挑战提供的图像的皮肤病变。该方法使用1800张图像进行训练,并在ISBI 2017挑战赛的150张图像上进行测试。
2017-02-26 cs.CV
Spatially Attentive Output Layer for Image Classification
Kakao Brain
大多数用于图像分类的卷积神经网络(CNN)使用全局平均池化(GAP),然后是用于输出logits的全连接(FC)层。然而,这种空间聚合过程固有地限制了在输出层处对位置特定信息的利用,尽管这种空间信息可以有利于分类。在本文中,我们在现有的卷积特征映射之上提出了一种新的空间输出层,以显式地利用特定于位置的输出信息。具体而言,给定空间特征图,我们通过在空间logits上采用注意掩码来用空间注意输出层(SAOL)替换先前的GAP-FC层。所提出的位置特定的注意力选择性地聚集目标区域内的空间逻辑,这不仅导致性能的提高,而且空间可解释的输出。此外,建议SAOL还允许充分利用特定位置的自我监督以及自我蒸馏,以提高在训练过程中的泛化能力。具有自监督和自蒸馏的SAOL可以很容易地插入到现有的CNN中。具有代表性的架构上的各种分类任务的实验结果表明,一致的性能改善SAOL在几乎相同的计算成本。
2020-04-16 cs.CV
Anomaly detection using prediction error with Spatio-Temporal Convolutional LSTM
The University of Danang, University of Science and Technology(岘港大学科学技术大学);University of Leeds(利兹大学)
在本文中,我们提出了一种新的视频异常检测方法,其动机是使用时空卷积长短期记忆(convLSTM)进行序列到序列预测和重建的现有架构。在以前的工作异常检测,异常出现在重建或预测的空间局部故障。在五个基准数据集的实验中,我们表明,使用预测提供了优越的性能,使用重建。我们还比较了不同长度的输入/输出序列的性能。总的来说,我们使用预测的结果与基准数据集上的最新技术水平相当。
2022-05-18 cs.CV
Learning spatially adaptive sparsity level maps for arbitrary convolutional dictionaries
Physikalisch-Technische Bundesanstalt (PTB), Braunschweig and Berlin, Germany(物理技术联邦机构(PTB),柏林和不莱梅,德国);School of Mathematical Sciences, Queen Mary University of London, UK(伦敦女王学院数学科学学院,英国)
本文提出了一种学习方法,通过改进的网络设计和专门的训练策略,扩展了基于神经网络推断的时空自适应稀疏性水平图的图像重建方法,实现了滤波器排列不变性,并在低场MRI中展示了使用不同字典的优势。
2026-05-18 cs.CV cs.LG eess.IV
LoCA: Spatially-Aware Low-Rank Convolutional Adaptation of Vision Foundation Models
Korea University(韩国大学);Korea Institute of Industrial Technology(韩国产业技术研究院);Seoul National University(首尔国立大学)
研究针对视觉基础模型自适应的挑战,提出低秩卷积自适应框架 LoCA,通过解耦通道与空间自适应,引入低秩通道自适应并优化空间基,在多视觉任务中保留预训练空间先验且性能优异。
2026-08-10 cs.AI cs.CV cs.LG
Precise Estimation of Renal Vascular Dominant Regions Using Spatially Aware Fully Convolutional Networks, Tensor-Cut and Voronoi Diagrams
Graduate School of Information Science, Nagoya University(名古屋大学信息科学研究生院);Graduate School of Informatics, Nagoya University(名古屋大学信息学院研究生院);School of Information Science, Aichi Institute of Technology(爱知工业大学信息学院);Nagoya University Graduate School of Medicine(名古屋大学医学研究生院)
本文提出了一种利用Voronoi图精确估计肾血管优势区域的新方法。为了提供计算机辅助诊断的术前模拟肾部分切除术,我们必须获得信息的肾动脉和肾血管优势区域。我们提出了一种全自动分割方法,结合神经网络和基于张量的图切割方法,精确地提取肾脏和肾动脉。首先,我们使用卷积神经网络定位肾脏区域,并使用基于张量的图切割方法提取微小的肾动脉。然后,我们生成一个Voronoi图估计肾血管的优势区域的基础上分割的肾脏和肾动脉。8倍交叉验证的27例肾脏分割准确率达到95%的Dice评分。8例肾动脉分割准确率达到中心线重叠率80%。每个分区区域对应于肾血管优势区域。最终的优势区域估计精度达到了80%的骰子系数。临床应用表明,我们提出的估计方法在一个真正的临床手术环境中的潜力。进一步利用大规模数据库进行验证是我们未来的工作。
2019-08-05 cs.CV eess.IV
TargetDrop: A Targeted Regularization Method for Convolutional Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
丢弃正则化已广泛用于深度学习,但对于卷积神经网络来说效果较差,因为空间相关特征允许丢弃的信息仍然流过网络。已经提出了一些结构化的dropout形式来解决这个问题,但由于特征被随机丢弃,因此容易导致过度正则化或正则化不足。在本文中,我们提出了一个有针对性的正则化方法命名为TargetDrop,它结合了注意力机制,以减少歧视性的特征单元。具体地,它屏蔽掉与目标通道相对应的特征图的目标区域。与其他方法的比较以及应用于不同网络的实验结果表明了该方法的正则化效果。
2020-10-21 cs.CV
Spatial Transformer Networks
Google DeepMind(谷歌DeepMind)
卷积神经网络定义了一类非常强大的模型,但仍然受到缺乏以计算和参数有效的方式对输入数据空间不变的能力的限制。在这项工作中,我们引入了一个新的可学习模块,空间Transformer,它明确地允许在网络内的数据的空间操作。这个可微分模块可以插入到现有的卷积架构中,使神经网络能够主动地对特征图进行空间变换,条件是特征图本身,而无需对优化过程进行任何额外的训练监督或修改。我们表明,使用空间Transformers的结果是模型学习不变性的平移,缩放,旋转和更通用的扭曲,导致国家的最先进的性能在几个基准,并为一些类的变换。
2016-02-04 cs.CV
Efficient Deep Demosaicing with Spatially Downsampled Isotropic Networks
Cornell University(康奈尔大学);Omnivision(奥米维森);Omnivision Technologies(奥米维森技术)
本文提出了一种通过空间下采样提升各向同性网络效率和性能的深度去马赛克方法,并在多种任务中验证了其有效性。
2026-02-02 cs.CV
What-and-Where to Match: Deep Spatially Multiplicative Integration Networks for Person Re-identification
The University of Queensland(昆士兰大学);The University of New South Wales(新南威尔士大学);The University of Sydney(悉尼大学)
在不相交的摄像机视图中匹配行人,称为人的重新识别(re-id),是一个具有挑战性的问题,对视觉识别和监控具有重要意义。大多数现有的方法利用空间操作中的局部区域来执行局部对应的匹配。然而,它们本质上从每个图像的预划分区域提取\emph{fixed}表示,并且随后基于所提取的表示执行匹配。对于这个管道中的模型,无法捕获对区分正对和负对至关重要的局部更精细的模式,从而使它们表现不佳。在本文中,我们提出了一种新的深度乘法积分门函数,它回答了有效人员re-id的\emph{what-and-where to match}问题。为了解决\emph{what}匹配问题,我们的深度网络通过以乘法方式学习联合表示来强调共同的局部模式。该网络包括两个卷积神经网络(CNN)来提取卷积激活,并生成用于行人匹配的相关描述符。因此,这导致成对图像的灵活表示。为了解决\emph{where}匹配问题,我们通过四方向递归神经网络执行空间递归池化来对抗空间未对准,以相对于整个图像在所有位置上施加空间依赖性。所提出的网络被设计为端到端可训练的,以空间对齐的方式表征局部成对特征交互。为了证明我们的方法的优越性,进行了广泛的实验在三个基准数据集:VIPeR,CUHK 03和Market-1501。
2017-10-14 cs.CV
Automatic Spatially-aware Fashion Concept Discovery
University of Maryland(马里兰大学);Snap Inc.(Snap公司);Google Inc.(谷歌公司)
提出了一种基于购物网站弱标记图文数据的空间感知概念自动发现方法。我们首先通过在视觉语义嵌入空间中联合建模服装图像及其相应的描述来微调GoogleNet。然后,对于每个属性(词),我们通过将其语义词向量表示与从微调网络的卷积映射导出的空间表示相结合来生成其空间感知表示。所得到的空间感知表示还用于将属性聚类到多个组中以形成空间感知概念(例如,领口概念可以包括诸如V领、圆领等属性)。最后,我们将视觉语义嵌入空间分解成多个概念特定的子空间,这有利于结构化浏览和属性反馈产品检索,利用多模态语言学。我们在新收集的Fashion200K数据集上进行了广泛的实验,聚类质量评估和属性反馈产品检索任务的结果证明了我们自动发现的空间感知概念的有效性。
2017-08-03 cs.CV
PFGNet: A Fully Convolutional Frequency-Guided Peripheral Gating Network for Efficient Spatiotemporal Predictive Learning
College of Computer Science, Sichuan University(四川大学计算机科学学院);Department of Data and Systems Engineering, The University of Hong Kong(香港大学数据与系统工程系)
PFGNet通过像素级频率引导门控动态调节感受野,实现高效的时空预测学习,无需递归或注意力机制,在多个数据集上取得SOTA性能。
2026-04-22 cs.CV
DeepFix: A Fully Convolutional Neural Network for predicting Human Eye Fixations
Indian Institute of Science(印度科学学院);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
理解和预测人类视觉注意机制是神经科学和计算机视觉领域的一个活跃研究领域。在这项工作中,我们提出了DeepFix,这是一种用于精确显着性预测的首个完全卷积神经网络。与使用各种手工特征来表征显着性图的经典作品不同,我们的模型以分层方式自动学习特征,并以端到端的方式预测显着性图。DeepFix的设计目的是在多个尺度上捕获语义,同时使用具有非常大的接受域的网络层考虑全局上下文。通常,全卷积网络是空间不变的,这防止它们对位置相关模式(例如中心偏置)进行建模。我们的网络通过引入一个新的位置偏置卷积层克服了这一限制。我们在两个具有挑战性的眼睛注视数据集-MIT 300,CAT 2000上评估了我们的模型,并表明它明显优于其他最近的方法。
2015-10-10 cs.CV
Single Image Deraining via Rain-Steaks Aware Deep Convolutional Neural Network
Wuhan University of Science and Technology(武汉科技大学)
由于雨带在雨图像中是空间变化的,因此从单个雨图像中去除雨带是具有挑战性的。本文通过结合传统的图像处理技术和基于深度学习的技术来研究这个问题。提出了一种改进的加权引导图像滤波器(iWGIF),用于从雨天图像中提取高频信息。高频信息主要包括雨串和噪声,可以引导雨串感知的深度卷积神经网络(RSADCNN)对雨串进行更多的关注。提高了RSADNN的效率和解释能力。实验表明,该算法显着优于国家的最先进的方法在合成和真实世界的图像在定性和定量的措施。这对于在雨天条件下的自主导航是有用的。
2022-09-20 cs.CV
ExplainFix: Explainable Spatially Fixed Deep Networks
Carnegie Mellon University(卡内基梅隆大学);Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);INESC TEC(葡萄牙系统与计算机工程研究所)
深度网络是否有一个不需要学习的初始化?ExplainFix采用了两个设计原则:“固定滤波器”原则,即卷积神经网络的所有空间滤波器权重可以在初始化时固定,永远不会学习;“灵活性”原则,即只需少量网络参数即可。我们贡献了(a)基于视觉模型的解释,(b)速度和准确性的提高,以及(c)深度卷积神经网络的新工具。ExplainFix给出了关键见解,即空间固定网络应该进行引导初始化,空间卷积层往往优先考虑低频,并且大多数网络参数在空间固定模型中是不必要的。ExplainFix模型的空间过滤器内核比完全学习的模型少100倍,匹配或提高了准确性。我们广泛的实证分析证实,ExplainFix保证了更灵活的模型(通过通道修剪,训练速度提高了17\%),匹配或改善了预测性能(跨越13个不同的基线模型,4个架构和2个医学图像数据集),提高了对更大学习率的鲁棒性,以及对不同模型大小的鲁棒性。我们首先证明,最先进的卷积深度网络中的所有空间滤波器都可以在初始化时固定,而不是学习。
2023-03-18 cs.AI cs.CV cs.LG
DropBlock: A regularization method for convolutional networks
Google Brain(谷歌大脑)
深度神经网络通常在过度参数化并使用大量噪声和正则化(如权重衰减和丢弃)进行训练时工作良好。虽然dropout被广泛用作全连接层的正则化技术,但它对卷积层的效果往往不太好。卷积层的dropout缺乏成功可能是由于卷积层中的激活单元在空间上是相关的,因此尽管有dropout,信息仍然可以流过卷积网络。因此,需要一种结构化形式的dropout来正则化卷积网络。在本文中,我们介绍了DropBlock,一种结构化dropout的形式,其中特征映射的连续区域中的单元被一起丢弃。我们发现,除了卷积层之外,还在跳过连接中应用DropbBlock可以提高准确性。此外,在训练过程中逐渐增加丢弃的单元数量会导致更好的准确性和对超参数选择的更鲁棒性。大量的实验表明,DropBlock在正则化卷积网络方面比dropout更好。在ImageNet分类上,带有DropBlock的ResNet-50架构实现了$78.13\%$的准确性,这比基线上的$1.6\%$改进还要多。在COCO检测方面,DropBlock将RetinaNet的平均精度从$36.8\%$提高到$38.4\%$。
2018-10-30 cs.CV
FocusedDropout for Convolutional Neural Network
University of Electronic Science and Technology of China(电子科技大学)
在卷积神经网络(CNN)中,dropout不能很好地工作,因为丢弃的信息在特征空间相关的卷积层中并不完全模糊。除了随机丢弃区域或通道之外,许多方法试图通过丢弃有影响的单元来克服这个缺陷。在本文中,我们提出了一种名为FocusedDropout的非随机丢弃方法,旨在使网络更专注于目标。在FocusedDropout中,我们使用一种简单但有效的方法来搜索与目标相关的特征,保留这些特征并丢弃其他特征,这与现有的方法相反。我们发现,这种新方法可以通过使网络更加专注于目标来提高网络性能。此外,在使用FocusedDropout时增加权重衰减可以避免过拟合并提高精度。实验结果表明,即使是很小的成本,10%的批次采用FocusedDropout,可以产生一个很好的性能提升超过基线的多个数据集的分类,包括CIFAR10,CIFAR100,Tiny Imagenet,并具有良好的通用性,为不同的CNN模型。
2021-03-29 cs.CV
Spatially adaptive image compression using a tiled deep network
Google Inc.(谷歌公司)
深度神经网络代表了一类功能强大的函数逼近器,可以学习压缩和重建图像。现有的基于神经网络的图像压缩算法在每个图像上以恒定的空间比特率学习量化表示。虽然熵编码引入了一些空间变化,但传统的编解码器通过基于局部图像复杂度和视觉显著性显式地调整比特率而受益匪浅。本文介绍了一种算法,结合了深度神经网络与质量敏感的比特率自适应使用平铺网络。我们证明了空间上下文预测的重要性,并显示改进的定量(PSNR)和定性(主观评分评估)的结果相比,非自适应基线和最近发表的图像压缩模型的基础上完全卷积神经网络。
2018-02-07 cs.CV
Non-Uniform Blind Deblurring with a Spatially-Adaptive Sparse Prior
Northwestern Polytechnical University(西北工业大学);Microsoft Research Asia(微软亚洲研究院)
相机抖动导致的典型模糊通常会偏离标准的均匀卷积脚本,部分原因是有问题的旋转会在远离某个未知中心点的地方产生更大的模糊。因此,成功的盲去卷积需要估计空间变化的或非均匀的模糊算子。利用贝叶斯推理和凸分析的思想,本文推导出一种非均匀盲去模糊算法,该算法具有几个理想的,但以前未探索的属性。底层的目标函数包括一个空间自适应惩罚耦合潜在的清晰图像,非均匀模糊算子,和噪声水平在一起。这种耦合允许惩罚基于估计的局部模糊程度和图像结构自动调整其形状,使得具有大模糊或很少突出边缘的区域被忽略。因此,具有适度模糊和揭示边缘的剩余区域在整个估计过程中占主导地位,而无需明确地结合结构选择算法。该算法可以实现使用的优化最小化策略,几乎是无参数的。详细的理论分析和实际图像的实验验证验证了该方法的有效性。
2013-06-17 cs.CV
Improved Lossy Image Compression with Priming and Spatially Adaptive Bit Rates for Recurrent Networks
Google Inc.(谷歌公司)
我们提出了一种基于递归卷积神经网络的有损图像压缩方法,该方法优于BPG(4:2:0),WebP,JPEG 2000和JPEG,由MS-SSIM测量。我们介绍了三个改进以前的研究,导致这个国家的最先进的结果。首先,我们证明了使用SSIM加权的像素级损失进行训练可以根据几个指标提高重建质量。其次,我们修改了递归架构以改善空间扩散,这使得网络能够通过网络的隐藏状态更有效地捕获和传播图像信息。最后,除了无损熵编码,我们使用一个空间自适应位分配算法,更有效地使用有限的比特数编码视觉上复杂的图像区域。我们在Kodak和Tecnick图像集上评估了我们的方法,并与标准编解码器以及最近发表的基于深度神经网络的方法进行了比较。
2017-03-29 cs.CV
Learning a Single Convolutional Super-Resolution Network for Multiple Degradations
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
近年来,深度卷积神经网络(CNN)在单图像超分辨率(SISR)方面取得了前所未有的成功。然而,现有的基于CNN的SISR方法大多假设低分辨率(LR)图像是从高分辨率(HR)图像双三次下采样,从而不可避免地导致性能不佳时,真正的退化不遵循这一假设。此外,它们在学习单个模型以非盲目地处理多个退化方面缺乏可扩展性。为了解决这些问题,我们提出了一个具有维度拉伸策略的通用框架,该框架使单个卷积超分辨率网络能够采用SISR降级过程的两个关键因素,即,模糊核和噪声水平作为输入。因此,超解析器可以处理多个甚至空间变化的退化,这显着提高了实用性。在合成和真实LR图像上的大量实验结果表明,所提出的卷积超分辨率网络不仅可以对多种退化产生良好的结果,而且计算效率高,为实际SISR应用提供了一种高效和可扩展的解决方案。
2018-05-24 cs.CV
Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution
Nanjing University of Science and Technology(南京理工大学)
尽管已经提出了许多用于图像超分辨率的解决方案,但是它们通常与具有许多计算和存储器约束的低功率设备不兼容。在本文中,我们通过提出一种简单而有效的深度网络来解决这个问题,以有效地解决图像超分辨率。详细地说,我们开发了一个空间自适应功能调制(SAFM)机制上的视觉Transformer(ViT)一样的块。在它里面,我们首先应用SAFM块在输入特征上动态地选择代表性的特征表示。由于SAFM块从远程角度处理输入特征,因此我们进一步引入了卷积信道混合器(CCM),以同时提取本地上下文信息并执行信道混合。大量的实验结果表明,所提出的方法是$3\times$小于最先进的有效SR方法,例如,就网络参数而言,IMDN需要更少的计算成本,同时实现相当的性能。该代码可在https://github.com/sunny2109/SAFMN上获得。
2023-02-27 cs.CV
Enhance Convolutional Neural Networks with Noise Incentive Block
Guangdong Provincial People’s Hospital(广东省人民医院);Guangdong Academy of Medical Sciences(广东省医学科学院)
卷积神经网络作为一种通用的建模工具,已被广泛应用于图像生成和翻译任务。然而,当被馈送平坦输入时,由于空间共享的卷积核,当前的CNN模型可能无法生成生动的结果。我们称之为CNN的平坦性退化。不幸的是,这种退化是从平坦输入生成空间变化输出的最大障碍,这在以前的文献中几乎没有讨论过。为了解决这个问题,我们提出了一个模型不可知的解决方案,即噪声激励块(NIB),它作为一个通用的插件,任何CNN生成模型。其核心思想是在保持原始信息完整性的前提下,打破单调的输入条件。具体而言,NIB利用噪声图对称地扰动输入数据,并在目标函数驱动的特征域中重新组装它们。大量的实验表明,现有的CNN模型配备了NIB生存的平坦度下降,并能够产生视觉上更好的结果,更丰富的细节,在一些特定的图像生成任务给定的平面输入,例如语义图像合成,数据隐藏的图像生成,和深度神经抖动。
2021-06-09 cs.CV cs.LG
Learning Guided Convolutional Network for Depth Completion
Simon Fraser University(西蒙弗雷泽大学);National University of Defense Technology(国防科技大学);Tianjin University(天津大学);State Administration of Cultural Heritage(国家文物局)
密集的深度感知对于自动驾驶和其他机器人应用至关重要。然而,现代LiDAR传感器仅提供稀疏的深度测量。因此,有必要完成稀疏LiDAR数据,其中同步的指导RGB图像通常用于促进该完成。许多神经网络已被设计用于这一任务。然而,他们往往天真地融合激光雷达数据和RGB图像信息,通过执行功能串联或元素的增加。受引导图像滤波的启发,我们设计了一种新的引导网络来预测引导图像的核权重。然后应用这些预测的内核来提取深度图像特征。通过这种方式,我们的网络为多模态特征融合生成了内容相关和空间变化的内核。动态生成的空间变化内核可能导致过高的GPU内存消耗和计算开销。我们进一步设计了一个卷积因子分解,以减少计算和内存消耗。GPU内存的减少使得特征融合可以在多阶段方案中进行。我们进行了全面的实验,以验证我们的方法在真实世界的室外,室内和合成数据集。我们的方法产生了强有力的结果。它在NYUv2数据集上的表现优于最先进的方法,并在提交时在KITTI深度完成基准中排名第一。它还在不同的3D点密度,各种照明和天气条件以及跨数据集评估下具有强大的泛化能力。代码将被发布用于复制。
2019-08-03 cs.CV
Parcellation of Visual Cortex on high-resolution histological Brain Sections using Convolutional Neural Networks
1 Institute of Neuroscience;O. Vogt Institute for Brain Research, Heinrich-Heine University D\"usseldorf, Germany 3 Institut f\"ur Informatik, Heinrich-Heine University D\"usseldorf, Germany
组织学切片的显微镜分析被认为是验证人脑中结构包裹的“金标准”。它的高分辨率允许研究细胞分布的层状和柱状模式,这为皮层区域和网络的模拟奠定了重要基础。然而,这样的细胞结构映射是半自动的、耗时的过程,其不与高通量成像成比例。我们提出了一种自动化的方法,在2um分辨率的组织切片。它是基于一个卷积神经网络,结合从概率图谱的拓扑信息与纹理特征,从高分辨率细胞体染色图像。该模型应用于视觉区域,并在稀疏的部分注释集上进行训练。我们展示了预测是如何转移到新的大脑和空间一致的部分。
2017-05-30 cs.CV
Spatially-Adaptive Pixelwise Networks for Fast Image Translation
Technion(以色列理工学院);Adobe Research(奥多比研究院)
我们引入了一个新的生成器架构,旨在快速,高效的高分辨率图像到图像的翻译。我们将生成器设计为全分辨率图像的一个非常轻量级的函数。事实上,我们使用的是逐像素网络;也就是说,每个像素都是通过简单的仿射变换和非线性的组合来独立处理的。我们采取了三个重要步骤来为这样一个看似简单的函数提供足够的表达能力。首先,逐像素网络的参数在空间上是变化的,因此它们可以代表比简单的1x 1卷积更广泛的函数类。其次,这些参数是由一个快速卷积网络预测的,该网络处理输入的低分辨率表示;第三,我们用空间坐标的正弦编码来增强输入图像,这为生成逼真的新颖高频图像内容提供了有效的归纳偏差。因此,我们的模型比最先进的基线快18倍。我们实现了这种加速,同时在不同的图像分辨率和翻译域中生成可比的视觉质量。
2020-12-05 cs.CV
Depthwise Spatio-Temporal STFT Convolutional Neural Networks for Human Action Recognition
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校);Osaka University(大阪大学)
传统的3D卷积神经网络(CNN)计算昂贵、内存密集、易于过拟合,并且最重要的是,需要提高其特征学习能力。为了解决这些问题,我们提出了时空短期傅立叶变换(STFT)块,这是一类新的卷积块,可以作为3D卷积层及其变体的替代方案。STFT块由不可训练的卷积层组成,这些卷积层使用STFT内核在多个低频点捕获空间和/或时间局部傅立叶信息,然后是一组用于学习通道相关性的可训练线性权重。STFT块显著降低了3D CNN中的空间-时间复杂度。一般来说,与最先进的方法相比,它们使用的参数少3.5到4.5倍,计算成本少1.5到1.8倍。此外,它们的特征学习能力明显优于传统的3D卷积层及其变体。我们对七个动作识别数据集(包括Something-Something v1和v2、Jester、Diving-48、Kinetics-400、UCF 101和HMDB 51)进行了广泛的评估,结果表明,与最先进的方法相比,基于STFT块的3D CNN具有同等或更好的性能。
2020-07-22 cs.CV
Adaptive convolutional neural networks for k-space data interpolation in fast magnetic resonance imaging
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications(北京邮电大学信息与通信工程学院);Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
在快速磁共振成像(MRI)中,k空间中的深度学习已经证明了从欠采样的k空间数据重建图像重建的巨大潜力。然而,现有的基于深度学习的图像重建方法通常将权重共享卷积神经网络(CNN)应用于k空间数据,而不考虑k空间数据的空间频率属性,导致图像重建模型的无效学习。此外,在现有的深度学习方法中,空间相邻切片的互补信息往往被忽略。为了克服这些限制,我们开发了一种深度学习算法,称为用于k空间数据插值的自适应卷积神经网络(ACNN-k-Space),该算法采用残差编码器-解码器网络架构,通过将空间连续切片作为多通道输入,以及来自多个线圈的k空间数据(如果可用)来插值欠采样的k空间数据。该网络通过自关注层来增强,以自适应地关注不同空间频率和信道的k空间数据。我们在两个公共数据集上评估了我们的方法,并将其与最先进的现有方法进行了比较。消融研究和实验结果表明,我们的方法有效地重建图像欠采样的k空间数据,并实现显着更好的图像重建性能比目前最先进的技术。
2020-06-09 cs.CV eess.IV