Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks
University of California, Merced（加州大学默塞德分校）；Virginia Tech（弗吉尼亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
卷积神经网络最近已经证明了高质量的重建单图像超分辨率。然而，现有的方法通常需要大量的网络参数，并且在运行时需要大量的计算负载以生成高精度超分辨率结果。在本文中，我们提出了深度拉普拉斯金字塔超分辨率网络，用于快速准确的图像超分辨率。该网络在多个金字塔层次上逐步重建高分辨率图像的子带残差。与现有的方法，涉及双三次插值预处理（这会导致大的特征图），所提出的方法直接提取的特征，从低分辨率的输入空间，从而需要低的计算负荷。我们使用强大的Charbonnier损失函数对所提出的具有深度监督的网络进行训练，并实现高质量的图像重建。此外，我们利用递归层共享参数以及金字塔内的水平，从而大大减少了参数的数量。在基准数据集上的大量定量和定性评估表明，该算法在运行时间和图像质量方面优于现有的方法。
2018-08-09 cs.CV
Transform Domain Pyramidal Dilated Convolution Networks For Restoration of Under Display Camera Images
College of Engineering, Trivandrum（特里凡得琅工程学院）
显示下摄像头（Under-Display Camera，UDC）是一种新技术，它通过提供大的屏幕与机身比例，使手持设备上的数字成像体验无缝化。UDC图像由于其位于显示屏下而严重退化。这项工作解决了由于UDC成像而退化的图像的恢复。提出了两种不同的网络，用于恢复用两种类型的UDC技术拍摄的图像。第一种方法在小波分解的卷积神经网络内使用金字塔扩张卷积，用于基于pentile-organic LED（P-OLED）的显示系统。第二种方法在基于离散余弦变换的双域网络内采用金字塔扩张卷积来恢复使用基于半导体有机LED（T-OLED）的UDC系统拍摄的图像。第一种方法产生了质量非常好的恢复图像，并且是2020年欧洲计算机视觉会议（ECCV）关于基于PSNR和SSIM评估的显示器下摄像头-轨道2 - P-OLED的图像复原挑战赛的获奖作品。第二种方法在基于相同度量评估的挑战的轨道1（T-OLED）中获得第四位置。
2020-09-20 cs.CV
Deformable Image Registration with Multi-scale Feature Fusion from Shared Encoder, Auxiliary and Pyramid Decoders
School of Information Science and Engineering, Linyi University（临沂大学信息科学与工程学院）
提出一种用于无监督图像配准的可变形卷积金字塔网络，通过共享辅助解码器和多尺度特征融合块融合全局与局部特征，提升复杂变形捕捉能力、配准精度及变形平滑合理性。
2024-08-11 cs.AI cs.CV
PNEN: Pyramid Non-Local Enhanced Networks
Nanyang Technological University（南洋理工大学）；Xidian University（西安电子科技大学）
针对低层图像处理任务提出的现有神经网络通常通过堆叠具有有限核大小的卷积层来实现。每个卷积层仅涉及来自小的局部邻域的上下文信息。随着采用更多的卷积层，可以探索更多的上下文特征。然而，充分利用长期依赖性是困难和昂贵的。提出了一种新的非局部模块Pyramid Non-local Block，用于建立每个像素和所有剩余像素之间的连接。该模块能够有效地利用低层次结构的不同尺度之间的成对依赖关系。通过首先学习具有全分辨率的查询特征图和具有缩减分辨率的参考特征图的金字塔来实现目标。然后利用与多尺度参考特征的相关性来增强像素级特征表示。考虑到内存消耗和计算成本，计算过程是经济的。在此基础上，我们设计了一个金字塔非局部增强网络用于边缘保持图像平滑，该网络在模仿三种经典图像平滑算法方面达到了最先进的性能。此外，金字塔非局部块可以直接合并到卷积神经网络中，用于其他图像复原任务。我们将其集成到两种现有的图像去噪和单图像超分辨率方法中，实现了持续改进的性能。
2020-08-22 cs.CV
ASDN: A Deep Convolutional Network for Arbitrary Scale Image Super-Resolution
University of Technology Sydney（悉尼科技大学）；Bytedance（字节跳动）
深度卷积神经网络显著提高了超分辨率（SR）的峰值信噪比。然而，图像查看器应用程序通常允许用户将图像缩放到任意放大比例，因此迄今为止以巨大的计算成本强加了大量所需的训练比例。为了获得一个计算效率更高的任意尺度SR模型，本文采用拉普拉斯金字塔方法来重建任何尺度的高分辨率（HR）图像使用的高频图像细节的拉普拉斯频率表示。对于小尺度（1和2之间）的SR，图像是通过从预先计算的拉普拉斯金字塔水平的稀疏集插值构造的。大尺度的SR由小尺度递归计算，这显著降低了计算成本。为了进行全面的比较，使用各种基准进行固定和任何规模的实验。在固定尺度下，ASDN优于预定义的上采样方法（例如，SRCNN、VDSR、DRRN）在PSNR中降低约1dB。在任何规模上，ASDN通常在许多规模上都超过Meta-SR。
2020-10-06 cs.CV eess.IV
Feedback Pyramid Attention Networks for Single Image Super-Resolution
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）；Hong Kong University of Science and Technology（香港科技大学）
最近，基于卷积神经网络（CNN）的图像超分辨率（SR）方法已经取得了显着的性能改善。然而，大多数基于CNN的方法主要集中在前馈结构设计，而忽略了探索反馈机制，这通常存在于人类视觉系统。在本文中，我们提出了反馈金字塔注意力网络（FPAN），以充分利用功能的相互依赖性。具体而言，一种新的反馈连接结构的开发，以提高低层次的特征表达与高层次的信息。在我们的方法中，第一阶段中每一层的输出也被用作下一状态中对应层的输入，以重新更新先前的低级滤波器。此外，我们引入了金字塔非局部结构，在不同的尺度上对全局上下文信息进行建模，提高了网络的区分性表示。在各种数据集上的实验结果表明，与最先进的SR方法相比，我们的FPAN的优越性。
2021-06-13 cs.CV eess.IV
Towards Boosting the Channel Attention in Real Image Denoising : Sub-band Pyramid Attention
Northern Arizona University（北亚利桑那大学）；Xi’an Network Computing Data Technology Co., Ltd.（西安网络计算数据技术有限公司）
人工神经网络（ANN）中的卷积层同等对待通道特征，没有特征选择灵活性。虽然在具有未知噪声分布的实际应用中使用ANN进行图像去噪，特别是具有可学习模式的结构化噪声，但建模信息特征可以大大提高性能。真实图像去噪任务中的通道注意方法利用特征通道之间的依赖性，因此是频率分量滤波机制。现有的通道注意模块通常使用全局静态作为描述符来学习通道间的相关性。该方法在学习用于在频率级上重新缩放信道的代表系数时被认为是低效的。本文提出了一种新的子带金字塔注意（SPA）的基础上小波子带金字塔重新校准的频率成分提取的特征，在一个更细粒度的方式。我们在为真实图像去噪而设计的网络上装备SPA块。实验结果表明，该方法取得了显着的改善，比基准天真的通道注意块。此外，我们的研究结果表明金字塔的水平如何影响的SPA块的性能，并表现出良好的推广能力的SPA块。
2020-12-23 cs.CV eess.IV
Pyramid Real Image Denoising Network
Beijing University of Posts and Telecommunications（北京邮电大学）；GuangDong TUS-TuWei Technology Co.,Ltd（广东拓思途维科技有限公司）
虽然深度卷积神经网络（CNN）已经显示出对特定噪声建模和去噪的非凡能力，但它们在现实世界的噪声图像上仍然表现不佳。主要原因是现实世界的噪声更加复杂和多样。为了解决盲去噪问题，本文提出了一种新的金字塔真实图像去噪网络（PRIDNet），它包括三个阶段。首先，噪声估计阶段使用信道注意力机制来重新校准输入噪声的信道重要性。其次，在多尺度去噪阶段，利用金字塔池提取多尺度特征。第三，特征融合阶段采用核选择操作自适应地融合多尺度特征。两个数据集上的真实噪声照片的实验表明，我们的方法可以实现竞争力的性能相比，国家的最先进的去噪器在定量测量和视觉感知质量。代码可在https://github.com/491506870/PRIDNet上获得。
2019-10-22 cs.CV cs.LG eess.IV
Pyramid Attention Networks for Image Restoration
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Northeastern University（东北大学）；Google Brain（谷歌大脑）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Oregon（俄勒冈大学）
自相似性是指在图像复原算法中广泛使用的图像先验，即在不同的位置和尺度上往往会出现小而相似的模式。然而，最近用于图像复原的基于高级深度卷积神经网络的方法没有通过依赖于仅处理相同尺度的信息的自注意神经模块来充分利用自相似性。为了解决这个问题，我们提出了一种新的金字塔注意力模块的图像复原，它捕获的多尺度特征金字塔的远程特征对应。受到诸如噪声或压缩伪影等损坏在较粗糙的图像尺度上急剧下降的事实的启发，我们的注意力模块被设计为能够从较粗糙的水平上的“干净”对应中借用干净的信号。所提出的金字塔注意力模块是一个通用的构建块，可以灵活地集成到各种神经架构中。通过对多个图像复原任务的大量实验，验证了其有效性：图像去噪，去马赛克，压缩伪影减少，和超分辨率。我们的PANet（具有简单网络主干的金字塔注意力模块）无需任何额外功能，即可产生具有卓越准确性和视觉质量的最先进结果。我们的代码将在https://github.com/SHI-Labs/Pyramid-Attention-Networks上提供
2020-06-03 cs.CV cs.LG eess.IV
Spatial Pyramid Convolutional Neural Network for Social Event Detection in Static Image
Graduate School of Science and Technology, Kumamoto University（熊本大学科学与技术研究生院）
静态图像中的社会事件检测是一个非常具有挑战性的问题，并且它对于包括自动照片组织、广告推荐系统或图像描述的物联网应用非常有用。一些出版物表明，各种各样的对象，场景和人可以是非常模糊的系统，以决定发生在图像中的事件。针对静态图像中的社会事件检测问题，提出了一种空间金字塔结构的卷积神经网络（CNN）分类器。通过将空间金字塔配置应用于CNN分类器，分类器可以更准确地观察图像中出现的细节。使用Ahmad等人提供的USED数据集来评估我们提出的方法，该方法由两个不同的图像集EiMM和SED数据集组成。其结果是，我们的系统的平均精度优于基线方法分别为15%和2%。
2016-12-13 cs.CV
Cursive Scene Text Analysis by Deep Convolutional Linear Pyramids
King Saud bin Abdulaziz University for Health Sciences（沙特国王阿卜杜勒阿齐兹健康科学大学）；Universiti Teknologi Malaysia（马来西亚理工大学）；Govt. Post graduate College No. 01, Higher Education Department（高等教育部第一政府研究生学院）；University of Technology, Sydney（悉尼科技大学）
相机捕获的图像有多个方面需要研究。一般来说，研究的重点取决于感兴趣的地区。有时重点可能是颜色分割、目标检测或场景文本分析。图像分析，可见性和布局分析是人类行为特征所建议的人类更容易完成的任务，但相比之下，当这些相同的任务应该由机器执行时，它似乎具有挑战性。学习机总是从与所提供的样本相关联的属性中学习。近年来，许多方法被设计用于场景文本提取和识别，并且正在努力提高准确性。卷积方法为自然图像中出现的非草书文本分析提供了合理的结果。本手稿中的工作通过将每个金字塔视为所提供样本的一个特征来利用线性金字塔的优势。每个金字塔图像处理通过各种经验选择的内核。通过考虑EASTR-42k数据集的每个图像金字塔上的阿拉伯语文本来研究性能。阿拉伯语场景文本识别的出错率为0.17%。
2018-09-27 cs.CV
About Pyramid Structure in Convolutional Neural Networks
University of Milan（米兰大学）
深度卷积神经网络（CNN）无疑为各种具有挑战性的任务带来了革命，主要是在计算机视觉领域。然而，他们的模型设计仍然需要注意减少可学习参数的数量，而不会有意义地降低性能。在本文中，我们调查了CNN可以利用生物神经元的典型金字塔结构的程度。介绍了从输入到全连接层的卷积层的一般化陈述，有助于进一步理解和设计成功的深度网络。它减少了模糊性、参数数量及其在磁盘上的大小，而不会降低整体精度。性能显示在MNIST，Cifar-10，Cifar-100和ImageNet-12数据集的最新模型上。尽管Caffe_LENET的参数减少了80%以上，但仍获得了具有挑战性的结果。此外，尽管训练数据减少了10-20%，AlexNet模型及其变体的参数减少了10-40%，但与类似的精心设计的更深层次架构相比，仍然取得了有竞争力的结果。
2016-08-14 cs.CV
Fast Online Video Super-Resolution with Deformable Attention Pyramid
ETH Zürich（苏黎世联邦理工学院）；University of Würzburg（维尔茨堡大学）；KU Leuven（鲁汶大学）
视频超分辨率（VSR）有许多应用，提出严格的因果关系，实时性和延迟约束，包括视频流和电视。我们在这些设置下解决VSR问题，这带来了额外的重要挑战，因为来自未来帧的信息不可用。重要的是，设计高效的，但有效的帧对齐和融合模块仍然是核心问题。在这项工作中，我们提出了一个经常性的VSR架构的基础上变形的注意力金字塔（DAP）。我们的DAP将来自循环状态的信息对齐并整合到当前帧预测中。为了规避传统的基于注意力的方法的计算成本，我们只关注有限数量的空间位置，这是动态预测的DAP。综合实验和分析所提出的关键创新点表明我们的方法的有效性。与最先进的方法相比，我们显着降低了处理时间和计算复杂度，同时保持了高性能。在两个标准基准上，我们超过了最先进的方法EDVR-M，速度超过了$3\times$。
2022-04-06 cs.CV eess.IV
Laplacian Pyramid-like Autoencoder
Jenti
在本文中，我们开发的拉普拉斯类金字塔自动编码器（LPAE）通过添加拉普拉斯金字塔（LP）的概念，广泛用于分析图像的信号处理。LPAE在编码器部分将图像分解为近似图像和细节图像，然后在解码器部分尝试使用这两个分量来重建原始图像。我们使用LPAE进行分类和超分辨率区域的实验。使用细节图像和较小尺寸的近似图像作为分类网络的输入，我们的LPAE使模型更轻。此外，我们表明，连接的分类网络的性能仍然相当高。在超分辨率区域，我们证明了解码器部分通过设置类似于LP的结构来获得高质量的重建图像。因此，LPAE通过结合自动编码器的解码器部分和超分辨率网络来改进原始结果。
2022-08-26 cs.CV cs.LG eess.IV
FF-PNet: A Pyramid Network Based on Feature and Field for Brain Image Registration
College of Informatics, Huazhong Agricultural University, Wuhan 430070, China（华中农业大学信息学院）；Agricultural Bioinformatics Key Laboratory of Hubei Province（湖北省农业生物信息学重点实验室）；Key Laboratory of Smart Farming for Agricultural Animals, Ministry of Agriculture, Huazhong Agricultural University, Wuhan 430070, China（农业动物智能养殖重点实验室）
本文提出FF-PNet金字塔配准网络，通过残差特征融合模块与残差形变场融合模块并行提取粗细粒度特征，在无注意力机制和多层感知机的情况下，于LPBA和OASIS数据集上取得优于主流方法的脑图像配准精度。
2025-05-09 cs.CV cs.IR
Trident Pyramid Networks: The importance of processing at the feature pyramid level for better object detection
KU Leuven（鲁汶大学）
特征金字塔在诸如目标检测之类的多尺度计算机视觉任务中已经变得无处不在。鉴于其重要性，计算机视觉网络可以分为三个部分：主干（生成特征金字塔），颈部（细化特征金字塔）和头部（生成最终输出）。许多现有的网络在特征金字塔上运行，称为颈部，是浅的，主要集中在自上而下和自下而上操作形式的基于通信的处理。我们提出了一种新的颈部架构，称为三叉戟金字塔网络（TPN），它允许更深层次的设计和基于通信的处理和自我处理之间的更好的平衡。当在COCO目标检测基准测试中使用我们的TPN颈部时，我们显示出一致的改进，在使用ResNet-50和ResNeXt-101-DCN主干时，性能均优于流行的BiFPN基线0.5 AP。此外，我们的经验表明，将额外的计算放入TPN颈部，而不是骨干，通过使用我们的ResNet-50+TPN网络的ResNet-101+FPN基线超过1.7 AP，同时在类似的计算预算下运行，这是更有益的。这强调了在现代目标检测系统中在特征金字塔级别执行计算的重要性。代码可在https://github.com/CedricPicron/TPN上获得。
2022-10-28 cs.CV
Deep Convolutional Neural Network for Non-rigid Image Registration
Simon Fraser University（西蒙弗雷泽大学）
在不同时间或位置拍摄的图像会经历旋转、缩放、倾斜等变换。对准已经经历变换的不同图像的过程可以经由配准来完成。当分析时间序列数据以跟踪、平均或鉴别疾病诊断时，配准是期望的。对于刚性（包括线性或仿射）变换存在有效的配准方法;然而，对于非刚性（也称为非仿射）变换，当前方法在计算上昂贵且耗时。在本报告中，我将探索深度神经网络（DNN），更具体地说，深度卷积神经网络（CNN）有效执行非刚性图像配准的能力。实验结果表明，一个CNN可以用于有效的非刚性图像配准，并在显着更少的计算时间比传统的同构恶魔或金字塔的方法。
2021-04-24 cs.CV eess.IV
Mosaic Super-resolution via Sequential Feature Pyramid Networks
CSIRO-Data61（澳大利亚联邦科学与工业研究组织-Data61）；Australian National University（澳大利亚国立大学）
多光谱相机设计的进步引起了人们对从天文学到自动驾驶等广泛应用的极大兴趣。然而，这样的相机固有地遭受空间和光谱分辨率之间的权衡。在本文中，我们建议通过引入一种新的方法来解决这个限制，对原始马赛克图像进行超分辨率，多光谱或RGB拜耳，由现代实时单镜头马赛克传感器捕获。为此，我们设计了一个深度超分辨率架构，该架构受益于沿着网络深度的顺序特征金字塔。事实上，这是通过利用卷积LSTM（ConvLSTM）来学习不同感受野的特征之间的相互依赖性来实现的。此外，通过研究我们框架中不同注意力机制的效果，我们表明ConvLSTM启发的模块能够在我们的上下文中提供卓越的注意力。我们广泛的实验和分析证据表明，我们的方法产生显着的超分辨率质量，优于目前最先进的马赛克超分辨率方法的拜耳和多光谱图像。此外，据我们所知，我们的方法是第一个超分辨率马赛克图像的专业方法，无论是多光谱还是拜耳。
2020-04-15 cs.CV cs.LG eess.IV
Weakly Supervised Attention Pyramid Convolutional Neural Network for Fine-Grained Visual Classification
Beijing University of Posts and Telecommunications（北京邮电大学）；Stony Brook University（石溪大学）
在细粒度视觉分类（FGVC）中，从同一个超类别（如鸟类、汽车和飞机模型）中对目标的子类别进行分类，高度依赖于区分性特征表示和准确的区域定位。现有的方法主要集中在从高层次的功能提取信息。然而，在本文中，我们表明，通过整合低级别的信息（例如颜色，边缘路口，纹理图案），性能可以提高增强的特征表示和准确定位的判别区域。我们的解决方案，命名为注意力金字塔卷积神经网络（AP-CNN），包括a）一个金字塔层次结构，具有自上而下的特征路径和自下而上的注意力路径，因此学习高级语义和低级详细特征表示，以及b）一个ROI引导的细化策略，具有ROI引导的下拉块和ROI引导的放大，该方法通过增强局部区域的区分度并消除背景噪声来细化特征。所提出的AP-CNN可以进行端到端的训练，而不需要额外的限界框/部件注释。在三个常用的FGVC数据集（CUB-200-2011，Stanford Cars和FGVC-Aircraft）上进行的大量实验表明，我们的方法可以实现最先进的性能。代码可从\url{http://dwz1.cc/ci8so8a}获得
2020-02-09 cs.CV
A multi-scale pyramid of 3D fully convolutional networks for abdominal multi-organ segmentation
Nagoya University（名古屋大学）；Aichi Cancer Center（爱知县癌症中心）；National Institute of Informatics（国立信息学研究所）
深度学习的最新进展，如3D全卷积网络（FCN），改善了医学图像密集语义分割的最新技术水平。然而，大多数网络架构需要严格的下采样或裁剪图像，以满足当今GPU卡的内存限制，同时仍然考虑图像中的足够上下文以进行准确分割。在这项工作中，我们提出了一种新的方法，利用自动上下文执行语义分割在更高的分辨率在一个多尺度金字塔堆叠的三维FCN。我们训练和验证我们的模型的数据集手动注释的腹部器官和血管从377临床CT图像用于胃手术，并取得了良好的结果，平均接近90%的Dice评分。为了进行额外的评估，我们对来自不同来源的数据集进行了单独的测试，并取得了有竞争力的结果，说明了模型和方法的鲁棒性。
2018-06-06 cs.CV
Temporal Pyramid Pooling Based Convolutional Neural Networks for Action Recognition
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
受卷积神经网络（CNN）在图像分类中的成功的鼓舞，最近很多努力都花在将CNN应用于基于视频的动作识别问题上。一个挑战是视频包含不同数量的帧，这与CNN的标准输入格式不兼容。现有的方法通过直接采样固定数量的帧来处理这个问题，或者通过引入在时空域中进行卷积的3D卷积层来绕过这个问题。为了解决这个问题，在这里，我们提出了一种新的网络结构，允许任意数量的帧作为网络输入。我们的解决方案的关键是引入一个由编码层和时间金字塔池化层组成的模块。编码层将来自先前层的激活映射到适合于池化的特征向量，而时间金字塔池化层将多个帧级激活转换为固定长度的视频级表示。此外，我们采用了一个特征拼接层，它结合了外观信息和运动信息。与帧采样策略相比，该方法避免了丢失任何重要帧的风险。与需要巨大视频数据集进行网络训练的3D卷积方法相比，我们的模型可以在小目标数据集上学习，因为我们可以利用现成的图像级CNN进行模型参数初始化。在两个具有挑战性的数据集Hollywood2和HMDB51上的实验表明，我们的方法在需要更少的训练数据的情况下，实现了优于最先进方法的性能。
2015-04-16 cs.CV
Adaptive Deep Pyramid Matching for Remote Sensing Scene Classification
Nanjing University of Information Science and Technology（南京信息工程大学）；Beijing Electro-Mechanical Engineering Institute（北京机电工程研究所）；University of Extremadura（埃斯特雷马杜拉大学）
卷积神经网络（CNN）在遥感领域引起了越来越多的关注。大多数CNN仅将最后的全连接层作为遥感图像分类的特征，而丢弃其他可能对分类目的也有帮助的卷积层特征。在本文中，我们提出了一种新的自适应深度金字塔匹配（ADPM）模型，利用所有的卷积层的遥感图像分类的功能。为此，从数据本身学习不同卷积层的最佳融合权重。在遥感图像中，感兴趣的目标在不同的场景中表现出不同的尺度，甚至单个场景可能包含不同大小的目标。为了解决这个问题，我们选择了具有空间金字塔池（SPP-net）的CNN作为基本深度网络，并进一步构建了多尺度ADPM模型，以从多尺度图像中学习互补信息。我们的实验已经进行了使用两个广泛使用的遥感图像数据库，结果表明，该方法显着提高了性能相比，其他国家的最先进的方法。
2016-11-11 cs.CV
PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer
The Hong Kong University of Science and Technology（香港科技大学）；Intel Labs China（英特尔中国研究院）
尽管卷积神经网络（CNN）具有强大的建模能力，但它通常对尺度敏感。为了增强CNN对尺度方差的鲁棒性，来自不同层或滤波器的多尺度特征融合在现有解决方案中引起了极大的关注，而忽略了更细粒度的核空间。我们通过在更细的粒度中利用多尺度特征来弥合这一遗憾。所提出的卷积操作称为Poly-Scale Convolution（PSConv），它混合了一系列膨胀率，并巧妙地将它们分配到每个滤波器的单个卷积核中。具体来说，膨胀率沿着过滤器的输入和输出通道的轴周期性地变化，以整洁的风格在广泛的尺度上聚合特征。PSConv可以替代许多流行的CNN主干中的普通卷积，从而在不引入额外参数和计算复杂性的情况下实现更好的表示学习。在ImageNet和MS COCO基准上的综合实验验证了PSConv的卓越性能。代码和型号可在https://github.com/d-li14/PSConv上获得。
2020-07-13 cs.CV
EPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network
Shenzhen University（深圳大学）；Xi’an Jiaotong University（西安交通大学）
最近，研究表明，通过在深度卷积神经网络中嵌入注意力模块，可以有效地提高其性能。通过在ResNet的瓶颈块中用PSA模块替换3x3卷积，获得了一种名为高效金字塔挤压注意力（EPSA）的新型代表性块。EPSA模块可以作为即插即用组件轻松添加到完善的骨干网络中，并可以显著提高模型性能。因此，在这项工作中，通过堆叠这些ResNet风格的EPSA块，开发了一个简单而高效的主干架构EPSANet。相应地，一个更强的多尺度表示能力，可以提供所提出的EPSANet的各种计算机视觉任务，包括但不限于，图像分类，对象检测，实例分割等，没有花里胡哨，所提出的EPSANet的性能优于大多数的国家的最先进的通道注意力的方法。与SENet-50相比，ImageNet数据集上的Top-1准确率提高了1.93%，通过使用Mask-RCNN在MS-COCO数据集上获得了用于对象检测的+2.7框AP的更大余量和用于实例分割的+1.7掩模AP的改进。我们的源代码可以在www.example.com上找到。
2021-07-22 cs.CV
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）；University of Science and Technology of China（中国科学技术大学）
现有的深度卷积神经网络（CNN）需要固定大小（例如，224x224）输入图像。该要求是"人为的"，并且可能降低任意尺寸/尺度的图像或子图像的识别准确度。在这项工作中，我们配备了另一种池化策略，“空间金字塔池化”，以消除上述要求的网络。新的网络结构，称为SPP网络，可以生成一个固定长度的表示，而不管图像的大小/规模。金字塔池对对象变形也很鲁棒。有了这些优点，SPP网络应该在总体上改进所有基于CNN的图像分类方法。在ImageNet 2012数据集上，我们证明SPP-net可以提高各种CNN架构的准确性，尽管它们的设计不同。在Pascal VOC 2007和Caltech 101数据集上，SPP-net使用单个全图像表示实现了最先进的分类结果，无需微调。SPP网络在目标检测中也具有重要的作用。使用SPP网络，我们只计算一次整个图像的特征图，然后将任意区域（子图像）中的特征集中起来，以生成固定长度的表示来训练检测器。该方法避免了重复计算卷积特征。在处理测试图像时，我们的方法比R-CNN方法快24 - 102倍，同时在Pascal VOC 2007上实现了更好或相当的准确性。在2014年ImageNet大规模视觉识别挑战赛（ILSVRC）中，我们的方法在所有38个团队中的对象检测中排名第2，在图像分类中排名第3。本文还介绍了为本次比赛所做的改进。
2015-04-23 cs.CV
PiaNet: A pyramid input augmented convolutional neural network for GGO detection in 3D lung CT scans
Cancer Hospital, Academy of Medical Sciences（中国医学科学院肿瘤医院）
提出了一种新的多尺度处理卷积神经网络（简称PiaNet），用于检测3D CT图像中的磨玻璃样阴影（GGO）结节。PiaNet由特征提取模块和预测模块组成。前一个模块是通过将金字塔多尺度源连接引入到收缩-扩展结构中来构造的。后一个模块包括一个边界框回归器和一个分类器，用于同时识别GGO结节和估计多个尺度的边界框。为了训练建议的PiaNet，一个两阶段的迁移学习策略。在第一阶段中，特征提取模块被嵌入到分类器网络中，该分类器网络在GGO和非GGO块的大数据集上训练，GGO和非GGO块通过从少量注释的CT扫描执行数据增强而生成。在第二阶段，预训练的特征提取模块被加载到PiaNet中，然后使用注释的CT扫描对PiaNet进行微调。我们在LIDC-IDRI数据集上评估了建议的PiaNet。实验结果表明，我们的方法优于国家的最先进的同行，包括Subsolid CAD和Aidence系统和S4 ND和GA-SSD方法。PiaNet的灵敏度达到91.75%，每次扫描只有一个假阳性
2020-10-10 cs.CV
DenseNet: Implementing Efficient ConvNet Descriptor Pyramids
University of California, Berkeley（加州大学伯克利分校）
卷积神经网络（CNN）可以提供准确的对象分类。它们可以被扩展以通过在密集或选定的建议对象区域上迭代来执行目标检测。然而，这样的检测器的运行时间与每个图像要检查的区域的总数和/或面积成比例，并且训练这样的检测器可能非常慢。然而，对于某些CNN分类器拓扑结构，可以在要分类的重叠区域之间共享重要工作。本文介绍了DenseNet，这是一个开源系统，可以从基于CNN的对象分类器的卷积层中计算密集的多尺度特征。未来的工作将涉及使用DenseNet特征描述符训练高效的对象检测器。
2014-04-07 cs.CV
Detection of Premature Ventricular Contractions Using Densely Connected Deep Convolutional Neural Network with Spatial Pyramid Pooling Layer
室性早搏是起源于心室的一种异位早搏。目前，大多数方法都是在同一个数据库中开发和测试的，这些数据库分为训练集和测试集，它们在不同数据库中的泛化性能尚未得到充分验证。本文提出了一种基于密集连接卷积神经网络和空间金字塔池的PVC检测方法，可以将任意大小的QRS波群作为训练和测试的输入。通过使用MIT-BIH心律失常数据库作为基准进行训练和测试，所提出的网络具有更简单和更直接的架构，在准确性、灵敏度和特异性方面实现了与当前最先进的基于深度学习的方法相当的结果。除了基准数据库，QRS波群是从四个更开放的数据库中提取的，即圣彼得堡心脏病技术研究所12导联心律失常数据库，MIT-BIH正常窦性心律数据库、MIT-BIH长期数据库和欧洲ST-T数据库。在不同的数据库中提取的QRS波群长度和采样率不同，并进行了跨数据库的训练和测试，结果表明，该网络的性能优于基准数据库，证明了使用多个数据库进行训练比使用单个数据库的优势，该网络在其他四个数据库上也取得了令人满意的成绩，表现出良好的泛化能力。
2019-10-10 cs.CV
Towards Efficient Convolutional Network Models with Filter Distribution Templates
University of Bristol（布里斯托大学）
当特征图减少时，增加更深层的过滤器数量是卷积网络设计中广泛采用的模式。它可以在经典的CNN架构和自动发现模型中找到。即使CNS方法通常也会探索来自这种金字塔模式的乘数的选择。我们通过引入一小组模板来对抗这种做法，这些模板由VGG和ResNet架构中过滤器原始金字塔分布的易于实现，直观和积极的变化组成。在CIFAR，CINIC10和TinyImagenet数据集上的实验表明，由我们的模板生成的模型在更少的参数和内存需求方面更有效。
2021-04-17 cs.CV
Deep Pyramidal Residual Networks with Separated Stochastic Depth
Osaka Prefecture University（大阪府立大学）
在一般物体识别上，深度卷积神经网络（DCNN）实现了高精度。特别是ResNet及其改进打破了最低出错率记录。在本文中，我们提出了一种成功结合两种ResNet改进的方法，ResDrop和PyramidNet。我们证实，所提出的网络优于传统方法;在CIFAR-100上，所提出的网络实现了16.18%的出错率，而PiramidNet实现了18.29%和ResNeXt实现了17.31%。
2016-12-05 cs.CV
Pyramid Person Matching Network for Person Re-identification
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
在这项工作中，我们提出了一个深度卷积金字塔的人匹配网络（PPMN）与专门设计的金字塔匹配模块，以解决人的重新识别的问题。该架构将一对RGB图像作为输入，并输出指示两个输入图像是否表示同一个人的相似度值。该方法基于深度卷积神经网络，首先学习具有语义成分感知特征的区分性语义表示，然后采用金字塔匹配模块匹配人的公共语义成分，该模块对空间尺度变化和视点变化造成的位置错位具有鲁棒性。上述两个过程通过统一的端到端深度学习方案进行联合优化。在几个基准数据集上的大量实验证明了我们的方法对最先进的方法的有效性，特别是在rank-1识别率上。
2018-03-07 cs.CV
Pyramid Vector Quantization and Bit Level Sparsity in Weights for Efficient Neural Networks Inference
Ocean Logic Pty Ltd
本文讨论了卷积神经网络（CNN）推理的三个基本模块。金字塔矢量量化（PVQ）被讨论为CNN权重的有效量化器，从而产生高度稀疏和可压缩的网络。PVQ的属性被用来消除在推理过程中的乘法器，同时保持高性能。然后将结果扩展到任何其他量化权重。Tiny Yolo v3 CNN用于比较这些基本块。
2019-11-24 cs.CV
Learning Feature Pyramids for Human Pose Estimation
The Chinese University of Hong Kong（香港中文大学）；The University of Sydney（悉尼大学）
关节式人体姿态估计是计算机视觉中一项基本而又具有挑战性的任务。当相机视图改变或发生严重的透视缩短时，人体部位的比例变化的困难尤其明显。尽管金字塔方法被广泛用于处理推理时的尺度变化，但深度卷积神经网络（DCNN）中的特征金字塔学习仍然没有得到很好的探索。在这项工作中，我们设计了一个金字塔残差模块（PRM）来增强DCNN的尺度不变性。给定输入特征，PRM在不同尺度的输入特征上学习卷积滤波器，这些输入特征是在多分支网络中以不同的子采样率获得的。此外，我们观察到，它是不合适的，采用现有的方法来初始化的多分支网络的权重，这取得了更好的性能比平原网络在许多任务最近。因此，我们提供了理论推导，以扩展目前的权重初始化方案，多分支网络结构。我们调查我们的方法在两个标准的基准人体姿态估计。我们的方法在两个基准上都获得了最先进的结果。代码可在https://github.com/bearpaw/PyraNet上获得。
2017-08-03 cs.CV
GraphFPN: Graph Feature Pyramid Network for Object Detection
Nebula AI Group, School of Computer Science, Fudan University（复旦大学计算机科学技术学院星云人工智能组）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）
特征金字塔在需要多尺度特征的图像理解任务中已被证明是强大的。用于多尺度特征学习的现有技术方法集中于使用具有固定拓扑结构的神经网络跨空间和尺度执行特征交互。在本文中，我们提出了图形特征金字塔网络，能够适应其拓扑结构，以不同的内在图像结构，并支持跨所有尺度的同步功能交互。我们首先为每个输入图像定义一个图像特定的超像素层次结构来表示其内在的图像结构。图形特征金字塔网络从该超像素层次结构继承其结构。上下文层和层次层旨在实现同一尺度内和不同尺度间的要素交互。为了使这些层更强大，我们通过推广卷积神经网络的全局通道注意力，为图神经网络引入了两种类型的局部通道注意力。所提出的图特征金字塔网络可以增强卷积特征金字塔网络的多尺度特征。我们在目标检测任务中评估我们的图特征金字塔网络，将其集成到Faster R-CNN算法中。修改后的算法不仅优于以前最先进的基于特征的方法，而且在MS-COCO 2017验证和测试数据集上也优于其他流行的检测方法。
2022-01-08 cs.CV
Spatiotemporal Pyramid Network for Video Action Recognition
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
双流卷积网络在视频动作识别任务中表现出强大的性能。其关键思想是通过在空间和时间上融合卷积网络来学习时空特征。然而，它仍然不清楚如何在多个抽象级别的空间和时间结构之间的相关性建模。首先，如果两个视频共享相似的背景，则空间流倾向于失败。第二，如果两个动作在短片段中相似，尽管从长远来看是不同的，那么时间流可能会被愚弄。我们提出了一种新的时空金字塔网络融合的空间和时间的特点，在金字塔结构，使他们可以相互加强。从体系结构的角度来看，我们的网络构成了分层融合策略，可以作为一个整体使用统一的时空损失进行训练。一系列的烧蚀实验支持每个融合策略的重要性。从技术角度来看，我们将时空紧致双线性算子引入到视频分析任务中。该算子能够有效地训练双线性融合操作，该操作可以捕获空间和时间特征之间的全部相互作用。我们的最终网络在标准视频数据集上实现了最先进的结果。
2019-03-04 cs.CV
ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们介绍了一种快速，高效的卷积神经网络，ESPNet，资源限制下的高分辨率图像的语义分割。ESPNet基于一种新的卷积模块，高效空间金字塔（ESP），它在计算，内存和功率方面都很高效。ESPNet比最先进的语义分割网络PSPNet快22倍（在标准GPU上），小180倍，而其分类准确率仅低8%。我们在各种语义分割数据集上评估了ESPNet，包括Cityscapes，PASCAL VOC和乳腺活检全切片图像数据集。在相同的内存和计算限制下，ESPNet在标准指标和我们新引入的衡量边缘设备效率的性能指标上都优于所有当前高效的CNN网络，如MobileNet，ShuffleNet和ENet。我们的网络可以在标准GPU和边缘设备上分别以每秒112帧和9帧的速度处理高分辨率图像。
2018-07-25 cs.CV
Spectral Pyramid Graph Attention Network for Hyperspectral Image Classification
Huawei Helsinki Research Center, Finland（华为赫尔辛基研究中心（芬兰））；Huawei Technologies, China（华为技术有限公司（中国））
卷积神经网络（CNN）在高光谱图像分类中取得了显著的进展。然而，标准卷积核忽略了数据点之间的内在联系，导致区域划分不佳和小的虚假预测。此外，HSI具有沿着高维谱域的独特的连续数据分布-考虑到过高的维度，在表征谱上下文方面还有很多问题需要解决，并且鉴于有限数量的标记数据，提高推理能力。本文提出了一种新的架构，明确解决这两个问题。具体地说，我们设计了一种架构，以多个嵌入空间的频谱金字塔的形式编码的多个频谱上下文信息。在每个谱嵌入空间中，我们提出了图注意力机制，根据谱特征空间中的连接，在空间域中显式地执行可解释的推理。在3个HSI数据集上的实验表明，与现有方法相比，该方法能显著提高分类精度。
2020-01-20 cs.CV
Aggregated Pyramid Vision Transformer: Split-transform-merge Strategy for Image Recognition without Convolutions
Tamkang University（淡江大学）；National Cheng Kung University（台湾成功大学）
随着Transformer在自然语言处理领域的研究成果，Transformer中的编码器-解码器和注意机制已经被应用到计算机视觉中。近来，在计算机视觉的多个任务（图像分类、对象检测、语义分割等）中，现有技术的卷积神经网络已经引入了Transformer的一些概念。这证明了Transformer在图像识别领域具有良好的应用前景。在视觉Transformer被提出之后，越来越多的作品开始使用自注意力来完全取代卷积层。本文在视觉Transformer的基础上，结合金字塔结构，采用分裂-变换-合并的方法，提出了分组编码器，并将其网络结构命名为聚合金字塔视觉Transformer（APVT）。我们在CIFAR-10数据集上执行图像分类任务，在COCO 2017数据集上执行目标检测任务。与其他以Transformer为骨干的网络架构相比，APVT在降低计算代价的同时，具有优异的效果。希望这种改进策略能为今后计算机视觉领域的Transformer研究提供参考。
2022-03-02 cs.CV
Understanding Spatio-Temporal Relations in Human-Object Interaction using Pyramid Graph Convolutional Network
Technical University of Munich（慕尼黑工业大学）
提出金字塔图卷积网络PGCN，通过注意力图卷积和时间金字塔池化模块提取人-物交互时空特征，实现动作识别与分割，在Bimanual Actions等数据集上F1指标显著提升。
2024-10-10 cs.CV cs.RO
Physical Computing With No Clock to Implement the Gaussian Pyramid of SIFT Algorithm
Tsinghua University（清华大学）
物理计算是一种利用电子设备和电路拓扑的性质来处理计算任务的技术。本文提出了一种有源电路网络来实现多尺度高斯滤波器，在图像预处理中也称为高斯金字塔。在图像特征提取算法的关键阶段，人们尝试了各种方法来加速。与现有的GPU并行计算和FPGA加速技术相比，物理计算在处理速度和功耗方面具有很大的优势。通过物理计算技术验证了实现SIFT算法的高斯金字塔的处理时间可以达到纳秒级，而现有的其他方法至少需要数百毫秒。通过对电路杂散电容的估计，滤波256x256图像的功耗约为670pJ。据我们所知，这是最快的处理技术，以加速SIFT算法，它也是一个相当节能的方法，由于所提出的物理计算技术。
2014-08-11 cs.CV
Global Context for Convolutional Pose Machines
Intel（英特尔）
卷积位姿机是一种用于关节位姿估计的流行神经网络结构。在这项工作中，我们探索它的经验接受领域，并意识到，它可以与全球背景的整合得到加强。为此，提出了U形上下文池模型，并与语义分割领域常用的金字塔池和空间金字塔池模型进行了比较。所提出的神经网络实现了最先进的准确性与87.9%的PCKh的单人姿势估计上看人数据集。该网络的较小版本每秒运行超过160帧，而准确度仅低2.9%。在MPII基准测试中对所提出的方法进行了测试，结果表明，它比基于沙漏的网络更快，同时提供了类似的精度。该代码可在https://github.com/opencv/openvino_training_extensions/tree/develop/pytorch_toolkit/human_pose_estimation上获得。
2019-06-10 cs.CV
A Fast Face Detection Method via Convolutional Neural Network
Xiamen University（厦门大学）；Beihang University（北京航空航天大学）
当前通过卷积神经网络（例如OverFeat、R-CNN和DenseNet）的人脸或目标检测方法基于图像金字塔显式地提取多尺度特征。然而，这样的策略增加了人脸检测的计算负担。本文提出了一种快速的人脸检测方法，该方法基于一个精心设计的卷积神经网络提取的鉴别性完整特征（DCF），直接在完整的特征图上进行人脸检测。DCF具有尺度不变性的特点，有利于人脸检测的快速性和良好的检测性能。因此，在传统的方法中，提取图像金字塔上的多尺度特征是不需要在所提出的方法，这可以大大提高其效率的人脸检测。在几个流行的人脸检测数据集上的实验结果表明了该方法的有效性。
2018-03-27 cs.CV
Face Pyramid Vision Transformer
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Information Technology University（信息科技大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）
FPVT通过结合CNN和ViT的优势，提出了一种高效的人脸多尺度表示学习方法，实现优异的识别性能。
2026-02-23 cs.CV
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
Courant Institute（库朗研究所）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
在本文中，我们介绍了一个生成参数模型能够产生高质量的自然图像样本。我们的方法使用拉普拉斯金字塔框架内的卷积网络级联，以粗到细的方式生成图像。在金字塔的每一层，使用生成对抗网络（GAN）方法（Goodfellow等人）训练单独的生成convnet模型。从我们的模型中提取的样本的质量明显高于其他方法。在人类评估人员的定量评估中，我们的CIFAR10样本在大约40%的时间内被误认为是真实图像，而从GAN基线模型中提取的样本只有10%。我们还展示了在LSUN场景数据集的高分辨率图像上训练的模型的样本。
2015-06-18 cs.CV
Unsupervised Representation Learning with Laplacian Pyramid Auto-encoders
China University of Petroleum(East China)（中国石油大学（华东））
尺度空间表示由于其理论基础而在计算机视觉领域受到广泛关注。生成给定数据集的尺度空间表示的动机源于这样一个基本观察，即现实世界的对象是由不同尺度的不同结构组成的。因此，考虑使用通过平滑和下采样操作生成的图像金字塔来学习特征是合理的。在本文中，我们提出了拉普拉斯金字塔自动编码器，这是对深度卷积自动编码器架构的直接修改，用于无监督表示学习。该方法在拉普拉斯金字塔框架内使用多个编解码子网络来重建原始图像和低通滤波图像。每个编码子网络的最后一层也连接到下一层中的子网络的编码层，其目的是逆转拉普拉斯金字塔生成的过程。实验结果表明，拉普拉斯金字塔有利于深度自动编码器方法的分类和重建性能，而批量归一化对于让深度自动编码器方法开始学习至关重要。
2018-05-12 cs.CV
Feature Pyramid Networks for Object Detection
Facebook AI Research (FAIR)（Facebook人工智能研究院）；Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
特征金字塔是识别系统中用于检测不同尺度的对象的基本组件。但最近的深度学习对象检测器避免了金字塔表示，部分原因是它们是计算和内存密集型的。在本文中，我们利用深度卷积网络固有的多尺度金字塔层次结构来构建具有边际额外成本的特征金字塔。一个自顶向下的架构与横向连接的发展，在所有尺度上建立高层次的语义特征地图。这种架构，称为特征金字塔网络（FPN），在几个应用中作为通用特征提取器显示出显着的改进。在基本的Faster R-CNN系统中使用FPN，我们的方法在COCO检测基准上实现了最先进的单模型结果，没有花里胡哨，超越了所有现有的单模型条目，包括COCO 2016挑战赛获奖者。此外，我们的方法可以在GPU上以5 FPS运行，因此是多尺度目标检测的实用且准确的解决方案。代码将公开提供。
2017-04-19 cs.CV
Generating High-Quality Crowd Density Maps using Contextual Pyramid CNNs
Rutgers University（罗格斯大学）
我们提出了一种新的方法，称为上下文金字塔CNN（CP-CNN），用于生成高质量的人群密度和计数估计，明确地将全球和本地的上下文信息的人群图像。CP-CNN由四个模块组成：全局上下文估计（GCE），局部上下文估计（LCE），密度图估计（DME）和融合CNN（F-CNN）。GCE是基于VGG-16的CNN，其编码全局上下文，并且其被训练为将输入图像分类到不同的密度类中，而LCE是另一种CNN，其编码局部上下文信息，并且其被训练为执行输入图像到不同密度类中的逐块分类。DME是一种基于多列架构的CNN，旨在从输入图像生成高维特征图，这些特征图与使用F-CNN的GCE和LCE估计的上下文信息融合。为了生成高分辨率和高质量的密度图，F-CNN使用一组卷积层和分数步长卷积层，并使用对抗性损失和像素级欧几里得损失的组合，以端到端的方式与DME一起训练。在具有高度挑战性的数据集上进行的大量实验表明，所提出的方法比现有的方法有了显着的改进。
2017-08-02 cs.CV
Pyramid Stereo Matching Network
Department of Computer Science, National Chiao Tung University（交通大学计算机科学系）
最近的工作表明，从立体图像对的深度估计可以用公式表示为要用卷积神经网络（CNN）解决的监督学习任务。然而，目前的架构依赖于补丁为基础的暹罗网络，缺乏手段来利用上下文信息找到对应不适定区域。为了解决这个问题，我们提出了PSMNet，一个金字塔立体匹配网络，由两个主要模块组成：空间金字塔池和3D CNN。空间金字塔池化模块通过聚合不同尺度和位置的上下文来形成成本量，从而利用全局上下文信息的容量。3D CNN学习使用堆叠的多个沙漏网络结合中间监督来规范成本量。在几个基准数据集上对所提出的方法进行了评估。我们的方法在2018年3月18日之前在KITTI 2012和2015排行榜中排名第一。PSMNet的代码可在https://github.com/JiaRenChang/PSMNet上查阅。
2018-03-23 cs.CV
Dual-Stream Pyramid Registration Network
Malong LLC（马龙有限责任公司）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；ARTORG Center for Biomedical Engineering Research, Univ. of Bern（伯尔尼大学ARTORG生物医学工程研究中心）
提出Dual-PRNet双流金字塔配准网络，通过双流编码器-解码器架构和金字塔配准模块从卷积特征金字塔计算多尺度配准场，以由粗到细的方式处理大形变，在脑MRI配准基准上大幅超越现有方法。
2023-04-01 cs.CV
Two-stream Convolutional Networks for Multi-frame Face Anti-spoofing
School of Signal and Information Processing, Southeast University（东南大学信号与信息处理学院）；SenseTime Group Limited（商汤科技集团有限公司）
人脸防欺骗是保障人脸识别安全的重要任务。以往的工作要么是难以捕捉有区别的和可推广的特征，要么是依赖于大多数工业产品无法获得的辅助信息。受视频分类工作的启发，我们提出了一种有效的双流模型来捕获实时和欺骗人脸之间的关键差异，该模型分别以多帧和RGB差异作为输入。采用具有两个相反融合方向的特征金字塔模块和金字塔池模块来增强特征表示。在Siw、Oulu-NPU、CASIA-MFSD和Replay-Attack数据集上对该方法进行了测试。实验结果表明，该模型在大部分数据集的协议上都取得了较好的效果，且参数少得多。
2021-08-09 cs.CV
Feature Pyramid Hashing
Sun Yat-Sen University（中山大学）
近年来，基于深度网络的哈希算法已成为大规模图像检索的主要方法。大多数深度哈希方法使用高层来提取强大的语义表示。然而，这些方法的细粒度图像检索的能力有限，因为从高层提取的语义特征是难以捕捉的细微差别。为此，我们提出了一种新的双金字塔哈希架构，学习的语义信息和细微的外观细节，细粒度的图像搜索。受卷积神经网络的特征金字塔的启发，提出了一种垂直金字塔来捕捉高层特征，水平金字塔将多个低层特征与结构信息相结合来捕捉细微差别。为了融合低层特征，提出了一种新的组合策略，称为共识融合，以捕获所有微妙的信息，从几个低层更精细的检索。对两个细粒度数据集CUB-200-2011和Stanford Dogs的广泛评估表明，与最先进的基线相比，所提出的方法实现了显着的性能。
2019-04-04 cs.CV
Lightweight Pyramid Networks for Image Deraining
Xiamen University（厦门大学）；Columbia University（哥伦比亚大学）
现有的深度卷积神经网络在图像去噪方面取得了重大成功，但代价是大量的参数。这限制了它们的潜在应用，例如在移动设备中。在本文中，我们提出了一个轻量级的金字塔网络（LPNet）的单图像去重。而不是设计一个复杂的网络结构，我们使用特定领域的知识来简化学习过程。具体来说，我们发现，通过将成熟的高斯-拉普拉斯图像金字塔分解技术引入到神经网络中，大大简化了每一个金字塔层次的学习问题，可以用参数较少的相对浅的网络来处理。我们采用递归和残差网络结构来构建所提出的LPNet，其参数小于8 K，同时仍然实现了最先进的除雨性能。我们还讨论了LPNet对其他低级和高级视觉任务的潜在价值。
2018-05-16 cs.CV
Optical Flow Estimation using a Spatial Pyramid Network
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们通过将经典的空间金字塔公式与深度学习相结合来学习计算光流。这通过按当前流估计扭曲每个金字塔级别处的一对图像中的一个图像并计算对流的更新来以粗略到精细的方法估计大的运动。我们不是在每个金字塔级别上对目标函数进行标准的最小化，而是在每个级别上训练一个深度网络来计算流量更新。与最近的FlowNet方法不同，网络不需要处理大的运动;这些运动由金字塔处理。这有几个优点。首先，我们的空间金字塔网络（SPyNet）在模型参数方面比FlowNet简单得多，小96%。这使得它更有效，更适合嵌入式应用程序。其次，由于每个金字塔级别的流量很小（< 1像素），因此应用于扭曲图像对的卷积方法是合适的。第三，与FlowNet不同的是，学习的卷积滤波器看起来类似于经典的时空滤波器，让我们深入了解该方法以及如何改进它。在大多数标准基准测试中，我们的结果比FlowNet更准确，这表明了将经典流方法与深度学习相结合的新方向。
2016-11-21 cs.CV
Dense Image Representation with Spatial Pyramid VLAD Coding of CNN for Locally Robust Captioning
The University of Tokyo（东京大学）
使用卷积神经网络（CNN）从图像中提取特征并使用递归神经网络（RNN）生成字幕的工作流程已经成为图像描述任务的事实标准。然而，由于CNN特征最初是为分类任务而设计的，因此它主要关注图像的主要显著元素，并且通常无法正确地传达关于局部次要元素的信息。我们建议将编码与局部聚集描述符（VLAD）的空间金字塔的子区域的CNN功能，以产生图像表示，更好地反映图像的局部信息。我们的研究结果表明，我们的紧凑VLAD编码方法可以匹配CNN功能，只有3%的维度，当与空间金字塔相结合时，它会导致图像字幕，更准确地考虑到本地元素。
2016-03-30 cs.CV
