Jointly Attentive Spatial-Temporal Pooling Networks for Video-based Person Re-Identification
Huazhong University of Science and Technology（华中科技大学）；IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）；Northwestern University（西北大学）；AI Foundations, IBM Research（IBM 研究院 AI 基础部门）
人的身份识别是视觉监控和人机交互中的一个重要应用。在这项工作中，我们提出了一种新的联合时空注意力池网络（ASTPN）的视频为基础的人重新识别，这使得特征提取器知道当前输入的视频序列，在某种程度上，相互依赖的匹配项可以直接影响对方的表示的计算。具体地，空间池化层能够从每个帧中选择区域，而执行的注意力时间池化可以在序列上选择信息帧，这两个池化都由来自距离匹配的信息引导。在iLIDS-VID、PRID-2011和MARS数据集上进行了实验，结果表明该方法优于现有的最新方法。我们还分析了联合池在这两个方面可以提高人的re-id性能比单独使用它们中的任何一个更有效。
2017-09-29 cs.CV cs.LG stat.ML
Densely Connected Pyramid Dehazing Network
Rutgers University（罗格斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Piscataway, NJ 08854（皮斯卡塔韦，新泽西州08854（注：此为地址信息，非机构，根据规则应忽略，正确机构仅Rutgers University））
提出了一种新的端到端的单幅图像去雾方法，称为密集连接金字塔去雾网络（DCPDN），它可以共同学习传输图，大气光和去雾。通过将大气散射模型直接嵌入到网络中来实现端到端学习，从而确保所提出的方法严格遵循物理驱动的散射模型进行去雾。受稠密网络可以最大化不同层次特征信息流的启发，我们提出了一种新的边缘保持稠密连接的编码器-解码器结构，该结构具有多级金字塔池模块，用于估计传输映射。该网络使用新引入的边缘保持损失函数进行优化。为了进一步融合估计的透射图和去雾结果之间的互结构信息，提出了一种基于生成对抗网络框架的联合鉴别算法，以判定对应的去雾图像和估计的透射图是真还是假。进行消融研究以证明在估计的透射图和去雾结果下评价的每个模块的有效性。大量的实验表明，所提出的方法实现了显着的改进，比国家的最先进的方法。代码将在https://github.com/hezhangsprinter上提供
2018-03-22 cs.CV eess.IV
Speaker embeddings by modeling channel-wise correlations
Omilia - Conversational Intelligence（Omilia - 对话智能）；Brno University of Technology（布尔诺理工大学）
使用深度2D卷积神经网络提取的说话人嵌入通常被建模为通道频率对的一阶和二阶统计量到线性层上的投影，使用沿时间轴的平均或注意池化。在本文中，我们研究了另一种池化方法，其中给定频率的通道之间的成对相关性被用作统计数据。该方法受到计算机视觉中的风格转移方法的启发，其中由通道相关矩阵建模的图像的风格被转移到另一个图像，以产生具有第一风格和第二内容的新图像。通过在图像风格和说话者特征之间，以及图像内容和语音序列之间进行类比，我们探索了使用这种通道相关性特征来以端到端的方式训练ResNet架构。我们在VoxCeleb上的实验证明了所提出的池化方法在说话人识别中的有效性。
2021-07-07 cs.CV eess.AS
P2T: Pyramid Pooling Transformer for Scene Understanding
Nankai University（南开大学）；Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
最近，视觉Transformer通过推动各种视觉任务的最新技术，取得了巨大的成功。视觉Transformer中最具挑战性的问题之一是图像令牌的大序列长度导致高计算成本（二次复杂度）。这个问题的一个流行的解决方案是使用单个池操作来减少序列长度。本文考虑如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不太强大。为此，我们注意到，金字塔池已被证明是有效的各种视觉任务，由于其强大的能力，在上下文抽象。然而，金字塔池尚未在骨干网设计中进行探索。为了弥补这一差距，我们建议在视觉Transformer中将金字塔池化适应多头自注意力（MHSA），同时减少序列长度并捕获强大的上下文特征。插入基于池的MHSA，我们构建了一个通用的视觉Transformer主干，称为金字塔池Transformer（P2T）。大量的实验表明，当应用P2T作为骨干网络时，与以前的CNN和基于transformer的网络相比，它在各种视觉任务（如图像分类，语义分割，目标检测和实例分割）中显示出巨大的优越性。该代码将在https://github.com/yuhuan-wu/P2T上发布。
2022-08-31 cs.CV
Automated Road Extraction from Satellite Imagery Integrating Dense Depthwise Dilated Separable Spatial Pyramid Pooling with DeepLabV3+
Knight Foundation School of Computing and Information Sciences（奈特基金会计算与信息科学学院）；Florida International University（佛罗里达国际大学）
本文提出用密集深度可分离空洞空间金字塔池化模块替代DeepLabV3+中的ASPP，并结合主干网络与Squeeze-and-Excitation模块，以提升卫星影像中复杂道路结构的自动提取精度。
2024-10-18 cs.CV cs.LG
Pooling Pyramid Network for Object Detection
Google AI Perception（谷歌AI感知部门）
我们想分享一个简单的调整Single Shot Multibox Detector（SSD）系列的检测器，这是有效地减少模型大小，同时保持相同的质量。我们在所有尺度上共享框预测器，并使用最大池化来替换尺度之间的卷积。这比普通SSD有两个优点：（1）它避免了跨尺度的分数误校准;（2）共享预测器可以看到所有尺度上的训练数据。由于我们将预测变量的数量减少到一个，并修剪了它们之间的所有卷积，因此模型大小明显更小。我们的经验表明，这些变化不会损害模型质量相比，香草SSD。
2018-07-09 cs.CV
CASCRNet: An Atrous Spatial Pyramid Pooling and Shared Channel Residual based Network for Capsule Endoscopy
National Institute of Technology Karnataka（卡纳塔克邦国家理工学院）
针对胶囊视觉挑战赛数据集复杂性与不平衡性导致的多类疾病分类难题，提出结合共享通道残差块与空洞空间金字塔池化块的参数高效模型CASCRNet，其F1分数达78.5%、平均AUC为98.3%，性能优于其他知名方法。
2024-11-27 cs.CV cs.LG eess.IV
DC-SPP-YOLO: Dense Connection and Spatial Pyramid Pooling Based YOLO for Object Detection
Beijing University of Chemical Technology（北京化工大学）
虽然YOLOv 2方法在目标检测上非常快速，但是由于其骨干网络的低性能和多尺度区域特征的未充分利用，其检测精度受到限制。为此，本文提出了一种基于密集连接（DC）和空间金字塔池（SPP）的YOLO（DC-SPP-YOLO）方法来提高YOLOv 2的目标检测精度。具体地说，在YOLOv 2的主干网络中采用卷积层的密集连接，以加强特征提取并缓解梯度消失问题。此外，还引入了一种改进的空间金字塔池，对多尺度区域特征进行池化和拼接，使网络能够更全面地学习目标特征。基于均方误差损失和交叉熵损失组成的新的损失函数建立和训练DC-SPP-YOLO模型。实验结果表明，DC-SPP-YOLO算法在PASCAL VOC数据集和UA-DETRAC数据集上的mAP（mean Average Precision）值高于YOLOv 2算法。证明了DC-SPP-YOLO方法的有效性。
2022-09-04 cs.CV
CSSegNet: Fine-Grained Cardiac Structures Segmentation Using Dilated Pyramid Pooling in U-net
University of Michigan – Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University（上海交通大学密歇根学院）
心脏结构分割在医学分析过程中起着重要的作用。图像的边界模糊问题一直限制着分割的性能。为了解决这个难题，我们提出了一种新的网络结构，在网络的编码和解码阶段之间的跳跃连接中嵌入扩张金字塔池块。扩张金字塔池化块由具有不同视觉范围的卷积和池化操作组成。在模型中加入该模块，可以赋予模型多尺度视觉能力。结合其他技术，它包括多尺度初始特征提取和多分辨率预测聚合模块。对于骨干特征提取网络，我们参考了Xception网络的基本思想，它得益于可分离卷积。根据2017年后MICCAI-ACDC挑战阶段数据进行评估，我们提出的模型可以在左心室（LVC）腔和右心室腔（RVC）分割任务中实现最先进的性能。结果表明，我们的方法具有优势的几何（Dice系数，Hausdorff距离）和临床评价（射血分数，体积），这代表更接近的边界和更有统计学意义的分别。
2019-07-02 cs.CV stat.AP
Temporal Pyramid Pooling Based Convolutional Neural Networks for Action Recognition
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
受卷积神经网络（CNN）在图像分类中的成功的鼓舞，最近很多努力都花在将CNN应用于基于视频的动作识别问题上。一个挑战是视频包含不同数量的帧，这与CNN的标准输入格式不兼容。现有的方法通过直接采样固定数量的帧来处理这个问题，或者通过引入在时空域中进行卷积的3D卷积层来绕过这个问题。为了解决这个问题，在这里，我们提出了一种新的网络结构，允许任意数量的帧作为网络输入。我们的解决方案的关键是引入一个由编码层和时间金字塔池化层组成的模块。编码层将来自先前层的激活映射到适合于池化的特征向量，而时间金字塔池化层将多个帧级激活转换为固定长度的视频级表示。此外，我们采用了一个特征拼接层，它结合了外观信息和运动信息。与帧采样策略相比，该方法避免了丢失任何重要帧的风险。与需要巨大视频数据集进行网络训练的3D卷积方法相比，我们的模型可以在小目标数据集上学习，因为我们可以利用现成的图像级CNN进行模型参数初始化。在两个具有挑战性的数据集Hollywood2和HMDB51上的实验表明，我们的方法在需要更少的训练数据的情况下，实现了优于最先进方法的性能。
2015-04-16 cs.CV
Ischemic Stroke Lesion Segmentation in CT Perfusion Scans using Pyramid Pooling and Focal Loss
MIT（麻省理工学院）；Philips Research North America（飞利浦北美研究院）
我们提出了一个完全卷积神经网络，用于在ISLES 2018挑战中分割CT灌注图像中的缺血性卒中病变。中风的治疗是时间敏感的，并且用于病变识别的当前标准需要手动分割，这是一个耗时且具有挑战性的过程。自动分割方法提供了准确识别病变和改进治疗计划的可能性。我们的模型是基于PSPNet，网络架构，利用金字塔池提供全球和本地的上下文信息。为了学习病变的不同形状，我们使用焦点损失（focal loss）训练我们的网络，焦点损失是一个为网络设计的损失函数，用于集中学习更困难的样本。我们将我们的模型与使用U-Net和V-Net架构训练的网络进行比较。我们的方法在病变分割方面表现出了有效的性能，并在挑战结论中名列榜首。
2018-11-02 cs.AI cs.CV
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）；University of Science and Technology of China（中国科学技术大学）
现有的深度卷积神经网络（CNN）需要固定大小（例如，224x224）输入图像。该要求是"人为的"，并且可能降低任意尺寸/尺度的图像或子图像的识别准确度。在这项工作中，我们配备了另一种池化策略，“空间金字塔池化”，以消除上述要求的网络。新的网络结构，称为SPP网络，可以生成一个固定长度的表示，而不管图像的大小/规模。金字塔池对对象变形也很鲁棒。有了这些优点，SPP网络应该在总体上改进所有基于CNN的图像分类方法。在ImageNet 2012数据集上，我们证明SPP-net可以提高各种CNN架构的准确性，尽管它们的设计不同。在Pascal VOC 2007和Caltech 101数据集上，SPP-net使用单个全图像表示实现了最先进的分类结果，无需微调。SPP网络在目标检测中也具有重要的作用。使用SPP网络，我们只计算一次整个图像的特征图，然后将任意区域（子图像）中的特征集中起来，以生成固定长度的表示来训练检测器。该方法避免了重复计算卷积特征。在处理测试图像时，我们的方法比R-CNN方法快24 - 102倍，同时在Pascal VOC 2007上实现了更好或相当的准确性。在2014年ImageNet大规模视觉识别挑战赛（ILSVRC）中，我们的方法在所有38个团队中的对象检测中排名第2，在图像分类中排名第3。本文还介绍了为本次比赛所做的改进。
2015-04-23 cs.CV
U-Net with spatial pyramid pooling for drusen segmentation in optical coherence tomography
Medical University of Vienna（维也纳医科大学）
玻璃疣的存在是早期/中期年龄相关性黄斑变性（AMD）的主要标志。因此，自动玻璃疣分割是AMD图像引导管理的重要步骤。玻璃疣分割有两种常用方法。在第一种方法中，玻璃疣被直接分割为二元分类任务。在第二种方法中，分割周围的视网膜层（外边界视网膜色素上皮（OBRPE）和布鲁赫膜（BM）），并将这两层之间的剩余空间提取为玻璃疣。在这项工作中，我们扩展了标准的U-Net架构与空间金字塔池组件，引入全球功能的背景。我们将该模型应用于与BM和OBRPE一起分割玻璃疣的任务。建议的网络进行了训练和评估的纵向OCT数据集的425扫描从38例早期/中期AMD。这项初步研究表明，拟议的网络始终优于标准的U型网络模型。
2019-12-11 cs.CV eess.IV
PPMamba: A Pyramid Pooling Local Auxiliary SSM-Based Model for Remote Sensing Image Semantic Segmentation
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）
针对遥感语义分割中长程建模与局部语义保留难题，本文提出融合CNN和Mamba的PPMamba，通过八向扫描的PP-SSM模块及金字塔卷积分支实现多尺度特征提取，并在两个基准上取得竞争力性能。
2024-09-10 cs.CV eess.IV
SLSDeep: Skin Lesion Segmentation Based on Dilated Residual and Pyramid Pooling Networks
Universitat Rovira i Virgili（罗维拉-维尔吉利大学）；Bioinformatics Institute（生物信息学研究所）；Rovira i Virgili University（罗维拉-维尔吉利大学）；Liverpool School of Tropical Medicine（利物浦热带医学院）；University of Barcelona（巴塞罗那大学）
皮肤镜图像中的皮肤病变分割是黑色素瘤自动诊断的关键。在本文中，我们提出了一个强大的深度学习SLS模型，即所谓的SLSDeep，它被表示为编码器-解码器网络。编码器网络由膨胀的残差层构成，反过来，金字塔池化网络和三个卷积层用于解码器。与采用交叉熵损失的传统方法不同，我们研究了一种结合负对数似然（NLL）和终点误差（EPE）的损失函数，以准确地分割具有尖锐边界的黑色素瘤区域。在两个公共数据库上评估了所提出模型的稳健性：ISBI 2016和2017，用于针对黑色素瘤检测挑战的皮肤病变分析。该模型在分割精度方面优于最先进的方法。此外，它能够在最新的GPU上每秒分割超过384 x 384大小的$100$图像。
2018-05-31 cs.CV
Dual-View Pyramid Pooling in Deep Neural Networks for Improved Medical Image Classification and Confidence Calibration
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；Zhengzhou University（郑州大学）；Central South University（中南大学）；Xinjiang University（新疆大学）
针对空间池化易丢失细微特征、跨通道池化易忽略显著特征导致医学图像分类与置信度校准不佳的问题，提出双视角金字塔池化方法，通过双轴融合两类池化的多尺度特征，在多项医学图像任务上取得更优性能。
2024-08-15 cs.CV
Combining Pyramid Pooling and Attention Mechanism for Pelvic MR Image Semantic Segmentaion
Peking University（北京大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Peking Union Medical College Hospital（北京协和医院）
放射科医生的一项耗时的日常工作是从断层图像中辨别解剖结构。为辅助放射科医师，本文提出了一种骨盆磁共振（MR）图像的自动分割方法。该任务有三个主要挑战：1）盆腔器官可以根据轴向图像具有各种大小和形状，这需要局部上下文来正确分割。2)不同的器官在MR图像中通常具有非常相似的外观，这需要全局上下文来分割。3)可用的注释图像的数量非常少，无法使用最新的分割算法。为了解决这些挑战，我们提出了一种新的卷积神经网络称为注意力金字塔网络（APNet），有效地利用本地和全球的背景下，除了数据增强技术，是特别有效的MR图像。为了评估我们的方法，我们构建了细粒度（50个盆腔器官）的MR图像分割数据集，并通过实验证实了我们的技术优于最先进的图像分割方法。
2018-06-28 cs.CV
IncepFormer: Efficient Inception Transformer with Pyramid Pooling for Semantic Segmentation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Shenzhen Technology University（深圳技术大学）
语义分割通常受益于全球范围内，精细的本地化信息，多尺度功能等，以推进基于转换器的分割器与这些方面，我们提出了一个简单而强大的语义分割架构，称为IncepFormer。IncepFormer有以下两个关键贡献。首先，它介绍了一种新的金字塔结构的Transformer编码器，收获全球的背景和罚款本地化功能同时进行。这些特征被连接并馈送到卷积层中以进行最终的每像素预测。其次，IncepFormer集成了一个类似Inception-like的架构，具有深度卷积，并且在每个自注意层中集成了一个轻量级的前馈模块，有效地获得了丰富的局部多尺度对象特征。在五个基准上进行的大量实验表明，我们的IncepFormer在准确性和速度方面都优于最先进的方法，例如，1)我们的IncepFormer-S在ADE 20 K上实现了47.7%的mIoU，比现有的最佳方法高出1%，而仅花费一半的参数和更少的FLOP。2)我们的IncepFormer-B最终在具有39.6M参数的Cityscapes数据集上实现了82.0%的mIoU。代码可用：github.com/shendu0321/IncepFormer。
2022-12-06 cs.CV
YOLOv3 with Spatial Pyramid Pooling for Object Detection with Unmanned Aerial Vehicles
University of Brawijaya（布拉维贾亚大学）
为解决无人机图像中目标尺寸小难以检测的问题，本文在YOLOv3主干网络末端添加SPP层以提升特征提取效率，实验证明该方法在VisDrone2019-Det数据集上比原YOLOv3的mAP提高0.6%，且在不同输入尺度下保持高准确率。
2023-05-21 cs.CV
Detection of Premature Ventricular Contractions Using Densely Connected Deep Convolutional Neural Network with Spatial Pyramid Pooling Layer
室性早搏是起源于心室的一种异位早搏。目前，大多数方法都是在同一个数据库中开发和测试的，这些数据库分为训练集和测试集，它们在不同数据库中的泛化性能尚未得到充分验证。本文提出了一种基于密集连接卷积神经网络和空间金字塔池的PVC检测方法，可以将任意大小的QRS波群作为训练和测试的输入。通过使用MIT-BIH心律失常数据库作为基准进行训练和测试，所提出的网络具有更简单和更直接的架构，在准确性、灵敏度和特异性方面实现了与当前最先进的基于深度学习的方法相当的结果。除了基准数据库，QRS波群是从四个更开放的数据库中提取的，即圣彼得堡心脏病技术研究所12导联心律失常数据库，MIT-BIH正常窦性心律数据库、MIT-BIH长期数据库和欧洲ST-T数据库。在不同的数据库中提取的QRS波群长度和采样率不同，并进行了跨数据库的训练和测试，结果表明，该网络的性能优于基准数据库，证明了使用多个数据库进行训练比使用单个数据库的优势，该网络在其他四个数据库上也取得了令人满意的成绩，表现出良好的泛化能力。
2019-10-10 cs.CV
Pyramid Stereo Matching Network
Department of Computer Science, National Chiao Tung University（交通大学计算机科学系）
最近的工作表明，从立体图像对的深度估计可以用公式表示为要用卷积神经网络（CNN）解决的监督学习任务。然而，目前的架构依赖于补丁为基础的暹罗网络，缺乏手段来利用上下文信息找到对应不适定区域。为了解决这个问题，我们提出了PSMNet，一个金字塔立体匹配网络，由两个主要模块组成：空间金字塔池和3D CNN。空间金字塔池化模块通过聚合不同尺度和位置的上下文来形成成本量，从而利用全局上下文信息的容量。3D CNN学习使用堆叠的多个沙漏网络结合中间监督来规范成本量。在几个基准数据集上对所提出的方法进行了评估。我们的方法在2018年3月18日之前在KITTI 2012和2015排行榜中排名第一。PSMNet的代码可在https://github.com/JiaRenChang/PSMNet上查阅。
2018-03-23 cs.CV
SPFFNet: Strip Perception and Feature Fusion Spatial Pyramid Pooling for Fabric Defect Detection
Waterford Institute South East Technological University Waterford, Ireland（沃特福德研究所 南东技术大学 爱尔兰沃特福德）；Faculty of Innovation Engineering Macau University of Science（创新工程学院 澳门科学技术大学）
SPFFNet通过引入条带感知模块和改进的空间金字塔池化机制，提升织物缺陷检测的精度和鲁棒性，有效解决复杂背景和类别不平衡问题。
2025-12-06 cs.AI cs.CV
ELKPPNet: An Edge-aware Neural Network with Large Kernel Pyramid Pooling for Learning Discriminative Features in Semantic Segmentation
Wuhan University（武汉大学）
语义分割一直是各个领域的研究热点。随着深度卷积神经网络的成功，语义分割在城市场景解析和室内语义分割方面都取得了很大的成就和改进。然而，大多数最先进的模型仍然面临着区别性特征学习的挑战，这限制了模型检测多尺度对象的能力，并保证一个对象内部的语义一致性或区分具有相似外观的不同相邻对象。提出了一种实用高效的边缘感知神经网络用于语义分割。这个端到端的可训练引擎由一个新的编码器-解码器网络、一个大的内核空间金字塔池化（LKPP）块和一个边缘感知损失函数组成。编码器-解码器网络被设计为平衡结构，以缩小多级特征聚合中的语义和分辨率差距，而LKPP块被构造为具有密集扩展的感受野，用于多尺度特征提取和融合。此外，提出了新的强大的边缘感知损失函数，直接从语义分割预测中细化边界，以获得更鲁棒和更具鉴别力的特征。使用Cityscapes，CamVid和NYUDv 2基准数据集证明了该模型的有效性。在Cityscapes数据集上验证了ELKPPNet中两种结构和边缘感知损失函数的性能，而在CamVid和NYUDv 2数据集上评估了完整的ELKPPNet。在相同条件下与现有方法的比较分析证实了该算法的优越性。
2019-06-27 cs.CV
PHPQ: Pyramid Hybrid Pooling Quantization for Efficient Fine-Grained Image Retrieval
Tsinghua University（清华大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）
针对现有深度哈希方法因依赖最后一层CNN特征而难以捕获细粒度视觉细节的问题，提出PHPQ框架，通过金字塔混合池化模块提取多级特征，并结合部分码本注意力机制的可学习量化模块优化码字，显著提升了细粒度图像检索性能。
2024-01-09 cs.AI cs.CV cs.IR
SAR-U-Net: squeeze-and-excitation block and atrous spatial pyramid pooling based residual U-Net for automatic liver segmentation in Computed Tomography
Rongcheng College, Harbin University of Science and Technology（哈尔滨理工大学荣成学院）；Harbin University of Science and Technology（哈尔滨理工大学）；Hunan University of Technology and Business（湖南工商大学）
背景和目的：本文提出了一种改进的基于U-Net的框架，该框架利用挤压和激励（SE）块、Atrous空间金字塔池化（ASPP）和残差学习等技术，实现了准确和鲁棒的肝脏CT分割，并在两个公共数据集LiTS17和SLiver07上测试了该方法的有效性。方法：设计一种新的网络结构SAR-U-Net。首先，在U-Net编码器中引入SE块，自适应提取每次卷积后的图像特征，同时抑制无关区域，突出特定分割任务的特征;其次，采用ASPP代替过渡层和输出层，通过不同的感受野获取多尺度图像信息。第三，为了缓解退化问题，传统的卷积块被替换为残差块，从而促使网络从显著增加的深度中获得准确性。结果：在LiTS 17实验中，Dice、VOE、RVD、ASD和MSD的平均值分别为95.71、9.52、-0.84、1.54和29.14。与其他密切相关的基于二维的模型相比，所提出的方法实现了最高的精度。在SLiver07实验中，Dice、VOE、RVD、ASD和MSD的平均值分别为97.31、5.37、-1.08、1.85和27.45。与其他密切相关的模型相比，所提出的方法取得了最高的分割精度，除了RVD。结论：与基于2D的模型相比，所提出的模型在准确性上有很大的提高，并且其在规避具有挑战性的问题（例如小肝脏区域、不连续肝脏区域和模糊肝脏边界）方面的鲁棒性也得到了很好的证明和验证。
2021-07-17 cs.CV cs.LG eess.IV
3D SA-UNet: 3D Spatial Attention UNet with 3D Atrous Spatial Pyramid Pooling for White Matter Hyperintensities Segmentation
Independent Researcher (work conducted before current affiliation)（独立研究者）
本文提出3D SA-UNet模型，通过引入3D空间注意力模块和3D空洞空间金字塔池化，仅利用FLAIR扫描实现白质高信号的自动分割，并在公开数据集上取得了优于其他3D卷积神经网络的准确率。
2025-07-07 cs.CV eess.IV
P2AT: Pyramid Pooling Axial Transformer for Real-time Semantic Segmentation
School of Computer Science, Zhejiang Normal University（浙江师范大学计算机科学学院）；School of Mathematical Medicine, Zhejiang Normal University（浙江师范大学数学医学院）；Zhejiang Institute of Photoelectronics & Zhejiang Institute for Advanced Light Source, Zhejiang Normal University（浙江师范大学光电研究所与浙江先进光源研究所）；School of Communications and Information Engineering, Chongqing University of Posts and Telecommunications（重庆邮电大学通信与信息工程学院）
本文提出P2AT架构，结合金字塔池化轴向Transformer、双向融合模块和全局上下文增强器，实现实时语义分割，在Camvid和Cityscapes等数据集上达到最先进性能。
2023-10-23 cs.CV
GAN-Based Semantic Communication for Image Transmission in IoV
针对车联网图像传输的效率与保真度瓶颈，本文提出基于GAN的语义通信框架，通过发送端语义优先级保留与接收端多尺度重建模块，在Cityscapes数据集上优于现有方法且信道适应性稳定。
2026-08-31 cs.CV cs.SY eess.SY
Learnable Pooling Regions for Image Classification
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
受生物学启发，从早期的HMAX模型到空间金字塔匹配，池化在视觉识别管道中发挥了重要作用。空间池，通过分组的本地代码，装备这些方法具有一定程度的鲁棒性的平移和变形，但保留重要的空间信息。尽管这种方法在当前的识别系统中占主导地位，但我们几乎没有看到任何进展，无法完全适应手头的任务。本文提出了一种学习任务依赖池方案的模型-包括以前提出的手工制作的池方案作为一个特定的实例。在我们的工作中，我们研究了不同正则化项的作用，表明平滑正则化项对于使用所提出的架构实现强大的性能至关重要。最后，我们提出了一种高效的并行训练模型的方法。我们的实验表明，在CIFAR-10和CIFAR-100数据集上，手工制作的池化方案的性能有所提高，特别是在后者上，最先进的池化方案的性能提高了56.29%。
2015-05-05 cs.CV cs.LG
Face Image Classification by Pooling Raw Features
University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）；The Australian Center for Visual Technologies（澳大利亚视觉技术中心）；The University of Queensland（昆士兰大学）
我们提出了一个非常简单，高效，但令人惊讶的有效的人脸识别的特征提取方法（约20行Matlab代码），这主要是受一般图像分类的空间金字塔池。我们表明，通过简单地将局部补丁汇集在多级金字塔上，再加上线性分类器，可以显着优于最近的人脸识别方法。我们的特征提取过程的简单性是由不涉及学习的事实证明的（除了PCA白化）。我们发现，多层次的空间池和密集提取的多尺度补丁在人脸图像分类中起着至关重要的作用。所提取的人脸特征能够在不使用标签信息的情况下捕获个体人脸的强结构信息。我们还发现，对局部图像块的预处理，如对比度归一化，可以对分类精度产生重要影响。特别是，在具有挑战性的FERET和LFW-a人脸识别数据集上，我们的方法分别将之前的最佳结果提高了10%和20%以上。
2014-09-17 cs.CV
Backtracking Spatial Pyramid Pooling (SPP)-based Image Classifier for Weakly Supervised Top-down Salient Object Detection
Nanyang Technological University（南洋理工大学）
自上而下的显著性模型产生概率图，该概率图在由诸如目标检测的任务/目标指定的目标位置处达到峰值。它们通常在完全监督的环境中进行训练，涉及对象的像素级注释。我们提出了一个弱监督的自上而下的显着性框架，只使用二进制标签，指示图像中的对象的存在/不存在。首先，通过回溯策略计算每个图像区域对基于CNN的图像分类器的置信度的概率贡献，以产生自上而下的显著性。从一组由快速自下而上的显着性方法产生的图像的显着性图，我们选择最好的显着性图适合自上而下的任务。所选择的自下而上显著性图与自上而下显著性图组合。具有高组合显著性的特征用于训练线性SVM分类器以估计特征显著性。这与组合显着性相结合，并通过显着性图的多尺度超像素平均进一步细化。我们评估了所提出的弱监督自上而下显着性的性能，并实现了与完全监督方法相当的性能。在7个具有挑战性的数据集上进行了实验，并将定量结果与4个不同应用程序中的40种密切相关的方法进行了比较。
2018-08-14 cs.CV
Comprehensive Analysis of Network Robustness Evaluation Based on Convolutional Neural Networks with Spatial Pyramid Pooling
School of Systems Science and Engineering, Sun Yat-sen University（中山大学系统科学与工程学院）；School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）
本文提出一种结合空间金字塔池化的卷积神经网络模型，通过调整评估指标和攻击模式，实现对复杂网络连通鲁棒性的高效准确评估，并探讨了模型在不同网络类型和故障场景下的性能与可迁移性。
2024-05-29 cs.CV cs.LG cs.NI
Attentive Feature Aggregation or: How Policies Learn to Stop Worrying about Robustness and Attend to Task-Relevant Visual Cues
University of Edinburgh（爱丁堡大学）；UCL（伦敦大学学院）；Samsung AI Center - Cambridge, UK（三星AI研究中心-剑桥，英国）
本文提出AFA方法，通过注意力机制提升视觉-运动策略在扰动环境下的鲁棒性和泛化能力。
2026-02-27 cs.CV cs.RO
Pyramid Attention Network for Semantic Segmentation
Beijing Institute of Technology（北京理工大学）；Megvii Inc. (Face++)（旷视科技（Face++））；Peking University（北京大学）
提出了一种金字塔注意力网络（PAN），以利用全局上下文信息在语义分割中的影响。与现有的大多数工作不同的是，我们结合注意力机制和空间金字塔提取精确的密集特征的像素标记，而不是复杂的扩张卷积和人工设计的解码器网络。具体来说，我们引入了一个特征金字塔注意力模块，用于在高级输出上执行空间金字塔注意力结构，并结合全局池化来学习更好的特征表示，以及每个解码器层上的全局注意力上采样模块，用于提供全局上下文作为低级特征的指导，以选择类别本地化细节。所提出的方法在PASCAL VOC 2012和Cityscapes基准测试中实现了最先进的性能，在PASCAL VOC 2012上的mIoU准确率达到了84.0%的新纪录，同时在没有COCO数据集的情况下进行训练。
2018-11-25 cs.CV
Pyramid Real Image Denoising Network
Beijing University of Posts and Telecommunications（北京邮电大学）；GuangDong TUS-TuWei Technology Co.,Ltd（广东拓思途维科技有限公司）
虽然深度卷积神经网络（CNN）已经显示出对特定噪声建模和去噪的非凡能力，但它们在现实世界的噪声图像上仍然表现不佳。主要原因是现实世界的噪声更加复杂和多样。为了解决盲去噪问题，本文提出了一种新的金字塔真实图像去噪网络（PRIDNet），它包括三个阶段。首先，噪声估计阶段使用信道注意力机制来重新校准输入噪声的信道重要性。其次，在多尺度去噪阶段，利用金字塔池提取多尺度特征。第三，特征融合阶段采用核选择操作自适应地融合多尺度特征。两个数据集上的真实噪声照片的实验表明，我们的方法可以实现竞争力的性能相比，国家的最先进的去噪器在定量测量和视觉感知质量。代码可在https://github.com/491506870/PRIDNet上获得。
2019-10-22 cs.CV cs.LG eess.IV
Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation
University of California, Irvine（加州大学尔湾分校）
CNN架构具有出色的识别性能，但依赖于空间池，这使得它们难以适应需要密集，像素精确标记的任务。本文的主要贡献有两点：（1）我们证明了虽然卷积特征映射的表观空间分辨率较低，但高维特征表示包含重要的亚像素定位信息。(2)我们描述了一种基于拉普拉斯金字塔的多分辨率重建架构，该架构使用来自较高分辨率特征图的跳过连接和乘法门控来连续细化从较低分辨率图重建的段边界。这种方法在PASCAL VOC和Cityscapes分割基准上产生了最先进的语义分割结果，而无需采用更复杂的随机场推理或实例检测驱动的架构。
2016-07-30 cs.CV
Deep learning for lithological classification of carbonate rock micro-CT images
Department of Civil Engineering, COPPE, Federal University of Rio de Janeiro（里约热内卢联邦大学 COPPE 土木工程系）；CENPES, Petrobras（巴西国家石油公司 CENPES 研究中心）
除了正在进行的开发，盐下碳酸盐岩储层表征仍然是一个挑战，主要是由于固有的地质特殊性。这些挑战促使人们使用成熟的技术，如人工智能算法，用于图像分类任务。因此，这项工作旨在提出一个应用程序的深度学习技术，以确定模式在巴西盐下碳酸盐岩显微断层图像，从而使可能的岩性分类。提出了四种卷积神经网络模型。第一个模型包括三个卷积层，后面是全连接层，并用作以下建议的基础模型。在接下来的两个模型中，我们将最大池化层替换为空间金字塔池化层和全局平均池化层。最后一个模型使用空间金字塔池化的组合，然后使用全局平均池化来代替最后一个池化层。所有模型都使用原始图像进行比较，如果可能的话，以及调整大小的图像。该数据集由来自三个不同类别的6，000张图像组成。模型性能分别由每个图像以及每个样本最常预测的类别进行评估。根据准确性，在调整大小的图像上训练的模型2取得了最好的结果，第一种评估方法的平均值为75.54%，第二种评估方法的平均值为81.33%。我们开发了一个工作流程，通过使用深度学习算法以非破坏性方式对显微断层图像进行分类，自动化并加速巴西盐下碳酸盐岩样品的岩性分类。
2020-07-30 cs.CV cs.LG eess.IV
Improving Spatial Codification in Semantic Segmentation
Insight Centre for Data Analytics, Dublin City University (DCU)（都柏林城市大学洞察数据分析中心（DCU））
本文探讨了新的方法，以改善空间编码的本地描述符池，以解决语义分割问题。我们建议将图像划分为三个区域，每个对象进行描述：图，边界和地面。这种划分的目的是通过在对象轮廓周围引入中间区域来最小化图像上下文对对象描述的影响，反之亦然。此外，我们还提出了一个更丰富的视觉描述符的对象，通过应用空间金字塔的图区域。探索了两种新颖的空间金字塔配置：基于笛卡尔的空间金字塔和基于王冠的空间金字塔。我们测试这些方法与国家的最先进的技术，并表明他们提高了基于图形的池在Pascal VOC 2011年和2012年语义分割的挑战。
2015-05-27 cs.CV
Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition
Carnegie Mellon University（卡内基梅隆大学）
我们解决的问题，产生视频功能的动作识别。空间金字塔及其变体由于其在平衡空间位置编码和空间不变性方面的成功而成为非常流行的特征模型。虽然将空间金字塔扩展到时间域（时空金字塔）似乎很简单，但无约束视频的大时空多样性和由此产生的显着更高的维度表示使其不那么吸引人。本文介绍了时空扩展描述符，一个简单而有效的替代方法，包括时空位置的视频功能。代替仅对运动信息进行编码并将时空位置留在池化阶段表示，位置信息被用作编码步骤的一部分。与固定网格模型相比，该方法避免了过度承诺人工边界的危险，并且其维数相对较低，是一种更有效和高效的位置编码方法。在多个基准数据集上的实验结果表明，尽管该方法简单，但其效果与时空金字塔相当或更好。
2015-10-15 cs.CV
Waterfall Atrous Spatial Pooling Architecture for Efficient Semantic Segmentation
Rochester Institute of Technology（罗切斯特理工学院）
我们提出了一个新的高效的架构语义分割，基于“瀑布”Atrous空间池架构，实现了相当大的准确性增加，同时减少了网络参数和内存占用的数量。建议的瀑布架构利用级联架构中的渐进式过滤的效率，同时保持多尺度的视野相媲美的空间金字塔配置。此外，我们的方法不依赖于条件随机场的后处理阶段，这进一步降低了复杂性和所需的训练时间。我们证明了具有ResNet主干的瀑布方法是一种强大而有效的语义分割体系结构，可获得最先进的结果，并显著减少Pascal VOC数据集和Cityscapes数据集的参数数量。
2019-12-06 cs.CV
Adherent Mist and Raindrop Removal from a Single Image Using Attentive Convolutional Network
University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
温差引起的雾往往不均匀且模糊不清，附着在挡风玻璃、摄像机镜头等玻璃上，容易妨碍视线，严重影响图像质量。它们与附着的雨滴一起，给各种视觉系统带来了相当大的挑战，但却没有得到足够的重视。最近的其他类似问题的方法通常使用手工制作的先验来生成空间注意力地图。在这项工作中，我们新提出了一个问题的图像退化所造成的粘附雾和雨滴。采用注意卷积网络从单幅图像中去除附着的雾和雨滴。一个基线架构与一般的通道明智的注意力，空间的注意力，和多层次的功能融合。考虑到雾和雨滴的变化和区域特征，我们采用基于插值的注意力块来感知不同尺度的空间信息。实验结果表明，该方法可以从定性和定量两个方面改善严重退化图像的可见性。更多的应用实验表明，这个被低估的实际问题对于高级视觉场景至关重要。我们的方法在传统的去雾和纯雨滴问题上也达到了最先进的性能，除了我们处理附着的薄雾和雨滴的任务。
2020-11-26 cs.CV
Spatially Attentive Output Layer for Image Classification
Kakao Brain
大多数用于图像分类的卷积神经网络（CNN）使用全局平均池化（GAP），然后是用于输出logits的全连接（FC）层。然而，这种空间聚合过程固有地限制了在输出层处对位置特定信息的利用，尽管这种空间信息可以有利于分类。在本文中，我们在现有的卷积特征映射之上提出了一种新的空间输出层，以显式地利用特定于位置的输出信息。具体而言，给定空间特征图，我们通过在空间logits上采用注意掩码来用空间注意输出层（SAOL）替换先前的GAP-FC层。所提出的位置特定的注意力选择性地聚集目标区域内的空间逻辑，这不仅导致性能的提高，而且空间可解释的输出。此外，建议SAOL还允许充分利用特定位置的自我监督以及自我蒸馏，以提高在训练过程中的泛化能力。具有自监督和自蒸馏的SAOL可以很容易地插入到现有的CNN中。具有代表性的架构上的各种分类任务的实验结果表明，一致的性能改善SAOL在几乎相同的计算成本。
2020-04-16 cs.CV
Global Context for Convolutional Pose Machines
Intel（英特尔）
卷积位姿机是一种用于关节位姿估计的流行神经网络结构。在这项工作中，我们探索它的经验接受领域，并意识到，它可以与全球背景的整合得到加强。为此，提出了U形上下文池模型，并与语义分割领域常用的金字塔池和空间金字塔池模型进行了比较。所提出的神经网络实现了最先进的准确性与87.9%的PCKh的单人姿势估计上看人数据集。该网络的较小版本每秒运行超过160帧，而准确度仅低2.9%。在MPII基准测试中对所提出的方法进行了测试，结果表明，它比基于沙漏的网络更快，同时提供了类似的精度。该代码可在https://github.com/opencv/openvino_training_extensions/tree/develop/pytorch_toolkit/human_pose_estimation上获得。
2019-06-10 cs.CV
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Google Inc.（谷歌公司）
空间金字塔池化模块或编码-解码器结构在深度神经网络中用于语义分割任务。前一种网络能够通过以多速率和多个有效视场使用过滤器或池化操作探测传入特征来编码多尺度上下文信息，而后一种网络可以通过逐渐恢复空间信息来捕获更清晰的对象边界。在这项工作中，我们建议结合这两种方法的优点。具体来说，我们提出的模型DeepLabv 3+通过添加一个简单而有效的解码器模块来扩展DeepLabv 3，以细化分割结果，特别是沿着对象边界。我们进一步探索Xception模型，并将深度可分离卷积应用于Atrous空间金字塔池和解码器模块，从而实现更快，更强大的编码器-解码器网络。在PASCAL VOC 2012和Cityscapes数据集上验证了该模型的有效性，在没有任何后处理的情况下，测试集性能分别达到89.0%和82.1%.我们的论文附带了\url{https://github.com/tensorflow/models/tree/master/research/deeplab}上Tensorflow中所提出模型的公开参考实现。
2018-08-22 cs.CV
Deep Dual Pyramid Network for Barcode Segmentation using Barcode-30k Database
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；Tsinghua University（清华大学）
数字标牌（如条形码或QR码）广泛应用于我们的日常生活中，对于许多应用，我们需要将其定位在图像上。然而，困难的情况下，如目标的小尺度，半遮挡，形状变形和大的光照变化的传统方法造成的挑战。在本文中，我们通过生成大规模数据集并采用基于深度学习的语义分割方法来解决这个问题。提出了一种合成方法，生成包含条形码和QR码标签的标注良好的图像，大大减少了标注时间。通过这种合成策略，我们引入了一个包含30000张带有条形码和QR码的图像的数据集- Barcode-30 k。此外，我们进一步提出了一个基于双金字塔结构的分割网络- BarcodeNet，它主要由两个新的模块组成，先验金字塔池化模块（P3 M）和金字塔细化模块（PRM）。我们在建议的合成数据集上验证了BarcodeNet的有效性，并在验证集上得到了mIoU准确率95.36%的结果。实际图像的额外分割结果表明，实现了准确的分割性能。
2018-07-31 cs.CV
PI-RCNN: An Efficient Multi-sensor 3D Object Detector with Point-based Attentive Cont-conv Fusion Module
Zhejiang University（浙江大学）；Fabu Inc.（法布公司）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
LIDAR点云和RGB图像对于3D目标检测都是非常重要的。因此，许多先进的三维检测算法致力于有效地融合这两种类型的数据。然而，他们的融合方法基于鸟瞰视图（BEV）或体素格式是不准确的。在本文中，我们提出了一种新的融合方法命名为基于点的注意Cont-conv融合（PACF）模块，融合多传感器功能直接在三维点。除了连续卷积之外，我们还添加了点池和注意聚合，以使融合的特征更具表现力。此外，基于PACF模块，我们提出了一个三维多传感器多任务网络称为点云图像RCNN（简称PI-RCNN），它处理图像分割和三维目标检测任务。PI-RCNN采用分割子网络从图像中提取全分辨率语义特征图，然后通过强大的PACF模块融合多传感器特征。PI-RCNN利用PACF模块的有效性和分割模块的语义特征，在三维目标检测中有很大的提高。我们在KITTI 3D检测基准上证明了PACF模块和PI-RCNN的有效性，并且我们的方法可以在3D AP的度量上达到最先进的水平。
2019-12-02 cs.CV
EVP: Enhanced Visual Perception using Inverse Multi-Attentive Feature Refinement and Regularized Image-Text Alignment
SRI NASU-SSAU（乌克兰国家科学院与乌克兰国立航空航天大学空间研究所）；KAUST（阿卜杜拉国王科技大学）；Intel Labs（英特尔实验室）
本研究提出EVP增强视觉感知架构，通过IMAFR模块与新型图文对齐模块优化Stable Diffusion骨干特征提取，在单图像深度估计和指代分割任务上取得SOTA结果。
2023-12-13 cs.CV
Face Identification with Second-Order Pooling
University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）；The Australian Center for Visual Technologies（澳大利亚视觉技术中心）；The University of Queensland（昆士兰大学）
通过开发专门的面部图像表示，自动面部识别已经获得了显着的性能改进。另一方面，通用对象识别很少应用于人脸识别。空间金字塔池的特征编码的过完备的字典已经成为许多国家的最先进的图像分类系统的关键组成部分。受其成功的启发，在这项工作中，我们开发了一种新的人脸图像表示方法，其灵感来自Carreira等人的二阶池。[1]，最初是为了图像分割而提出的。该方法与以往方法的不同之处在于，我们编码密集提取的局部补丁的一个小尺寸的字典，和面部图像签名获得通过池的二阶统计的编码特征。我们展示了池化对编码特征的重要性，这是由原始的二阶池化方法绕过的，以避免高计算成本。配备了一个简单的线性分类器，所提出的方法优于国家的最先进的人脸识别性能的大幅度。例如，在LFW数据库上，所提出的方法比以前的最佳方法的准确率高出约13%。
2014-09-17 cs.CV
Attention-based Pyramid Aggregation Network for Visual Place Recognition
Shenzhen University（深圳大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Australian National University（澳大利亚国立大学）
视觉位置识别在城市环境中具有挑战性，通常被视为一个大规模的图像检索任务。地点识别的内在挑战在于，复杂的城市场景中经常出现汽车和树木等令人困惑的物体，具有重复结构的建筑物可能会导致过度计数和突发问题，从而降低图像表示质量。为了解决这些问题，我们提出了一个基于注意力的金字塔聚合网络（APANet），它是在一个端到端的方式进行训练的地方识别。APANet的一个主要组成部分，空间金字塔池，可以有效地编码包含地理信息的多尺寸建筑物。另一个，注意力块，被采用作为一个区域评估器，以抑制混乱的区域功能，而突出的歧视性。在测试中，我们进一步提出了一种简单而有效的PCA功率白化策略，通过合理限制过计数的影响，显着改善了广泛使用的PCA白化。实验结果表明，该算法在两个地点识别基准上的性能优于现有的方法，并且在标准图像检索数据集上具有很好的泛化能力。
2018-08-01 cs.CV
Adaptive Deep Pyramid Matching for Remote Sensing Scene Classification
Nanjing University of Information Science and Technology（南京信息工程大学）；Beijing Electro-Mechanical Engineering Institute（北京机电工程研究所）；University of Extremadura（埃斯特雷马杜拉大学）
卷积神经网络（CNN）在遥感领域引起了越来越多的关注。大多数CNN仅将最后的全连接层作为遥感图像分类的特征，而丢弃其他可能对分类目的也有帮助的卷积层特征。在本文中，我们提出了一种新的自适应深度金字塔匹配（ADPM）模型，利用所有的卷积层的遥感图像分类的功能。为此，从数据本身学习不同卷积层的最佳融合权重。在遥感图像中，感兴趣的目标在不同的场景中表现出不同的尺度，甚至单个场景可能包含不同大小的目标。为了解决这个问题，我们选择了具有空间金字塔池（SPP-net）的CNN作为基本深度网络，并进一步构建了多尺度ADPM模型，以从多尺度图像中学习互补信息。我们的实验已经进行了使用两个广泛使用的遥感图像数据库，结果表明，该方法显着提高了性能相比，其他国家的最先进的方法。
2016-11-11 cs.CV
Improving Optical Flow on a Pyramid Level
Facebook；Graz University of Technology（格拉茨技术大学）
在这项工作中，我们审查的粗到细的空间特征金字塔的概念，这是用于国家的最先进的光流估计网络，使探索的像素流搜索空间计算上易于处理和有效的。在单个金字塔级别内，我们通过从扭曲到基于采样的策略来改进成本量构建过程，这避免了重影，从而使我们能够更好地保留精细的流细节。我们通过特定级别的损失最大池策略进一步放大了积极影响，该策略自适应地将学习过程的重点转移到表现不佳的预测上。我们的第二个贡献修改了金字塔各级的梯度流。在每个金字塔级别上执行的典型操作可能会导致噪声，甚至是跨级别的自相矛盾的梯度。我们展示并讨论了如何正确地阻止这些梯度分量中的一些导致改进的收敛性和最终更好的性能。最后，我们引入了一个蒸馏概念来抵消灾难性遗忘的问题，从而保留了在多个数据集上顺序训练的模型的知识。我们的研究结果在概念上简单且易于实现，但我们通过对Flying Chairs2，Flying Things，Sintel和KITTI等数据集的详尽消融来证明相关错误措施的引人注目的改进。我们在具有挑战性的Sintel和KITTI 2012测试数据集上建立了新的最先进的结果，甚至显示了我们的研究结果对立体方法的不同光流和深度的可移植性。
2020-07-18 cs.CV
Spatial--spectral FFPNet: Attention-Based Pyramid Network for Segmentation and Classification of Remote Sensing Images
Institute of Mountain Hazards and Environment, Chinese Academy of Sciences（中国科学院成都山地灾害与环境研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Bell Labs（贝尔实验室）；CAS Center for Excellence in Tibetan Plateau Earth Sciences, Chinese Academy of Sciences（中国科学院青藏高原地球科学卓越创新中心）；School of Economics and Management, Southwest Jiao Tong University（西南交通大学经济管理学院）
本文研究了高分辨率和高光谱遥感图像的分割和分类问题。与传统的自然（RGB）图像不同，遥感图像固有的大尺度和复杂结构给直接应用现有模型进行图像分类带来了诸如空间目标分布多样性和光谱信息抽取等重大挑战。在这项研究中，我们开发了一个基于注意力的金字塔网络分割和分类的遥感数据集。注意力机制用于开发以下模块：i）基于注意力的多尺度融合方法，有效地融合了不同尺度和相同尺度的有用空间或光谱信息; ii）基于区域注意力的区域金字塔注意力机制，解决了大尺度遥感图像中目标几何尺寸的多样性;和三跨尺度注意}在我们的自适应atrous空间金字塔池网络适应不同的内容在一个特征嵌入的空间。通过组合这些基于注意力的模块，建立了不同形式的特征融合金字塔框架。首先，提出了一种新的分割框架，称为重空间特征融合金字塔网络（FFPNet），以解决高分辨率遥感图像的空间问题。其次，提出了一个端到端的空间-光谱FFPNet分类高光谱图像。在ISPRS Vaihingen和ISPRS Potsdam高分辨率数据集上进行的实验表明，所提出的重量级空间FFPNet具有竞争力的分割精度。此外，印度松树和帕维亚大学高光谱数据集上的实验表明，所提出的空间-光谱FFPNet优于目前国家的最先进的方法在高光谱图像分类。
2020-08-20 cs.CV
Pyramid Focusing Network for mutation prediction and classification in CT images
预测肿瘤中基因的突变状态具有重要的临床意义。最近的研究表明，某些突变可以通过研究计算机断层扫描（CT）数据的肿瘤图像特征进行非侵入性预测。目前，这类图像特征识别方法主要依靠人工处理，单独提取广义图像特征或机器处理，没有考虑肿瘤本身的形态差异，难以实现进一步突破。在本文中，我们提出了一个金字塔聚焦网络（PFNet）的突变预测和分类的CT图像的基础上。首先，根据观察到的肿瘤形状和大小的多样性，采用空间金字塔池（Space Pyramid Pooling）从多个尺度上收集特征图中的语义线索;其次，考虑到肿瘤边缘横截面上突变检测所需的特征往往不明显，改进了损失函数，使网络中的这些困难样本得到更多关注。最后，我们设计了一个基于数据增强的训练方案来提高网络的泛化能力。在临床胃CT数据集20个测试卷63648张CT图像上进行了广泛验证，我们的方法在CT图像上预测HER-2基因突变状态的准确率达到94.90%。
2020-04-13 cs.CV
MSLKANet: A Multi-Scale Large Kernel Attention Network for Scene Text Removal
Wuhan University of Technology（武汉理工大学）
场景文本去除的目的是去除自然图像中的文本，并用感知上合理的背景信息填充区域。由于其在隐私保护、场景文本检索、文本编辑等方面的广泛应用，使得它越来越受到人们的关注。随着深度学习的发展，以往的方法都取得了显著的改进。然而，大多数现有的方法似乎忽略了大的感知领域和全局信息。先锋方法只需要将训练数据从裁剪后的图像改变为完整的图像，就可以得到显著的改进。在本文中，我们提出了一个单级多尺度网络MSLKANet场景文本去除全图像。为了获得大的感知场和全局信息，我们提出了多尺度大内核注意力（MSLKA），以获得文本区域和背景之间的长程依赖关系，在不同的粒度级别。此外，本文将大核分解机制与空间金字塔池相结合，构建了一种大核空间金字塔池（LKSPP），它能够在保持大的感受野和低计算成本的同时，感知到空间维度上更多的有效像素。大量的实验结果表明，该方法实现了最先进的性能在合成和真实世界的数据集和建议的组件MSLKA和LKSPP的有效性。
2022-11-12 cs.CV
