STD2P: RGBD Semantic Segmentation Using Spatio-Temporal Data-Driven Pooling
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);University of Mannheim(曼海姆大学)
提出了一种新的基于超像素的多视角卷积神经网络用于语义图像分割。该网络通过利用来自同一场景的附加视图的信息来产生单个图像的高质量分割。特别是在诸如由机器人平台或手持式和穿戴式RGBD相机捕获的室内视频中,附近的视频帧提供不同的视点以及对象和场景的附加上下文。为了利用这些信息,我们首先通过光流和基于图像边界的超像素来计算区域对应关系。考虑到这些区域对应关系,我们提出了一种新的时空池化层来聚合空间和时间上的信息。我们在NYU-Depth-V2和SUN 3D数据集上评估了我们的方法,并将其与各种最先进的单视图和多视图方法进行了比较。除了对现有技术的总体改进外,我们还展示了在多视图和单视图预测训练期间使用未标记帧的好处。
2017-04-26 cs.CV
Efficient semantic image segmentation with superpixel pooling
KU Leuven(鲁汶大学)
在这项工作中,我们评估了超像素池化层在深度网络架构中用于语义分割的使用。超像素池化是一种灵活而有效的替代其他合并空间先验信息的池化策略。我们提出了一个简单而有效的GPU实现的层,并探讨了几种设计的层集成到现有的网络架构。我们在IBSR和Cityscapes数据集上提供了实验结果,证明可以利用超像素池化来以最小的计算开销持续提高网络准确性。源代码可在https://github.com/bermanmaxim/superpixPool上获得
2018-06-07 cs.CV cs.LG
Generalizing Deep Models for Overhead Image Segmentation Through Getis-Ord Gi* Pooling
UC Merced(加州大学默塞德分校);Amazon(亚马逊)
大多数深度学习模型都是纯数据驱动的,这既是优点,也是缺点。给定足够的训练数据,可以学习特定问题的最优模型。然而,通常情况并非如此,因此模型要么从有限的训练数据中从头开始学习,要么在不同的问题上进行预训练,然后进行微调。这两种情况都可能是次优的,并限制了模型的通用性。受此启发,我们研究了通知或指导地理空间图像分析的深度学习模型的方法,以在有限的训练数据可用时或将其应用于训练场景以外的场景时提高其性能。我们利用了这样一个事实,即关于地球表面的事物如何分布,存在某些基本规则,这些规则不会改变基本上在不同地点之间。在此基础上,我们开发了一种新的特征池方法的卷积神经网络使用Getis-Ord Gi* 分析从地质统计学。实验结果表明,我们提出的池化函数具有显着更好的泛化性能相比,一个标准的数据驱动的方法时,适用于开销图像分割。
2019-12-23 cs.CV
Optimizing rgb-d semantic segmentation through multi-modal interaction and pooling attention
Kunming University of Science and Technology(昆明理工大学)
针对室内 RGB-D 语义分割中 RGB 与深度信息利用不足的问题,提出 MIPANet,通过 MIM 深层交互融合和 PAM 多阶段注意力增强,在 NYUDv2 与 SUN-RGBD 上取得优于现有方法的性能。
2023-12-06 cs.CV
Detection of Moving Object in Dynamic Background Using Gaussian Max-Pooling and Segmentation Constrained RPCA
Tianjin University of Technology(天津理工大学);Nanjing University of Information Science and Technology(南京信息工程大学)
鲁棒主成分分析(RobustPrincipalComponent Analysis,RPCA)由于其高效性和稳定性,已成为运动目标检测的一种有效工具。不幸的是,现有的基于RPCA的方法假设静态或准静态背景,从而它们可能在处理表现出持续动态行为的背景场景时遇到麻烦。在这项工作中,我们将介绍两种技术来填补空白。首先,而不是使用的原始像素值的功能,是脆弱的存在下,动态背景,我们设计了一个所谓的高斯最大池运算符来估计一个“稳定值”为每个像素。这些稳定值对各种背景变化具有鲁棒性,因此可以有效地区分前景物体和背景。然后,为了获得更准确的结果,我们进一步提出了一个分割约束RPCA(SC-RPCA)模型,它结合了图像的时间和空间连续性到RPCA。SC-RPCA的推理过程是一个群稀疏约束核模最小化问题,该问题是凸的且易于求解。在CDCNET 2014数据库中的7个视频上的实验结果表明了该方法的优越性能。
2017-09-03 cs.CV
ELKPPNet: An Edge-aware Neural Network with Large Kernel Pyramid Pooling for Learning Discriminative Features in Semantic Segmentation
Wuhan University(武汉大学)
语义分割一直是各个领域的研究热点。随着深度卷积神经网络的成功,语义分割在城市场景解析和室内语义分割方面都取得了很大的成就和改进。然而,大多数最先进的模型仍然面临着区别性特征学习的挑战,这限制了模型检测多尺度对象的能力,并保证一个对象内部的语义一致性或区分具有相似外观的不同相邻对象。提出了一种实用高效的边缘感知神经网络用于语义分割。这个端到端的可训练引擎由一个新的编码器-解码器网络、一个大的内核空间金字塔池化(LKPP)块和一个边缘感知损失函数组成。编码器-解码器网络被设计为平衡结构,以缩小多级特征聚合中的语义和分辨率差距,而LKPP块被构造为具有密集扩展的感受野,用于多尺度特征提取和融合。此外,提出了新的强大的边缘感知损失函数,直接从语义分割预测中细化边界,以获得更鲁棒和更具鉴别力的特征。使用Cityscapes,CamVid和NYUDv 2基准数据集证明了该模型的有效性。在Cityscapes数据集上验证了ELKPPNet中两种结构和边缘感知损失函数的性能,而在CamVid和NYUDv 2数据集上评估了完整的ELKPPNet。在相同条件下与现有方法的比较分析证实了该算法的优越性。
2019-06-27 cs.CV
Weakly-Supervised Semantic Segmentation with Visual Words Learning and Hybrid Pooling
Wuhan University(武汉大学);JD Explore Academy, JD.com(京东探索研究院)
具有图像级标签的弱监督语义分割(WSSS)方法通常训练分类网络以生成类激活图(CAM)作为初始粗分割标签。然而,目前的WSSS方法仍然远远不能令人满意地执行,因为它们所采用的CAM 1)通常集中在部分可区分的对象区域和2)通常包含无用的背景区域。这两个问题归因于训练分类网络时的唯一图像级监督和全局信息的聚合。在这项工作中,我们提出了视觉词汇学习模块和混合池化方法,并将它们纳入分类网络中,以缓解上述问题。在视觉词学习模块中,我们通过强制分类网络学习细粒度的视觉词标签来解决第一个问题,以便可以发现更多的对象范围。具体地说,视觉词汇学习与码本,它可以通过两个建议的策略,即基于学习的策略和记忆库策略更新。CAM的第二个缺点是缓解与建议的混合池,它结合了全球平均值和本地判别信息,同时确保对象的完整性和减少背景区域。我们在PASCAL VOC 2012和MS COCO 2014数据集上评估了我们的方法。在没有任何额外显著性的情况下,我们的方法在PASCAL VOC数据集的$val$和$test$集上分别实现了70.6%和70.7%的mIoU,在MS COCO数据集的$val$集上实现了36.2%的mIoU,这显著超过了最先进的WSSS方法的性能。
2022-02-10 cs.CV
Adaptive Context Encoding Module for Semantic Segmentation
NTNU(挪威科技大学);Université Paris 13(巴黎第十三大学);Oslo University Hospital(奥斯陆大学医院);University of Oslo(奥斯陆大学)
图像中的目标大小是多样的,因此,获取多尺度上下文信息是语义分割的基础。现有的上下文聚合方法,如金字塔池化模块(PPM)和空间金字塔池化(ASPP)设计不同的池化大小或速率,使得多尺度信息被捕获。然而,池的大小和atrous率是手动和经验选择的。为了自适应地获取目标的上下文信息,本文提出了一种基于可变形卷积运算的自适应上下文编码(ACE)模块,用于自适应地获取多尺度信息。我们的ACE模块可以很容易地嵌入到其他卷积神经网络(CNN)中进行上下文聚合。在Pascal-Context和ADE 20 K数据集上证明了该模块的有效性。虽然我们提出的ACE仅由三个可变形卷积块组成,但它在两个数据集上的平均交集(mIoU)方面优于PPM和ASPP。所有的实验研究证实,我们提出的模块是有效的,相比国家的最先进的方法。
2019-07-13 cs.CV
Max Pooling with Vision Transformers reconciles class and shape in weakly supervised semantic segmentation
DeepPlants
弱监督语义分割(WSSS)研究探索了许多方向,以改善典型的管道CNN加上类激活映射(CAM)加上细化,给定图像类标签作为唯一的监督。虽然与完全监督方法的差距缩小了,但在这个框架内进一步减少传播似乎不太可能。另一方面,基于视觉Transformer(ViT)的WSSS方法尚未探索CAM的有效替代方案。ViT特征已被证明在自监督学习中保留场景布局和对象边界。为了证实这些发现,我们证明了Transformers在自监督方法中的优势进一步加强了全局最大池(GMP),它可以利用补丁功能来协商像素标签概率与类概率。这项工作提出了一种新的WSSS方法称为ViT-PCM(ViT补丁类映射),而不是基于CAM。端到端呈现的网络通过单个优化过程、细化的形状和适当的分割模板定位进行学习。我们的模型在基线伪掩码(BPM)上的性能优于最先进的模型,其中我们在PascalVOC 2012 $val$集上实现了$69.3\%$ mIoU。我们表明,我们的方法具有最少的参数集,虽然获得更高的精度比所有其他方法。总而言之,我们方法的定量和定性结果表明,ViT-PCM是基于CNN-CAM的架构的出色替代方案。
2022-10-31 cs.CV
Split-Merge Pooling
Heidelberg University(海德堡大学)
有多种方法可以通过卷积神经网络(CNN)获得巨大的感受野,例如池化或跨越卷积。这些方法中的大多数最初是为图像分类而设计的,后来适应于密集预测任务,例如语义分割。然而,这种适应的主要缺点是空间信息的丢失。即使是流行的扩张卷积方法(理论上能够以全空间分辨率运行),也需要对大图像尺寸的特征进行二次采样,以便使训练和推理易于处理。在这项工作中,我们引入分裂合并池,以充分保留空间信息,而无需任何子采样。通过将拆分合并池应用于深度网络,我们同时实现了非常大的接受域。我们评估我们的方法,密集的语义分割的大图像尺寸从城市景观和GTA-5数据集。我们证明,通过用我们的分裂合并池化替换最大池化和跨越卷积,我们能够显着提高ResNet不同变体的准确性。
2020-06-13 cs.CV
Tensor Pooling Driven Instance Segmentation Framework for Baggage Threat Recognition
Khalifa University(哈利法大学);Durham University(杜伦大学);The University of Western Australia(西澳大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
设计用于从X射线图像中筛选违禁品的自动化系统仍然面临着高杂波、隐蔽性和极端遮挡的困难。在本文中,我们解决了这一挑战,使用一种新的多尺度轮廓实例分割框架,有效地识别行李X射线扫描内的杂乱违禁品数据。与采用基于区域或基于关键点的技术来生成对象周围的多个框的标准模型不同,我们建议根据轮廓定义的区域的层次结构来获得建议。该框架在三个公共数据集上进行了严格的验证,分别称为GDXray,SIXray和OPIXray,其平均精度得分分别为0.9779,0.9614和0.8396,优于最先进的方法。此外,据我们所知,这是第一个轮廓实例分割框架,利用多尺度信息来识别混乱和隐藏的违禁品数据从彩色和灰度安全X射线图像。
2021-09-21 cs.CV
IncepFormer: Efficient Inception Transformer with Pyramid Pooling for Semantic Segmentation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Shenzhen Technology University(深圳技术大学)
语义分割通常受益于全球范围内,精细的本地化信息,多尺度功能等,以推进基于转换器的分割器与这些方面,我们提出了一个简单而强大的语义分割架构,称为IncepFormer。IncepFormer有以下两个关键贡献。首先,它介绍了一种新的金字塔结构的Transformer编码器,收获全球的背景和罚款本地化功能同时进行。这些特征被连接并馈送到卷积层中以进行最终的每像素预测。其次,IncepFormer集成了一个类似Inception-like的架构,具有深度卷积,并且在每个自注意层中集成了一个轻量级的前馈模块,有效地获得了丰富的局部多尺度对象特征。在五个基准上进行的大量实验表明,我们的IncepFormer在准确性和速度方面都优于最先进的方法,例如,1)我们的IncepFormer-S在ADE 20 K上实现了47.7%的mIoU,比现有的最佳方法高出1%,而仅花费一半的参数和更少的FLOP。2)我们的IncepFormer-B最终在具有39.6M参数的Cityscapes数据集上实现了82.0%的mIoU。代码可用:github.com/shendu0321/IncepFormer。
2022-12-06 cs.CV
Non-pooling Network for medical image segmentation
Beihang University(北京航空航天大学);Carnegie Mellon University(卡内基梅隆大学);Nankai University(南开大学)
现有的研究往往集中在模型修改和集成更高的精度,提高性能,但也带来了巨大的计算成本,导致更长的检测时间。在医学成像中,时间的使用是极其敏感的。而目前的语义切分模型大多采用编码器-解码器结构或双分支结构。虽然存在反向池化或其他类似的动作来恢复池化操作的信息损失,但是它们多次使用池化与高级语义信息提取操作导致信息损失。此外,我们还注意到视觉注意机制在多种任务上都具有优越的表现。鉴于此,本文提出了非池化网络(NPNet),非池化很好地减少了信息的损失,注意力增强模型(AM)有效地增加了有用信息的权重。该方法采用浅层神经网络结构,大大减少了参数个数和计算量.我们在三个基准数据集上对NPNet的语义分割模型进行了评估,并与多个SOTA模型进行了比较,结果表明,我们的NPNet达到了SOTA性能,在准确性和速度之间取得了很好的平衡。
2023-02-21 cs.CV eess.IV
Constrained Parametric Proposals and Pooling Methods for Semantic Segmentation in RGB-D Images
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);Lund University(隆德大学)
我们专注于基于RGB-D数据的语义分割问题,重点分析了包含来自许多视觉类别的许多实例的杂乱室内场景。我们的方法是基于一个参数的图形地面强度和深度约束的建议过程,生成空间布局假设在多个位置和规模的图像,然后由顺序推理算法,将建议集成到一个完整的场景估计。我们的贡献可以概括为提出以下建议:(1)利用强度和深度信息的参数最大流图形-背景建议方法的一般化,以便在多项式时间内系统地和有效地生成基础空间模型的断点,(2)新的区域描述方法基于使用强度和深度通道构造的多个特征上的二阶池化,(3)可以解决重叠空间分区中的冲突的推理过程,并且处理具有非常不同尺度的大量对象类别实例的场景,(4)对深度的影响以及大量描述符的有效性的广泛评估,这些描述符都是预先设计的并且使用深度学习自动获得的,在一个困难的RGB-D语义分割问题与92类。我们报告了具有挑战性的NYU Depth v2数据集的最新结果,该数据集扩展为RMRC 2013室内分割挑战赛,目前该模型排名第一,平均得分为24.61%,赢得了39个类别。此外,我们还表明,通过结合二阶和深度学习特征,可以额外实现超过15%的相对准确度提高。在场景分类基准测试中,我们的方法进一步提高了24%的最先进水平。
2014-07-31 cs.CV
Estimation of BMI from Facial Images using Semantic Segmentation based Region-Aware Pooling
Information Technology University(信息技术大学);The Home Depot(家得宝)
身体质量指数(BMI)传达了有关一个人生活的重要信息,如健康和社会经济状况。大规模的BMI自动估计可以帮助预测一些社会行为,如健康,工作机会,友谊和受欢迎程度。最近的工作采用手工制作的几何面部特征或面部水平的深度卷积神经网络特征来预测面部BMI。手工构造的几何人脸特征缺乏泛化能力,人脸层次的深层特征缺乏详细的局部信息。虽然有用,这些方法错过了详细的本地信息,这是必不可少的准确的BMI预测。在本文中,我们建议使用从不同面部区域(眼睛,鼻子,眉毛,嘴唇等)汇集的深度特征。并证明这种来自面部区域的显式池化可以显着提高BMI预测的性能。为了解决准确和像素级的人脸区域定位的问题,我们建议在我们的框架中使用人脸语义分割。使用不同的卷积神经网络(CNN)骨干,包括FaceNet和VGG-face在三个公开的数据集:VisualBMI,宝莱坞和VIP属性进行了广泛的实验。实验结果表明,与最近的研究成果相比,本文提出的Reg-GAP在VIP属性上提高了22.4%,在VisualBMI上提高了3.3%,在Bollywood数据集上提高了63.09%.
2021-04-10 cs.CV
Combining Pyramid Pooling and Attention Mechanism for Pelvic MR Image Semantic Segmentaion
Peking University(北京大学);Indiana University Bloomington(印第安纳大学伯明顿分校);Peking Union Medical College Hospital(北京协和医院)
放射科医生的一项耗时的日常工作是从断层图像中辨别解剖结构。为辅助放射科医师,本文提出了一种骨盆磁共振(MR)图像的自动分割方法。该任务有三个主要挑战:1)盆腔器官可以根据轴向图像具有各种大小和形状,这需要局部上下文来正确分割。2)不同的器官在MR图像中通常具有非常相似的外观,这需要全局上下文来分割。3)可用的注释图像的数量非常少,无法使用最新的分割算法。为了解决这些挑战,我们提出了一种新的卷积神经网络称为注意力金字塔网络(APNet),有效地利用本地和全球的背景下,除了数据增强技术,是特别有效的MR图像。为了评估我们的方法,我们构建了细粒度(50个盆腔器官)的MR图像分割数据集,并通过实验证实了我们的技术优于最先进的图像分割方法。
2018-06-28 cs.CV
Mask-Adapter: The Devil is in the Masks for Open-Vocabulary Segmentation
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院)
本文提出Mask-Adapter,通过从候选掩码提取语义激活图并引入掩码一致性损失,解决开放词汇分割中掩码池化的分类性能局限,以即插即用方式提升多种方法的零样本分割精度。
2025-03-10 cs.CV
Loss Max-Pooling for Semantic Image Segmentation
FBK(布鲁诺·凯斯勒基金会);Mapillary
我们引入了一种新的损失最大池的概念,用于处理不平衡的训练数据分布,适用于替代损失层的背景下,深神经网络的语义图像分割。大多数真实世界的语义分割数据集表现出长尾分布,其中包含大部分数据的对象类别很少,因此分类器偏向于它们。我们的方法自适应地重新加权每个像素的贡献的基础上观察到的损失,针对表现不佳的分类结果,经常遇到的代表性不足的对象类。我们的方法超越了传统的成本敏感的学习尝试,通过自适应的考虑,使我们能够间接地解决,类间和类内的不平衡。我们提供了一个理论上的理由,我们的方法,补充基准数据集上的实验分析。在我们对Cityscapes和Pascal VOC 2012分割数据集的实验中,我们发现了持续改进的结果,证明了我们方法的有效性。
2017-04-10 cs.CV stat.ML
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Google Inc.(谷歌公司)
空间金字塔池化模块或编码-解码器结构在深度神经网络中用于语义分割任务。前一种网络能够通过以多速率和多个有效视场使用过滤器或池化操作探测传入特征来编码多尺度上下文信息,而后一种网络可以通过逐渐恢复空间信息来捕获更清晰的对象边界。在这项工作中,我们建议结合这两种方法的优点。具体来说,我们提出的模型DeepLabv 3+通过添加一个简单而有效的解码器模块来扩展DeepLabv 3,以细化分割结果,特别是沿着对象边界。我们进一步探索Xception模型,并将深度可分离卷积应用于Atrous空间金字塔池和解码器模块,从而实现更快,更强大的编码器-解码器网络。在PASCAL VOC 2012和Cityscapes数据集上验证了该模型的有效性,在没有任何后处理的情况下,测试集性能分别达到89.0%和82.1%.我们的论文附带了\url{https://github.com/tensorflow/models/tree/master/research/deeplab}上Tensorflow中所提出模型的公开参考实现。
2018-08-22 cs.CV
P2T: Pyramid Pooling Transformer for Scene Understanding
Nankai University(南开大学);Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局资讯通信研究院);Alibaba DAMO Academy(阿里巴巴达摩院)
最近,视觉Transformer通过推动各种视觉任务的最新技术,取得了巨大的成功。视觉Transformer中最具挑战性的问题之一是图像令牌的大序列长度导致高计算成本(二次复杂度)。这个问题的一个流行的解决方案是使用单个池操作来减少序列长度。本文考虑如何改进现有的视觉Transformer,其中通过单个池化操作提取的池化特征似乎不太强大。为此,我们注意到,金字塔池已被证明是有效的各种视觉任务,由于其强大的能力,在上下文抽象。然而,金字塔池尚未在骨干网设计中进行探索。为了弥补这一差距,我们建议在视觉Transformer中将金字塔池化适应多头自注意力(MHSA),同时减少序列长度并捕获强大的上下文特征。插入基于池的MHSA,我们构建了一个通用的视觉Transformer主干,称为金字塔池Transformer(P2T)。大量的实验表明,当应用P2T作为骨干网络时,与以前的CNN和基于transformer的网络相比,它在各种视觉任务(如图像分类,语义分割,目标检测和实例分割)中显示出巨大的优越性。该代码将在https://github.com/yuhuan-wu/P2T上发布。
2022-08-31 cs.CV
P2AT: Pyramid Pooling Axial Transformer for Real-time Semantic Segmentation
School of Computer Science, Zhejiang Normal University(浙江师范大学计算机科学学院);School of Mathematical Medicine, Zhejiang Normal University(浙江师范大学数学医学院);Zhejiang Institute of Photoelectronics & Zhejiang Institute for Advanced Light Source, Zhejiang Normal University(浙江师范大学光电研究所与浙江先进光源研究所);School of Communications and Information Engineering, Chongqing University of Posts and Telecommunications(重庆邮电大学通信与信息工程学院)
本文提出P2AT架构,结合金字塔池化轴向Transformer、双向融合模块和全局上下文增强器,实现实时语义分割,在Camvid和Cityscapes等数据集上达到最先进性能。
2023-10-23 cs.CV
3D Shape Segmentation via Shape Fully Convolutional Networks
State Key Lab for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Key Lab of Broadband Wireless Communication and Sensor Network Technology of Ministry of Education, Nanjing University of Posts and Telecommunications(南京邮电大学宽带无线通信与传感器网络技术教育部重点实验室)
我们设计了一种新的全卷积网络结构的形状,表示为形状全卷积网络(SFCN)。3D形状表示为SFCN架构中的图形结构,基于新颖的图形卷积和池化操作,其类似于图像上使用的卷积和池化操作。同时,为了在原有的图像分割全卷积网络(FCN)结构上构建我们的SFCN结构,我们还设计并实现了一个具有桥接功能的生成操作。这确保了我们设计的卷积和池化操作可以成功地应用于原始的FCN架构中。在本文中,我们还提出了一种新的形状分割方法基于SFCN。此外,我们允许更一般和更具挑战性的输入,例如不同类别形状的混合数据集,这可以证明我们的泛化能力。在我们的方法中,SFCN通过使用三个低级几何特征作为输入进行三角形到三角形的训练。最后,采用基于特征投票的多标号图割优化SFCN预测的分割结果。实验结果表明,该方法能够有效地学习和预测具有相似或不同特征的混合形状数据集,并取得良好的分割效果。
2018-05-26 cs.CV
A New Multiple Max-pooling Integration Module and Cross Multiscale Deconvolution Network Based on Image Semantic Segmentation
Xinjiang University(新疆大学);Software College, Xinjiang University(新疆大学软件学院);Network Center, Xinjiang University(新疆大学网络中心)
为了更好地保留图像的深度特征并解决端到端分割模型的稀疏性问题,我们提出了一种新的用于医学图像像素分割的深度卷积网络模型,称为MC-Net。该网络模型的核心由四个部分组成,即编码器网络、多个最大池集成模块、交叉多尺度反卷积解码器网络和像素级分类层。在编码器的网络结构中,我们使用多尺度卷积代替传统的单通道卷积。多个最大池化集成模块首先集成编码器网络的每个子模块的输出特征,并使用1的内核大小通过卷积来减少参数的数量。同时,每个最大池化层(每个层的池化大小不同)在每次卷积后进行拼接,以实现每个子模块的特征图的平移不变性。我们使用多个最大池集成模块的输出特征图作为解码器网络的输入;解码器网络中每个子模块的多尺度卷积与编码器网络中相应的多尺度卷积生成的特征图交叉融合。利用上述特征图处理方法,解决了最大池层生成矩阵后的稀疏性问题,增强了分类的鲁棒性。我们使用一个二进制Kaggle 2018数据科学碗数据集和两个多类数据集将我们提出的模型与著名的语义分割全卷积网络(FCN),DecovNet,PSPNet,U-net,SgeNet和其他最先进的分割网络(如HyperDenseNet,MS-Dual,Espnetv 2,Denseaspp)进行比较,并获得了令人鼓舞的实验结果。
2020-03-25 cs.CV cs.LG eess.IV
Region Aware Squeeze-and-Excitation Networks for Image Segmentation
Brown University(布朗大学);Bowdoin College(鲍登学院)
本文提出四个区域感知的挤压-激励模块,通过空间引导池化改进SE模块,在多类图像任务中性能优于SE及相关变体,且计算成本互补。
2026-10-14 cs.CV
Redefining the Down-Sampling Scheme of U-Net for Precision Biomedical Image Segmentation
Department of Radiation Oncology Stanford University(放射肿瘤科 斯坦福大学)
本文提出阶梯池化方法,通过调节下采样节奏减少信息损失,提升U-Net在生物医学图像分割中的精度与性能。
2026-02-23 cs.AI cs.CV
PPMamba: A Pyramid Pooling Local Auxiliary SSM-Based Model for Remote Sensing Image Semantic Segmentation
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院)
针对遥感语义分割中长程建模与局部语义保留难题,本文提出融合CNN和Mamba的PPMamba,通过八向扫描的PP-SSM模块及金字塔卷积分支实现多尺度特征提取,并在两个基准上取得竞争力性能。
2024-09-10 cs.CV eess.IV
S2-UniSeg: Fast Universal Agglomerative Pooling for Scalable Segment Anything without Supervision
本文提出快速通用凝聚池化算法(UniAP)和可扩展自监督通用分割模型(S2-UniSeg),通过连续预训练和逐查询自蒸馏任务,解决了多阶段训练耗时问题,并在多个基准上显著优于现有方法。
2025-08-13 cs.CV
Improving Spatial Codification in Semantic Segmentation
Insight Centre for Data Analytics, Dublin City University (DCU)(都柏林城市大学洞察数据分析中心(DCU))
本文探讨了新的方法,以改善空间编码的本地描述符池,以解决语义分割问题。我们建议将图像划分为三个区域,每个对象进行描述:图,边界和地面。这种划分的目的是通过在对象轮廓周围引入中间区域来最小化图像上下文对对象描述的影响,反之亦然。此外,我们还提出了一个更丰富的视觉描述符的对象,通过应用空间金字塔的图区域。探索了两种新颖的空间金字塔配置:基于笛卡尔的空间金字塔和基于王冠的空间金字塔。我们测试这些方法与国家的最先进的技术,并表明他们提高了基于图形的池在Pascal VOC 2011年和2012年语义分割的挑战。
2015-05-27 cs.CV
Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina(南卡罗来纳大学)
三维点云语义分割的目的是将所有的点按不同的语义分类,有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练,并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题,但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中,我们进一步解决这些问题,通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中,查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下,我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习,所提出的方法实现了新的国家的最先进的性能,与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
3DConvCaps: 3DUnet with Convolutional Capsule Encoder for Medical Image Segmentation
University of Arkansas(阿肯色大学)
卷积神经网络(CNN)在医学图像分割中取得了很好的效果。然而,CNN需要大量的训练数据,并且无法处理对象的姿态和变形。此外,它们的池化层倾向于丢弃重要信息,例如位置,并且CNN对旋转和仿射变换敏感。胶囊网络是最近的一种新架构,通过用动态路由和卷积步幅取代池化层,在部分-整体表示学习中实现了更好的鲁棒性,这在数字分类和对象分割等流行任务上显示出了潜在的结果。在本文中,我们提出了一种带有卷积胶囊编码器(称为3DConvCaps)的3D编码器-解码器网络,用于使用卷积层学习较低级别的特征(短程注意力),同时使用胶囊层对较高级别的特征(长程依赖性)进行建模。我们在iSeg-2017、Hippocampus和Cardiac等多个数据集上的实验表明,我们的3D 3DConvCaps网络的性能大大优于以前的胶囊网络和3D-UNets。我们进一步在收缩和扩展路径下的卷积层和胶囊层的各种配置下对网络效率和分割性能进行了消融研究。
2022-06-26 cs.CV
Spatial-Assistant Encoder-Decoder Network for Real Time Semantic Segmentation
本文提出SANet,通过融合编码器-解码器与双路径架构,并引入APPPM和SAD注意力模块,在Cityscapes和CamVid数据集上同时实现了高精度与实时推理速度。
2023-09-19 cs.CV
A New Convolutional Network-in-Network Structure and Its Applications in Skin Detection, Semantic Segmentation, and Artifact Reduction
Seoul National University(首尔大学)
初始网络在图像分类问题上表现出良好的性能,但没有太多证据表明它对图像复原或逐像素标记问题也有效。对于图像复原问题,通常不使用池化,因为抽取的特征对于作为输出的图像的重建没有帮助。此外,大多数用于恢复问题的深度学习架构不使用需要大量训练参数的密集预测。从这些观察结果中,为了在基于图像的问题上享受类似inception-like结构的性能,我们提出了一种新的卷积网络中的网络结构。所提出的网络可以被认为是对初始结构的修改,其中池投影和池化层被移除以保持整个特征图的大小,并且添加了更大的内核过滤器。由于去除了密集预测和池化,所提出的网络大大减少了参数的数量,这是一个优点,但也可能减少每层中的感受野。因此,我们添加了一个比原始inception结构更大的内核,以避免增加层的深度。所提出的结构被应用于典型的图像到图像学习问题,即,输入和输出的大小相同的问题,例如皮肤检测、语义分割和压缩伪像减少。大量的实验表明,该网络带来了可比的或更好的结果比国家的最先进的卷积神经网络为这些问题。
2017-01-22 cs.CV
Reparameterizable Dual-Resolution Network for Real-time Semantic Segmentation
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
针对实时语义分割模型多路径模块影响推理速度的问题,提出可重参数化双分辨率网络RDRNet与可重参数化金字塔池化模块RPPM,通过训练-推理阶段的结构重参数化兼顾精度与速度,在多个数据集上性能与速度均优于现有SOTA模型。
2024-06-18 cs.CV
A Novel Downsampling Strategy Based on Information Complementarity for Medical Image Segmentation
Wuhan Institute of Technology(武汉工程大学);Hefei University of Technology(合肥工业大学)
本文提出基于信息互补性的混合池化下采样方法 HPD,通过 MinMaxPooling 保留明暗对比与细节特征,在 ACDC 和 Synapse 数据集上使 DSC 平均提升 0.5%,优于传统下采样方法。
2025-07-20 cs.CV
RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation
The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
最近,非常深的卷积神经网络(CNN)在对象识别方面表现出了出色的性能,也成为了语义分割等密集分类问题的首选。然而,重复的子采样操作,如深度CNN中的池化或卷积步幅,会导致初始图像分辨率的显著降低。在这里,我们介绍了RefineNet,这是一个通用的多路径细化网络,它明确地利用了下采样过程中的所有可用信息,从而使用远程残差连接实现高分辨率预测。通过这种方式,可以使用早期卷积的细粒度特征直接细化捕获高级语义特征的更深层。RefineNet的各个组件采用遵循身份映射思维的剩余连接,这允许有效的端到端培训。此外,我们引入链式残差池,它以有效的方式捕获丰富的背景上下文。我们进行了全面的实验,并在七个公共数据集上设置了新的最先进的结果。特别是,我们在具有挑战性的PASCAL VOC 2012数据集上实现了83.4的交叉-联合得分,这是迄今为止报告的最佳结果。
2016-11-25 cs.CV
Bimodal SegNet: Instance Segmentation Fusing Events and RGB Frames for Robotic Grasping
Faculty of Science, Engineering and Computing, Kingston University(科学、工程与计算学院,金斯顿大学);Aerospace Engineering Department, Khalifa University of Science and Technology(航空航天工程系,哈利法大学科技学院);Dubai Future Labs - RLab(迪拜未来实验室-RLab)
双模SegNet通过融合事件和RGB帧数据,提升机器人抓取中动态环境下物体分割的准确率。
2025-12-08 cs.CV
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Eindhoven University of Technology(埃因霍温理工大学)
我们提出了一个单一的网络方法的全景分割。该方法结合了来自联合训练的语义和实例分割网络的预测。联合训练是实现端到端全景分割网络的第一步,并且比使用两个网络进行训练和预测更快,更高效。该架构由语义分割和实例分割分支共享的ResNet-50特征提取器组成。对于实例分割,使用Mask R-CNN类型的架构,而语义分割分支则使用金字塔池化模块进行扩充。该方法的结果提交给COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上实现了17.6的PQ评分,在COCO测试开发集上实现了27.2的PQ评分。
2019-02-07 cs.CV
IncepText: A New Inception-Text Module with Deformable PSROI Pooling for Multi-Oriented Scene Text Detection
Laboratoire d’Analyse et Modélisation des Systèmes pour l’Aide à la Décision (LAMSADE)(决策支持系统分析与建模实验室(LAMSADE))
在计算机视觉的许多应用中,附带场景文本的检测,特别是多方向文本区域的检测,是最具挑战性的任务之一。与一般的目标检测任务不同,场景文本往往受到宽高比、尺度和方向的较大变化的影响。为了解决这个问题,我们提出了一种新的端到端场景文本检测器IncepText从实例感知分割的角度。我们设计了一个新的Inception-Text模块,并引入了可变形的PSROI池来处理多方向文本检测。在ICDAR 2015、RCTW-17和MSRA-TD 500数据集上的大量实验证明了该方法在有效性和效率方面的优越性。我们提出的方法在ICDAR 2015挑战中取得了第一名的成绩,在其他数据集上也取得了最先进的性能。此外,我们已经将我们的实现作为OCR产品发布,可供公众访问。
2018-05-08 cs.CV
Recurrent Scene Parsing with Perspective Understanding in the Loop
University of California, Irvine(加州大学尔湾分校)
物体可能以任意尺度出现在场景的透视图像中,这对以固定分辨率处理图像的识别系统构成了挑战。我们提出了一个深度感知门控模块,根据对象尺度(与深度成反比)自适应地选择卷积网络架构中的池域大小,以便为远处的对象保留小细节,而较大的感受野用于附近的对象。深度选通信号由立体视差提供或直接从单目输入估计。我们将这种深度感知门控集成到一个循环卷积神经网络中,以执行语义分割。我们的循环模块迭代地细化分割结果,利用以前迭代的深度和语义预测。通过在四个流行的大规模RGB-D数据集上的广泛实验,我们证明了这种方法具有竞争力的语义分割性能,模型更加紧凑。我们对这种架构进行了广泛的分析,包括在单目RGB上操作但在训练过程中使用深度作为边信息的变体,无监督门控作为通用注意力机制,以及多分辨率门控。我们发现,联合语义分割和深度的门控池产生定量单目深度估计的最先进的结果。
2017-12-06 cs.CV
Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes
Xiamen University(厦门大学);The University of Adelaide(阿德莱德大学)
深度卷积神经网络(DCNN)最近在语义图像分割方面表现出出色的性能。然而,由于使用复杂的网络架构,现有的基于DCNN的语义分割方法通常具有高计算复杂性。这极大地限制了它们在需要实时的【形】处理的真实世界场景中的应用。提出了一种基于实时的【形】高性能DCNN的城市街道场景鲁棒性语义分割方法,在准确性和速度之间取得了较好的平衡。具体来说,首先使用具有Atrous卷积和注意力的轻量级基线网络(LBN-AA)作为我们的基线网络,以有效地获得密集的特征图。然后,独特的Atrous空间金字塔池(DASPP),它利用不同大小的池化操作编码的丰富和独特的语义信息,在多个尺度上检测对象。同时,设计了一个具有浅卷积层的空间细节保持网络(SPN)来生成保留详细空间信息的高分辨率特征图。最后,一个简单但实用的特征融合网络(FFN)被用来有效地结合浅层和深层的功能,分别从语义分支(DASPP)和空间分支(SPN)。大量的实验结果表明,该方法在Cityscapes和CamVid测试数据集上分别达到了73.6%和68.0%的平均交集对并集(mIoU)的准确率,推理速度分别为51.0 fps和39.3 fps(仅使用单个NVIDIA TITAN X卡)。实验结果表明,该方法在实时的【形】【形状】语义分割方面具有良好的性能。
2020-04-03 cs.CV
A Novel Upsampling and Context Convolution for Image Semantic Segmentation
Jeonbuk National University(全北国立大学)
语义分割是指图像的逐像素分类,由于其在机器人视觉和自动驾驶行业中的重要性日益增加,因此是计算机视觉中的基本主题。它提供了有关场景中对象的丰富信息,例如对象边界、类别和位置。用于语义分割的最近方法通常采用使用深度卷积神经网络的编码器-解码器结构。编码器部分使用几个滤波器和池化操作提取图像的特征,而解码器部分逐渐将编码器的低分辨率特征图恢复为全输入分辨率特征图,用于逐像素预测。然而,用于语义分割的编码器-解码器变体遭受由池化操作或具有步幅的卷积引起的严重空间信息损失,并且不考虑场景中的上下文。本文提出了一种基于引导滤波的密集上采样卷积方法,有效地保留了图像在网络中的空间信息。我们进一步提出了一种新的局部上下文卷积方法,不仅覆盖场景中的大规模对象,但覆盖他们密集精确的对象边界划定。理论分析和在多个基准数据集上的实验结果验证了该方法的有效性。定性,我们的方法描绘对象边界的准确性水平,是超出了目前的优秀方法。量化,我们报告了一个新的记录,分别为82.86%和81.62%的像素精度在ADE20K和Pascal-Context基准数据集。与现有的方法相比,该方法具有很好的改进效果。
2021-03-20 cs.CV
Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation
University of California, Irvine(加州大学尔湾分校)
CNN架构具有出色的识别性能,但依赖于空间池,这使得它们难以适应需要密集,像素精确标记的任务。本文的主要贡献有两点:(1)我们证明了虽然卷积特征映射的表观空间分辨率较低,但高维特征表示包含重要的亚像素定位信息。(2)我们描述了一种基于拉普拉斯金字塔的多分辨率重建架构,该架构使用来自较高分辨率特征图的跳过连接和乘法门控来连续细化从较低分辨率图重建的段边界。这种方法在PASCAL VOC和Cityscapes分割基准上产生了最先进的语义分割结果,而无需采用更复杂的随机场推理或实例检测驱动的架构。
2016-07-30 cs.CV
MarsSeg: Mars Surface Semantic Segmentation with Multi-level Extractor and Connector
Beihang University(北京航空航天大学)
针对火星表面地形复杂、特征相似及标注数据不足的问题,本文提出编码器-解码器网络 MarsSeg,通过特征增强连接层集成 Mini-ASPP、PSA 与 SPPM,在 Mars-Seg 和 AI4Mars 上取得优于现有方法的分割效果。
2024-04-05 cs.CV
DeepFH Segmentations for Superpixel-based Object Proposal Refinement
University of Hamburg(汉堡大学)
类无关对象建议生成是许多目标检测流水线中重要的第一步。然而,现代系统的对象建议在分割方面是相当不准确的,并且仅粗略地遵守对象边界。由于典型的细化步骤通常不适用于成千上万的建议,我们提出了一个基于超像素的细化系统的对象建议生成系统。利用深度特征上的精确超像素和超像素池,我们在端到端的学习系统中改进了初始的粗略建议。此外,我们提出了一种新的DeepFH分割,它丰富了经典的Felzenszwalb和Huttenlocher(FH)分割,具有深度特征,从而改善了分割结果和更好的对象建议细化。在带有LVIS注释的COCO数据集上,我们证明了我们基于DeepFH超像素的改进优于最先进的方法,并导致更精确的对象建议。
2021-08-07 cs.CV
MILD-Net: Minimal Information Loss Dilated Network for Gland Instance Segmentation in Colon Histology Images
University of Warwick(华威大学);The Chinese University of Hong Kong(香港中文大学);University Hospitals Coventry and Warwickshire(考文垂与华威大学医院);The Alan Turing Institute(艾伦·图灵研究所)
结肠组织病理学图像中腺体形态的分析是确定结肠癌分级的重要步骤。尽管这项任务很重要,但手动分割是费力、耗时的,并且可能受到病理学家的主观性影响。计算病理学的兴起导致了用于腺体分割的自动化方法的发展,其旨在克服手动分割的挑战。然而,这项任务是不平凡的,由于大的变化,在腺体外观和某些腺体和非腺体组织学结构之间的区分困难。此外,不确定性的测量对于诊断决策至关重要。为了解决这些挑战,我们提出了一个完全的卷积神经网络,通过在网络内的多个点重新引入原始图像来对抗最大池化造成的信息丢失。我们还使用具有不同膨胀率的atrous空间金字塔池来保持分辨率和多级聚合。为了纳入不确定性,我们在测试期间引入随机变换,以获得增强的分割结果,同时生成不确定性图,突出显示模糊区域。我们表明,这张地图可以用来定义一个度量,忽略预测具有很高的不确定性。所提出的网络在GlaS挑战数据集和第二个独立的结直肠腺癌数据集上实现了最先进的性能。此外,我们执行腺体实例分割从两个进一步的数据集的整个幻灯片图像,以突出我们的方法的通用性。作为扩展,我们引入了MILD-Net+,用于同时进行腺体和管腔分割,以提高网络的诊断能力。
2019-02-18 cs.CV
Lawin Transformer: Improving Semantic Segmentation Transformer with Multi-Scale Representations via Large Window Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出Lawin Transformer,通过大窗口注意力将多尺度表示引入语义分割ViT,并结合LawinASPP解码器,在Cityscapes、ADE20K和COCO-Stuff上取得新SOTA并提升效率。
2023-08-09 cs.CV
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs
Google Inc.(谷歌公司);University College London(伦敦大学学院);Johns Hopkins University(约翰霍普金斯大学)
在这项工作中,我们用深度学习解决了语义图像分割的任务,并做出了三个主要贡献,实验表明这些贡献具有实质性的实际价值。首先,我们强调使用上采样滤波器的卷积,或“atrous卷积”,作为密集预测任务中的强大工具。Atrous卷积允许我们显式控制在深度卷积神经网络内计算特征响应的分辨率。它还允许我们有效地扩大过滤器的视野,以包含更大的上下文,而不增加参数的数量或计算量。其次,我们提出了一种新的空间金字塔池(ASPP)来鲁棒地分割多尺度的对象。ASPP使用多个采样率和有效视场的滤波器探测传入的卷积特征层,从而以多个尺度捕获对象以及图像上下文。第三,我们通过结合DCNN和概率图形模型的方法来改进对象边界的定位。DCNN中通常部署的最大池化和下采样的组合实现了不变性,但对定位精度有影响。我们通过将最终DCNN层的响应与完全连接的条件随机场(CRF)相结合来克服这一点,这在定性和定量上都表明可以提高定位性能。我们提出的“DeepLab”系统在PASCAL VOC-2012语义图像分割任务中设置了新的最先进技术,在测试集中达到了79.7% mIOU,并在其他三个数据集上取得了进步:PASCAL-上下文,PASCAL-人-部分和城市景观。我们所有的代码都在网上公开提供。
2017-05-12 cs.CV
ARPM-net: A novel CNN-based adversarial method with Markov Random Field enhancement for prostate and organs at risk segmentation in pelvic CT images
Washington University(华盛顿大学);Washington University School of Medicine(华盛顿大学医学院)
目的:该研究旨在开发一种新的基于CNN的对抗性深度学习方法,以改善和加快CT图像的多器官语义分割,并在骨盆CT图像上生成准确的轮廓。研究方法:回顾性选择120例完整前列腺癌患者的计划CT和结构数据集,并进行10倍交叉验证。提出的对抗性多残差多尺度池马尔可夫随机场(MRF)增强网络(ARPM-net)实现了对抗性训练方案。将分割网络和递归网络联合训练,只使用分割网络进行预测。分割网络将新设计的MRF块集成到多残差U网的变体中。该方法将原始CT和预测/地面实况的乘积作为输入,并将输入分类为假/真。分割网络和递归网络可以作为一个整体进行联合训练,也可以在分割网络粗训练后使用递归网络进行微调。多尺度池化层被引入,以在池化期间使用与atrous卷积层相比更少的内存来保持空间分辨率。提出了一种自适应损失函数来增强对小或低对比度器官的训练。使用临床轮廓作为参考,以Dice相似系数(DSC)、平均Hausdorff距离(AHD)、平均表面Hausdorff距离(ASHD)和相对体积差(VD)测量建模轮廓的准确性。将所提出的ARPM网络方法与几种最先进的深度学习方法进行了比较。
2020-09-17 cs.CV eess.IV
Depth-aware CNN for RGB-D Segmentation
University of Southern California(南加利福尼亚大学)
卷积神经网络(CNN)由于其固定的网格核结构而缺乏处理几何信息的能力。深度数据的可用性使得使用CNN的RGB-D语义分割能够取得进展。最先进的方法要么使用深度作为附加图像,要么处理3D体积或点云中的空间信息。这些方法具有高计算和存储成本。为了解决这些问题,我们通过引入两个直观,灵活和有效的操作:深度感知卷积和深度感知平均池化,提出了深度感知CNN。通过在信息传播过程中利用像素之间的深度相似性,几何形状被无缝地结合到CNN中。在不引入任何额外参数的情况下,这两种算子都可以轻松集成到现有的CNN中。大量的实验和消融研究具有挑战性的RGB-D语义分割基准验证了我们的方法的有效性和灵活性。
2018-03-19 cs.CV
Semantic Segmentation for Urban-Scene Images
Indian Institute of Technology Bhubaneswar(印度理工学院布巴内什瓦尔分校)
城市场景图像分割是计算机视觉中的一个重要且趋势性的主题,具有广泛的用例,如自动驾驶[1]。从Long等人的突破性工作开始。[2]引入了全卷积网络(FCN),近5年来,神经网络在语义分割中的新架构和实际应用的发展已经加快。除了在一般模型设计中寻求解决由于池化而导致的信息收缩之外,城市场景图像本身具有位置模式等内在特征[3]。我们的项目寻求一种先进的综合解决方案,专门针对城市场景图像语义分割在当前领域中最新颖的方法。我们重新实现了前沿模型DeepLabv 3 + [4],其中ResNet-101 [5]作为我们的强大基线模型。基于DeepLabv 3+,我们结合了HANet [3]来解释城市场景图像任务中的垂直空间先验。为了提高模型的效率和性能,我们进一步探索了DeepLabv 3+中的Atrous空间池(ASP)层,并在我们的模型中注入了一种名为“瀑布”Atrous空间池(WASP)[6]架构的计算效率变体。我们发现,我们的两步集成模型从基线模型逐渐提高了平均交集超过联盟(mIoU)得分。特别是,HANet成功地识别了高度驱动的模式,并提高了城市场景中常见类别标签的每类IoU,如围栏和公共汽车。我们还证明了模型效率的提高与WASP的帮助下,在训练和参数减少从原来的ASPP模块的计算时间。
2021-10-20 cs.CV cs.LG
FreeSeg: Free Mask from Interpretable Contrastive Language-Image Pretraining for Semantic Segmentation
全监督语义分割从密集掩码中学习,这需要对闭集进行大量注释。在本文中,我们使用自然语言作为监督没有任何像素级的注释开放世界分割。我们将所提出的框架称为FreeSeg,其中掩码可以从预训练模型的原始特征图中免费获得。与zero-shot或开集分割相比,FreeSeg不需要任何注释掩码,并且它广泛预测类别不可知的无监督分割之外的类别。具体地,FreeSeg从可解释对比图像预训练(ICLIP)的图像-文本相似性图(ITSM)中获得自由掩码。我们的核心改进是密集ICLIP的平滑最小池,部分标签和像素分割策略。此外,FreeSeg非常简单,没有复杂的设计,如分组,聚类或检索。除了简单性之外,FreeSeg的性能在很大程度上超过了以前的最先进水平,例如在相同设置下VOC数据集上的mIoU高出13.4%。
2022-12-14 cs.CV
Self-Supervision with Superpixels: Training Few-shot Medical Image Segmentation without Annotation
Imperial College London(帝国理工学院);BioMedIA Group, Department of Computing(计算系BioMedIA小组)
Few-Shot语义分割(FSS)在医学成像领域有着巨大的应用潜力。大多数现有的FSS技术需要大量的注释语义类进行训练。然而,由于缺乏注释,这些方法可能不适用于医学图像。为了解决这个问题,我们做了几个贡献:(1)一个新的自监督FSS框架的医学图像,以消除在训练过程中的注释的要求。此外,生成基于超像素的伪标签以提供监督;(2)插入原型网络的自适应局部原型池化模块,以解决医学图像分割中常见的具有挑战性的前景-背景不平衡问题;(3)我们使用三个不同的任务证明了所提出的方法对医学图像的普遍适用性:用于CT和MRI的腹部器官分割,以及用于MRI的心脏分割。我们的研究结果表明,对于医学图像分割,所提出的方法优于传统的FSS方法,需要手动注释训练。
2020-10-06 cs.CV
Multi Layer Neural Networks as Replacement for Pooling Operations
池化操作可以低成本计算,并作为线性或非线性传递函数用于数据简化,几乎在每一个现代神经网络中都可以找到。无数的现代方法已经解决了替换常见的最大值选择和平均值操作的问题,更不用说提供一个允许通过改变参数来选择不同函数的函数了。额外的神经网络用于估计这些池化函数的参数,因此,池化层可能需要补充参数以增加整个模型的复杂性。在这项工作中,我们证明了一个感知器已经可以有效地用作池操作,而不会增加模型的复杂性。这种池化允许将多层神经网络作为池化操作直接集成到模型中,通过重构数据,从而学习复杂的池化操作。我们将我们的张量卷积方法与作为池化操作的步幅进行比较,并表明我们的方法既有效又降低了复杂性。与多个感知器相结合的数据重组允许我们的方法用于升级,然后可以用于语义分割中的转置卷积。
2021-01-17 cs.CV cs.LG
What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective
Tianjin University(天津大学);Dalian University of Technology(大连理工大学);Harbin Institute of Technology(哈尔滨工业大学)
最近的工作表明,全局协方差池(GCP)有能力提高深度卷积神经网络(CNN)在视觉分类任务上的性能。尽管取得了相当大的进展,但GCP对深度CNN有效性的原因尚未得到很好的研究。在本文中,我们试图从优化的角度来理解深度CNN从GCP中受益。具体来说,我们从优化损失的Lipschitz性和梯度的预测性方面探讨了GCP对深度CNN的影响,并表明GCP可以使优化景观更加平滑,梯度更具预测性。此外,我们还讨论了深度CNN的GCP和二阶优化之间的联系。更重要的是,上述发现可以解释用于训练深度CNN的协方差池的几个优点,这些优点之前没有被认识到或充分探索,包括网络收敛的显著加速(即,用GCP训练的网络可以支持学习率的快速衰减,在显著减少训练时期的数量的同时实现有利的性能,对由图像破坏和扰动产生的失真示例具有更强的鲁棒性,并且对不同的视觉任务具有良好的泛化能力,例如,目标检测和实例分割。我们使用各种深度CNN模型对多样化的任务进行了广泛的实验,结果为我们的发现提供了强有力的支持。
2020-03-25 cs.CV