OralBBNet: Spatially Guided Dental Segmentation of Panoramic X-Rays with Bounding Box Priors
Department of Computer Science and Engineering(计算机科学与工程系);School of IT and Engineering(信息与工程学院);Indian Institute of Technology Kharagpur(印度理工学院Kharagpur分校);Kazakh-British Technical University(哈萨克-英国技术大学);Intelligent Devices Institute(智能设备研究所);St. Petersburg Electrotechnical University "LETI"(圣彼得堡电力大学"LETI");Department of Automation and Control Processes(自动化与控制过程系)
本文提出OralBBNet架构,结合U-Net分割与YOLOv8检测优势,并引入UFBA-425数据集,在牙齿检测mAP和分割Dice分数上均取得显著提升。
2025-07-02 cs.AI cs.CV cs.LG
Topologically faithful image segmentation via induced matching of persistence barcodes
Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国理工学院);University of Zurich(苏黎世大学)
图像分割是一个广泛研究的领域,其中神经网络在技术的许多方面都有着广泛的应用。训练分割网络的一些最流行的方法采用优化像素重叠的损失函数,该目标对于许多分割任务是不够的。近年来,它们的局限性推动了对拓扑感知方法的兴趣日益增长,其目的是恢复分段结构的正确拓扑。然而,到目前为止,没有一个现有的方法实现了空间正确的地面实况和预测的拓扑特征之间的匹配。在这项工作中,我们提出了第一个拓扑和特征的准确度量和损失函数的监督图像分割,我们称之为贝蒂匹配。我们展示了诱导匹配如何保证在分割设置中条形码之间的空间正确匹配。此外,我们提出了一个有效的算法来计算图像的Betti匹配。我们发现,贝蒂匹配误差是一个可解释的度量来评估分割的拓扑正确性,这是更敏感的比公认的贝蒂数错误。此外,Betti匹配损失的可微性使其能够用作损失函数。它提高了分割网络在六个不同数据集上的拓扑性能,同时保留了体积性能。我们的代码可以在https://github.com/nstucki/Betti-matching上找到。
2022-11-28 cs.CV cs.LG
MSSP: Multi-Scale Spatially-Constrained Partition for Unsupervised Semantic Segmentation of 3D Point Clouds
College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院);School of Electronics and Communication Engineering, Sun Yat-sen University(中山大学电子与通信工程学院)
针对无监督3D点云语义分割,提出MSSP框架,结合多尺度谱分析与空间约束聚类,在S3DIS和ScanNet上取得最优mIoU,并揭示空间一致性是多尺度表示有效的前提。
2026-09-09 cs.AI cs.CV
A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting
INSAIT;Google DeepMind(谷歌DeepMind)
提出基于稳定扩散的潜在扩散方法,简化全景分割架构,无需复杂模块,通过两步训练实现掩膜修复,在COCO和ADE20k上表现优异,并支持多任务。
2024-07-16 cs.CV cs.LG
SIESEF-FusionNet: Spatial Inter-correlation Enhancement and Spatially-Embedded Feature Fusion Network for LiDAR Point Cloud Semantic Segmentation
Intelligent Autonomous Systems Laboratory, Shanghai University of Electric Power(上海电力大学智能自主系统实验室);College of Literature, Science and the Arts, University of Michigan-Ann Arbor(密歇根大学安娜堡分校文学、科学与艺术学院)
本文提出SIESEF-FusionNet,通过结合反距离加权与角度补偿增强空间互相关性,并设计空间自适应池化模块将空间信息嵌入语义特征,有效解决了点云语义分割中的边界模糊问题,在多个数据集上取得优异表现。
2024-11-11 cs.CV
Distance transform regression for spatially-aware deep semantic segmentation
ONERA(法国国家航空航天研究院);Université Paris Saclay(巴黎-萨克雷大学);Univ. Bretagne-Sud(南布列塔尼大学);IRISA(法国信息与随机系统研究所)
理解视觉场景越来越依赖于通过深度全卷积神经网络获得的密集像素分类。然而,由于网络的性质,预测通常会受到模糊边界和分割不良形状的影响,从而加剧了对后处理的需求。本文提出了一种基于距离变换回归的语义分割正则化方法。在计算标签掩码上的距离变换后,我们通过联合学习分类和距离回归,在离散和连续空间中的多任务设置中训练FCN。这几乎不需要修改网络结构,并且对训练过程增加了非常低的开销。学习近似距离变换反向传播空间线索,隐式地正则化分割。我们在各种数据集上使用几种架构验证了这种技术,与竞争基线相比,我们显示出显着的改进。
2019-09-04 cs.CV cs.NE eess.IV
Semantic Segmentation of Radar Detections using Convolutions on Point Clouds
Aptiv Services Deutschland GmbH(安波福德国服务有限公司);University of Wuppertal (BUW)(伍珀塔尔大学)
针对雷达点云语义分割,本文基于PointCNN方法对分组的雷达检测进行加权和排列以实现卷积,并通过依赖距离的聚类和预处理适应雷达特性,在效率与性能上优于基于PointNet++的方法。
2023-05-22 cs.CV cs.LG
A Bayesian Approach to Segmentation with Noisy Labels via Spatially Correlated Distributions
Tohoku University(东北大学);Preferred Networks, Inc.(Preferred Networks公司)
本文提出一种基于概率模型的贝叶斯方法,通过空间相关分布处理带噪声标签的分割问题,提升模型性能。
2025-11-13 cs.CV cs.LG eess.IV
Putting 3D Spatially Sparse Networks on a Diet
POSTECH(浦项科技大学);NVIDIA(英伟达);Caltech(加州理工学院)
3D神经网络已经普遍用于许多3D视觉任务,包括3D输入的目标检测、分割、配准和各种感知任务。然而,由于3D数据的稀疏性和不规则性,自定义3D算子或网络设计一直是研究的主要焦点,而网络的大小或参数的有效性却被忽视了。在这项工作中,我们对空间稀疏3D卷积网络的权重稀疏性进行了第一次全面的研究,并提出了一个紧凑的权重稀疏和空间稀疏3D卷积网络(WS^3-Convnet),用于在真实世界的室内和室外数据集上进行语义和实例分割。我们采用各种网络修剪策略来寻找紧凑的网络,并显示我们的WS^3-Convnet实现了最小的性能损失(2.15%下降),参数数量级更少(99%压缩率)和计算成本(95%减少)。最后,我们系统地分析了WS^3-Convnet的压缩模式,并展示了压缩网络中常见的有趣的新兴稀疏模式,以进一步加快推理速度(快45%)。\keywords{Efficient network architecture, Network pruning, 3D scene segmentation, Spatially sparse convolution}
2022-04-08 cs.CV
Boosting Convolution with Efficient MLP-Permutation for Volumetric Medical Image Segmentation
Department of Computer Science and Engineering(计算机科学与工程系);The Hong Kong University of Science and Technology(香港科学与技术大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(HKUST深圳-香港协同创新研究院)
提出PHNet混合网络,结合CNN与MLP,通过MLPP模块捕获长距离依赖并解决分辨率敏感性问题,在COVID-19-20和Synapse基准上以更低计算成本超越现有方法。
2025-05-26 cs.CV eess.IV
LoG-VMamba: Local-Global Vision Mamba for Medical Image Segmentation
University of Oulu(奥卢大学)
Mamba是一种状态空间模型(SSM),最近在自然语言处理和一般序列建模中表现出与卷积神经网络(CNN)和Transformers竞争的性能。已经进行了各种尝试来使Mamba适应计算机视觉任务,包括医学图像分割(MIS)。基于视觉曼巴(VM)的网络特别有吸引力,因为它们能够实现全局感受野,类似于视觉Transformer,同时还保持令牌数量的线性复杂性。然而,现有的虚拟机模型仍然难以保持空间局部和全局依赖性的令牌在高维数组中,由于其顺序的性质。采用多个和/或复杂的扫描策略在计算上是昂贵的,这阻碍了SSM应用于MIS问题中常见的高维2D和3D图像。在这项工作中,我们提出了本地-全球视觉曼巴,LoG-VMamba,明确强制空间相邻的令牌保持附近的通道轴上,并保留在一个压缩的形式的全球范围内。我们的方法允许SSM访问本地和全局上下文,甚至在到达最后一个令牌之前,同时只需要一个简单的扫描策略。我们的分割模型在计算上是高效的,并且在各种2D和3D MIS任务上的表现大大优于CNN和基于Transformers的基线。可在\url{https://github.com/Oulu-IMEDS/LoG-VMamba}上获得LoG-VMamba的实现。
2024-08-26 cs.CV cs.LG
Grid Saliency for Context Explanations of Semantic Segmentation
Bosch Center for Artificial Intelligence(博世人工智能中心)
最近,人们越来越关注开发显着性方法,为网络预测提供视觉解释。然而,现有方法的可用性仅限于图像分类模型。为了克服这一限制,我们扩展了现有的方法来生成网格显着性,为(像素级)密集预测网络提供空间连贯的视觉解释。由于建议的网格显着性允许空间上解开的对象和它的上下文,我们专门探讨其潜力产生上下文解释语义分割网络,发现其中的上下文最影响目标对象区域内的类预测。我们研究了网格显着性在对象及其上下文之间存在人为偏差的合成数据集上的有效性,以及使用最先进的分割网络在现实世界的Cityscapes数据集上的有效性。我们的研究结果表明,网格显着性可以成功地用于提供易于解释的上下文解释,而且,可以用于检测和定位存在于数据中的上下文偏见。
2019-11-07 cs.AI cs.CV cs.LG
Spatially Varying Label Smoothing: Capturing Uncertainty from Expert Annotations
Imperial College London(伦敦帝国理工学院)
由于解剖结构之间的边界的确切位置的模糊性,图像分割的任务固有地是有噪声的。我们认为,这些信息可以从专家注释中提取,而无需额外的成本,当集成到最先进的神经网络中时,它可以改善软概率预测和潜在的不确定性之间的校准。我们建立在标签平滑(LS)的基础上,其中网络在地面真实标签的“模糊”版本上进行训练,这已被证明对校准输出预测是有效的。然而,LS没有考虑局部结构,导致即使对于非模糊区域也具有低置信度的过度平滑预测。在这里,我们提出了空间变化的标签平滑(SVLS),一个软标签技术,捕捉结构的不确定性,在语义分割。当有多个标签图可用时,SVLS也自然地适用于纳入评分者间的不确定性。所提出的方法进行了广泛的验证四个临床分割任务,不同的成像模式,类的数量和单和多评分专家注释。结果表明,SVLS,尽管它的简单,获得优越的边界预测与改进的不确定性和模型校准。
2021-04-12 cs.CV
3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
Facebook AI Research(Facebook人工智能研究院);University of Oxford(牛津大学)
卷积网络是分析图像、视频和3D形状等时空数据的事实标准。虽然其中一些数据自然很密集(例如,照片),许多其他数据源本质上是稀疏的。示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点云。卷积网络的标准“密集”实现在应用于这种稀疏数据时非常低效。我们引入了新的稀疏卷积运算,旨在更有效地处理空间稀疏数据,并使用它们来开发空间稀疏卷积网络。我们展示了强大的性能所产生的模型,称为子流形稀疏卷积网络(SSCN),在两个任务,涉及语义分割的三维点云。特别是,我们的模型在最近的语义分割竞赛的测试集上优于所有现有的最先进的模型。
2017-11-28 cs.CV
Grounding Surgical Action Triplets with Instrument Instance Segmentation: A Dataset and Target-Aware Fusion Approach
Tongji University(同济大学)
本文提出通过仪器实例分割接地手术动作三元组,引入CholecTriplet-Seg数据集和TargetFusionNet架构,提升手术场景中动作理解的准确性和鲁棒性。
2025-11-01 cs.CV
Mask4Former: Mask Transformer for 4D Panoptic Segmentation
RWTH Aachen University(亚琛工业大学)
针对激光雷达点云4D全景分割任务,提出基于Transformer的Mask4Former模型,通过时空实例查询统一实现分割与跟踪,辅以6自由度边界框回归提升预测紧凑性,在SemanticKITTI测试集上取得新SOTA。
2024-04-10 cs.CV
Optical Flow with Semantic Segmentation and Localized Layers
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);NVIDIA(英伟达);Harvard University(哈佛大学)
现有的光流方法对光流的空间结构做出一般的、空间均匀的假设。实际上,光流在图像上根据对象类别而变化。简单地说,不同的物体移动不同。在这里,我们利用静态语义场景分割的最新进展,分割成不同类型的对象的图像。我们定义不同的模型,在这些区域中的图像运动取决于对象的类型。例如,我们用单应性对道路上的运动建模,用空间平滑流对植被建模,用仿射运动加偏差对汽车和飞机等独立移动的物体建模。然后,我们提出的流量估计问题,使用一种新的制定本地化层,解决了传统的分层模型处理复杂的场景运动的局限性。我们的语义流方法在KITTI-2015流基准测试中实现了任何已发布的单目方法的最低错误,并且在广泛的自然视频上产生了比最近的顶级方法更好的质量流和分割。
2016-04-11 cs.CV
Single-shot Star-convex Polygon-based Instance Segmentation for Spatially-correlated Biomedical Objects
Technical University of Dresden(德累斯顿工业大学);Helmholtz-Zentrum Dresden-Rossendorf e. V.(德累斯顿-罗森多夫亥姆霍兹中心)
针对生物医学图像中目标的空间相关性未被利用、检测需多阶段的问题,提出基于StarDist的单阶段架构HSD和HSD-WBR,融入空间先验完成并行实例分割,在IoU_R、AP及JTPR指标上优于基线模型,且可扩展至多种成像场景。
2025-04-16 cs.CV q-bio.QM
Spatially-Aware Evaluation Framework for Aerial LiDAR Point Cloud Semantic Segmentation: Distance-Based Metrics on Challenging Regions
Department of Statistics, Computer Science and Mathematics and Institute of Smart Cities (ISC), Public University of Navarre (UPNA)(统计、计算机科学与数学系和智能城市研究所(ISC),纳瓦拉公共大学);Tracasa Instrumental
本文提出一种新的评估框架,通过引入基于距离的指标和聚焦于困难点的评估方法,解决传统指标在空中有激光雷达数据中的局限性,揭示空间误差模式,提升地球观测应用中的模型选择。
2026-03-23 cs.CV
Learning to Predict Context-adaptive Convolution for Semantic Segmentation
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室);Shenzhen Key Lab of Computer Vision and Pattern Recognition, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院计算机视觉与模式识别深圳市重点实验室);SenseTime Research(商汤科技研究院)
长距离上下文信息对于实现高性能的语义分割是必不可少的。以往的特征重加权方法表明,使用全局上下文重加权特征通道可以有效地提高语义分割的准确性。然而,全局共享特征重新加权向量对于输入图像中的不同类别的区域可能不是最佳的。在本文中,我们提出了一个上下文自适应卷积网络(CaC-Net)预测的语义特征地图的每个空间位置的空间变化的特征权重向量。在CaC-Net中,以参数有效的方式从全局上下文信息预测一组上下文自适应卷积核。当用于与语义特征图的卷积时,预测的卷积核可以生成捕获全局和局部上下文信息两者的空间变化特征加权因子。综合实验结果表明,我们的CaC-Net在三个公共数据集,PASCAL Context,PASCAL VOC 2012和ADE 20 K上取得了优异的分割性能。
2020-08-26 cs.CV
A Spatial Guided Self-supervised Clustering Network for Medical Image Segmentation
The University of Sydney(悉尼大学);Med-X Research Institute, Shanghai Jiao Tong University(上海交通大学Med-X研究院)
医学图像的分割是自动化临床决策支持系统中的一个基本步骤。然而,现有的基于监督式深度学习的医学图像分割方法仍然存在问题,因为它们依赖于大量标记的训练数据。尽管医学成像数据存储库继续扩展,但注释数据的量并没有相应地增加。因此,我们提出了一种新的空间引导自监督聚类网络(SGSCN)的医学图像分割,在那里我们引入了多个损失函数,旨在帮助分组图像像素的空间连接,并具有类似的功能表示。它从单个图像中以端到端的方式迭代学习每个像素的特征表示和聚类分配。我们还提出了一个基于上下文的一致性损失,更好地描绘图像区域的形状和边界。它强制属于一个聚类的所有像素在空间上靠近聚类中心。我们评估了我们的方法对2个公共医学图像数据集,并将其与现有的传统和自监督聚类方法进行比较。实验结果表明,该方法对医学图像分割的准确性最高。
2021-07-11 cs.CV
3D Spatial Recognition without Spatially Labeled 3D
Facebook AI Research(脸书人工智能研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍了WyPR,一个弱监督的点云识别框架,只需要场景级的类标签作为监督。WyPR共同解决了三个核心3D识别任务:点级语义分割、3D建议生成和3D目标检测,通过自身和跨任务一致性损失耦合其预测。我们证明,结合标准的多实例学习目标,WyPR可以在训练时检测和分割点云数据中的对象,而无需访问任何空间标签。我们使用ScanNet和S3DIS数据集证明了它的有效性,在弱监督分割方面优于现有技术超过6% mIoU。此外,我们在两个数据集上建立了第一个弱监督3D目标检测基准,其中WyPR优于标准方法,并为未来的工作建立了强有力的基线。
2021-05-13 cs.AI cs.CV cs.LG
Spatially Adaptive Computation Time for Residual Networks
National Research University Higher School of Economics(国家研究型大学高等经济学院);Google Inc.(谷歌公司);Yandex;Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种基于残差网络的深度学习架构,该架构动态调整图像区域的执行层数。这种架构是端到端可训练的,确定性的和问题不可知的。因此,它适用于广泛的计算机视觉问题,如图像分类,目标检测和图像分割没有任何修改。我们提出的实验结果表明,该模型提高了残差网络在具有挑战性的ImageNet分类和COCO目标检测数据集上的计算效率。此外,我们评估了视觉显着性数据集cat2000上的计算时间图,发现它们与人眼固定位置的相关性令人惊讶。
2017-07-02 cs.CV cs.LG
Boundary-weighted logit consistency improves calibration of segmentation networks
Massachusetts Institute of Technology(麻省理工学院)
针对分割数据标签模糊导致的网络错误校准问题,提出边界加权的跨变换 logit 一致性正则化方法,在前列腺与心脏 MRI 分割上取得最先进校准效果。
2023-07-16 cs.CV
Transparency Distortion Robustness for SOTA Image Segmentation Tasks
Technical University of Darmstadt(达姆施塔特工业大学);Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所);CGV Institute, Graz University of Technology(格拉茨工业大学CGV研究所)
针对不均匀玻璃或热空气折射导致的空间变化径向畸变,本文提出合成数据增强方法,评估其对 SOTA 分割模型的影响,并发现预训练与扩大模型容量比畸变微调更能缓解性能下降。
2024-05-21 cs.CV
Self-Supervised Learning of Object Parts for Semantic Segmentation
Technical University of Munich(慕尼黑工业大学);University of Amsterdam(阿姆斯特丹大学)
自监督学习的进展带来了强大的通用图像表示学习方法。然而,到目前为止,它主要集中在图像级别的学习。反过来,像无监督图像分割这样的任务并没有从这种趋势中受益,因为它们需要空间多样的表示。然而,学习密集表示是具有挑战性的,因为在无监督的上下文中,不清楚如何引导模型学习与各种潜在对象类别相对应的表示。在本文中,我们认为,自监督学习的对象部分是一个解决这个问题。对象部分是可泛化的:它们先验地独立于对象定义,但可以被分组以形成后验的对象。为此,我们利用最近提出的Vision Transformer的出席对象的能力,并将其与空间密集的聚类任务进行微调的空间令牌。我们的方法超过了国家的最先进的三个语义分割基准的17%-3%,表明我们的表示是通用的各种对象定义。最后,我们将其扩展到完全无监督的分割-即使在测试时也完全避免使用标签信息-并证明了一种基于社区发现的自动合并发现对象部分的简单方法会产生很大的收益。
2022-06-21 cs.CV
OPTNet: Ordering Point Transformer Network for Post-disaster 3D Semantic Segmentation
Computer Science and Engineering, Lehigh University, Bethlehem PA 18015, US(计算机科学与工程系,莱维大学,贝特莱姆 PA 18015,美国);Civil and Environmental Engineering, Lehigh University, Bethlehem PA 18015, US(土木与环境工程系,莱维大学,贝特莱姆 PA 18015,美国)
本文提出OPTNet,一种通过可学习的点排序模块动态预测最优排列以提高注意力机制局部性的网络,用于灾后3D点云语义分割。
2026-05-16 cs.CV cs.LG
EndoARSS: Adapting Spatially-Aware Foundation Model for Efficient Activity Recognition and Semantic Segmentation in Endoscopic Surgery
Department of Electronic Engineering, The Chinese University of Hong Kong(香港中文大学电子工程系);Shenzhen Research Institute, The Chinese University of Hong Kong(香港中文大学深圳研究院);School of Advanced Manufacturing, Fuzhou University(福州大学先进制造学院)
本文提出基于 DINOv2 的多任务框架 EndoARSS,通过低秩适配、任务共享适配器与空间感知多尺度注意力,同时提升内镜手术活动识别和语义分割性能。
2025-06-07 cs.AI cs.CV
Hierarchical Prompt Injector for Domain Generalization Segmentation
University of New South Wales(新南威尔士大学)
针对域泛化语义分割,提出空间层级提示和层级提示注入器,实现空间自适应提示注入,在合成到真实和真实到真实基准上分别达到70.62%和72.74%的mIoU。
2026-09-09 cs.CV
Deep Variational Instance Segmentation
CoRIS Institute(CoRIS研究所);Oregon State University(俄勒冈州立大学);Stony Brook University(石溪大学)
实例分割是计算机视觉中的一项具有挑战性的任务,它试图为输入图像中的每个像素获得类别和实例标签。最先进的算法通常采用两个独立的阶段,第一个阶段生成对象建议,第二个阶段识别和细化边界。此外,建议通常基于检测器,例如更快的R-CNN,其在整个图像中彻底搜索框。在本文中,我们提出了一种新的算法,直接利用全卷积网络(FCN)来预测实例标签。具体来说,我们提出了一个变分松弛的实例分割最小化的分段常数分割问题,它可以用来训练的FCN端到端的优化功能。它扩展了经典的Mumford-Shah变分分割问题,使其能够处理实例分割的地面真值中的置换不变标签。在PASCAL VOC 2012、语义边界数据集(SBD)和MSCOCO 2017数据集上的实验表明,该方法有效地解决了实例分割任务。源代码和训练模型将与论文一起发布。
2020-10-24 cs.CV
Deep Semantic Instance Segmentation of Tree-like Structures Using Synthetic Data
IBM Research(IBM研究院)
树状结构(如血管)通常以非常精细的尺度表达复杂性,需要高分辨率的网格来充分描述其形状。这样的稀疏形态可以替代地由中心线点的位置表示,但是由于它是无序的并且是排列不变的,因此利用深度学习从这种类型的数据中学习是具有挑战性的。在这项工作中,我们提出了一个深度神经网络,它直接消耗沿分支结构中心线的无序点,以识别单次拍摄中所表示的结构的拓扑结构。我们的方法的关键是使用一个新的多任务损失函数,使任意复杂的分支结构的实例分割。我们训练网络单独使用综合生成的数据,利用域随机化,以促进真正的2D和3D数据的传输。结果表明,我们的网络可以可靠地提取有关分支位置、分叉和端点的有意义的信息,并为分支结构中的语义实例分割树立了新的基准。
2018-11-08 cs.CV
PPBoost: Progressive Prompt Boosting for Text-Driven Medical Image Segmentation
PPBoost通过逐步增强弱文本提示为强空间指导,提升医学图像分割的精度与鲁棒性。
2025-11-26 cs.CV
Revisiting Rubik's Cube: Self-supervised Learning with Volume-wise Transformation for 3D Medical Image Segmentation
Hangzhou Dianzi University(杭州电子科技大学);Tencent Jarvis Lab(腾讯Jarvis实验室)
深度学习高度依赖于注释数据的数量。然而,3D体积医学数据的注释需要有经验的医生花费数小时甚至数天的时间进行研究。自监督学习是通过深入挖掘原始数据信息来摆脱对训练数据的强烈需求的潜在解决方案。在本文中,我们提出了一种新的自监督学习框架的体积医学图像。具体来说,我们提出了上下文恢复任务,即,Rubik's cube++,用于预训练3D神经网络。与现有的基于上下文恢复的方法不同,我们采用了一种基于体积的上下文置换变换,这有助于网络更好地利用器官的固有3D解剖信息。相比从头开始训练的策略,从魔方++预训练权重进行微调,可以在胰腺分割和脑组织分割等各种任务中实现更好的性能。实验结果表明,我们的自监督学习方法可以显着提高三维深度学习网络在体积医学数据集上的准确性,而无需使用额外的数据。
2020-07-17 cs.CV cs.LG eess.IV
A Generalist Framework for Panoptic Segmentation of Images and Videos
Google Deepmind(谷歌DeepMind)
提出将全景分割视为离散数据生成问题,采用简单架构与通用损失函数的扩散模型,通过加入过去预测作为条件信号支持视频流式处理并自动跟踪实例,实验表明性能与最先进专家方法相当。
2023-10-12 cs.AI cs.CV cs.LG
Convolutional Random Walk Networks for Semantic Image Segmentation
University of Pennsylvania(宾夕法尼亚大学);Dartmouth College(达特茅斯学院);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
当前大多数语义分割方法依赖于全卷积网络(FCN)。然而,它们使用大的感受野和许多池化层导致深层内的低空间分辨率。这导致边界周围的预测定位较差。先前的工作试图通过用CRF或MRF后处理预测来解决这个问题。但这样的模型往往无法捕捉对象之间的语义关系,这导致空间不相交的预测。为了克服这些问题,最近的方法将CRF或MRF集成到FCN框架中。这些新模型的缺点是它们比传统的FCN复杂得多,这使得训练和测试更具挑战性。在这项工作中,我们介绍了一个简单而有效的卷积随机游走网络(RWN),它解决了边界定位差和空间碎片预测的问题,而模型复杂性几乎没有增加。我们提出的RWN共同优化的目标像素级的亲和力和语义分割。它通过一个新的随机游走层将这两个目标结合起来,该层在网络的深层执行一致的空间分组。我们的RWN是使用标准卷积和矩阵乘法实现的。这允许轻松集成到现有的FCN框架中,并通过标准的反向传播实现整个网络的端到端训练。我们的RWN的实现只需要$131$额外的参数相比,传统的FCNs,但它始终产生一个改进的语义分割和场景标记的FCNs。
2017-05-08 cs.CV
AdvSPADE: Realistic Unrestricted Attacks for Semantic Segmentation
Purdue University(普渡大学);Columbia University(哥伦比亚大学)
由于分割模型固有的鲁棒性,传统的范数有界攻击方法对这类模型的效果有限。在本文中,我们专注于为语义分割模型生成无限制的对抗性示例。我们展示了一种简单有效的方法,使用条件生成对抗网络(CGAN)生成无限制的对抗示例,而无需任何手工度量。然而,CGAN的幼稚实现产生较差的图像质量和低攻击成功率。相反,我们利用SPADE(空间自适应反规范化)结构和额外的损失项,在单步的中生成有效的对抗攻击。我们在流行的Cityscapes和ADE 20K数据集上验证了我们的方法,并证明我们的合成对抗示例不仅是真实的,而且与包括PGD在内的最先进的对抗攻击方法相比,攻击成功率提高了41.0%。
2019-11-19 cs.CV cs.LG eess.IV
Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks
LMU München(慕尼黑大学);Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
全卷积神经网络(F-CNN)在图像分割中为大量应用设定了最先进的技术。F-CNN的架构创新主要集中在改善空间编码或网络连接以帮助梯度流。在本文中,我们探索了自适应地重新校准特征图的另一个方向,以增强有意义的特征,同时抑制弱特征。我们从最近提出的挤压和激励(SE)模块的通道重新校准的特征映射图像分类的灵感。为此,我们介绍了三种变体的SE模块的图像分割,(i)挤压空间和激励通道(cSE),(ii)挤压通道和激励空间(sSE)和(iii)并发空间和通道挤压和激励(scSE)。我们将这些SE模块有效地整合到三种不同的最先进的F-CNN(DenseNet,SD-Net,U-Net)中,并观察到所有架构的性能一致提高,同时最大限度地降低模型复杂性。对两个具有挑战性的应用程序进行评价:MRI扫描的全脑分割(多图谱标记挑战数据集)和全身对比增强CT扫描的器官分割(内脏数据集)。
2018-06-08 cs.CV
Image Segmentation by Discounted Cumulative Ranking on Maximal Cliques
University of Bonn(波恩大学)
我们提出了一个中级图像分割框架,结合多个图形-背景假设(FG)约束在不同的位置和尺度,到解释,瓷砖整个图像。这个问题被铸造为优化集的最大集团从连接非重叠,假定的图形-背景段假设的图形采样。潜在的功能团结合一元完形为基础的数字质量分数和成对的空间相邻段之间的兼容性,约束T型接头和边界界面的统计数据,从真实的3D场景的投影。学习模型参数被公式化为秩优化,在采样图像平铺和优化其势函数参数之间交替。Berkeley和VOC 2009分割数据集均报告了最新结果,其中实现了28%的改进。
2010-09-24 cs.CV
Multi-hypothesis contextual modeling for semantic segmentation
Istanbul Medipol University(伊斯坦布尔梅迪波尔大学);Isik University(伊希克大学)
语义分割(即图像解析)旨在用其对应的语义类标签注释每个图像像素。图像的空间一致性标记需要对局部上下文信息进行准确的描述和建模。分割结果通常通过对初始标签进行马尔可夫随机场(MRF)优化来改善。然而,这种改进受到初始结果的准确性和如何定义上下文邻域的限制。在本文中,我们开发了通用的和灵活的上下文模型的分割邻域,以提高解析精度。而不是使用一个固定的分割和邻域定义,我们探索各种上下文模型的互补信息的融合,在替代分割相同的图像。换句话说,我们提出了一个新的MRF框架,描述和优化多个分割之间的上下文依赖关系。在两个常见数据集上的仿真结果表明,与基线方法相比,解析准确率有了显着提高。
2018-12-14 cs.CV
VMNet: Voxel-Mesh Network for Geodesic-Aware 3D Semantic Segmentation
Hong Kong University of Science and Technology(香港科技大学);Tencent Lightspeed & Quantum Studios(腾讯光子工作室群);City University of Hong Kong(香港城市大学)
近年来,由于强大的3D CNN,基于稀疏体素的方法已经成为室内场景的3D语义分割的最新技术。然而,由于忽略了底层的几何形状,基于体素的方法在空间上接近的对象上具有模糊的特征,并且由于缺乏测地线信息而难以处理复杂和不规则的几何形状。鉴于此,我们提出了体素网格网络(VMNet),一种新型的3D深度架构,它利用欧几里得和测地线信息对体素和网格表示进行操作。直觉上,从体素中提取的欧几里得信息可以提供表示附近对象之间相互作用的上下文线索,而从网格中提取的测地线信息可以帮助分离空间上接近但具有断开表面的对象。为了将这些信息从这两个领域,我们设计了一个域内关注模块有效的功能聚合和域间关注模块的自适应功能融合。实验结果验证了VMNet的有效性:具体来说,在具有挑战性的ScanNet数据集上进行室内场景的大规模分割,它的性能优于最先进的SparseConvNet和MinkowskiNet(在mIoU中分别为74.6%和72.5%和73.6%),网络结构更简单(17M与30M和38M参数)。代码发布:https://github.com/hzykent/VMNet
2022-07-25 cs.CV
Dilated SpineNet for Semantic Segmentation
Google(谷歌公司)
尺度置换网络在对象限界框检测和实例分割方面表现出了良好的效果。特征的尺度置换和跨尺度融合使网络能够捕获多尺度语义,同时保持空间分辨率。在这项工作中,我们评估了这种关于语义分割的元架构设计--另一项视觉任务,它受益于不同网络阶段的高空间分辨率和多尺度特征融合。通过进一步利用扩张卷积运算,我们提出了SpineNet-Seg,这是一个由NAS发现的网络,从DeepLabv 3系统中搜索。SpineNet-Seg设计有一个更好的尺度排列网络拓扑,在语义分割任务中每个块具有自定义的膨胀率。SpineNet-Seg模型在速度和准确性方面优于DeepLabv 3/v3+基线。特别是,我们的SpineNet-S143+模型在流行的Cityscapes基准测试中以83.04% mIoU达到了新的最先进水平,并在PASCAL VOC 2012基准测试中以85.56% mIoU达到了强劲的性能。SpineNet-Seg模型在具有挑战性的街景分割数据集上也显示出有希望的结果。代码和检查点将开源。
2021-03-23 cs.AI cs.CV
Zero-Parameter Geometric Gating for Temporally Stable Low-Altitude UAV Video Semantic Segmentation
Beihang University(北京航空航天大学);Northeastern University(东北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Beijing Institute of Technology(北京理工大学)
提出零参数几何门控,利用RANSAC单应性内点比率在16x16网格上路由区域,结合语义相似性传播实现时间稳定分割,在合成UAVid上提升mIoU达4.91%。
2026-06-08 cs.CV
CRF Learning with CNN Features for Image Segmentation
The University of Adelaide(阿德莱德大学)
条件随机瑞尔德(CRF)在图像分割中有着广泛的应用。虽然大多数研究依赖于手工制作的特征,但我们在这里建议利用预先训练的大型卷积神经网络(CNN)来生成用于CRF学习的深度特征。深度CNN在ImageNet数据集上进行训练,并在这里转移到图像分割,以构建超像素的潜力。然后使用结构化支持向量机(SSVM)学习CRF参数。为了充分利用上下文信息的推断,我们构建空间相关的共现成对电位,并将它们纳入能量函数。这更倾向于标记在特定空间布局中经常共同出现的对象对,同时避免在推理过程中出现令人难以置信的标记。在二进制和多类分割基准上进行的大量实验证明了所提出方法的可行性。因此,我们为Weizmann horse,Graz-02,MSRC-21,Stanford Background和PASCAL VOC 2011数据集的分割性能提供了新的基线。
2015-03-28 cs.CV
Improved Image Segmentation via Cost Minimization of Multiple Hypotheses
The Johns Hopkins University(约翰斯·霍普金斯大学)
图像分割是许多图像理解系统的重要组成部分。它旨在以空间和感知连贯的方式对像素进行分组。通常,这些算法具有控制所产生的过分割程度的参数集合。它仍然是一个挑战,以适当地选择这样的参数,人类一样的感知分组。在这项工作中,我们利用不同的参数选择产生的片段的多样性。我们扫描分割参数空间并生成图像分割假设的集合(从高度过度分割到欠分割)。这些被馈送到成本最小化框架中,该框架通过选择以下段来产生最终分割:(1)更好地描述图像的自然轮廓,以及(2)在所有分割假设中更稳定和持久。我们比较我们的算法的性能与国家的最先进的算法,表明我们可以实现改进的结果。我们还表明,我们的框架是强大的分割内核,产生的初始假设集的选择。
2018-01-31 cs.CV
MaskMed: Decoupled Mask and Class Prediction for Medical Image Segmentation
Department of Computer Science, Illinois Institute of Technology, USA(计算机科学系,伊利诺伊理工大学)
MaskMed通过解耦的掩码与类别预测方法,实现了医学图像分割的高效全尺度融合,提升了分割性能。
2025-11-19 cs.CV
Transformer Utilization in Medical Image Segmentation Networks
German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ))
通过引入Transformer消融实验,用线性算子替换Transformer块,在2个任务8个模型上量化了Transformer在医学图像分割中的有效性,发现其表示可替换,需有效设计协同,显式特征层次比自注意力更有益,且模块前空间下采样需谨慎。
2023-04-09 cs.AI cs.CV
Instance Segmentation of Dense and Overlapping Objects via Layering
RWTH Aachen University(亚琛工业大学);University of Regensburg(雷根斯堡大学);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所)
实例分割旨在描绘图像中的每个感兴趣的个体对象。现有技术的方法通过划分语义分割或细化检测到的对象的粗略表示来实现该目标。在这项工作中,我们提出了一种新的方法来解决这个问题,通过对象分层,即通过分布拥挤,甚至重叠的对象到不同的层。通过将空间上分离的对象分组在同一层中,可以通过提取每个层中的连接组件来轻松隔离实例。与以前的方法相比,我们的方法不受复杂对象形状或对象重叠的影响。通过最少的后处理,我们的方法在不同的数据集上产生了非常有竞争力的结果:C。elegans(BBBC)、重叠宫颈细胞(OCC)和培养的神经母细胞瘤细胞(CCDB)。源代码是公开的。
2022-10-07 cs.CV
Direct Estimation of Appearance Models for Segmentation
School of Engineering, Brown University(布朗大学工程学院);Mathematical Bioscience Institute, Ohio State University(俄亥俄州立大学数学生物科学研究所)
图像分割算法通常依赖于表征不同图像区域中像素值分布的外观模型。我们描述了一种新的方法,直接从图像中估计外观模型,而不明确考虑组成每个区域的像素。我们的方法是基于新的代数表达式,涉及局部图像统计的空间相干区域的外观。我们描述了两种算法,可以使用上述代数表达式估计外观模型直接从图像。第一种算法使用最小二乘公式求解线性和二次方程组。第二种算法是基于特征向量计算的谱方法。我们目前的实验结果表明,所提出的方法在实践中工作良好,并导致有效的图像分割算法。
2021-09-15 cs.CV
SGDC: Structurally-Guided Dynamic Convolution for Medical Image Segmentation
Department of Electrical and Computer Engineering, Concordia University(电气与计算机工程系,康科迪亚大学)
SGDC通过结构引导动态卷积提升医学图像分割的边界保真度,减少Hausdorff距离并提高IoU,适用于细粒度结构敏感任务。
2026-02-26 cs.CV eess.IV
Frequency-Adaptive Dilated Convolution for Semantic Segmentation
Beijing Institute of Technology(北京理工大学);RIKEN(日本理化学研究所);The University of Tokyo(东京大学)
本文从频谱分析角度提出FADC,依据局部频率成分空间自适应调整膨胀率,并结合AdaKern与FreqSelect模块提升有效带宽和感受野,在分割与检测任务上验证了有效性。
2025-06-09 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一种新的架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC(2012年平均IU为62.2%,相对提高了20%),NYUDv2和SIFT Flow的最先进分割,而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Investigating Permutation-Invariant Discrete Representation Learning for Spatially Aligned Images
Durham University(杜伦大学)
本文探讨了空间对齐数据的离散表示是否需要位置信息,提出PI-VQ模型,通过约束潜在代码无位置信息,实现全局语义特征捕捉和直接图像插值,同时引入匹配量化提升信息容量。
2026-04-02 cs.CV cs.LG
Low-Latency Video Semantic Segmentation
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences(中国科学院智能信息处理重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
近年来,语义分割取得了显著的进展。然而,将分割技术应用于基于视频的应用仍然是一项具有挑战性的任务。具体而言,视频流的高吞吐量、运行全卷积网络的绝对成本以及许多现实应用(例如自动驾驶)中的低延迟要求,对视频分割框架的设计提出了重大挑战。为了解决这一综合挑战,我们开发了一个视频语义分割的框架,它包含两个新的组件:(1)一个特征传播模块,通过空间变化卷积自适应地融合特征,从而降低每帧计算的成本;和(2)一个自适应调度器,根据准确性预测动态分配计算。这两个组件协同工作,以确保低延迟,同时保持高分割质量。在Cityscapes和CamVid上,与最先进的技术相比,所提出的框架获得了具有竞争力的性能,同时大幅降低了延迟,从360 ms降至119 ms。
2018-04-02 cs.CV
Center-Extraction-Based Three Dimensional Nuclei Instance Segmentation of Fluorescence Microscopy Images
Purdue University(普渡大学);Indiana University-Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校);Indiana University(印第安纳大学)
荧光显微镜是分析组织中三维亚细胞结构的重要工具。组织表征中的重要步骤涉及细胞核分割。在本文中,一个两阶段的方法分割的细胞核使用卷积神经网络(CNN)的描述。特别是,由于手动创建标记的体积用于训练目的是不切实际的,由于3D数据集的大小和复杂性,本文描述了一种基于空间约束的周期一致性对抗网络生成合成显微镜体积的方法。所提出的方法进行了测试,多个真实的显微镜数据集,优于其他常用的分割技术。
2019-09-13 cs.CV eess.IV