Multi-organ Segmentation over Partially Labeled Datasets with Multi-scale Feature Abstraction
Rensselaer Polytechnic Institute（伦斯勒理工学院）
缺乏完全注释的数据集一直是开发基于深度学习的图像分割算法的限制因素，并且该问题在多器官分割中变得更加明显。在本文中，我们提出了一种统一的训练策略，使一种新的多尺度深度神经网络能够在多个部分标记的数据集上进行训练，用于多器官分割。此外，提出了一种新的多尺度特征提取网络结构，将金字塔输入和特征分析集成到U型金字塔结构中。为了弥补直接合并不同尺度特征所造成的语义鸿沟，引入了等卷积深度机制。此外，我们采用深度监督机制来细化不同尺度的输出。为了充分利用所有尺度的分割特征，我们设计了一个自适应加权层，以自动方式融合输出。所有这些机制一起被集成到一个金字塔输入金字塔输出特征提取网络（PIPO-FAN）。我们提出的方法在四个公开可用的数据集上进行了评估，包括BTCV，LiTS，KiTS和脾脏，其中已经实现了非常有前途的性能。这项工作的源代码在https://github.com/DIAL-RPI/PIPO-FAN上公开共享，以便其他人轻松复制这项工作并使用引入的机制构建自己的模型。
2020-06-06 cs.CV
OW-VISCapTor: Abstractors for Open-World Video Instance Segmentation and Captioning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出开放世界视频实例分割与描述新任务，通过开发对象抽象器和对象到文本抽象器连接视觉特征提取器与LLM，在未见过物体检测和描述上分别超越基线13%和10%。
2024-12-09 cs.AI cs.CV
Unified Multi-scale Feature Abstraction for Medical Image Segmentation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Wuhan University（武汉大学）；National Institutes of Health（美国国立卫生研究院）
医学图像的自动分割是医学图像分析的重要组成部分，在计算机辅助诊断中起着重要的作用。例如，定位和分割肝脏可以非常有助于肝癌的诊断和治疗。医学图像分割中最先进的模型是编码器-解码器架构的变体，如全卷积网络（FCN）和U-Net。1基于FCN的分割方法的主要焦点是通过结合最新的CNN结构（如ResNet 2和DenseNet）进行网络结构工程。3除了探索新的网络结构以有效地提取高级特征外，将多尺度图像特征提取的结构纳入FCN有助于提高分割任务的性能。在本文中，我们设计了一种新的多尺度网络架构，它采用多尺度输入和专用卷积路径来有效地组合来自不同尺度的特征，以更好地利用层次信息。
2019-10-24 cs.CV eess.IV
Aligning Instance-Semantic Sparse Representation towards Unsupervised Object Segmentation and Shape Abstraction with Repeatable Primitives
School of Big Data and Software Engineering, Chongqing University（重庆大学大数据与软件学院）；Department of Computer Science and Engineering, State University of New York at Buffalo（纽约州立大学布法罗分校计算机科学与工程系）
本文提出一种单阶段无监督框架，通过高维空间中物体部件的稀疏表示与实例-语义特征对齐，联合实现实例分割、语义分割和可重复基元形状抽象。
2025-03-10 cs.CV
RGPNet: A Real-Time General Purpose Semantic Segmentation
NavInfo Europe（纳维信息欧洲）
我们提出了一个实时的【形】通用的语义分割架构，RGPNet，它在复杂的环境中实现了显着的性能增益。RGPNet由一个轻量级的非对称编解码器和一个适配器组成。该适配器有助于从编码器和解码器之间的多层分布式表示中保留和细化抽象概念。它还促进了从深层到浅层的梯度流动。我们的实验表明，RGPNet可以实时的【形】生成分割结果，其准确性与最先进的非实时重模型相当。此外，对于绿色AI，我们表明，使用优化的标签松弛技术和渐进式训练可以减少多达60%的训练时间，同时保持性能。我们得出结论，RGPNet在多个数据集上获得了更好的速度-准确性权衡。
2020-12-15 cs.CV cs.LG
Part-aware Panoptic Segmentation
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们介绍了新的场景理解任务的部分感知的全景分割（PPS），其目的是了解一个场景在多个层次的抽象，并统一的场景解析和部分解析的任务。对于这个新任务，我们在两个常用的数据集上提供了一致的注释：Cityscapes和Pascal VOC。此外，我们提出了一个单一的指标来评估PPS，称为部分感知泛光质量（PartPQ）。对于这个新任务，使用度量和注释，我们通过合并现有最先进的全景分割和部分分割方法的结果来设置多个基线。最后，我们进行了几个实验，评估在这个单一的任务中，不同层次的抽象的重要性。
2021-06-11 cs.CV
SCI-CLIP: Segment-Centric Inference with Reference Memory for Training-Free Open-Vocabulary Segmentation
该研究提出SCI-CLIP框架，以段为中心推理，无需训练即可将CLIP特征转化为高质量密集预测，在八个基准测试中提升开放词汇分割性能。
2026-08-07 cs.CV
Pin the Memory: Learning to Generalize Semantic Segmentation
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）；Ewha Womans University（梨花女子大学）
深度神经网络的兴起为语义分割带来了多项突破。尽管如此，在源域上训练的模型在新的具有挑战性的领域中往往不能正常工作，这直接关系到模型的泛化能力。提出了一种基于元学习框架的记忆引导的语义分割领域泛化方法。特别是，我们的方法抽象的概念知识的语义类到范畴记忆是恒定的领域之外。基于元学习的概念，我们反复训练记忆引导网络并模拟虚拟测试，以1）学习如何记忆与领域无关且不同的类信息，2）提供外部固定的记忆作为类指导，以减少任意未知领域的测试数据中表示的模糊性。为此，我们还提出了记忆发散和特征内聚损失，这鼓励学习记忆读取和更新过程的类别感知领域泛化。大量的实验语义分割证明了我们的方法优于国家的最先进的作品在各种基准的泛化能力。
2022-05-30 cs.CV cs.LG
Learning Sparse High Dimensional Filters: Image Filtering, Dense CRFs and Bilateral Neural Networks
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）
双边滤波器由于其边缘保持特性而被广泛使用。常见的用例是手动选择参数滤波器类型，通常是高斯滤波器。在本文中，我们将推广的参数化，特别是推导出一个梯度下降算法，使滤波器参数可以从数据中学习。这种推导允许学习在稀疏填充的特征空间中操作的高维线性滤波器。我们建立在permutohedral晶格建设有效的过滤。学习更一般形式的高维滤波器的能力可以用于多种不同的应用程序。首先，我们演示了在由于运行时原因需要单个过滤器应用程序的应用程序中的使用。此外，我们还展示了如何使用该算法来学习密集连接的条件随机场中的成对电位，并将其应用于不同的图像分割任务。最后，我们在CNN中引入了双边滤波器层，并提出了用于高维稀疏数据的双边神经网络。这个视图提供了将模型结构编码到网络架构中的新方法。一组不同的实验经验验证了一般形式的过滤器的使用。
2015-11-25 cs.CV
SFSegNet: Parse Freehand Sketches using Deep Fully Convolutional Networks
Sun Yat-Sen University（中山大学）
通过语义分割解析草图是有吸引力的，但具有挑战性，因为（i）手绘图是抽象的，由于不同的绘画风格和技巧，在描绘对象时具有很大的差异;（ii）在触摸板上绘制的扭曲线条使草图更难以识别;（iii）通过深度学习技术的高性能图像分割在训练阶段需要大量带注释的草图数据集。在本文中，我们提出了一个草图目标深度FCN分割网络（SFSegNet），用于自动徒手草图分割，标记具有多个部分的单个对象中的每个草图。SFSegNet在输入草图和分割结果之间有一个端到端的网络过程，由两部分组成：（i）修改后的深度全卷积网络（FCN），使用重新加权策略忽略背景像素并分类每个像素属于哪个部分;（ii）仿射变换编码器，试图规范化抖动笔划。我们用由10，000个注释草图组成的数据集训练我们的网络，以找到一个广泛适用的模型来在一个地面事实中语义地分割斯托克斯。大量的实验和分割结果表明，我们的方法优于其他国家的最先进的网络。
2019-08-15 cs.CV cs.LG
Color Image Segmentation Metrics
自动图像分割过程是许多图像分析和计算机视觉的一个不可避免的部分，它深深地影响着系统的其余部分，因此，一套交互式分割评估方法可以大大简化系统的开发过程。本条目介绍了彩色图像分割方法的定量评价指标的最新技术水平，通过对措施进行分析和比较审查。选择合适的评估指标的决策过程仍然非常严肃，因为每个指标倾向于为每个基准数据集选择不同的分割方法。此外，这些指标的概念比较提供了一个高层次的抽象和讨论理解不同的图像分割结果的定量变化。
2020-10-19 cs.CV cs.LG cs.MM
SIMONe: View-Invariant, Temporally-Abstracted Object Representations via Unsupervised Video Decomposition
DeepMind；Wayve
为了帮助智能体根据场景的构建块进行推理，我们希望提取任何给定场景的组成结构（特别是组成场景的对象的配置和特征）。当场景结构需要被推断同时也估计代理的位置/视点时，这个问题尤其困难，因为这两个变量共同引起代理的观察。我们提出了一个无监督的变分方法来解决这个问题。利用存在于不同场景中的共享结构，我们的模型学习仅从RGB视频输入推断两组潜在表示：一组“对象”潜在表示，对应于场景的时不变对象级内容，以及一组“帧”潜在表示，对应于全局时变元素，如视点。这种潜在因素的分解允许我们的模型，SIMONe，以不依赖于视点的allocentric方式表示对象属性。此外，它使我们能够解开对象动态和总结其轨迹的时间抽象，视图不变，每个对象的属性。我们展示了这些功能，以及模型的性能方面的视图合成和实例分割，在三个程序生成的视频数据集。
2021-12-06 cs.CV cs.LG
Gaussian Random Fields as an Abstract Representation of Patient Metadata for Multimodal Medical Image Segmentation
Manchester Metropolitan University（曼彻斯特城市大学）；Lancaster University（兰卡斯特大学）；Lancashire Teaching Hospitals NHS Foundation Trust（兰开夏教学医院NHS基金会信托）
本文提出一种将患者元数据表示为高斯随机场并引入训练流程的多模态医学图像分割方法，在 Diabetic Foot Ulcer Challenge 2022 数据集上通过多模型预测掩码的距离变换平均合并，显著提升了慢性伤口分割的交并比与 Dice 相似系数。
2025-03-19 cs.CV eess.IV
Hierarchical Self-Prompting SAM: A Prompt-Free Medical Image Segmentation Framework
State Key Laboratory of Multimodal Artificial Intelligence System, Institute of Automation, Chinese Academy of Science, China（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院，中国）；School of Artificial Intelligence, University of Chinese Academy of Science, China（人工智能学院，中国科学院大学，中国）；Department of Radiology, Peking Union Medical College Hospital, Peking Union Medical College, Chinese Academy of Medical Sciences, Beijing（放射科，北医三院，北京医科大学，中国医学科学院，北京）
本文提出分层自提示SAM（HSP-SAM），首次在自提示过程中学习抽象提示，实现无提示医学图像分割，在息肉和皮肤病变等任务上性能优越，并在部分基准上较先前最优方法提升最高14.04%。
2025-06-03 cs.CV
Enhancing Medical Image Segmentation via Heat Conduction Equation
Department of Epidemiology and Biostatistics, University of California, San Francisco, CA, USA（流行病学与生物统计学系，加州大学旧金山分校，加州，美国）
本文提出结合U-Mamba与热传导方程的混合架构，利用状态空间模块和热传导操作符提升医学图像分割的全局上下文建模与长距离依赖推理能力。
2026-05-15 cs.CV
Unsupervised Model Adaptation for Continual Semantic Segmentation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
我们开发了一种算法，用于适应语义分割模型，该模型使用标记的源域进行训练，以便在未标记的目标域中进行良好的概括。类似的问题已经在无监督领域自适应（UDA）文献中被广泛研究，但是现有的UDA算法需要访问源域标记数据和目标域未标记数据以训练域不可知的语义分割模型。放松此约束使用户能够调整预训练模型以在目标域中泛化，而无需访问源数据。为此，我们在中间嵌入空间中学习源域的原型分布。这种分布对从源域学习的抽象知识进行编码。然后，我们使用该分布来将目标域分布与嵌入空间中的源域分布对齐。我们提供了理论分析和解释的条件下，我们的算法是有效的。基准适应任务的实验表明，我们的方法取得了竞争力的性能，甚至与联合UDA方法。
2021-01-09 cs.CV cs.LG stat.ML
Application of the Ring Theory in the Segmentation of Digital Images
Institute of Cybernetics, Mathematics and Physics（控制论、数学与物理研究所）
环论是抽象代数的一个分支，在图像中有着广泛的应用。然而，环理论与图像分割的关系并不密切。在本文中，我们提出了一个新的索引之间的相似性图像使用Zn环和熵函数。这个新的指数作为一个新的停止标准的Mean Shift迭代算法的目标，以达到更好的分割。分析了采用这种新的停止准则的算法的性能。所获得的结果证明，新的指数是一个合适的工具来比较图像。
2014-11-24 cs.CV
UOLO - automatic object detection and segmentation in biomedical images
INESC TEC - Institute for Systems and Computer Engineering, Technology and Science（INESC TEC——系统与计算机工程、技术与科学研究所）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）
我们提出了UOLO，一个新的框架，同时检测和分割的结构感兴趣的医学图像。UOLO由对象分割模块组成，该模块处理中间抽象表示并用作目标检测的输入。所得到的系统同时优化检测一类对象和分割可选的不同类别的结构。UOLO是在一组包围要检测的对象的边界框上训练的，以及在可用时的逐像素分割信息。设计了一个新的损失函数，考虑到每个训练图像是否可以访问参考分割，以便适当地反向传播误差。我们验证了UOLO的任务，同时视盘（OD）检测，中央凹检测，并从视网膜图像OD分割，实现国家的最先进的性能在公共数据集。
2018-10-09 cs.CV cs.LG stat.ML
A Comparative Analysis of U-Net-based models for Segmentation of Cardiac MRI
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本文比较分析多种U-Net衍生模型在心脏短轴MRI分割中的表现，旨在提升心脏疾病诊断与治疗，通过定量指标展示模型有效性并讨论挑战与改进方向。
2024-11-07 cs.CV cs.LG eess.IV
An Exploratory Study on Abstract Images and Visual Representations Learned from Them
本文研究抽象图像与光栅图像在视觉表示上的性能差距，引入HAID数据集并在分类、分割和目标检测任务上评估，探讨抽象图像作为视觉语义信息载体的有效性。
2025-09-17 cs.CV
An Attention-Fused Network for Semantic Segmentation of Very-High-Resolution Remote Sensing Imagery
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；The University of New South Wales（新南威尔士大学）；Australian Defence Force Academy（澳大利亚国防学院）
语义分割是深度学习的重要组成部分。近年来，随着遥感大数据的发展，语义分割在遥感中的应用越来越多。深度卷积神经网络（DCNN）面临特征融合的挑战：极高分辨率遥感影像多光谱数据融合可以增加网络的可学习信息，有利于DCNN对目标对象进行正确分类;同时，高层抽象特征与低层空间特征的融合可以提高目标对象边界处的分类精度。在本文中，我们提出了一个多径编码器结构，以提取多径输入的特征，多径注意力融合块模块融合多径功能，和细化注意力融合块模块融合高层次的抽象功能和低层次的空间功能。此外，我们提出了一种新的卷积神经网络架构，命名为注意力融合网络（AFNet）。基于我们的AFNet，我们实现了最先进的性能，在ISPRS Vaihingen 2D数据集上的总体准确率为91.7%，平均F1得分为90.96%，在ISPRS Potsdam 2D数据集上的总体准确率为92.1%，平均F1得分为93.44%。
2021-05-28 cs.CV
Pseudo-Label Refinement for Robust Wheat Head Segmentation via Two-Stage Hybrid Training
Tongji University（同济大学）
本文提出了一种基于两阶段混合训练和伪标签细化的自我训练框架，用于提升小麦穗分割的鲁棒性。
2025-12-07 cs.CV
Online Learning of Reusable Abstract Models for Object Goal Navigation
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）；University of Brescia（布雷西亚大学）
在本文中，我们提出了一种新的方法来增量学习一个未知环境的抽象模型，并展示了如何代理可以重用的学习模型来解决对象目标导航任务。抽象模型是一个有限状态机，其中每个状态都是环境状态的抽象，如代理在特定位置和方向上所感知的那样。感知是高维感觉数据（例如，RGB-D图像），并利用图像分割和Taskonomy模型库的抽象。抽象模型的学习是通过执行动作、观察达到的状态以及用所获得的信息更新抽象模型来完成的。学习的模型由代理记忆，并且每当它识别出处于与存储的模型相对应的环境中时，它们就会被重用。我们调查所提出的方法的有效性的对象目标导航任务，依赖于公共基准。我们的研究结果表明，重用学习的抽象模型可以提高性能的对象目标导航。
2022-03-04 cs.CV
HyperDense-Net: A hyper-densely connected CNN for multi-modal image segmentation
École de technologie Superieure（高等技术学院）；Xidian University（西安电子科技大学）
最近，密集连接在计算机视觉中引起了广泛的关注，因为它们有助于训练期间的梯度流和隐式深度监督。特别是，DenseNet以前馈方式将每一层连接到其他每一层，在自然图像分类任务中表现出令人印象深刻的性能。我们提出了HyperDenseNet，一个3D全卷积神经网络，它将密集连接的定义扩展到多模态分割问题。每种成像模式都有一个路径，不仅在同一路径内的层对之间，而且在不同路径上的层对之间都有密集的连接。这与现有的多模态CNN方法形成对比，在现有的多模态CNN方法中，对几种模态进行建模完全依赖于单个联合层（或抽象层）来进行融合，通常在网络的输入或输出处。因此，所提出的网络具有完全的自由来学习模态之间的更复杂的组合，在所有抽象级别之内和之间，这显着增加了学习表示。我们报告了对两个不同且竞争激烈的多模态脑组织分割挑战的广泛评估，iSEG 2017和MRBrainS 2013，前者侧重于6个月的婴儿数据，后者侧重于成人图像。HyperDenseNet在许多最先进的细分网络上取得了显着的改进，在两个基准中都名列前茅。我们进一步提供了一个全面的实验分析的功能重用，这证实了超密集连接在多模态表示学习的重要性。我们的代码可在https://www.github.com/josedolz/HyperDenseNet上公开获取。
2019-03-02 cs.CV
Dilated Temporal Fully-Convolutional Network for Semantic Segmentation of Motion Capture Data
DFKI Saarbrücken（德国人工智能研究中心萨尔布吕肯）；Saarland University（萨尔兰大学）；Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
运动捕捉序列的语义分割在许多数据驱动的运动合成框架中起着关键作用。这是一个预处理步骤，其中长记录的运动捕捉序列被分割成较小的片段。然后，可以将统计建模等其他方法应用于每组结构相似的片段，以学习抽象的运动流形。然而，分割任务通常仍然是手动任务，这增加了生成大规模运动数据库的工作量和成本。因此，我们提出了一个自动的语义分割的运动捕捉数据使用一个膨胀的时间全卷积网络的框架。我们的模型在动作分割方面优于最先进的模型，以及用于序列建模的三个网络。我们进一步证明了我们的模型对高噪声训练标签具有鲁棒性。
2018-06-24 cs.CV cs.GR cs.LG
Hierarchical Open-vocabulary Universal Image Segmentation
UC Berkeley（加州大学伯克利分校）；Panasonic AI Research（松下人工智能研究院）
HIPIE通过解耦文本-图像融合和分层表示学习，在统一框架中实现层次化开放词汇通用分割，在40多个数据集上达到最先进水平。
2023-12-21 cs.AI cs.CV cs.LG
Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation
Lunit Inc.（Lunit公司）
提出了一种基于约束解卷积神经网络的弱监督语义分割框架。框架中的每个反卷积层由解池化和反卷积操作组成。“Unpooling”基于由相应卷积层的池化操作定义的unpooling开关对输入特征图进行上采样。“Deconvolution”通过使用与相应卷积层的卷积操作绑定的卷积权重来卷积输入的未合并特征。解池化-去卷积组合有助于在特征提取阶段中消除较少区别的特征，因为去卷积层的输出特征是从最具区别的解池化特征而不是原始特征重建的。这导致像素级推断阶段中的假阳性减少。从整个反卷积层恢复的所有特征图可以根据不同的抽象级别构成丰富的鉴别特征集。这些功能被堆叠以有选择地用于生成特定于类别的激活图。在弱监督（图像级标签）下，所提出的框架在医学图像（胸部X射线）中的病变分割上显示出有希望的结果，并在相同的实验条件下在PASCAL VOC分割数据集上实现了最先进的性能。
2016-03-12 cs.CV
Deep Learning of Unified Region, Edge, and Contour Models for Automated Image Segmentation
UNIVERSITY OF CALIFORNIA（加利福尼亚大学）；LOS ANGELES（洛杉矶）
图像分割是计算机视觉中的一个基本且具有挑战性的问题，其应用跨越多个领域，例如医学成像、遥感和自动驾驶车辆。最近，卷积神经网络（CNN）在自动分割管道的设计中获得了牵引力。虽然基于CNN的模型擅长从原始图像数据中学习抽象特征，但它们的性能取决于合适训练数据集的可用性和大小。此外，这些模型通常无法捕获对象边界的细节，并且很难推广到看不见的类。在这篇论文中，我们设计了新的方法来解决这些问题，并建立了强大的表示学习框架，用于医学成像和主流计算机视觉中的全自动语义分割。特别是，我们的贡献包括（1）用于计算机视觉和医学图像分析的最先进的2D和3D图像分割网络，（2）端到端可训练的图像分割框架，该框架将CNN和活动轮廓模型与可学习的参数相结合，以实现快速和鲁棒的对象描绘，（3）分割网络中的边缘和纹理处理的新方法，以及（4）在监督设置和半监督设置两者中的新颖的少样本学习模型，其中利用潜在空间和图像空间之间的协同作用来学习在给定有限的训练数据的情况下分割图像。
2020-06-23 cs.CV
TarViS: A Unified Approach for Target-based Video Segmentation
RWTH Aachen University（亚琛工业大学）；Carnegie Mellon University（卡内基梅隆大学）
TarViS提出统一网络架构，通过抽象查询建模任意目标，联合训练多任务视频分割，在5/7基准上达到最先进性能。
2023-05-10 cs.AI cs.CV cs.LG
SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
虽然基于点的网络被证明是准确的3D点云建模，他们仍然落后于他们的基于体素的竞争对手在3D检测。我们观察到，下采样点的流行集合抽象设计可能会保留太多不重要的背景信息，这些信息可能会影响用于检测对象的特征学习。为了解决这个问题，我们提出了一种新的集合抽象方法命名为语义增强集合抽象（SASA）。从技术上讲，我们首先添加一个二进制分割模块作为侧输出，以帮助识别前景点。基于估计的逐点前景分数，然后我们提出了一种语义引导的点采样算法，以帮助在下采样过程中保留更重要的前景点。在实践中，SASA被证明是有效的，在识别有价值的点相关的前景物体和改善基于点的3D检测的特征学习。此外，它是一个易于插入的模块，能够增强各种基于点的探测器，包括单级和两级探测器。在流行的KITTI和nuScenes数据集上进行的大量实验验证了SASA的优越性，基于提升点的检测模型可以达到与最先进的基于体素的方法相当的性能。
2022-01-06 cs.CV
Logic-induced Diagnostic Reasoning for Semi-supervised Semantic Segmentation
ReLER, CCAI, Zhejiang University（浙江大学人工智能协同创新中心逻辑与推理实验室）
针对半监督语义分割依赖伪标签却忽略语义关联知识的问题，提出神经逻辑框架LogicDiag，通过符号知识识别伪标签冲突并以逻辑诊断推理修正，缓解误差累积，在三个基准上验证了有效性与通用性，为符号推理与神经学习融合提供新思路。
2023-08-24 cs.CV
3D Instance Segmentation via Multi-Task Metric Learning
KAUST（阿卜杜拉国王科技大学）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一种新的方法，例如密集的三维体素网格的标签分割。我们的目标体积场景表示，已获得与深度传感器或多视图立体视觉的方法，并已处理与语义3D重建或场景完成的方法。主要任务是学习有关单个对象实例的形状信息，以便准确地将它们分离，包括连接和不完全扫描的对象。我们用多任务学习策略解决了3D实例标记问题。第一个目标是学习一个抽象的特征嵌入，它将具有相同实例标签的体素分组，同时将具有不同实例标签的聚类彼此分离。第二个目标是通过密集估计每个体素的实例质心的方向信息来学习实例信息。这对于在聚类后处理步骤中找到实例边界以及对第一个目标的分割质量进行评分特别有用。合成和真实世界的实验证明了我们的方法的可行性和优点。事实上，它在ScanNet 3D实例分割基准测试中达到了最先进的性能。
2019-11-01 cs.CV
Plants Don't Walk on the Street: Common-Sense Reasoning for Reliable Semantic Segmentation
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Volkswagen AG（大众汽车公司）
自动驾驶中的数据驱动传感器解释可能会导致非常难以置信的预测，因为大多数情况下可以用常识知识来验证。然而，仅仅从数据中学习公共知识是困难的，知识集成的方法是一个活跃的研究领域。我们建议使用一个部分人类设计的，部分学习的规则集来描述一个高层次的抽象的交通场景的对象之间的关系。在这样做的过程中，我们改进和鲁棒现有的深层神经网络消耗低层次的传感器信息。我们提出了一个初步的研究适应良好的概率软逻辑（PSL）的框架，以验证和改进的问题上的语义分割。我们详细描述了如何使用PSL将常识集成到分割管道中，并在一组实验中验证我们的方法，这些实验证明了对应用于A2D2自动驾驶数据集的几种严重图像失真的鲁棒性增加。
2021-04-19 cs.CV
w-Net: Dual Supervised Medical Image Segmentation Model with Multi-Dimensional Attention and Cascade Multi-Scale Convolution
Hebei University of Technology（河北工业大学）；University of Macau（澳门大学）；University of Oxford（牛津大学）；Hospital of Joint Logistics Support Force（联勤保障部队第九八三医院）
基于深度学习的医学图像分割技术旨在自动识别和标注医学图像上的对象。非局部注意和多尺度特征学习被广泛用于网络建模，推动了医学图像分割的发展。然而，这些注意力机制方法对医学图像中的小目标具有弱的非局部感受野强化连接。然后，在抽象或粗糙的特征图中的重要小对象的特征可能被抛弃，这导致不令人满意的性能。现有的多尺度分割方法只针对不同尺度的图像，其稀疏的多尺度特征集对于小目标的分割不够丰富。在这项工作中，提出了一个多维的注意力分割模型与级联多尺度卷积预测准确分割医学图像中的小目标。作为权重函数，多维注意模块为重要/信息丰富的小对象特征提供系数修改。此外，在每个跳过连接路径中的级联多尺度卷积模块被用来捕获不同语义深度的多尺度特征。在三个数据集上评估了所提出的方法：KiTS 19，Decathlon-10的胰腺CT和MICCAI 2018 LiTS Challenge，证明了比最先进的基线更好的分割性能。
2020-11-15 cs.CV
Deep Hierarchical Semantic Segmentation
Beijing Institute of Technology（北京理工大学）；ETH Zurich（苏黎世联邦理工学院）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）；Baidu Research（百度研究院）
人类能够在观察中识别结构化关系，使我们能够将复杂的场景分解为更简单的部分，并在多个层次上抽象视觉世界。然而，这种人类感知的层次推理能力在当前的语义分割文献中仍然很大程度上未被探索。现有的工作往往是知道扁平标签和预测目标类专门为每个像素。在本文中，我们，而不是解决分层语义分割（HSS），其目的是在结构化，像素级的视觉观察描述的类层次结构。我们设计了HSSN，一个通用的HSS框架，解决了这项任务中的两个关键问题：i）如何有效地使现有的层次不可知的分割网络适应HSS设置，以及ii）如何利用层次信息来规范HSS网络学习。为了解决i），HSSN直接将HSS转换为逐像素多标签分类任务，仅对当前分割模型带来最小的架构改变。为了解决ii），HSSN首先探索层次结构的固有属性作为训练目标，其强制分割预测服从层次结构。此外，HSSN与层次诱导的边缘约束，重塑像素嵌入空间，从而产生良好的结构化像素表示，并最终改善分割。我们在四个语义分割数据集上进行实验（即，Mapillary Vistas 2.0、Cityscapes、LIP和PASCAL-Person-Part），采用不同的类层次、分段网络结构和主干，展示了HSSN的通用性和优越性。
2022-03-29 cs.CV
k-Means Clustering and Ensemble of Regressions: An Algorithm for the ISIC 2017 Skin Lesion Segmentation Challenge
Asturias University Central Hospital（阿斯图里亚斯大学中央医院）
本摘要简要描述了为ISIC 2017皮肤病变检测竞赛开发的分割算法，该竞赛在[参考文献]举办。比赛的目的是执行皮肤镜图像中皮肤病变的分割（以二进制掩模图像的形式），尽可能接近由训练有素的临床医生执行的分割，这被视为地面实况。本项目仅参与挑战赛的细分阶段。不考虑竞争的其他阶段（特征提取和病变识别）。所提出的算法包括4个步骤：（1）病变图像预处理，（2）图像分割使用像素颜色的k均值聚类，（3）计算一组描述每个分割区域的属性的特征，以及（4）计算每个区域的最终得分，表示对应于合适病变分割的可能性。步骤（4）中的分数是通过使用每个区域的分数作为输入对2个不同回归模型的结果进行平均来获得的。在使用该算法之前，这些回归模型必须使用比赛提供的图像和地面真实掩模的训练集进行训练。步骤2至4以增加的聚类数量重复（并且因此图像被分割成更多的区域），直到所计算的分数没有进一步的改善。
2017-02-23 cs.CV
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
Fudan University（复旦大学）；University of Oxford（牛津大学）；University of Surrey（萨里大学）；Tencent Youtu Lab（腾讯优图实验室）；Facebook AI（脸书人工智能）
大多数最近的语义分割方法采用具有编码器-解码器架构的全卷积网络（FCN）。编码器逐渐降低空间分辨率，并学习更抽象/语义的视觉概念与更大的感受野。由于上下文建模对于分割至关重要，因此最新的努力集中在通过扩张/atrous卷积或插入注意力模块来增加感受野。然而，基于编码器-解码器的FCN架构保持不变。在本文中，我们的目标是提供一个替代的角度，通过治疗语义分割作为一个序列到序列的预测任务。具体来说，我们部署了一个纯Transformer（即没有卷积和分辨率降低）来将图像编码为一系列补丁。通过在Transformer的每一层中建模的全局上下文，该编码器可以与简单的解码器组合以提供强大的分割模型，称为SEGMENTATION TRANSFORMER（SETR）。大量的实验表明，SETR在ADE 20 K（50.28% mIoU），Pascal Context（55.83% mIoU）和Cityscapes上达到了最新的技术水平。特别是，我们在提交当天就在竞争激烈的ADE 20 K测试服务器排行榜上获得了第一名。
2021-07-25 cs.CV
Grounded Human-Object Interaction Hotspots from Video (Extended Abstract)
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
学习如何与对象交互是实现具体视觉智能的重要一步，但现有技术受到繁重的监督或传感要求的影响。我们提出了一种直接从视频中学习人机交互“热点”的方法。我们的方法不是将启示视为手动监督的语义分割任务，而是通过观看真实人类行为的视频并预测提供的动作来学习交互。给定一个新的图像或视频，我们的模型推断出一个空间热点图，指示对象将如何在潜在的交互中被操纵，即使对象当前处于静止状态。通过第一人称和第三人称视频的结果，我们展示了在真实的人与物体交互中接地启示的价值。我们的弱监督热点不仅与强监督的启示方法竞争，而且它们还可以预测新对象类别的对象交互。项目页面：http://vision.cs.utexas.edu/projects/interaction-hotspots/
2019-06-03 cs.CV
A Semi-Automated Usability Evaluation Framework for Interactive Image Segmentation Systems
Friedrich-Alexander University Erlangen-Nuremberg（弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校）；Siemens Healthineers AG（西门子医疗股份公司）
对于复杂的分割任务，全自动系统可实现的准确性是固有的限制。具体而言，当对于少量给定数据集期望精确的分割结果时，半自动方法对用户表现出明显的益处。人机交互优化是交互式图像分割的重要组成部分。然而，出版物介绍新的互动分割系统（ISS）往往缺乏客观的比较HCI方面。它表明，即使在整个交互式原型的基础分割算法是相同的，他们的用户体验可能会有很大的不同。因此，用户更喜欢简单的界面以及相当大的自由度来控制分割的每个迭代步骤。在这篇文章中，提出了一个客观的方法比较ISS，广泛的用户研究的基础上。总结性的定性内容分析是通过抽象的视觉和口头反馈的参与者。用户通过系统可用性量表（SUS）和AttrakDiff-2问卷对分割系统进行直接评估。此外，在这些研究中的可用性方面的调查结果的近似介绍，进行单独的系统可测量的用户操作，在他们使用的交互式分割原型。所有问卷结果的预测平均相对误差为8.9%，接近问卷结果本身的预期精度。这种自动化评估方案可以显著减少调查原型的用户界面（UI）特征和分割方法的每个变化所需的资源。
2019-09-01 cs.CV cs.HC cs.LG
Dominant Sets for "Constrained" Image Segmentation
Universita Ca’ Foscari Venezia（威尼斯卡福斯卡里大学）
自计算机视觉出现以来，图像分割已经取得了长足的进步，并且仍然是一项具有挑战性的任务。经典（纯粹自下而上）方法的现代变体涉及，例如，某种形式的用户帮助（交互式分割）或要求同时分割两个或更多个图像（共同分割）。在抽象的层面上，所有这些变体都可以被认为是原始公式的“约束”版本，从而分割过程由一些外部信息源指导。在本文中，我们提出了一种新的方法来解决这类问题，在一个统一的方式。我们的工作是基于一个家庭的二次优化问题有关的优势集，一个著名的图论概念的集群推广的最大集团的概念，边加权图的一些属性。特别是，我们表明，通过适当地控制正则化参数，它决定了结构和规模的基本问题，我们是在一个位置，以提取组的优势集集群，约束包含预定义的元素。特别是，我们将专注于交互式分割和联合分割（无监督和交互式版本）。所提出的算法可以自然地处理几种类型的约束和输入模态，包括涂鸦，草率的轮廓和边界框，并且能够鲁棒地处理用户部分的噪声注释。标准基准数据集上的实验表明，我们的方法相比，国家的最先进的算法在各种自然图像的几个输入条件和约束条件下的有效性。
2017-07-15 cs.CV
Prototype as Query for Few Shot Semantic Segmentation
Northwestern Polytechnical University（西北工业大学）；Suzhou Zhito Technology Co., Ltd（苏州智途科技有限公司）；Ping An Property & Casualty Insurance Company of China Ltd（中国平安财产保险股份有限公司）
提出了Few-Shot语义分割（FSS）方法，利用少量标注的支持图像对查询图像中的未知类进行分割。FSS的特征之一是查询和支持目标之间的空间不一致性，例如，质地或外观。这对FSS方法的泛化能力提出了很大的挑战，需要有效地利用查询图像和支持示例之间的依赖关系。现有的方法大多将支持特征抽象为原型向量，并通过余弦相似度或特征连接实现与查询特征的交互。然而，这种简单的交互可能无法捕获查询特征中的空间细节。为了缓解这一限制，一些方法通过计算与Transformer的注意力机制实现的成对查询和支持特征之间的像素级相关性来利用所有像素级支持信息。这些方法遭受沉重的计算点产品之间的所有像素的支持和查询功能的关注。在本文中，我们提出了一个简单而有效的框架上建立的Transformer称为ProtoFormer充分捕捉空间细节的查询功能。它将支持特性中的目标类的抽象原型视为Query，将查询特性视为Key和Value嵌入，这些嵌入被输入到Transformer解码器。通过这种方式，可以更好地捕捉空间细节，并可以集中查询图像中的目标类的语义特征。基于transformer的模块的输出可以被视为语义感知的动态内核，以从丰富的查询特征中过滤出分割掩码。在PASCAL- $5^{i}$和COCO- $20^{i}$上的大量实验表明，我们的ProtoFormer显著地推进了最先进的方法。
2022-11-27 cs.CV cs.MM
Semantic Segmentation Refiner for Ultrasound Applications with Zero-Shot Foundation Models
GE Healthcare（GE医疗）；Point of Care Ultrasound & Handheld（床旁超声及手持设备部门）
针对超声图像分割因数据稀缺和领域差距导致性能下降的问题，提出一种无需提示的零样本分割方法，利用可提示基础模型分割抽象形状，在低数据量下性能提升显著。
2024-04-25 cs.AI cs.CV
Edge-Gated CNNs for Volumetric Semantic Segmentation of Medical Images
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；NVIDIA（英伟达）
纹理和边缘为图像识别提供了不同的信息。边缘和边界编码形状信息，而纹理显示区域的外观。尽管卷积神经网络（CNN）在计算机视觉和医学图像分析应用中取得了成功，但主要只学习纹理抽象，这通常会导致不精确的边界描绘。在医学成像中，专家手动分割通常依赖于器官边界;例如，为了手动分割肝脏，医生通常首先识别边缘，然后填充分割掩模。受这些观察的启发，我们提出了一个即插即用模块，称为边缘门控CNN（EG-CNN），可用于现有的编码器-解码器架构来处理边缘和纹理信息。EG-CNN学习强调编码器中的边缘，通过辅助边缘监督来预测清晰的边界，并将其输出与原始CNN输出融合。我们评估了EG-CNN与各种主流CNN在两个公开数据集上的有效性，BraTS 19和KiTS 19用于脑肿瘤和肾脏语义分割。我们展示了EG-CNN的加入如何始终如一地提高分割精度和泛化性能。
2020-02-11 cs.CV eess.IV
SCNet: A Generalized Attention-based Model for Crack Fault Segmentation
TCS Research（TCS研究院）
异常检测和定位是一个重要的视觉问题，具有多种应用。对各种不同表面上的异常区域进行有效和通用的语义分割，其中大多数异常区域本质上不具有任何明显的模式，仍然在积极的研究中。大型基础设施的定期健康监测和故障（异常）检测是一项重要的安全相关任务，是基于视觉的异常分割的一个应用领域。然而，由于表面断层、无纹理建筑材料/背景、照明条件等变化很大，这项任务相当具有挑战性。裂缝是关键的，经常出现的表面断层，表现为极端的楔形细长区域。它们是最难检测的错误之一，即使使用深度学习也是如此。在这项工作中，我们解决了一个开放的方面的自动裂缝分割问题，推广和提高性能的分割在各种情况下，通过不同的建模问题。我们仔细研究和抽象所涉及的子问题，并在更广泛的背景下解决它们，使我们的解决方案通用。在与不同基础设施的监控相关的各种数据集上，在不同的条件下，我们的模型始终以显着的优势优于最先进的算法，没有任何铃铛和哨子。通过对行业提供的数据集进行测试，这种性能优势很容易在我们模型的两次部署中延续。更进一步，我们还可以为两种制造质量检测场景建立模型的性能，其中缺陷类型不仅仅是裂纹等同物，而是更多和不同的。因此，我们希望我们的模型确实是一个真正通用的缺陷分割模型。
2021-12-02 cs.CV
PSA-Det3D: Pillar Set Abstraction for 3D object Detection
Sun Yat-sen University（中山大学）
三维点云小目标检测目标检测是一个具有挑战性的问题，这主要是由于以下两个方面的限制：（1）由于有效点的缺乏，小目标的检测比正常目标要困难得多。(2)小的物体很容易被阻挡，这会破坏它们在3D点云中的网格形状。本文提出了一种柱集提取（PSA）和前景点补偿（FPC）的方法，并设计了一个基于点的检测网络PSA-Det 3D，以提高小目标的检测性能。PSA在集合抽象的基础上嵌入了一个柱形查询操作来扩展网络的接收域，可以有效地聚合点特征。为了定位更多的遮挡对象，我们提出了一个建议生成层，包括前景点分割和FPC模块。最后将前景点和估计中心融合在一起以生成检测结果。在KITTI 3D检测基准上的实验表明，PSA-Det 3D在小目标检测中具有较高的检测精度，优于其他算法。
2022-10-26 cs.AI cs.CV
ESDMR-Net: A Lightweight Network With Expand-Squeeze and Dual Multiscale Residual Connections for Medical Image Segmentation
University of New South Wales（新南威尔士大学）；COMSATS University Islamabad（伊斯兰堡COMSATS大学）
针对现有医学图像分割方法计算成本高的问题，提出带有扩张-压缩模块与双多尺度残差连接的轻量级全卷积网络ESDMR-Net，在参数量大幅降低的同时在7个数据集上取得最优分割效果。
2023-12-17 cs.CV cs.LG eess.IV
Edge-aware Plug-and-play Scheme for Semantic Segmentation
Shenzhen University（深圳大学）
语义分割是一个经典的和基本的计算机视觉问题，致力于分配每个像素与其相应的类。最近的一些方法引入基于边缘的信息，以提高分割性能。然而这些方法都是特定的，并限于某些网络架构，他们不能被转移到其他模型或任务。因此，我们提出了一个抽象的和通用的边缘监督方法称为边缘感知的即插即用方案（EPS），它可以方便，快速地应用于任何语义分割模型。核心是边缘宽度/厚度保持引导的语义分割。EPS首先从训练数据中提取具有预定义边缘厚度的边缘地面实况（Edge GT）;然后对于任何网络架构，它直接复制解码器头用于具有Edge GT监督的辅助任务。为了保证边缘厚度保持一致，我们设计了一种新的基于边界的损失，称为Polar Hausdorff（PH）损失，用于辅助监督。我们使用22个模型验证了我们的EPS在Cityscapes数据集上的有效性。实验结果表明，该方法可以无缝集成到任何国家的最先进的（SOTA）模型与零修改，从而在有前途的分割性能的增强。
2023-03-18 cs.AI cs.CV
A Graph Multi-separator Problem for Image Segmentation
TU Dresden（德累斯顿工业大学）；Center for Scalable Data Analytics and AI Dresden/Leipzig（德累斯顿/莱比锡可扩展数据分析与人工智能中心）
本文将图像分割抽象为多分隔器组合优化问题，显式建模像素间的分隔结构，针对NP难的一般情形提出两种局部搜索算法，并在泡沫细胞与细丝模拟体图像上验证了分割效果。
2023-07-10 cs.CV cs.DM
LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）
该研究提出 LOGICSEG，通过层次化一阶逻辑规则、模糊逻辑松弛与推理期矩阵约束，将符号逻辑融入神经语义分割，并在四个数据集上验证其有效性与通用性。
2023-09-28 cs.CV
Autonomous Visual Fish Pen Inspections for Estimating the State of Biofouling Buildup Using ROV -- Extended Abstract
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算机学院）
本研究提出一套利用ROV自主检查鱼网箱的完整方案，通过声学定位与AI图像分割估算生物污损状态，实验验证了其可行性与准确性，具备水产养殖应用潜力。
2024-09-20 cs.CV
BiCoR-Seg: Bidirectional Co-Refinement Framework for High-Resolution Remote Sensing Image Segmentation
China University of Geosciences, Wuhan（中国地质大学（武汉））
BiCoR-Seg通过双向共细化框架提升高分辨率遥感图像分割的判别性和可解释性。
2025-12-23 cs.CV
Vision-Language Semantic Aggregation Leveraging Foundation Model for Generalizable Medical Image Segmentation
organization= School of Information Science \& Engineering, Lanzhou University , addressline= , city= Lanzhou , postcode= 730000 , country= China
针对医学图像分割中多模态融合的语义鸿沟与特征分散问题，提出EM聚合机制与文本引导像素解码器，利用基础模型提升跨域泛化性能，并在心脏和眼底数据集上超越现有最先进方法。
2025-09-10 cs.CV
SAM Carries the Burden: A Semi-Supervised Approach Refining Pseudo Labels for Medical Segmentation
Institute of Medical Informatics, Universität zu Lübeck（吕贝克大学医学信息学研究所）；EchoScout GmbH（EchoScout有限公司）；University Hospital Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院）
本文提出利用 SAM 的提示分割能力为医学图像半监督学习生成精化伪标签，在儿科腕骨和牙科牙齿分割上显著提升 Dice 分数，并优于 nnU-Net 和 mean teacher 等现有方法。
2024-11-19 cs.CV
Hierarchical Insights: Exploiting Structural Similarities for Reliable 3D Semantic Segmentation
RD Mercedes-Benz AG（梅赛德斯-奔驰股份公司研发部）；University of Freiburg（弗赖堡大学）
本文提出一种基于层次化多标签分类的3D LiDAR语义分割训练策略，通过抽象学习类别间结构关系，提升置信度校准并保留下游任务所需信息。
2024-07-31 cs.AI cs.CV cs.RO
