UniVerse: A Unified Modulation Framework for Segmentation-Free,Disentangled Multi-Concept Personalization
University of Maryland, College Park(马里兰大学College Park分校);Qualcomm Technologies, Inc.(高通技术公司)
提出UniVerse框架,通过扩散变换器中的统一调制实现无分割的多概念解耦与个性化,显著提升定位精度和视觉保真度。
2026-06-02 cs.CV
UniPro: Unified Multi-Mode Medical Image Segmentation from 2D Images to 3D Volumes via Propagation
Rutgers University(罗格斯大学);Stanford University(斯坦福大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);New York University(纽约大学)
UniPro提出统一模型,通过传播机制将2D分割扩展到3D体积,支持语义、上下文、交互和传播分割,实现高效3D分割并减少校正工作量。
2026-10-27 cs.CV
An Empirical Study of Propagation-based Methods for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
虽然基于传播的方法已经实现了视频对象分割的最先进的性能,但文献缺乏使用相同设置的不同方法的公平比较。在本文中,我们进行了实证研究的传播为基础的方法。我们从统一的角度看待这些方法,并对核心方法、输入线索、多目标组合和训练策略进行了详细的消融研究。经过精心设计,我们改进的端到端内存网络在DAVIS 2017 val集上实现了76.1的全局平均值。
2019-07-30 cs.CV
Instance-Specific Feature Propagation for Referring Segmentation
Nanyang Technological University(南洋理工大学)
引用分割旨在为由自然语言表达式指示的目标实例生成分割掩码。现有的方法主要有两种:一种是直接对融合后的视觉和语言特征进行分割的单阶段方法;另一种是首先利用实例分割模型进行实例建议,然后通过实例与语言特征的匹配来选择实例的两阶段方法。在这项工作中,我们提出了一种新的框架,同时检测目标的兴趣,通过特征传播,并生成一个细粒度的分割掩模。在我们的框架中,每个实例是由一个实例特定的功能(ISF),和目标的指的是通过交换信息之间的所有ISF使用我们提出的特征传播模块(FPM)。我们的实例感知方法学习所有对象之间的关系,这有助于比一阶段方法更好地定位感兴趣的目标。与两阶段方法相比,我们的方法协同和交互地利用视觉和语言信息进行同步识别和分割。在实验测试中,我们的方法在所有三个RefCOCO系列数据集上的性能优于以前的最先进的方法。
2022-04-26 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
在这项工作中,我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似,该方法将前一帧的掩码概率图和当前帧的外观作为输入,并预测当前帧的掩码概率图。具体来说,我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外,我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入,而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测,以便检索和分割丢失的实例。
2018-10-24 cs.CV
ReConvNet: Video Object Segmentation with Spatio-Temporal Features Modulation
Politecnico di Milano(米兰理工大学);NNAISENSE;Google DeepMind(谷歌DeepMind)
我们引入了ReConvNet,这是一种用于半监督视频对象分割的递归卷积架构,能够快速调整其功能,以便在推理时专注于任何特定的感兴趣对象。泛化到训练期间从未观察到的新对象对于需要重新训练的监督方法来说是一项艰巨的任务。为了解决这个问题,我们提出了一个更有效的解决方案,通过条件仿射变换学习时空特征自适应感兴趣的对象。这种方法很简单,可以端到端训练,并且在推理时不一定需要额外的训练步骤。我们的方法在DAVIS2016上显示了与使用在线微调的最先进方法相比具有竞争力的结果,并且在DAVIS2017上表现优于它们。ReConvNet在2018年戴维斯挑战赛上也取得了可喜的成绩,赢得了第$10$名。
2018-06-18 cs.CV
Learning random-walk label propagation for weakly-supervised semantic segmentation
NEC Laboratories America(美国电气股份有限公司实验室)
相对于其他视觉任务,针对语义分割的大规模训练是具有挑战性的,这是由于获得用于该任务的训练数据的费用。我们提出了一种新的训练方法来解决这个困难。给定廉价获得的稀疏图像标签,我们传播的稀疏标签,以产生猜测密集的标签。一个标准的基于CNN的分割网络被训练来模仿这些标记。标签传播过程是通过随机游走命中概率定义的,这导致了一个可微的参数化,其中包含了我们的损失中的不确定性估计。我们表明,通过学习标签传播与分割预测器,我们能够有效地学习语义边缘没有直接的边缘监督。实验还表明,以这种方式训练分割网络的性能优于朴素方法。
2018-02-01 cs.CV
STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification
Dalian University of Technology(大连理工大学);Zhejiang University(浙江大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
STMI通过分割引导特征调节、语义令牌重新分配和跨模态超图交互,提升多模态目标重识别的性能与鲁棒性。
2026-02-28 cs.CV
Detection and Segmentation of Cosmic Objects Based on Adaptive Thresholding and Back Propagation Neural Network
Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
针对天文图像中天体检测与分类的挑战,提出结合自适应阈值方法(ATM)分割与反向传播神经网络(BPNN)检测,并辅以预处理步骤以提升效果的宇宙天体检测与分割方法。
2023-08-02 cs.CV
Efficient MRF Energy Propagation for Video Segmentation via Bilateral Filters
在多媒体应用中,从视频中分割出目标是一项具有挑战性的任务。根据应用,自动或交互式方法是理想的;然而,无论应用类型如何,视频对象分割的有效计算对于时间关键型应用至关重要;具体而言,移动和交互式应用需要接近实时的效率。在本文中,我们从效率的角度来解决视频分割的问题。我们最初重新定义的问题,视频对象分割的MRF能量沿时域的传播。为此,提出了一种新颖而有效的方法,通过双边滤波器在整个帧中传播MRF能量,而不使用任何全局纹理,颜色或形状模型。最近提出的双指数过滤器是利用效率,而一种新的技术也被开发来动态地解决图形切割的变化,在一般的线性过滤方案的非格图。这些改进的实验自动和交互式视频分割方案。此外,除了效率,分割质量也测试定量和定性。事实上,对于一些具有挑战性的示例,在不损失分割质量的情况下观察到显著的时间效率。
2014-10-27 cs.CV
Cascaded Sparse Feature Propagation Network for Interactive Segmentation
ShanghaiTech University(上海科技大学);Lingang Laboratory(临港实验室)
针对基于点的交互式分割中标注传播效率低和细粒度信息丢失问题,本文提出级联稀疏特征传播网络CSFPN,通过点击增强特征表示在高分辨率特征上高效传播信息,在多个基准上取得优越分割性能。
2023-10-30 cs.CV
Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation
GenGenAI;Yonsei University(延世大学)
针对指代表达视频目标分割中多模态特征纠缠导致的目标识别歧义和跨帧传播不一致问题,本文提出 FindTrack 解耦框架,通过自适应关键帧选择与专用传播模块提升性能,并在公开基准上取得最优结果。
2025-07-26 cs.CV
Semantic Video Segmentation by Gated Recurrent Flow Propagation
Lund University(隆德大学)
语义视频分割是具有挑战性的,因为为了构建准确的模型,需要处理和标记大量的数据。在本文中,我们提出了一种深度的端到端可训练的视频分割方法,该方法能够利用未标记数据中的信息来改进语义估计。我们的模型结合了卷积架构和时空Transformer递归层,它们能够通过光流在时间上传播标记信息,并根据其局部估计的不确定性进行自适应门控。流、识别和门控时间传播模块可以端到端地联合训练。我们的模型的时间,门控经常流传播组件可以插入到任何静态语义分割架构,并把它变成一个弱监督的视频处理。我们在具有挑战性的CityScapes和Camvid数据集中进行了大量实验,并基于多个深度架构,结果表明,所产生的模型可以利用未标记的时间帧,紧挨着标记的时间帧,以提高视频分割的准确性和时间标记的一致性,无需额外的注释成本,只需很少的额外计算。
2017-10-02 cs.CV
SPARK: Stochastic Propagation via Affinity-guided Random walK for training-free unsupervised segmentation
International Laboratory on Learning Systems (ILLS)(学习系统国际实验室)
SPARK通过随机传播和亲和力引导的随机游走,实现无监督分割的高效且稳定的性能提升。
2026-01-31 cs.CV
Context Propagation from Proposals for Semantic Video Object Segmentation
Nokia Technologies, Finland(诺基亚技术公司)
该研究提出一种语义视频对象分割新方法,从视频对象候选区域提取语义上下文并传播,结合条件随机场推断超像素标签,提升了视觉歧义消解的鲁棒性。
2024-07-08 cs.CV
Semi-Supervised Semantic Segmentation via Derivative Label Propagation
本文提出DerProp半监督语义分割框架,通过导数标签传播修正伪标签,缓解相似度歧义,提升分割性能。
2025-08-04 cs.CV
LaDy: Lagrangian-Dynamic Informed Network for Skeleton-based Action Segmentation via Spatial-Temporal Modulation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Southern University of Science and Technology(南方科技大学);Southeast University(东南大学)
本文提出LaDy网络,通过整合拉格朗日动力学原理,提升骨骼动作分割的精度与边界定位能力,实验表明其在挑战性数据集上取得最优性能。
2026-03-25 cs.CV
Label-efficient Segmentation via Affinity Propagation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);The Hong Kong Polytechnical University(香港理工大学)
本文提出基于亲和力传播的局部与全局成对亲和力建模,生成软伪标签,高效插入现有分割网络,在框、点/涂鸦及CLIP引导分割任务中表现优越。
2023-10-17 cs.CV
Fast User-Guided Video Object Segmentation by Interaction-and-Propagation Networks
Yonsei University(延世大学);Adobe Research(奥多比研究院)
我们提出了一种用于交互式视频对象分割的深度学习方法。我们的方法是建立在两个核心操作,互动和传播,每个操作是由卷积神经网络进行。这两个网络在内部和外部都是连接的,这样网络就可以联合训练并相互交互,以解决复杂的视频对象分割问题。我们提出了一种新的多轮训练方案,用于交互式视频对象分割,以便网络可以学习如何理解用户的意图并在训练过程中更新不正确的估计。在测试时,我们的方法产生高质量的结果,并且运行速度足够快,可以与用户交互工作。我们在2018年DAVIS挑战赛的交互式赛道基准上对所提出的方法进行了定量评估。我们在速度和准确性上都明显优于其他竞争方法。我们还证明了我们的方法可以很好地与真实的用户交互。
2019-05-02 cs.CV
Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation
HKUST(香港科技大学);UC San Diego(加州大学圣地亚哥分校);Wuhan University(武汉大学);Kuaishou Technology(快手科技)
我们提出了辐射场传播(RFP),一种新的方法来分割物体在三维重建过程中只给出未标记的多视图图像的场景。RFP源自新兴的基于神经辐射场的技术,其将语义与外观和几何形状联合编码。我们的方法的核心是一种新的传播策略,用于具有双向光度损失的单个对象的辐射场,从而能够将场景无监督地划分为对应于不同对象实例的突出或有意义的区域。为了更好地处理复杂的场景,多个对象和闭塞,我们进一步提出了一个迭代的期望最大化算法来细化对象掩模。RFP是第一个无监督的方法之一,用于处理神经辐射场(NeRF)的3D真实场景对象分割,而无需任何监督,注释或其他线索,如3D边界框和对象类的先验知识。实验表明,RFP实现了可行的分割结果,比以前的无监督图像/场景分割方法更准确,并与现有的监督NeRF为基础的方法。分割的对象表示使能单独的3D对象编辑操作。
2022-10-19 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente(特文特大学);Wuhan University(武汉大学)
近年来,视频对象分割(VOS),即从背景中分割出前景对象的任务,受到了相当大的关注。在本文中,我们提出了一个端到端的可训练深度神经网络,卷积门控递归Mask-RCNN,用于解决半监督VOS任务。我们利用实例分割网络(Mask-RCNN)和视觉记忆模块(Conv-GRU)来处理VOS任务。实例分割网络为实例预测掩模,而视觉记忆模块学习同时为多个实例选择性地传播信息,处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后,我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Global-Local Propagation Network for RGB-D Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
深度信息在RGB-D语义分割任务中很重要,用于为彩色图像提供额外的几何信息。现有的方法大多采用多级融合策略将深度特征传播到RGB分支。然而,在非常深的阶段,以简单的逐元素添加方式的传播不能充分利用深度信息。我们提出了全局-局部传播网络(GLPNet)来解决这个问题。具体地说,局部上下文融合模块(L-CFM)被引入到元素级融合之前动态对齐两个模态,和全局上下文融合模块(G-CFM)被引入到传播的深度信息的RGB分支,通过联合建模的多模态全局上下文功能。大量的实验证明了所提出的融合模块的有效性和互补性。将两个融合模块嵌入到双流编码器-解码器结构中,我们的GLPNet在两个具有挑战性的室内场景分割数据集上实现了新的最先进性能,即,NYU-Depth v2和SUN-RGBD数据集。
2021-01-26 cs.CV
Push-the-Boundary: Boundary-aware Feature Propagation for Semantic Segmentation of 3D Point Clouds
Delft University of Technology(代尔夫特理工大学)
前馈全卷积神经网络目前在3D点云的语义分割中占主导地位。尽管它们取得了巨大的成功,但它们在低层次上丢失了局部信息,对准确的场景分割和精确的对象边界描绘提出了重大挑战。先前的工作要么通过后处理来解决这个问题,要么联合学习对象边界以隐式地改进网络的特征编码。这些方法通常需要额外的模块,这些模块很难集成到原始架构中。为了提高对象边界附近的分割,我们提出了一个边界感知的特征传播机制。这种机制是通过利用一个多任务学习框架,旨在明确地引导边界到其原始位置。通过一个共享编码器,我们的网络在三个并行流中输出(i)边界定位,(ii)指向对象内部的方向预测,以及(iii)语义分割。预测的边界和方向被融合以传播学习的特征来细化分割。我们对S3 DIS和SensatUrban数据集进行了广泛的实验,针对各种基线方法,证明我们提出的方法通过减少边界误差得到了一致的改进。我们的代码可在https://github.com/shenglandu/PushBoundary上获得。
2022-12-23 cs.CV
Pattern-Affinitive Propagation across Depth, Surface Normal and Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学);University of Trento(特伦托大学)
在本文中,我们提出了一种新的模式亲和传播(PAP)框架,联合预测深度,表面法线和语义分割。其背后的动机来自于统计观察,即模式亲和对在不同任务之间以及在任务内频繁出现。因此,我们可以进行两种类型的传播,跨任务传播和特定于任务的传播,以自适应地扩散这些相似的模式。前者通过对非局部关系的计算,整合跨任务亲和模式,以适应其中的每个任务。接下来,后者在特征空间中执行迭代扩散,使得跨任务亲和模式可以在任务内广泛传播。因此,每个任务的学习可以通过互补的任务级亲和力来规则化和增强。大量的实验表明,我们的方法的有效性和优越性的联合三个任务。同时,我们在三个相关的数据集,NYUD-v2,SUN-RGBD和KITTI上取得了最先进的或有竞争力的结果。
2019-06-08 cs.CV
Text-Promptable Propagation for Referring Medical Image Sequence Segmentation
Fudan University(复旦大学);Shanghai University of Finance and Economics(上海财经大学);Deakin University(迪肯大学)
针对引用医学图像序列分割任务中现有模型难以跨序列跟踪目标及缺乏文本交互引导的问题,提出Text-Promptable Propagation模型,通过跨模态交互与Transformer传播实现目标识别与跟踪,构建大规模基准并取得优异性能。
2025-04-12 cs.CV
Boundary-Aware Feature Propagation for Scene Segmentation
Nanyang Technological University, Singapore(新加坡南洋理工大学);University of Geneva, Switzerland(瑞士日内瓦大学);Alibaba Group, China(阿里巴巴集团(中国))
在这项工作中,我们解决了具有挑战性的问题,场景分割。为了提高同一目标的特征相似性,同时保持不同目标的特征区分度,我们探索在目标边界的控制下在整个图像中传播信息。为此,我们首先提出学习边界作为一个额外的语义类,使网络能够知道边界布局。然后,我们提出了单向无环图(UAGs)来模拟无向循环图(UCGs)的功能,它通过建立图形逐像素连接来结构化图像,以一种高效和有效的方式。此外,我们提出了一个边界感知的特征传播(BFP)模块,以收获和传播的局部特征在其区域内的UAG结构图像中的学习边界隔离。建议的BFP是能够分裂的特征传播到一组语义组通过建立强连接之间的同一段区域,但不同的段区域之间的弱连接。没有花里胡哨,我们的方法在三个具有挑战性的语义分割数据集上实现了新的最先进的分割性能,即,PASCAL-Context、CamVid和Cityscapes。
2019-08-31 cs.CV
Uncertainty-Guided Conservative Propagation for Structured Inference in Vessel Segmentation
Department of Computer Science, Kennesaw State University(凯斯西储大学计算机科学系);Department of Cardiology, Medical University of South Carolina(南卡罗来纳医科大学心脏病科)
本文提出了一种不确定性引导的保守传播(UGCP)模块,用于改进血管分割的结构推理,通过局部预测交互进行多次logit空间更新步骤,提高分割的Dice相似系数、中心线Dice和95百分位Hausdorff距离,同时减少血管断开并提高结构一致性。
2026-05-19 cs.CV
Decoupling Features in Hierarchical Propagation for Video Object Segmentation
Zhejiang University(浙江大学);Baidu Research(百度研究院);CCAI(之江实验室)
本文主要研究了一种更为有效的分层传播的半监督视频对象分割方法。基于视觉Transformer,最近开发的关联对象与Transformers(AOT)的方法引入层次传播到视觉操作系统,并显示出良好的效果。分层传播可以将信息从过去的帧逐渐传播到当前帧,并将当前帧的特征从对象不可知转移到对象特定。然而,特定于对象的信息的增加将不可避免地导致在深层传播层中对象不可知的视觉信息的丢失。为了解决这个问题,进一步促进视觉嵌入的学习,本文提出了一种分层传播中的解耦特征(DeAOT)方法。首先,DeAOT通过在两个独立的分支中处理对象不可知和特定于对象的嵌入来避免它们的分层传播。其次,为了补偿双分支传播的额外计算,我们提出了一个用于构建分层传播的有效模块,即,门控传播模块,这是精心设计的单头注意。大量的实验表明,DeAOT在准确性和效率方面都明显优于AOT。在YouTube-VOS上,DeAOT在22.4fps时可以达到86.0%,在53.4fps时可以达到82.0%。在没有测试时间增强的情况下,我们在四个基准测试中实现了新的最先进的性能,即,YouTube-VOS(86.2%)、DAVIS 2017(86.2%)、DAVIS 2016(92.9%)和VOT 2020(0.622)。项目页面:https://github.com/z-x-yang/AOT。
2022-11-28 cs.CV
Real-time Semantic Segmentation via Spatial-detail Guided Context Propagation
Hefei University of Technology(合肥工业大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Chinese University of Hong Kong(香港中文大学)
如今,基于视觉的计算任务在各种现实世界的应用中发挥着重要作用。然而,许多视觉计算任务,例如语义分割,通常在计算上是昂贵的,这对资源受限但需要快速响应速度的计算系统构成了挑战。因此,开发精确和实时的【形】视觉处理模型,只需要有限的计算资源是有价值的。为此,我们提出了空间细节引导上下文传播网络(SGCPNet)实现实时的【形】语义分割。在SGCPNet中,我们提出了空间细节引导的上下文传播策略。它利用浅层的空间细节来引导低分辨率全局上下文的传播,从而有效地重建丢失的空间信息。通过这种方式,无需沿网络维护高分辨率特征,从而大大提高了模型效率。另一方面,由于空间细节的有效重建,分割精度仍然可以保持。通过实验验证了SGCPNet模型的有效性和效率。例如,在Citysacpes数据集上,我们的SGCPNet实现了69.5%的mIoU分割准确率,而在GeForce GTX 1080 Ti GPU卡上处理768x1536图像的速度达到了178.5 FPS。此外,SGCPNet非常轻量级,仅包含0.61 M参数。
2022-03-19 cs.CV
CorrMatch: Label Propagation via Correlation Matching for Semi-Supervised Semantic Segmentation
Nankai University(南开大学)
本文提出 CorrMatch,通过基于相关性图的像素传播与区域传播两种标签传播策略提升未标注数据利用效率,并在 Pascal VOC 2012 上以 92 张标注图像取得超过 76% mIoU。
2023-12-11 cs.CV
Exploring Cycle Consistency Learning in Interactive Volume Segmentation
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);United Imaging Intelligence(联影智能)
针对交互式医学体数据分割中传播阶段误差易累积的问题,提出带反向传播路径的循环一致性损失正则化传播网络,在AbdomenCT-1K和OAI-ZIB数据集上验证了有效性。
2024-03-09 cs.CV
Clustering Propagation for Universal Medical Image Segmentation
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
提出S2VNet通用框架,利用Slice-to-Volume传播在单模型和一次训练中统一自动与交互式医学图像分割,凭借2D网络实现切片间知识传递,在三个基准上超越特定任务方案且推理快、内存低。
2024-03-25 cs.CV
Self-Supervised Video Object Segmentation by Motion-Aware Mask Propagation
The University of Western Australia(西澳大学);Griffith University(格里菲斯大学)
我们提出了一种自监督的时空匹配方法,创造运动感知掩码传播(MAMP),视频对象分割。MAMP利用帧重建任务进行训练,而无需注释。在推理过程中,MAMP从每个帧中提取高分辨率特征,以根据所选过去帧的特征以及预测掩码来构建存储体。然后,MAMP传播的存储体的后续帧的掩模,根据我们提出的运动感知时空匹配模块,以处理快速运动和长期匹配的情况。在DAVIS-2017和YouTube-VOS数据集上的评估表明,与现有的自监督方法相比,MAMP实现了最先进的性能,具有更强的泛化能力,即,DAVIS-2017上的平均J&F比最接近的竞争对手高4.2%,YouTube-VOS上看不见的类别的平均J&F比最接近的竞争对手高4.85%。此外,MAMP执行与许多监督视频对象分割方法。我们的代码可在https://github.com/bo-miao/MAMP上获得。
2021-10-28 cs.CV
Dual Stage Stylization Modulation for Domain Generalized Semantic Segmentation
Center for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心);Nanyang Technological University(南洋理工大学)
针对单源领域泛化语义分割中过度幻觉导致少数类性能下降的问题,提出在ASH+框架内引入双阶段特征变换层,自适应调整逐像素幻觉强度,在Cityscapes和SYNTHIA数据集上取得竞争力或超越现有方法的性能。
2023-08-03 cs.CV
RevSAM2: Prompt SAM2 for Medical Image Segmentation via Reverse-Propagation without Fine-tuning
East China Normal University(华东师范大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Shanghai Jiao Tong University(上海交通大学)
本文提出RevSAM2框架,通过反向传播策略选择高质量查询切片掩码作为提示,使SAM2无需微调即可在标签有限的3D医学图像分割中超越现有方法12.18%的Dice指标。
2024-11-25 cs.CV
Progressive Proxy Anchor Propagation for Unsupervised Semantic Segmentation
Sungkyunkwan University(成均馆大学)
针对无监督语义分割中图像级预训练特征导致块级监督不可靠的问题,提出渐进式代理锚点传播策略,通过动态重定位代理和引入模糊区提升正负样本可靠性,在多个数据集上达到最先进性能。
2024-07-17 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad(海得拉巴国际信息技术学院);Adobe(奥多比)
Few-Shot分割(FSS)方法使用(支持)图像掩模对的小集合对目标(查询)图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中,我们展示了现有方法中利用这种相似性信息的差距,并提出了一个框架- SimPropNet,以弥合这些差距。我们建议联合预测的支持和查询掩码,以迫使支持功能,以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Unsupervised Video Object Segmentation using Motion Saliency-Guided Spatio-Temporal Propagation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工学院暨州立大学)
无监督视频分割在从对象识别到压缩的各种应用中起着重要作用。然而,到目前为止,快速运动、运动模糊和遮挡带来了重大挑战。为了解决无监督视频分割的这些挑战,我们开发了一种新的显着性估计技术,以及一种新的邻域图,基于光流和边缘线索。我们的方法导致显着更好的初始前景背景估计和他们的鲁棒性以及准确的扩散随着时间的推移。我们在具有挑战性的DAVIS,SegTrack v2和FBMS-59数据集上评估了我们提出的算法。尽管只使用了在200张图像上训练的标准边缘检测器,但我们的方法在无监督设置中获得了最先进的结果,优于基于深度学习的方法。我们甚至在DAVIS数据集的半监督设置中展示了与基于深度学习的方法相当的竞争结果。
2018-09-04 cs.CV
Efficient Video Semantic Segmentation with Labels Propagation and Refinement
ETH Zürich(苏黎世联邦理工学院)
针对高清视频的实时语义分割问题,提出了一种基于GPU / CPU的混合算法。我们提出了一个高效的视频分割(EVS)流水线,结合:(i)在CPU上,一个非常快速的光流方法,这是用来利用视频的时间方面和传播语义信息从一帧到下一帧。它与GPU并行运行。(ii)在GPU上,两个卷积神经网络:一个主要的分割网络,用于从头开始预测密集的语义标签,以及一个Refiner,旨在通过快速的Incredibility Attention Module(IAM)来改进先前帧的预测。后者可以识别无法准确传播的区域。我们建议几个操作点取决于所需的帧速率和精度。我们的流水线达到了与现有的实时语义图像分割方法(mIoU高于60%)竞争的准确度水平,同时实现了更高的帧速率。在具有高分辨率帧(2048 x 1024)的流行Cityscapes数据集上,单个GPU和CPU上的建议操作点范围为80到1000 Hz。
2019-12-26 cs.CV
Object Propagation via Inter-Frame Attentions for Temporally Stable Video Instance Segmentation
Birla Institute of Technology and Science Pilani(比尔拉技术与科学学院皮拉尼分校);Harvard University(哈佛大学);University of Oxford(牛津大学)
视频实例分割的目的是检测、分割和跟踪视频中的对象。当前的方法将图像级分割算法扩展到时域。然而,这导致时间上不一致的掩模。在这项工作中,我们确定的掩模质量由于时间稳定性作为性能瓶颈。基于此,我们提出了一种视频实例分割方法,解决了由于检测缺失而导致的问题。由于这不能简单地使用空间信息来解决,因此我们使用帧间注意力来利用时间上下文。这使得我们的网络能够使用来自相邻帧的框预测来重新关注丢失的对象,从而克服丢失的检测。我们的方法在YouTube-VIS基准测试中实现了36.0%的mAP,显著优于使用Mask R-CNN主干的先前最先进的算法。此外,我们的方法是完全在线的,不需要未来的帧。我们的代码可在https://github.com/anirudh-chakravarthy/ObjProp上公开获取。
2021-12-14 cs.CV
Content-based Propagation of User Markings for Interactive Segmentation of Patterned Images
Technical University of Denmark(丹麦技术大学)
有效和容易的分割图像和体积是非常重要的实际意义。分割的问题,激励我们的方法起源于材料科学,医学和生物学中常用的显微成像。我们制定图像分割作为一个概率像素分类问题,我们应用分割作为表征图像内容的一步。我们的方法允许用户通过交互式标记像素的子集来定义感兴趣的结构。由于实时反馈,用户可以根据当前结果有策略地放置新标记。最终的像素分类可以从非常适度的用户输入获得。我们的方法的一个重要组成部分是编码图像内容的图。该图在初始化期间以无监督的方式构建,并且基于图像特征的聚类。由于我们将有限数量的用户标记数据与从图像的未标记部分获得的聚类信息相结合,因此我们的方法适合半监督学习的一般框架。我们演示了如何这可以是一个非常有效的方法,通过像素分类分割。
2020-09-28 cs.CV
Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion
UIUC(伊利诺伊大学厄巴纳-香槟分校);HKUST(香港科技大学);Kuaishou Technology(快手科技)
我们提出了模块化的交互式VOS(MiVOS)框架,它使交互到掩码和掩码传播,允许更高的通用性和更好的性能。单独训练,交互模块将用户交互转换为对象掩码,然后由我们的传播模块在读取时空记忆时使用新颖的顶部$k$过滤策略在时间上传播。为了有效地考虑到用户的意图,提出了一种新的差异感知模块,学习如何正确地融合之前和之后的每个交互,这是对齐的目标帧,通过采用时空记忆的掩模。我们用不同形式的用户交互(例如,涂鸦,点击),以显示我们的方法优于当前最先进的算法,同时需要更少的帧交互,具有推广到不同类型的用户交互的额外优势。我们贡献了一个大规模的合成VOS数据集,具有480万帧的像素精确分割,以配合我们的源代码,以促进未来的研究。
2021-03-21 cs.CV
CMTM: Cross-Modal Token Modulation for Unsupervised Video Object Segmentation
Yonsei University, Republic of Korea(延世大学,韩国)
本文提出CMTM方法,通过跨模态令牌调制增强外观与运动提示的交互,实现高效的多模态信息传播,取得最佳性能。
2026-04-16 cs.CV cs.LG
Scaling up instance annotation via label propagation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
手动注释对象分割蒙版非常耗时。虽然交互式分割方法提供了一种更有效的替代方案,但它们在大规模上变得负担不起,因为成本随着注释掩码的数量线性增长。在本文中,我们提出了一个高效的注释方案,用于构建具有对象分割掩模的大型数据集。在大尺度上,图像包含许多具有相似外观的对象实例。我们利用这些相似之处,通过使用分层聚类的分割模型作出的掩模预测。我们提出了一个计划,有效地搜索通过层次结构的集群,并选择哪些集群进行注释。人类手动验证每个集群中的几个掩码,标签会传播到整个集群。通过一个大规模的实验,用80个对象类的对象分割掩码填充1 M未标记图像,我们表明:(1)我们获得了1 M对象分割掩码,总注释时间仅为290小时;(2)与手动注释相比,我们将注释时间减少了76倍;(3)我们的掩码的分割质量与手动注释数据集的分割质量相当。代码、数据和模型可在线获取。
2021-10-05 cs.CV
Globally Tuned Cascade Pose Regression via Back Propagation with Application in 2D Face Pose Estimation and Heart Segmentation in 3D CT Images
Dalio Institute of Cardiovascular Imaging, Weill Cornell Medical College(威尔康奈尔医学院达利奥心血管影像研究所)
最近,一个成功的姿态估计算法,称为级联姿态回归(CPR),在文献中提出。在姿势指数特征上训练,CPR是类似于Boosting的回归子集合。在本文中,我们展示了如何心肺复苏术可以表示为一个神经网络。具体来说,我们采用了一个图形Transformer网络(GTN)表示,并相应地训练CPR与反向传播(BP),允许全球调整。相比之下,以前的CPR文献只进行了逐层训练,没有任何后期微调。我们的经验表明,BP的全局训练优于逐层(预)训练。我们的CPR-GTN采用多层Percetron作为回归器,利用稀疏连接来学习局部图像特征表示。我们测试了所提出的CPR-GTN在2D人脸姿态估计问题,在以前的CPR文献。此外,我们还研究了将CPR-GTN扩展到3D姿态估计的可能性,通过使用3D CT数据集进行心脏分割来进行实验。
2015-03-30 cs.CV
Video Object Segmentation with Joint Re-identification and Attention-Aware Mask Propagation
Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程学系);The Chinese University of Hong Kong(香港中文大学);Department of Information Engineering(信息工程学系)
当多个实例共存时,视频对象分割的问题可能变得非常具有挑战性。虽然每个实例可能表现出大规模和姿态变化,但当实例彼此遮挡导致跟踪失败时,问题变得复杂。在这项研究中,我们制定了一个深度递归网络,能够通过它们的时间连续性同时分割和跟踪视频中的对象,但能够在长时间遮挡后重新出现时重新识别它们。我们将时间传播和重新识别功能结合到一个可以端到端训练的框架中。特别是,我们提出了一个重新识别模块与模板扩展检索丢失的对象,尽管他们的大的外观变化。此外,我们贡献了一个新的注意力为基础的经常性掩模传播方法,是强大的干扰不属于目标段。我们的方法在具有挑战性的DAVIS 2017基准测试(测试开发集)上实现了68.2的最先进的全局平均值(区域Jaccard和边界F测量),优于获胜的解决方案,该解决方案在同一分区上实现了66.1的全局平均值。
2018-03-14 cs.CV
Temporal Propagation of Asymmetric Feature Pyramid for Surgical Scene Segmentation
UM-SJTU Joint Institute(上海交通大学-乌姆联合研究所)
针对手术场景分割中静态图像局限和动态视频复杂的问题,提出时间非对称特征传播网络,通过双向注意力架构实现跨帧特征传播,在两个基准上大幅优于SOTA方法。
2025-04-18 cs.CV
Cross-Stage Attention Propagation for Efficient Semantic Segmentation
Hyundai Mobis(现代摩比斯)
本文提出CSAP解码器框架,通过在最深特征尺度计算注意力并传播至浅层阶段,减少计算冗余,提升分割效率。
2026-04-07 cs.CV
Double Banking on Knowledge: Customized Modulation and Prototypes for Multi-Modality Semi-supervised Medical Image Segmentation
College of Computer Science, Sichuan University(四川大学计算机学院);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);College of Electrical Engineering, Sichuan University(四川大学电气工程学院);School of Cyber Science and Engineering, Sichuan University(四川大学网络空间安全学院)
本文提出DBDC多模态半监督医学图像分割方法,通过模态一体化网络、双存储库原型对比学习、自适应加权和双一致性策略,解决模态数量受限、模态特定特征缺失及无标签数据利用不可靠问题,在2至4模态任务上超越现有方法。
2024-10-23 cs.CV
Label-PEnet: Sequential Label Propagation and Enhancement Networks for Weakly Supervised Instance Segmentation
Malong Technologies(码隆科技);Shenzhen Malong Artificial Intelligence Research Center(深圳码隆人工智能研究中心);The University of Hong Kong(香港大学)
弱监督实例分割的目标是在只给出图像级标签的情况下精确地检测和分割对象实例。与以前由多个离线阶段组成的方法不同,我们提出了顺序标签传播和增强网络(称为Label-PEnet),它以从粗到细的方式逐步将图像级标签转换为像素级标签。本文设计了多标签分类、目标检测、实例精化和实例分割四个级联模块,通过共享同一主干依次实现。级联的流水线交替地用课程学习策略来训练,该策略以增加的精度逐渐将标签从高级图像概括到低级像素。此外,我们还设计了一个建议校准模块,以探索分类网络找到识别对象部分的关键像素的能力,这是一个以相反顺序运行的后验证策略。我们评估了Label-PEnet在标准基准上挖掘实例掩码的效率:PASCAL VOC 2007和2012。实验结果表明,Label-PEnet的性能明显优于最先进的算法,即使与完全监督的方法也能获得相当的性能。
2020-04-24 cs.CV
Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
Peking University(北京大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
深度信息已被证明是RGB-D图像的语义分割中的有用线索,用于提供RGB表示的几何对应物。大多数现有的作品简单地假设深度测量是准确的,并且与RGB像素对齐,并且将问题建模为跨模态特征融合,以获得更好的特征表示,从而实现更准确的分割。然而,这可能不会导致令人满意的结果,因为实际深度数据通常是有噪声的,这可能会随着网络的深入而恶化准确性。在本文中,我们提出了一个统一的和高效的跨模态引导编码器,不仅有效地重新校准RGB特征响应,而且还通过多个阶段提取准确的深度信息,并交替聚合两个重新校准的表示。所提出的架构的关键是一个新的分离和聚合门控操作,联合过滤和重新校准两个表示之前,跨模态聚合。同时,引入双向多步传播策略,一方面帮助两种模态之间的信息传播和融合,另一方面在长期传播过程中保持它们的特异性。此外,我们提出的编码器可以很容易地注入到以前的编码器-解码器结构,以提高其性能的RGB-D语义分割。我们的模型在室内和室外具有挑战性的数据集上始终优于最先进的模型。代码可以在https://charlescxk.github.io/上找到
2020-07-17 cs.CV
Weakly supervised segmentation of intracranial aneurysms using a novel 3D focal modulation UNet
Concordia University(康考迪亚大学)
提出新型3D焦点调制UNet(FocalSegNet),结合弱监督学习与CRF后处理,在公开数据集上实现高灵敏度的未破裂颅内动脉瘤检测与分割,性能优于现有3D Residual-UNet和Swin-UNETR。
2024-03-20 cs.CV eess.IV
High Temporal Consistency through Semantic Similarity Propagation in Semi-Supervised Video Semantic Segmentation for Autonomous Flight
Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎理工大学);Fraunhofer IVI(弗劳恩霍夫IVI研究所)
本文提出轻量级视频语义分割方法SSP及知识蒸馏训练框架KD-SSP,通过跨帧语义相似性传播提升自主飞行感知的时序一致性,在航空数据集上显著优于基础模型并实现更优的速度与质量权衡。
2025-06-26 cs.CV
Tracking Anything with Decoupled Video Segmentation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
提出解耦视频分割方法DEVA,通过结合图像级分割与通用双向时间传播模型,在数据稀缺任务中实现高效且泛化的“追踪任何事物”。
2023-09-07 cs.CV