Pancreas segmentation with probabilistic map guided bi-directional recurrent UNet
Shanghai Jiao Tong University(上海交通大学);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Rutgers University(罗格斯大学)
医学图像中的胰腺分割对于临床胰腺诊断和治疗具有重要意义。然而,胰腺形状和体积的巨大群体差异会导致巨大的分割困难,即使对于利用全卷积神经网络(FCN)的最新算法也是如此。具体地,胰腺分割遭受2D方法中的空间信息的损失和3D方法的高计算成本。为了缓解这些问题,我们提出了一个概率图引导的双向递归UNet(PBR-UNet)架构,它将切片内信息和切片间概率图融合到一个局部3D混合正则化方案中,然后进行双向递归网络优化。PBR-UNet方法由一个用于有效提取像素级概率图的初始估计模块和一个用于通过2.5D U-Net架构传播混合信息的主要分割模块组成。具体地,通过将输入图像与相邻切片的概率图组合成多通道混合数据,然后分层地聚合整个分割网络的混合信息来推断局部3D信息。此外,一个双向的递归优化机制,开发的混合信息在向前和向后两个方向上更新。这使得所提出的网络能够充分和最佳地利用本地上下文信息。在NIH胰腺CT数据集上进行了定量和定性评估,与其他最先进的方法相比,我们提出的PBR-UNet方法以更少的计算成本获得了更好的分割结果。
2022-08-11 cs.CV
SMAC-Seg: LiDAR Panoptic Segmentation via Sparse Multi-directional Attention Clustering
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
全景分割旨在在统一的框架中同时解决语义和实例分割。然而,在自动驾驶等应用中的全景分割的有效解决方案仍然是一个开放的研究问题。在这项工作中,我们提出了一种新的基于激光雷达的全景系统,称为SMAC-Seg。我们提出了一个可学习的稀疏多方向注意聚类分割多尺度前景实例。SMAC-Seg是一种基于实时聚类的方法,它消除了复杂的建议网络来分割实例。大多数现有的基于聚类的方法使用预测和地面实况中心偏移的差异作为唯一的损失来监督实例质心回归。然而,该损失函数仅考虑当前对象的质心,但在学习聚类时不考虑其相对于相邻对象的相对位置。因此,我们建议使用一种新的质心感知排斥损失作为附加项,以有效地监督网络将每个对象聚类与其邻居区分开来。我们的实验结果表明,SMAC-Seg在大规模公共SemanticKITTI和nuScenes全景分割数据集上的所有实时可部署网络中均达到了最先进的性能。
2021-08-31 cs.CV
Learning Directional Feature Maps for Cardiac MRI Segmentation
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Department of Radiology, Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属协和医院放射科);Hubei Province Key Laboratory of Molecular Imaging(湖北省分子影像重点实验室);HUST-HW Joint Innovation Lab(华中科技大学-华为联合创新实验室)
心脏MRI分割在临床诊断中起着至关重要的作用,用于评估个性化的心脏性能参数。由于心脏MRI图像边界模糊、强度分布不均匀等特点,现有方法仍存在两个方面的问题:类间模糊和类内不一致。为了解决这两个问题,我们提出了一种新的方法来利用方向特征图,它可以同时加强类之间的差异和类内的相似性。具体来说,我们执行心脏分割,并通过方向场(DF)模块学习从最近的心脏组织边界指向每个像素的方向场。然后,在学习到的方向场的基础上,我们提出了一个特征校正和融合(FRF)模块来改进原始分割特征,并获得最终的分割。所提出的模块是简单而有效的,可以灵活地添加到任何现有的分割网络,而不会过度增加时间和空间复杂度。我们在2017年MICCAI自动心脏诊断挑战(ACDC)数据集和大规模自收集数据集上对所提出的方法进行了评估,显示出所提出的方法具有良好的分割性能和鲁棒的泛化能力。
2020-07-22 cs.CV
Rethinking Efficient Crack Segmentation with Task-Aligned Structural-Directional Modeling
xauat(西安理工大学)
将裂缝分割视为稀疏结构恢复问题,提出RIFT模型,通过轻量多尺度融合保留局部证据、聚合方向连续性,在16项指标上达到最优或并列最优。
2026-05-29 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University(首尔国立大学)
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成,它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同,所提出的融合网络在原始分辨率下混合两个流,以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外,多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果,我们有一个像素级的概率分割图,它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分,我们最终获得视频序列的前景分割结果,而无需任何用户干预,即,我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能,也实现了近半监督的性能。
2019-12-03 cs.CV
Complementary Bi-directional Feature Compression for Indoor 360° Semantic Segmentation with Self-distillation
Beijing Jiaotong University(北京交通大学);Institute of Information Science(信息科学研究所);Beijing Key Laboratory of Advanced Information Science and Network Technology(北京先进信息科学与网络技术重点实验室)
最近,基于水平表示的全景语义分割方法优于基于投影的解决方案,因为通过在垂直方向上压缩球形数据可以有效地去除失真。然而,这些方法忽略了失真分布先验并且限于不平衡的感受野,例如,感受野在垂直方向上是足够的,而在水平方向上是不足的。相应地,在另一个方向上压缩的垂直表示可以提供隐含的失真先验,并扩大水平感受野。在本文中,我们结合这两种不同的表示,并提出了一种新的360°语义分割解决方案,从互补的角度。我们的网络包括三个模块:一个特征提取模块,一个双向压缩模块,和一个合奏解码模块。首先,我们从全景图中提取多尺度特征。然后,设计了一个双向压缩模块,将特征压缩成两个互补的低维表示,提供内容感知和失真先验。此外,为了便于双向特征的融合,在集成解码模块中设计了一种独特的自蒸馏策略,以增强不同特征之间的交互性,进一步提高性能。实验结果表明,我们的方法优于国家的最先进的解决方案,至少有10%的改进,定量评估,同时显示最佳的视觉外观性能。
2022-07-06 cs.CV
Direct Estimation of Appearance Models for Segmentation
School of Engineering, Brown University(布朗大学工程学院);Mathematical Bioscience Institute, Ohio State University(俄亥俄州立大学数学生物科学研究所)
图像分割算法通常依赖于表征不同图像区域中像素值分布的外观模型。我们描述了一种新的方法,直接从图像中估计外观模型,而不明确考虑组成每个区域的像素。我们的方法是基于新的代数表达式,涉及局部图像统计的空间相干区域的外观。我们描述了两种算法,可以使用上述代数表达式估计外观模型直接从图像。第一种算法使用最小二乘公式求解线性和二次方程组。第二种算法是基于特征向量计算的谱方法。我们目前的实验结果表明,所提出的方法在实践中工作良好,并导致有效的图像分割算法。
2021-09-15 cs.CV
Unsupervised Video Segmentation via Spatio-Temporally Nonlocal Appearance Learning
Nanjing University of Information Science and Technology(南京信息工程大学)
由于视频对象的快速运动、背景的杂乱、任意的外观变化和形状变形等因素,视频对象分割具有挑战性。大多数现有的方法只探索两个连续帧之间的外观信息,没有充分利用有用的长期非局部信息,这有助于使学习的外观稳定,因此,当目标遭受大的视点变化和显着的非刚性变形时,它们往往会失败。在本文中,我们提出了一个简单而有效的方法来挖掘长期的时空非局部外观信息的无监督视频分割。我们的算法的动机来自于时空非局部性的区域出现重现在视频中。具体来说,我们首先生成一组超像素来表示前景和背景,然后使用高效的KD树算法通过近似最近邻搜索方法生成的长期时空非局部对应物来更新每个超像素的外观。然后,与更新的外观,我们制定了一个时空图形模型组成的超像素标签一致性的潜力。最后,我们通过迭代更新外观模型和估计标签来优化图形模型,从而生成分割。在SegTrack和Youtube-Objects数据集上的广泛评估证明了所提出的方法的有效性,该方法与一些最先进的方法相比表现良好。
2016-12-24 cs.CV
Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning
Dalian University of Technology(大连理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对深度感知全景分割中分割与深度估计任务割裂的问题,提出共享对象查询的深度统一框架,并结合几何查询增强与双向引导学习,在两个基准上达到新SOTA且适用于不完整监督。
2023-08-14 cs.CV
Semantic Part Segmentation using Compositional Model combining Shape and Appearance
University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们研究的问题,语义部分分割的动物。这比标准的目标检测、目标分割和姿态估计任务更具挑战性,因为动物的语义部分通常具有相似的外观和高度变化的形状。为了应对这些挑战,我们建立了一个混合的组合模型来表示对象边界和语义部分的边界。我们将边缘,外观和语义部分线索到组成模型。鉴于部分级别的分割注释,我们开发了一种新的算法来学习的组合模型的各种姿势和观点的某些动物类的混合物。此外,一个线性复杂性算法提供了有效的推理组合模型使用动态规划。我们使用Pascal VOC 2010上新注释的数据集评估我们的方法,该数据集具有像素部分标签。实验结果证明了该方法的有效性。
2014-12-18 cs.CV
Bi-directional Dermoscopic Feature Learning and Multi-scale Consistent Decision Fusion for Skin Lesion Segmentation
Nanyang Technological University(南洋理工大学)
皮肤镜图像中病灶的准确分割是黑色素瘤计算机辅助诊断的关键。由于来自不同患者的皮肤镜图像具有不可忽略的病变变化,这导致解剖结构学习和一致的皮肤病变描绘的困难,因此具有挑战性。在本文中,我们提出了一种新的双向皮肤镜特征学习(biDFL)框架来模拟皮肤病变及其信息背景之间的复杂相关性。通过控制经过两个互补方向的特征信息,实现了基本上丰富的和有区别的特征表示。具体来说,我们将biDFL模块放置在CNN网络的顶部,以增强高级解析性能。此外,我们提出了一种多尺度一致性决策融合(mCDF),能够选择性地集中在从多个分类层产生的信息决策。通过分析每个位置处决策的一致性,mCDF自动调整决策的可靠性,从而允许更有洞察力的皮肤病变描绘。综合实验结果表明,所提出的方法对皮肤病变分割的有效性,实现国家的最先进的性能一致的两个公开可用的皮肤镜图像数据库。
2020-02-20 cs.CV
Partitioned Shape Modeling with On-the-Fly Sparse Appearance Learning for Anterior Visual Pathway Segmentation
Children’s National Medical Center(国家儿童医学中心)
由于颅神经(如前视觉通路(AVP))的尺寸较小,沿其路径的结构变化以及邻近的解剖结构,因此在MRI中对颅神经(如AVP)进行MRI定量具有挑战性。病理异常视神经(例如视神经胶质瘤)的分割由于其形状在不可预测的位置处的变化而带来额外的挑战。在这项工作中,我们提出了一个分区的联合统计形状模型的方法与稀疏外观学习的健康和病理AVP的分割。我们的主要贡献是:(2)通过使用(1)中获得的初始分割实时训练模型来适应病理区域以及细微变化的区域的细化模型;(3)分层可变形框架,以将尺度信息并入分区形状和外观模型中。我们的方法,名为PAScAL(分割的形状和外观学习),评价了21个MRI扫描(15个健康+6个胶质瘤病例)从儿科患者(年龄2-17)。实验结果表明,所提出的局部形状和稀疏外观为基础的学习方法显着优于分割方法在病理数据的分析。
2015-08-05 cs.CV
Unsupervised Part Segmentation through Disentangling Appearance and Shape
Tsinghua University(清华大学);Microsoft Corporation(微软公司)
我们研究了对象部分的无监督发现和分割问题,作为一种中间的局部表示,能够找到内在的对象结构,并提供更多的可解释的识别结果。最近的无监督方法大大放松了对注释数据的依赖,这些注释数据获取成本高,但仍然依赖于其他信息,如对象分割掩模或显着图。为了消除这种依赖性,并进一步提高部分分割性能,我们开发了一种新的方法,通过解开对象部分的外观和形状表示,然后重建损失,而不使用额外的对象掩模信息。为了避免退化的解决方案,瓶颈块的设计,挤压和扩大的外观表示,导致更有效的几何和外观之间的纠缠。结合自监督的零件分类损失和改进的几何集中约束,我们可以分割出更多的语义一致的零件。对人脸、鸟和PASCAL VOC对象等多种对象的综合实验证明了该方法的有效性。
2021-05-26 cs.CV
Improving Unsupervised Video Object Segmentation with Motion-Appearance Synergy
Microsoft Research Asia(微软亚洲研究院);University of Michigan(密歇根大学)
我们提出了IMAS,一种在训练或推理中无需手动注释即可分割视频中主要对象的方法。以前的方法在无监督视频对象分割(UVOS)已经证明了有效的运动作为输入或监督分割。然而,在诸如可变形对象和具有反射的对象的情况下,运动信号可能是无信息的甚至是误导的,从而导致不令人满意的分割。相比之下,IMAS通过运动-外观协同作用实现了改善的UVOS。我们的方法有两个训练阶段:1)运动监督的对象发现阶段,通过可学习的残差路径处理运动外观冲突; 2)具有低级和高级外观监督的细化阶段,以纠正从误导性运动线索中学习到的模型误解。此外,我们提出了运动语义对齐作为一个模型不可知的注释免费hyperparam调整方法。我们证明了它的有效性,在调整关键hyperparams以前调整与人类注释或手工制作的hyperparams特定的指标。IMAS大大提高了几个常见的UVOS基准分割质量。例如,在DAVIS 16基准测试中,我们仅使用标准ResNet和卷积头就超过了之前的方法8.3%。我们打算发布我们的代码用于未来的研究和应用。
2022-12-17 cs.CV
Video Object Segmentation using Tracked Object Proposals
Visualead
我们在DAVIS 2017挑战赛的背景下提出了一种半监督视频对象分割的方法。我们的方法结合了基于类别的目标检测,类别无关的对象外观分割和时间对象跟踪。我们的动机是这样一个事实,即对象的语义类别往往不会改变整个视频,而它的外观和位置可以有很大的变化。为了捕获独立于其类别的特定对象外观,对于每个视频,我们使用给定注释帧的增强来训练完全卷积网络。我们改进的外观分割掩模与语义目标检测网络提供的边界框,如果适用,或由以前的帧预测。通过在检测到的盒子上引入时间连续性约束,我们能够改进外观网络的对象分割掩码,并在DAVIS数据集上获得有竞争力的结果。
2017-07-20 cs.CV
Visualizing the Invisible: Occluded Vehicle Segmentation and Recovery
在本文中,我们提出了一种新的迭代多任务框架来完成被遮挡车辆的分割掩模,并恢复其不可见部分的外观。特别是,为了提高分割完成的质量,我们提出了两个耦合的鉴别器,并引入了一个辅助的3D模型池,用于对真实的轮廓进行采样作为对抗样本。此外,我们提出了一个双路径结构与共享网络,以提高外观恢复能力。通过迭代地执行分割完成和外观恢复,结果将逐步细化。为了评估我们的方法,我们提出了一个数据集,被遮挡的车辆数据集,包含合成和真实世界的被遮挡的车辆图像。我们在这个数据集上进行比较实验,并证明我们的模型在恢复被遮挡车辆的分割掩模和外观的任务中优于最先进的模型。此外,我们还证明了我们的外观恢复方法可以在现实世界的视频中的遮挡车辆跟踪的好处。
2019-07-22 cs.CV
SpecNeRF: Gaussian Directional Encoding for Specular Reflections
The Hong Kong University of Science and Technology(香港科技大学);Meta Reality Labs(元宇宙现实实验室);Carnegie Mellon University(卡内基梅隆大学)
针对神经辐射场在近场复杂光照下难以建模光滑表面视角依赖镜面反射的问题,提出可学习高斯方向编码与数据驱动几何先验,提升建模效果并实现更具物理意义的外观分解。
2024-05-16 cs.CV
Commonality-Parsing Network across Shape and Appearance for Partially Supervised Instance Segmentation
Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Kwai Inc.(快手公司)
部分监督的实例分割旨在对有限的掩码注释数据类别进行学习,从而消除昂贵且详尽的掩码注释。学习的模型预计将推广到新的类别。现有的方法要么学习从检测到分割的传递函数,要么学习用于分割新类别的聚类形状先验。我们建议学习潜在的类不可知的共性,可以概括为从掩码注释的类别到新的类别。具体来说,我们解析两种类型的共性:1)形状共性,通过对实例边界预测执行监督学习来学习; 2)外观共性,通过对特征图像素之间的成对亲和力建模来捕获,以优化实例和背景之间的可分性。在COCO数据集上,我们的模型在部分监督设置和Few-Shot设置上的实例分割方面都显着优于最先进的方法。
2020-07-24 cs.CV
A Generative Appearance Model for End-to-end Video Object Segmentation
Linköping University(林雪平大学);Zenuity(Zenuity公司);Saab(萨博公司);Inception Institute of Artificial Intelligence(起始人工智能研究院)
视频对象分割中的一个基本挑战是找到目标和背景外观的有效表示。性能最好的方法是为此目的对卷积神经网络进行广泛的微调。除了昂贵得令人望而却步之外,这种策略还不能真正进行端到端的训练,因为在线微调过程没有集成到网络的离线训练中。为了解决这些问题,我们提出了一种网络架构,它可以在单个前向传递中学习目标和背景外观的强大表示。引入的外观模块学习目标和背景特征分布的概率生成模型。给定一张新图像,它会预测后验类概率,提供高度区分的线索,并在后面的网络模块中进行处理。我们的外观模块的学习和预测阶段都是完全可区分的,从而实现整个分割管道的真正端到端训练。综合实验表明,所提出的方法的有效性在三个视频对象分割基准。我们缩小了与基于DAVIS 17在线微调的方法的差距,同时在单个GPU上以15 FPS运行。此外,我们的方法在大规模YouTube-VOS数据集上的性能优于所有已发表的方法。
2018-12-07 cs.CV
Bi-directional Contrastive Learning for Domain Adaptive Semantic Segmentation
Yonsei University(延世大学)
我们提出了一种新的无监督领域自适应方法的语义分割,概括了一个模型训练的源图像和相应的地面实况标签的目标域。领域自适应语义分割的关键是在没有目标真实标签的情况下学习领域不变和区分性特征。为此,我们提出了一个双向的像素原型对比学习框架,最大限度地减少同一对象类的类内变化的功能,同时最大限度地提高不同的类间变化,无论域。具体来说,我们的框架将像素级特征与目标和源图像中相同对象类的原型(即,正对),分别将它们分开用于不同的类(即,负对),并利用源图像中的像素级特征和目标图像中的原型朝另一方向执行对准和分离过程。跨域匹配鼓励域不变特征表示,而双向像素原型对应聚合相同对象类的特征,提供区分性特征。为了建立用于对比学习的训练对,我们提出使用非参数标签转移来生成目标图像的动态伪标签,即跨不同域的像素原型对应。我们还提出了一种校准方法,在训练过程中逐渐补偿原型的类域偏差。
2022-07-22 cs.CV
Multi-appearance Segmentation and Extended 0-1 Program for Dense Small Object Tracking
Nanjing University of Science and Technology(南京理工大学)
针对密集小目标在集群背景下的快速多目标跟踪问题,研究了考虑批量优化的面向轨迹的多假设跟踪算法(TOMHT)。采用基于自相关的运动评分检验和阶段性假设合并方法,建立了相应的假设生成和管理方法。提出了一种新的一对多约束,并将其应用于复杂遮挡情况下的航迹排除问题。此外,为了达到更好的效果,我们开发了一种多外观分割检测,它利用树状拓扑信息,并实现了一个目标的一个阈值。实验结果验证了我们的方法的强度,表明我们的跟踪器的速度和性能的优势。
2017-12-14 cs.CV
Motion-Appearance Interactive Encoding for Object Segmentation in Unconstrained Videos
Sun Yat-sen University(中山大学)
我们提出了一种新的方法,结合运动和外观线索的前景对象分割无约束的视频。与传统的方法编码运动和外观模式单独,我们的方法特别强调他们的相互援助。具体来说,我们建议使用一个交互式约束编码(ICE)计划,将运动和外观模式到一个图形,导致时空能量优化。利用ICE的原因是,运动和外观线索相同的目标共享潜在的相关结构,从而可以在一个深度协作的方式利用。我们执行ICE不仅在初始化,而且在细化阶段的两层框架的对象分割。该方案允许我们的方法在整个框架中始终捕获关于对象感知的结构模式。我们的方法可以在超像素而不是原始像素上操作,以将图节点的数量减少两个数量级。此外,我们建议部分探讨多目标定位问题的相互遮挡加权二分图匹配。在三个基准数据集(即,SegTrack,MOViCS和GaTech)证明了我们的方法与广泛的最先进的方法相比的有效性。
2017-07-25 cs.CV
Directional Connectivity-based Segmentation of Medical Images
Duke University(杜克大学)
针对医学图像分割中解剖一致性问题,提出方向连通性建模方案,通过解耦潜在空间中的方向子空间增强特征表示,在多个公开基准上优于现有方法。
2023-03-31 cs.AI cs.CV eess.IV
Patch-MoE Mamba: A Patch-Ordered Mixture-of-Experts State Space Architecture for Medical Image Segmentation
University of Texas Rio Grande Valley(德克萨斯理工大学里奥格兰德谷分校)
本文提出了一种基于补丁顺序的专家混合状态空间架构Patch-MoE Mamba,以解决现有Mamba分割模型在像素级方向扫描破坏局部二维空间结构以及简单求和融合方向无法适应多样物体大小、形状和边界的问题。
2026-05-18 cs.CV
Semi-supervised Semantic Segmentation with Directional Context-aware Consistency
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技);University of Oxford(牛津大学)
语义分割近年来取得了巨大的进展。然而,令人满意的性能高度依赖于大量的像素级注释。因此,在本文中,我们专注于半监督分割问题,其中只有一小部分标记数据提供了一个更大的收集完全未标记的图像。然而,由于有限的注释,模型可能过度依赖于训练数据中可用的上下文,这导致对之前未见过的场景的泛化能力差。首选的高级表示应该在不失去自我意识的情况下捕获上下文信息。因此,我们建议保持上下文感知的一致性相同的身份,但具有不同的上下文之间的功能,使表示强大的变化的环境。此外,我们提出了方向对比损失(DC损失),以实现像素到像素的方式的一致性,只需要具有较低质量的功能,以对齐其对应。此外,为了避免假阴性样本和过滤不确定阳性样本,我们提出了两种抽样策略。大量的实验表明,我们的简单而有效的方法超过了目前最先进的方法的一个很大的保证金,也推广以及额外的图像级注释。
2021-06-27 cs.CV
BATMAN: Bilateral Attention Transformer in Motion-Appearance Neighboring Space for Video Object Segmentation
Microsoft(微软);Oregon State University(俄勒冈州立大学)
视频对象分割是视频理解的基础。基于transformer的方法在半监督VOS上表现出显着的性能改善。然而,现有的工作面临的挑战分割视觉上相似的对象彼此非常接近。在本文中,我们提出了一种新的双边注意力Transformer在运动外观相邻空间(BATMAN)的半监督VOS。它通过一种新颖的光流校准模块捕获视频中的对象运动,该模块将分割掩模与光流估计融合,以提高对象内光流平滑度并降低对象边界处的噪声。这种校准的光流,然后在我们的新的双边注意,计算查询和参考帧之间的对应关系,在相邻的双边空间考虑运动和外观。广泛的实验验证了BATMAN架构的有效性,在所有四个流行的VOS基准测试中表现优于所有现有的最先进技术:Youtube-VOS 2019(85.0%),Youtube-VOS 2018(85.3%),DAVIS 2017 Val/Testdev(86.2%/82.2%)和DAVIS 2016(92.5%)。
2022-08-08 cs.CV
Weakly Supervised Instance Segmentation using Motion Information via Optical Flow
The University of Tokyo(东京大学)
弱监督的实例分割已经得到普及,因为它减少了模型训练所需的像素级掩模的高注释成本。最近的弱监督实例分割方法使用从静态图像获得的外观信息来检测和分割对象。然而,它提出了识别具有非歧视性外观的物体的挑战。在这项研究中,我们解决这个问题,通过使用从图像序列的运动信息。我们提出了一个双流编码器,利用从图像和光流中提取的外观和运动特征。此外,我们提出了一种新的成对损失,同时考虑外观和运动信息来监督分割。我们对YouTube-VIS 2019基准数据集进行了广泛的评估。我们的结果表明,该方法提高了平均精度的国家的最先进的方法由3.1。
2022-02-25 cs.CV
Decoding with Structured Awareness: Integrating Directional, Frequency-Spatial, and Structural Attention for Medical Image Segmentation
本文提出基于结构意识的解码框架,整合方向、频率-空间和结构注意力,提升医学图像分割的精度和泛化能力。
2025-12-05 cs.CV
Beyond Appearance: Geometric Cues for Robust Video Instance Segmentation
Wuhan University(武汉大学)
本文通过策略性利用单目深度估计引入几何感知,系统研究了三种深度集成范式以增强视频实例分割的鲁棒性,其中EDC方法在OVIS基准上以56.2 AP达到最先进水平。
2025-07-14 cs.CV
Fuse & Calibrate: A bi-directional Vision-Language Guided Framework for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
针对指代表达图像分割中视觉与语言交互不足的问题,提出 FCNet 双向引导融合框架,通过视觉引导融合与语言引导校准生成高质量多模态特征,并在多个基准上超越现有方法。
2024-05-18 cs.CV
Leveraging Contrastive Learning for Semantic Segmentation with Consistent Labels Across Varying Appearances
本文提出一个多天气城市场景合成数据集及利用对比学习实现特征一致性的域自适应方法,有效提升了跨域语义分割性能并确立了合成数据生成与域自适应的新范式。
2024-12-21 cs.CV
Rethinking Directional Parameterization in Neural Implicit Surface Reconstruction
Tokyo Institute of Technology(东京工业大学);Preferred Networks, Inc.(Preferred Networks公司)
针对神经隐式曲面重建中常用的观察方向、反射方向参数化的局限,提出几乎无额外参数的混合方向参数化方法,可适配各类材质与结构的物体重建,且能轻松集成到现有方法中。
2024-09-11 cs.CV
Bi-Directional ConvLSTM U-Net with Densley Connected Convolutions
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
近年来,基于深度学习的网络在医学图像分割方面取得了最先进的性能。在现有的网络中,U-Net已成功应用于医学图像分割。在本文中,我们提出了一个扩展的U-网络,双向ConvLSTM U-Net与密集连接卷积(BCDU-Net),用于医学图像分割,其中我们充分利用U-网络,双向ConvLSTM(BConvLSTM)和密集卷积的机制。我们采用BConvLSTM来以非线性方式组合从相应编码路径和先前解码上卷积层提取的特征图,而不是U-Net的跳过连接中的简单级联。为了加强特征传播和鼓励特征重用,我们在编码路径的最后一个卷积层使用密集连接卷积。最后,我们可以通过使用批归一化(BN)来加快所提出的网络的收敛速度。该模型在三个数据集上进行了评估:视网膜血管分割,皮肤病变分割和肺结节分割,实现了最先进的性能。
2019-08-31 cs.CV eess.IV
BiCANet: Bi-directional Contextual Aggregating Network for Image Semantic Segmentation
Nanjing University of Posts & Telecommunications(南京邮电大学);Kyushu Institute of Technology(九州工业大学);Temple University(天普大学)
近年来,在卷积神经网络(CNN)中探索上下文信息对于语义分割获得了大量关注。本文介绍了一个双向上下文聚合网络,称为BiCANet,语义分割。与以往在特征空间中编码上下文的方法不同,BiCANet从范畴的角度聚合上下文线索,主要由三部分组成:上下文凝聚投影块(CCPB)、双向上下文交互块(BCIB)和多尺度上下文融合块(MCFB)。更具体地说,CCPB通过分裂-转换-合并架构学习基于类别的映射,该架构将来自中间层的具有不同感受野的上下文线索浓缩。另一方面,BCIB采用密集的跳过连接来增强类级上下文交换。最后,MCFB通过调查短期和长期的空间依赖性来整合多尺度的上下文线索。为了评估BiCANet,我们对三个语义分割数据集进行了广泛的实验:PASCAL VOC 2012,Cityscapes和ADE 20 K。实验结果表明,BiCANet优于最近的国家的最先进的网络,没有任何后处理技术。特别是,BiCANet在PASCAL VOC 2012、Cityscapes和ADE 20 K测试集上的mIoU得分分别为86.7%、82.4%和38.66%。
2020-03-21 cs.CV eess.IV
DTBS: Dual-Teacher Bi-directional Self-training for Domain Adaptation in Nighttime Semantic Segmentation
Hangzhou Dianzi University(杭州电子科技大学);University of Wollongong(伍伦贡大学)
针对夜间语义分割中自训练单向知识转移不足导致的确认偏差问题,提出双教师双向自训练框架,通过解耦风格与光照偏移并利用重加权EMA融合反馈,显著提升了无监督域适应性能。
2024-01-02 cs.CV
BiX-NAS: Searching Efficient Bi-directional Architecture for Medical Image Segmentation
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学);University of Pittsburgh(匹兹堡大学);JD Finance America Corporation(京东金融美国公司)
最近,在各种医学图像分割任务中,将递归机制引入到U-Net中。现有的研究主要集中在通过重用构建块来促进网络递归。虽然可以大大节省网络参数,但按照预先设定的迭代时间,计算量仍不可避免地增加。在这项工作中,我们研究了双向跳跃连接网络的多尺度升级,然后通过一种新的两阶段神经架构搜索(NAS)算法,即BiX-NAS,自动发现一个有效的架构。我们提出的方法通过在不同的层次和迭代中筛选出无效的多尺度特征来降低网络的计算成本。我们使用三种不同的医学图像数据集对BiX-NAS进行了两个分割任务的评估,实验结果表明,我们的BiX-NAS搜索架构以显著降低的计算成本实现了最先进的性能。
2021-07-01 cs.CV eess.IV
Appearance-Based Refinement for Object-Centric Motion Segmentation
University of Oxford(牛津大学);Shanghai Jiao Tong University(上海交通大学)
针对光流运动分割因部分运动、背景干扰等导致预测不准的问题,提出基于外观的优化方法,通过序列级样本选择和对象中心架构修正结果,自监督适配真实视频,在多对象分割基准上显著优于现有模型。
2024-08-19 cs.CV
Benchmarking Semantic Segmentation Models via Appearance and Geometry Attribute Editing
本文提出Gen4Seg数据生成管道,通过生成具有不同属性变化的挑战样本来评估语义分割模型,构建了Pascal-EA和COCO-EA两个新基准,发现开放词汇模型在几何变化下不比封闭集方法更鲁棒,数据增强技术在提升外观变化鲁棒性上有限。
2026-03-16 cs.CV
FusionSeg: Learning to combine motion and appearance for fully automatic segmention of generic objects in videos
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个端到端的学习框架,用于分割视频中的通用对象。我们的方法学习结合外观和运动信息,为视频中的所有突出对象生成像素级分割掩模。我们制定了这个任务作为一个结构化的预测问题,并设计了一个双流完全卷积神经网络融合在一起的运动和外观在一个统一的框架。由于具有像素级分割的大规模视频数据集是有问题的,因此我们展示了如何将弱注释视频与现有的图像识别数据集一起引导进行训练。通过对三个具有挑战性的视频分割基准的实验,我们的方法大大提高了分割通用(看不见的)对象的最新技术水平。代码和预训练模型可在项目网站上获得。
2017-04-12 cs.CV
Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
Peking University(北京大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
深度信息已被证明是RGB-D图像的语义分割中的有用线索,用于提供RGB表示的几何对应物。大多数现有的作品简单地假设深度测量是准确的,并且与RGB像素对齐,并且将问题建模为跨模态特征融合,以获得更好的特征表示,从而实现更准确的分割。然而,这可能不会导致令人满意的结果,因为实际深度数据通常是有噪声的,这可能会随着网络的深入而恶化准确性。在本文中,我们提出了一个统一的和高效的跨模态引导编码器,不仅有效地重新校准RGB特征响应,而且还通过多个阶段提取准确的深度信息,并交替聚合两个重新校准的表示。所提出的架构的关键是一个新的分离和聚合门控操作,联合过滤和重新校准两个表示之前,跨模态聚合。同时,引入双向多步传播策略,一方面帮助两种模态之间的信息传播和融合,另一方面在长期传播过程中保持它们的特异性。此外,我们提出的编码器可以很容易地注入到以前的编码器-解码器结构,以提高其性能的RGB-D语义分割。我们的模型在室内和室外具有挑战性的数据集上始终优于最先进的模型。代码可以在https://charlescxk.github.io/上找到
2020-07-17 cs.CV
Interactive Segmentation of Radiance Fields
CVIT(计算机视觉与智能系统中心);Kohli Center on Intelligent Systems (KCIS)(科利智能系统中心);IIIT Hyderabad(海得拉巴国际信息技术学院)
辐射场(Radiance Fields,RF)是一种常用的场景表示方法,用于新的视图合成和其他应用,而个人空间的混合现实需要理解和操作辐射场表示的场景,其中对象的语义分割是一个重要步骤。先前的分割工作显示出希望,但不能扩展到具有不同外观的复杂对象。我们提出的ISRF方法,交互式分割具有精细结构和外观的物体。使用提取的语义特征的最近邻特征匹配识别高置信度种子区域。联合空间语义空间中的双边搜索增长区域以恢复准确的分割。我们展示了从RF中分割对象并将其合成到另一个场景,改变外观等的最新结果,以及其他人可以使用的交互式分割工具。项目页面:https://rahul-goel.github.io/isrf/
2023-03-25 cs.CV
VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement
Yonsei University(延世大学);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
针对在线视频实例分割方法过度依赖位置信息导致物体关联错误的问题,提出外观引导的解码器扩展方案,同时构建合成数据集验证,最终在多个基准上取得SOTA结果。
2024-03-08 cs.CV
Efficient Full Image Interactive Segmentation by Leveraging Within-image Appearance Similarity
Google Research(谷歌研究院)
我们提出了一种新的交互式全图像语义分割方法,该方法可以快速收集具有以前看不到的语义类的新数据集的训练数据(演示可在https://youtu.be/yUK8D5gEX-o上获得)。我们利用一个关键的观察:从标记的像素到未标记的像素的传播不一定需要类别特定的知识,而是可以纯粹基于图像内的外观相似性来完成。我们建立在这个观察,并提出了一种方法,能够联合传播像素标签从多个类,而没有明确的类特定的外观模型。为了实现长距离传播,我们的方法首先在整个图像中全局测量标记和未标记像素之间的外观相似性。然后,它局部地整合每像素的测量,提高了边界的准确性,并消除了均匀区域中的噪声标签开关。我们还设计了一个高效的手动注释接口,扩展了传统的多边形绘制工具,提供了一套额外的方便功能(并添加自动传播)。COCO Panoptic Challenge数据集上的人类注释器实验表明,与多边形绘制相比,我们更好的手动界面和我们新颖的自动传播机制的结合导致注释时间减少了2倍以上。我们还在ADE-20 k和Fashionista数据集上测试了我们的方法,没有进行任何特定于数据集的调整,也没有重新训练我们的模型,证明它可以推广到新的数据集和视觉类。
2020-07-16 cs.CV
Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking
Southeast University(东南大学);Nanjing University of Information Science and Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司);Tianjin University of Technology(天津理工大学);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Lab(鹏城实验室)
现有的视觉对象跟踪通常学习基于边界框的模板来跨帧匹配目标,无法准确学习像素级表示,从而在处理严重的外观变化方面受到限制。为了解决这些问题,已经在基于分割的跟踪上做出了很多努力,其学习逐像素对象感知模板,并且可以实现比基于边界框模板的跟踪更高的准确性。然而,现有的基于分割的跟踪器是无效的学习跨帧的时空对应关系,由于没有使用丰富的时间信息。为了克服这个问题,本文提出了一种新的基于分割的跟踪架构,它配备了一个空间外观记忆网络,以学习准确的时空对应关系。其中,外观记忆网络探索时空非局部相似性,以学习分割掩模和当前帧之间的密集对应关系。同时,空间记忆网络被建模为判别相关滤波器,以学习特征图和空间图之间的映射。外观记忆网络有助于过滤掉空间记忆网络中的噪声样本,而后者为前者提供更准确的目标几何中心。这种相互促进作用大大提高了跟踪性能。没有花里胡哨的东西,我们简单而有效的跟踪架构分别在VOT 2016,VOT 2018,VOT 2019,GOT-10 K,TrackingNet和VOT 2020基准上设置了新的最先进的技术。此外,我们的跟踪器在两个视频对象分割基准DAVIS 16和DAVIS 17上的性能大大优于领先的基于分割的跟踪器SiamMask和D3 S。源代码可以在https://github.com/phiphiphi31/DMB上找到。
2021-04-06 cs.CV
CAD-Prompted SAM3: Geometry-Conditioned Instance Segmentation for Industrial Objects
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出基于CAD模型的SAM3分割框架,通过几何条件进行实例分割,解决工业环境中难以用语言或外观描述的对象问题。
2026-06-07 cs.CV
Semantically-Guided Video Object Segmentation
ETH Zürich(苏黎世联邦理工学院)
本文解决了半监督视频对象分割问题,即在第一帧中给定其掩码的情况下将对象分割成序列。在这种情况下的主要挑战之一是感兴趣的对象的外观的变化。另一方面,它们的语义没有变化。本文研究了如何利用这种不变性,通过引入一个语义先验,指导外观模型。具体来说,给定序列的第一帧的分割掩码,我们估计感兴趣的对象的语义,并在整个序列中传播该知识,以基于外观模型来改进结果。我们提出了语义引导的视频对象分割(SGV),它使用各种评估指标在两个不同的数据集上改进了先前的最新技术水平,同时每帧运行半秒。
2018-07-17 cs.CV
SSSC-AM: A Unified Framework for Video Co-Segmentation by Structured Sparse Subspace Clustering with Appearance and Motion Features
École Polytechnique(巴黎综合理工学院)
视频共分割是指联合分割出现在给定视频组中的共同对象的任务。在实践中,高维数据(如视频)可以在概念上被认为是从对应于类别的子空间的并集中提取的,而不是从光滑流形中提取的。因此,将数据分割成各个子空间-子空间聚类-在计算机视觉中得到了广泛的应用,包括联合分割。通过子空间聚类的最新方法试图通过两个步骤来解决这个问题:首先,从具有外观特征或运动模式的数据中构建亲和矩阵。其次,通过将谱聚类应用于亲和矩阵来分割数据。然而,该过程不足以获得最佳解,因为它没有考虑亲和力矩阵与分割的{ \em相互依赖性}。在这项工作中,我们提出了一种新的统一的视频共分割框架的启发最近的结构化稀疏子空间聚类($\mathrm{S^{3}C}$)的基础上的{ \em自我表达}模型。我们的方法产生更一致的分割结果。为了提高由于遮挡或跟踪点移出帧而丢失轨迹的运动特征的可检测性,我们向运动轨迹添加额外的维度签名。此外,我们重新制定的$\mathrm{S^{3}C}$算法,通过增加仿射子空间的约束,以使其更适合于分割刚性运动躺在仿射子空间的维数最多$3$。我们在MOViCS数据集上的实验表明,我们的框架在基线算法中达到了最高的整体性能,并证明了它对强噪声的鲁棒性。
2016-09-28 cs.CV
Estimating Appearance Models for Image Segmentation via Tensor Factorization
Bowdoin College(鲍登学院)
本文提出利用局部高阶颜色统计和张量分解直接估计图像外观模型,无需先验分割信息即可自动输出多区域比例,并在多种场景中验证了其高效分割性能。
2025-02-05 cs.CV stat.ML
Volumetric Directional Diffusion: Anchoring Uncertainty Quantification in Anatomical Consensus for Ambiguous Medical Image Segmentation
Department of Computer Science and Engineering University at Buffalo, SUNY Buffalo, NY, USA(计算机科学与工程系,布法罗大学,纽约州,布法罗,美国)
针对模糊医学图像分割中不同专家边界描绘有差异的问题,提出体积方向扩散(VDD)框架,以粗略共识预测为锚点,学习方向扩散过程生成边界变化,实验表明该方法能在保持精度和结构一致性时改善不确定性分布对齐。
2026-07-08 cs.AI cs.CV
ReMOTS: Self-Supervised Refining Multi-Object Tracking and Segmentation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所);UISEE Technology (Beijing) Co. Ltd.(北京驭势科技有限公司);Kyoto University(京都大学)
我们的目标是通过细化来提高多目标跟踪和分割(MOTS)的性能。然而,它仍然具有挑战性的改进MOTS结果,这可能是由于外观特征不适应目标视频,也很难找到合适的阈值来区分它们。为了解决这个问题,我们提出了一个自我监督的细化MOTS(即,ReMOTS)框架。从数据关联的角度来看,ReMOTS主要采取四个步骤来细化MOTS结果。(1)使用预测掩码训练外观编码器。(2)关联相邻帧之间的观测以形成短期轨迹。(3)使用短期tracklet作为可靠的伪标签来训练外观编码器。(4)利用从统计信息自动获得的所采用的外观特征和阈值将短期tracklet合并到长期tracklet。使用ReMOTS,我们在CVPR 2020 MOTS挑战1中达到了$1^{st}$的位置,sMOTSA评分为$69.9$。
2021-01-13 cs.CV
InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University(北京大学深圳研究生院广东省超高清沉浸式媒体技术重点实验室);College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院)
针对3DGS用于场景理解时的外观语义不平衡、不一致及分割问题,提出InstanceGaussian,通过Semantic-Scaffold-GS表示、渐进联合训练和自下而上实例聚合,在类别无关开放词汇3D点分割中实现SOTA。
2025-04-15 cs.CV
Medical Image Segmentation Using Directional Window Attention
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Weizmann Institute of Science(魏茨曼科学研究所)
针对医学图像分割中CNN感受野受限与Transformer局部信息捕获不足的问题,提出分层架构DwinFormer,通过结合方向窗口注意力与全局自注意力,在多个数据集上取得优于现有方法的性能。
2024-06-25 cs.CV eess.IV
Hierarchical Feature Alignment Network for Unsupervised Video Object Segmentation
Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学)
光流是一个容易构思和宝贵的线索,推进无监督视频对象分割(UVOS)。以往的方法大多是在UVOS环境下直接提取和融合运动和外观特征来分割目标对象。然而,光流本质上是连续帧中所有像素的瞬时速度,因此使得运动特征与对应帧中的主要对象不对准。为了解决上述挑战,我们提出了一个简洁,实用,高效的外观和运动特征对齐的架构,被称为分层特征对齐网络(HFAN)。具体地说,HFAN的关键优点是顺序特征对齐(FAM)模块和特征自适应(FAT)模块,它们用于分层处理外观和运动特征。FAM能够分别将外观和运动特征与主要对象语义表示对齐。此外,FAT是明确设计的外观和运动功能的自适应融合,以实现跨模态功能之间的理想的权衡。大量的实验证明了所提出的HFAN的有效性,其在DAVIS-16上达到了新的最先进的性能,达到88.7 $\mathcal{J}\&\mathcal{F}$平均值,即,比最佳公布结果相对改善3.5%。
2022-07-19 cs.CV
Discriminative Online Learning for Fast Video Object Segmentation
Linköping University(林雪平大学);ETH Zürich(苏黎世联邦理工学院);Inception Institute of Artificial Intelligence(人工智能研究院)
我们解决视频对象分割的高度挑战性的问题。仅给定初始掩码,任务是在后续帧中分割目标。为了有效地处理外观变化和相似的背景对象,需要对目标进行鲁棒的表示。以前的方法要么依赖于在第一帧上微调分割网络,要么采用生成外观模型。虽然部分成功,但这些方法经常遭受不切实际的低帧速率或不令人满意的鲁棒性。我们提出了一种新的方法,基于一个专门的目标外观模型,专门学习在线区分目标和背景图像区域。重要的是,我们设计了专门的损失和定制的优化技术,以实现高效的在线培训。我们的轻量级目标模型集成到精心设计的分割网络中,离线训练以增强目标模型生成的预测。在三个数据集上进行了广泛的实验。我们的方法在YouTube-VOS上获得了超过70分的总分,同时以每秒25帧的速度运行。
2019-04-18 cs.CV