Leveraging Contrastive Learning for Semantic Segmentation with Consistent Labels Across Varying Appearances
本文提出一个多天气城市场景合成数据集及利用对比学习实现特征一致性的域自适应方法,有效提升了跨域语义分割性能并确立了合成数据生成与域自适应的新范式。
2024-12-21 cs.CV
Benchmarking Semantic Segmentation Models via Appearance and Geometry Attribute Editing
本文提出Gen4Seg数据生成管道,通过生成具有不同属性变化的挑战样本来评估语义分割模型,构建了Pascal-EA和COCO-EA两个新基准,发现开放词汇模型在几何变化下不比封闭集方法更鲁棒,数据增强技术在提升外观变化鲁棒性上有限。
2026-03-16 cs.CV
Interactive Segmentation of Radiance Fields
CVIT(计算机视觉与智能系统中心);Kohli Center on Intelligent Systems (KCIS)(科利智能系统中心);IIIT Hyderabad(海得拉巴国际信息技术学院)
辐射场(Radiance Fields,RF)是一种常用的场景表示方法,用于新的视图合成和其他应用,而个人空间的混合现实需要理解和操作辐射场表示的场景,其中对象的语义分割是一个重要步骤。先前的分割工作显示出希望,但不能扩展到具有不同外观的复杂对象。我们提出的ISRF方法,交互式分割具有精细结构和外观的物体。使用提取的语义特征的最近邻特征匹配识别高置信度种子区域。联合空间语义空间中的双边搜索增长区域以恢复准确的分割。我们展示了从RF中分割对象并将其合成到另一个场景,改变外观等的最新结果,以及其他人可以使用的交互式分割工具。项目页面:https://rahul-goel.github.io/isrf/
2023-03-25 cs.CV
VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement
Yonsei University(延世大学);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
针对在线视频实例分割方法过度依赖位置信息导致物体关联错误的问题,提出外观引导的解码器扩展方案,同时构建合成数据集验证,最终在多个基准上取得SOTA结果。
2024-03-08 cs.CV
Efficient Full Image Interactive Segmentation by Leveraging Within-image Appearance Similarity
Google Research(谷歌研究院)
我们提出了一种新的交互式全图像语义分割方法,该方法可以快速收集具有以前看不到的语义类的新数据集的训练数据(演示可在https://youtu.be/yUK8D5gEX-o上获得)。我们利用一个关键的观察:从标记的像素到未标记的像素的传播不一定需要类别特定的知识,而是可以纯粹基于图像内的外观相似性来完成。我们建立在这个观察,并提出了一种方法,能够联合传播像素标签从多个类,而没有明确的类特定的外观模型。为了实现长距离传播,我们的方法首先在整个图像中全局测量标记和未标记像素之间的外观相似性。然后,它局部地整合每像素的测量,提高了边界的准确性,并消除了均匀区域中的噪声标签开关。我们还设计了一个高效的手动注释接口,扩展了传统的多边形绘制工具,提供了一套额外的方便功能(并添加自动传播)。COCO Panoptic Challenge数据集上的人类注释器实验表明,与多边形绘制相比,我们更好的手动界面和我们新颖的自动传播机制的结合导致注释时间减少了2倍以上。我们还在ADE-20 k和Fashionista数据集上测试了我们的方法,没有进行任何特定于数据集的调整,也没有重新训练我们的模型,证明它可以推广到新的数据集和视觉类。
2020-07-16 cs.CV
CAD-Prompted SAM3: Geometry-Conditioned Instance Segmentation for Industrial Objects
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出基于CAD模型的SAM3分割框架,通过几何条件进行实例分割,解决工业环境中难以用语言或外观描述的对象问题。
2026-06-07 cs.CV
Estimating Appearance Models for Image Segmentation via Tensor Factorization
Bowdoin College(鲍登学院)
本文提出利用局部高阶颜色统计和张量分解直接估计图像外观模型,无需先验分割信息即可自动输出多区域比例,并在多种场景中验证了其高效分割性能。
2025-02-05 cs.CV stat.ML
SAUF-Net: Structure--Appearance Representation Learning with Uncertainty Feedback for Semi-Supervised Medical Image Segmentation
Nanchang Hangkong University(南昌航空大学)
针对半监督医学图像分割中特征可靠性被忽略、伪标签不可靠的问题,提出SAUF-Net,通过结构-外观分解等模块及不确定性反馈机制,在ISIC-2016等数据集上优于现有最优方法,低标注场景下表现更佳。
2026-09-03 cs.AI cs.CV
Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer
Shenzhen University(深圳大学)
深度神经网络(DNN)在图像外观发生偏移时会出现性能下降,特别是在超声(US)图像分割中。在本文中,我们提出了一种新颖而直观的框架来消除外观变化,从而提高DNN的泛化能力。我们的工作有三个亮点。首先,我们遵循通用风格转移的精神,以消除外观变化,这是以前没有探索过的美国图像。在不牺牲图像结构细节的情况下,它可以实现任意风格内容的传输。其次,通过自适应实例归一化块加速,我们的框架实现了临床US扫描所需的实时速度。第三,提出了一种高效的风格图像选择策略,以确保目标风格图像和测试内容图像能够正确匹配。在两个大型美国数据集上的实验表明,我们的方法在使DNN对各种外观变化具有鲁棒性方面优于最先进的方法。
2020-02-14 cs.CV eess.IV
Spectral Image Segmentation with Global Appearance Modeling
Haverford College(哈弗福德学院);Brown University(布朗大学)
我们介绍了一种新的光谱图像分割方法,结合了全球外观建模的长程关系。该方法结合了两个不同的图,一个是稀疏图,捕获附近像素之间的空间关系,另一个是密集图,捕获所有像素对之间的成对相似性。我们扩展了规范化切割的谱方法,通过结合与每个图相关联的马尔可夫链的转移矩阵。我们还得到了一个有效的方法稀疏稠密图的外观关系。这导致了一个实用的算法分割高分辨率图像。所得到的方法可以分割具有挑战性的图像,而无需任何滤波或预处理。
2022-10-06 cs.CV cs.LG eess.IV
Closer to Ground Truth: Realistic Shape and Appearance Labeled Data Generation for Unsupervised Underwater Image Segmentation
NORCE Norwegian Research Center AS(NORCE挪威研究中心);National University of Science and Technology "Politehnica" Bucharest(布加勒斯特理工科学技术大学);"Simion Stoilow" Institute of Mathematics of the Romanian Academy(罗马尼亚科学院西米翁斯托伊洛夫数学研究所)
针对水下鱼类分割标注数据稀缺的问题,提出两阶段无监督方法,通过形状与色彩变换生成合成训练数据,在DeepFish和自建的最大三文鱼数据集上性能接近全监督最优模型,还能提升全监督模型表现。
2025-03-20 cs.CV
Generalize Ultrasound Image Segmentation via Instant and Plug & Play Style Transfer
Shenzhen University(深圳大学);Luohu People’s Hospital(罗湖人民医院);Southeast University(东南大学);University of Leeds(利兹大学);KU Leuven(鲁汶大学)
推广到具有未知外观的图像的深度分割模型对于现实世界的医学图像分析是重要的。重新训练模型导致高延迟和复杂的管道,这在临床环境中是不切实际的。超声图像分析的情况变得更加严重,因为他们的大的外观变化。在本文中,我们提出了一种新的方法,鲁棒分割未知的外观变化。我们的贡献是三方面的。首先,我们提出了一个一阶段的即插即用的解决方案,通过嵌入分层风格传输单元到分割架构。我们的解决方案可以消除外观变化,并同时执行分割。其次,我们采用动态实例规范化,以可学习的方式进行精确和动态的样式转换,而不是以前固定的样式规范化。第三,我们的解决方案快速轻便,适合常规临床应用。在400*400图像输入的情况下,与基线流水线相比,我们的解决方案仅需要额外的0.2ms和1.92M FLOP来处理外观偏移。在来自三家供应商的大型数据集上进行了大量实验,证明我们提出的方法增强了深度分割模型的鲁棒性。
2021-01-11 cs.CV eess.IV
Internal-External Boundary Attention Fusion for Glass Surface Segmentation
Kyunghee University(庆熙大学);Electronics and Telecommunications Research Institute(电子通信研究院)
针对单张彩色图像中的玻璃表面检测难题,提出分离的内外边界注意力融合模块以整合玻璃内外视觉特征,并在六个公开基准上验证了其优于现有方法的潜力。
2024-03-04 cs.CV
Fully Convolutional Neural Networks for Crowd Segmentation
The Chinese University of Hong Kong(香港中文大学)
在本文中,我们提出了一个快速的全卷积神经网络(FCNN)的人群分割。通过将CNN中的全连接层替换为1乘1卷积核,FCNN将整个图像作为输入,并通过一次前向传播直接输出分割图。它具有像逐块扫描一样的平移不变性,但计算量要小得多。一旦学习了FCNN,它就可以处理任何尺寸的输入图像,而不会将它们扭曲到标准尺寸。这些有吸引力的性质使其可扩展到其他一般的图像分割问题。基于FCNN,提出了一种多阶段深度学习,以整合外观和运动线索进行人群分割。外观过滤器和运动过滤器都是逐阶段预训练的,然后联合优化。不同的组合方法进行了研究。我们的方法和组件明智的分析的有效性进行评估,我们创建的两个人群分割数据集,其中包括图像帧从235和11个场景,分别。它们是目前最大的人群细分数据集,并将向公众发布。
2014-11-17 cs.CV
v-CLR: View-Consistent Learning for Open-World Instance Segmentation
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
针对开放世界实例分割中模型过度依赖外观纹理导致漏检新颖物体的问题,提出v-CLR框架,通过引入纹理改变视图并利用无监督模型获取类无关提议进行跨视图特征一致性匹配,学习外观不变表示,在跨类和跨数据集基准上达到SOTA。
2025-04-02 cs.CV
Style-invariant Cardiac Image Segmentation with Test-time Augmentation
Shenzhen University(深圳大学)
由于真实临床环境中的外观变化,深度模型通常会遭受严重的性能下降。大多数现有的基于学习的方法依赖于来自多个网站/供应商甚至相应标签的图像。然而,收集足够的未知数据,鲁棒的模型分割并不总是成立,因为在日常应用中的成像因素引起的复杂的外观变化。在本文中,我们提出了一种新的风格不变的心脏图像分割方法。基于zero-shot风格转移,以消除外观移位和测试时增强,以探索不同的底层解剖,我们提出的方法是有效的,在打击外观移位。我们的贡献是三方面的。首先,受通用风格转换的启发,我们对内容图像进行了zero-shot风格化处理,生成与风格图像外观相似的风格化图像。其次,我们建立了一个强大的心脏分割模型的基础上的U-Net结构。我们的框架在测试过程中主要由两个网络组成:用于消除外观偏移的ST网络和分割网络。第三,我们研究测试时增强,以探索风格化图像的转换版本进行预测,并将结果合并。值得注意的是,我们提出的框架是完全测试时适应。实验结果表明,我们的方法是有前途的和通用的推广深度分割模型。
2020-09-24 cs.CV cs.LG eess.IV
Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
University of Oxford(牛津大学)
通过光流测量的运动为发现和学习图像和视频中的对象提供了强大的线索。然而,与使用外观相比,它有一些盲点,例如物体如果不移动就会变得不可见。在这项工作中,我们提出了一种方法,结合了基于运动和基于外观的分割的优势。我们建议监督图像分割网络的借口任务预测区域可能包含简单的运动模式,从而可能对应于对象。由于该模型仅使用单个图像作为输入,因此我们可以将其应用于两种设置:无监督视频分割和无监督图像分割。我们实现了国家的最先进的视频结果,并证明了我们的方法的可行性,包含新的对象的静态图像。此外,我们用不同的运动模型和光流骨干进行实验,发现该方法对这些变化具有鲁棒性。项目页面和代码可在https://www.robots.ox.ac.uk/~vgg/research/gwm获得。
2022-10-13 cs.CV
Change-Aware Siamese Network for Surface Defects Segmentation under Complex Background
School of Resources and Environment, University of Electronic Science and Technology of China(电子科技大学资源与环境学院);South China Normal University(华南师范大学);Sichuan Changhong Electric Co., Ltd.(四川长虹电子控股集团有限公司);University of Twente(特温特大学)
本文提出变化感知孪生网络,通过多类平衡对比损失和距离图跳跃连接,在变化检测框架下实现复杂背景下像素级表面缺陷分割,并在合成LCD缺陷数据集及公开数据集上取得优于现有方法的性能。
2024-09-01 cs.CV
A Local-Global Approach to Semantic Segmentation in Aerial Images
航空图像通常是在光照条件差的情况下拍摄的,包含低分辨率的物体,很多时候被其他物体遮挡。在这一领域,视觉上下文可能有很大的帮助,但仍然有很少的论文,考虑在航空图像理解的上下文,仍然是一个开放的问题,在计算机视觉。我们提出了一种双流深度神经网络,它沿着两条独立的路径处理信息。我们的模型学习以互补的方式将局部和全局外观结合起来,从而形成一个强大的分类器。我们测试了我们的双流网络在航空图像中的建筑物分割的任务,并获得了最先进的马萨诸塞州建筑物数据集的结果。我们研究了局部外观与较大场景的相对重要性,以及它们在三个新建筑物数据集上的组合性能。我们清楚地证明了视觉背景与深度神经网络结合用于航空图像理解的有效性。
2016-07-19 cs.CV
Saliency-Motion Guided Trunk-Collateral Network for Unsupervised Video Object Segmentation
IEEE
针对无监督视频目标分割中运动与外观关系失衡及光流质量不稳的问题,提出SMTC-Net,通过主干-侧支结构与ISRM实现SOTA性能。
2025-05-15 cs.CV cs.LG
A Novel Unified Architecture for Low-Shot Counting by Detection and Segmentation
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
针对少样本计数中现有方法过度泛化、假阳性多及代理损失导致计数次优的问题,提出GeCo统一架构,通过密集目标查询泛化原型并设计直接优化检测的计数损失,在总计数MAE上超越领先方法约25%。
2024-11-28 cs.CV
Trichomonas Vaginalis Segmentation in Microscope Images
Qingdao Huajing Biotechnology CO., LTD(青岛华景生物科技有限公司);Ocean University of China(海洋大学);Qingdao University of Science and Technology(青岛科技大学);Inception Institute of Artificial Intelligence(创启人工智能研究院)
针对阴道毛滴虫分割(TVS)面临的细胞相似性高、外观变异大及缺乏大规模标注数据等挑战,本文构建首个大规模数据集TVMI3K,并提出含高分辨率融合和前景-背景注意力模块的TVNet模型,其分割性能优于前沿目标检测模型。
2022-07-03 cs.CV
Towards Motion-aware Referring Image Segmentation
Seoul National University(首尔国立大学);AIM Intelligence(AIM智能)
本文提出MRaCL方法,通过多模态径向对比学习提升运动相关查询的指认图像分割性能,并引入M-Bench基准测试运动主导的物体区分。
2026-03-18 cs.CV
GASNet: Weakly-supervised Framework for COVID-19 Lesion Segmentation
Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学)
胸部CT容积中感染区域的分割对于COVID-19患者的进一步诊断和治疗具有重要意义。由于病变形状复杂、外观多变,通常需要大量的体素级标记样本来训练病变分割网络,这是发展基于深度学习的医学图像分割算法的主要瓶颈。在本文中,我们提出了一个弱监督的病变分割框架,将生成对抗训练过程嵌入到分割网络中,称为GASNet。GASNet经过优化,可通过分割器分割COVID-19 CT的病变区域,并通过生成器将异常外观替换为生成的正常外观,因此恢复的CT体积无法通过重建器与健康CT体积区分开来。GASNet由许多健康和COVID-19受试者的胸部CT体积监督,没有体素级注释。在三个公共数据库上的实验表明,当使用少至一个体素级标记样本时,GASNet的性能与在数十个体素级标记样本上训练的全监督分割算法相当。
2020-10-19 cs.CV cs.LG eess.IV
The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos
Microsoft Research Asia(微软亚洲研究院);John Hopkins University(约翰斯·霍普金斯大学);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
人类可以很容易地分割移动的物体,而不知道它们是什么。连续的视觉观察可以产生对象,这促使我们从未标记的视频中同时建模分组和运动。我们的前提是,一个视频有不同的意见,相同的场景相关的移动组件,和正确的区域分割和区域流将允许相互视图合成,可以检查从数据本身没有任何外部监督。我们的模型从两个独立的路径开始:一个外观路径,为单个图像输出基于特征的区域分割,一个运动路径,为一对图像输出运动特征。然后,它将它们绑定在一个称为分段流的联合表示中,该表示将每个区域上的流偏移合并起来,并为整个场景提供移动区域的总体特征。通过训练模型,以最大限度地减少基于段流的视图合成错误,我们的外观和运动路径自动学习区域分割和流估计,而无需分别从低级别边缘或光流建立它们。我们的模型展示了令人惊讶的出现在外观路径中的对象,超越了以前的作品从图像中的zero-shot对象分割,从视频中的运动对象分割与无监督测试时自适应,和语义图像分割的监督微调。我们的工作是第一个真正的端到端的zero-shot对象分割视频。它不仅为分割和跟踪开发了通用对象,而且在没有增强工程的情况下优于流行的基于图像的对比学习方法。
2021-11-11 cs.CV cs.LG
Video K-Net: A Simple, Strong, and Unified Baseline for Video Segmentation
Peking University(北京大学);Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Lab(上海人工智能实验室)
本文介绍了视频K-Net,一个简单,强大,统一的框架,完全端到端的视频全景分割。该方法建立在K-Net之上,K-Net是一种通过一组可学习的内核统一图像分割的方法。我们观察到,这些来自K-Net的可学习内核(对对象外观和上下文进行编码)可以自然地将视频帧中的相同实例关联起来。受到这一观察的启发,视频K-Net学会了通过简单的基于内核的外观建模和跨时间内核交互来同时分割和跟踪视频中的“事物”和“东西”。尽管简单,它实现了国家的最先进的视频全景分割的结果城市景观VPS,KITTI-STEP和VIPSeg没有花里胡哨。特别是在KITTI-STEP上,该方法比以往的方法提高了近12%的相对性能。在VIPSeg上,视频K-Net提高了近15%的相对改进,并导致39.8%的VPQ。我们还验证了它的泛化视频语义分割,我们提高了2%的VSPW数据集上的各种基线。此外,我们将K-Net扩展到剪辑级视频框架中进行视频实例分割,其中我们在YouTube-2019验证集上获得了ResNet 50骨干的40.5% mAP和Swin-base的54.1% mAP。我们希望这种简单而有效的方法可以作为统一的视频分割设计的一个新的,灵活的基线。代码和模型都在https://github.com/lxtGH/Video-K-Net上发布。
2022-10-19 cs.CV
PanoNet: Real-time Panoptic Segmentation through Position-Sensitive Feature Embedding
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
我们提出了一个简单,快速,灵活的框架,同时产生语义和实例掩码的全景分割。我们的方法称为PanoNet,采用了一种干净自然的结构设计,纯粹作为分割任务来解决问题,而无需耗时的检测过程。我们还介绍了位置敏感的嵌入,例如分组占对象的外观和空间位置。总的来说,PanoNet可以实时的【形】生成高分辨率Cityscapes图像的高全景质量结果,明显快于具有可比性能的所有其他方法。我们的方法很好地满足了自动驾驶和增强现实等许多应用的实际速度和内存要求。
2020-08-01 cs.CV
Geometry-aware Prototype Learning for Cross-domain Few-shot Medical Image Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
本文提出GeoProto框架,通过引入几何结构先验提升跨域少样本医学图像分割性能,实验显示其在多个数据集上达到最优效果。
2026-05-11 cs.CV
Full-Duplex Strategy for Video Object Segmentation
Nankai University(南开大学);Wuhan University(武汉大学);Sichuan University(四川大学);Peng Cheng Laboratory(鹏城实验室);IIAI(人工智能研究院)
提出全双工策略网络FSNet,通过关系交叉注意力模块和双向净化模块实现运动与表观特征的双向传播与净化,在视频目标分割与显著目标检测任务中取得优异性能。
2021-09-03 cs.CV
Few-shot Semantic Segmentation with Support-induced Graph Convolutional Network
University of Amsterdam(阿姆斯特丹大学);Nanjing University(南京大学);The Netherlands Cancer Institute(荷兰癌症研究所)
针对少样本语义分割中外观差异导致匹配不可靠的问题,提出支持诱导的图卷积网络(SiGCN),通过图推理和实例关联模块挖掘查询上下文,在PASCAL-5i和COCO-20i上取得最优性能。
2023-03-15 cs.CV
Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation
POSTECH(浦项科技大学);POSCO DX(浦项制铁DX公司);Chung-Ang University(中央大学);Seoul National University(首尔国立大学)
研究将大视图合成模型从外观渲染扩展到3D场景理解,提出复用冻结模型传播全景标签的分割管道,无需3D重建和特定训练,在ScanNet和Replica数据集上实验,分割质量佳且新视图合成表现优。
2026-07-23 cs.CV
Semantic Implicit Neural Scene Representations With Semi-Supervised Training
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
隐式神经场景表示最近的成功为我们如何捕获和存储3D场景提供了一种可行的新方法。与传统的3D表示(例如点云)不同,这些隐式表示将场景属性明确存储在离散的局部单元中,这些隐式表示将场景编码在神经网络的权重中,可以在任何坐标处查询该权重以产生这些相同的场景属性。到目前为止,隐式表示主要被优化为仅估计场景中的外观和/或3D几何信息。我们采取下一步,并证明现有的隐式表示(SRN)实际上是多模态的,它可以进一步利用来执行每点语义分割,同时保留其表示外观和几何形状的能力。为了实现这种多模态的行为,我们利用一个半监督学习策略,现有的预训练的场景表示。我们的方法是简单的,通用的,只需要几十个标记的二维分割掩模,以实现密集的三维语义分割。我们探索了两个新的应用,这种语义感知隐式神经场景表示:3D新的视图和语义标签合成只给一个单一的输入RGB图像或2D标签掩码,以及3D插值的外观和语义。
2021-01-17 cs.CV
Better Image Segmentation by Exploiting Dense Semantic Predictions
Beihang University(北京航空航天大学);UCL(伦敦大学学院)
人们普遍认为,图像分割可以受益于利用多级线索。本文重点研究了在自底向上的图像分割中利用基于模糊神经网络的密集语义预测,认为从一开始就考虑语义线索。通过这种方式,我们可以避免合并外观相似但语义类别不同的区域。语义效率低下的问题得到了解决。我们还提出了一种简单的方法来使用轮廓线索来抑制多级线索中的噪声,从而提高分割的鲁棒性。在BSDS500上的性能评估表明,本文的算法得到了竞争区域和边界性能。此外,由于在计算过程中可以为所有单独的区域分配适当的语义标签,因此我们能够提取调整后的语义分割。在Pascal VOC 2012上的实验表明,我们对直接来自密集预测的原始语义分割进行了改进。
2016-06-05 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
在这项工作中,我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似,该方法将前一帧的掩码概率图和当前帧的外观作为输入,并预测当前帧的掩码概率图。具体来说,我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外,我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入,而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测,以便检索和分割丢失的实例。
2018-10-24 cs.CV
SeaVIS: Sound-Enhanced Association for Online Audio-Visual Instance Segmentation
SeaVIS通过引入因果交叉注意力融合模块和音频引导对比学习策略,实现了高效的在线音频视觉实例分割,提升了声音跟随能力并保持了实时处理性能。
2026-03-02 cs.CV
segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection
University of Toronto(多伦多大学)
在本文中,我们提出了一种方法,利用对象分割,以提高目标检测的准确性。我们框架的问题,在马尔可夫随机场的推理,其中每个检测假设得分对象的外观以及上下文信息使用卷积神经网络,并允许该假设选择和评分的一个大池的准确的对象分割建议的一段。这使得探测器能够在获得额外证据时将其纳入,从而导致更准确的探测。我们的实验显示,在PASCAL VOC 2010上,mAP比R-CNN基线提高了4.1%,比目前最先进的提高了3.4%,证明了我们方法的强大性。
2015-02-15 cs.CV
Automatic Spatially-Adaptive Balancing of Energy Terms for Image Segmentation
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙弗雷泽大学)
图像分割技术主要是基于参数负载优化。目标函数通常涉及用于平衡竞争图像保真度和分割正则化成本项的权重。适当地设定这些权重是一个艰苦的经验过程。即使这样的理想的权重被发现的一个新的图像,大多数目前的方法固定的权重在整个图像域,忽略了对象的形状和图像外观的空间变化的属性。我们提出了一种新的技术,自主平衡这些条款在空间自适应的方式,通过将图像的可靠性在一个基于图形的分割框架。我们在合成数据上进行验证,与最佳固定参数分割相比,平均误差降低了47%(p值<< 0.05)。我们还介绍了医学图像(包括MRI数据中胼胝体和脑组织的分割)和自然图像的结果。
2009-06-23 cs.CV
Beyond Semantic Image Segmentation : Exploring Efficient Inference in Video
University of California San Diego(加州大学圣地亚哥分校);Cornell NYC Tech(康奈尔大学纽约科技校区)
我们探讨的CRF推理模块的效率超越图像级语义分割。其核心思想是将语义联合标记和利用更具表达力的模型这两个世界中的最佳部分结合起来。与[Alvarez 14]类似,我们的公式使我们能够在几秒钟内对一万张图像进行推理。另一方面,它可以处理类似于[vineet 2014]的高阶团势,在区域级标签一致性和同现上下文方面。我们遵循类似于[vineet 2014]的高阶势的平均场更新,并扩展空间平滑度和外观内核[DenseCRF 13]以解决受[Alvarez 14]启发的视频数据;从而使系统能够最有效地执行视频语义分割。
2015-07-01 cs.CV
Learning Motion and Temporal Cues for Unsupervised Video Object Segmentation
School of Information and Communication Engineering, Dalian University of Technology(大连理工大学信息与通信工程学院)
针对无监督视频对象分割任务,提出融合运动与时间线索的MTNet算法,通过编码器特征融合、时间transformer和级联解码器实现优异性能,且可适配视频显著目标检测任务。
2025-01-14 cs.CV
Fully Convolutional Adaptation Networks for Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
深度神经网络的最新进展令人信服地证明了在大型数据集上学习视觉模型的高能力。然而,收集专家标记的数据集,特别是具有像素级注释的数据集是一个极其昂贵的过程。一种吸引人的替代方案是呈现合成数据(例如,计算机游戏)并自动生成地面实况。然而,简单地应用在合成图像上学习的模型可能由于域移位而导致在真实图像上的高泛化误差。在本文中,我们从视觉外观级和表征级的领域自适应的角度来促进这个问题。前者适应源域图像看起来好像是从目标域中的“风格”中绘制的,后者试图学习域不变表示。具体来说,我们提出了全卷积自适应网络(FCAN),一种新的深度架构的语义分割,它结合了外观自适应网络(AAN)和表示自适应网络(RAN)。AAN在像素空间中学习从一个域到另一个域的变换,RAN以对抗学习的方式进行优化,以最大限度地利用学习的源和目标表示来欺骗域。从GTA 5(游戏视频)转移到城市景观(城市街道场景)的语义分割进行了广泛的实验,我们的建议取得了优异的结果相比,国家的最先进的无监督适应技术。更值得注意的是,我们获得了一个新的记录:在无人监督的情况下,BDDS(驱动摄像头视频)上的mIoU为47.5%。
2018-04-23 cs.CV
Semantic Segmentation Refinement by Monte Carlo Region Growing of High Confidence Detections
Marquette University(马凯特大学)
尽管最近使用全卷积网络进行了改进,但一般来说,由大多数最先进的语义分割方法产生的分割并未显示出对对象边界的令人满意的粘附。我们提出了一种方法来细化这种深度学习模型生成的分割结果。我们的方法将像素密集分割网络生成的置信度分数作为输入,并重新标记置信度较低的像素。重新标记方法采用区域生长机制,将这些像素聚合到具有高置信度分数和相似外观的相邻区域。为了纠正语义分割算法在高置信度下错误分类的像素标签,我们通过对区域种子进行蒙特卡罗采样来生成多个区域生长步骤。我们的方法提高了最先进的完全卷积语义分割方法在公开可用的COCO和PASCAL数据集上的准确性,并且在精细注释的DAVIS数据集的选定序列上显示出明显更好的结果。
2018-02-21 cs.CV
Efficient Unsupervised Video Object Segmentation Network Based on Motion Guidance
Unicom (Shanghai) Industry Internet Co., Ltd.(联通(上海)产业互联网有限公司)
由于无监督视频目标检测的性能限制问题,限制了其大规模应用。针对这一痛点,我们提出了另一种解决这一问题点的优秀方法。通过在无监督视频目标检测中引入运动特征,提高了检测精度,同时减少了网络的计算量。整个网络结构由双流网络、运动引导模块和多尺度渐进融合模块组成。通过双流网络获得检测目标的外观和运动表示。然后,通过运动引导模块中的局部注意力机制获取运动表征的语义特征,得到外观表征的高层语义特征。多尺度渐进融合模块则进一步融合双流网络中不同深度语义特征的特征,以提高整体网络的检测效果。我们在DAVIS 16、FBMS和ViSal三个数据集上进行了大量实验。验证结果表明,该方法具有较高的精度和性能,证明了算法的优越性和鲁棒性。
2022-11-21 cs.CV
MSSSeg: Learning Multi-Scale Structural Complexity for Self-Supervised Segmentation
Department of Electrical and Computer Engineering, The University of Arizona(电气与计算机工程系,亚利桑那大学);Department of Mathematics, The University of Arizona(数学系,亚利桑那大学);Department of Computer Science, East Carolina University(计算机科学系,东卡罗来纳大学);VCIP, CS, Nankai University(南开大学)
本文提出MSSSeg框架,通过多尺度结构复杂性学习解决自监督分割中的结构误差问题,提升分割精度与鲁棒性。
2026-03-14 cs.CV
Learning a Spatio-Temporal Embedding for Video Instance Segmentation
University of Cambridge(剑桥大学)
本文提出了一种新的视频实例分割嵌入方法。我们的方法学习时空嵌入,整合来自外观,运动和几何形状的线索; 3D因果卷积网络模型运动,以及单目自监督深度损失模型几何形状。在这个嵌入空间中,同一实例的视频像素被聚类在一起,同时与其他实例分离,以便随着时间的推移自然地跟踪实例,而无需任何复杂的后处理。我们的网络是实时运行的,因为我们的架构完全是因果关系的-与以前的方法相反,我们不包含来自未来帧的信息。我们表明,我们的模型可以准确地跟踪和分割实例,即使有遮挡和遗漏的检测,推进了KITTI多对象和跟踪数据集的最新技术。
2019-12-19 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente(特文特大学);Wuhan University(武汉大学)
近年来,视频对象分割(VOS),即从背景中分割出前景对象的任务,受到了相当大的关注。在本文中,我们提出了一个端到端的可训练深度神经网络,卷积门控递归Mask-RCNN,用于解决半监督VOS任务。我们利用实例分割网络(Mask-RCNN)和视觉记忆模块(Conv-GRU)来处理VOS任务。实例分割网络为实例预测掩模,而视觉记忆模块学习同时为多个实例选择性地传播信息,处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后,我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual Localization
Chalmers University of Technology(查尔姆斯理工大学)
长期视觉定位是在外观随时间变化的场景中估计给定查询图像的相机姿态的问题。这是实践中的一个重要问题,例如在自动驾驶中遇到的问题。为了获得对这种变化的鲁棒性,长期定位方法通常使用分段分割作为不变的场景表示,因为每个场景部分的语义含义不应受到季节和其他变化的影响。然而,由于可用类别的数量有限,这些表示通常不是非常有区别的。在本文中,我们提出了一种新的神经网络,细粒度分割网络(FGSN),可用于提供图像分割与大量的标签,并可以在一个自我监督的方式进行训练。此外,我们还展示了如何训练FGSN在季节变化中输出一致的标签。我们通过大量的实验证明,将我们的FGSN产生的细粒度分割集成到现有的定位算法中,可以大大提高定位性能。
2019-08-18 cs.CV
TransCut: Transparent Object Segmentation from a Light-Field Image
Kyushu University(九州大学)
透明物体的分割在计算机视觉应用中非常有用。然而,由于它们从背景中借用纹理,并且与周围环境具有相似的外观,因此透明对象无法通过常规图像分割方法很好地处理。我们提出了一种方法,克服了这些问题,利用光场图像的一致性和失真特性。图割优化应用于像素标记问题。光场线性度用于估计像素属于透明对象或朗伯背景的可能性,并且遮挡检测器用于找到遮挡边界。我们获取透明物体的光场数据集,并使用该数据集来评估我们的方法。实验结果表明,该方法能够有效地将透明物体从背景中分割出来。
2015-11-21 cs.CV
Detachable Object Detection: Segmentation and Depth Ordering From Short-Baseline Video
我们描述了一种用于将图像分割成对应于场景中的部分被介质包围的表面的区域的方法。它将外观和运动统计集成到一个成本函数中,该成本函数与遮挡区域一起播种,并通过求解线性规划问题有效地最小化。在短的观察时间不足以确定对象是否是可拆卸的情况下,最小化的结果可以用于基于较长的视频数据序列来播种更昂贵的优化。其结果是一个完全无监督的计划,以检测和分割任意和未知数量的对象。我们测试我们的计划,以突出的潜力,以及我们的方法的局限性。
2011-09-22 cs.CV
MVMO: A Multi-Object Dataset for Wide Baseline Multi-View Semantic Segmentation
TECNALIA - Basque Research and Technology Alliance (BRTA)(泰克纳利亚-巴斯克研究与技术联盟(BRTA));Computer Vision Center(计算机视觉中心)
我们提出了MVMO(多视图,多对象数据集):116,000个场景的合成数据集,包含随机放置的10个不同类别的对象,并从上半球的25个摄像机位置捕获。MVMO包括真实感、路径跟踪图像渲染以及每个视图的语义分割基础事实。与现有的多视图数据集不同,MVMO具有相机之间的宽基线和高密度的对象,这导致大的差异,严重的遮挡和依赖于视图的对象外观。单视图语义分割受到自身和对象间遮挡的阻碍,这些遮挡可以受益于附加视点。因此,我们期望MVMO将推动多视图语义分割和跨视图语义迁移的研究。我们还提供了基线,表明在这些领域需要新的研究,以利用多视图设置的互补信息。
2022-05-30 cs.CV
Integrating semi-supervised label propagation and random forests for multi-atlas based hippocampus segmentation
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);School of Computer and Control Engineering, Yantai University(烟台大学计算机与控制工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
在基于模式识别的标签融合框架下,将半监督标签传播方法和监督随机森林方法相结合,提出了一种新的基于多图谱的图像分割方法.半监督标签传播方法考虑要分割的图像的局部和全局图像外观,并且通过传播由监督随机森林方法获得的可靠分割结果来分割图像。特别地,使用随机森林方法来训练回归模型,所述回归模型基于针对要分割的图像的每个体素的图谱图像的图像块。回归模型用于获得可靠的分割结果,以指导用于分割的标签传播。所提出的方法进行了比较与国家的最先进的多图集为基础的图像分割方法分割的海马在MR图像。实验结果表明,该方法具有较好的分割效果。
2017-12-31 cs.CV
Splicing ViT Features for Semantic Appearance Transfer
Weizmann AI Center (WAIC), Dept. of Computer Science and Applied Math, The Weizmann Inst. of Science(魏茨曼科学研究所人工智能中心(WAIC),计算机科学与应用数学系)
我们提出了一种方法,语义转移的视觉外观的一个自然图像到另一个。具体来说,我们的目标是生成一个图像,其中源结构图像中的对象被“涂”上目标外观图像中语义相关对象的视觉外观。我们的方法通过训练生成器来工作,只给出单个结构/外观图像对作为输入。为了将语义信息集成到我们的框架中-解决此任务的关键组件-我们的关键思想是利用预先训练和固定的视觉Transformer(ViT)模型,该模型用作外部语义先验。具体来说,我们从深度ViT特征中提取出结构和外观的新表示,从学习的自我注意模块中解扭它们。然后,我们建立一个目标函数,拼接所需的结构和外观表示,交织在一起的ViT功能的空间。我们的框架,我们称之为“拼接”,不涉及对抗训练,也不需要任何额外的输入信息,如语义分割或对应关系,并且可以生成高分辨率的结果,例如,在HD工作我们在各种野外图像对上展示了高质量的结果,这些图像对在对象数量、姿态和外观方面存在显著变化。
2022-01-02 cs.CV
Level set image segmentation with velocity term learned from data with applications to lung nodule segmentation
Florida State University(佛罗里达州立大学)
目的:肺结节分割,即肺结节表面的算法描绘是计算结节分析流水线的基本组成部分。我们提出了一种新的分割方法,这是一个基于机器学习的扩展目前的方法,使用标记的图像的例子,以提高其准确性。方法:我们引入了标准水平集图像分割方法的扩展,其中速度函数通过机器学习回归方法从数据中学习,而不是先验设计。相反,该方法采用一组特征来学习引导水平集从初始化演化的速度函数。结果如下:我们将该方法应用于公开可用的LIDC数据集中的CT扫描的肺结节的图像体积,获得了0.7185($\pm$ 0.1114)的平均交集,这与其他方法相比具有竞争力。我们分析了分割性能的解剖和外观为基础的类别的结节,发现该方法执行更好的孤立结节与明确的利润。我们发现,在更复杂的环境中,并具有更复杂的CT外观结节的分割性能得到改善,增加了组合的全局-局部功能。结论:本文提出的水平集机器学习分割方法与现有方法相比具有竞争力。它在各种解剖学背景下提供准确的肺结节分割结果。
2021-01-19 cs.CV cs.LG eess.IV
Cross-modal tumor segmentation using generative blending augmentation and self training
LaTIM;Inserm(法国国家健康与医学研究院);Université de Bretagne Occidentale(西布列塔尼大学);IMT Atlantique(大西洋电信学院);CHRU Brest University Hospital(布雷斯特大学中心医院)
本文针对跨模态肿瘤分割中数据稀缺和域偏移问题,提出生成式混合增强(GBA)结合迭代自训练的方法,并在MICCAI CrossMoDA 2022挑战赛前庭神经鞘瘤分割任务中取得第一名。
2024-03-29 cs.CV eess.IV
4D-Former: Multimodal 4D Panoptic Segmentation
Waabi(瓦比公司);University of Toronto(多伦多大学);RWTH Aachen University(亚琛工业大学)
提出4D-Former多模态4D全景分割方法,融合LiDAR与图像特征预测语义及时间一致对象掩码,在nuScenes和SemanticKITTI数据集上取得最先进结果。
2023-11-17 cs.CV cs.RO