CRNet: Cross-Reference Networks for Few-Shot Segmentation
Nanyang Technological University(南洋理工大学);A*Star(新加坡科技研究局)
在过去的几年中,最先进的图像分割算法是基于深度卷积神经网络的。为了渲染具有理解概念能力的深度网络,人类需要收集大量像素级注释数据来训练模型,这是耗时且繁琐的。近年来,Few-Shot分割方法被提出来解决这一问题。Few-Shot分割的目标是学习一个分割模型,该模型可以推广到只有少量训练图像的新类别。在本文中,我们提出了一个交叉引用网络(CRNet)的Few-Shot分割。与以前的作品只预测查询图像中的掩码不同,我们提出的模型同时对支持图像和查询图像进行预测。通过交叉引用机制,我们的网络可以更好地找到两幅图像中的共现对象,从而帮助Few-Shot分割任务。我们还开发了一个掩模细化模块来循环地细化前景区域的预测。对于$k$ -shot学习,我们建议微调网络的部分,以利用多个标记的支持图像。在PASCAL VOC 2012数据集上的实验表明,我们的网络达到了最先进的性能。
2020-03-24 cs.CV
ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
ProSAM通过变分提示编码器预测多元提示分布,避免生成不稳定区域提示,从而增强基于SAM的视觉参考分割的鲁棒性,并在Pascal-5$^i$和COCO-20$^i$数据集上超越现有方法。
2025-08-03 cs.CV
ResiDualGAN: Resize-Residual DualGAN for Cross-Domain Remote Sensing Images Semantic Segmentation
Institute of Remote Sensing and Geographic Information System, Peking University(北京大学遥感与地理信息系统研究所)
在一个已标注数据集上预训练的遥感图像语义分割模型在另一个未标注数据集上测试时,由于领域差距的存在,其性能会大大降低。对抗性生成方法,例如,DualGAN用于不成对的图像到图像的转换,以最小化像素级域间隙,这是无监督领域自适应(UDA)的常用方法之一。然而,现有的图像平移方法在进行遥感图像平移时面临两个问题:1)忽略了两个遥感数据集之间的尺度差异,这极大地影响了尺度不变对象的精度性能; 2)忽略了遥感图像的实-实平移特性,这给模型的训练带来了不稳定因素。本文提出了一种用于遥感图像翻译的ResidDualGAN算法,其中网络内的尺寸调整器模块用于解决遥感数据集的尺度差异问题,残差连接用于增强实景图像翻译的稳定性和提高跨域语义分割任务的性能。该方法结合输出空间自适应方法,极大地提高了在常用基准测试中的精度性能,验证了ResiDuanGAN的优越性和可靠性。最后,本文还对ResidualGAN的改进进行了深入的讨论,给出了合理的解释。我们的源代码可以在https://github.com/miemieyanga/ResiDualGAN-DRDG上找到。
2022-10-28 cs.CV
Road Surface Translation Under Snow-covered and Semantic Segmentation for Snow Hazard Index
Yachiyo Engineering, Co.,Ltd.(八千代工程株式会社)
2020年,由于气候变化,出现了创纪录的大雪。实际上,2,000辆汽车在高速公路上被困了三天。因路面结冰,10辆车发生撞球事故。道路管理人员必须提供指示器,提醒司机注意危险地点的积雪。这项研究提出了一个带有实时图像后处理的深度学习应用程序,以自动计算雪害比指标。首先,隐藏在雪下的路面使用生成对抗网络pix 2 pix进行翻译。其次,积雪和路面类检测语义分割使用DeepLabv 3+与MobileNet作为骨干。基于这些训练好的网络,我们自动计算道路积雪率危险指数,表明路面上覆盖的积雪量。我们展示了应用结果的1,155个生活在日本寒冷地区的雪图像。我们提到了我们的研究的实用性和实际鲁棒性。
2021-03-01 cs.CV
Bridging Modalities and Tasks: A Unified Hierarchical ViT for SAR-to-Optical Translation and Semantic Segmentation
School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Cybersecurity, Northwestern Polytechnical University(西北工业大学网络空间安全学院)
本文提出BMT统一协同双任务学习框架,通过共享分层视觉Transformer联合优化SAR到光学图像转换与语义分割,在配对、非配对数据集上均取得良好效果,相关代码与数据集已公开。
2026-11-13 cs.CV
Learning to adapt class-specific features across domains for semantic segmentation
Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心);McGill University(麦吉尔大学)
无监督领域自适应的最新进展已经表明对抗训练在跨领域适应特征方面的有效性,赋予神经网络在目标领域上进行测试的能力,而无需在该领域中进行任何训练注释。现有的大多数领域自适应模型依赖于图像翻译网络,其中通常包含大量的特定于领域的参数。此外,特征自适应步骤通常在粗略的级别上全局发生,阻碍了其对诸如语义分割之类的任务的适用性,其中细节对于提供清晰的结果至关重要。在这篇论文中,我们提出了一个新的架构,它学习适应跨域的功能,考虑到每类信息。为此,我们设计了一个有条件的逐像素网络,其输出取决于分割掩码。此外,随着图像翻译的最新进展,我们采用了最近推出的StarGAN架构作为图像翻译骨干,因为它能够通过单个生成器网络跨多个域执行翻译。分割任务的初步结果旨在评估所提出的方法的有效性,突出了模型的潜力,提高了强基线和替代设计。
2020-01-22 cs.CV
No time to train! Training-Free Reference-Based Instance Segmentation
School of Engineering, University of Edinburgh, Scotland, UK(爱丁堡大学工程学院);School of Computing Science, University of Glasgow, Scotland, UK(格拉斯哥大学计算科学学院);Meta
本研究提出一种无需训练的实例分割方法,利用语义先验和多阶段流程,通过参考图像生成分割掩码,提升分割性能。
2026-02-03 cs.CV
Bidirectional Learning for Domain Adaptation of Semantic Segmentation
UC San Diego(加州大学圣地亚哥分校);Microsoft(微软)
领域自适应对于语义图像分割是非常必要的,因为用像素级标签手动标记大数据集是昂贵且耗时的。现有的领域自适应技术要么在有限的数据集上工作,要么与监督学习相比,产生不那么好的性能。在本文中,我们提出了一种新的双向学习框架的领域自适应分割。利用双向学习,图像平移模型和分割自适应模型可以交替学习,相互促进。此外,我们提出了一个自监督学习算法来学习一个更好的分割自适应模型,并反过来改善图像的翻译模型。实验结果表明,该方法在大边缘分割的领域自适应方面优于现有方法。源代码可在https://github.com/liyunsheng13/BDL上获得。
2019-04-24 cs.CV
Segmentation by registration-enabled SAM prompt engineering using five reference images
University College London(伦敦大学学院);Royal National Orthopaedic Hospital(皇家国立骨科医院)
针对SAM在医学图像分割中需微调及对修复后软骨等结构分割困难的问题,提出一种基于配准的提示工程框架,仅需五张带点提示的参考图像且无需分割标签,即可有效提示SAM进行分割,其性能优于基于图谱的标签融合且媲美有监督nnUNet。
2024-07-25 cs.CV
HARIS: Human-Like Attention for Reference Image Segmentation
Xiao Ying Company(小影公司)
针对现有参考图像分割方法自底向上融合特征易引入无关图文对的问题,提出引入类人注意力机制、结合PEFT框架的HARIS方法,在多个基准上实现SOTA性能并保留良好零样本能力。
2024-05-21 cs.CV
One-Shot Instance Segmentation
University of Tübingen(图宾根大学)
我们解决了一次性实例分割的问题:给定一个新的,以前未知的对象类别的示例图像,在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务,我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN,使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果,突出了一次性设置的挑战:虽然将有关实例分割的知识转移到新的对象类别效果很好,但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割,并有望激发进一步研究更强大和灵活的景物分析算法。代码可在:https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
UniRef++: Segment Every Reference Object in Spatial and Temporal Spaces
The University of Hong Kong(香港大学);ByteDance(字节跳动);Dalian University of Technology(大连理工大学);Shanghai AI Laboratory(上海人工智能实验室)
UniRef++通过统一架构和UniFusion多路融合模块,将四种基于参考的分割任务整合,实现多任务联合训练与灵活推理,并在RIS和RVOS上达到最先进性能。
2023-12-25 cs.CV
Lost in Translation? Vocabulary Alignment for Source-Free Adaptation in Open-Vocabulary Semantic Segmentation
The Good AI Lab(好AI实验室);ETH Zurich(苏黎世联邦理工学院);AMD Silo AI;Google(谷歌);Technical University of Munich(慕尼黑技术大学);INSAIT, Sofia University, St. Kliment Ohridski(INSAIT,索菲亚大学,圣克莱孟·奥赫里茨基);University of Bologna(博洛尼亚大学)
针对开放词汇语义分割中 VLM 的无源域适应问题,提出 VocAlign 框架,结合词汇对齐师生范式、LoRA 微调与 Top-K 类别选择,在 CityScapes 上提升 6.11 mIoU 并取得优异零样本性能。
2025-09-29 cs.CV
Label-Driven Reconstruction for Domain Adaptation in Semantic Segmentation
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
无监督领域自适应使得能够减轻在语义分割中对逐像素注释的需要。最常见的策略之一是将图像从源域转换到目标域,然后使用对抗学习在特征空间中对齐它们的边缘分布。然而,由于源域的主要数据大小,源到目标的翻译扩大了翻译图像中的偏差,并引入了额外的计算。此外,通过全局特征对齐不能保证源域和目标域中联合分布的一致性。在这里,我们提出了一个创新的框架,旨在减轻图像翻译偏见,并将跨域特征与同一类别对齐。这是通过以下方式实现的:1)执行目标到源的转换,以及2)从源图像和目标图像的预测标签重建源图像和目标图像。从合成到真实城市场景理解的大量实验表明,我们的框架与现有的最先进的方法竞争。
2020-08-23 cs.CV
Bilateral Reference for High-Resolution Dichotomous Image Segmentation
Nankai University(南开大学);Northwest Polytechnical University(西北工业大学);National University of Defense Technology(国防科技大学);Aalto University(艾尔沃斯大学);Shanghai AI Laboratory(上海人工智能实验室);University of Trento(特伦特大学)
本文提出BiRefNet双边参考框架,通过定位模块、双边参考重建模块及辅助梯度监督提升高分辨率二分图像分割性能,并在四项任务的所有基准上超越前沿方法。
2025-07-25 cs.CV
STARS: Shared-specific Translation and Alignment for missing-modality Remote Sensing Semantic Segmentation
State Key Laboratory of information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(测绘遥感信息工程国家重点实验室,武汉大学);Electronic Information School, Wuhan University(电子信息学院,武汉大学);Hubei FreerTech Co. Ltd(湖北弗瑞特科技有限公司)
STARS通过共享-特定翻译与对齐机制,解决多模态遥感中缺失模态带来的语义分割问题,提升鲁棒性和类别识别能力。
2026-01-24 cs.CV
MS-MT: Multi-Scale Mean Teacher with Contrastive Unpaired Translation for Cross-Modality Vestibular Schwannoma and Cochlea Segmentation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
域偏移一直是医学图像分割的一个长期问题。最近,无监督域自适应(UDA)方法通过将知识从标签丰富的源域提取到没有标签的目标域,实现了有希望的跨模态分割性能。在这项工作中,我们提出了一个基于多尺度自集成的UDA框架,用于自动分割两个关键的大脑结构,高分辨率T2图像上的前庭神经鞘瘤(VS)和耳蜗。首先,分割增强的对比度不成对图像翻译模块被设计用于从源T1到目标T2的图像级域自适应。接下来,多尺度深度监督和一致性正则化被引入到用于自集成学习的平均教师网络中,以进一步缩小领域差距。此外,自我训练和强度增强技术被用来减轻标签稀缺性和提高跨模态分割性能。在crossMoDA 2022挑战的验证阶段,我们的方法表现出了良好的分割性能,平均Dice得分为83.8%和81.4%,VS和Cochina的平均不对称表面距离(ASSD)分别为0.55 mm和0.26 mm。
2023-03-28 cs.AI cs.CV eess.IV
GET: Generative Embedding Translation for Medical Image Segmentation
Texas A&M University(德克萨斯农工大学);Alfa Laval(阿法拉伐)
该研究提出GET框架,基于Stable Diffusion VAE的冻结潜在空间实现医学图像分割,在多数据集上优于各类基线,参数更少且域偏移下性能提升显著。
2026-08-25 cs.CV cs.LG eess.IV
LadleNet: A Two-Stage UNet for Infrared Image to Visible Image Translation Guided by Semantic Segmentation
Xi’an Technological University(西安工业大学)
针对热红外到可见光图像翻译真实感不足、泛化性差的问题,提出两阶段UNet架构LadleNet及引入预训练DeepLabv3+的LadleNet+,在KAIST数据集上SSIM和MS-SSIM指标均有显著提升。
2024-04-15 cs.CV cs.LG eess.IV
USE-Evaluator: Performance Metrics for Medical Image Segmentation Models with Uncertain, Small or Empty Reference Annotations
Stanford University(斯坦福大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);KU Leuven(鲁汶大学);gray number analytics(格雷数字分析公司)
本文提出USE-Evaluator,研究不确定、小或空参考标注对医学图像分割指标的影响,发现常见指标在临床数据上失效,呼吁重新思考评估与优化程序。
2023-09-07 cs.CV cs.LG eess.IV
ReG-SAM: Reference Graph-Driven SAM for 2D Foundational Vessel Segmentation
Leiden University Medical Center(莱顿大学医学中心)
针对现有方法难以实现跨模态通用血管分割的问题,提出基于SAM的ReG-SAM框架,利用参考图集生成图提示嵌入和血管原型嵌入,在19个数据集上超越基线,尤其擅长细薄血管分割。
2026-09-28 cs.AI cs.CV
Semantic Localization Guiding Segment Anything Model For Reference Remote Sensing Image Segmentation
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Shaanxi Satellite Application Center for Natural Resources(陕西省自然资源卫星应用中心)
针对参考遥感图像分割任务标注需求高、复杂场景解译难的问题,提出两阶段PSLG-SAM框架,粗定位结合免训练的SAM精细分割,还贡献新数据集,性能超越现有SOTA模型。
2025-06-12 cs.AI cs.CV
MatchSeg: Towards Better Segmentation via Reference Image Matching
School of Science, The Hong Kong University of Science and Technology(香港科技大学理学院);Sydney Smart Technology College, Northeastern University(东北大学悉尼智能科技学院)
针对医学图像分割依赖大量标注数据的问题,提出MatchSeg框架,结合CLIP筛选相关参考样本与联合注意力模块强化特征交互,在四个公开数据集上实现更优分割性能与域泛化能力。
2024-08-17 cs.AI cs.CV
Reference-guided Pseudo-Label Generation for Medical Semantic Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University Medicine Essen(埃森大学医学院)
对于医学成像应用来说,产生密集注释的数据是一项困难而繁琐的任务。为了解决这个问题,我们提出了一种新的方法来产生监督半监督语义分割。我们认为,标记和未标记的图像之间的视觉相似的区域可能包含相同的语义,因此应该共享它们的标签。遵循这一思想,我们使用少量的标记图像作为参考材料,并将未标记图像中的像素与参考集中最佳拟合像素的语义进行匹配。通过这种方式,我们避免了在纯粹基于预测的伪标签中常见的确认偏差等陷阱。由于我们的方法不需要任何架构更改或伴随的网络,因此可以轻松地将其插入到现有的框架中。我们在X射线解剖分割上实现了与标准完全监督模型相同的性能,尽管标记图像减少了95%。除了对我们提出的方法的不同方面进行深入分析外,我们还通过将我们的方法与现有的视网膜流体分割方法进行比较,进一步证明了我们的参考引导学习范式的有效性,因为我们在最近的工作中提高了高达15%的平均IoU。
2021-12-01 cs.AI cs.CV cs.LG
Mix and match networks: encoder-decoder alignment for zero-pair image translation
Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
我们解决的问题,域或模态之间的图像翻译没有直接配对的数据是可用的(即零对翻译)。我们提出了混合和匹配网络,基于多个编码器和解码器,以这样一种方式对齐,即其他编码器-解码器对可以在测试时组成,以在训练期间看不到显式配对样本的域或模态之间执行看不见的图像翻译任务。我们研究了自动编码器,边信息和损失在提高训练成对翻译模型对看不见的翻译的对齐和可转移性方面的影响。我们证明了我们的方法是可扩展的,可以在看不见的域组合之间执行着色和风格转换。我们在一个具有挑战性的跨模态设置中评估我们的系统,其中从深度图像估计语义分割,而无需明确访问任何深度-语义分割训练对。我们的模型优于基于pix 2 pix和CycleGAN模型的基线。
2018-04-06 cs.CV stat.ML
Deep Symmetric Adaptation Network for Cross-modality Medical Image Segmentation
Nanjing University(南京大学);Southeast University(东南大学);Shandong Women’s University(山东女子学院);Tencent Jarvis Lab(腾讯Jarvis实验室)
无监督域自适应(UDA)方法在跨模态医学图像分割任务中表现出良好的性能。这些典型的方法通常利用翻译网络将图像从源域转换到目标域,或者仅使用翻译后的源图像和原始目标图像来训练像素级分类器。然而,当源域和目标域之间存在较大的域偏移时,我们认为这种不对称结构不能完全消除域间隙。在本文中,我们提出了一种新的深度对称架构的UDA医学图像分割,它包括一个分割子网络,两个对称的源和目标域的翻译子网络。具体来说,基于两个翻译子网络,我们引入了一种双向对齐方案,通过共享编码器和私有解码器同时对齐1)从源到目标域和2)从目标到源域的特征,这有助于有效地减轻域之间的差异。此外,对于分割子网络,我们训练像素级分类器,不仅使用原始目标图像和翻译后的源图像,而且使用原始源图像和翻译后的目标图像,这有助于充分利用来自不同风格的图像的语义信息。大量的实验表明,我们的方法具有显着的优势相比,国家的最先进的方法在跨模态心脏和BraTS分割任务。
2021-01-18 cs.CV eess.IV
Towards Surgical Context Inference and Translation to Gestures
University of Virginia(弗吉尼亚大学);IBM(国际商业机器公司)
在机器人辅助手术中手动标记手势是劳动密集型的,容易出错,并且需要专业知识或培训。我们提出了一种自动化和可解释的生成手势成绩单,利用丰富的数据进行图像分割的方法。通过检查工具和对象之间的距离和交点,使用分割掩模检测手术背景。接下来,使用基于知识的有限状态机(FSM)和数据驱动的长短期记忆(LSTM)模型将上下文标签翻译成手势转录。我们通过将结果与JIGSAWS数据集中的地面真值分割掩码、共识上下文标签和手势标签进行比较,来评估我们方法每个阶段的性能。我们的研究结果表明,我们的分割模型在识别缝合中的针和线方面达到了最先进的性能,并且我们可以自动检测重要的手术状态,与众包标签(例如,缝合中抓钳和物体之间的接触)。我们还发现,FSM模型比LSTM更强大的分割和标记性能差。我们提出的方法可以显着缩短手势标记过程(~2.8倍)。
2023-03-15 cs.CV cs.LG cs.RO
Segmentation Guided Image-to-Image Translation with Adversarial Networks
Northeastern University(东北大学)
近年来,图像到图像的翻译受到越来越多的关注,它旨在将一个领域中的图像映射到另一个特定的领域。现有的方法主要通过深度生成模型来解决这个问题,并专注于探索不同领域之间的关系。然而,这些方法忽略了利用更高级别和特定于实例的信息来指导训练过程,导致生成大量不真实的低质量图像。现有的方法在平移期间也缺乏空间可控性。为了解决这些挑战,我们提出了一种新的分割引导的生成对抗网络(SGGAN),它利用语义分割,以进一步提高生成性能,并提供空间映射。特别地,分割器网络被设计为在所生成的图像上施加语义信息。多域人脸图像翻译任务的实验结果表明,我们的空间修改的能力和我们的优越性,在图像质量比几个国家的最先进的方法。
2019-01-23 cs.CV
Unified Fully and Timestamp Supervised Temporal Action Segmentation via Sequence to Sequence Translation
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Bonn(波恩大学)
本文介绍了一个统一的框架,视频动作分割通过序列到序列(seq 2seq)的翻译,在一个完全和时间戳监督设置。与当前最先进的帧级预测方法相比,我们将动作分割视为seq 2seq翻译任务,即,将视频帧序列映射到动作片段序列。我们提出的方法涉及一系列的修改和辅助损失函数的标准Transformer seq 2seq翻译模型,以应付长输入序列,而不是短输出序列和相对较少的视频。我们将通过逐帧丢失的编码器的辅助监督信号,并提出了一个单独的对齐解码器的隐式持续时间预测。最后,我们通过我们提出的约束k-medoids算法来生成伪分割,将我们的框架扩展到时间戳监督设置。我们提出的框架在完全和时间戳监督的设置上表现一致,在几个数据集上表现优于或竞争最先进的技术。我们的代码可在https://github.com/boschresearch/UVAST上公开获取。
2022-10-11 cs.CV
Semantically Adaptive Image-to-image Translation for Domain Adaptation of Semantic Segmentation
University of Parma(帕尔马大学)
领域转移是语义分割中一个非常具有挑战性的问题。任何模型都可以在人工生成图像和标签的合成数据上轻松训练,但在真实环境中部署时性能会很差。在本文中,我们解决的问题领域自适应语义分割的街道场景。许多国家的最先进的方法集中在翻译的源图像,同时强加的结果应该是语义上与输入一致。然而,我们主张,图像语义也可以用来指导翻译算法。为此,我们重新考虑生成模型,以加强这一假设,并加强像素级和特征级域对齐之间的联系。我们进行了广泛的实验,通过训练常见的语义分割模型与我们的方法,并表明,我们得到的结果上的合成到真正的基准超越了最先进的。
2020-09-02 cs.CV
Towards annotation-efficient segmentation via image-to-image translation
Ecole Polytechnique de Montreal(蒙特利尔综合理工学院);Mila(米拉(Mila)人工智能研究院);NVIDIA Corporation(英伟达公司);Centre hospitalier de l’Université de Montréal(蒙特利尔大学医疗中心)
通常在医学成像中,产生足够的边界注释以训练深度神经网络用于准确的肿瘤分割是非常具有挑战性的。我们建议使用弱标签来判断图像是否存在肿瘤,或者是否不存在,以在缺乏这些注释的图像上扩展训练。具体来说,我们提出了一个半监督框架,采用两个域之间的不成对的图像到图像的翻译,存在与不存在癌症,作为无监督的目标。我们推测,翻译有助于分割-两者都需要目标从背景中分离出来。我们将图像编码成两个代码:一个是共同的两个域和一个是唯一的存在域。从公共代码解码产生健康的图像;添加唯一代码的解码产生对该图像的残留变化,增加癌症。翻译是从在场到缺席,反之亦然。在第一种情况下,肿瘤被重新添加到图像中,我们成功地利用残差解码器也执行分割。在第二种情况下,对唯一代码进行采样,产生可能的肿瘤分布。为了验证该方法,我们从公共BRATS(脑,MRI)和LitS(肝,CT)数据集创建了具有挑战性的合成任务和肿瘤分割数据集。我们显示出明显的改善(大脑上0.83 Dice,肝脏上0.74),超过了使用自动编码(0.73,0.66)和平均教师方法(0.75,0.69)的基线半监督训练,证明了从注释样本的较小分布中概括的能力。
2021-06-12 cs.CV
Multi-view Cross-Modality MR Image Translation for Vestibular Schwannoma and Cochlea Segmentation
Korea University(高丽大学)
在这项工作中,我们提出了一个多视图图像翻译框架,它可以将对比度增强的T1(ceT1)MR成像转换为高分辨率的T2(hrT2)MR成像,用于无监督的前庭神经鞘瘤和耳蜗分割。我们采用两个并行的图像翻译模型,分别使用像素级一致性约束和补丁级对比约束。因此,我们可以增强反映不同视角的伪hrT2图像,这最终导致高性能的分割模型。我们在CrossMoDA挑战上的实验结果表明,该方法在前庭神经鞘瘤和耳蜗分割上实现了增强的性能。
2023-03-27 cs.AI cs.CV
CRCNet: Few-shot Segmentation with Cross-Reference and Region-Global Conditional Networks
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
Few-Shot分割的目标是学习一个分割模型,该模型可以推广到只有少量训练图像的新类别。在本文中,我们提出了一个交叉参考和局部全局条件网络(CRCNet)的Few-Shot分割。与以前的作品,只预测查询图像的面具,我们提出的模型同时进行预测的支持图像和查询图像。我们的网络可以通过交叉引用机制更好地找到两幅图像中的共现对象,从而帮助Few-Shot分割任务。为了进一步改善特征比较,我们开发了一个局部-全局条件模块来捕获全局和局部关系。我们还开发了一个掩模细化模块,以改善预测的前景区域循环。在PASCAL VOC 2012、MS COCO和FSS-1000数据集上的实验表明,我们的网络达到了新的最先进的性能。
2022-08-23 cs.CV
Personalized Cell Segmentation: Benchmark and Framework for Reference-Guided Cell Type Segmentation
本文提出个性化细胞分割任务,通过参考细胞实现特定细胞类型分割,构建了包含1372张图像和11万标注细胞的基准,并提出PerCS-DINO框架,结合交叉注意力Transformer和对比学习实现有效分割。
2026-03-15 cs.CV
AURORA:Augmented Understanding via Structured Reasoning and Reinforcement Learning for Reference Audio-Visual Segmentation
AURORA通过结构化推理和强化学习提升参考音频视频分割的准确性和鲁棒性
2025-12-10 cs.CV
Vision and Language Reference Prompt into SAM for Few-shot Segmentation
Waseda University(早稻田大学)
本文提出VLP-SAM少样本分割模型,通过多模态视觉语言模型将参考图像视觉信息与文本标签语义信息结合作为提示输入SAM,在PASCAL-5i和COCO-20i数据集上分别以6.3%和9.5%的mIoU优势超越SOTA。
2025-02-02 cs.CV
Sim2Real in endoscopy segmentation with a novel structure aware image translation
DIIS - I3A - Universidad de Zaragoza(萨拉戈萨大学)
本文提出一种结构感知的图像转换模型,为模拟内窥镜图像添加逼真纹理并保持褶皱等关键结构布局,实现无需真实标注即可训练结肠镜褶皱分割模型,并在模拟和真实数据上验证其优于现有方法。
2025-05-05 cs.CV
Sem-GAN: Semantically-Consistent Image-to-Image Translation
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室(MERL))
不成对图像到图像转换是将源域中的图像映射到目标域中的图像的问题,而不需要对应的图像对。为了确保翻译的图像是真实可信的,最近的作品,如Cycle-GAN,要求这种映射是可逆的。虽然这个要求在域是单峰的情况下展示了有希望的结果,但在多模态场景(例如图像分割任务)中,其性能是不可预测的。这是因为,可逆性不一定强制语义正确性。为此,我们提出了一个语义一致的GAN框架,被称为Sem-GAN,其中的语义定义的类身份的图像段在源域中产生的语义分割算法。我们提出的框架包括翻译任务的一致性约束,连同GAN损失和周期约束,强制执行翻译时的图像将继承目标域的外观,同时(近似)保持它们的身份从源域。我们在几个图像到图像的翻译任务上进行了实验,并证明Sem-GAN显着提高了翻译图像的质量,有时在FCN分数上提高了20%以上。此外,我们表明,语义分割模型,通过Sem-GAN翻译的合成图像训练,导致比其他变体更好的分割结果。
2018-07-12 cs.CV
Correspondence as Video: Test-Time Adaption on SAM2 for Reference Segmentation in the Wild
Nanjing University(南京大学);Southeast University(东南大学)
提出CAV-SAM方法,将参考-目标图像对的对应关系表示为伪视频,利用SAM2的iVOS能力,通过DBST和TTGA模块实现轻量级测试时自适应,在参考分割任务上性能提升超5%。
2025-08-11 cs.CV
Haze Removal via Regional Saturation-Value Translation and Soft Segmentation
Myongji University(明知大学)
提出RSVT先验与软分割结合的单图像去雾框架,解决明亮区域颜色失真,恢复视觉上吸引人的图像。
2024-01-07 cs.CV
REBASE: Reference-Background Subspace Elimination for Training-Free In-Context Segmentation
CamCom Technologies Private Limited(卡姆康技术私人有限公司)
研究无训练上下文分割问题,提出REBASE框架,通过识别参考图像低秩背景特征子空间并投影特征,结合相似性加权最远点采样等生成正点提示,在多个数据集上取得无训练方法新成果,有效提升一次性定位效果。
2026-10-06 cs.CV
Scalp Diagnostic System With Label-Free Segmentation and Training-Free Image Translation
Yonsei University(延世大学);Seoul National University(首尔国立大学);Ewha Womans University(成均馆大学)
本文提出AI驱动的头皮疾病诊断系统ScalpVision,通过伪标签对与创新提示方法实现无标签头发分割,并引入生成模型DiffuseIT-M进行数据增强,有效提升了头皮疾病诊断与严重程度预测的性能。
2025-09-15 cs.CV
Iteratively Selecting an Easy Reference Frame Makes Unsupervised Video Object Segmentation Easier
School of Electrical and Electronic Engineering, Yonsei University(延世大学电气与电子工程学院)
无监督视频对象分割(UVOS)是一个逐像素的二值标记问题,其目的是在不使用前景对象的地面真值(GT)掩模的情况下将视频中的前景对象从背景中分离出来。大多数以前的UVOS模型使用第一帧或整个视频作为参考帧来指定前景对象的遮罩。我们的问题是为什么第一帧应该被选为参考帧,或者为什么整个视频应该被用来指定掩码。我们相信,我们可以选择一个更好的参考帧,以实现更好的UVOS性能,而不是只使用第一帧或整个视频作为参考帧。在我们的论文中,我们提出了简单的框架搜索(EFS)。EFS使我们能够选择一个“简单”的参考框架,使随后的VOS变得容易,从而提高VOS的性能。此外,我们提出了一个新的框架命名为迭代掩码预测(IMP)。在框架中,我们重复将EFS应用于给定的视频,并从视频中选择一个比上一次迭代更容易的参考帧,从而逐步提高VOS性能。IMP包括EFS、双向掩码预测(BMP)和时间信息更新(TIU)。从所提出的框架,我们实现了最先进的性能在三个UVOS基准集:DAVIS 16,FBMS和SegTrack-V2。
2021-12-23 cs.CV
Reference Setup for Quantitative Comparison of Segmentation Techniques for Short Glass Fiber CT Data
Heidelberg University(海德堡大学);University Medical Center Mannheim(曼海姆大学医学中心);Interdisciplinary Center for Scientific Computing (IWR)(跨学科科学计算中心(IWR));Volume Graphics GmbH(Volume Graphics有限公司);University of Padova(帕多瓦大学)
由于缺乏标准的参考数据集,比较工业计算机断层扫描(CT)扫描中分割玻璃纤维的不同算法是困难的。在这项工作中,我们介绍了一组注释扫描的短纤维增强聚合物(SFRP)以及综合创建的CT体积数据与评价指标。我们建议这两个指标和这个数据集作为研究不同算法的性能的参考。用Nikon MCT 225 X射线CT系统进行实际扫描。通过使用内部计算模型和第三方商业软件创建模拟扫描。对于这两种类型的数据,已经准备了相应的地面实况注释,包括用于真实扫描的手工注释和用于合成扫描的STL模型。此外,基于Hessian的Frangi血管性滤波器用于纤维分割已经实现并开源,以作为比较的参考。
2019-01-04 cs.CV
An Automatic Method for Complete Brain Matter Segmentation from Multislice CT scan
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Post graduate Institute of Medical Education and Research(研究生医学教育与研究学院)
计算机断层成像以其成像速度、图像对比度和分辨率以及成本而被广泛接受。因此,它在脑部疾病的检测和诊断中具有广泛的用途。但遗憾的是,目前关于CT分割的研究报道并不多。本文提出了一个强大的自动分割系统,它能够分割完整的脑物质从CT切片,没有任何损失的信息。该方法简单、快速、准确、全自动。它可以在单次运行中处理多层CT扫描。从给定的多层CT数据集中,自动选择一个切片以形成用于分割的掩模。创建了两种类型的面罩,以更好地处理鼻切片。使用自动种子点选择和区域生长技术从选定的参考切片创建掩模。一个掩模设计用于脑物质,另一个掩模包括参考切片的颅骨。该第二掩模被用作所有切片的全局参考掩模,而脑物质掩模仅在相邻切片上实现,并连续修改以获得更好的分割。将给定数据集中的切片分为两批,参考切片之前和参考切片之后。每一批都单独分段。连续传播的脑物质掩模已被证明是非常高的潜力,在报告的分割。呈现的结果在所有情况下均显示出最高的灵敏度和超过96%的准确性。分割后的图像可用于任何脑部疾病的诊断或进一步的图像分析。
2018-10-22 cs.CV
Semi-Supervised Image-to-Image Translation
D. J. Sanghvi College of Engineering(D.J.桑格维工程学院)
图像间的平移是计算机视觉中一个由来已久的难题。在本文中,我们提出了一个基于对抗的图像到图像翻译模型。常规的基于深度神经网络的方法通过比较gram矩阵和使用需要人工干预的图像分割来执行图像到图像的转换任务。我们的基于生成对抗网络的模型基于条件概率方法。这种方法使得图像翻译独立于任何局部、全局和内容或风格特征。在我们的方法中,我们使用了一个双向重建模型,附加了仿射变换因子,与其他模型相比,它有助于保存内容和照片真实感。使用这种方法的优点是图像到图像的转换是半监督的,独立于图像分割,并继承了生成对抗网络倾向于产生逼真效果的特性。该方法已被证明比多模态无监督图像到图像翻译产生更好的结果。
2019-01-24 cs.CV
CMSA-Net: Causal Multi-scale Aggregation with Adaptive Multi-source Reference for Video Polyp Segmentation
Southeast University, China(东南大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE(Mohamed bin Zayed大学人工智能学院)
CMSA-Net通过因果多尺度聚合和动态多源参考策略,提升视频息肉分割的准确性和实时性。
2026-02-26 cs.CV
Sketch-based Video Object Segmentation: Benchmark and Analysis
National University of Singapore(新加坡国立大学)
本文提出基于草图的视频对象分割新任务,构建三个基准数据集,并基于STCN基线评估草图参考的有效性,实验表明草图比照片掩码、语言和涂鸦更高效。
2023-11-13 cs.CV
Mix and match networks: cross-modal alignment for zero-pair image-to-image translation
Computer Vision Center Barcelona(巴塞罗那计算机视觉中心)
本文讨论了多模态之间的推断看不见的跨模态图像到图像的翻译的问题。我们假设只有一些成对的翻译已经被看到(即训练),并推断剩余的未被看到的翻译(其中训练对不可用)。我们提出了混合和匹配网络,这种方法将多个编码器和解码器对齐,以便通过简单地级联源编码器和目标解码器来获得所需的翻译,即使它们在训练阶段没有相互作用(即看不见)。主要的挑战在于在编码器-解码器对的瓶颈处的潜在表示的对齐。我们提出了一个架构与几个工具,以鼓励对齐,包括自动编码器和强大的边信息和潜在的一致性损失。我们展示了我们的方法的有效性和可扩展性方面的好处相比,其他成对的图像到图像的翻译方法。我们还提出了零对跨模态图像翻译,这是一个具有挑战性的设置,其中目标是从深度推断语义分割(反之亦然),而无需显式的分割深度对,并且仅从两个(不相交的)分割-RGB和深度-RGB训练集。我们观察到,看不见的模态之间的共享信息的某一部分可能无法到达,因此我们进一步提出了一个变体,该变体利用伪对,使我们能够利用看不见的模态之间的共享信息。
2020-05-15 cs.CV
ICMSC: Intra- and Cross-modality Semantic Consistency for Unsupervised Domain Adaptation on Hip Joint Bone Segmentation
University of Bern(伯尔尼大学);Inselspital(Inselspital医院(伯尔尼大学医院));University Hospital of Fribourg(弗里堡大学医院)
无监督领域自适应(UDA)通过领域不变特征学习或图像外观变换,在跨模态医学图像分割中取得了很大进展。自适应特征学习通常不能检测像素级的域偏移,并且在密集的语义分割任务中不能获得良好的结果。图像外观翻译,例如CycleGAN,将图像翻译成具有良好外观的不同风格,尽管其人口,其语义一致性很难保持,并导致差的跨模态分割。在本文中,我们提出了内和跨模态语义一致性(ICMSC)的UDA和我们的关键见解是,在不同风格的合成图像的分割应该是一致的。具体来说,我们的模型包括一个图像翻译模块和一个特定领域的分割模块。图像转换模块是标准的CycleGAN,而分割模块包含两个特定于域的分割网络。模态内语义一致性(IMSC)迫使在一个周期之后的重建图像以与原始输入图像相同的方式被分割,而跨模态语义一致性(CMSC)鼓励在翻译之后的合成图像与翻译之前完全相同地被分割。综合实验结果表明,我们提出的方法的有效性,实现了81.61%的髋臼和88.16%的股骨近端的平均DICE,优于其他国家的最先进的方法。值得注意的是,如果没有UDA,在CT上训练的髋关节骨分割模型无法转移到MRI,并且几乎没有DICE分割。
2020-12-23 cs.AI cs.CV
RefSAM3D: Adapting SAM with Cross-modal Reference for 3D Medical Image Segmentation
Nanjing Drum Tower Hospital, Nanjing University(南京大学医学院附属鼓楼医院)
针对SAM难以适配3D医学影像的问题,提出RefSAM3D模型,通过3D适配器、跨模态参考提示、分层注意力等改进,在多数据集上实现了优于现有方法的3D医学图像分割性能。
2024-12-07 cs.CV
Adapting to Unseen Vendor Domains for MRI Lesion Segmentation
Ryerson University(瑞尔森大学);University of Toronto(多伦多大学);Sunnybrook Health Sciences Centre(桑尼布鲁克健康科学中心);St. Michael’s Hospital(圣迈克尔医院);Keenan Research Centre for Biomedical Science(基南生物医学科学研究中心);Institute for Biomedical Engineering, Science, and Technology (iBEST)(生物医学工程、科学与技术研究所(iBEST))
机器学习模型中的一个关键限制是在训练分布域之外的数据上性能不佳。这对于磁共振(MR)成像中的图像分析尤其如此,因为硬件和软件的变化会在扫描仪上产生非标准的强度、对比度和噪声分布。最近,已经提出了图像转换模型来跨域增强数据以创建合成数据点。在本文中,我们研究的应用程序的无监督图像翻译模型,以增强MR图像从源数据集到目标数据集。具体来说,我们想评估这些模型如何通过图像转换创建代表目标数据集的合成数据点,并查看训练这些合成数据点的分割模型是否接近直接在目标数据集上训练的模型的性能。我们考虑三种配置的数据集之间的增强,包括图像之间的翻译,扫描仪供应商之间,从标签到图像。发现在从标签到图像配置的合成数据上训练的分割模型产生了与直接在目标数据集上训练的分割模型最接近的性能。每个目标供应商(GE、Siemens、Philips)在合成数据上训练的Dice系数得分为0.63、0.64和0.58,而直接在目标数据集上训练的得分为0.65、0.72和0.61。
2021-08-14 cs.CV
Feature-prompting GBMSeg: One-Shot Reference Guided Training-Free Prompt Engineering for Glomerular Basement Membrane Segmentation
Taiyuan University of Technology(太原理工大学);University of Science and Technology of China(中国科学技术大学);Second Hospital of Shanxi Medical University(山西医科大学第二医院)
针对肾小球基底膜自动分割工具缺失的问题,提出免训练框架GBMSeg,基于单样本参考结合自动提示工程实现TEM图像精准分割,性能优于现有单/少样本方法,推动医学图像基础模型自动提示发展。
2024-06-24 cs.CV
RefCut: Interactive Segmentation with Reference Guidance
Tsinghua University(清华大学);Nankai University(南开大学)
提出基于参考引导的交互式分割框架RefCut,通过参考图像和掩码解决部件与物体歧义问题,并构建新数据集,在多数据集上取得最先进性能。
2025-05-29 cs.CV