No time to train! Training-Free Reference-Based Instance Segmentation
School of Engineering, University of Edinburgh, Scotland, UK(爱丁堡大学工程学院);School of Computing Science, University of Glasgow, Scotland, UK(格拉斯哥大学计算科学学院);Meta
本研究提出一种无需训练的实例分割方法,利用语义先验和多阶段流程,通过参考图像生成分割掩码,提升分割性能。
2026-02-03 cs.CV
Segmentation by registration-enabled SAM prompt engineering using five reference images
University College London(伦敦大学学院);Royal National Orthopaedic Hospital(皇家国立骨科医院)
针对SAM在医学图像分割中需微调及对修复后软骨等结构分割困难的问题,提出一种基于配准的提示工程框架,仅需五张带点提示的参考图像且无需分割标签,即可有效提示SAM进行分割,其性能优于基于图谱的标签融合且媲美有监督nnUNet。
2024-07-25 cs.CV
HARIS: Human-Like Attention for Reference Image Segmentation
Xiao Ying Company(小影公司)
针对现有参考图像分割方法自底向上融合特征易引入无关图文对的问题,提出引入类人注意力机制、结合PEFT框架的HARIS方法,在多个基准上实现SOTA性能并保留良好零样本能力。
2024-05-21 cs.CV
One-Shot Instance Segmentation
University of Tübingen(图宾根大学)
我们解决了一次性实例分割的问题:给定一个新的,以前未知的对象类别的示例图像,在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务,我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN,使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果,突出了一次性设置的挑战:虽然将有关实例分割的知识转移到新的对象类别效果很好,但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割,并有望激发进一步研究更强大和灵活的景物分析算法。代码可在:https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
UniRef++: Segment Every Reference Object in Spatial and Temporal Spaces
The University of Hong Kong(香港大学);ByteDance(字节跳动);Dalian University of Technology(大连理工大学);Shanghai AI Laboratory(上海人工智能实验室)
UniRef++通过统一架构和UniFusion多路融合模块,将四种基于参考的分割任务整合,实现多任务联合训练与灵活推理,并在RIS和RVOS上达到最先进性能。
2023-12-25 cs.CV
USE-Evaluator: Performance Metrics for Medical Image Segmentation Models with Uncertain, Small or Empty Reference Annotations
Stanford University(斯坦福大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);KU Leuven(鲁汶大学);gray number analytics(格雷数字分析公司)
本文提出USE-Evaluator,研究不确定、小或空参考标注对医学图像分割指标的影响,发现常见指标在临床数据上失效,呼吁重新思考评估与优化程序。
2023-09-07 cs.CV cs.LG eess.IV
Bilateral Reference for High-Resolution Dichotomous Image Segmentation
Nankai University(南开大学);Northwest Polytechnical University(西北工业大学);National University of Defense Technology(国防科技大学);Aalto University(艾尔沃斯大学);Shanghai AI Laboratory(上海人工智能实验室);University of Trento(特伦特大学)
本文提出BiRefNet双边参考框架,通过定位模块、双边参考重建模块及辅助梯度监督提升高分辨率二分图像分割性能,并在四项任务的所有基准上超越前沿方法。
2025-07-25 cs.CV
UniPro: Unified Multi-Mode Medical Image Segmentation from 2D Images to 3D Volumes via Propagation
Rutgers University(罗格斯大学);Stanford University(斯坦福大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);New York University(纽约大学)
UniPro提出统一模型,通过传播机制将2D分割扩展到3D体积,支持语义、上下文、交互和传播分割,实现高效3D分割并减少校正工作量。
2026-10-27 cs.CV
SCI-CLIP: Segment-Centric Inference with Reference Memory for Training-Free Open-Vocabulary Segmentation
该研究提出SCI-CLIP框架,以段为中心推理,无需训练即可将CLIP特征转化为高质量密集预测,在八个基准测试中提升开放词汇分割性能。
2026-08-07 cs.CV
BerDiff: Conditional Bernoulli Diffusion Model for Medical Image Segmentation
Institute of Science and Technology for Brain-inspired Intelligence(脑启发智能科学与技术研究院);Fudan University(复旦大学)
针对医学图像分割的模糊性与不确定性问题,提出采用伯努利噪声的条件扩散模型BerDiff,可生成准确多样的分割掩码并加速推理,在多模态数据集上性能优于现有最先进方法。
2023-04-10 cs.AI cs.CV
Show or Tell? A Benchmark To Evaluate Visual and Textual Prompts in Semantic Segmentation
Politecnico di Torino(都灵理工大学);Focoos AI
本文提出SoT基准,首次在14个数据集上统一比较语义分割中文本与视觉提示,发现开放词汇方法擅长常见概念但弱于复杂领域,视觉参考方法平均好但波动大,为未来研究提供指导。
2025-05-06 cs.CV
Joint Facade Registration and Segmentation for Urban Localization
Inria Grand Est(法国国家信息与自动化研究所大东部分部);Université de Lorraine(洛林大学)
本文提出了一种有效的方法来解决联合门面注册和语义分割。立面检测和识别的进展使得能够良好地初始化参考立面到新获取的目标图像的配准。我们在这里建议依靠语义分割来提高初始配准的准确性。同时,我们的目标是提高质量的语义分割通过注册。这两个问题在期望最大化框架中得到了解决。我们特别介绍了一种基于语义分割和几何结构的立面参考模型,该模型采用$L_p$高斯混合模型。我们展示了我们的方法的优势,在鲁棒性杂波和光照变化的城市图像从各种数据库。
2019-02-21 cs.CV
GuidedMix-Net: Semi-supervised Semantic Segmentation by Using Labeled Images as Reference
Shenzhen Microbt Electronics Technology Co., Ltd(深圳比特微电子科技有限公司);Tencent Jarvis Lab(腾讯贾维斯实验室);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Xiamen University(厦门大学);National Center for Artificial Intelligence, Saudi Data and Artificial Intelligence Authority(沙特数据和人工智能管理局国家人工智能中心)
半监督学习是一个具有挑战性的问题,其目的是通过从有限的标记样本中学习来构建模型。许多用于此任务的方法都集中在仅利用未标记实例一致性的预测来正则化网络。然而,单独处理标记和未标记的数据往往会导致丢弃从标记的例子中学习到的大量先验知识。%,以及未能挖掘标记和未标记图像对之间的特征交互。在本文中,我们提出了一种新的半监督语义分割的方法命名为GuidedMix-Net,利用标记的信息来指导学习的未标记的实例。具体来说,GuidedMix-Net采用三种操作:1)相似的标记-未标记图像对的插值; 2)互信息的传递; 3)伪掩码的泛化。它通过将标记样本的知识转移到未标记数据中,使分割模型能够学习未标记数据的更高质量的伪掩模。随着对标记数据的监督学习,未标记数据的预测与从混合数据生成的伪掩码联合学习。在PASCAL VOC 2012和Cityscapes上进行的大量实验证明了我们的GuidedMix-Net的有效性,与以前的方法相比,它实现了具有竞争力的分割精度,并将mIoU显著提高了+7 $\%$。
2021-12-28 cs.CV
Color-Quality Invariance for Robust Medical Image Segmentation
Aillis, Inc.(Aillis公司)
针对医学图像分割单源域泛化中颜色和质量偏移导致的泛化问题,提出动态颜色图像归一化(DCIN)模块和颜色-质量泛化(CQG)损失,显著提升分割性能,Dice得分最高提高32.3点,增强模型跨域鲁棒性。
2025-02-11 cs.CV eess.IV
ACCL: Adversarial constrained-CNN loss for weakly supervised medical image segmentation
Beijing Institute of Technology(北京理工大学)
我们提出了对抗性约束CNN损失,约束CNN损失方法的一个新范例,用于弱监督医学图像分割。在新的范例中,先验知识被编码和描述的参考掩码,并进一步采用通过对抗学习与参考掩码的分割输出施加约束。与用于弱监督分割的伪标签方法不同,这样的参考掩模用于训练神经元而不是分割网络,因此不需要与特定图像配对。我们的新范式不仅大大方便了对网络输出施加先验知识,而且还提供了更强和更高阶的约束,即,分布近似,通过对抗学习。广泛的实验涉及不同的医疗方式,不同的解剖结构,不同的拓扑结构的感兴趣的对象,不同水平的先验知识和弱监督注释与不同的注释比率进行评估我们的ACCL方法。实验结果表明,该方法的分割效果优于CNN损失法,部分分割结果接近全监督的分割结果,充分验证了该方法的有效性和推广性。具体而言,我们报告了75.4%的平均Dice分数,平均注释率为0.65%,超过了现有技术,即,尺寸受限的CNN损失方法,大幅度提高了11.4%。我们的代码可在https://github.com/PengyiZhang/ACCL上公开获取。
2020-05-01 cs.CV
Bayesian Logistic Shape Model Inference: application to cochlea image segmentation
Inria Sophia Antipolis Méditerranée(法国国家信息与自动化研究所索菲亚·安蒂波利斯地中海研究中心);Université Côte d’Azur(蔚蓝海岸大学);Oticon Medical(奥迪康医疗公司);Nice University Hospital(尼斯大学医院)
描述形状信息对于医学图像中许多器官和解剖结构的描绘是必不可少的。虽然以前的工作主要集中在参数空间变换应用于参考模板形状,在本文中,我们解决了贝叶斯推理的参数形状模型分割医学图像的目标,提供可解释的结果。所提出的框架定义了一个似然外观概率和先验标签概率的基础上,通过一个逻辑函数的通用形状函数。在sigmoid中定义的参考长度参数控制形状和外观信息之间的权衡。形状参数的推断在期望最大化方法内执行,其中高斯-牛顿优化阶段允许提供形状参数的后验概率的近似。该框架被应用到由10参数形状模型约束的临床CT图像的耳蜗结构的分割。它在三个不同的数据集上进行评估,其中一个数据集包括200多张患者图像。结果表明,性能相媲美的监督方法,优于以前提出的无监督的。它还能够分析参数分布和量化分割不确定性,包括形状模型的影响。
2021-05-05 cs.AI cs.CV
Show and Segment: Universal Medical Image Segmentation via In-Context Learning
Microsoft GenAI(微软生成式人工智能部门);Rutgers University(罗格斯大学)
针对医学图像分割泛化难题,提出基于上下文参考图像引导的Iris框架,通过轻量级任务编码模块利用参考示例实现无需微调的新任务适应,在十二个数据集上表现强劲,并展现出对未见类别的卓越泛化能力。
2025-03-25 cs.CV
One-Shot Adaptive Segmentation For Scientific Images
Purdue University(普渡大学)
提出免训练一次性框架,用单张参考图结合DINOv3和特征正交化定位候选区域,经SAM分割,在显微镜和池沸腾数据集上平均IoU分别提升5.91%和78.62%。
2026-10-08 cs.CV
Accel: A Corrective Fusion Network for Efficient Semantic Segmentation on Video
University of California, Berkeley(加州大学伯克利分校)
我们提出了Accel,这是一种新型的语义视频分割系统,通过结合两个网络分支的预测,以低推理成本实现了高精度:(1)参考分支,其提取参考关键帧上的高细节特征,并且使用帧到帧光流估计来向前扭曲这些特征,以及(2)更新分支,其计算当前帧上的可调节质量的特征,在每个视频帧处执行时间更新。更新分支的模块化,其中可以插入不同层深度的特征子网络(例如ResNet-18到ResNet-101),使操作能够在新的,最先进的精度-吞吐量权衡频谱上进行。在这条曲线上,Accel模型比最接近的可比单帧分割网络实现了更高的准确性和更快的推理时间。总的来说,Accel在有效的语义视频分割方面明显优于以前的工作,纠正了在具有复杂动态的数据集上复合的扭曲相关错误。Accel是端到端可训练的,高度模块化:参考网络、光流网络和更新网络都可以根据应用需求独立选择,然后联合进行微调。其结果是一个强大的,通用的系统,快速,高精度的视频语义分割。
2019-07-05 cs.CV cs.LG
Semantic Image Segmentation with Task-Specific Edge Detection Using CNNs and a Discriminatively Trained Domain Transform
Google Inc.(谷歌公司)
深度卷积神经网络(CNN)是最先进的语义图像分割系统的支柱。最近的工作表明,用全连接条件随机场(CRF)补充CNN可以显着提高其对象定位精度,但密集的CRF推理在计算上是昂贵的。我们建议用域变换(DT)代替完全连接的CRF,域变换是一种现代的边缘保持滤波方法,其平滑量由基准边图控制。域变换过滤比密集CRF推理快几倍,我们表明,它产生可比的语义分割结果,准确地捕捉对象边界。重要的是,我们的公式允许从中间CNN特征学习基准边图,而不是像标准DT滤波那样使用图像梯度幅度。这在优化目标语义分割质量的端到端可训练系统中产生任务特定的边缘。
2016-06-02 cs.CV
LoopDA: Constructing Self-loops to Adapt Nighttime Semantic Segmentation
Technical University of Munich(慕尼黑工业大学);Huawei Munich Research Center(华为慕尼黑研究中心);ETH Zurich(苏黎世联邦理工学院);Peking University(北京大学)
由于缺乏训练标签和注释困难,应对夜间等恶劣驾驶条件对自动驾驶汽车的感知系统提出了巨大挑战。因此,适应知识从一个标记的白天域到一个未标记的夜间域已被广泛研究。除了标记的白天数据集之外,现有的夜间数据集通常提供具有在附近位置处捕获的对应的白天参考图像的夜间图像以供参考。关键的挑战是最小化两个域之间的性能差距。在本文中,我们提出了LoopDA域自适应夜间语义分割。它由自循环组成,这些自循环导致使用预测的语义映射通过将输入数据渲染成编码的特征来重建输入数据。在预热训练阶段,自循环包括内环和外环,它们分别负责域内细化和域间对齐。为了减少昼夜姿势偏移的影响,在后期的自我训练阶段,我们提出了一个涉及离线伪监督信号和在线参考引导信号“DNA”(昼夜协议)的联合教学管道,为增强夜间分割带来了实质性的好处。我们的模型在Dark Zurich和Nighttime Driving数据集上的语义分割性能优于先前的方法。代码和预训练模型可在https://github.com/fy-vision/LoopDA上获得。
2022-11-21 cs.CV
Unsupervised Domain Adaptation for Semantic Image Segmentation: a Comprehensive Survey
Naver Labs Europe
语义分割在各种计算机视觉应用中起着基础性的作用,为图像的全局理解提供关键信息。然而,最先进的模型依赖于大量的注释样本,这是更昂贵的获得任务,如图像分类。由于无标签数据的获取成本要低得多,因此无监督领域自适应在语义分割社区中取得广泛成功也就不足为奇了。本调查旨在总结这一快速增长领域五年来的发展,其中包括语义分割本身的重要性以及使分割模型适应新环境的迫切需要。我们提出了最重要的语义分割方法,我们提供了一个全面的调查语义分割的领域自适应技术,我们揭示了新的趋势,如多领域学习,领域泛化,测试时自适应或无源领域自适应,我们通过描述最广泛使用的数据集和基准在语义分割研究结束这项调查。我们希望这项调查将为学术界和工业界的研究人员提供全面的参考指南,并帮助他们在该领域培育新的研究方向。
2021-12-06 cs.AI cs.CV
ReME: A Data-Centric Framework for Training-Free Open-Vocabulary Segmentation
University of California, Davis(加州大学戴维斯分校)
本文提出一种面向数据质量的免训练开放词汇分割框架ReME,通过构建高质量参考集和简单相似度检索,在十个基准数据集上超越现有方法,证明数据中心设计的重要性。
2025-06-27 cs.CV
Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation
Zhejiang University(浙江大学);Tencent(腾讯);Tiktok(抖音);University of California, Merced(加州大学默塞德分校)
本文提出统一框架 RefT,通过基于 Transformer 的基线、支持查询特征两次交叉注意力增强以及类别增强知识蒸馏,解决少样本实例分割中的过拟合和复杂空间关联问题,并在 COCO 上取得显著性能提升。
2024-08-08 cs.CV
Zero-shot Segmentation of Skin Conditions: Erythema with Edit-Friendly Inversion
University of Piraeus(比雷埃夫斯大学)
本研究提出结合扩散模型可编辑反转的零样本皮肤红斑分割框架,通过生成无红斑参考图并对齐、色彩空间分析实现检测,无需标注训练数据,初步实验表现优于基线阈值方法,为计算机辅助皮肤科提供高效灵活的诊断工具。
2025-08-05 cs.CV
Complex Network Construction for Interactive Image Segmentation using Particle Competition and Cooperation: A New Approach
São Paulo State University(圣保罗州立大学)
在交互式图像分割任务中,粒子竞争与合作(PCC)模型是由一个复杂的网络,这是从输入图像构建。在网络构建阶段,需要一个权重向量来定义特征集中每个元素的重要性,该特征集由相应像素的颜色和位置信息组成,因此需要专家的干预。本文提出了消除的权重向量,通过修改在网络建设阶段。在不使用权重向量的情况下,使用从Grabcut数据集、PASCAL VOC数据集和Alpha抠图数据集提取的151幅图像对所提出的模型和参考模型进行了比较。将每个模型应用于每个图像30次以获得误差平均值。这些模拟结果在一个出错率只有0.49\%,当分类像素与建议的模型,而参考模型有一个出错率为3.14\%。与参考模型相比,所提出的方法在评估图像的多样性中也呈现出较小的误差变化。
2020-07-03 cs.CV cs.LG
ReCLIP++: Learn to Rectify the Bias of CLIP for Unsupervised Semantic Segmentation
Beihang University(北航大学)
本文提出ReCLIP++,通过显式建模和校正CLIP中的偏差以提升无监督语义分割性能,设计了参考提示和位置嵌入投影来分别编码类别偏好和空间偏好偏差,并通过矩阵乘法生成偏差logit图,再通过元素级减法校正logits,最后利用Gumbel-Softmax操作生成分割掩码。
2026-05-08 cs.CV
SegRAG: Retrieval Augmented Spatial Prompting for Open Vocabulary Semantic Segmentation
Khalifa University(卡利法大学)
本文提出SegRAG,一种无需训练的检索增强语义分割框架,通过结合类特定点提示和文本信息,提升分割性能,在多个基准测试中取得显著提升。
2026-10-01 cs.CV
Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation
针对遥感语义分割的标注缺陷问题,提出无参考指标 CMF,通过反事实视图与视觉-语言判断器审计真实掩码,在多数据集上验证其性能优于基线,可作为标注审计工具。
2026-08-11 cs.CV cs.LG
MonoCInIS: Camera Independent Monocular 3D Object Detection using Instance Segmentation
TRACE vzw(TRACE非营利组织);KU Leuven(鲁汶大学);ETHZ(苏黎世联邦理工学院);Toyota Motor Europe(丰田汽车欧洲公司)
单目3D目标检测最近已经显示出有希望的结果,然而仍然存在挑战性的问题。其中之一是缺乏对不同相机内部参数的不变性,这可以在不同的3D对象数据集上观察到。几乎没有努力利用异构3D对象数据集的组合。与一般的直觉相反,我们表明,更多的数据并不能自动保证更好的性能,而是,方法需要有一定程度的“相机独立性”,以受益于大型和异构的训练数据。本文提出了一种基于实例分割的类别级姿态估计方法,该方法利用摄像机无关的几何推理来处理不同数据集的摄像机视点和本征值的变化。实例的每个像素预测对象尺寸、在2D图像空间中投影的3D对象参考点以及可选的局部视角。摄像机固有函数仅在学习的网络外部使用,以将预测的2D参考点提升到3D。我们超越相机独立的方法在具有挑战性的KITTI3D基准,并显示与相机相关的方法相比的关键优势。
2021-10-01 cs.AI cs.CV cs.RO
Beyond Similarity Matching: Structured Reasoning for Open-Vocabulary Referring Segmentation in 3DGS
School of Computer Science, Henan Institute of Science and Technology(河南科技学院计算机学院)
针对现有3DGS指称分割方法依赖相似度匹配的缺陷,提出QAGaussian框架,经Mosaic3D-5.6M预训练后,在基准上实现性能提升,优于现有最强基线。
2026-08-18 cs.CV
MetaSSL: A General Heterogeneous Loss for Semi-Supervised Medical Image Segmentation
School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China(电子科技大学机械与电子工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Department of Radiation Oncology, Sichuan Cancer Hospital and Institute, University of Electronic Science and Technology of China(电子科技大学四川肿瘤医院放射肿瘤科);Department of Pathology, West China Second University Hospital, Sichuan University(四川大学华西第二医院病理科)
针对现有半监督医学图像分割方法忽略标注噪声与未标注像素异构价值的问题,提出即插即用的通用框架MetaSSL,通过基于不确定性与一致性的空间异构损失加权像素,提升了现有方法的分割性能。
2025-09-01 cs.CV
Large Batch and Patch Size Training for Medical Image Segmentation
Osaka University Graduate School of Medicine(大阪大学医学研究生院)
多器官分割能够进行器官评估,考虑多个器官之间的关系,并有助于准确的诊断和治疗决策。然而,由于缺乏数据集和计算资源,只有少数模型可以准确地执行分割。在AMOS 2022挑战中,这是一个大规模,临床和多样化的腹部多器官分割基准,我们使用多GPU分布式训练训练了一个具有大批量和补丁大小的3D-UNet模型。与基线设置相比,具有大批量和补丁大小的模型的分割性能往往会增加。通过使用使用不同设置训练的集成模型,进一步提高了准确性。这些结果为器官分割中的参数选择提供了参考。
2022-10-24 cs.CV cs.LG eess.IV
CUSUM Filter for Brain Segmentation on DSC Perfusion MR Head Scans with Abnormal Brain Anatomy
National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”(乌克兰国立技术大学“伊戈尔·西科斯基基辅理工学院”)
本文提出了一种新的方法,相对准确的脑感兴趣区域(ROI)检测的动态磁化率对比(DSC)灌注磁共振(MR)图像的人头部异常的大脑解剖。这样的图像产生自动脑分割算法的问题,并且因此,不良灌注ROI检测影响灌注数据的定量测量和视觉评估。在所提出的方法中,图像分割是基于经调整以适用于处理DSC灌注MR图像的MANUUM滤波器的使用。分割的结果是通过使用脑边界位置生成的脑ROI的二进制掩模。脑和周围组织之间的边界的每个点被检测为通过CANUUM滤波器的变化点。所提出的所采用的DSPIUM滤波器通过累积在轨迹上移动时图像点的观测强度与期望强度之间的偏差来操作。运动轨迹是通过在背景区域内迭代改变运动方向以到达大脑区域,并且在边界交叉后反之亦然。采用Dice指数评价拟定分割方法,将所得结果与参比标准品进行比较。由经验丰富的放射科医生提供手动标记的脑区像素(参考标准)以及使用CANUUM滤波器检测的脑ROI的目视检查。结果表明,所提出的方法是适合用于脑ROI检测从DSC灌注MR图像的人头部异常的脑解剖,因此,可以应用于DSC灌注数据分析。
2019-03-26 cs.CV
Enhanced Generative Data Augmentation for Semantic Segmentation via Stronger Guidance
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
针对语义分割传统数据增强语义多样性不足的问题,提出基于可控扩散模型的增强流水线,通过类别提示追加等机制提升生成准确性,结合类别平衡算法,在PASCAL VOC数据集上验证了生成高质量合成图像的有效性。
2025-09-04 cs.CV
Online Video Instance Segmentation via Robust Context Fusion
Microsoft Research Asia(微软亚洲研究院);Carnegie Mellon University(卡内基梅隆大学);Huazhong University of Science and Technology(华中科技大学)
视频实例分割(VIS)的目的是对视频序列中的对象实例进行分类、分割和跟踪。最近的基于变换的神经网络已经证明了其强大的能力建模的空间-时间相关性的VIS任务。依赖于视频或剪辑级输入,它们遭受高延迟和计算成本。我们提出了一个强大的上下文融合网络,以在线的方式来处理VIS,预测实例分割逐帧与几个前帧。为了有效地对每一帧进行精确和时间一致的预测,关键思想是将参考帧中有效和紧凑的上下文融合到目标帧中。考虑到参考帧和目标帧对目标预测的不同影响,我们首先通过重要性感知压缩来总结上下文特征。采用Transformer编码器对压缩后的上下文进行融合。然后,我们利用保序的实例嵌入来传达身份感知信息,并将身份对应到预测的实例掩码。我们证明,我们强大的融合网络在现有的在线VIS方法中实现了最佳性能,甚至比之前在Youtube-VIS 2019和2021基准测试中发布的剪辑级方法更好。此外,视觉对象通常具有在音频承载视频记录中与它们自然同步的声学签名。通过利用我们的上下文融合网络对多模态数据的灵活性,我们进一步研究了音频对视频密集预测任务的影响,这在现有的作品中从未讨论过。我们建立了一个视听实例分割数据集,并证明了在野生情况下的声学信号可以有益于VIS任务。
2022-07-12 cs.CV
Fuzzy Clustering Based Segmentation Of Vertebrae in T1-Weighted Spinal MR Images
IIT-Madras(印度理工学院马德拉斯分校)
由于图像分辨率低、对比度有限,医学领域的图像分割是一个具有挑战性的领域。主要使用的传统分割技术和阈值化方法由于严重依赖于用户交互而受到限制。这些技术无法捕捉到图像中普遍存在的不确定性。当图像被噪声、异常值和其他伪影破坏时,性能进一步恶化。本文的目的是开发一种有效的鲁棒模糊C均值聚类分割椎体磁共振图像,由于其无监督的学习形式。这项工作的动机是检测脊柱几何形状和适当的定位和标记将提高医生的诊断输出。将该方法与Otsu阈值法和K-means聚类法进行了比较,并以放射科医师的标注图像为参考标准,采用Dice系数和Hausdorff距离度量对分割效果进行了评价。
2016-05-09 cs.CV
MAVNet: an Effective Semantic Segmentation Micro-Network for MAV-based Tasks
University of Pennsylvania(宾夕法尼亚大学)
受尺寸、重量和功率(SWaP)约束的平台上的实时语义图像分割是空中监视和检查的关键领域。在这项工作中,我们提出了MAVNet:一个小型,轻量,深度神经网络的实时语义分割微型飞行器(MAVs)。MAVNet受到ERFNet的启发,其参数减少了400倍,并在实证实验中实现了与一些参考模型相当的性能。我们的模型实现了速度和精度之间的平衡,在处理高分辨率图像时,在NVIDIA 1080Ti上实现高达48 FPS,在NVIDIA Jetson Xavier上实现高达9 FPS。此外,我们提供了两个新的数据集,代表了实时MAV跟踪和基础设施检查任务的语义分割的挑战,并在这些数据集上验证MAVNet。我们的算法和数据集是公开的。
2019-06-08 cs.CV
Monitoring Urban Forests from Auto-Generated Segmentation Maps
Remote Sensing Technology Institute, German Aerospace Center(德国航空航天中心遥感技术研究所);Technical University of Munich(慕尼黑工业大学);TJ Watson Research Center, IBM Research(IBM研究院托马斯·J·沃森研究中心)
我们提出并评估了一种弱监督的方法来量化的空间和时间分布的城市森林的基础上遥感数据与接近零的人类互动。成功训练用于语义分割的机器学习模型通常取决于高质量标签的可用性。我们评估的好处,高分辨率,三维点云数据(LiDAR)的噪声标签的来源,以训练模型的本地化的树木正射影像。作为概念证明,我们感觉到飓风桑迪对纽约市康尼岛城市森林的影响,并将其与纽约市布鲁克林受影响较小的城市空间进行比较。
2022-06-14 cs.AI cs.CV cs.CY
CamoFA: A Learnable Fourier-based Augmentation for Camouflage Segmentation
University of Science, Ho Chi Minh City(胡志明市科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);Stony Brook University(石溪大学);John von Neumann Institute(约翰·冯·诺依曼研究所);University of Dayton(代顿大学);Monash University(莫纳什大学)
本文提出频域可学习增强方法CamoFA,利用条件GAN、交叉注意力与自适应频域混合交换增强伪装目标可见性,显著提升COD和CIS模型性能。
2024-12-03 cs.CV
Image-to-Image Matching via Foundation Models: A New Perspective for Open-Vocabulary Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室)
本文针对开放词汇语义分割中的错误匹配问题,提出基于视觉基础模型的关系感知模态内匹配框架RIM,通过图像模态参考特征构建与排序分布匹配实现稳健区域分类,在多个基准上显著超越现有方法。
2024-03-30 cs.CV
EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation
针对部件级可供性定位难以适配复杂多步桌面任务的问题,提出基准EgoAfford及参考模型EgoLens,验证了下一步推理与动作角色条件部件定位的互补挑战,为感知与规划联合研究提供基础。
2026-08-06 cs.CV
Automatic Landmark-Based Segmentation of Human Subcortical Structures in MRI
École de technologie supérieure (ÉTS)(埃克塞尔技术高等学院);Boston University School of Medicine(波士顿大学医学学院);Signal and Smart Systems Lab (L3S)(信号与智能系统实验室);National School of Engineering of Tunis, University of Tunis El Manar(突尼斯国家工程学院,突尼斯El Manar大学)
本文提出一种基于地标引导的3D脑分割方法,通过全局到局部网络检测16个关键皮层下参考点,并结合语义分割模型和后处理步骤,提升皮层下结构分割的准确性。
2026-05-14 cs.CV
Spatial Correspondence between Graph Neural Network-Segmented Images
Harbin Institute of Technology(哈尔滨工业大学);University College London(伦敦大学学院)
图神经网络(GNN)已经被提出用于医学图像分割,通过预测由顶点和边的图表示的解剖结构。一种这样的类型的图被预定义为具有固定大小和连接性,以表示感兴趣的解剖区域的参考,因此被称为模板。这项工作探索了这些GNN中具有共同拓扑结构的潜力,用于建立空间对应关系,在分割两个或多个图像时隐式地保持。我们的实验结果表明,基于GNN的分割能够准确可靠地定位图像之间相同的介入感兴趣的结构,而不限于分割类。报告的平均目标配准误差为2.2 $\pm$ 1.3 mm和2.7 $\pm$ 1.4 mm,分别用于将保持测试图像与参考图像对齐和用于对齐两个测试图像,比来自测试的非学习和基于学习的配准算法的平均目标配准误差低相当多。进一步的消融研究评估了最初用于分割的网络及其训练算法中的各个组件对配准性能的贡献。结果突出表明,所提出的分段代替配准方法与现有的配准方法具有方法学上的相似性,例如使用位移平滑约束和点距离最小化,尽管是在非网格图上,但有趣的是,这对分段和配准都有好处。因此,我们得出结论,基于模板的GNN分割可以在我们的应用程序中有效地建立空间对应关系,而无需任何其他专用的配准算法。
2023-03-17 cs.CV eess.IV
Instance Segmentation XXL-CT Challenge of a Historic Airplane
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer Research Institution for Individualized and Cell-Based Medical Engineering (IMTE)(弗劳恩霍夫个性化与基于细胞的医学工程研究所);Institute of Medical Engineering, University of Lübeck(吕贝克大学医学工程研究所)
针对XXL-CT图像中复合物体实例分割的挑战,举办历史飞机挑战赛,探索自动与交互式分割方法以高效描绘飞机部件,并报告了组织、结果及方法优劣。
2024-02-05 cs.CV cs.LG
InstructSeg: Unifying Instructed Visual Segmentation with Multi-modal Large Language Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Meituan Inc.(美团公司)
本文定义了指令式视觉分割(IVS)任务,并提出端到端流程 InstructSeg,利用多模态大语言模型统一图像与视频的指代与推理分割,通过对象感知与多粒度文本融合实现单一模型在多任务上的卓越性能。
2024-12-18 cs.CV
A Survey on Continual Semantic Segmentation: Theory, Challenge, Method and Application
School of Astronautics, Beihang University(北京航空航天大学宇航学院);Tianmushan Laboratory(天目山实验室)
本文综述了持续语义分割(CSS)的问题定义、挑战、方法与应用,将现有模型分为数据重放与无数据两大类,并开发了相关基准以促进终身学习及相关领域的发展。
2024-07-22 cs.CV
Point Cloud Semantic Segmentation
Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva(萨格勒布大学电气工程与计算学院)
本文针对点云语义分割任务,在S3DIS室内房间点云数据集上训练5种主流点云分割模型,通过标准分割指标和推理速度开展模型对比分析。
2023-05-01 cs.CV
Automated lung segmentation from CT images of normal and COVID-19 pneumonia patients
Shahid Sadoughi University of Medical Sciences(沙希德·萨杜基医科大学);Mashhad University of Medical Sciences(马什哈德医科大学);Geneva University Hospital(日内瓦大学医院)
自动语义图像分割是定量图像分析和疾病诊断的重要步骤。本研究调查了基于深度学习的模型在正常和COVID-19患者CT图像肺部分割中的性能。1200例确诊的COVID-19病例的胸部CT图像和相应的肺罩用于训练残余神经网络。通过CT图像的半自动/手动分割生成参考肺掩模。该模型的性能在两个不同的外部测试数据集上进行了评估,包括120名正常和COVID-19受试者,并将这些组的结果进行了比较。计算不同的评价指标,如骰子系数(DSC),平均绝对误差(MAE),相对平均HU差异,相对体积差异,以评估预测肺掩模的准确性。所提出的深度学习方法对正常受试者和COVID-19受试者分别实现了0.980和0.971的DSC,证明了预测和参考肺掩模之间的显著重叠。此外,正常和COVID-19受试者的MAE分别为0.037 HU和0.061 HU,相对平均HU差异分别为-2.679%和-4.403%,相对体积差异分别为2.405%和5.928%。正常患者和COVID-19患者的肺分割的可比性能表明,在存在COVID-19诱导的感染的情况下,模型用于识别肺组织的准确性(尽管观察到正常患者的性能略好)。所提出的基于深度学习的模型所取得的令人鼓舞的结果证明了其在COVID-19肺部分割中的可靠性。这一先决条件将导致更有效和更强大的肺炎病变分析。
2021-04-05 cs.CV eess.IV physics.med-ph
Lung nodules segmentation from CT with DeepHealth toolkit
University of Turin(都灵大学);Fondazione Ricerca Molinette Onlus(莫利内特研究基金会(非营利组织))
在医学图像分割领域中,准确、一致的边界分割对肿瘤体积的估计和处理起着重要的作用。在全球范围内,肺癌是导致死亡的主要原因之一,肺结节的早期检测对于癌症的早期诊断和患者的生存率至关重要。本研究的目的是证明Deephealth工具包(包括PyECVL和PyEDDL库)精确分割肺结节的可行性。使用PyECVL和PyEDDL在UniToChest上进行了肺结节分割的实验,用于数据预处理以及神经网络训练。结果描绘了在宽直径范围内的肺结节的准确分割和比传统检测方法更好的准确性。本文中使用的数据集和代码可作为基线参考公开获取。
2022-08-01 cs.CV eess.IV
ConfIC-RCA: Statistically Grounded Efficient Estimation of Segmentation Quality
Institute of Computer Sciences (CONICET - Universidad de Buenos Aires)(计算机科学研究所(CONICET - 布宜诺斯艾利斯大学));APOLO Biotech(APOLO生物技术公司);Universidad Nacional de San Martin(国立圣马丁大学);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);Research Institute of Signals, Systems and Computational Intelligence, sinc(i) (CONICET - Universidad Nacional del Litoral)(信号、系统与计算智能研究所,sinc(i)(CONICET - 国立滨海大学));Sorbonne Université, Institut du Cerveau - Paris Brain Institute - ICM, CNRS, Inria, Inserm, AP-HP, Hôpital de la Pitié Salpêtrière(索邦大学,大脑研究所 - 巴黎大脑研究所 - ICM,CNRS,Inria,Inserm,AP-HP,皮提耶-萨勒佩特里医院)
本文提出ConfIC-RCA方法,通过引入In-Context RCA和Conformal RCA,在无标注数据情况下实现分割质量的统计保证估计,适用于多种医学影像任务,具有高效和可靠的特点。
2026-03-29 cs.CV
Informing selection of performance metrics for medical image segmentation evaluation using configurable synthetic errors
United States Food and Drug Administration(美国食品药品监督管理局)
医学成像中基于机器学习的分割广泛用于从诊断到放射治疗计划的临床应用。具有地面实况的分割的医学图像对于研究不同分割性能度量的属性以告知度量选择是有用的。规则的几何形状通常用于合成分割误差并说明性能度量的属性,但它们缺乏真实图像中解剖变化的复杂性。在这项研究中,我们提出了一种工具,通过调整从真实医学图像中提取的解剖对象的参考(真相)掩模来模拟分割。我们的工具旨在修改定义的真轮廓,并模拟不同类型的分割错误与一组用户可配置的参数。我们从放射治疗的胶质瘤图像分割(GLIS-RT)数据库中的230个患者图像中定义了地面真实对象。对于每个对象,我们使用我们的分割合成工具来合成10个版本的分割(即,10个模拟分割器或算法),其中每个版本具有分割误差的预定义组合。然后,我们应用20个性能指标来评估所有合成分割。我们展示了这些指标的属性,包括它们捕获特定类型分割错误的能力。通过分析这些指标的内在属性和分类的分割错误,我们正在努力的目标是开发一个决策树工具,以协助选择分割性能指标。
2022-12-30 cs.CV eess.IV
The efficiency of deep learning algorithms for detecting anatomical reference points on radiological images of the head profile
Samara National Research University(萨马拉国立研究大学);IPSI RAS(俄罗斯科学院图像投影系统研究所);FSBEI HE SamSMU MOH Russia(俄罗斯卫生部萨马拉国立医科大学);ICCS RAS(俄罗斯科学院复杂系统研究所)
在这篇文章中,我们研究了深度学习算法在解决横向投影中头部放射图像上检测解剖参考点的任务时的效率,该任务使用全卷积神经网络和具有扩展架构的全卷积神经网络进行生物医学图像分割- U-Net。对每个所选神经网络架构的解剖参考点的检测结果进行比较,并将其与当神经外科医生检测到解剖参考点时获得的结果进行比较。基于所获得的结果,可以得出结论,U-Net神经网络允许比完全卷积神经网络更准确地执行解剖参考点的检测。用U-Net神经网络检测解剖参考点的结果更接近一组解剖学家检测参考点的平均结果。
2020-06-18 cs.CV eess.IV
Exploiting Clinically Available Delineations for CNN-based Segmentation in Radiotherapy Treatment Planning
Amsterdam University Medical Center, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹医学中心);University Medical Center Utrecht(乌得勒支大学医学中心);Image Sciences Institute, University Medical Center Utrecht(乌得勒支大学医学中心影像科学研究所)
卷积神经网络(CNN)已被广泛和成功地用于医学图像分割。然而,CNN通常被认为需要大量的专用专家分段训练卷,这在实践中可能是有限的。这项工作调查临床上获得的分割,这是很容易在图片存档和通信系统(PACS)可以提供一个可能的数据来源,训练的CNN分割器官的危险(OAR)在放射治疗计划。在这些数据中,可能缺乏被认为与目标临床用途无关的结构描述。为了克服这个问题,我们使用多标签而不是多类分割。我们凭经验评估了多少临床描绘将足以训练用于OAR分割的CNN,并发现将训练集大小增加到有限数量的图像之外会导致收益急剧减少。此外,我们发现,通过使用多标签分割,参考标准中的缺失结构不会对整体分割精度产生负面影响。这些结果表明,在临床工作流程中获得的分割可用于训练准确的OAR分割模型。
2019-11-12 cs.CV cs.LG stat.ML