Connectivity-constrained Interactive Panoptic Segmentation
我们解决了交互式全景标注，其中一个分割图像中的所有对象和填充区域。我们研究了两个基于图形的分割算法，这两个算法都强制每个区域的连接，一个显着的类感知的线性规划（ILP）制定，确保全局最优。这两种算法都可以采用RGB，或者利用来自任何DCNN的特征图，无论是否在目标数据集上训练，作为输入。然后，我们提出了一个互动的，基于涂鸦的注释框架。
2022-12-13 cs.CV
WSESeg: Introducing a Dataset for the Segmentation of Winter Sports Equipment with a Baseline for Interactive Segmentation
University of Augsburg（奥格斯堡大学）
本研究提出包含10类冬季运动装备实例分割掩码的WSESeg数据集，在其上评估SAM、HQ-SAM模型并测试多种在线适配方法，验证了该方法可有效降低失败率与点击次数，提升交互式分割效率。
2024-07-12 cs.CV
LIMIS: Towards Language-based Interactive Medical Image Segmentation
Institute for AI in Medicine (IKIM), University Hospital Essen（埃森大学医院医学人工智能研究所（IKIM））
本文提出首个纯语言交互的医学图像分割模型 LIMIS，通过适配 Grounded SAM 与语言交互策略，让医生仅凭语言调整掩码，并在三个公开数据集上验证了分割质量与可用性。
2024-10-22 cs.CV
Reviving Iterative Training with Mask Guidance for Interactive Segmentation
Samsung Electronics Co.（三星电子公司）
基于点击的交互式分割的最新作品已经通过使用各种推理时间优化方案展示了最先进的结果。与前馈方法相比，这些方法的计算成本要高得多，因为它们需要在推理过程中通过网络执行向后传递，并且很难部署在通常只支持向前传递的移动框架上。在本文中，我们广泛地评估了各种设计选择的交互式分割，并发现，新的国家的最先进的结果，可以获得没有任何额外的优化方案。因此，我们提出了一个简单的基于点击的交互式分割，采用从前面的步骤分割掩模的前馈模型。它不仅允许分割一个全新的对象，而且还可以从外部掩码开始并对其进行校正。当分析在不同数据集上训练的模型的性能时，我们观察到训练数据集的选择极大地影响了交互式分割的质量。我们发现，在COCO和LVIS的组合上训练的模型具有多样化和高质量的注释，表现出优于所有现有模型的性能。代码和训练模型可在https://github.com/saic-vul/ritm_interactive_segmentation上获得。
2021-02-12 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中，我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快，但这种方法需要一个（或几个）帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的，我们提出了一种深度交互式图像分割方法，可以准确地分割对象，只有少数点击。在GrabCut数据集上，我们的方法平均只需3.8次点击即可获得90%的IOU，开创了最新的技术水平。此外，由于我们的方法迭代地细化初始分割，它可以有效地纠正视频对象分割失败的帧，从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后，我们调查使用模式，并提供用户注释框架的步骤，他们提供什么样的更正等方面的见解，从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
An Iterative Boundary Random Walks Algorithm for Interactive Image Segmentation
South China University of Technology（华南理工大学）
交互式图像分割算法可以提供一种智能的方式来理解用户输入的意图。许多交互式方法都存在需要大量用户输入的问题。在有限的用户输入下有效地产生直观的分割对于工业应用是重要的。在本文中，我们揭示了一个正反馈系统的图像分割显示像素的自我学习。对反馈系统中的关键步骤--分割势，提出了两种求解方法：迭代随机游动和边界随机游动。图像分割的实验结果表明，该算法可以获得更有效的随机游走输入。采用迭代边界随机游走算法可以获得更高的分割性能。
2018-08-09 cs.CV
Iteratively Trained Interactive Segmentation
RWTH Aachen University（亚琛工业大学）
深度学习需要大量的训练数据才能有效。对于对象分割的任务，手动标记数据是非常昂贵的，因此需要交互式方法。根据最近的方法，我们开发了一个交互式对象分割系统，该系统使用用户输入的点击作为卷积网络的输入。虽然以前的方法使用启发式点击采样策略来模拟用户在训练过程中的点击，我们提出了一个新的迭代训练策略。在训练过程中，我们根据当前预测的分割错误迭代地添加点击。我们表明，我们的迭代训练策略以及对网络架构的额外改进导致了最先进的改进结果。
2018-05-11 cs.CV
Interactive segmentation using U-Net with weight map and dynamic user interactions
Ryerson University（瑞尔森大学）
交互式分割最近引起了人们的注意，需要专家输入，以进一步提高分割性能的专门任务。在这项工作中，我们提出了一种新的交互式分割框架，用户点击的大小根据当前的分割掩码进行动态调整。点击的区域形成权重图，并作为新的加权损失函数被馈送到深度神经网络。为了评估我们的损失函数，一个交互式的U-网络（IU-Net）模型，其中应用前景和背景用户点击作为主要的交互方法。我们在BCV数据集上进行训练和验证，同时在MSD数据集的脾脏和结肠癌CT图像上进行测试，以使用我们的加权损失函数与标准U-Net相比提高整体分割精度。应用动态的用户点击大小增加了5.60%和10.39%的整体准确性，分别通过只利用一个单一的用户交互。
2021-11-18 cs.CV
Deep learning-based interactive segmentation in remote sensing
National Center for Ecological Analysis and Synthesis, University of California, Santa Barbara（加州大学圣塔芭芭拉分校国家生态分析与综合中心）；University of Idaho（爱达荷大学）；Fujian Agriculture and Forestry University（福建农林大学）；Bren School of Environmental Science and Management, University of California, Santa Barbara（加州大学圣塔芭芭拉分校布伦环境科学与管理学院）
本文基准评估五种点击式交互式分割模型并提出 CFR 推理策略，发现 SimpleClick-CFR 表现最佳，据此构建面向遥感影像的 SegMap 在线工具。
2025-05-12 cs.CV
Interactive Segmentation for Diverse Gesture Types Without Context
University of Colorado Boulder（科罗拉多大学博尔德分校）；Adobe Research（奥多比研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有交互式分割需限定手势类型并标注包含/排除意图的问题，提出无上下文多手势任务，构建多手势数据集与整体评估指标，并评测多种适配算法。
2023-12-05 cs.CV
iSegFormer: Interactive Segmentation via Transformers with Application to 3D Knee MR Images
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了iSegFormer，一个内存高效的Transformer，结合了Swin Transformer与轻量级多层感知器（MLP）解码器。通过用于分层自注意力的高效Swin Transformer块和用于聚合局部和全局注意力的简单MLP解码器，iSegFormer可以学习强大的表示，同时实现高计算效率。具体来说，我们将iSegFormer应用于交互式3D医学图像分割。
2022-07-17 cs.CV
Interactive Image Segmentation From A Feedback Control Perspective
Stony Brook University（石溪大学）；Exception Orthopaedic Solutions, LLC（Exception骨科解决方案有限责任公司）
图像分割是计算视觉和医学成像中的一个基本问题。设计一个通用的，自动化的方法，适用于各种对象和成像模式是一项艰巨的任务。我们没有提出一个新的具体分割算法，而是从反馈控制理论的角度提出了一个关于如何整合用户交互的一般设计原则。利用脉冲控制和李雅普诺夫稳定性分析方法设计和分析了一个交互式分割系统。然后推导出稳定性条件，用于指导算法设计。最后，验证了该方法的有效性和鲁棒性.
2016-09-26 cs.CV
Guided Interactive Video Object Segmentation Using Reliability-Based Attention Maps
Korea University（高丽大学）；Chungnam National University（忠南大学）
提出了一种新的视频对象引导交互式分割（GIS）算法，以提高分割精度和减少交互时间。首先，我们设计了基于可靠性的注意力模块来分析多个注释帧的可靠性。其次，我们开发了交叉感知传播模块，将分割结果传播到相邻帧。第三，我们引入了GIS机制，用户可以快速选择不满意的帧，更少的努力。实验结果表明，该算法比传统算法具有更快的分割速度和更准确的分割结果。代码可在https://github.com/yuk6heo/GIS-RAmap上获得。
2021-04-21 cs.CV
Refining Segmentation On-the-Fly: An Interactive Framework for Point Cloud Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
本文针对交互式点云语义分割任务，提出首个无需离线重训练的实时交互式框架InterPCSeg，通过测试时稀疏交互训练与稳定能量项约束，结合定制交互模拟方案，有效借助用户交互提升点云语义分割效果。
2024-03-11 cs.CV
Scale-aware multi-level guidance for interactive instance segmentation
Institute of Computer Science II（第二计算机科学研究所）；University of Bonn（波恩大学）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
在交互式实例分割中，用户给出反馈以迭代地细化分割掩码。用户提供的点击被转换成引导地图，该引导地图为网络提供关于感兴趣对象的下落的必要线索。目前系统中使用的导航地图纯粹是以距离为基础的，不是过于局限就是没有信息。我们提出了一种新的转换用户点击生成规模感知的指导地图，利用图像中存在的层次结构信息。使用我们的指导图，即使是最基本的FCN也能够超越现有的方法，这些方法需要在大规模分割数据集上预先训练的最先进的分割网络。我们证明了我们提出的转型战略的有效性，通过全面的实验，我们显着提高国家的最先进的四个标准的交互式分割基准。
2018-12-07 cs.CV
FOMTrace: Interactive Video Segmentation By Image Graphs and Fuzzy Object Models
普通用户已经从单纯的多媒体数据内容的消费者转变为多媒体数据内容的积极生产者。视频编辑在这种情况下起着重要的作用，需要简单的分割工具，可以处理快速移动和可变形的视频对象，其中可能存在遮挡，与背景的颜色相似性等挑战。我们提出了一个交互式的视频分割方法，名为FOMTrace，它解决了这个问题，在一个有效的和高效的方式。从第一帧中的用户提供的对象掩模，该方法在时空超像素图上执行半自动视频分割，然后估计模糊对象模型（FOM），其通过将描绘约束在对象的边界预期所在的区域内的像素图上来细化第二帧的分割。用户可以校正/接受第二帧中的细化的对象掩模，其然后类似地用于改进剩余帧的时空视频分割。在交互式响应时间内交替重复这两个步骤，直到用户接受最终帧的分割细化。大量的实验表明，FOMTrace的跟踪对象的能力相比，国家的最先进的方法进行交互式视频分割，监督和无监督的对象跟踪。
2016-06-10 cs.CV
Icon: An Interactive Approach to Train Deep Neural Networks for Segmentation of Neuronal Structures
Harvard University（哈佛大学）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）
我们提出了一种交互式的方法来训练深度神经网络像素分类器的神经元结构的分割。交互式训练方案减少了深度网络在图像分割问题上表现良好所需的极其繁琐的手动注释任务。我们提出的方法采用了一个反馈回路，该回路使用图形用户界面捕获稀疏注释，基于最近和过去的注释训练深度神经网络，并几乎实时地向用户显示预测输出。我们的算法实现还允许多个用户并行提供注释，并从同一个分类器接收反馈。在交互式设置中对分类器性能的快速反馈使用户能够识别和标记比其他分类器更重要的示例。我们的实验表明，交互式训练的像素分类器在电子显微镜（EM）图像上产生更好的区域分割结果，而不是由相同架构的网络在详尽的地面实况标签上离线训练产生的结果。
2016-10-27 cs.CV
PseudoClick: Interactive Image Segmentation with Click Imitation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；United Imaging Intelligence（联影智能）
基于点击的交互式图像分割的目标是在有限的用户交互下获得精确的对象分割掩模，即，by a minimum最小number数of user用户clicks点击.现有的方法需要用户提供所有的点击：首先检查分割掩模，然后迭代地提供错误标记区域上的点。我们提出了一个问题：我们的模型能否直接预测点击的位置，从而进一步降低用户交互成本？为此，我们提出了{ \PseudoClick }，一个通用的框架，使现有的细分网络提出候选下一次点击。这些自动生成的点击，在这项工作中称为伪点击，作为人类点击的模仿，以完善分割掩模。
2022-07-27 cs.CV
Clore: Interactive Pathology Image Segmentation with Click-based Local Refinement
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院）
本文提出Clore方法，通过分层交互范式提升病理图像分割精度，减少交互次数，实现高效准确的局部细化。
2026-03-29 cs.CV
EISeg: An Efficient Interactive Segmentation Tool based on PaddlePaddle
Baidu, Inc.（百度公司）；CQJTU（重庆交通大学）；NYU（纽约大学）
近年来，深度学习的快速发展为基于神经网络的图像和视频分割方法带来了巨大的进步。然而，为了释放这些模型的全部潜力，大量高质量的注释图像对于模型训练是必要的。目前，许多广泛使用的开源图像分割软件严重依赖于人工标注，这是繁琐和耗时的。在这项工作中，我们介绍了EISeg，一个高效的交互式分割注释工具，可以大大提高图像分割注释效率，只需点击几下即可生成高度准确的分割掩码。我们还为遥感、医学成像、工业质量检测、人体分割提供各种特定领域的模型，并为视频分割提供时间感知模型。我们的算法和用户界面的源代码可在https://github.com/PaddlePaddle/PaddleSeg上获得。
2022-10-18 cs.CV
Interactive Segmentation of Radiance Fields
CVIT（计算机视觉与智能系统中心）；Kohli Center on Intelligent Systems (KCIS)（科利智能系统中心）；IIIT Hyderabad（海得拉巴国际信息技术学院）
辐射场（Radiance Fields，RF）是一种常用的场景表示方法，用于新的视图合成和其他应用，而个人空间的混合现实需要理解和操作辐射场表示的场景，其中对象的语义分割是一个重要步骤。先前的分割工作显示出希望，但不能扩展到具有不同外观的复杂对象。我们提出的ISRF方法，交互式分割具有精细结构和外观的物体。使用提取的语义特征的最近邻特征匹配识别高置信度种子区域。联合空间语义空间中的双边搜索增长区域以恢复准确的分割。我们展示了从RF中分割对象并将其合成到另一个场景，改变外观等的最新结果，以及其他人可以使用的交互式分割工具。项目页面：https://rahul-goel.github.io/isrf/
2023-03-25 cs.CV
Quality-Aware Memory Network for Interactive Volumetric Image Segmentation
ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）
尽管自动医学图像分割技术最近取得了进展，但全自动的结果通常不能满足临床使用，并且通常需要进一步改进。在这项工作中，我们提出了一个质量感知的记忆网络的交互式分割的三维医学图像。由用户在任意切片上提供指导，首先采用交互网络来获得初始2D分割。质量感知存储器网络随后在整个体积上双向传播初始分割估计。可以以相同的方式并入基于对其他切片的附加用户指导的后续细化。为了进一步促进交互式分割，引入了质量评估模块，以基于每个切片的当前分割质量来建议下一个切片进行分割。所提出的网络具有两个吸引人的特征：1）记忆增强网络提供了快速编码过去分割信息的能力，这些信息将被检索用于其他切片的分割; 2）质量评估模块使模型能够直接估计分割预测的质量，这允许主动学习范例，其中用户优先标记质量最低的切片进行多轮细化。所提出的网络导致了鲁棒的交互式分割引擎，其可以很好地推广到各种类型的用户注释（例如，涂鸦，盒子）。在各种医学数据集上的实验结果表明，与现有技术相比，我们的方法的优越性。
2021-07-05 cs.CV
Scale Disparity of Instances in Interactive Point Cloud Segmentation
Zhejiang University（浙江大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
针对交互式点云分割中物体与背景实例尺度差异问题，提出ClickFormer模型，通过查询增强和全局注意力机制，在室内外数据集上以更少点击实现更优分割。
2024-07-19 cs.CV
MIDeepSeg: Minimally Interactive Segmentation of Unseen Objects from Medical Images Using Deep Learning
University of Electronic Science and Technology of China（电子科技大学）；SenseTime Research（商汤科技研究院）；Shanghai Jiao Tong University（上海交通大学）；University Hospitals Leuven（鲁汶大学医院）；University College London（伦敦大学学院）；King’s College London（伦敦国王学院）
从医学图像中分割器官或病变在诸如诊断和治疗计划的许多临床应用中起着至关重要的作用。虽然卷积神经网络（CNN）已经实现了自动分割的最先进的性能，但它们往往受到缺乏临床可接受的准确性和复杂情况下的鲁棒性的限制。因此，交互式分割是这些方法的一种实用的替代方法。然而，传统的交互式分割方法需要大量的用户交互，最近提出的基于CNN的交互式分割方法受到先前看不见的对象的性能差的限制。为了解决这些问题，我们提出了一种新的基于深度学习的交互式分割方法，该方法不仅由于只需要点击作为用户输入而具有高效率，而且还可以很好地推广到一系列以前看不见的对象。具体来说，我们首先通过我们提出的指数化测地线距离对用户提供的内部边缘点进行编码，使CNN能够对先前看到和看不到的对象实现良好的初始分割结果，然后我们使用一种新的信息融合方法，该方法将初始分割与仅少量的额外用户点击相结合，以有效地获得精细分割。我们通过对2D和3D医学图像分割任务的广泛实验验证了我们提出的框架，这些任务具有广泛的先前未见过的对象，这些对象在训练集中不存在。实验结果表明，我们提出的框架1）与最先进的交互式框架相比，以更少的用户交互和更少的时间实现了准确的结果，2）很好地推广到以前看不见的对象。
2021-04-25 cs.CV
Interactive Binary Image Segmentation with Edge Preservation
Farsee2 Technology（Farsee2科技）；Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）；University of South Carolina（南卡罗来纳大学）
二值图像分割在计算机视觉中起着重要的作用，并已广泛应用于图像和视频编辑、目标提取和照片合成等许多应用中。在本文中，我们提出了一种新的交互式二值图像分割方法的基础上马尔可夫随机场（MRF）的框架和快速双边求解器（FBS）技术。具体来说，我们采用测地距离分量来构建一元项。为了确保交互式分割的计算效率和有效响应，使用超像素代替像素来计算测地线距离。此外，我们采取双边亲和力的方法，成对项，以保持边缘信息和去噪。通过交替方向策略，将MRF能量最小化问题分解为两个子问题，分别用最陡梯度下降（SGD）和FBS法求解。在VGG交互式图像分割数据集上的实验结果表明，该算法的分割效果优于现有的几种算法，特别是在前景和背景颜色不明显的情况下，仍能获得令人满意的边缘平滑分割效果。
2018-09-10 cs.CV
Interactive Deep Refinement Network for Medical Image Segmentation
Zhejiang Lab（浙江实验室）；Ritsumeikan University（立命馆大学）；Zhejiang University（浙江大学）
深度学习技术已成功应用于包括图像分割在内的众多计算机视觉任务中。该技术也已被应用于医学图像分割，在计算机辅助诊断中的最关键的任务之一。与自然图像相比，医学图像是一种对比度较低的灰度图像（甚至存在不可见部分）。由于某些器官与相邻器官具有相似的强度和纹理，因此通常需要细化自动分割结果。在本文中，我们提出了一个交互式深度细化框架，以改进传统的语义分割网络，如U-Net和全卷积网络。在该框架中，我们在传统分割网络的基础上增加了一个细化网络，对分割结果进行细化，在公开数据集上的实验结果表明，该方法能够获得比现有方法更高的准确率。
2020-06-27 cs.CV
ScribbleSeg: Scribble-based Interactive Image Segmentation
The University of Hong Kong（香港大学）；Meta AI
交互式分割使用户能够通过提供简单的注释来指示目标（如框、单击或涂鸦），从而提取掩码。在这些交互格式中，涂鸦是最灵活的，因为它们可以具有任意形状和大小。这使得涂鸦能够提供目标对象的更多指示。然而，以前的工作主要集中在基于点击的配置，而基于涂鸦的设置很少探索。在这项工作中，我们试图制定一个标准的协议，基于涂鸦的交互式分割。基本上，我们设计了多样化的策略来模拟涂鸦训练，提出了一个确定性的涂鸦生成器进行评估，并构建了一个具有挑战性的基准。此外，我们建立了一个强大的框架ScribbleSeg，包括一个原型适配模块（PAM）和一个纠正细化模块（CRM），为任务。大量的实验表明，ScribbleSeg的性能显着优于以前的点击为基础的方法。我们希望这可以作为一个更强大的和通用的解决方案，交互式分割。我们的代码将提供。
2023-03-20 cs.CV
f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation
Samsung AI Center（三星人工智能中心）
深度神经网络已经成为交互式分割的主流方法。正如我们在实验中所展示的，虽然对于一些图像，经过训练的网络只需点击几下就可以提供准确的分割结果，但对于一些未知对象，即使有大量的用户输入，它也无法达到令人满意的结果。最近提出的反向传播细化（BRS）计划引入了一个优化问题的交互式分割，结果显着更好的性能为硬的情况下。与此同时，BRS需要在深度网络中向前和向后运行多次，这导致与其他方法相比，每次点击的计算预算显着增加。我们提出了f-BRS（特征反向传播细化方案），它解决了关于辅助变量而不是网络输入的优化问题，并且只需要为网络的一小部分运行向前和向后传递。在GrabCut、Berkeley、DAVIS和SBD数据集上进行的实验，与原始BRS相比，每次点击的时间降低了一个数量级。代码和训练模型可在https://github.com/saic-vul/fbrs_interactive_segmentation上获得。
2020-08-25 cs.CV
Interactive Segmentation Model for Placenta Segmentation from 3D Ultrasound images
Vanderbilt University（范德堡大学）；University of Pennsylvania（宾夕法尼亚大学）
针对3D超声胎盘自动分割鲁棒性不足的问题，对比评估前沿3D交互式分割模型与人在环路方法，证实人在环路模型在胎盘交互式分割任务中兼具有效性与高效性，且达到Dice 0.95的成功分割标准。
2024-07-10 cs.CV
SLIP: Segmentation with Low-latency Interactive Prompting for 3D Medical Images
IRCAD France（法国国际消化道疾病研究中心）；Université de Strasbourg, CNRS, ICube（斯特拉斯堡大学、法国国家科学研究中心、ICube实验室）；IRCCS Humanitas Research Hospital（圣心研究医院）；Humanitas University（圣心大学）；Fondazione Policlinico Universitario A. Gemelli, Istituto di Ricovero e Cura a Carattere Scientifico (IRCCS)（圣心综合大学医院）
研究针对3D医学图像交互式分割中现有方法的问题，提出SLIP框架，解耦图像编码与提示细化，通过复用特征和维护交互感知状态降低延迟，支持可逆提示，经用户研究验证其在多方面优于现有方法，实现SOTA性能。
2026-07-27 cs.CV
Evidential Calibrated Uncertainty-Guided Interactive Segmentation paradigm for Ultrasound Images
Shanghai University（上海大学）；East China Normal University（华东师范大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对超声图像分割中交互方法效率低、提示多的问题，提出基于证据不确定性估计的 EUGIS 范式，通过优先采样高不确定性区域并引入可训练校准机制，在减少提示和迭代次数的同时提升分割性能。
2025-01-02 cs.CV
CellPilot: A unified approach to automatic and interactive segmentation in histopathology
School of Computation and Information Technology, Technical University of Munich（慕尼黑工业大学计算与信息技术学院）；Helmholtz Zentrum München - German Research Center for Environmental Health（亥姆霍兹慕尼黑中心——德国环境健康研究中心）；School of Biomedical Engineering and Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与影像科学学院）
针对组织病理学中自动分割因组织与细胞形态变异性需手动校正的问题，提出CellPilot框架，结合自动分割与交互式细化，在多数据集训练后性能优于现有工具，并开源模型与界面助力诊断模型发展。
2024-11-23 cs.CV
LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes
University of South Carolina（南卡罗来纳大学）；Zhejiang University（浙江大学）；Utah State University（犹他州立大学）
从图像中交互地分割感兴趣的前景对象的一种流行方法是注释覆盖前景对象的限界框。然后，执行二进制标记以实现精细分割。用于这种交互式图像分割的现有算法的一个主要问题是它们对紧密包围前景对象的输入限界框的偏好。这增加了注释负担，并阻止这些算法利用自动检测到的边界框。在本文中，我们开发了一个新的LooseCut算法，可以处理的情况下，输入的限界框只松散地覆盖前景对象。我们提出了一个新的马尔可夫随机场（MRF）模型分割松散的有界框，包括一个全局相似性约束，以更好地区分前景和背景，和一个额外的能量项，以鼓励一致的标签相似外观的像素。这个MRF模型，然后解决了迭代最大流算法。在实验中，我们在三个公开的图像数据集中评估LooseCut，并将其性能与几种最先进的交互式图像分割算法进行比较。我们还表明，LooseCut可用于增强无监督视频分割和图像显著性检测的性能。
2015-11-22 cs.CV
RAIS: Robust and Accurate Interactive Segmentation via Continual Learning
Baidu Inc.（百度公司）
交互式图像分割的目的是通过人机交互的方式分割出目标区域。最近基于深度学习的工作取得了优异的性能，但大多数工作都集中在提高训练集的准确性上，而忽略了对测试集的潜在改进。在推理阶段，它们往往在与训练集相似的领域上具有良好的性能，并且缺乏对领域转移的适应性，因此它们需要更多的用户努力才能获得满意的结果。在这项工作中，我们提出了RAIS，一个强大的和准确的架构，交互式分割与连续学习，其中模型可以从训练和测试数据集学习。为了有效地学习测试集，我们提出了一种新的优化策略来更新全局和局部参数的基本分割模块和自适应模块，分别。此外，我们进行了广泛的实验，几个基准，表明我们的方法可以处理数据分布偏移，并实现SOTA性能相比，最近的交互式分割方法。此外，我们的方法也显示了它的鲁棒性在遥感和医学成像数据集的数据域是完全不同的训练和测试。
2022-10-20 cs.CV
LiViBench: An Omnimodal Benchmark for Interactive Livestream Video Understanding
LiViBench是首个面向交互式直播视频的多模态基准测试，通过定制化两阶段指令微调和视频到评论检索模块，提升模型对直播视频的理解能力，并在多个基准测试中取得优异成绩。
2026-01-21 cs.CV
Assessing Test-time Variability for Interactive 3D Medical Image Segmentation with Diverse Point Prompts
Vanderbilt University（范德堡大学）
针对交互式3D医学图像分割中提示选择的变异性问题，提出基于点位置分类的测试时最优提示选择策略，并在结肠肿瘤分割任务上验证其有效性。
2023-11-13 cs.CV
Localized Interactive Instance Segmentation
Institute of Computer Science II（计算机科学第二研究所）；University of Bonn, Germany（德国波恩大学）；School of Computing（计算机学院）；National University of Singapore（新加坡国立大学）
在当前的交互式实例分割工作中，当提供点击以分割对象时，用户被授予自由的手;在背景像素和远离目标对象的其他对象实例上允许点击。这种形式的交互与有效隔离感兴趣对象的最终目标非常不一致。在我们的工作中，我们提出了一个点击方案，其中用户交互被限制在对象的接近度。此外，我们提出了一种新的变换用户提供的点击生成一个弱本地化之前的对象，这是一致的图像结构，如边缘，纹理等，我们证明了我们提出的点击方案和本地化策略的有效性，通过详细的实验中，我们提出了国家的最先进的几个标准的交互式分割基准。
2020-10-20 cs.CV
Transforming the Interactive Segmentation for Medical Imaging
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文的目标是交互式地改进自动分割的挑战性结构，这些结构落后于人类的表现，无论是由于可用注释的稀缺性还是问题本身的困难性，例如，分割癌症或小器官。具体来说，我们提出了一种新的基于变压器的交互式分割（TIS）的架构，它把细化任务作为一个程序，用于分组像素具有类似的功能，这些点击由最终用户。我们提出的架构是由Transformer Decoder的变种，自然履行功能比较与注意力机制。与现有的方法相比，我们提出的TIS不限于二进制分割，并允许用户编辑任意数量的类别的掩模。为了验证所提出的方法，我们在三个具有挑战性的数据集上进行了广泛的实验，并证明了优于现有最先进方法的性能。该项目的页面是：https://wtliu7.github.io/tis/。
2022-10-27 cs.CV
Variance-insensitive and Target-preserving Mask Refinement for Interactive Image Segmentation
Xidian University（西安电子科技大学）；Sun Yat-sen University（中山大学）；Tencent（腾讯）；South China University of Technology（华南理工大学）
针对交互式图像分割中初始掩码方差敏感和对象信息丢失问题，提出掩码匹配与目标感知缩放算法，在多个数据集上达到最先进性能。
2023-12-22 cs.CV
IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence
Indian Institute of Technology Bombay（印度理工学院孟买分校）
结合少样本与交互式分割，提出IFSENet，通过点击形式的稀疏监督在支持集和查询集上生成掩码，以大幅降低标注成本并保持高准确率。
2024-03-22 cs.CV
Seeded Laplaican: An Eigenfunction Solution for Scribble Based Interactive Image Segmentation
University of Maryland, College Park（马里兰大学帕克分校）；Alexandria University, Faculty of Engineering（亚历山大大学工程学院）
本文将基于涂鸦的交互式图像分割问题转化为一个半监督学习问题。我们的新方法证明了需要解决一个昂贵的广义特征向量的问题，通过使用有效计算的特征函数近似的特征向量。定义在极限n处的特征密度上的平滑算子趋于无穷大，恢复了图拉普拉斯算子的精确特征向量，其中n是图中的节点数。为了进一步降低计算复杂性而不牺牲我们的准确性，我们从用户注释中选择枢轴像素。在我们的实验中，我们评估我们的方法使用人类涂鸦和“机器人用户”的注释来指导前景/背景分割。我们开发了一个新的无偏的五个注释图像数据集的集合，以标准化任何基于涂鸦的分割方法的评估程序。我们尝试了几种变化，包括不同的特征向量，枢轴计数和特征向量的数量。实验是在包含各种自然图像的数据集上进行的。与最先进的交互式分割算法相比，我们实现了更好的定性和定量结果。
2017-08-27 cs.CV
Robust Seed Mask Generation for Interactive Image Segmentation
Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）；Siemens Healthcare GmbH（西门子医疗有限公司）；Erlangen Graduate School in Advanced Optical Technologies (SAOT)（埃尔朗根先进光学技术研究生院）
在交互式医学图像分割中，从重建的体积图像中提取解剖结构。用户交互的第一次迭代传统上包括绘制图形提示作为要提取的对象的初始估计。只有在这个耗时的第一阶段之后，才开始对当前分割结果进行有效的选择性细化。错误标记的种子，特别是在对象的边界附近，对于人类来说检测和替换是具有挑战性的，并且可能会显著影响整体分割质量。我们提出了一个自动播种管道以及基于显着性识别的配置，以跳过分割过程中耗时的初始交互阶段。在测试数据集上的第一次用户交互之前达到68.22%的中值Dice分数，播种中的出错率仅为0.088%。
2017-11-20 cs.CV
PC-SAM: Patch-Constrained Fine-Grained Interactive Road Segmentation in High-Resolution Remote Sensing Images
Zhejiang University of Technology（浙江工业大学）；Zhejiang University（浙江大学）
本文提出PC-SAM，结合全自动分割与交互分割，通过约束点提示影响范围，实现细粒度交互掩码细化，优于现有全自动模型。
2026-04-01 cs.CV
Active spline model: A shape based model-interactive segmentation
在文献中很少有分割方法关心算法交付后的编辑。当分割出错时，它们没有提供解决方案。我们建议制定的向心参数Catmull-Rom样条的点分布模型。这种融合为基于模型的分割带来了交互性，从而更好地处理编辑。当交付的部分是不满意的，用户只需移动点来改变曲线。我们在三种不同的成像模式上运行该方法，并在胸片上实现了0.879的自动肺部分割平均重叠。之后的编辑将平均重叠提高到0.945，最小值为0.925。源代码和演示视频可在http://wp.me/p3vCKy-2S上获得
2014-02-26 cs.CV
CGAM: Click-Guided Attention Module for Interactive Pathology Image Segmentation via Backpropagating Refinement
Korea University（高丽大学）
本文提出一种交互式病理图像分割方法，通过点击引导注意力模块（CGAM）将交互式分割转化为优化问题，结合用户点击约束与特征图语义信息精修网络输出，避免对用户点击过拟合且模型大小与输入无关，性能优于现有最先进方法。
2023-07-03 cs.CV
Focused and Collaborative Feedback Integration for Interactive Image Segmentation
Tsinghua University（清华大学）
交互式图像分割旨在使用简单的用户注释获得图像的分割掩模。在每轮交互期间，来自前一轮的分割结果用作反馈以指导用户的注释，并为分割模型提供密集的先验信息，有效地充当交互之间的桥梁。现有的方法忽略了反馈的重要性或简单地将其与原始输入连接起来，导致反馈利用不足和所需注释数量的增加。为了解决这个问题，我们提出了一种称为集中和协作反馈集成（FCFI）的方法，以充分利用基于点击的交互式图像分割的反馈。FCFI首先关注新点击周围的局部区域，并根据高级特征的相似性校正反馈。然后，它交替地和协作地更新反馈和深度特征，以将反馈集成到特征中。FCFI的有效性和效率在四个基准上进行了验证，即GrabCut，Berkeley，SBD和DAVIS。实验结果表明，FCFI实现了新的国家的最先进的性能与更少的计算开销比以前的方法。源代码可在https://github.com/veizgyauzgyauz/FCFI上获得。
2023-03-21 cs.CV
DeepIGeoS: A Deep Interactive Geodesic Framework for Medical Image Segmentation
University College London（伦敦大学学院）；University Hospitals KU Leuven（鲁汶大学附属医院）
准确的医学图像分割对于诊断、手术计划和许多其他应用是必不可少的。卷积神经网络（CNN）已成为最先进的自动分割方法。然而，全自动的结果可能仍然需要改进，以变得足够准确和稳健，以供临床使用。我们提出了一种基于深度学习的交互式分割方法，以改善自动CNN获得的结果，并减少细化过程中的用户交互，以获得更高的准确性。我们使用一个CNN来获得初始自动分割，在该自动分割上添加用户交互以指示错误分割。另一个CNN将用户与初始分割的交互作为输入，并给出细化的结果。我们建议通过测地距离变换将用户交互与CNN相结合，并提出一种分辨率保持网络，可以提供更好的密集预测。此外，我们将用户交互作为硬约束集成到一个反向传播的条件随机场。我们验证了所提出的框架的背景下，二维胎盘分割胎儿MRI和三维脑肿瘤分割FLAIR图像。实验结果表明，我们的方法取得了很大的改进，从自动CNN，并获得可比的，甚至更高的准确性，更少的用户干预和更少的时间相比，传统的交互式方法。
2017-09-19 cs.CV
A Fully Convolutional Two-Stream Fusion Network for Interactive Image Segmentation
Loughborough University（拉夫堡大学）；The ICE Agency（ICE机构）
在本文中，我们提出了一种新的全卷积双流融合网络（FCTSFN）的交互式图像分割。所提出的网络包括两个子网络：双流后期融合网络（TSLFN），以降低的分辨率预测前景，以及多尺度细化网络（MSRN），以全分辨率细化前景。TSLFN包括两个不同的深度流，然后是融合网络。直觉是，由于用户交互是关于前景/背景的比图像本身更直接的信息，TSLFN的双流结构减少了纯用户交互特征和网络输出之间的层数，允许用户交互对分割结果产生更直接的影响。MSRN融合了TSLFN不同层次的不同尺度的特征，以寻求局部到全局的前景信息，从而在全分辨率下改进分割结果。我们在四个基准数据集上进行了全面的实验。实验结果表明，与目前最先进的交互式图像分割方法相比，该网络具有很好的性能
2018-10-02 cs.CV
Interactive Image Segmentation with Cross-Modality Vision Transformers
University of Twente（特文特大学）
本文提出基于跨模态视觉Transformer的点击式交互图像分割网络，利用互信息引导多模态学习，在多个基准上超越现有最优模型并展现出实用标注工具潜力。
2023-07-05 cs.CV
Getting to 99% Accuracy in Interactive Segmentation
Trinity College Dublin（都柏林圣三一学院）；Adobe Research（Adobe研究）
交互式对象剪切工具是图像编辑工作流程的基石。最近基于深度学习的交互式分割算法在处理复杂图像方面取得了重大进展，通常只需点击几下即可获得粗略的二进制选择。然而，一旦达到这种粗略的选择，深度学习技术往往会停滞不前。在这项工作中，我们将这个平台解释为当前算法无法充分利用每个用户交互，以及当前训练/测试数据集的局限性。我们提出了一种新的交互式架构和一种新的培训计划，都是量身定制的，以更好地利用用户的工作流程。我们还表明，通过引入专门为复杂对象边界设计的合成训练数据集，可以进一步获得显着的改进。综合实验支持我们的方法，我们的网络达到了最先进的性能。
2020-03-17 cs.CV
Learning from Exemplars for Interactive Image Segmentation
University of Bath（巴斯大学）
本文提出面向单对象及同类多对象的交互式图像分割框架，利用范例信息、交叉注意与特征融合增强同类对象相似性学习，在基准上以更少点击取得更优性能。
2024-06-17 cs.CV
Evaluation and improvement of Segment Anything Model for interactive histopathology image segmentation
Korea University（高丽大学）
本文评估了 SAM 在交互式组织病理学分割中的性能，提出改进解码器以增强局部细化与提示稳定性，实验证明修改有效，代码已开源。
2023-10-16 cs.CV
Scene-Generalizable Interactive Segmentation of Radiance Fields
Harbin Institute of Technology（哈尔滨工业大学）；Y-tech, Kuaishou Technology（快手科技Y-tech）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；Dartmouth College（达特茅斯学院）
本文首次提出辐射场场景可泛化交互式分割方法SGISRF，通过跨维度引导传播、不确定性消除3D分割和隐藏监督学习三项技术，仅用少量2D点击即可对未见场景实现高效3D对象分割，性能优于需场景特定优化的经典方法。
2023-08-09 cs.CV
MST: Adaptive Multi-Scale Tokens Guided Interactive Segmentation
Shenzhen Institute of Artificial Intelligence and Robotics for Society, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳） 深圳市人工智能与机器人研究院）；School of Information Science and Engineering, Northeastern University, Shenyang（东北大学 信息科学与工程学院）；Maxvision Technology Corp., Shenzhen（万Vision科技公司（深圳））
提出一种自适应多尺度令牌引导的交互式分割方法，通过top-k操作和对比学习优化令牌选择，在基准测试中达到最先进性能。
2024-02-03 cs.CV
