Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI（微软云计算与人工智能部门）
视频实例分割的目标是预测每个帧的对象分割掩模，以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模，但它们可能无法在具有挑战性的情况下关联实例，因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明，帧间递归注意显着提高时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019（62.1\%）和YouTubeVIS-2021（54.7\%）数据集上都达到了最先进的准确率。此外，定量和定性的结果表明，所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Contextual Guided Segmentation Framework for Semi-supervised Video Instance Segmentation
National Institute of Informatics（国立信息学研究所）；University of Dayton（代顿大学）；University of Science and Vietnam National University, Ho Chi Minh（胡志明市越南国家大学科学大学）
在本文中，我们提出了上下文引导分割（CGS）框架的视频实例分割在三个回合。在第一遍中，即，预览分割，我们提出实例重新识别流程来估计每个实例的主要属性（即，人类/非人类、刚性/可变形、已知/未知类别）。在第二遍中，即，上下文分割，我们介绍多个上下文分割方案。对于人类的例子，我们开发了一个帧中的对象流引导分割，以纠正和完善跨帧的结果。对于非人类实例，如果实例在外观上有很大的变化，并且属于已知类别（可以从初始掩码中推断），则采用实例分割。如果非人类实例几乎是刚性的，则我们对来自视频序列的第一帧的合成图像进行训练FCN。在最后一遍中，即，引导分割，我们开发了一种新的细粒度的非矩形感兴趣区域（ROI）的分割方法。自然形状的ROI通过应用来自当前帧的相邻帧的引导注意来生成，以减少不同重叠实例的分割中的模糊性。前向掩码传播之后是后向掩码传播，以进一步恢复由于重新出现的实例、快速运动、遮挡或严重变形而丢失的实例片段。最后，每个帧中的实例根据它们的深度值、人类和非人类对象交互以及稀有实例优先级进行合并。在DAVIS测试挑战数据集上进行的实验证明了我们提出的框架的有效性。我们在2017-2019年DAVIS挑战赛中连续获得第三名，全球得分、区域相似性和轮廓准确性分别为75.4%、72.4%和78.4%。
2022-04-11 cs.CV
A DyL-Unet framework based on dynamic learning for Temporally Consistent Echocardiographic Segmentation
本文提出DyL-UNet框架，通过动态学习构建回声动态图并在跳跃连接引入心脏相位动态注意力，在保持分割精度的同时显著提升超声心动图分割的时间一致性。
2025-09-23 cs.CV
TransAdapt: A Transformative Framework for Online Test Time Adaptive Semantic Segmentation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
测试时间自适应（TTA）语义分割使源预训练图像语义分割模型适应于目标域测试图像的未标记批次，与真实世界不同，其中样本以在线方式逐个到达。为了解决在线设置，我们提出了TransAdapt，一个框架，使用Transformer和输入转换，以提高分割性能。具体来说，我们在分割网络上预训练了一个基于transformer的模块，该模块将无监督分割输出转换为更可靠的监督输出，而不需要测试时的在线训练。为了便于测试时自适应，我们提出了一个无监督的损失的基础上转换的输入，强制模型是不变的和等变的光度和几何扰动，分别。总体而言，我们的框架产生了更高质量的分割掩码，与无适应和竞争基线相比，mIOU分别提高了17.6%和2.8%。
2023-02-24 cs.CV
Refining Segmentation On-the-Fly: An Interactive Framework for Point Cloud Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
本文针对交互式点云语义分割任务，提出首个无需离线重训练的实时交互式框架InterPCSeg，通过测试时稀疏交互训练与稳定能量项约束，结合定制交互模拟方案，有效借助用户交互提升点云语义分割效果。
2024-03-11 cs.CV
Interactive Video Object Segmentation Using Global and Local Transfer Modules
Korea University（高丽大学）；Chungnam National University（忠南国立大学）
提出了一种交互式视频对象分割算法，该算法以查询对象上的涂鸦注释为输入。我们开发了一个深度神经网络，它由注释网络（A-Net）和传输网络（T-Net）组成。首先，给定用户在帧上的涂鸦，A-Net基于编码器-解码器架构产生分割结果。其次，T-Net通过全局和局部传输模块将分割结果双向传输到其他帧。全局传送模块将注释帧中的分割信息传送到目标帧，而局部传送模块将时间上相邻的帧中的分割信息传播到目标帧。通过交替应用A-Net和T-Net，用户可以以最小的努力获得期望的分割结果。我们训练整个网络分为两个阶段，通过模拟用户涂鸦和采用辅助损失。实验结果表明，提出的交互式视频对象分割算法优于国家的最先进的传统算法。代码和模型可在https://github.com/yuk6heo/IVOS-ATNet上获得。
2020-07-16 cs.CV
Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion
I3S, Côte d’Azur University, CNRS（I3S，蔚蓝海岸大学，法国国家科学研究中心）；LEAT, Côte d’Azur University（LEAT，蔚蓝海岸大学）；Zernike Institute, Groningen University（泽尼克研究所，格罗宁根大学）
针对传统相机帧间信息丢失问题，提出结合帧与事件相机的混合架构，利用紧凑SNN估计运动并插值帧间分割，实现高达500Hz分割率且低能耗，提升鲁棒性。
2026-09-22 cs.CV
An End-to-end Framework For Low-Resolution Remote Sensing Semantic Segmentation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
用于遥感应用的高分辨率图像往往负担不起或无法获得，特别是在需要时间跨度很大的记录时。由于很容易从卫星获得低分辨率图像，许多遥感工作都依赖于这类数据。问题是LR图像不适合语义分割，因为该任务需要高质量的数据来进行精确的像素预测。在本文中，我们提出了一个端到端的框架，统一的超分辨率和语义分割模块，以产生准确的专题地图LR输入。它允许语义分割网络进行重建过程，用有用的纹理修改输入图像。我们评估的框架与三个遥感数据集。结果表明，该框架能够实现接近原生高分辨率数据的语义分割性能，同时也超过了用LR输入训练的网络的性能。
2020-03-17 cs.CV
SiamMask: A Framework for Fast Online Object Tracking and Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fudan University（复旦大学）；Five AI Limited（Five AI有限公司）；University of Oxford（牛津大学）
在本文中，我们介绍了SiamMask，一个框架来执行视觉对象跟踪和视频对象分割，在实时，用同样的简单方法。我们通过使用二进制分割任务增加损失来改进流行的全卷积Siamese方法的离线训练过程。一旦离线训练完成，SiamMask只需要一个限界框进行初始化，可以同时进行视觉对象跟踪和分割在高帧速率。此外，我们表明，它是可以扩展的框架来处理多个对象的跟踪和分割，通过简单地重复使用级联方式的多任务模型。实验结果表明，我们的方法具有较高的处理效率，在每秒55帧左右。它在视觉对象跟踪基准测试中产生实时的最先进的结果，同时在视频对象分割基准测试中以高速展示具有竞争力的性能。
2022-07-05 cs.CV
Recovering the Imperfect: Cell Segmentation in the Presence of Dynamically Localized Proteins
University of Freiburg（弗莱堡大学）；Signalling Research Centres BIOSS and CIBSS（BIOSS与CIBSS信号研究中心）；Heidelberg Biosciences International Graduate School (HBIGS)（海德堡生物科学国际研究生院（HBIGS））
在生物医学数据上部署现成的分割网络已经成为常见的做法，但是如果图像序列中的感兴趣结构只是暂时可见，现有的逐帧方法就会失败。在本文中，我们提供了一个解决方案，通过时间的不完美的数据分割的时间传播和不确定性估计的基础上。我们将不确定性估计集成到Mask R-CNN网络中，并将运动校正的分割掩码从具有低不确定性的帧传播到具有高不确定性的帧，以处理用于分割的信号的暂时丢失。我们证明了这种方法的价值超过逐帧分割和定期的时间传播的数据从人胚肾（HEK 293 T）细胞瞬时转染的荧光蛋白，随着时间的推移，移动进出细胞核。本文提出的方法将使旨在了解分子和细胞功能的显微镜实验成为可能。
2020-11-20 cs.CV
FOMTrace: Interactive Video Segmentation By Image Graphs and Fuzzy Object Models
普通用户已经从单纯的多媒体数据内容的消费者转变为多媒体数据内容的积极生产者。视频编辑在这种情况下起着重要的作用，需要简单的分割工具，可以处理快速移动和可变形的视频对象，其中可能存在遮挡，与背景的颜色相似性等挑战。我们提出了一个交互式的视频分割方法，名为FOMTrace，它解决了这个问题，在一个有效的和高效的方式。从第一帧中的用户提供的对象掩模，该方法在时空超像素图上执行半自动视频分割，然后估计模糊对象模型（FOM），其通过将描绘约束在对象的边界预期所在的区域内的像素图上来细化第二帧的分割。用户可以校正/接受第二帧中的细化的对象掩模，其然后类似地用于改进剩余帧的时空视频分割。在交互式响应时间内交替重复这两个步骤，直到用户接受最终帧的分割细化。大量的实验表明，FOMTrace的跟踪对象的能力相比，国家的最先进的方法进行交互式视频分割，监督和无监督的对象跟踪。
2016-06-10 cs.CV
ISLE: A Framework for Image Level Semantic Segmentation Ensemble
Technische Universität Wien（维也纳工业大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对图像级标注语义分割中不同方法各类别表现不一的问题，本文提出ISLE框架，在类别层面集成多种分割技术的伪标签，实现最高2.4%的性能提升。
2023-09-20 cs.CV
A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation
Centre for Mathematical Sciences, University of Cambridge（剑桥大学数学科学中心）；Kritikal Solutions Pvt. Ltd.（Kritikal Solutions 私人有限公司）
语义分割已经在社区中被广泛研究，其中最先进的技术是基于监督模型。这些模型报告了前所未有的性能，但代价是需要大量高质量的分割掩模。为了获得这样的注释是非常昂贵和耗时的，特别是在语义分割，其中需要像素级注释。在这项工作中，我们解决这个问题，提出了一个整体的解决方案框架作为一个三阶段的自我训练框架半监督语义分割。我们的技术的关键思想是提取的伪掩模统计信息，以减少预测概率的不确定性，同时执行分割的一致性，在多任务的方式。我们通过一个三阶段的解决方案来实现这一目标。首先，我们训练一个分割网络，以产生粗糙的伪掩模的预测概率是高度不确定的。其次，我们使用多任务模型来降低伪掩码的不确定性，该模型在利用数据的丰富统计信息的同时强制执行一致性。我们将我们的方法与现有的半监督语义分割方法进行了比较，并通过大量的实验证明了其最先进的性能。
2022-01-09 cs.CV
Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
在本文中，我们提出了面具DINO，一个统一的目标检测和分割框架。Mask DINO扩展了DINO（DETR with Improved Denoising Anchor Boxes），增加了一个支持所有图像分割任务（实例、全景和语义）的掩码预测分支。它利用DINO的查询嵌入来点积一个高分辨率的像素嵌入图来预测一组二进制掩码。DINO中的一些关键组件通过共享架构和培训过程进行了扩展。Mask DINO简单，高效，可扩展，并且可以从联合大规模检测和分割数据集中受益。我们的实验表明，Mask DINO在ResNet-50主干和SwinL主干的预训练模型上的性能明显优于所有现有的专业分割方法。值得注意的是，Mask DINO在10亿个参数下的模型中建立了迄今为止在实例分割（COCO上为54.5 AP）、全景分割（COCO上为59.4 PQ）和语义分割（ADE 20 K上为60.8 mIoU）方面的最佳结果。代码可在\url{https://github.com/IDEACVR/MaskDINO}上获得。
2022-12-12 cs.CV
Timestamp-Supervised Action Segmentation with Graph Convolutional Networks
Retrocausal, Inc.（Retrocausal公司）
我们介绍了一种新的方法与时间戳监督的时间活动分割。我们的主要贡献是一个图卷积网络，它以端到端的方式学习，利用帧特征和相邻帧之间的连接，从稀疏的时间戳标签生成密集的逐帧标签。所生成的密集逐帧标记然后可以用于训练分割模型。此外，我们还提出了一个框架，用于交替学习分割模型和图卷积模型，首先对学习的模型进行迭代，然后迭代地细化。在四个公共数据集上进行的详细实验，包括50个沙拉，GTEA，早餐和桌面组装，表明我们的方法优于多层感知器基线，同时在时间戳监督的时间活动分割方面与最先进的技术相当或更好。
2022-08-02 cs.CV
Maximal Cliques on Multi-Frame Proposal Graph for Unsupervised Video Object Segmentation
Oregon State University（俄勒冈州立大学）
无监督视频对象分割（UVOS）旨在通过视频发现对象并跟踪它们。对于精确的UVOS，我们观察到如果可以在关键帧上定位精确的片段建议，则后续过程要简单得多。因此，我们建议使用一个图来推理关键帧提案，该图是用最初从关键帧周围的多个帧生成的对象概率掩码构建的，然后传播到关键帧。在这个图上，我们计算最大团，每个团代表一个候选对象。通过在集团中提出多个提案来投票支持关键帧提案，我们获得了可能比任何单帧提案都更好的改进的关键帧提案。半监督VOS算法随后跟踪这些关键帧提案到整个视频。我们的算法是模块化的，因此可以用于任何实例分割和半监督VOS算法。我们在DAVIS-2017验证和测试开发数据集上实现了最先进的性能。在视频实例分割的相关问题上，我们的方法显示出与以前的最好的算法，需要与VOS算法联合训练的竞争性能。
2023-01-29 cs.CV
Local Memory Attention for Fast Video Semantic Segmentation
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的神经网络模块，将现有的单帧语义分割模型转换为视频语义分割管道。与以前的作品相比，我们努力实现一个简单，快速和通用的模块，可以集成到几乎任何单帧架构。我们的方法将过去帧中的语义信息的丰富表示聚合到记忆模块中。然后通过注意力机制访问存储在存储器中的信息。与以前的基于记忆的方法相比，我们提出了一个快速的局部注意力层，在先前帧的局部区域提供时间外观线索。我们通过第二个基于注意力的模块进一步将这些线索与当前帧的编码融合。分割解码器处理融合的表示以预测最终的语义分割。我们将我们的方法集成到两个流行的语义分割网络：ERFNet和PSPNet。我们观察到mIoU中Cityscapes的分割性能分别提高了1.7%和2.1%，而ERFNet的推理时间仅增加了1.5ms。
2021-09-26 cs.CV
MFSeg: Efficient Multi-frame 3D Semantic Segmentation
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）；Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系）
本文提出MFSeg多帧3D语义分割框架，通过特征级序列聚合、正则化及轻量MLP点解码器降低计算开销，并在nuScenes和Waymo上验证其精度与效率优势。
2025-05-07 cs.CV
Guided Interactive Video Object Segmentation Using Reliability-Based Attention Maps
Korea University（高丽大学）；Chungnam National University（忠南大学）
提出了一种新的视频对象引导交互式分割（GIS）算法，以提高分割精度和减少交互时间。首先，我们设计了基于可靠性的注意力模块来分析多个注释帧的可靠性。其次，我们开发了交叉感知传播模块，将分割结果传播到相邻帧。第三，我们引入了GIS机制，用户可以快速选择不满意的帧，更少的努力。实验结果表明，该算法比传统算法具有更快的分割速度和更准确的分割结果。代码可在https://github.com/yuk6heo/GIS-RAmap上获得。
2021-04-21 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中，我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快，但这种方法需要一个（或几个）帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的，我们提出了一种深度交互式图像分割方法，可以准确地分割对象，只有少数点击。在GrabCut数据集上，我们的方法平均只需3.8次点击即可获得90%的IOU，开创了最新的技术水平。此外，由于我们的方法迭代地细化初始分割，它可以有效地纠正视频对象分割失败的帧，从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后，我们调查使用模式，并提供用户注释框架的步骤，他们提供什么样的更正等方面的见解，从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
A Unified Framework for Mutual Improvement of SLAM and Semantic Segmentation
CloudMinds Technologies Inc.（达闼科技有限公司）
本文提出了一种新的框架，同时实现定位和分割，这是两个最重要的基于视觉的机器人任务。虽然用于它们的目标和技术被认为是不同的，以前，我们表明，通过利用这两个模块的中间结果，它们的性能可以同时提高。我们的框架是能够处理的瞬时运动和长期变化的本地化实例的帮助下的分割结果，这也得益于细化的3D姿态信息。我们在各种数据集上进行了实验，证明了我们的框架有效地提高了这两个任务的精度和鲁棒性，并优于现有的定位和分割算法。
2019-03-22 cs.CV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology（名古屋工业大学）
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频，以解决逐帧分割无法保持时间一致性的问题，在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Alleviating Over-segmentation Errors by Detecting Action Boundaries
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立产业技术综合研究所）；Keio University（庆应义塾大学）
我们提出了一个有效的框架的时间动作分割任务，即一个动作段细化框架（ASRF）。我们的模型架构包括一个长期的特征提取器和两个分支：动作分割分支（ASB）和边界回归分支（BRB）。长期特征提取器为具有宽的时间感受野的两个分支提供共享特征。ASB对视频帧进行动作类分类，而BRB对动作边界概率进行回归。BRB预测的动作边界细化了ASB的输出，从而显著提高了性能。我们的贡献是三方面的：（i）我们提出了一个框架的时间动作分割，ASRF，它分为帧的动作分类和动作边界回归的时间动作分割。我们的框架细化帧级假设的动作类使用预测的动作边界。(ii)我们提出了一个损失函数平滑过渡的动作概率，并分析了各种损失函数的时间动作分割的组合。(iii)我们的框架在三个具有挑战性的数据集上优于最先进的方法，在分段编辑距离方面提高了13.7%，在分段F1评分方面提高了16.1%。我们的代码将很快公开。
2020-07-14 cs.CV
DVIS++: Improved Decoupled Framework for Universal Video Segmentation
Wuhan University（武汉大学）；Y-tech, Kuaishou Technology（快手科技Y-tech）
DVIS++通过将视频分割解耦为分割、跟踪和细化三个子任务，并引入引用跟踪器和时间细化器，在六个基准上显著超越现有方法，并支持开放词汇分割。
2023-12-20 cs.CV
Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
University of Bath（巴斯大学）
本文探讨利用未标注视频帧和粗略标注降低视频分割标注成本的方法，通过SAM和SAM 2模型实现自动掩码生成，减少约三分之一的标注需求，同时发现数据集帧多样性比数量更重要。
2026-03-29 cs.CV
Coherent Loss: A Generic Framework for Stable Video Segmentation
Dalian University of Technology（大连理工大学）；Baidu Inc.（百度公司）
视频分割方法对于许多视觉任务特别是用于娱乐的视频处理具有重要意义。由于在大规模不同环境下获取高质量的每帧分割注释和大型视频数据集的挑战，学习方法在测试数据集上显示出整体更高的准确性，但在大多数实际应用中缺乏严格的时间约束来自我校正抖动伪影。我们研究了这种抖动伪影如何降低视频分割结果的视觉质量，并提出了一个时间稳定性的度量来数值评估它。特别是，我们提出了一个通用框架的相干损失，以提高神经网络对抖动伪影的性能，它结合了高精度和高一致性。配备了我们的方法，现有的视频对象/语义分割方法实现了显着的改善，在更令人满意的视觉质量方面的视频人体数据集，我们提供了在这一领域的进一步研究，也DAVIS和城市景观。
2020-10-25 cs.CV
Adaptively Augmented Consistency Learning: A Semi-supervised Segmentation Framework for Remote Sensing
University of Sydney（悉尼大学）；Beijing Technology and Business University（北京工商大学）
针对遥感图像标注数据稀缺导致分割困难的问题，提出半监督分割框架AACL，通过USAug和AdaCM提取未标注图像信息，在多个数据集上性能显著提升。
2024-11-14 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似，该方法将前一帧的掩码概率图和当前帧的外观作为输入，并预测当前帧的掩码概率图。具体来说，我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外，我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入，而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测，以便检索和分割丢失的实例。
2018-10-24 cs.CV
Video Semantic Object Segmentation by Self-Adaptation of DCNN
POSTECH（浦项工科大学）
提出了一种新的视频对象语义分割框架。我们通过利用视频具有多帧的事实来解决深度卷积神经网络（DCNN）的标签不一致问题;在几帧中，对象被置信估计（CE），我们使用其中的信息来改进其他帧的标签。给定从DCNN获得的每个帧的语义分割结果，我们对几个CE帧进行采样，以通过关注视频中的特定实例而不是各种情况下的一般对象来使DCNN模型适应输入视频。我们提出了不同监管水平下的离线和在线方法。在实验中，我们的方法取得了很大的改善，比原来的模型和以前的国家的最先进的方法。
2017-11-22 cs.CV
Language-Level Semantics Conditioned 3D Point Cloud Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
在这项工作中，提出了一个语言级语义条件的三维点云分割框架，称为SeCondPoint，其中语言级语义被引入到条件的点特征分布的建模以及伪特征的生成，并进一步提出了一个基于特征几何的混合方法，以促进分布学习。据我们所知，这是文献中首次尝试将语言级语义引入3D点云分割任务。由于语义条件建模可以从学习的分布中生成大量的点特征，因此任何现有的分割网络都可以嵌入到所提出的框架中，以提高其性能。此外，所提出的框架具有处理新类的固有优势，这对于当前的分割网络来说似乎是不可能的。在两个公开数据集上的大量实验结果表明，在传统的3D分割任务中，三个典型的分割网络在增强后可以实现显着的改进。两个基准测试也介绍了一个新推出的zero-shot三维分割任务，结果也验证了所提出的框架。
2022-03-30 cs.CV
Unifying Instance and Panoptic Segmentation with Dynamic Rank-1 Convolutions
The University of Adelaide（阿德莱德大学）
最近，与用于实例分割的两阶段框架相比，全卷积一阶段网络已经显示出优越的性能，因为通常它们可以用更少的计算生成更高质量的掩码预测。此外，它们简单的设计为联合多任务学习提供了新的机会。在本文中，我们证明了为语义分割添加单个分类层，全卷积实例分割网络可以实现最先进的全景分割质量。这是可能的，我们的新的动态秩1卷积（DR 1Conv），一种新的动态模块，可以有效地合并高层次的上下文信息与低层次的详细功能，这是有益的语义和实例分割。重要的是，所提出的新方法，称为DR 1 Mask，可以通过添加单层来执行全景分割。据我们所知，DR 1 Mask是第一个全景分割框架，它通过考虑功效和效率，为实例和语义分割利用共享特征图。我们的框架不仅效率更高--是以前最好的两个分支方法的两倍，而且统一的框架为使用相同的上下文模块来提高两个任务的性能提供了机会。作为副产品，当单独执行实例分割时，DR 1 Mask比以前最先进的实例分割网络BlendMask快10%，并且在mAP中更精确1个点。代码可在：https://git.io/AdelaiDet
2020-11-19 cs.CV
Simultaneous Semantic and Instance Segmentation for Colon Nuclei Identification and Counting
University of Cambridge（剑桥大学）；Chinese University of Hong Kong（香港中文大学）
我们解决的问题，自动核分割，分类和量化的苏木精和伊红染色的组织学图像，这是非常相关的几个下游计算病理学应用。在这项工作中，我们提出了一个解决方案框架作为一个同时语义和实例分割框架。我们的解决方案是结肠细胞核识别和计数（CoNIC）挑战赛的一部分。我们首先分别训练语义和实例分割模型。我们的框架使用HoverNet和Cascade Mask-RCNN模型作为骨干。然后，我们将结果与自定义的非最大值抑制嵌入（NMS）进行集成。在我们的框架中，语义模型计算细胞的类预测，而实例模型提供了一个精细的分割。我们证明，通过我们的实验结果，我们的模型优于所提供的基线由一个很大的保证金。
2022-04-15 cs.CV
Boosting Semantic Segmentation with Semantic Boundaries
Keio University（庆应义塾大学）
提出模型无关的SBCB多任务训练框架，以语义边界检测为辅助任务条件化骨干，在不增加推理参数的情况下提升多种CNN与ViT分割模型的边界及整体性能。
2023-04-19 cs.CV
RefineVIS: Video Instance Segmentation with Temporal Attention Refinement
Microsoft Cloud and AI（微软云计算与人工智能部门）
本文提出 RefineVIS 视频实例分割框架，通过分离关联与分割表征、对比学习及时序注意力优化模块，支持在线与离线推理，并在多个基准上达到最先进精度。
2023-06-07 cs.CV
Learning Quality-aware Dynamic Memory for Video Object Segmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Huawei Technologies（华为技术有限公司）；University College London（伦敦大学学院）
最近，一些基于时空记忆的方法已经证明，存储中间帧和它们的掩码作为记忆有助于分割视频中的目标对象。然而，它们主要关注当前帧和内存帧之间的更好匹配，而没有明确关注内存的质量。因此，具有较差分割模板的帧容易被记忆，这导致分割模板误差累积问题，并进一步影响分割性能。此外，内存帧数随帧数增长而线性增长，也限制了模型处理长视频的能力。为此，我们提出了一个质量感知的动态内存网络（QDMN）来评估每个帧的分割质量，允许存储体有选择地存储准确分割的帧，以防止错误积累的问题。然后，我们结合分割质量和时间一致性动态更新的存储体，以提高模型的实用性。在没有任何附加功能的情况下，我们的QDMN在DAVIS和YouTube-VOS基准测试中实现了最先进的性能。此外，大量的实验表明，所提出的质量评估模块（QAM）可以应用于基于内存的方法作为通用插件，并显着提高性能。我们的源代码可在https://github.com/workforai/QDMN上获得。
2022-07-16 cs.CV
Learning Video Object Segmentation from Static Images
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Disney Research（迪士尼研究院）；ETH Zurich（苏黎世联邦理工学院）
受深度学习在实例分割和对象跟踪方面的最新进展的启发，我们引入视频对象分割问题作为引导实例分割的概念。我们的模型在每帧的基础上进行，由前一帧的输出引导到下一帧中的感兴趣对象。我们证明，可以通过使用仅用静态图像训练的convnet来实现视频中的高精度对象分割。我们的方法的关键成分是离线和在线学习策略的组合，其中前者用于从先前的帧估计产生精细的掩模，后者允许捕获特定对象实例的外观。我们的方法可以处理不同类型的输入注释：边界框和段，以及合并多个注释帧，使系统适合于不同的应用程序。我们在三个不同的数据集上获得了竞争结果，独立于输入注释的类型。
2016-12-08 cs.CV
Object Propagation via Inter-Frame Attentions for Temporally Stable Video Instance Segmentation
Birla Institute of Technology and Science Pilani（比尔拉技术与科学学院皮拉尼分校）；Harvard University（哈佛大学）；University of Oxford（牛津大学）
视频实例分割的目的是检测、分割和跟踪视频中的对象。当前的方法将图像级分割算法扩展到时域。然而，这导致时间上不一致的掩模。在这项工作中，我们确定的掩模质量由于时间稳定性作为性能瓶颈。基于此，我们提出了一种视频实例分割方法，解决了由于检测缺失而导致的问题。由于这不能简单地使用空间信息来解决，因此我们使用帧间注意力来利用时间上下文。这使得我们的网络能够使用来自相邻帧的框预测来重新关注丢失的对象，从而克服丢失的检测。我们的方法在YouTube-VIS基准测试中实现了36.0%的mAP，显著优于使用Mask R-CNN主干的先前最先进的算法。此外，我们的方法是完全在线的，不需要未来的帧。我们的代码可在https://github.com/anirudh-chakravarthy/ObjProp上公开获取。
2021-12-14 cs.CV
Domain Adaptive Video Segmentation via Temporal Consistency Regularization
Nanyang Technological University（南洋理工大学）
视频语义分割是视频分析和理解的一项重要任务。最近的努力主要集中在通过从完全注释的数据中学习来进行有监督的视频分割，但是当应用于不同领域的视频时，学习的模型通常会经历明显的性能下降。本文介绍了DA-VSN，域自适应视频分割网络，解决域的差距，视频的时间一致性正则化（TCR）的连续帧的目标域视频。DA-VSN由两种新颖且互补的设计组成。第一种是跨域TCR，其通过对抗学习引导目标帧的预测具有与源帧（从注释的源数据学习）相似的时间一致性。第二种是域内TCR，其引导目标帧的不置信预测具有与目标帧的置信预测相似的时间一致性。大量的实验证明了我们提出的域自适应视频分割网络的优越性，它始终优于多个基线的大利润率。
2021-07-23 cs.CV
Semantic-ITC: A Frame-wise Indoor Mobile Laser Scanning Dataset and Benchmark for Semantic Segmentation
University of Twente（特文特大学）
本文提出Semantic-ITC，首个逐帧室内移动激光扫描语义分割数据集与基准，含52个序列、79,108帧、12.3亿点，最佳基线mIoU达79.27%，为室内MLS分割提供公共评估平台。
2026-09-17 cs.CV
A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
人类倾向于通过从一组图像或几帧视频中学习来挖掘对象，因为我们生活在一个动态的世界中。在计算机视觉领域，为了发现视频中的共现目标，许多研究集中在共分割（CoS）、共显著性检测（CoSD）和视频显著性目标检测（VSOD）上。然而，以前的方法在这些类似的任务上分别设计不同的网络，它们很难相互应用，这降低了深度学习框架的可移植性的上限。此外，它们未能充分利用一组图像中的内部和内部特征之间的线索。在本文中，我们介绍了一个统一的框架来解决这些问题，术语为UFO（统一框架的协同对象分割）。具体来说，我们首先引入一个Transformer块，它将图像特征视为补丁令牌，然后通过自我注意力机制捕获它们的长程依赖关系。这可以帮助网络挖掘相关对象之间的斑块结构相似性。此外，我们提出了一个内部MLP学习模块来产生自我掩码，以增强网络，以避免部分激活。在四个CoS基准测试（PASCAL、iCoseg、Internet和MSRC）、三个CoSD基准测试（Cosal2015、CoSOD3k和CocA）和四个VSOD基准测试（DAVIS16、FBMS、ViSal和SegV2）上进行的大量实验表明，通过使用相同的网络架构，我们的方法在三个不同的任务上在准确性和速度方面都优于其他最先进的方法，实时速度可以达到140 FPS。
2022-03-11 cs.CV
STC: A Simple to Complex Framework for Weakly-supervised Semantic Segmentation
Beijing Jiaotong University（北京交通大学）；Sun Yatsen University（中山大学）；Adobe Research（Adobe研究院）；Nankai University（南开大学）；National University of Singapore（新加坡国立大学）
最近，由于深度卷积神经网络（DCNN）的发展，语义对象分割已经取得了显著的改进。训练这样的DCNN通常依赖于大量具有像素级分割掩码的图像，并且注释这些图像在财务和人力方面都是非常昂贵的。在本文中，我们提出了一个简单到复杂（STC）的框架，其中只使用图像级注释来学习DCNN进行语义分割。具体来说，我们首先训练简单图像的显着图（即，具有单一类别的主要对象和干净背景的那些）。这些显著图可以通过现有的自下而上显著目标检测技术自动获得，其中不需要监督信息。然后，基于初始DCNN以及图像级注释，从简单图像的预测分割掩码中监督学习一个更好的网络，称为增强DCNN。最后，利用增强型DCNN和图像级注释推断出的复杂图像（具有杂乱背景的两类或多类对象）的更多像素级分割掩码作为监督信息，学习Powerful-DCNN进行语义分割。我们的方法利用来自Flickr.com的$40$ K个简单图像和来自PASCAL VOC的10 K个复杂图像来逐步提升分割网络。在PASCAL VOC 2012分割基准上的大量实验结果很好地证明了所提出的STC框架与其他最先进的框架相比的优越性。
2016-12-07 cs.CV
C2F-TCN: A Framework for Semi and Fully Supervised Temporal Action Segmentation
National University of Singapore（新加坡国立大学）
时间动作分割为包含序列中的多个动作的输入未修剪视频中的每个帧标记动作标签。对于时间动作分割的任务，我们提出了一个编码器-解码器风格的架构命名为C2F-TCN具有“粗到细”的整体解码器输出。C2F-TCN框架增强了一种新的模型不可知的时间特征增强策略，该策略由计算成本低廉的随机最大池化段策略形成。它在三个基准动作分割数据集上产生更准确和校准良好的监督结果。我们表明，该架构是灵活的监督和表示学习。根据这一点，我们提出了一种新的无监督的方法来学习C2F-TCN的逐帧表示。我们的无监督学习方法取决于输入特征的聚类能力和从解码器的隐式结构形成多分辨率特征。此外，我们通过将表示学习与传统的监督学习相结合，提供了第一个半监督的时间动作分割结果。我们的半监督学习方案，称为"迭代-对比-分类（ICC分类）“，通过更多的标记数据逐步提高性能。C2F-TCN中的ICC半监督学习，具有40%的标记视频，与完全监督的同行表现相似。
2022-12-20 cs.CV
A Multi-task Framework for Infrared Small Target Detection and Segmentation
Shanghai Institute of Technical Physics, Chinese Academy of Sciences（中国科学院上海技术物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于红外图像背景复杂，噪声大，红外小目标检测一直是计算机视觉领域的难点之一。在大多数现有的研究中，通常使用语义分割方法来获得更好的结果。根据分割图计算每个目标的质心作为检测结果。相比之下，本文提出了一种新的红外小目标检测和分割的端到端框架。首先，使用UNet作为骨干来维护分辨率和语义信息，我们的模型可以通过附加一个简单的无锚头来实现比其他最先进的方法更高的检测精度。然后，使用金字塔池模块进一步提取特征，提高目标分割的精度。接下来，我们使用更关注像素级特征的语义分割任务来辅助目标检测的训练过程，这提高了平均精度，并允许模型检测到一些以前无法检测到的目标。此外，我们开发了一个多任务的框架，红外小目标检测和分割。与复合单任务模型相比，我们的多任务学习模型将复杂性降低了近一半，并将推理速度提高了近两倍，同时保持了准确性。代码和模型可在https://github.com/Chenastron/MTUNet上公开获取。
2022-06-14 cs.CV
Inference-Time Temporal Probability Smoothing for Stable Video Segmentation with SAM2 under Weak Prompts
Indian Institute of Technology Bombay（印度理工学院班加罗尔）
本文提出一种推理时的时间概率平滑方法，提升SAM2视频分割的时序稳定性，无需重训练或修改架构。通过光流运动变形和像素不确定性估计，实现弱提示下的时序一致分割。
2026-04-18 cs.CV
Multi-frame Feature Aggregation for Real-time Instrument Segmentation in Endoscopic Video
University of Washington（华盛顿大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
基于深度学习的方法在手术器械分割方面取得了令人鼓舞的结果。然而，高计算成本可能会限制深度模型在时间敏感任务中的应用，例如机器人辅助手术的在线手术视频分析。此外，当前的方法可能仍然遭受手术图像中的挑战性条件，诸如各种照明条件和血液的存在。我们提出了一种新的多帧特征聚合（MFFA）模块聚合视频帧特征的时间和空间的循环模式。通过将深度特征提取的计算负载分布在连续帧上，我们可以使用轻量级编码器来减少每个时间步长的计算成本。此外，公共手术视频通常不是逐帧标记的，因此我们开发了一种方法，可以从单个标记帧随机合成手术帧序列，以辅助网络训练。我们证明了我们的方法在两个公共手术数据集上实现了优于相应的更深分割模型的性能。
2021-07-26 cs.CV
Learning Motion Flows for Semi-supervised Instrument Segmentation from Robotic Surgical Video
The Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering, CUHK（香港中文大学晨兴先进工程研究所）；T Stone Robotics Institute, CUHK（香港中文大学T Stone机器人研究所）
对手术视频进行间隔低赫兹标记，可以大大减轻医生的负担。在本文中，我们研究了半监督仪器分割机器人手术视频稀疏注释。与大多数以前的方法单独使用未标记的帧，我们提出了一个基于双运动的方法，明智地学习运动流的分割增强，利用时间动态。我们首先设计了一个流预测器来推导运动，用于在给定当前标记帧的情况下联合传播帧标签对。考虑到快速仪器运动，我们进一步引入了一个流量补偿器来估计连续帧内的中间运动，并采用了一种新的循环学习策略。通过利用生成的数据对，我们的框架可以恢复，甚至增强训练序列的时间一致性，以利于分割。我们在2017年MICCAI EndoVis机器人仪器分割挑战数据集上使用二进制，部分和类型任务验证了我们的框架。结果表明，我们的方法在很大程度上优于最先进的半监督方法，甚至超过了两个任务的完全监督训练。
2020-07-06 cs.CV
CLOT: Closed Loop Optimal Transport for Unsupervised Action Segmentation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC, Barcelona, Spain（机器人与信息工业研究所，西班牙加泰罗尼亚科技学院-巴塞罗那高等科技学院）
针对无监督动作分割方法ASOT缺少片段级监督、反馈有效性受限的问题，提出带多级循环特征学习机制的CLOT框架，通过三个OT问题与交叉注意力优化表示与伪标签，在四个基准数据集上验证了循环学习的有效性。
2025-08-07 cs.CV
R-Clustering for Egocentric Video Segmentation
Universitat de Barcelona（巴塞罗那大学）；University of Groningen（格罗宁根大学）；Computer Vision Center（计算机视觉中心）
在本文中，我们提出了一种新的方法，自我为中心的视频时间分割的基础上整合的统计均值变化检测器和凝聚聚类（AC）内的能量最小化框架。鉴于大多数AC方法的趋势，过度分割视频序列时，聚类他们的帧，我们结合了聚类的概念漂移检测技术（ADWIN），具有严格的性能保证。ADWIN作为基于聚类的视频分割的统计上界。我们将这两种技术集成在一个能量最小化框架中，该框架用于消除这两种技术的决策的歧义，并考虑到视频帧描述符的时间连续性来完成分割。我们目前的实验超过13.000个图像采集与不同的可穿戴相机的自我中心集，表明我们的方法优于国家的最先进的聚类方法。
2017-04-10 cs.CV
OnlineTAS: An Online Baseline for Temporal Action Segmentation
University of Adelaide（阿德莱德大学）；National University of Singapore（新加坡国立大学）
针对在线时序动作分割中上下文利用不足及过分割问题，提出含自适应存储器、特征增强模块和后处理的OnlineTAS在线框架，在三个基准上取得SOTA性能。
2024-11-02 cs.CV
A Class-wise Non-salient Region Generalized Framework for Video Semantic Segmentation
Shenzhen University（深圳大学）；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）
视频语义分割（VSS）由于真实环境的连续性，有利于处理动态场景。一方面，一些方法缓解了连续帧之间的预测不一致问题。另一方面，其他方法采用先前帧作为先验信息来帮助分割当前帧。虽然以前的方法在独立同分布（i.i.d）数据上取得了优异的性能，但它们不能很好地推广到其他未知的领域。因此，我们探索一个新的任务，视频概括语义分割（VGSS）的任务，同时考虑连续帧和领域泛化。在本文中，我们提出了一个类明智的非显着区域广义（CNSG）框架的VGSS任务。具体地说，我们首先定义了类非显着特征，它描述了类非显着区域的特征，携带更多的概括信息。然后，我们提出了一个类明智的非显着特征推理策略，选择和增强最广义的通道自适应。最后，我们提出了一个帧间非显着的质心对齐损失，以减轻预测不一致的问题，在VGSS任务。我们还扩展了我们的基于视频的框架，以图像为基础的广义语义分割（IGSS）的任务。实验表明，我们的CNSG框架在VGSS和IGSS任务中产生了显着的改善。
2022-12-29 cs.CV
Permutation-Aware Action Segmentation via Unsupervised Frame-to-Segment Alignment
Retrocausal, Inc.（Retrocausal公司）
本文提出一种无监督框架，通过帧到段对齐实现感知-aware的动作分割，利用变换器模型和伪标签提升分割性能。
2025-12-01 cs.CV
Instance segmentation with the number of clusters incorporated in embedding learning
City University of Hong Kong（香港城市大学）
语义和实例分割算法是由卷积神经网络提供支持的两种通用但不同的图像分割解决方案。虽然语义分割广泛受益于端到端的训练策略，但实例分割通常被视为一个多阶段的任务，由基于学习的区分和后处理聚类支持。子阶段上的独立优化煽动分割错误的积累。在这项工作中，我们提出了将先验聚类信息嵌入到嵌入式学习框架FCRNet中，刺激单阶段实例分割。FCRNet通过将聚类组的数量并入嵌入空间来减轻后处理的复杂性。在核数据集BBBC006上验证了FCRNet的优越性能，并与其他方法进行了比较。
2021-03-27 cs.CV
SBSS: Stacking-Based Semantic Segmentation Framework for Very High Resolution Remote Sensing Image
针对超高分辨率遥感影像中物体尺度差异大导致的分割难题，本文提出基于Stacking的SBSS框架，通过学习不同类别物体的偏好重缩放尺度优化分割，兼具有效性与灵活性。
2022-12-15 cs.CV
Efficient Video Semantic Segmentation with Labels Propagation and Refinement
ETH Zürich（苏黎世联邦理工学院）
针对高清视频的实时语义分割问题，提出了一种基于GPU / CPU的混合算法。我们提出了一个高效的视频分割（EVS）流水线，结合：（i）在CPU上，一个非常快速的光流方法，这是用来利用视频的时间方面和传播语义信息从一帧到下一帧。它与GPU并行运行。(ii)在GPU上，两个卷积神经网络：一个主要的分割网络，用于从头开始预测密集的语义标签，以及一个Refiner，旨在通过快速的Incredibility Attention Module（IAM）来改进先前帧的预测。后者可以识别无法准确传播的区域。我们建议几个操作点取决于所需的帧速率和精度。我们的流水线达到了与现有的实时语义图像分割方法（mIoU高于60%）竞争的准确度水平，同时实现了更高的帧速率。在具有高分辨率帧（2048 x 1024）的流行Cityscapes数据集上，单个GPU和CPU上的建议操作点范围为80到1000 Hz。
2019-12-26 cs.CV
