Multicentre Bi-atrial Segmentation from LGE-MRI for Atrial Fibrillation with a 2D and 3D Framework
Auckland Bioengineering Institute（奥克兰生物工程研究所）；The University of Auckland（奥克兰大学）
本研究提出两阶段分割框架，集成3D定位与2D/3D U-Net变体，在多中心LGE-MRI上评估双心房壁和腔分割，揭示腔分割跨域迁移更稳定，为AF提供可复现基准。
2026-09-22 cs.CV eess.IV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI（微软云计算与人工智能部门）
视频实例分割的目标是预测每个帧的对象分割掩模，以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模，但它们可能无法在具有挑战性的情况下关联实例，因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明，帧间递归注意显着提高时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019（62.1\%）和YouTubeVIS-2021（54.7\%）数据集上都达到了最先进的准确率。此外，定量和定性的结果表明，所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Contextual Guided Segmentation Framework for Semi-supervised Video Instance Segmentation
National Institute of Informatics（国立信息学研究所）；University of Dayton（代顿大学）；University of Science and Vietnam National University, Ho Chi Minh（胡志明市越南国家大学科学大学）
在本文中，我们提出了上下文引导分割（CGS）框架的视频实例分割在三个回合。在第一遍中，即，预览分割，我们提出实例重新识别流程来估计每个实例的主要属性（即，人类/非人类、刚性/可变形、已知/未知类别）。在第二遍中，即，上下文分割，我们介绍多个上下文分割方案。对于人类的例子，我们开发了一个帧中的对象流引导分割，以纠正和完善跨帧的结果。对于非人类实例，如果实例在外观上有很大的变化，并且属于已知类别（可以从初始掩码中推断），则采用实例分割。如果非人类实例几乎是刚性的，则我们对来自视频序列的第一帧的合成图像进行训练FCN。在最后一遍中，即，引导分割，我们开发了一种新的细粒度的非矩形感兴趣区域（ROI）的分割方法。自然形状的ROI通过应用来自当前帧的相邻帧的引导注意来生成，以减少不同重叠实例的分割中的模糊性。前向掩码传播之后是后向掩码传播，以进一步恢复由于重新出现的实例、快速运动、遮挡或严重变形而丢失的实例片段。最后，每个帧中的实例根据它们的深度值、人类和非人类对象交互以及稀有实例优先级进行合并。在DAVIS测试挑战数据集上进行的实验证明了我们提出的框架的有效性。我们在2017-2019年DAVIS挑战赛中连续获得第三名，全球得分、区域相似性和轮廓准确性分别为75.4%、72.4%和78.4%。
2022-04-11 cs.CV
A DyL-Unet framework based on dynamic learning for Temporally Consistent Echocardiographic Segmentation
本文提出DyL-UNet框架，通过动态学习构建回声动态图并在跳跃连接引入心脏相位动态注意力，在保持分割精度的同时显著提升超声心动图分割的时间一致性。
2025-09-23 cs.CV
Interactive Video Object Segmentation Using Global and Local Transfer Modules
Korea University（高丽大学）；Chungnam National University（忠南国立大学）
提出了一种交互式视频对象分割算法，该算法以查询对象上的涂鸦注释为输入。我们开发了一个深度神经网络，它由注释网络（A-Net）和传输网络（T-Net）组成。首先，给定用户在帧上的涂鸦，A-Net基于编码器-解码器架构产生分割结果。其次，T-Net通过全局和局部传输模块将分割结果双向传输到其他帧。全局传送模块将注释帧中的分割信息传送到目标帧，而局部传送模块将时间上相邻的帧中的分割信息传播到目标帧。通过交替应用A-Net和T-Net，用户可以以最小的努力获得期望的分割结果。我们训练整个网络分为两个阶段，通过模拟用户涂鸦和采用辅助损失。实验结果表明，提出的交互式视频对象分割算法优于国家的最先进的传统算法。代码和模型可在https://github.com/yuk6heo/IVOS-ATNet上获得。
2020-07-16 cs.CV
Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion
I3S, Côte d’Azur University, CNRS（I3S，蔚蓝海岸大学，法国国家科学研究中心）；LEAT, Côte d’Azur University（LEAT，蔚蓝海岸大学）；Zernike Institute, Groningen University（泽尼克研究所，格罗宁根大学）
针对传统相机帧间信息丢失问题，提出结合帧与事件相机的混合架构，利用紧凑SNN估计运动并插值帧间分割，实现高达500Hz分割率且低能耗，提升鲁棒性。
2026-09-22 cs.CV
SiamMask: A Framework for Fast Online Object Tracking and Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fudan University（复旦大学）；Five AI Limited（Five AI有限公司）；University of Oxford（牛津大学）
在本文中，我们介绍了SiamMask，一个框架来执行视觉对象跟踪和视频对象分割，在实时，用同样的简单方法。我们通过使用二进制分割任务增加损失来改进流行的全卷积Siamese方法的离线训练过程。一旦离线训练完成，SiamMask只需要一个限界框进行初始化，可以同时进行视觉对象跟踪和分割在高帧速率。此外，我们表明，它是可以扩展的框架来处理多个对象的跟踪和分割，通过简单地重复使用级联方式的多任务模型。实验结果表明，我们的方法具有较高的处理效率，在每秒55帧左右。它在视觉对象跟踪基准测试中产生实时的最先进的结果，同时在视频对象分割基准测试中以高速展示具有竞争力的性能。
2022-07-05 cs.CV
Recovering the Imperfect: Cell Segmentation in the Presence of Dynamically Localized Proteins
University of Freiburg（弗莱堡大学）；Signalling Research Centres BIOSS and CIBSS（BIOSS与CIBSS信号研究中心）；Heidelberg Biosciences International Graduate School (HBIGS)（海德堡生物科学国际研究生院（HBIGS））
在生物医学数据上部署现成的分割网络已经成为常见的做法，但是如果图像序列中的感兴趣结构只是暂时可见，现有的逐帧方法就会失败。在本文中，我们提供了一个解决方案，通过时间的不完美的数据分割的时间传播和不确定性估计的基础上。我们将不确定性估计集成到Mask R-CNN网络中，并将运动校正的分割掩码从具有低不确定性的帧传播到具有高不确定性的帧，以处理用于分割的信号的暂时丢失。我们证明了这种方法的价值超过逐帧分割和定期的时间传播的数据从人胚肾（HEK 293 T）细胞瞬时转染的荧光蛋白，随着时间的推移，移动进出细胞核。本文提出的方法将使旨在了解分子和细胞功能的显微镜实验成为可能。
2020-11-20 cs.CV
FOMTrace: Interactive Video Segmentation By Image Graphs and Fuzzy Object Models
普通用户已经从单纯的多媒体数据内容的消费者转变为多媒体数据内容的积极生产者。视频编辑在这种情况下起着重要的作用，需要简单的分割工具，可以处理快速移动和可变形的视频对象，其中可能存在遮挡，与背景的颜色相似性等挑战。我们提出了一个交互式的视频分割方法，名为FOMTrace，它解决了这个问题，在一个有效的和高效的方式。从第一帧中的用户提供的对象掩模，该方法在时空超像素图上执行半自动视频分割，然后估计模糊对象模型（FOM），其通过将描绘约束在对象的边界预期所在的区域内的像素图上来细化第二帧的分割。用户可以校正/接受第二帧中的细化的对象掩模，其然后类似地用于改进剩余帧的时空视频分割。在交互式响应时间内交替重复这两个步骤，直到用户接受最终帧的分割细化。大量的实验表明，FOMTrace的跟踪对象的能力相比，国家的最先进的方法进行交互式视频分割，监督和无监督的对象跟踪。
2016-06-10 cs.CV
Timestamp-Supervised Action Segmentation with Graph Convolutional Networks
Retrocausal, Inc.（Retrocausal公司）
我们介绍了一种新的方法与时间戳监督的时间活动分割。我们的主要贡献是一个图卷积网络，它以端到端的方式学习，利用帧特征和相邻帧之间的连接，从稀疏的时间戳标签生成密集的逐帧标签。所生成的密集逐帧标记然后可以用于训练分割模型。此外，我们还提出了一个框架，用于交替学习分割模型和图卷积模型，首先对学习的模型进行迭代，然后迭代地细化。在四个公共数据集上进行的详细实验，包括50个沙拉，GTEA，早餐和桌面组装，表明我们的方法优于多层感知器基线，同时在时间戳监督的时间活动分割方面与最先进的技术相当或更好。
2022-08-02 cs.CV
Maximal Cliques on Multi-Frame Proposal Graph for Unsupervised Video Object Segmentation
Oregon State University（俄勒冈州立大学）
无监督视频对象分割（UVOS）旨在通过视频发现对象并跟踪它们。对于精确的UVOS，我们观察到如果可以在关键帧上定位精确的片段建议，则后续过程要简单得多。因此，我们建议使用一个图来推理关键帧提案，该图是用最初从关键帧周围的多个帧生成的对象概率掩码构建的，然后传播到关键帧。在这个图上，我们计算最大团，每个团代表一个候选对象。通过在集团中提出多个提案来投票支持关键帧提案，我们获得了可能比任何单帧提案都更好的改进的关键帧提案。半监督VOS算法随后跟踪这些关键帧提案到整个视频。我们的算法是模块化的，因此可以用于任何实例分割和半监督VOS算法。我们在DAVIS-2017验证和测试开发数据集上实现了最先进的性能。在视频实例分割的相关问题上，我们的方法显示出与以前的最好的算法，需要与VOS算法联合训练的竞争性能。
2023-01-29 cs.CV
Local Memory Attention for Fast Video Semantic Segmentation
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的神经网络模块，将现有的单帧语义分割模型转换为视频语义分割管道。与以前的作品相比，我们努力实现一个简单，快速和通用的模块，可以集成到几乎任何单帧架构。我们的方法将过去帧中的语义信息的丰富表示聚合到记忆模块中。然后通过注意力机制访问存储在存储器中的信息。与以前的基于记忆的方法相比，我们提出了一个快速的局部注意力层，在先前帧的局部区域提供时间外观线索。我们通过第二个基于注意力的模块进一步将这些线索与当前帧的编码融合。分割解码器处理融合的表示以预测最终的语义分割。我们将我们的方法集成到两个流行的语义分割网络：ERFNet和PSPNet。我们观察到mIoU中Cityscapes的分割性能分别提高了1.7%和2.1%，而ERFNet的推理时间仅增加了1.5ms。
2021-09-26 cs.CV
MFSeg: Efficient Multi-frame 3D Semantic Segmentation
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）；Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系）
本文提出MFSeg多帧3D语义分割框架，通过特征级序列聚合、正则化及轻量MLP点解码器降低计算开销，并在nuScenes和Waymo上验证其精度与效率优势。
2025-05-07 cs.CV
Guided Interactive Video Object Segmentation Using Reliability-Based Attention Maps
Korea University（高丽大学）；Chungnam National University（忠南大学）
提出了一种新的视频对象引导交互式分割（GIS）算法，以提高分割精度和减少交互时间。首先，我们设计了基于可靠性的注意力模块来分析多个注释帧的可靠性。其次，我们开发了交叉感知传播模块，将分割结果传播到相邻帧。第三，我们引入了GIS机制，用户可以快速选择不满意的帧，更少的努力。实验结果表明，该算法比传统算法具有更快的分割速度和更准确的分割结果。代码可在https://github.com/yuk6heo/GIS-RAmap上获得。
2021-04-21 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中，我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快，但这种方法需要一个（或几个）帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的，我们提出了一种深度交互式图像分割方法，可以准确地分割对象，只有少数点击。在GrabCut数据集上，我们的方法平均只需3.8次点击即可获得90%的IOU，开创了最新的技术水平。此外，由于我们的方法迭代地细化初始分割，它可以有效地纠正视频对象分割失败的帧，从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后，我们调查使用模式，并提供用户注释框架的步骤，他们提供什么样的更正等方面的见解，从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology（名古屋工业大学）
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频，以解决逐帧分割无法保持时间一致性的问题，在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Alleviating Over-segmentation Errors by Detecting Action Boundaries
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立产业技术综合研究所）；Keio University（庆应义塾大学）
我们提出了一个有效的框架的时间动作分割任务，即一个动作段细化框架（ASRF）。我们的模型架构包括一个长期的特征提取器和两个分支：动作分割分支（ASB）和边界回归分支（BRB）。长期特征提取器为具有宽的时间感受野的两个分支提供共享特征。ASB对视频帧进行动作类分类，而BRB对动作边界概率进行回归。BRB预测的动作边界细化了ASB的输出，从而显著提高了性能。我们的贡献是三方面的：（i）我们提出了一个框架的时间动作分割，ASRF，它分为帧的动作分类和动作边界回归的时间动作分割。我们的框架细化帧级假设的动作类使用预测的动作边界。(ii)我们提出了一个损失函数平滑过渡的动作概率，并分析了各种损失函数的时间动作分割的组合。(iii)我们的框架在三个具有挑战性的数据集上优于最先进的方法，在分段编辑距离方面提高了13.7%，在分段F1评分方面提高了16.1%。我们的代码将很快公开。
2020-07-14 cs.CV
DVIS++: Improved Decoupled Framework for Universal Video Segmentation
Wuhan University（武汉大学）；Y-tech, Kuaishou Technology（快手科技Y-tech）
DVIS++通过将视频分割解耦为分割、跟踪和细化三个子任务，并引入引用跟踪器和时间细化器，在六个基准上显著超越现有方法，并支持开放词汇分割。
2023-12-20 cs.CV
Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
University of Bath（巴斯大学）
本文探讨利用未标注视频帧和粗略标注降低视频分割标注成本的方法，通过SAM和SAM 2模型实现自动掩码生成，减少约三分之一的标注需求，同时发现数据集帧多样性比数量更重要。
2026-03-29 cs.CV
Coherent Loss: A Generic Framework for Stable Video Segmentation
Dalian University of Technology（大连理工大学）；Baidu Inc.（百度公司）
视频分割方法对于许多视觉任务特别是用于娱乐的视频处理具有重要意义。由于在大规模不同环境下获取高质量的每帧分割注释和大型视频数据集的挑战，学习方法在测试数据集上显示出整体更高的准确性，但在大多数实际应用中缺乏严格的时间约束来自我校正抖动伪影。我们研究了这种抖动伪影如何降低视频分割结果的视觉质量，并提出了一个时间稳定性的度量来数值评估它。特别是，我们提出了一个通用框架的相干损失，以提高神经网络对抖动伪影的性能，它结合了高精度和高一致性。配备了我们的方法，现有的视频对象/语义分割方法实现了显着的改善，在更令人满意的视觉质量方面的视频人体数据集，我们提供了在这一领域的进一步研究，也DAVIS和城市景观。
2020-10-25 cs.CV
Adaptively Augmented Consistency Learning: A Semi-supervised Segmentation Framework for Remote Sensing
University of Sydney（悉尼大学）；Beijing Technology and Business University（北京工商大学）
针对遥感图像标注数据稀缺导致分割困难的问题，提出半监督分割框架AACL，通过USAug和AdaCM提取未标注图像信息，在多个数据集上性能显著提升。
2024-11-14 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似，该方法将前一帧的掩码概率图和当前帧的外观作为输入，并预测当前帧的掩码概率图。具体来说，我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外，我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入，而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测，以便检索和分割丢失的实例。
2018-10-24 cs.CV
Video Semantic Object Segmentation by Self-Adaptation of DCNN
POSTECH（浦项工科大学）
提出了一种新的视频对象语义分割框架。我们通过利用视频具有多帧的事实来解决深度卷积神经网络（DCNN）的标签不一致问题;在几帧中，对象被置信估计（CE），我们使用其中的信息来改进其他帧的标签。给定从DCNN获得的每个帧的语义分割结果，我们对几个CE帧进行采样，以通过关注视频中的特定实例而不是各种情况下的一般对象来使DCNN模型适应输入视频。我们提出了不同监管水平下的离线和在线方法。在实验中，我们的方法取得了很大的改善，比原来的模型和以前的国家的最先进的方法。
2017-11-22 cs.CV
RefineVIS: Video Instance Segmentation with Temporal Attention Refinement
Microsoft Cloud and AI（微软云计算与人工智能部门）
本文提出 RefineVIS 视频实例分割框架，通过分离关联与分割表征、对比学习及时序注意力优化模块，支持在线与离线推理，并在多个基准上达到最先进精度。
2023-06-07 cs.CV
Learning Quality-aware Dynamic Memory for Video Object Segmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Huawei Technologies（华为技术有限公司）；University College London（伦敦大学学院）
最近，一些基于时空记忆的方法已经证明，存储中间帧和它们的掩码作为记忆有助于分割视频中的目标对象。然而，它们主要关注当前帧和内存帧之间的更好匹配，而没有明确关注内存的质量。因此，具有较差分割模板的帧容易被记忆，这导致分割模板误差累积问题，并进一步影响分割性能。此外，内存帧数随帧数增长而线性增长，也限制了模型处理长视频的能力。为此，我们提出了一个质量感知的动态内存网络（QDMN）来评估每个帧的分割质量，允许存储体有选择地存储准确分割的帧，以防止错误积累的问题。然后，我们结合分割质量和时间一致性动态更新的存储体，以提高模型的实用性。在没有任何附加功能的情况下，我们的QDMN在DAVIS和YouTube-VOS基准测试中实现了最先进的性能。此外，大量的实验表明，所提出的质量评估模块（QAM）可以应用于基于内存的方法作为通用插件，并显着提高性能。我们的源代码可在https://github.com/workforai/QDMN上获得。
2022-07-16 cs.CV
Learning Video Object Segmentation from Static Images
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Disney Research（迪士尼研究院）；ETH Zurich（苏黎世联邦理工学院）
受深度学习在实例分割和对象跟踪方面的最新进展的启发，我们引入视频对象分割问题作为引导实例分割的概念。我们的模型在每帧的基础上进行，由前一帧的输出引导到下一帧中的感兴趣对象。我们证明，可以通过使用仅用静态图像训练的convnet来实现视频中的高精度对象分割。我们的方法的关键成分是离线和在线学习策略的组合，其中前者用于从先前的帧估计产生精细的掩模，后者允许捕获特定对象实例的外观。我们的方法可以处理不同类型的输入注释：边界框和段，以及合并多个注释帧，使系统适合于不同的应用程序。我们在三个不同的数据集上获得了竞争结果，独立于输入注释的类型。
2016-12-08 cs.CV
Object Propagation via Inter-Frame Attentions for Temporally Stable Video Instance Segmentation
Birla Institute of Technology and Science Pilani（比尔拉技术与科学学院皮拉尼分校）；Harvard University（哈佛大学）；University of Oxford（牛津大学）
视频实例分割的目的是检测、分割和跟踪视频中的对象。当前的方法将图像级分割算法扩展到时域。然而，这导致时间上不一致的掩模。在这项工作中，我们确定的掩模质量由于时间稳定性作为性能瓶颈。基于此，我们提出了一种视频实例分割方法，解决了由于检测缺失而导致的问题。由于这不能简单地使用空间信息来解决，因此我们使用帧间注意力来利用时间上下文。这使得我们的网络能够使用来自相邻帧的框预测来重新关注丢失的对象，从而克服丢失的检测。我们的方法在YouTube-VIS基准测试中实现了36.0%的mAP，显著优于使用Mask R-CNN主干的先前最先进的算法。此外，我们的方法是完全在线的，不需要未来的帧。我们的代码可在https://github.com/anirudh-chakravarthy/ObjProp上公开获取。
2021-12-14 cs.CV
Domain Adaptive Video Segmentation via Temporal Consistency Regularization
Nanyang Technological University（南洋理工大学）
视频语义分割是视频分析和理解的一项重要任务。最近的努力主要集中在通过从完全注释的数据中学习来进行有监督的视频分割，但是当应用于不同领域的视频时，学习的模型通常会经历明显的性能下降。本文介绍了DA-VSN，域自适应视频分割网络，解决域的差距，视频的时间一致性正则化（TCR）的连续帧的目标域视频。DA-VSN由两种新颖且互补的设计组成。第一种是跨域TCR，其通过对抗学习引导目标帧的预测具有与源帧（从注释的源数据学习）相似的时间一致性。第二种是域内TCR，其引导目标帧的不置信预测具有与目标帧的置信预测相似的时间一致性。大量的实验证明了我们提出的域自适应视频分割网络的优越性，它始终优于多个基线的大利润率。
2021-07-23 cs.CV
Semantic-ITC: A Frame-wise Indoor Mobile Laser Scanning Dataset and Benchmark for Semantic Segmentation
University of Twente（特文特大学）
本文提出Semantic-ITC，首个逐帧室内移动激光扫描语义分割数据集与基准，含52个序列、79,108帧、12.3亿点，最佳基线mIoU达79.27%，为室内MLS分割提供公共评估平台。
2026-09-17 cs.CV
A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
人类倾向于通过从一组图像或几帧视频中学习来挖掘对象，因为我们生活在一个动态的世界中。在计算机视觉领域，为了发现视频中的共现目标，许多研究集中在共分割（CoS）、共显著性检测（CoSD）和视频显著性目标检测（VSOD）上。然而，以前的方法在这些类似的任务上分别设计不同的网络，它们很难相互应用，这降低了深度学习框架的可移植性的上限。此外，它们未能充分利用一组图像中的内部和内部特征之间的线索。在本文中，我们介绍了一个统一的框架来解决这些问题，术语为UFO（统一框架的协同对象分割）。具体来说，我们首先引入一个Transformer块，它将图像特征视为补丁令牌，然后通过自我注意力机制捕获它们的长程依赖关系。这可以帮助网络挖掘相关对象之间的斑块结构相似性。此外，我们提出了一个内部MLP学习模块来产生自我掩码，以增强网络，以避免部分激活。在四个CoS基准测试（PASCAL、iCoseg、Internet和MSRC）、三个CoSD基准测试（Cosal2015、CoSOD3k和CocA）和四个VSOD基准测试（DAVIS16、FBMS、ViSal和SegV2）上进行的大量实验表明，通过使用相同的网络架构，我们的方法在三个不同的任务上在准确性和速度方面都优于其他最先进的方法，实时速度可以达到140 FPS。
2022-03-11 cs.CV
C2F-TCN: A Framework for Semi and Fully Supervised Temporal Action Segmentation
National University of Singapore（新加坡国立大学）
时间动作分割为包含序列中的多个动作的输入未修剪视频中的每个帧标记动作标签。对于时间动作分割的任务，我们提出了一个编码器-解码器风格的架构命名为C2F-TCN具有“粗到细”的整体解码器输出。C2F-TCN框架增强了一种新的模型不可知的时间特征增强策略，该策略由计算成本低廉的随机最大池化段策略形成。它在三个基准动作分割数据集上产生更准确和校准良好的监督结果。我们表明，该架构是灵活的监督和表示学习。根据这一点，我们提出了一种新的无监督的方法来学习C2F-TCN的逐帧表示。我们的无监督学习方法取决于输入特征的聚类能力和从解码器的隐式结构形成多分辨率特征。此外，我们通过将表示学习与传统的监督学习相结合，提供了第一个半监督的时间动作分割结果。我们的半监督学习方案，称为"迭代-对比-分类（ICC分类）“，通过更多的标记数据逐步提高性能。C2F-TCN中的ICC半监督学习，具有40%的标记视频，与完全监督的同行表现相似。
2022-12-20 cs.CV
Inference-Time Temporal Probability Smoothing for Stable Video Segmentation with SAM2 under Weak Prompts
Indian Institute of Technology Bombay（印度理工学院班加罗尔）
本文提出一种推理时的时间概率平滑方法，提升SAM2视频分割的时序稳定性，无需重训练或修改架构。通过光流运动变形和像素不确定性估计，实现弱提示下的时序一致分割。
2026-04-18 cs.CV
Multi-frame Feature Aggregation for Real-time Instrument Segmentation in Endoscopic Video
University of Washington（华盛顿大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
基于深度学习的方法在手术器械分割方面取得了令人鼓舞的结果。然而，高计算成本可能会限制深度模型在时间敏感任务中的应用，例如机器人辅助手术的在线手术视频分析。此外，当前的方法可能仍然遭受手术图像中的挑战性条件，诸如各种照明条件和血液的存在。我们提出了一种新的多帧特征聚合（MFFA）模块聚合视频帧特征的时间和空间的循环模式。通过将深度特征提取的计算负载分布在连续帧上，我们可以使用轻量级编码器来减少每个时间步长的计算成本。此外，公共手术视频通常不是逐帧标记的，因此我们开发了一种方法，可以从单个标记帧随机合成手术帧序列，以辅助网络训练。我们证明了我们的方法在两个公共手术数据集上实现了优于相应的更深分割模型的性能。
2021-07-26 cs.CV
Learning Motion Flows for Semi-supervised Instrument Segmentation from Robotic Surgical Video
The Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering, CUHK（香港中文大学晨兴先进工程研究所）；T Stone Robotics Institute, CUHK（香港中文大学T Stone机器人研究所）
对手术视频进行间隔低赫兹标记，可以大大减轻医生的负担。在本文中，我们研究了半监督仪器分割机器人手术视频稀疏注释。与大多数以前的方法单独使用未标记的帧，我们提出了一个基于双运动的方法，明智地学习运动流的分割增强，利用时间动态。我们首先设计了一个流预测器来推导运动，用于在给定当前标记帧的情况下联合传播帧标签对。考虑到快速仪器运动，我们进一步引入了一个流量补偿器来估计连续帧内的中间运动，并采用了一种新的循环学习策略。通过利用生成的数据对，我们的框架可以恢复，甚至增强训练序列的时间一致性，以利于分割。我们在2017年MICCAI EndoVis机器人仪器分割挑战数据集上使用二进制，部分和类型任务验证了我们的框架。结果表明，我们的方法在很大程度上优于最先进的半监督方法，甚至超过了两个任务的完全监督训练。
2020-07-06 cs.CV
CLOT: Closed Loop Optimal Transport for Unsupervised Action Segmentation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC, Barcelona, Spain（机器人与信息工业研究所，西班牙加泰罗尼亚科技学院-巴塞罗那高等科技学院）
针对无监督动作分割方法ASOT缺少片段级监督、反馈有效性受限的问题，提出带多级循环特征学习机制的CLOT框架，通过三个OT问题与交叉注意力优化表示与伪标签，在四个基准数据集上验证了循环学习的有效性。
2025-08-07 cs.CV
R-Clustering for Egocentric Video Segmentation
Universitat de Barcelona（巴塞罗那大学）；University of Groningen（格罗宁根大学）；Computer Vision Center（计算机视觉中心）
在本文中，我们提出了一种新的方法，自我为中心的视频时间分割的基础上整合的统计均值变化检测器和凝聚聚类（AC）内的能量最小化框架。鉴于大多数AC方法的趋势，过度分割视频序列时，聚类他们的帧，我们结合了聚类的概念漂移检测技术（ADWIN），具有严格的性能保证。ADWIN作为基于聚类的视频分割的统计上界。我们将这两种技术集成在一个能量最小化框架中，该框架用于消除这两种技术的决策的歧义，并考虑到视频帧描述符的时间连续性来完成分割。我们目前的实验超过13.000个图像采集与不同的可穿戴相机的自我中心集，表明我们的方法优于国家的最先进的聚类方法。
2017-04-10 cs.CV
OnlineTAS: An Online Baseline for Temporal Action Segmentation
University of Adelaide（阿德莱德大学）；National University of Singapore（新加坡国立大学）
针对在线时序动作分割中上下文利用不足及过分割问题，提出含自适应存储器、特征增强模块和后处理的OnlineTAS在线框架，在三个基准上取得SOTA性能。
2024-11-02 cs.CV
A Class-wise Non-salient Region Generalized Framework for Video Semantic Segmentation
Shenzhen University（深圳大学）；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）
视频语义分割（VSS）由于真实环境的连续性，有利于处理动态场景。一方面，一些方法缓解了连续帧之间的预测不一致问题。另一方面，其他方法采用先前帧作为先验信息来帮助分割当前帧。虽然以前的方法在独立同分布（i.i.d）数据上取得了优异的性能，但它们不能很好地推广到其他未知的领域。因此，我们探索一个新的任务，视频概括语义分割（VGSS）的任务，同时考虑连续帧和领域泛化。在本文中，我们提出了一个类明智的非显着区域广义（CNSG）框架的VGSS任务。具体地说，我们首先定义了类非显着特征，它描述了类非显着区域的特征，携带更多的概括信息。然后，我们提出了一个类明智的非显着特征推理策略，选择和增强最广义的通道自适应。最后，我们提出了一个帧间非显着的质心对齐损失，以减轻预测不一致的问题，在VGSS任务。我们还扩展了我们的基于视频的框架，以图像为基础的广义语义分割（IGSS）的任务。实验表明，我们的CNSG框架在VGSS和IGSS任务中产生了显着的改善。
2022-12-29 cs.CV
Permutation-Aware Action Segmentation via Unsupervised Frame-to-Segment Alignment
Retrocausal, Inc.（Retrocausal公司）
本文提出一种无监督框架，通过帧到段对齐实现感知-aware的动作分割，利用变换器模型和伪标签提升分割性能。
2025-12-01 cs.CV
Efficient Video Semantic Segmentation with Labels Propagation and Refinement
ETH Zürich（苏黎世联邦理工学院）
针对高清视频的实时语义分割问题，提出了一种基于GPU / CPU的混合算法。我们提出了一个高效的视频分割（EVS）流水线，结合：（i）在CPU上，一个非常快速的光流方法，这是用来利用视频的时间方面和传播语义信息从一帧到下一帧。它与GPU并行运行。(ii)在GPU上，两个卷积神经网络：一个主要的分割网络，用于从头开始预测密集的语义标签，以及一个Refiner，旨在通过快速的Incredibility Attention Module（IAM）来改进先前帧的预测。后者可以识别无法准确传播的区域。我们建议几个操作点取决于所需的帧速率和精度。我们的流水线达到了与现有的实时语义图像分割方法（mIoU高于60%）竞争的准确度水平，同时实现了更高的帧速率。在具有高分辨率帧（2048 x 1024）的流行Cityscapes数据集上，单个GPU和CPU上的建议操作点范围为80到1000 Hz。
2019-12-26 cs.CV
Efficient Event-Based Semantic Segmentation via Exploiting Frame-Event Fusion: A Hybrid Neural Network Approach
Hebei Li 1, † , Yansong Peng 1, † , Jiahui Yuan 1 , Peixi Wu 1 , Jin Wang 1 Yueyi Zhang 1, * , Xiaoyan Sun 1, 2（河北理工大学）
本文提出一种融合脉冲神经网络与人工神经网络的混合框架，通过三个专用模块高效结合事件与帧信息，在多个数据集上实现最先进分割精度并显著降低能耗。
2025-07-04 cs.CV
Low-Latency Video Semantic Segmentation
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
近年来，语义分割取得了显著的进展。然而，将分割技术应用于基于视频的应用仍然是一项具有挑战性的任务。具体而言，视频流的高吞吐量、运行全卷积网络的绝对成本以及许多现实应用（例如自动驾驶）中的低延迟要求，对视频分割框架的设计提出了重大挑战。为了解决这一综合挑战，我们开发了一个视频语义分割的框架，它包含两个新的组件：（1）一个特征传播模块，通过空间变化卷积自适应地融合特征，从而降低每帧计算的成本;和（2）一个自适应调度器，根据准确性预测动态分配计算。这两个组件协同工作，以确保低延迟，同时保持高分割质量。在Cityscapes和CamVid上，与最先进的技术相比，所提出的框架获得了具有竞争力的性能，同时大幅降低了延迟，从360 ms降至119 ms。
2018-04-02 cs.CV
Predicting Future Instance Segmentation by Forecasting Convolutional Features
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
预测未来事件是智能行为的重要前提。视频预测已被研究作为一个代理任务，实现这一目标。最近的工作已经表明，为了预测未来帧的语义分割，在语义级的预测比预测RGB帧然后分割这些帧更有效。在本文中，我们考虑更具挑战性的问题，未来的实例分割，另外分割出个别对象。为了处理每个图像不同数量的输出标签，我们在Mask R-CNN实例分割模型的固定大小卷积特征空间中开发了一个预测模型。我们将Mask R-CNN的“检测头”应用于预测的特征，以产生未来帧的实例分割。实验表明，该方法显着提高了基于光流和重新利用的实例分割架构的强基线。
2018-10-03 cs.CV
Adaptive ROI Generation for Video Object Segmentation Using Reinforcement Learning
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；National University of Singapore（新加坡国立大学）
在本文中，我们的目标是解决跨帧序列的半监督视频对象分割的任务，其中只提供第一帧的地面实况分割。挑战在于如何在线更新从第一帧初始化的分割模型自适应和准确，即使在存在多个混乱的情况下或大对象运动。现有的方法依赖于选择感兴趣的区域进行模型更新，然而，这是粗糙和不灵活的，导致性能下降。为了克服这一局限性，我们提出了一种新的方法，利用强化学习选择最佳的适应区域为每帧，根据历史分割信息。RL模型学习采取最佳行动来调整从前一帧推断的感兴趣区域，以进行在线模型更新。为了加快模型的自适应，我们进一步设计了一种新的基于多叉树的探索方法，以快速选择最佳的状态动作对。我们的实验表明，我们的工作将DAVIS 2016数据集上的平均区域相似度提高到87.1%。
2019-09-27 cs.CV
Unified Fully and Timestamp Supervised Temporal Action Segmentation via Sequence to Sequence Translation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
本文介绍了一个统一的框架，视频动作分割通过序列到序列（seq 2seq）的翻译，在一个完全和时间戳监督设置。与当前最先进的帧级预测方法相比，我们将动作分割视为seq 2seq翻译任务，即，将视频帧序列映射到动作片段序列。我们提出的方法涉及一系列的修改和辅助损失函数的标准Transformer seq 2seq翻译模型，以应付长输入序列，而不是短输出序列和相对较少的视频。我们将通过逐帧丢失的编码器的辅助监督信号，并提出了一个单独的对齐解码器的隐式持续时间预测。最后，我们通过我们提出的约束k-medoids算法来生成伪分割，将我们的框架扩展到时间戳监督设置。我们提出的框架在完全和时间戳监督的设置上表现一致，在几个数据集上表现优于或竞争最先进的技术。我们的代码可在https://github.com/boschresearch/UVAST上公开获取。
2022-10-11 cs.CV
Frame-To-Frame Consistent Semantic Segmentation
Graz University of Technology（格拉茨技术大学）
在这项工作中，我们的目标是时间上一致的语义分割在整个视频帧。许多语义分割算法单独地处理图像，这导致由于照明变化、遮挡和其他随时间的变化而导致不一致的场景解释。为了实现时间上一致的预测，我们训练卷积神经网络（CNN），其使用卷积长短期记忆（ConvLSTM）单元通过视频中的连续帧传播特征。除了时间特征传播之外，我们还在损失函数中惩罚不一致。我们在实验中表明，与单帧预测相比，利用视频信息时的性能有所提高。Cityscapes验证集上的平均交集（mIoU）度量从单帧的45.2%增加到视频数据的57.9%，这是在实现ConvLSTM以在ESPNet上通过时间传播特征之后。最重要的是，不一致性从4.5%下降到1.3%，减少了71.1%。我们的研究结果表明，增加的时间信息产生一个帧到帧的一致性和更准确的图像理解相比，单帧处理。代码和视频可在https://github.com/mrebol/f2f-consistent-semantic-segmentation上获得
2020-08-27 cs.CV cs.LG
Spatial Feature Calibration and Temporal Fusion for Effective One-stage Video Instance Segmentation
The HongKong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
现代单级视频实例分割网络受到两个限制。首先，卷积特征既不与锚框对齐，也不与地面实况边界框对齐，从而降低了掩码对空间位置的敏感性。第二，直接将视频分割成单个帧进行帧级实例分割，忽略相邻帧之间的时间相关性。为了解决这些问题，我们提出了一个简单而有效的单阶段视频实例分割框架，即STMask。为了确保空间特征校准与地面实况边界框，我们首先预测回归边界框周围的地面实况边界框，并从它们提取帧级实例分割的功能。为了进一步探索视频帧之间的时间相关性，我们聚合了一个时间融合模块来推断每个帧到其相邻帧的实例掩码，这有助于我们的框架处理具有挑战性的视频，如运动模糊，部分遮挡和不寻常的对象到相机的姿势。在YouTube-VIS有效集上的实验表明，本文提出的基于ResNet-50/-101主干的STMask在视频实例分割上获得了33.5%/36.8%的掩码AP，同时达到了28.6 / 23.4 FPS。该代码在https://github.com/MinghanLi/STMask上发布。
2021-04-06 cs.CV eess.IV
Polygonal Building Segmentation by Frame Field Learning
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；Massachusetts Institute of Technology（麻省理工学院）；LuxCarta Technology（LuxCarta科技公司）
虽然现有技术的图像分割模型通常以光栅格式输出分割，但地理信息系统中的应用通常需要矢量多边形。为了帮助弥合深度网络输出与下游任务中使用的格式之间的差距，我们将帧字段输出添加到深度分割模型中，用于从遥感图像中提取建筑物。我们训练深度神经网络，其将预测的帧场与地面实况轮廓对齐。这个额外的目标通过利用多任务学习提高了分割质量，并提供了结构信息，以后有利于分割;我们还介绍了一个分割算法，利用帧字段以及光栅分割。我们的代码可在https://github.com/Lydorn/Polygonization-by-Frame-Field-Learning上获得。
2021-03-31 cs.CV cs.LG eess.IV
Sequential image processing methods for improving semantic video segmentation algorithms
University of Twente（特文特大学）
最近，语义视频分割得到了高度关注，特别是支持自动驾驶系统。深度学习方法使得在视频上实现实时分割和对象识别算法成为可能。然而，大多数可用的方法独立地处理每个视频帧，而不管它们在时间上的顺序关系。因此，他们的结果突然错过了一些帧中的一些对象片段，即使它们在早期帧中被正确检测到。本文提出了两种序列概率视频帧分析方法，以提高现有算法的分割性能。我们的实验表明，使用过去的帧的信息，我们提高了性能和一致性的最先进的算法。
2019-10-29 cs.CV eess.IV
Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy
South China University of Technology（华南理工大学）；University of Utah（犹他大学）
我们引入了切片间图像增强的思想，即在两个连续图像之间增加医学图像和相应的分割标签的数量，以提高医学图像分割的准确性。与医学成像中的常规数据增强方法不同，常规数据增强方法仅通过使用简单的参数化变换（诸如旋转、翻转、缩放等）添加新的虚拟样本来直接增加训练样本的数量，我们的目标是根据两幅连续图像之间的关系来增加数据，这不仅增加了训练样本的数量，而且增加了训练样本的信息。为此，我们提出了一种基于帧插值的数据增强方法来生成中间医学图像和相应的分割标签之间的两个连续的图像。我们分别使用增强的训练样本在SILVER 07和CHAOS 2019上对有监督的U-Net肝脏分割网络进行了训练和测试，获得的分割分数与传统增强方法相比表现出显着的改善。
2020-01-31 cs.CV eess.IV
An Automatic Cardiac Segmentation Framework based on Multi-sequence MR Image
Harbin Institute of Technology（哈尔滨工业大学）
LGE CMR是检测梗死心肌的有效技术。一种有效、客观的心室分割方法有助于LGE中梗死心肌的定位。在本文中，我们提出了一个自动框架的LGE图像分割。只有5个标记的LGE体积，每个体积约有15个切片。我们采用直方图匹配，旋转不变的配准方法，对其他标记的模态，以实现有效的增强训练数据。基于扩充后的训练数据，采用留一法训练CNN分割模型。模型的预测结果对每个类别进行连通分量分析，以保留最大连通分量作为最终分割结果。我们的模型通过2019年多序列心脏MR分割挑战进行了评估。Dice评分、Jaccard评分、表面距离和Hausdorff距离的40个测试体积的平均测试结果分别为0.8087、0.6976、2.8727 mm和15.6387 mm。实验结果表明，该框架具有良好的性能.代码可在https://github.com/Suiiyu/MS-CMR2019上获得。
2019-09-12 cs.CV eess.IV
A Coarse-To-Fine Framework For Video Object Segmentation
Rochester Institute of Technology（罗切斯特理工学院）；Kodak Alaris（柯达伊士曼）
在这项研究中，我们开发了一个无监督的粗到细的视频分析框架和原型系统，以提取视频序列中的显著对象。该框架从沿着时间帧跟踪网格采样点开始，通常使用KLT跟踪方法。由于跟踪点的运动不一致，可以将跟踪点分成几组。同时，将SLIC算法扩展到三维空间，生成超体素。粗分割是通过将分类的跟踪点和视频序列中对应帧的超体素相结合来实现的。最后，采用基于图的精细分割算法提取场景中的运动目标。实验结果表明，该方法优于以往的方法在准确性和鲁棒性。
2018-09-26 cs.CV cs.MM
CapsuleVOS: Semi-Supervised Video Object Segmentation Using Capsule Routing
University of Central Florida（中佛罗里达大学）
在这项工作中，我们提出了一种基于胶囊的半监督视频对象分割方法。当前的视频对象分割方法是基于帧的，并且通常需要光流来捕获跨帧的时间一致性，这可能难以计算。为此，我们提出了一个基于视频的胶囊网络，CapsuleVOS，它可以分割几个帧在一次条件下的参考帧和分割掩码。这种调节是通过一种新的路由算法进行注意力为基础的有效胶囊选择。我们解决了视频对象分割中的两个挑战性问题：1）小对象的分割和2）对象随时间的遮挡。分割小对象的问题通过缩放模块来解决，该模块允许网络处理视频的小空间区域。除此之外，该框架还利用了一种基于递归网络的新型记忆模块，当对象移出帧或被遮挡时，它可以帮助跟踪对象。该网络是端到端训练的，我们在两个基准视频对象分割数据集上证明了其有效性;它在Youtube-VOS数据集上的性能优于当前的离线方法，同时运行时间几乎是竞争方法的两倍。该代码可在https://github.com/KevinDuarte/CapsuleVOS上公开获取。
2019-09-30 cs.CV eess.IV
Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow
Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
视频语义分割的一个主要挑战是缺乏标记数据。在大多数基准数据集中，视频剪辑中只有一帧被注释，这使得大多数监督方法无法利用其余帧的信息。为了充分利用视频中的时空信息，许多先前的工作使用预先计算的光流，编码的时间一致性，以改善视频分割。然而，视频分割和光流估计仍然被认为是两个独立的任务。在本文中，我们提出了一个新的框架，联合视频语义分割和光流估计。语义分割带来语义信息来处理遮挡以用于更鲁棒的光流估计，而非遮挡的光流提供精确的像素级时间对应以保证分割的时间一致性。此外，我们的框架能够通过联合训练来利用视频中的标记帧和未标记帧，而在推理中不需要额外的计算。大量实验表明，该模型使视频语义分割和光流估计相互受益，在相同的设置下，两种任务的性能均优于现有方法。
2019-11-28 cs.CV cs.LG eess.IV
