Towards Fine-grained Large Object Segmentation 1st Place Solution to 3D AI Challenge 2020 -- Instance Segmentation Track
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
该报告提出以 PointRend 为基础并集成 5 个模型，解决 3D-FUTURE 中大目标的细粒度实例分割问题，在 3D AI Challenge 2020 验证与测试排行榜均获第一。
2024-04-04 cs.CV
Video Object Segmentation using Tracked Object Proposals
Visualead
我们在DAVIS 2017挑战赛的背景下提出了一种半监督视频对象分割的方法。我们的方法结合了基于类别的目标检测，类别无关的对象外观分割和时间对象跟踪。我们的动机是这样一个事实，即对象的语义类别往往不会改变整个视频，而它的外观和位置可以有很大的变化。为了捕获独立于其类别的特定对象外观，对于每个视频，我们使用给定注释帧的增强来训练完全卷积网络。我们改进的外观分割掩模与语义目标检测网络提供的边界框，如果适用，或由以前的帧预测。通过在检测到的盒子上引入时间连续性约束，我们能够改进外观网络的对象分割掩码，并在DAVIS数据集上获得有竞争力的结果。
2017-07-20 cs.CV
Hybrid Tracker with Pixel and Instance for Video Panoptic Segmentation
Zhejiang University（浙江大学）
本文提出轻量级 HybridTracker，通过并行像素与实例跟踪、矩阵融合、可微匹配及一致性约束，提升 VPS 在遮挡和变形场景下的跟踪性能。
2023-12-11 cs.CV
PointIT: A Fast Tracking Framework Based on 3D Instance Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
最近最流行的跟踪框架集中在2D图像序列。他们很少跟踪点云中的3D对象。在本文中，我们提出了PointIT，一个快速，简单的跟踪方法的基础上三维道路上的实例分割。首先，我们将3D LiDAR数据转换为尺寸为64 x 512 x 4的球形图像，并将其送入实例片段模型，以获得每个类的预测实例掩码。然后，我们使用MobileNet作为我们的主要编码器，而不是原来的ResNet，以减少计算复杂性。最后，利用该实例框架对排序算法进行了扩展，实现了三维LiDAR点云数据的跟踪。该模型是在球形图像数据集上训练的，具有由KITTI 3D Object Track数据集提供的相应实例标签掩码。实验结果表明，该网络的平均跟踪精度（AP）达到0.617，多目标跟踪性能也得到了提高。
2019-02-18 cs.CV
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
视频对象分割（VOS）是视频对象跟踪的最高层次，已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪，但在分割方面的研究工作要比跟踪多得多。在本文中，我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪，提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制，以实现显着提高性能。值得注意的是，我们的方法是完全在线的，因此适合一次性学习，我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能，在速度和准确性方面都没有复杂的花里胡哨，每帧速度为0.14秒，J&F测量值分别为75.9%。
2020-07-11 cs.CV
A Robust Semantic Segmentation Pipeline for the CVPR 2026 8th UG2+ Challenge Track 2
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
提出一种半监督分割流程，以UniMatch V2为基线，将恶劣天气图像视为未标记数据进行训练，并采用测试时增强，仅使用WeatherProof数据集提升鲁棒性。
2026-05-22 cs.CV
Efficient Video Instance Segmentation via Tracklet Query and Proposal
State University of New York at Buffalo（纽约州立大学布法罗分校）；Amazon（亚马逊）
视频实例分割（VIS）的目标是同时对视频中的多个对象实例进行分类、分割和跟踪。最近的剪辑级VIS每次都将短视频剪辑作为输入，表现出比帧级VIS（分段跟踪）更强的性能，因为利用了来自多个帧的更多时间上下文。然而，大多数剪辑级方法既不是端到端可学习的，也不是实时的。最近的VIS Transformer（VisTR）解决了这些限制，它在剪辑内执行VIS端到端。然而，VisTR由于其逐帧密集注意力而遭受长训练时间。此外，VisTR不能在多个视频片段中完全端到端学习，因为它需要手工构建的数据关联来链接连续片段之间的实例轨迹。本文提出了EfficientVIS，这是一个具有高效训练和推理的完全端到端框架。核心是tracklet查询和tracklet建议，通过迭代查询-视频交互在空间和时间上关联和分割感兴趣区域（ROI）。我们进一步提出了一个对应学习，使片段之间的tracklet链接端到端的学习。与VisTR相比，EfficientVIS所需的训练时间减少了15倍，同时在YouTube-VIS基准测试中达到了最先进的准确性。同时，我们的方法使整个视频实例分割在一个单一的端到端的通过没有数据关联在所有。
2022-03-03 cs.CV
1st Place Solution of The Robust Vision Challenge 2022 Semantic Segmentation Track
Johns Hopkins University（约翰斯·霍普金斯大学）；Fudan University（复旦大学）；NVIDIA（英伟达）
本报告介绍了ECCV 2022上鲁棒视觉挑战赛（RVC）语义分割赛道的获奖解决方案。我们的方法采用FAN-B-Hybrid模型作为编码器，并使用SegFormer作为分割框架。该模型是在一个复合数据集上训练的，该数据集由来自9个数据集（ADE 20 K，Cityscapes，Mapillary Vistas，ScanNet，VIPER，WildDash 2，IDD，BDD和COCO）的图像组成，具有简单的数据集平衡策略。所有原始标签都被投影到一个256类的统一标签空间，并使用交叉熵损失来训练模型。在没有显著的超参数调整或任何特定的损失加权的情况下，我们的解决方案在多个领域（ADE 20 K、Cityscapes、Mapillary Vistas、ScanNet、VIPER和WildDash 2）的所有测试语义分割基准测试中排名第一。所提出的方法可以作为一个强大的基线的多领域分割任务，有利于未来的工作。代码将在https://github.com/lambert-x/RVC_Segmentation上提供。
2022-11-07 cs.CV
Track Anything: Segment Anything Meets Videos
SUSTech（南方科技大学）
针对SAM在视频一致性分割中表现不佳的问题，提出无需额外训练的Track Anything Model（TAM），仅需少量点击即可在单次推理中实现高性能的视频交互式目标追踪与分割，已开源相关资源。
2023-04-28 cs.CV
Learning a Fast 3D Spectral Approach to Object Segmentation and Tracking over Space and Time
Bitdefender（比特梵德）；University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Politehnica University of Bucharest（布加勒斯特理工大学）
我们提出视频对象分割的频谱图聚类的空间和时间，与一个图节点的每个像素和边缘形成局部时空邻域。我们声称，在这个视频图中最强的集群代表的显着对象。我们首先介绍了一种新的和有效的方法，基于3D过滤近似的谱解，作为图的邻接矩阵的主特征向量，而不显式地建立矩阵。这个关键属性使我们能够在GPU上快速并行实现，比计算特征向量的经典方法快几个数量级。我们的动机频谱时空聚类方法，独特的视频语义分割文献，是这样的聚类是专门保留对象的一致性随着时间的推移，我们使用我们的新的分割一致性措施进行评估。进一步，我们展示了如何在多个输入特征通道上有效地学习解决方案。最后，我们扩展制定我们的方法超出了分割任务，到领域的对象跟踪。在广泛的实验中，我们展示了对顶级方法的显着改进，以及将它们组合在一起的强大集成，在跟踪和分割的多个基准上实现了最先进的水平。
2022-12-15 cs.CV
3rd Place Solution for PVUW2023 VSS Track: A Large Model for Semantic Segmentation on VSPW
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）
该研究提出 PVUW2023 VSS 赛道第三名方案，采用 InternImage-H 与 Mask2Former，并结合后处理策略，在 VSPW 上取得 62.60%/64.84% mIoU。
2023-06-06 cs.CV
The 2nd Solution for LSVOS Challenge RVOS Track: Spatial-temporal Refinement for Consistent Semantic Segmentation
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能学院）
针对RVOS模型在长时序下语义分割掩码不一致的问题，提出利用SAM-v2的跟踪能力增强时序一致性的方法，在ECCV 2024 LSVOS挑战赛RVOS赛道取得第二名。
2024-08-22 cs.CV
Segment Anything Meets Point Tracking
ETH Zürich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）；HKUST（香港科技大学）
本文提出 SAM-PT，结合 SAM 与长期点跟踪实现点中心交互式视频分割，通过稀疏点传播利用局部结构信息，在 UVO、DAVIS、YouTube-VOS 和 BDD100K 等基准上取得更好的零样本性能与高效交互。
2023-12-03 cs.CV
Instance Segmentation GNNs for One-Shot Conformal Tracking at the LHC
Princeton Institute for Computational Science and Engineering（普林斯顿计算科学与工程研究所）；Princeton University（普林斯顿大学）；Department of Physics（物理系）
三维实例分割一直是计算机视觉中一个具有挑战性的问题。在对撞机（如LHC）上的粒子跟踪可以被概念化为一个实例分割任务：从粒子检测器中的点云开始，算法必须识别哪些命中属于单个粒子轨迹并提取轨迹属性。图神经网络（GNN）在标准实例分割任务上表现出了良好的性能。在这项工作中，我们证明了实例分割GNN架构对粒子跟踪的适用性;此外，我们重新想象了传统的笛卡尔空间寻迹方法，而是在保形几何中工作，允许GNN在Single Shot中识别轨迹并提取参数。
2021-03-11 cs.CV hep-ex
Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking
VinAI Research（VinAI研究院）；Posts & Telecommunications Inst. of Tech.（邮电技术研究院）
针对现有3D实例分割因无监督合并导致的过分割问题，提出3D感知2D掩码跟踪模块与动态规划优化视图的3D掩码优化模块，在ScanNet200和ScanNet++上的三类任务中提升了性能。
2024-11-25 cs.CV
2nd Place Solution for MeViS Track in CVPR 2024 PVUW Workshop: Motion Expression guided Video Segmentation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；University of Science and Technology Beijing (USTB)（北京科技大学）
针对运动表达引导的视频分割任务，团队基于RVOS方法引入视频实例分割掩码信息做时序增强、用SAM做空间细化，在CVPR 2024 PVUW挑战赛MeViS赛道取得第二名。
2024-06-20 cs.CV
Enjoying Information Dividend: Gaze Track-based Medical Weakly Supervised Segmentation
National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（集成空天地海大数据应用技术国家工程实验室）；School of Computer Science and Engineering, Northwestern Polytechnical University（计算机科学与工程学院，西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）
针对医学图像弱监督分割中视线标注信息利用不足的问题，提出GradTrack框架，利用医生视线轨迹的注视点、持续时间和时间顺序进行多级监督与特征细化，显著提升了分割性能并缩小了与全监督模型的差距。
2025-05-28 cs.CV
Fire Dynamic Vision: Image Segmentation and Tracking for Multi-Scale Fire and Plume Behavior
Florida State University（佛罗里达州立大学）；Geophysical Fluid Dynamics Institute（地球流体动力学研究所）
针对野火蔓延建模需求，提出结合图像分割与图论的Fire Dynamic Vision方法，可跨多时空尺度分离跟踪火焰与羽流，还能生成数据集支撑相关建模。
2024-12-12 cs.CV
Grape detection, segmentation and tracking using deep neural networks and three-dimensional association
Embrapa Agricultural Informatics（巴西农业研究公司农业信息研究所）；University of Campinas（坎皮纳斯大学）
诸如产量预测、精准农业和自动收割等农业应用需要能够从低成本传感设备推断作物状态的系统。使用经济实惠的相机与计算机视觉相结合的近端感测已经看到了一种有前途的替代方案，在卷积神经网络（CNN）作为自然图像中具有挑战性的模式识别问题的替代方案出现后得到了加强。果园中单个果实的检测、分割和计数是水果生长监测和自动化的一个基本问题。在这里，我们表明，对于酿酒葡萄，一种在形状，颜色，大小和紧凑性方面表现出很大变化的作物，可以使用最先进的CNN成功地检测，分割和跟踪葡萄簇。在一个测试集包含408葡萄集群从图像上采取的基于网格系统的葡萄园，我们已经达到了F1分数高达0.91的实例分割，每个集群的精细分离，从图像中的其他结构，允许更准确的评估水果的大小和形状。我们还表明，集群可以识别和跟踪沿视频序列记录果园行。我们还提出了一个公共数据集，其中包含300幅图像中正确注释的葡萄簇，以及一种用于分割自然图像中复杂对象的新注释方法。所提出的用于图像中农业模式的注释、训练、评估和跟踪的管道可以复制用于不同的作物和生产系统。它可用于开发用于多种农业和环境应用的传感元件。
2020-02-07 cs.CV
Still image and spatial-temporal tomato data enabling detection, segmentation, tracking, and video-instance segmentation using strong and weak labels
University of Bonn（波恩大学）；CSIRO（联邦科学与工业研究组织）
论文发布了BUTom21和BUTom-ST21两个番茄数据集，前者含静止图像与手动标注，后者含视频数据与伪标签，均有果实成熟度像素级标签，为研究界提供真实图像集，助力番茄植株及果实状态感知研究，时空数据集拓展田间表型分析边界。
2026-07-17 cs.CV
3rd Place Scheme on Instance Segmentation Track of ICCV 2021 VIPriors Challenges
在本文中，我们介绍了我们在2021年VIPriors实例分割挑战赛中使用的数据高效的实例分割方法。我们的解决方案是Swin Transformer的修改版本，基于功能强大的工具箱mmdetection。为了解决数据不足的问题，我们采用了随机翻转和多尺度训练的数据增强方法来训练模型。在推理过程中，多尺度融合被用来提高性能。我们在整个训练和测试阶段只使用一个GPU。最终，我们的团队在测试集上实现了0.366的结果，AP@0.50：0.95，这与其他顶级方法相比具有竞争力，而只有一个GPU被使用。此外，我们的方法实现了0.592的AP@0.50：0.95（中等），在所有参赛者中排名第二。最后，主办方宣布，我们队在所有参赛者中名列第三。
2022-11-05 cs.CV
Track to Detect and Segment: An Online Multi-Object Tracker
SUNY Buffalo（纽约州立大学布法罗分校）；TJU（天津大学）；Horizon Robotics
大多数在线多目标跟踪器在没有来自跟踪的任何输入的情况下在神经网络中独立地执行目标检测。在本文中，我们提出了一个新的在线联合检测和跟踪模型，TRADES（TRAck到DEtect和段），利用跟踪线索，以协助检测端到端。TraDeS通过成本量推断对象跟踪偏移，该成本量用于传播先前的对象特征以改进当前目标检测和分割。TraDeS在MOT（2D跟踪）、nuScenes（3D跟踪）、MOTS和Youtube-VIS（实例分割跟踪）4个数据集上的有效性和优越性得到了验证。项目页面：https://jialianwu.com/projects/TraDeS.html。
2021-03-16 cs.CV
Video Instance Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究中心）
在本文中，我们提出了一个新的计算机视觉任务，命名为视频实例分割。这个新任务的目标是同时检测，分割和跟踪视频中的实例。也就是说，这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究，我们提出了一个名为YouTube-VIS的大规模基准测试，它由2883个高分辨率YouTube视频，40个类别的标签集和131 k个高质量实例掩码组成。此外，我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支，以同时联合执行检测，分割和跟踪任务。最后，我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点，并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
Walk the Lines 2: Contour Tracking for Detailed Segmentation
University of Hamburg（汉堡大学）
本文提出 WtL2 轮廓跟踪算法，将原 WtL 从彩色舰船扩展到红外舰船和多样化 RGB 物体，以轮廓跟踪替代 NMS 生成 1 像素宽闭合轮廓，实现精细分割并取得高峰值 IoU。
2025-11-07 cs.CV
UNIT: Unsupervised Online Instance Segmentation through Time
Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
针对激光雷达点云在线实例分割与追踪人工标注成本高的问题，提出基于伪标签训练的无监督类别无关在线实例分割方法，在两个户外激光雷达数据集上优于强基线。
2024-09-12 cs.CV
JRDB-PanoTrack: An Open-world Panoptic Segmentation and Tracking Robotic Dataset in Crowded Human Environments
Monash University（莫纳什大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Adelaide（阿德莱德大学）
本文提出JRDB-PanoTrack数据集，扩展JRDB以支持拥挤人类环境中的开放世界全景分割与跟踪，提供多模态2D/3D同步数据、高质量标注及OSPA评估指标，并验证了现有方法面临的显著挑战。
2024-04-02 cs.CV
ASIST: Annotation-free synthetic instance segmentation and tracking for microscope video analysis
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
实例对象分割和跟踪提供跨显微镜视频的对象的全面量化。最近的单阶段基于像素嵌入的深度学习方法已经显示出与“分段然后关联”的两阶段解决方案相比的优越性能。然而，将基于监督像素嵌入的方法应用于显微镜视频的一个主要限制是资源密集型手动标记，其涉及跟踪数百个重叠对象及其跨视频帧的时间关联。受最近基于生成对抗网络（GAN）的无注释图像分割的启发，我们提出了一种新的无注释合成实例分割和跟踪（ASIST）算法，用于分析亚细胞微绒毛的显微镜视频。本文的贡献主要体现在三个方面：（1）提出了一种新的无注释视频分析范式。(2)将基于嵌入的实例分割和跟踪与无注释的合成学习聚合为一个整体框架;（3）据我们所知，这是第一次研究使用基于嵌入的深度学习来研究微绒毛实例分割和跟踪。从实验结果来看，与监督学习相比，所提出的无注释方法取得了更好的性能。
2020-11-02 cs.CV eess.IV
RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking
Rochester Institute of Technology（罗切斯特理工学院）
精确的眼睛分割可以改善眼睛注视估计并支持基于视觉注意的交互式计算;然而，现有的眼睛分割方法遭受诸如依赖于人的准确性、缺乏鲁棒性以及不能实时的【形】运行的问题。在这里，我们提出了RITnet模型，这是一个结合了U-Net和DenseNet的深度神经网络。RITnet小于1 MB，在2019年OpenEDS语义分割挑战中达到95.3\%的准确率。使用GeForce GTX 1080 Ti，RITnet以$>$ 300 Hz进行跟踪，从而实现实时的【形】凝视跟踪应用。预训练模型和源代码可在https://bitbucket.org/eye-ush/ritnet/上获得。
2019-10-01 cs.CV eess.IV
The Second Place Solution for The 4th Large-scale Video Object Segmentation Challenge--Track 3: Referring Video Object Segmentation
Ant Group（蚂蚁集团）；Northwestern Polytechnical University（西北工业大学）；Tongji University（同济大学）
引用视频对象分割任务（RVOS）的目的是在所有视频帧中分割由语言表达式引用的给定视频中的对象实例。由于需要理解各个实例中的跨模态语义，因此这项任务比传统的半监督视频对象分割更具挑战性，在传统的半监督视频对象分割中，第一帧中的地面真实对象掩码被给定。随着Transformer在目标检测和目标分割方面的巨大成就，RVOS也取得了显著的进步，其中ReferFormer达到了最先进的性能。在这项工作中，基于强大的基线框架-ReferFormer，我们提出了几个技巧，以进一步提高，包括循环学习率，半监督的方法，和测试时增强推理。改进后的ReferFormer在CVPR 2022推荐Youtube-VOS挑战赛中排名第二。
2022-06-24 cs.CV cs.MM
Integration of Regularized l1 Tracking and Instance Segmentation for Video Object Tracking
Istanbul Technical University（伊斯坦布尔理工大学）
我们介绍了一种检测跟踪方法，该方法将深度对象检测器与粒子滤波跟踪器集成在正则化框架下，其中跟踪对象由稀疏字典表示。一种新的观察模型，建立检测器和跟踪器之间的共识制定，使我们能够更新字典的指导下，深检测器。这产生了通过视频序列的对象外观的有效表示，因此提高了对遮挡和姿态变化的鲁棒性。此外，我们提出了一个新的状态向量，包括平移，旋转，缩放和剪切参数，允许跟踪变形的对象边界框，从而显着增加了规模变化的鲁棒性。在具有挑战性的VOT 2016和VOT 2018基准测试数据集上报告的数值结果表明，引入的跟踪器L1 DPF-M在两个数据集上实现了相当的鲁棒性，同时在两个数据集上的性能优于最先进的跟踪器，在IoU-th=0.5时成功率的提高分别为11%和9%。
2019-12-30 cs.CV eess.IV
ASIST: Annotation-free Synthetic Instance Segmentation and Tracking by Adversarial Simulations
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
背景：显微镜视频的定量分析通常需要对细胞和亚细胞对象进行实例分割和跟踪。传统的方法包括两个阶段：（1）执行每帧的实例对象分割，（2）关联对象逐帧。最近，基于像素嵌入的深度学习作为单阶段整体解决方案同时处理这两个步骤。在计算机视觉中，具有一致分割和跟踪的注释训练数据是资源密集型的，其严重性在显微镜成像中成倍增加，这是由于（1）密集对象（例如，重叠或接触），以及（2）高动态（例如，不规则运动和有丝分裂）。对抗性模拟已经提供了成功的解决方案来缓解计算机视觉中的动态场景中缺乏这种注释，例如使用模拟环境（例如，计算机游戏）来训练真实世界的自动驾驶系统。研究方法：在本文中，我们提出了一个无注释的合成实例分割和跟踪（ASIST）方法与对抗性模拟和单阶段基于像素嵌入的学习。出资额：本文的贡献是三方面的：（1）所提出的方法聚合了对抗性模拟和基于单阶段像素嵌入的深度学习;（2）该方法使用细胞（即，HeLa细胞）和亚细胞（即，微绒毛）对象;据我们所知，这是第一个研究探索无注释的显微镜视频实例分割和跟踪研究。结果如下：与完全监督方法相比，ASIST方法向前迈出了重要的一步：相对于完全监督方法，ASIST在微绒毛上的分割，检测和跟踪性能高出7%至11%，并且在Hela细胞视频上的性能相当。
2021-05-21 cs.CV eess.IV
Instance Segmentation Challenge Track Technical Report, VIPriors Workshop at ICCV 2021: Task-Specific Copy-Paste Data Augmentation Method for Instance Segmentation
DIVUS corp.（DIVUS公司）；DeltaX corp.（DeltaX公司）；DP World（DP世界公司）；Kumoh National Institute of Technology（庆熙大学（注：此处原机构名称为Kumoh National Institute of Technology，常见中文名应为“公州大学”，但根据要求保留原文并翻译，此处可能存在翻译准确性问题，需注意））
复制粘贴已被证明是一个非常有效的数据增强实例分割，可以提高模型的泛化。我们使用了特定于任务的复制-粘贴数据增强方法，在第二届VIPriors研讨会挑战赛的实例分割轨道上实现了良好的性能。我们还应用了额外的数据增强技术，包括RandAugment和GridMask。我们的分割模型是CBSwin-B上的HTC检测器，CBFPN进行了一些调整。该模型在多尺度模式下由随机采样器在6x时间表上训练，并在单尺度模式下测试。通过结合这些技术，我们使用验证集和测试集分别实现了0.398 AP@0.50：0.95和0.433 AP@0.50：0.95。最后，通过将验证集添加到训练数据，我们使用测试集达到了0.477 AP@0.50：0.95。源代码可在https://github.com/jahongir7174/VIP2021上获得。
2021-10-01 cs.AI cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法，在EPIC Fields上显著提升跟踪与分割一致性，并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Leveraging Vision-Language Models for Open-Vocabulary Instance Segmentation and Tracking
Autonomous Intelligent Systems, University of Bonn（博恩大学自主智能系统中心）；Lamarr Institute for Machine Learning and AI（拉马尔人工智能与机器学习研究所）；Center for Robotics, University of Bonn（博恩大学机器人中心）
提出一种结合 VLM 结构化描述、开放词汇检测与视频分割跟踪的框架，实现动态环境中非标准对象的实时开放词汇实例分割、属性提取与在线轨迹更新。
2025-10-20 cs.CV cs.RO
Static Segmentation by Tracking: A Label-Efficient Approach for Fine-Grained Specimen Image Segmentation
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）；University of Maine（缅因大学）；University of Miami（迈阿密大学）；Virginia Tech（弗吉尼亚理工大学）；Duke University（杜克大学）；Rensselaer Polytechnic Institute（拉特格斯理工学院）
本文提出基于跟踪的静态分割方法 SST，将标本图像拼接为伪视频，把细粒度性状分割转化为跟踪问题，每个物种仅需一张标注图像即可实现高质量分割，并支持单样本实例分割与性状图像检索。
2025-07-04 cs.AI cs.CV
TrackletMapper: Ground Surface Segmentation and Mapping from Traffic Participant Trajectories
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
对道路和街道交叉口等地面基础设施进行鲁棒分类是移动机器人在行人旁边运行的一项重要任务。虽然许多语义分割数据集可用于自动驾驶车辆，但在这些数据集上训练的模型在部署在行人空间中操作的机器人上时表现出很大的域差距。手动注释从行人视点记录的图像既昂贵又耗时。为了克服这一挑战，我们提出了TrackletMapper，一个框架，用于注释地面类型，如人行道，道路和街道交叉口从对象tracklet，而不需要人类注释的数据。为此，我们将机器人自我轨迹和其他交通参与者的路径投影到自我视图相机图像中，为多种类型的地面创建稀疏语义注释，从而可以训练地面分割模型。我们进一步表明，该模型可以通过聚合地面地图并将其投影到相机图像中来自我蒸馏以获得额外的性能优势，与稀疏tracklet注释相比，可以创建更密集的训练注释集。我们定性和定量地证明了我们的研究结果在一个新的大规模数据集的移动机器人在行人区运行。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。
2023-01-08 cs.CV cs.RO
Annolid: Annotate, Segment, and Track Anything You Need
Cornell University（康奈尔大学）
Annolid是一个基于深度学习的视频目标分割、标注和跟踪软件包，主要面向动物行为分析，通过集成Cutie、Segment Anything和Grounding-DINO实现无标记多动物跟踪和文本命令自动分割，并支持多种行为状态分类。
2024-03-27 cs.AI cs.CV
Solution for CVPR 2024 UG2+ Challenge Track on All Weather Semantic Segmentation
本文提出一种面向恶劣天气语义分割的解决方案，通过预训练 InternImage-H 骨干网络并结合 Upernet 方法及离线和在线数据增强，在 CVPR 2024 UG2+ 挑战赛中获得第三名。
2024-06-09 cs.AI cs.CV
Lidar Panoptic Segmentation and Tracking without Bells and Whistles
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；Argo AI（Argo人工智能公司）；TU Munich（慕尼黑工业大学）；Georgia Institute of Technology（佐治亚理工学院）
提出一种以检测为中心的模块化网络，通过对象实例检测分支和轨迹级监督实现激光雷达全景分割与跟踪，在多个基准上达到开源模型最优。
2023-10-19 cs.CV cs.RO
GridShift: A Faster Mode-seeking Algorithm for Image Segmentation and Object Tracking
Kyungpook National University（庆北国立大学）；Indian Statistical Institute（印度统计研究所）
在机器学习和计算机视觉中，均值漂移（MS）是用于聚类和图像分割的最流行的模式搜索算法之一。它迭代地将每个数据点移动到其邻域数据点的加权平均值。找到每个数据点的邻居所需的计算成本是数据点数量的二次方。因此，vanilla MS对于大规模数据集似乎非常慢。为了解决这个问题，我们提出了一种模式搜索算法，称为GridShift，具有显着的加速，主要是基于MS。为了加速，GridShift采用了基于网格的方法进行邻居搜索，这是线性的数据点的数量。此外，GridShift将活动网格单元（与至少一个数据点相关联的网格单元）代替数据点向更高密度移动，这一步骤提供了更多的加速。GridShift的运行时间在活动网格单元的数量上是线性的，在特征的数量上是指数的。因此，它是理想的大规模低维应用，如目标跟踪和图像分割。通过大量的实验，我们展示了优越的性能相比，其他MS为基础的，以及国家的最先进的算法在准确性和运行时间的基准数据集的图像分割GridShift。最后，我们提供了一个新的基于GridShift的对象跟踪算法，并显示了有前途的结果相比，CamShift和meanshift++的对象跟踪。
2022-06-05 cs.CV cs.LG
VoxelEmbed: 3D Instance Segmentation and Tracking with Voxel Embedding based Deep Learning
Dartmouth College（达特茅斯学院）；Vanderbilt University（范德堡大学）
生物成像的最新进展为科学家提供了卓越的高时空分辨率，以观察活细胞的动态作为3D立体视频。不幸的是，3D生物医学视频分析是滞后的，阻碍了资源不敏感的人类策展使用现成的3D分析工具。在此，生物学家通常需要通过经由最大强度投影在2D分析上妥协来丢弃相当大量的丰富的3D空间信息。最近，基于像素嵌入的细胞实例分割和跟踪为理解细胞动力学提供了一个整洁和可推广的计算范例。在这项工作中，我们提出了一种新的时空体素嵌入（VoxelEmbed）为基础的学习方法，同时进行细胞实例分割和跟踪的三维体积视频序列。我们的贡献是在四个方面：（1）提出的体素嵌入推广了像素嵌入与三维上下文信息;（2）提出了一个简单的多流学习方法，允许有效的时空嵌入;（3）完成了一个端到端的框架，一个阶段的三维细胞实例分割和跟踪没有沉重的参数调整;（4）所提出的3D量化经由具有12 GB存储器的单个GPU是存储器高效的。我们在ISBI细胞跟踪挑战赛的四个3D数据集（具有不同的细胞类型）上评估了我们的VoxelEmbed方法。所提出的VoxelEmbed方法在两个密集注释的数据集上实现了一致的优越的整体性能（OP）。在两个稀疏注释的队列中，性能也具有竞争力，其中20.6%和2%的数据集具有分割注释。结果表明，体素嵌入方法是一个通用的和内存有效的解决方案。
2021-06-22 cs.CV eess.IV
The 2nd Place Solution from the 3D Semantic Segmentation Track in the 2024 Waymo Open Dataset Challenge
Marvell Technology（美满科技）
针对LiDAR三维语义分割数据长尾且多样性不足的问题，提出融合MinkUNet、LaserMix与PolarMix的MixSeg3D，并在2024年Waymo赛事三维语义分割赛道获得第二名。
2025-01-06 cs.CV cs.LG cs.RO
Class-agnostic 3D Segmentation by Granularity-Consistent Automatic 2D Mask Tracking
Graduate School of Engineering（工程研究生院）；Multimodal Data Recognition Research Team（多模态数据识别研究团队）；RIKEN GRP（日本理化学研究所）
提出粒度一致的自动2D掩码跟踪方法与三阶段课程学习框架，解决2D掩码转3D伪标签的粒度不一致和冲突问题，实现类无关3D实例分割并达到SOTA。
2025-11-02 cs.AI cs.CV
CDIS: Cross-Dimensional Class-Agnostic 3D Instance Segmentation via 2D Mask Tracking and 3D-2D Projection Merging
Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）
研究针对未知环境中机器人系统的类别无关3D实例分割问题，提出CDIS零样本框架，通过跨帧跟踪2D实例掩码并与3D超点关联，在2D和3D间创建反馈循环，实验证明其比现有方法更准确、一致且高效可扩展。
2026-07-21 cs.AI cs.CV
TeFF: Tracking-enhanced Forgetting-free Few-shot 3D LiDAR Semantic Segmentation
Research Center for Intelligent Computing Systems, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所智能计算系统研究中心）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；China North Artificial Intelligence & Innovation Research Institute（中国北方人工智能与创新研究院）；Collective Intelligence & Collaboration Laboratory (CIC)（集体智能与协作实验室）；Research Center for In（研究中心）
本文提出TeFF方法，利用LiDAR时间连续性通过跟踪模型生成伪标签以增强小样本3D语义分割，并引入LoRA缓解灾难性遗忘，在保持基类性能的同时提升对新类别的适应能力。
2024-08-28 cs.CV cs.RO
Fully Convolutional Neural Networks for Raw Eye Tracking Data Segmentation, Generation, and Reconstruction
Eberhard Karls University Tübingen（图宾根埃伯哈德·卡尔斯大学）
在本文中，我们使用完全卷积神经网络的眼动追踪数据的语义分割。我们还使用这些网络进行重建，并结合变分自动编码器来生成眼动数据。我们的方法的第一个改进是不需要输入窗口，因为使用了全卷积网络，因此可以直接处理任何输入大小。第二个改进是所使用和生成的数据是未经预处理的原始眼动追踪数据（位置X、Y和时间）。这是通过预先初始化第一层中的滤波器并沿着z轴构建输入张量来实现的。我们在三个公开的数据集上评估了我们的方法，并将结果与最先进的方法进行了比较。
2021-01-17 cs.CV cs.HC cs.LG
Human Instance Segmentation and Tracking via Data Association and Single-stage Detector
Donghua University（东华大学）
人体视频实例分割在计算机理解人体活动中起着重要作用，广泛应用于视频处理、视频监控、虚拟现实中的人体建模等领域。目前大部分VIS方法都是基于Mask-RCNN框架的，其中用于数据匹配的目标外观和运动信息会增加计算成本并对分割实时性能产生影响;另一方面，现有的VIS数据集较少关注视频中出现的所有人。针对上述问题，本文提出了一种基于单级检测器的人体视频实例分割方法。为了在视频中跟踪实例，我们采用了数据关联策略来匹配视频序列中的同一实例，其中我们以端到端的方式联合学习一对视频帧中的目标实例外观及其亲和力。为了提高实例的嵌入提取能力，我们还采用了质心采样策略，即在实例掩码重叠严重的情况下，将实例位置偏向每个实例掩码的内部。结果，即使角色活动存在突然变化，实例位置也不会移出掩码，从而可以缓解由两个不同实例表示同一实例的问题。最后，我们通过组装多个视频实例分割数据集来收集PVIS数据集，以填补目前缺乏专门用于人类视频分割的数据集的空白。基于这样的数据集进行了广泛的模拟。仿真结果验证了所提出的工作的有效性和效率。
2022-03-31 cs.AI cs.CV
SeekNet: Improved Human Instance Segmentation and Tracking via Reinforcement Learning Based Optimized Robot Relocation
Purdue University（普渡大学）
非模态识别是系统检测被遮挡物体的能力。大多数SOTA视觉识别系统缺乏执行非模态识别的能力。很少有研究通过被动预测或具体识别方法实现非模态识别。然而，这些方法在现实世界的应用中受到挑战，例如动态障碍。我们提出了SeekNet，一种改进的优化方法，通过具体的视觉识别进行非模态识别。此外，我们为社交机器人实施SeekNet，在社交机器人中，与拥挤的行人进行多种交互。我们还证明了我们的算法在其他基线上对遮挡人体检测和跟踪的好处。此外，我们还使用SeekNet建立了一个多机器人环境，以识别和跟踪拥挤地区空气传播疾病的视觉疾病标记。我们在模拟的室内环境中进行实验，结果表明，我们的方法提高了非模态识别任务的整体准确性，并且与基线方法相比，随着时间的推移，检测准确性得到了最大的提高。
2023-03-08 cs.CV cs.RO
A CNN Segmentation-Based Approach to Object Detection and Tracking in Ultrasound Scans with Application to the Vagus Nerve Detection
UC San Diego（加州大学圣地亚哥分校）；General Electric Global Research（通用电气全球研究中心）
超声扫描在一些医疗诊断和治疗应用中是必不可少的。它用于可视化和分析影响治疗计划的解剖特征和结构。然而，它是劳动密集型的，并且其有效性取决于操作者。在扫描的同时实时准确和鲁棒的自动检测和跟踪解剖结构将显著影响诊断和治疗程序的一致性和有效性。在本文中，我们提出了一种深度学习框架，用于自动检测和跟踪超声扫描中的特定解剖目标结构。我们的框架被设计为在受试者和成像设备之间准确和强大，实时操作，并且不需要大型训练集。当在原始训练集大小的20%的训练集上训练时，它保持了高于90%的定位精度和召回率。框架主干是一个基于U-Net的弱训练分割神经网络。我们在两个不同的超声数据集上测试了该框架，目的是检测和跟踪迷走神经，其性能优于当前最先进的实时目标检测网络。
2021-06-25 cs.CV eess.IV
Panoptic nuScenes: A Large-Scale Benchmark for LiDAR Panoptic Segmentation and Tracking
Motional（Motional 公司）；University of Freiburg（弗赖堡大学）
全景场景理解和动态代理的跟踪对于机器人和自动车辆在城市环境中导航是必不可少的。由于LiDAR提供了场景的精确的照明无关几何投影，因此使用LiDAR点云执行这些任务可以提供可靠的预测。然而，现有的数据集缺乏多样性的类型的城市场景，并有数量有限的动态对象的实例，这既阻碍了学习这些任务，以及可靠的基准的开发方法。在本文中，我们介绍了大规模Panoptic nuScenes基准数据集，该数据集扩展了我们流行的nuScenes数据集，具有用于语义分割，全景分割和全景跟踪任务的逐点地面实况注释。为了便于比较，我们为我们建议的数据集上的每个任务提供了几个强大的基线。此外，我们分析了现有的泛光跟踪指标的缺点，并提出了新的实例为中心的PAT指标，解决的问题。我们提出了详尽的实验，证明泛nuScenes的效用相比，现有的数据集，并使在线评估服务器nuScenes.org。我们相信，这种扩展将加速研究的新方法动态城市环境的场景理解。
2021-12-23 cs.AI cs.CV cs.LG
Merging Tasks for Video Panoptic Segmentation
本文研究了视频全景分割的问题，提出了两种不同的方法来解决这个问题。视频全景分割（VPS）是最近引入的计算机视觉任务，其需要对给定视频中的每个像素进行分类和跟踪。这项任务的性质使得它禁止注释数据集的成本。为了理解视频全景分割，首先，将研究先前介绍的分别关注语义和跟踪的组成任务。之后，将选择两种不需要在定制的VPS数据集上训练的数据驱动方法来解决它。第一种方法将展示如何通过将预先训练的语义分割模型和预先训练的多对象跟踪模型的输出进行精确融合来构建用于视频全景分割的模型。如果希望轻松扩展任一模型的功能，则可能需要这样做。第二种方法将克服第一种方法的一些缺点，方法是在具有特定任务头部的共享神经网络主干之上构建。该网络被设计用于全景分割，并且将通过掩模传播模块来扩展以跨时间链接实例掩模，从而产生视频全景分割格式。
2021-07-10 cs.AI cs.CV eess.IV
Lester: rotoscope animation through video object segmentation and tracking
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学（UPC））
本文提出Lester方法，利用SAM和DeAOT进行视频对象分割与跟踪，结合Douglas-Peucker算法简化轮廓，自动生成复古风格2D动画，在时序一致性上优于扩散模型且比3D姿态估计更实用。
2024-02-15 cs.AI cs.CV cs.GR
D3S -- A Discriminative Single Shot Segmentation Tracker
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S，它缩小了视觉对象跟踪和视频对象分割之间的差距。单次网络应用具有互补几何特性的两个目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象以同时实现高鲁棒性和在线目标分割。D3 S没有对每个数据集进行微调，并且只对分割进行训练作为主要输出，在VOT 2016，VOT 2018和GOT-10 k基准测试中表现优于所有跟踪器，并且在TrackingNet上的表现接近最先进的跟踪器。D3 S在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下，同时运行速度更快一个数量级，接近实时。
2020-04-14 cs.CV
On Duality Of Multiple Target Tracking and Segmentation
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
传统上，目标跟踪和分割被视为两个独立的问题，并独立解决。然而，在本文中，我们认为跟踪和分割实际上是密切相关的，解决一个应该帮助另一个。一方面，对象轨迹是一组边界框，每帧中有一个限界框，它将为目标/背景分割任务提供强有力的高级指导。另一方面，对象分割将对象与其他对象和背景分离，这将有助于确定每帧中的轨迹位置。我们提出了一个新的框架，它结合了在线多目标跟踪和视频分割。在我们的方法中，跟踪和分割问题耦合拉格朗日对偶分解，这导致更准确的分割结果，也\emph{helps resolve typical difficulties in multiple target tracking, such as occlusion handling, ID-switch and track drifting}。为了跟踪目标，通过结构化学习为每个目标学习单独的外观模型，并采用网络流从密集采样的候选对象生成轨迹。对于分割，多标签条件随机场（CRF）应用于视频片段中的基于超像素的时空图，以将背景或目标标签分配给每个超像素。不同序列上的实验表明，我们的方法优于国家的最先进的方法，多目标跟踪以及分割。
2016-10-14 cs.CV
