Surveillance Video Parsing with Single Frame Supervision
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Microsoft Research（微软研究院）
监控视频解析，将视频帧分割成若干标签，例如，面、裤、左腿，有着广泛的应用。然而，逐像素地注释所有帧是乏味且低效的。在本文中，我们提出了一种单帧视频解析（SVP）方法，该方法在训练阶段只需要每个视频一个标记帧。为了解析一个特定帧，联合考虑该帧之前的视频片段。SVP（1）粗略地解析视频片段内的帧，（2）估计帧之间的光流，以及（3）融合由光流变形的粗略解析结果以产生精细解析结果。SVP的三个组成部分，即帧解析，光流估计和时间融合集成在一个端到端的方式。在两个监控视频数据集上的实验结果表明了SVP算法的优越性。
2016-11-29 cs.CV
Learning Video Representations from Textual Web Supervision
University of Michigan（密歇根大学）；Google Research（谷歌研究院）；Princeton University（普林斯顿大学）
互联网上的视频与文本片段配对，例如标题和描述。此文本通常描述视频中最重要的内容，例如场景中的对象和正在执行的动作。基于这一观察，我们建议使用文本作为学习视频表示的方法。为了实现这一点，我们提出了一个数据汇集过程，并使用它来收集70 M的视频剪辑在互联网上公开共享，然后我们训练一个模型来配对每个视频与其相关的文本。我们评估了几个下游动作识别任务，包括动力学，HMDB-51和UCF-101的模型。我们发现这种方法是一种有效的预训练视频表示的方法。具体来说，它优于所有现有的自监督和跨模态视频表示学习方法。
2021-08-27 cs.CV
Learning Representations of Endoscopic Videos to Detect Tool Presence Without Supervision
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医学机构）；Laboratory for Computational Sensing and Robotics, The Johns Hopkins University（约翰斯·霍普金斯大学计算感知与机器人实验室）
在这项工作中，我们探讨是否有可能学习内窥镜视频帧的表示来执行任务，例如在没有监督的情况下识别手术工具存在。我们使用最大平均差异（MMD）变分自编码器（VAE）来学习内窥镜视频的低维潜在表示，并操纵这些表示来区分包含工具的帧和不包含工具的帧。我们使用三种不同的方法来操纵这些潜在的表示，以预测工具的存在，在每个帧。我们的完全无监督方法可以识别内窥镜视频帧是否包含工具，平均精度分别为71.56，73.93和76.18，与监督方法相当。我们的代码可在https://github.com/zdavidli/tool-presence/上获得
2020-08-27 cs.CV
VideoSAVi: Self-Aligned Video Language Models without Human Supervision
Arizona State University（亚利桑那州立大学）
提出VideoSAVi自训练流程，通过自我批评机制生成偏好对并应用DPO迭代训练，无需外部监督即显著提升视频语言模型的时空推理能力。
2025-08-09 cs.CV
Learning video embedding space with Natural Language Supervision
本文提出一种两阶段方法，利用预训练CNN提取视频帧特征并结合CLIP模型编码视觉特征与文本，将视频嵌入空间映射至自然语言，在UCF101和HMDB51数据集上达到SOTA。
2023-04-08 cs.CV
Learning Person Re-identification Models from Videos with Weak Supervision
Hunan University（湖南大学）；University of California, Riverside（加州大学河滨分校）
针对行人重识别标注成本高的问题，提出基于视频级弱监督标签的多实例注意力学习框架，利用共同行人注意力机制挖掘视频间相似性关联，在弱标注数据集上表现优异。
2020-07-21 cs.CV
Weak Supervision and Referring Attention for Temporal-Textual Association Learning
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Beihang University（北京航空航天大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
捕捉视频帧和文本查询之间的关联的系统提供了更好的视频分析的巨大潜力。然而，以完全监督的方式训练这样一个系统不可避免地需要一个精心策划的具有时间-文本注释的视频数据集。因此，我们提供了一个弱监督的替代方案，我们提出的参考注意力机制学习时间-文本关联（称为WSRA）。弱监督仅仅是文本表达（例如，短短语或句子），指示该视频包含相关帧。参考注意力是我们设计的机制，作为一个评分功能接地给定的查询帧时间。它包括多个新的损失和采样策略，以更好地训练。我们设计的机制的原理是充分利用1）通过考虑来自与文本查询锚定的视频内片段的信息和区分线索的弱监督，2）与单个视频相比的多个查询，以及3）跨视频视觉相似性。我们通过大量的实验验证了我们的WSRA时间接地的语言，证明它优于最先进的弱监督方法显着。
2020-06-27 cs.CV
Advancing Video-Text Pretraining with Multi-View Captions
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Liège（列日大学）
本文提出一种基于多模态大语言模型的多视角字幕生成框架，通过互补摘要与详细字幕、推理细化及语义正样本生成，提升视频-文本预训练中语言监督的质量，并在多个检索基准上以更小语料实现更优性能。
2026-09-29 cs.CV
MotionSpec: Spectral Trajectory Supervision for Motion-Consistent Video Generation
Cardiff University（卡迪夫大学）；University of Science and Technology of China（中国科学技术大学）；East China Normal University（华东师范大学）
提出MotionSpec框架，通过谱轨迹一致性（STC）和局部流一致性（LFC）监督，提升视频生成中的运动一致性、时间连贯性与合理性，同时保持视觉保真度。
2026-09-24 cs.CV
Knowledge Distillation Using Hierarchical Self-Supervision Augmented Distribution
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
知识蒸馏（KD）是一个有效的框架，旨在将有意义的信息从大的教师转移到小的学生。一般来说，知识共享通常涉及如何定义和转移知识。以前的KD方法通常侧重于挖掘各种形式的知识，例如，特征图和细化信息。然而，知识是从主要的监督任务中获得的，因此具有高度的任务特异性。受最近自我监督表示学习成功的启发，我们提出了一个辅助的自我监督增强任务，以指导网络学习更有意义的特征。因此，我们可以从KD的这个任务中推导出软自监督增广分布作为更丰富的暗知识。与以前的知识不同，这种分布对来自监督和自监督特征学习的联合知识进行编码。除了知识探索，我们建议在各个隐藏层附加几个辅助分支，以充分利用分层特征映射。每个辅助分支被引导学习自我监督增强任务，并提取从教师到学生的分布。总体而言，我们称我们的KD方法为分层自我监督增强知识蒸馏（HSSAKD）。对标准图像分类的实验表明，离线和在线HSSAKD都达到了KD领域最先进的性能。进一步的目标检测迁移实验进一步验证了HSSAKD可以引导网络学习更好的特征。该代码可在https://github.com/winycg/HSAKD上获得。
2022-07-23 cs.CV
Spatio-Temporal Instance Learning: Action Tubes from Class Supervision
University of Amsterdam（阿姆斯特丹大学）
这项工作的目标是在视频中的时空动作定位，只使用视频级类标签的监督。国家的最先进的铸造这种弱监督的动作定位制度作为一个多实例学习问题，其中的实例是先验计算的时空建议。我们提出了时空实例学习，而不是将时空学习与训练断开，它可以直接从视频帧中的框建议中进行动作定位。我们概述了我们的模型的假设，并提出了一个最大利润目标和优化与潜变量，使时空学习的行动，从视频标签。我们还提供了一个有效的链接算法和两个重排序策略，以促进和进一步提高动作定位。四个动作数据集上的实验评估表明，我们的方法的有效性，从弱监督本地化。此外，我们展示了如何将其他监督水平和混合物，作为确定最佳监督策略的行动本地化的一步。
2018-11-21 cs.CV
P3IV: Probabilistic Procedure Planning from Instructional Videos with Weak Supervision
Samsung AI Centre Toronto（三星人工智能中心多伦多）；York University（约克大学）
本文研究了教学视频中的过程规划问题。在这里，智能体必须产生一个合理的动作序列，可以将环境从给定的开始状态转换为期望的目标状态。当从教学视频中学习程序规划时，最近的工作利用中间视觉观察作为监督，这需要昂贵的注释工作来精确地定位培训视频中的所有教学步骤。相比之下，我们删除了昂贵的时间视频注释的需要，并提出了一个弱监督的方法，从自然语言指令学习。我们的模型是基于一个Transformer配备了一个内存模块，它映射的开始和目标的意见，一系列合理的行动。此外，我们用概率生成模块来增强我们的模型，以捕获程序规划所固有的不确定性，这是以前的工作在很大程度上忽略的一个方面。我们在三个数据集上评估了我们的模型，并表明我们的弱监督方法在多个指标上优于以前的完全监督的最先进模型。
2022-05-04 cs.CV
Towards Self-Supervision for Video Identification of Individual Holstein-Friesian Cattle: The Cows2021 Dataset
University of Bristol（布里斯托大学）
在本文中，我们发布了最大的身份注释Holstein-Friesian牛数据集Cows 2021和第一个用于个体动物视频识别的自我监督框架。该数据集包含10，402个带有定位和身份标签的RGB图像以及来自同一牛群的301个视频。数据显示了自上而下的谷仓图像，捕捉到了该品种独特的黑色和白色被毛模式。受构建视觉牛识别系统所涉及的标签负担的启发，我们建议利用视频中的时间皮毛图案外观作为动物身份学习的自我监督信号。使用产生定向边界框的个体不可知的牛检测器，通过检测跟踪形成个体的旋转归一化轨迹，并通过增强来丰富。这会为每个tracklet生成一个“正”样本集，并与从其他视频的随机牛中采样的“负”样本集配对。然后采用框架三元组对比学习来构造度量潜在空间。将高斯混合模型拟合到该空间产生牛身份分类器。结果显示，与地面实况相比，前1名的准确度为57.0%，前4名的准确度为76.9%，调整后的兰德指数为0.53。虽然监督培训超过这个基准的大幅度，我们的结论是，自我监督，但可以发挥非常有效的作用，加快标签的努力，最初建设监督信息。我们提供所有数据和完整的源代码以及对系统的分析和评估。
2021-05-05 cs.CV
TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision
Ant Group（蚂蚁集团）；Copyright Protection Center of China（中国版权保护中心）
在视频检索应用中，视频拷贝定位的目标是精确定位一对未修剪视频中的所有拷贝片段。以往的方法通常从输入视频对的帧级特征之间的余弦相似性生成的帧到帧的相似性矩阵开始，然后在时间约束下在相似性矩阵上检测和细化复制片段的边界。在本文中，我们提出了transVCL：一个注意力增强的视频复制定位网络，它是直接从初始帧级功能优化和训练端到端的三个主要组成部分：一个定制的Transformer的功能增强，相关性和softmax层的相似性矩阵生成，和一个时间对齐模块复制段本地化。与以前的方法要求手工制作的相似性矩阵相比，TransVCL使用自我和交叉注意层将特征序列对之间的长距离时间信息结合起来。通过对三个组件的联合设计和优化，可以学习相似性矩阵以呈现更具鉴别力的复制模式，从而在片段级标记数据集（VCSL和VCDB）上比以前的方法有显着改进。除了在完全监督设置中的最先进的性能外，注意力架构还有助于TransVCL进一步利用未标记或简单的视频级标记数据。补充视频级标记数据集（包括SVD和FIVR）的其他实验表明，TransVCL从全监督到半监督（有或没有视频级注释）具有很高的灵活性。代码可在https://github.com/transvcl/TransVCL上公开获取。
2022-11-24 cs.CV
Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision
Malong LLC（码隆科技有限公司）；University of Oxford（牛津大学）；Heriot-Watt University（赫瑞-瓦特大学）；Imperial College London（帝国理工学院）
在本文中，我们教机器理解视觉和自然语言，通过学习句子和嘈杂的视频片段之间的映射，没有明确的注释。首先，我们定义了一个自监督学习框架，该框架捕获跨模态信息。然后引入一种新的对抗性学习模块来显式地处理自然视频中的噪声，其中字幕句子不能保证与视频片段强对应。为了训练和评估，我们贡献了一个新的数据集“ApartmenTour”，其中包含大量的在线视频和字幕。我们对句子和视频之间的双向检索任务进行了实验，结果表明，我们提出的模型在两个检索任务上都达到了最先进的性能，并且超过了几个强基线。该数据集可以在https://github.com/zyj-13/WAL下载。
2021-01-11 cs.CV
Cross-modal Supervision for Learning Active Speaker Detection in Video
KU Leuven（荷语鲁汶大学）
在本文中，我们展示了如何使用音频来监督视频中主动说话人检测的学习。语音活动检测（VAD）以弱监督的方式指导基于视觉的分类器的学习。分类器使用时空特征来编码与说话相关联的上身运动-面部表情和手势。我们进一步提高了一个通用的主动说话人检测模型，通过学习人的具体模型。最后，我们展示了在一个数据集上学习的通用模型的在线适应，以适应新数据集中以前看不见的人，再次使用音频（VAD）进行弱监督。时间连续性的使用克服了缺乏干净的训练数据。我们是第一个提出主动说话人检测系统的人，该系统在一个视听数据集上学习，并自动适应新数据集中的说话人。这项工作可以被视为一个例子，说明多模态数据的可用性如何使我们能够通过将知识从一种模态转移到另一种模态来学习模型，而无需监督。
2016-03-29 cs.CV
PreViTS: Contrastive Pretraining with Video Tracking Supervision
Columbia University（哥伦比亚大学）；Salesforce Research（Salesforce研究院）
由于对象的自然时间变换的存在，视频是视觉表示的自监督学习（SSL）的丰富来源。然而，目前的方法通常随机采样视频剪辑用于学习，这导致不完美的监督信号。在这项工作中，我们提出了PreViTS，SSL框架，利用无监督的跟踪信号选择包含相同对象的剪辑，这有助于更好地利用对象的时间变换。PreViTS进一步使用跟踪信号来空间约束帧区域，以通过对Grad-CAM注意力图进行监督来学习和训练模型以定位有意义的对象。为了评估我们的方法，我们用PreViTS在VGG-Sound和Kinetics-400数据集上训练动量对比（MoCo）编码器。使用PreViTS进行训练在视频下游任务上优于单独通过对比策略学习的表示，在动作分类上获得最先进的性能。PreViTS有助于学习对背景和上下文变化更鲁棒的特征表示，正如在背景变化的数据集上进行的实验所示。使用PreViTS从大规模视频中学习可以带来更准确和更强大的视觉特征表示。
2022-09-27 cs.CV
What is Point Supervision Worth in Video Instance Segmentation?
University of Maryland, College Park（马里兰大学学院公园分校）；NVIDIA（英伟达公司）；Caltech（加州理工学院）
本文研究视频实例分割中的点监督价值，提出类别无关候选生成与时空点匹配器，仅用每对象一个点标注即接近全监督性能。
2024-04-01 cs.CV
Motion-Based Weak Supervision for Video Parsing with Application to Colonoscopy
Verily Life Sciences（Verily生命科学公司）
我们提出了一个两阶段的无监督的方法来解析视频成阶段。我们使用运动线索将视频分成粗略的片段。然后，噪声段标签用于弱监督基于外观的分类器。我们展示了该方法在结肠镜视频中相位检测的有效性。
2022-10-16 cs.CV cs.LG
Support-Set Based Cross-Supervision for Video Grounding
Xidian University（西安电子科技大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
目前的视频接地方法提出了各种复杂的架构来捕捉视频-文本关系，并取得了令人印象深刻的改进。然而，实际上仅仅通过架构设计是很难理解复杂的多模态关系的。在本文中，我们介绍了一种新的基于支持集的交叉监督（Sscs）模块，它可以在训练阶段改进现有的方法，而无需额外的推理成本。拟议的Sscs模块包含两个主要组件，即，区分性对比目标和生成性标题目标。对比目标旨在通过对比学习来学习有效的表示，而字幕目标可以训练一个强大的文本监督的视频编码器。由于一些视觉实体在地面实况和背景间隔中的共存，即，相互排斥、单纯的对比学习不适合视频接地。我们解决这个问题，通过提高交叉监督与支持集的概念，它收集整个视频的视觉信息，消除实体的互斥。结合原有的目标，SSCS可以增强现有方法的多模态关系建模能力。我们在三个具有挑战性的数据集上广泛地评估了Sscs，并表明我们的方法可以大幅提高当前最先进的方法，特别是在Charades-STA上的R1@0.5方面提高了6.35%。
2021-08-24 cs.CV
Scaling In-Context Segmentation with Hierarchical Supervision
Division of Medical Physics, Department of Radiology, Medical Center – University of Freiburg（医学物理系，放射科，弗赖堡大学医学中心）
本文提出PatchICL框架，通过选择性图像分块与多级监督实现高效上下文学习，提升医学图像分割性能并降低计算开销。
2026-04-22 cs.CV
PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models
KAIST（韩国科学技术院）；Kyungpook National University（庆北国立大学）；Adobe Research（Adobe研究院）
PropFly通过预训练视频扩散模型的实时监督学习，实现基于传播的视频编辑，无需配对数据集，提升编辑质量和一致性。
2026-02-24 cs.CV
Hierarchical Video Frame Sequence Representation with Deep Convolutional Graph Network
Alibaba Group（阿里巴巴集团）
高精度的视频标签预测（分类）模型归因于大规模数据。这些数据可以是由预先训练好的卷积神经网络提取的帧特征序列，从而提高了建模的效率。无监督的解决方案，如特征平均池，作为一个简单的标签无关的无参数的方法，有有限的能力来表示视频。而有监督的方法，如RNN，可以大大提高识别精度。然而，视频长度通常很长，视频中的事件之间存在层次关系，基于RNN的模型的性能下降。提出了一种基于深度卷积图神经网络（DCGN）的视频分类方法。该方法利用视频具有层次结构的特点，通过图网络对视频帧序列进行多级特征提取，得到一种分层反映事件语义的视频表示。我们在YouTube-8 M大规模视频理解数据集上测试了我们的模型，结果优于基于RNN的基准测试。
2019-06-02 cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
递归神经网络在视频描述中的应用最近得到了广泛的关注，因为它们既可以用于对输入视频进行编码，也可以用于生成相应的描述。在本文中，我们提出了一个经常性的视频编码方案，可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同，在这种方法中，视频由递归层连续编码，我们提出了一种新的LSTM单元，它可以识别帧或片段之间的不连续点，并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集：蒙特利尔视频注释数据集，MPII电影描述数据集和微软视频描述语料库。实验表明，我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
Track and Transfer: Watching Videos to Simulate Strong Human Supervision for Weakly-Supervised Object Detection
University of California, Davis（加州大学戴维斯分校）
训练对象检测器的现状方法需要昂贵的限界框注释。我们的框架采取了一个明显不同的方向：我们将跟踪的对象框从弱标记视频转移到弱标记图像，以自动生成伪地面实况框，取代手动注释的边界框。我们首先在弱标记图像集合中挖掘经常/很少出现在正/负像中的区分区域。然后，我们将这些区域与视频进行匹配，并检索相应的跟踪对象框。最后，我们设计了一个霍夫变换算法来投票选出最好的盒子作为每个图像的伪GT，并使用它们来训练目标检测器。总之，这些导致了PASCAL 2007和2010数据集上最先进的弱监督检测结果。
2016-04-19 cs.CV
A flexible model for training action localization with varying levels of supervision
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
视频中的时空动作检测通常在完全监督的设置中解决，每个帧都需要对训练视频进行手动注释。由于这样的注释非常繁琐，并且限制了可伸缩性，因此显然需要最大限度地减少手动监督的数量。在这项工作中，我们提出了一个统一的框架，可以处理和结合不同类型的要求不高的弱监督。我们的模型是基于判别聚类，并集成了不同类型的监督约束的优化。我们研究了这样一个模型的应用，以训练设置与替代监督信号，从视频级类标签的动作边界框的完整的每帧注释。在具有挑战性的UCF 101 -24和DALY数据集上的实验表明，我们的方法在以前方法所使用的监督的一部分上具有竞争力的性能。我们的模型的灵活性使得能够从具有不同注释级别的数据中联合学习。实验结果表明，通过添加一些完全监督的例子，否则弱标记的视频显着增益。
2018-11-27 cs.CV
BoxMask: Revisiting Bounding Box Supervision for Video Object Detection
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的，简单而有效的方法来提升视频目标检测。我们观察到，以前的作品上的实例级的功能聚合，立即忽略了细化像素级的表示，导致共享相似的外观或运动特性的对象之间的混乱。为了解决这一限制，我们提出了BoxMask，它通过结合类感知的像素级信息来有效地学习判别表示。我们简单地考虑限界框级注释作为每个对象的粗略掩码来监督我们的方法。所提出的模块可以毫不费力地集成到任何基于区域的检测器中，以提高检测能力。在ImageNet VID和EPIC KITCHENS数据集上进行的大量实验表明，当我们将BoxMask模块插入到许多最新的最先进的方法中时，性能得到了一致和显著的改善。
2022-10-12 cs.CV
Free Lunch for Surgical Video Understanding by Distilling Self-Supervisions
The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong University of Science and Technology Shenzhen Research Institute（香港科技大学深圳研究院）
自监督学习在视觉和自然语言处理方面取得了巨大的进展，最近，它也引起了人们对各种医学成像模式，如X射线，CT和MRI的关注。现有的方法主要集中在根据医学图像的特点，建立新的借口自我监督任务，如重建，方向和掩蔽识别。然而，公开的自我监督模型没有得到充分利用。在本文中，我们提出了一个强大而有效的自我监督框架的手术视频理解。我们的关键见解是从在大型通用机器人4上训练的公开可用模型中提取知识，以促进手术视频的自监督学习。为此，我们首先引入一个语义保持训练方案来获得我们的教师模型，该模型不仅包含来自公开可用模型的语义，而且可以为手术数据生成准确的知识。除了仅使用对比学习进行训练外，我们还引入了一个蒸馏目标，将教师模型中丰富的学习信息转移到手术数据的自监督学习中。两个手术阶段识别基准的广泛实验表明，我们的框架可以显着提高现有的自监督学习方法的性能。值得注意的是，我们的框架在低数据制度下表现出令人信服的优势。我们的代码可在https://github.com/xmed-lab/DistillingSelf上获得。
2022-09-26 cs.CV
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University（斯坦福大学）
实例分割是计算机视觉中的一个活跃话题，通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外，在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法，可以执行无监督发现的长尾类别的实例分割，通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构，我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练，没有对长尾对象进行额外的注释，我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明，该模型实现了竞争力的定量结果LVIS相比，监督和部分监督的方法。
2021-04-02 cs.CV
Hierarchical Video Generation for Complex Data
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）
视频通常可以通过首先概述场景的全局描述，然后添加局部细节来创建。受此启发，我们提出了一个分层模型的视频生成，它遵循一个粗到细的方法。首先，我们的模型生成一个低分辨率的视频，建立全局场景结构，然后通过层次结构中的后续级别进行细化。我们在视频的部分视图上按顺序对层次结构中的每个级别进行训练。这降低了我们的生成模型的计算复杂性，生成模型可以扩展到超过几帧的高分辨率视频。我们在Kinetics-600和BDD 100 K上验证了我们的方法，为此我们训练了一个三级模型，能够生成48帧的256 x256视频。
2021-06-04 cs.CV
Frame-Subtitle Self-Supervision for Multi-Modal Video Question Answering
Zhejiang University（浙江大学）
多模态视频问答的目标是预测正确答案并定位与问题相关的时间边界。问题的时间注释提高了QA性能和最近的作品的可解释性，但它们通常是经验性的和昂贵的。为了避免时间注释，我们设计了一个弱监督问题接地（WSQG）设置，其中只使用QA注释，并根据时间注意力分数生成相关的时间边界。为了替代时间标注，我们将帧和字幕之间的对应关系转换为帧-字幕（FS）自监督，这有助于优化时间注意分数，从而提高VideoQA模型中的视频-语言理解。在TVQA和TVQA+数据集上的大量实验表明，所提出的WSQG策略在问题基础上获得了相当的性能，而FS自我监督有助于提高仅QA监督和完全监督设置下的问答和基础性能。
2022-09-08 cs.CV cs.MM
RT-DETRv3: Real-time End-to-End Object Detection with Hierarchical Dense Positive Supervision
Baidu Inc（百度公司）
RT-DETRv3通过引入CNN辅助分支、自注意力扰动策略和共享权重解码器分支，提供分层密集正监督，有效解决了RT-DETR因稀疏监督导致的训练不充分问题，显著提升了实时目标检测性能。
2024-12-19 cs.CV
ACD: Direct Conditional Control for Video Diffusion Models via Attention Supervision
Sun Yat-sen University（中山大学）；Yonsei University（延世大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室）；X-Era AI Lab（X-Era人工智能实验室）
ACD通过注意力监督实现视频扩散模型的直接条件控制，引入稀疏3D-aware对象布局和专用布局控制网络，提升视频生成的可控性和一致性。
2025-12-24 cs.CV
Learning Transferable Self-attentive Representations for Action Recognition in Untrimmed Videos with Weak Supervision
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Youedata Co., Ltd.（优数数据有限公司）；University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology Beijing（北京科技大学）
视频中的动作识别在过去十年中吸引了很多关注。为了学习鲁棒的模型，以前的方法通常假设视频被修剪为短序列，并且需要每个视频帧/序列的地面实况注释，这是非常昂贵和耗时的。在本文中，只给出视频级注释，我们提出了一种新的弱监督框架，同时定位动作帧，以及识别未修剪视频中的动作。我们提出的框架包括两个主要组成部分。首先，对于动作帧定位，利用自注意力机制对每一帧进行加权，从而有效地消除背景帧的影响。其次，考虑到有修剪的视频公开提供，他们也包含有用的信息来利用，我们提出了一个额外的模块来转移知识修剪的视频，以提高分类性能在未修剪的。在两个基准数据集上进行了广泛的实验（即，THUMOS 14和ActivityNet 1.3），实验结果清楚地证实了我们的方法的有效性。
2019-02-20 cs.CV
Video-based Hierarchical Species Classification for Longline Fishing Monitoring
University of Washington（华盛顿大学）；National Oceanic and Atmospheric Administration（美国国家海洋和大气管理局）；Pacific States Marine Fisheries Commission（太平洋各州海洋渔业委员会）
延绳钓捕捞电子监测的目的是监测渔船的捕鱼活动，无论是为了遵守法规还是为了计算渔获量。基于视频的层次分类允许廉价和有效的鱼种识别的渔获物从延绳钓捕捞，鱼类在捕捞过程中受到严重的变形和自我封闭。更重要的是，分层分类的灵活性通过提供不同层次的置信度得分来减轻人工审查的费力工作。一些相关的工作或者使用级联模型进行分层分类，或者对每个图像进行预测，或者预先预测数据集的一个重叠的分层数据结构。然而，与渔业科学家提供的一个已知的非重叠的分层数据结构，我们的方法强制执行的分层数据结构，并介绍了一个有效的培训和推理策略，基于视频的渔业数据。我们的实验表明，所提出的方法优于经典的平面分类系统显着和我们的消融研究证明我们的贡献在CNN模型设计，训练策略，和基于视频的推理方案的分层鱼类物种分类任务。
2021-02-06 cs.CV
Video Joint Modelling Based on Hierarchical Transformer for Co-summarization
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
视频摘要旨在自动生成视频摘要（故事板或视频略读），以便于大规模视频检索和浏览。现有的视频摘要方法大多是对单个视频进行摘要，忽略了相似视频之间的相关性。然而，这样的相关性对于视频理解和视频摘要也是有用的。为了解决这个问题，我们提出了基于分层Transformer的视频联合建模（VJMHT）的共同摘要，它考虑到视频之间的语义依赖关系。具体而言，VJMHT由两层Transformer组成：第一层从相似视频的单个镜头中提取语义表示，而第二层执行镜头级视频联合建模以聚合跨视频语义信息。通过这种方式，完整的跨视频高级模式被显式地建模和学习，用于单个视频的摘要。此外，基于transformer的视频表示重建，以最大限度地提高摘要和原始视频之间的高层次相似性。大量的实验进行了验证所提出的模块的有效性和VJMHT的F-措施和基于等级的评价方面的优越性。
2022-06-29 cs.CV
From Dense Prediction to Visual Editing: Structured Supervision for Unified Image and Video Creation
The Hong Kong University of Science and Technology（香港科技大学）；Celia Research HK；City University of Hong Kong（香港城市大学）
该研究提出基于深度与表面法向量预测的结构化视觉监督框架，共享MMDiT主干实现统一图像视频创作，提升了相关基准任务分数，证明密集监督对下游创作的结构知识迁移价值。
2026-08-25 cs.CV
Explicit Layer Modeling for Video Object Insertion and Video Layer Decomposition
POSTECH（浦项科技大学）
研究针对视频编辑系统缺乏显式分层表示的问题，提出TriLayer数据集及DBL-Diffusion框架，用于视频对象插入和层分解任务，显著提升了插入保真度和分解质量。
2026-09-29 cs.CV
HiCM$^2$: Hierarchical Compact Memory Modeling for Dense Video Captioning
Kyung Hee University（庆熙大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））
针对密集视频描述任务，提出受人类认知启发的层次化紧凑记忆模型，通过记忆事件聚类与大语言模型总结构建高效层次化记忆及读取模块，在YouCook2和ViTT数据集上达到最先进性能。
2024-12-19 cs.CV
Image to Video Domain Adaptation Using Web Supervision
Microsoft Cognition（微软认知）
训练深度神经网络通常需要大量的标记数据，对于特定的目标域，获得这些标记数据可能是稀缺的或昂贵的。作为替代方案，我们可以利用相对丰富但可能包含噪声结果的网络监督数据（即来自公共搜索引擎的结果）。在这项工作中，我们提出了一种新的两阶段的方法来学习视频分类器使用webly监督的数据。我们认为，学习外观特征，然后依次时间特征，而不是同时，是一个更容易优化这项任务。我们通过首先从网络图像中学习图像模型来展示这一点，该图像模型用于初始化和训练视频模型。我们的模型应用领域自适应来解释源域（网络监督数据）和目标域之间存在的潜在域偏移，并通过添加新的注意力分量来解释噪声。我们报告的结果与UCF-101上最先进的网络监督方法具有竞争力（同时简化了训练过程），并对Kinetics进行了评估以进行比较。
2019-08-05 cs.CV
Enhancing Localized Reasoning for Long Video Understanding via Efficient Segment-to-Video Supervision
Ant Group（蚂蚁集团）
针对长视频理解中MLLMs易受干扰噪声影响的问题，提出S2V方法，通过段级VQA训练模型，提升了LVU性能与训练推理效率。
2026-08-24 cs.CV
Hierarchical Supervision and Shuffle Data Augmentation for 3D Semi-Supervised Object Detection
Chongqing Key Laboratory of Signal and Information Processing（重庆市信号与信息处理重点实验室）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
提出HSSDA框架，通过动态双阈值分层监督和混洗数据增强解决3D半监督目标检测中单一阈值导致的监督混乱和点云增强不足问题，显著提升检测性能。
2023-04-04 cs.CV
Cross-Modal and Hierarchical Modeling of Video and Text
U. of Southern California（南加州大学）；Netflix（网飞）
视觉数据和文本数据是由多粒度的信息组成的。视频可以描述由多个片段或镜头组成的复杂场景，其中每个片段或镜头描述语义上连贯的事件或动作。同样，一个段落可能包含不同主题的句子，这些句子共同传达了一个连贯的信息或故事。在本文中，我们调查的建模技术，这样的层次顺序数据，其中有多个模态之间的对应关系。具体来说，我们引入层次序列嵌入（HSE），一个通用的模型，用于将不同模态的序列数据嵌入到层次语义空间中，具有显式或隐式的对应信息。我们对大规模的视频和段落检索数据集进行了实证研究，并证明了所提出的方法的优越性能。此外，我们研究了我们学到的嵌入应用于下游任务时的有效性。我们展示了它在zero-shot动作识别和视频描述中的实用性。
2018-10-16 cs.CV
Learning Question-Aware Keyframe Selection with Synthetic Supervision for Video Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出一种问题感知的关键帧选择框架，通过伪关键帧标签和覆盖正则化提升视频问答的准确率，尤其在时间与因果问题上表现突出。
2026-03-16 cs.AI cs.CV
Hierarchical Deep Co-segmentation of Primary Objects in Aerial Videos
Beihang University（北京航空航天大学）；Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
主要目标分割在无人机视频理解中起着重要作用。在本文中，我们提出了一个大规模的数据集与500个空中视频和手动注释的主要对象。据我们所知，它是迄今为止用于航空视频中主要对象分割的最大数据集。从这个数据集中，我们发现大多数航拍视频包含大规模的场景，小的主要对象以及一致变化的尺度和视角。受此启发，我们提出了一种分层深度共分割方法，该方法将视频重复划分为分别由奇数帧和偶数帧形成的两个子视频。通过这种方式，子视频共享的主要对象可以通过训练双流CNN来共同分割，并最终在邻域可逆流内进行细化。实验结果表明，我们的方法显着优于17个国家的最先进的方法在分割主要对象在各种类型的航空视频。
2018-11-05 cs.CV
Cyclical Self-Supervision for Semi-Supervised Ejection Fraction Prediction from Echocardiogram Videos
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology Shenzhen Research Institute（香港科技大学深圳研究院）
左心室射血分数（LVEF）是心力衰竭的重要指标。用于从视频估计LVEF的现有方法需要大量注释数据来实现高性能，例如，使用10，030个标记的超声心动图视频来实现4.10的平均绝对误差（MAE）。然而，标记这些视频是耗时的，并且限制了其他心脏病的潜在下游应用。本文提出了第一个半监督的方法来预测LVEF。与一般视频预测任务不同，LVEF预测与超声心动图视频中左心室（LV）的变化特别相关。通过将从预测LV分割中学到的知识整合到LVEF回归中，我们可以为模型提供额外的背景，以实现更好的预测。为此，我们提出了一种新的周期性自我监督（CSS）方法学习基于视频的LV分割，这是出于观察，心跳是一个周期性的过程与时间重复。然后，我们的分割模型的预测掩码可以用作LVEF回归的额外输入，以提供LV区域的空间背景。我们还引入了师生蒸馏，将LV分割掩模中的信息提取到仅需要视频输入的端到端LVEF回归模型中。结果表明，我们的方法优于其他半监督方法，并且可以实现4.17的MAE，这与最先进的监督性能具有竞争力，使用一半的标签数量。在外部数据集上的验证也表明使用我们的方法提高了泛化能力。我们的代码可在https://github.com/xmed-lab/CSS-SemiVideo上获得。
2022-12-16 cs.CV
Learning To Recognize Procedural Activities with Distant Supervision
Columbia University（哥伦比亚大学）；Facebook AI Research（脸书人工智能研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth（达特茅斯学院）
在本文中，我们考虑分类细粒度的多步骤活动（例如，烹饪不同的食谱，进行不同的家居装修，创造各种形式的艺术和手工艺品）从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤，还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同，传统的动作分类模型通常是在视频上优化的，这些视频只有几秒钟的时间，并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤，但由于在长视频中手动注释时间边界的成本过高，该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题，我们建议自动识别教学视频中的步骤，利用远程监督的文本知识库（wikiHow），其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的，自动转录的语音从视频中的知识库中的步骤描述。我们证明，经过训练以识别这些自动标记的步骤（无需人工监督）的视频模型产生了一种表示，该表示在四个下游任务上实现了卓越的泛化性能：程序活动识别，步骤分类，步骤预测和以自我为中心的视频分类。
2022-06-16 cs.CV
Language-guided Open-world Video Anomaly Detection under Weak Supervision
State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室）；Communication University of China（传媒大学）
LaGoVAD通过弱监督和语言引导实现开放世界视频异常检测，利用动态视频合成和对比学习提升模型适应性，结合大规模PreVAD数据集实现SOTA性能。
2026-03-03 cs.CV
Late-decoupled 3D Hierarchical Semantic Segmentation with Semantic Prototype Discrimination based Bi-branch Supervision
School of Computing and AI, Southwest Jiaotong University, Chengdu, China（计算机与人工智能学院，西南交通大学，成都，中国）；Singapore University of Technology and Design, Singapore（新加坡科技设计大学，新加坡）
本文提出了一种迟解耦的3D层次语义分割框架，结合基于语义原型的双分支监督机制，以解决多层次冲突和类别不平衡问题，实现更准确的3D场景分割。
2025-11-20 cs.CV
MOFO: MOtion FOcused Self-Supervision for Video Understanding
University of Surrey（萨里大学）
本文提出MOFO方法，通过自动检测视频运动区域并引导掩码自编码器的掩蔽策略，同时在微调阶段融入运动信息，显著提升了VideoMAE在多个动作识别基准上的准确率。
2023-11-01 cs.CV
HierVL: Learning Hierarchical Video-Language Embeddings
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta AI（Meta人工智能基础研究实验室）
针对现有视频-语言嵌入仅捕捉短期关联的问题，提出分层嵌入方法HierVL，通过分层对比训练实现长短层级的文本-视觉对齐，在相关任务上取得SOTA结果并可迁移到多个下游任务。
2023-06-08 cs.CV
Geometric Reciprocity: Unlocking Self-Supervision for Stereoscopic Video Generation
Visual AI Lab, The University of Hong Kong, Hong Kong, China（香港大学视觉人工智能实验室）
针对单目转立体任务中立体修复依赖稀缺标注数据的问题，提出几何互易性定理，构建自监督框架，从海量单目视频学习，性能远超现有无监督、监督SOTA方法。
2026-07-07 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
HAVANA: Hierarchical stochastic neighbor embedding for Accelerated Video ANnotAtions
Delft University of Technology（代尔夫特理工大学）
针对视频标注耗时的问题，提出基于HSNE的HAVANA标注流水线，通过多尺度特征表示加速标注，实现10倍以上点击量 reduction，验证了有效性并探究了最优参数配置。
2024-09-16 cs.CV
