AutoQ-VIS: Improving Unsupervised Video Instance Segmentation via Automatic Quality Assessment
Technical University of Denmark（技术大学）
AutoQ-VIS提出质量引导自训练闭环框架，通过自动质量评估弥合合成到真实域差距，在YouTubeVIS-2019上以52.6 AP50超越VideoCutLER 4.4%，实现无监督视频实例分割新SOTA。
2025-08-27 cs.CV
Design Pseudo Ground Truth with Motion Cue for Unsupervised Video Object Segmentation
University of Southern California（南加州大学）；National Taiwan University（国立台湾大学）
视频对象分割中的一个主要技术缺陷是为训练实例标记对象掩码。因此，我们建议准备廉价的，但高质量的伪真值校正与运动提示的视频对象分割训练。我们的方法进行语义分割使用实例分割网络，然后，选择感兴趣的分割对象作为伪真值的基础上的运动信息。然后，利用伪真值来微调预训练的对象网络，以促进视频的剩余帧中的对象分割。我们表明，伪真值可以有效地提高分割性能。这种简单的无监督视频对象分割方法比现有的方法更有效。DAVIS和FBMS上的实验结果表明，该方法优于国家的最先进的无监督分割方法在各种基准数据集。与类别无关的伪真值具有很大的潜力，可以扩展到多个任意目标跟踪。
2018-12-13 cs.CV
Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
University of Oxford（牛津大学）
通过光流测量的运动为发现和学习图像和视频中的对象提供了强大的线索。然而，与使用外观相比，它有一些盲点，例如物体如果不移动就会变得不可见。在这项工作中，我们提出了一种方法，结合了基于运动和基于外观的分割的优势。我们建议监督图像分割网络的借口任务预测区域可能包含简单的运动模式，从而可能对应于对象。由于该模型仅使用单个图像作为输入，因此我们可以将其应用于两种设置：无监督视频分割和无监督图像分割。我们实现了国家的最先进的视频结果，并证明了我们的方法的可行性，包含新的对象的静态图像。此外，我们用不同的运动模型和光流骨干进行实验，发现该方法对这些变化具有鲁棒性。项目页面和代码可在https://www.robots.ox.ac.uk/~vgg/research/gwm获得。
2022-10-13 cs.CV
Unsupervised Video Object Segmentation with Distractor-Aware Online Adaptation
University of Southern California（南加州大学）；Google AI Perception（谷歌人工智能感知部）；Facebook（脸书）；National Taiwan University（国立台湾大学）
无监督视频对象分割是视频分析中的一个重要应用，它不需要知道关于对象的任何先验信息。当多个对象出现并在给定的视频剪辑中交互时，它变得非常具有挑战性。本文提出了一种新的无监督的视频对象分割方法，通过干扰感知在线自适应（DOA）。DOA通过捕获相邻帧的背景相关性来对视频序列中的时空一致性进行建模。实例建议由实例分割网络为每个帧生成，然后由运动信息选择为硬底片（如果它们存在）和正片。为了采用高质量的硬底片，然后将块匹配算法应用于先前帧以跟踪相关联的硬底片。一般否定也被引入的情况下，有没有硬否定的序列和实验证明这两种否定（干扰）是互补的。最后，我们使用正、负和硬负掩模进行DOA来更新前景/背景分割。所提出的方法在两个基准数据集DAVIS 2016和FBMS-59数据集上实现了最先进的结果。
2018-12-19 cs.CV
UVOSAM: A Mask-free Paradigm for Unsupervised Video Object Segmentation via Segment Anything Model
提出UVOSAM，一种基于SAM和STD-Net跟踪器的无掩膜无监督视频目标分割范式，通过时空解耦可变形注意力提升框提示质量，在多个数据集上超越掩膜监督方法。
2025-07-08 cs.CV
UVIS: Unsupervised Video Instance Segmentation
University of Maryland, College Park（马里兰大学帕克分校）；Meta；University of Central Florida（中佛罗里达大学）
提出无监督视频实例分割框架 UVIS，结合 DINO 的密集形状先验与 CLIP 的开集识别能力，通过伪标签、transformer 训练、查询跟踪及双内存机制，在无视频标注下取得 21.1 AP。
2024-06-11 cs.CV
VideoCutLER: Surprisingly Simple Unsupervised Video Instance Segmentation
UC Berkeley（加州大学伯克利分校）；Meta AI
针对现有无监督视频实例分割依赖运动估计、难跟踪微小/发散运动的问题，提出VideoCutLER，用高质量伪掩码和简单视频合成训练，在YouTubeVIS-2019上取得SOTA无监督结果，还可作为强预训练模型提升监督任务性能。
2023-08-28 cs.AI cs.CV cs.LG
Benchmarking Unsupervised Anomaly Detection and Localization
University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
无监督异常检测与定位作为计算机视觉中最具实用性和挑战性的问题之一，近年来受到了广泛的关注。从MVTec AD数据集提出到现在，不断提出的新研究方法将其精度推向饱和。现在是时候对现有的方法进行全面的比较，以启发进一步的研究。本文广泛比较了13篇论文在无监督异常检测和定位任务方面的性能，并增加了以前被社区忽视的推理效率的比较。同时，对MVTec AD数据集进行了分析，特别是影响模型的标签歧义未能达到满分。此外，考虑到新的MVTec 3D-AD数据集的建议，本文还使用现有的最先进的2D方法在这个新的数据集上进行了实验，并报告了相应的结果与分析。
2022-05-30 cs.CV
Unsupervised Action Segmentation for Instructional Videos
Google（谷歌）；Google Research（谷歌研究院）
在本文中，我们解决的问题，自动发现原子动作在无监督的方式从教学视频，这是很少与原子动作注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务，从各种教学视频的基础上顺序随机自回归模型的时间分割的视频。它学习表示和发现任务的不同原子动作之间的顺序关系，并提供自动和无监督的自标记。
2021-06-07 cs.CV
Unsupervised Discovery of Actions in Instructional Videos
Robotics at Google（谷歌机器人部门）；Google Research（谷歌研究院）
在本文中，我们解决的问题，自动发现原子的行动在无监督的方式从教学视频。教学视频包含复杂的活动，是智能代理的丰富信息源，例如，自主机器人或虚拟助手，它们可以自动“读取”教学视频中的步骤并执行它们。然而，视频很少用原子活动、它们的边界或持续时间来注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务，从各种教学视频。我们提出了一个序列随机自回归模型的时间分割的视频，学习表示和发现的顺序关系的任务的不同原子动作，并提供自动和无监督的自标记的视频。我们的方法优于最先进的无监督方法，具有很大的利润率。我们将开放源代码。
2021-06-28 cs.CV
Beyond Supervised vs. Unsupervised: Representative Benchmarking and Analysis of Image Representation Learning
University of Maryland, College Park（马里兰大学帕克分校）
通过利用对比学习、聚类和其他借口任务，用于学习图像表示的无监督方法在标准基准测试中取得了令人印象深刻的结果。结果是一个拥挤的领域-许多具有实质性不同实现的方法在流行的基准测试中产生的结果似乎几乎相同，例如ImageNet上的线性评估。然而，一个单一的结果并不能说明整个故事。在本文中，我们比较方法使用基于性能的基准，如线性评估，最近邻分类，聚类几个不同的数据集，证明缺乏一个明确的领跑者在当前的最先进的。在以前的工作，只进行监督与无监督比较，我们比较几个不同的无监督方法对彼此。为了丰富这种比较，我们分析嵌入的测量，如均匀性，公差，和中心内核对齐（CKA），并提出了我们自己的两个新的指标：最近邻图相似性和线性预测重叠。通过我们的分析，我们发现，在孤立的情况下，单一的流行方法不应该被视为好像他们代表了整个领域，未来的工作应该考虑如何利用这些方法的互补性。我们还利用CKA提供了一个框架来稳健地量化增强不变性，并提醒人们某些类型的不变性对于下游任务来说是不可取的。
2022-06-16 cs.CV
Unsupervised Video-to-Video Translation
Boston University（波士顿大学）
无监督图像到图像翻译是最近提出的一项任务，在训练时仅给出未配对的图像示例，将图像翻译为不同的风格或域。在本文中，我们制定了一个新的任务，无监督的视频到视频翻译，这带来了自己独特的挑战。翻译视频意味着不仅要学习对象和场景的外观，还要学习连续帧之间的真实运动和过渡。我们研究了使用现有图像到图像翻译网络进行每帧视频到视频翻译的性能，并提出了一种时空3D翻译器作为解决这个问题的替代方案。我们在多个合成数据集上评估了我们的3D方法，例如移动彩色数字，以及现实的分割到视频GTA数据集和新的CT到MRI体积图像转换数据集。我们的研究结果表明，逐帧翻译在单帧水平上产生逼真的结果，但与我们的三维翻译方法相比，在整个视频的规模上表现明显不佳，三维翻译方法能够更好地学习视频的复杂结构和对象外观的运动和连续性。
2018-06-10 cs.CV
MJ-VIDEO: Fine-Grained Benchmarking and Rewarding Video Preferences in Video Generation
University of Oxford（牛津大学）；Stanford University（斯坦福大学）
本文提出MJ-BENCH-VIDEO基准和基于MoE的MJ-VIDEO奖励模型，通过28个细粒度准则评估视频偏好，并在整体与细粒度判断上分别提升17.58%和15.87%。
2025-02-07 cs.CV
Masked Autoencoder for Unsupervised Video Summarization
NAVER Cloud（NAVER 云）；KAIST（韩国科学技术院）
本文提出一种用于无监督视频摘要的自监督掩码自编码器，直接利用解码器重建分数评估帧重要性，无需额外下游架构或微调，并在多个基准上验证有效性。
2023-06-02 cs.CV
Unsupervised Object-Level Video Summarization with Online Motion Auto-Encoder
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）；Xidian University（西安电子科技大学）
无监督视频摘要在消化、浏览和搜索每天不断增长的视频方面发挥着重要作用，并且底层的细粒度语义和运动信息（即，感兴趣的对象及其关键动作）在在线视频中几乎没有被触及。在本文中，我们探讨了一个先驱的研究方向，对细粒度的无监督对象级视频摘要。它可以从两个方面区别于现有的管道：提取参与对象的关键运动，并以无监督和在线的方式学习总结。为了实现这一目标，我们提出了一种新的在线运动自动编码器（在线运动AE）的框架上的超分割对象运动剪辑的功能。在新收集的监控数据集和公共数据集上的综合实验证明了该方法的有效性。
2018-08-11 cs.CV
Benchmarking Vision-Language Models on Optical Character Recognition in Dynamic Video Environments
VideoDB
本文提出动态视频环境OCR任务的开源基准，含1477个多领域标注帧，对比3个先进VLMs与传统OCR系统，分析其优劣势并公开资源以推动相关研究。
2025-02-10 cs.CV
Unsupervised Open-Vocabulary Object Localization in Videos
Fudan University（复旦大学）；Amazon Web Services（亚马逊网络服务）；National University of Singapore（新加坡国立大学）
本文利用视频表示学习和预训练视觉-语言模型，提出一种结合槽注意力与CLIP的无监督视频目标定位方法，首次在常规基准上取得良好结果。
2024-06-26 cs.CV
Instance Embedding Transfer to Unsupervised Video Object Segmentation
University of Southern California（南加州大学）；Google Inc.（谷歌公司）
我们提出了一种通过传输基于图像的实例嵌入网络中封装的知识来进行无监督视频对象分割的方法。实例嵌入网络为每个像素生成嵌入向量，该嵌入向量能够识别属于同一对象的所有像素。虽然是在静态图像上训练的，但实例嵌入在连续的视频帧上是稳定的，这允许我们随着时间的推移将对象链接在一起。因此，我们将在静态图像上训练的实例网络适应于视频对象分割，并将具有对象和光流特征的嵌入结合起来，而无需模型重新训练或在线微调。该方法在DAVIS数据集和FBMS数据集中的性能优于最先进的无监督分割方法。
2018-02-27 cs.CV
Unsupervised Incremental Learning of Deep Descriptors From Video Streams
MICC -- University of Florence（MICC——佛罗伦萨大学）
我们提出了一种新的无监督的方法从视频序列的人脸身份学习。该方法利用ResNet深度网络进行人脸检测和VGGface fc7人脸描述符，以及利用视频流中视觉数据的时间一致性的智能学习机制。我们提出了一种新的特征匹配解决方案的基础上反向最近邻和特征遗忘策略，支持增量学习与内存大小控制，而时间的推移。结果表明，所提出的学习过程是渐近稳定的，可以有效地应用于相关的应用，如多人脸跟踪。
2017-08-11 cs.CV
Unsupervised learning from video to detect foreground objects in single images
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
从视觉数据中进行无监督学习是计算机视觉中最困难的挑战之一，是理解视觉识别如何工作的基本任务。从实践的角度来看，从无监督的视觉输入中学习具有巨大的实用价值，因为可以以低成本收集大量未标记的视频。在本文中，我们解决的任务无监督学习检测和分割前景物体在单一的图像。我们通过训练由深度神经网络组成的学生路径来实现我们的目标。它学习从单个输入图像（视频帧）预测该特定帧的输出，教师路径在视频中执行无监督对象发现。我们的方法是不同的，从已发表的文献中进行无监督的发现在视频或图像的集合在测试时。我们在训练阶段移动无监督发现阶段，而在测试时，我们沿着学生路径应用标准前馈处理。这有双重好处：首先，它原则上允许在训练期间无限的学习和推广可能性，同时在测试时保持非常快。其次，学生不仅能够在单个图像中检测到比无监督视频发现教师更好的效果，而且还在两个重要的当前基准测试（YouTube Objects和Object Discovery数据集）上取得了最先进的结果。此外，在测试时，我们的系统至少比以前的其他方法快两个数量级。
2017-03-31 cs.CV
Unsupervised Semantic Parsing of Video Collections
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Brain of Things Inc.（Brain of Things公司）
人类交流通常有一个基本结构。这反映在以下事实中：在许多用户生成的视频中，可以识别起点、终点和这两者之间的某些客观步骤。在本文中，我们提出了一种方法来解析视频到这样的语义步骤，在无监督的方式。所提出的方法是能够提供一个语义的“故事情节”的视频组成的目标步骤。我们在一个联合生成模型中使用视觉和语言线索来实现这一点。所提出的方法还可以为所识别的语义步骤和视频片段中的每一个提供文本描述。我们在大量复杂的YouTube视频上评估了这种方法，并为这个复杂而有影响力的问题展示了前所未有的质量结果。
2016-01-27 cs.CV
Unsupervised Visual-Linguistic Reference Resolution in Instructional Videos
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
我们提出了一种用于教学视频中的参考分辨率的无监督方法，其中目标是在时间上链接实体（例如，“穿衣”）到动作（例如，“混合酸奶”）。关键的挑战是视频中实体的视觉外观和指称表达的变化不可避免地产生视觉语言模糊性。我们的目标是在没有监督的情况下解决引用，这一事实加剧了这一挑战。我们通过学习联合视觉语言模型来解决这些挑战，其中语言线索可以帮助解决视觉歧义，反之亦然。我们通过使用YouTube上的2000多个非结构化烹饪视频无监督地学习我们的模型来验证我们的方法，并表明我们的视觉语言模型可以大大提高教学视频中最先进的语言模型的参考分辨率。
2017-05-20 cs.CV
Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Queen Mary University of London（伦敦玛丽女王大学）
视频摘要旨在通过生成简短、简洁的摘要来促进大规模视频浏览，这些摘要是多样化的，并且具有原始视频的代表性。在本文中，我们将视频摘要制定为一个顺序决策过程，并开发了一个深度摘要网络（DSN）来总结视频。DSN为每个视频帧预测一个概率，该概率指示帧被选择的可能性，然后根据概率分布采取措施来选择帧，形成视频摘要。为了训练我们的DSN，我们提出了一个端到端的，基于强化学习的框架，在那里我们设计了一个新的奖励函数，该函数联合考虑了生成的摘要的多样性和代表性，并且完全不依赖于标签或用户交互。在训练过程中，奖励函数判断生成的摘要的多样性和代表性，而DSN则通过学习生成更多样、更有代表性的摘要来争取获得更高的奖励。由于不需要标签，我们的方法可以完全无监督。在两个基准数据集上的大量实验表明，我们的无监督方法不仅优于其他最先进的无监督方法，而且与大多数已发表的监督方法相当，甚至优于它们。
2018-02-13 cs.CV
Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast
University of Oulu（奥卢大学）
针对有监督rPPG方法需真实生理信号训练的问题，提出无监督方法Contrast-Phys，用3DCNN结合时空对比损失训练，在五个数据集上性能接近最优有监督方法，且速度更快、鲁棒性更强。
2022-08-08 cs.CV
Benchmarking and Learning Object-Centric Procedural Understanding in Instructional Videos
Michigan State University（密歇根州立大学）
本文提出ProcObject-10K，首个评估教学视频中以对象为中心推理和时间证据定位的基准，涵盖137个任务和五种推理类型，揭示模型在对象动态理解上的不足。
2026-10-30 cs.CV
LiveSeg: Unsupervised Multimodal Temporal Segmentation of Long Livestream Videos
Adobe Research（Adobe研究院）；Carnegie Mellon University（卡内基梅隆大学）
直播视频已成为在线学习的重要组成部分，经验丰富的专家在课程中教授设计，数字营销，创意绘画和其他技能，使其成为宝贵的材料。然而，直播教程视频通常长达几个小时，录制好后直接上传到互联网上，这使得其他人很难快速跟上。大纲将是一个有益的解决方案，它需要根据主题对视频进行时间分割。在这项工作中，我们引入了一个名为MultiLive的大型Livestream视频数据集，并制定了长Livestream视频（TSLLV）任务的时间分割。我们提出了LiveSeg，一个无监督的实时视频时间分割解决方案，它利用了来自不同领域的多模态特征。与最先进的方法相比，我们的方法实现了$16.8\%$ F1评分性能的改善。
2022-10-12 cs.CV
Unsupervised Methods for Video Quality Improvement: A Survey of Restoration and Enhancement Techniques
本文综述了视频恢复与增强的无监督方法，涵盖退化原因、传统与深度学习方法、域转换等核心技术分类、损失函数及合成数据集评估，并提出了未来研究方向。
2026-09-28 cs.CV
TIME: Temporal-Sensitive Multi-Dimensional Instruction Tuning and Robust Benchmarking for Video-LLMs
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）；City University of Hong Kong（香港城市大学）；Kuaishou Technology（快手科技）
针对视频大语言模型时间理解不足，提出专用指令微调数据集与免标注多任务提示微调法，并构建严格过滤捷径的新基准，显著提升时间理解能力。
2025-08-07 cs.CV
How to Correctly Make Mistakes: A Framework for Constructing and Benchmarking Mistake Aware Egocentric Procedural Videos
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）；Italy（意大利）；United Kingdom（大不列颠岛）
本文提出PIE-V框架，通过引入可控的人类合理偏差来构建和评估错误感知的第一人称视频，结合心理学启发的错误计划、纠正计划、LLM作家和评委，提升视频的合理性和一致性。
2026-04-16 cs.CV
Towards Unsupervised Familiar Scene Recognition in Egocentric Videos
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
如今，人们对使用生活记录设备的兴趣高涨。这些设备会产生大量的图像数据;因此，对分析和汇总这些数据的自动方法的需求急剧增加。我们提出了一种新的方法，熟悉的场景识别自我中心的视频，通过自动配置COSFIRE过滤器的背景模式检测的基础上。我们提出了一些实验与叙事剪辑获得的自我中心的数据。
2019-05-10 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而，到目前为止，它已被用于像素空间中的输入样本，而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为，并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N，我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
HumanScore: Benchmarking Human Motions in Generated Videos
Stanford University（斯坦福大学）；Peking University（北京大学）
本文提出HumanScore框架，通过六个可解释指标评估AI生成视频中人类动作的质量，揭示感知合理性与生物力学真实性的差距，并产生可靠的模型排名。
2026-11-04 cs.CV
Compressed Video Quality Enhancement: Classifying and Benchmarking over Standards
Faculty of Electronics and Telecommunications, VNU University of Engineering and Technology（电子与电信学院，越南工程大学）；Department of Computer Science, National Yang Ming Chiao Tung University（计算机科学系，国家阳明交通大学）
本文针对压缩视频质量增强（CVQE）现有综述的局限，提出了一种按架构、标准和压缩域特征分类的新分类法，构建了统一的基准测试框架，并系统分析了最先进方法的性能与复杂度权衡，为模型选择奠定基础。
2025-09-16 cs.CV
Generative Cooperative Learning for Unsupervised Video Anomaly Detection
Electronics Telecommunications Research Institute（电子电信研究院）；Univ. of Science Technology（科学技术大学）；ETH Zurich（苏黎世联邦理工学院）；Information Technology Univ（信息技术大学）；Mohamed bin Zayed Univ. of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
视频异常检测在弱监督和一类分类（OCC）环境中得到了很好的研究。然而，无监督的视频异常检测方法是相当稀疏的，可能是因为异常发生的频率较低，通常没有明确定义，这与地面实况监督的缺乏相结合时，可能会对学习算法的性能产生不利影响。这个问题是具有挑战性的，但有益的，因为它可以完全消除获得费力的注释的成本，并使这样的系统能够在没有人为干预的情况下部署。为此，我们提出了一种新的无监督生成协作学习（GCL）的视频异常检测方法，利用低频率的异常对建立一个发电机和一个发电机之间的交叉监督。从本质上讲，两个网络都是以合作的方式进行训练的，从而允许无监督学习。我们在两个大规模视频异常检测数据集UCF crime和ShanghaiTech上进行了大量的实验。对现有最先进的无监督和OCC方法的持续改进证实了我们方法的有效性。
2022-03-08 cs.CV
VideoAesBench: Benchmarking the Video Aesthetics Perception Capabilities of Large Multimodal Models
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
VideoAesBench通过多样化视频内容和多类型问题评估大规模多模态模型的视频审美感知能力，揭示当前模型在该领域的不足。
2026-02-01 cs.CV
Exploiting Robust Unsupervised Video Person Re-identification
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
无监督视频人物再识别（reID）方法通常依赖于全局级特征。许多有监督的reID方法采用局部特征，并取得了显着的性能改进。然而，将局部特征应用于无监督方法可能会引入不稳定的性能。为了提高无监督视频识别的性能稳定性，提出了一种融合部分模型和无监督学习的通用方案。在该方案中，全局级特征被划分为相等的局部级特征。局部感知模块用于探索局部特征在无监督学习中的潜力。提出了一个全局感知的模块来克服局部特征的缺点。来自这两个模块的特征被融合以形成针对每个输入图像的鲁棒特征表示。这种特征表示具有局部特征的优点，而没有遭受其缺点。在PRID 2011、iLIDS-VID和DukeMTMC-VideoReID三个基准测试平台上进行了综合实验，实验结果表明，该方法具有较好的性能。广泛的消融研究表明，所提出的方案，局部感知模块和全局感知模块的有效性和鲁棒性。代码和生成的功能可在https://github.com/deropty/uPMnet上获得。
2022-02-12 cs.CV
Unsupervised Video Object Segmentation using Motion Saliency-Guided Spatio-Temporal Propagation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
无监督视频分割在从对象识别到压缩的各种应用中起着重要作用。然而，到目前为止，快速运动、运动模糊和遮挡带来了重大挑战。为了解决无监督视频分割的这些挑战，我们开发了一种新的显着性估计技术，以及一种新的邻域图，基于光流和边缘线索。我们的方法导致显着更好的初始前景背景估计和他们的鲁棒性以及准确的扩散随着时间的推移。我们在具有挑战性的DAVIS，SegTrack v2和FBMS-59数据集上评估了我们提出的算法。尽管只使用了在200张图像上训练的标准边缘检测器，但我们的方法在无监督设置中获得了最先进的结果，优于基于深度学习的方法。我们甚至在DAVIS数据集的半监督设置中展示了与基于深度学习的方法相当的竞争结果。
2018-09-04 cs.CV
UnOVOST: Unsupervised Offline Video Object Segmentation and Tracking
RWTH Aachen University（亚琛工业大学）
我们解决了无监督视频对象分割（UVOS），自动生成准确的像素掩模的视频序列中的突出对象，并跟踪这些对象始终通过时间，没有任何输入的对象应该被跟踪的任务。为了解决这个问题，我们提出了UnOVOST（无监督离线视频对象分割和跟踪）作为一个简单的和通用的算法，它能够跟踪和分割各种各样的对象。该算法在多个阶段中建立轨迹，首先将片段分组为时空一致的短轨迹，然后基于它们的视觉相似性将这些轨迹合并为长期一致的对象轨迹。为了实现这一目标，我们引入了一种新的基于tracklet的森林路径切割数据关联算法，该算法建立了一个决策森林的轨道假设，然后将此森林切割成形成长期一致的对象轨道的路径。在DAVIS 2017无监督数据集上评估我们的方法时，我们获得了最先进的性能，平均J &F得分为val的67.9%，测试开发的58%和测试挑战基准的56.4%，在DAVIS 2019无监督视频对象分割挑战赛中获得第一名。UnOVOST甚至可以与许多半监督视频对象分割算法竞争，即使它没有给出任何关于应该跟踪和分割哪些对象的输入。
2020-01-15 cs.CV
ChineseVideoBench: Benchmarking Multi-modal Large Models for Chinese Video Question Answering
Bytedance Inc.（字节跳动公司）
ChineseVideoBench通过提供中文视频问答的基准测试，评估多模态大语言模型的性能，揭示了当前模型在复杂中文视频内容上的挑战。
2025-11-23 cs.CV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种自监督学习方法，以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9，34]以及时间相干性[32]，但两者的组合需要大量的预处理，例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文，而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格，并训练网络从多个帧中解决这些补丁上的拼图游戏。因此，网络经过训练，可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略，优于随机置换，同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务，如视频活动识别，并在两个基准视频动作识别数据集上展示了我们方法的强度，而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
A Unified Solution to Video Fusion: From Multi-Frame Learning to Benchmarking
ETH Zürich（苏黎世联邦理工学院）；Xi’an Jiaotong University（西安交通大学）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
针对现有图像融合忽视视频时间相关性的问题，提出统一框架 UniVF，并构建覆盖四类任务的 VF-Bench，实验显示其在所有任务上达到最先进性能。
2025-10-21 cs.CV
Moving Indoor: Unsupervised Video Depth Learning in Challenging Environments
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
最近，视频深度的无监督学习取得了显着进展，其结果与KITTI等户外场景中的完全监督方法相当。然而，当直接将该技术应用于室内环境时，仍然存在很大的挑战，例如，大面积的非纹理区域，如白墙，手持相机的更复杂的自我运动，透明眼镜和闪亮的物体。为了克服这些问题，我们提出了一种新的光流为基础的训练范式，通过提供一个更清晰的训练目标和处理非纹理区域，降低了无监督学习的难度。我们的实验评估表明，我们的方法的结果是纽约大学深度V2基准上的完全监督的方法相媲美。据我们所知，这是室内数据集上报告的纯无监督学习方法的第一个定量结果。
2019-10-20 cs.CV
Unsupervised Video Highlight Detection by Learning from Audio and Visual Recurrence
University of Saskatchewan（萨斯喀彻温大学）；Google DeepMind（谷歌DeepMind）
针对视频精彩片段检测依赖标注的问题，提出利用音频与视觉内容跨视频重复性生成伪标签并训练音视检测网络的无监督方法，在三个基准上性能优于已有方法。
2025-05-14 cs.CV
Unsupervised Keypoint Learning for Guiding Class-Conditional Video Prediction
Yonsei University（延世大学）
我们提出了一种基于单个图像和动作类的深度视频预测模型。为了生成未来的帧，我们首先检测移动对象的关键点，并将未来的运动预测为关键点序列。然后，输入图像按照预测的关键点序列进行平移，以组成未来的帧。检测关键点是我们算法的核心，我们的方法经过训练，可以以无监督的方式检测任意对象的关键点。此外，检测到的原始视频的关键点被用作伪标签来学习对象的运动。实验结果表明，我们的方法成功地应用于各种数据集，而没有标记视频中的关键点的成本。检测到的关键点与人工标注的标签相似，预测结果比以前的方法更真实。
2019-10-04 cs.CV
Unsupervised learning from videos using temporal coherency deep networks
University of Alcalá（阿尔卡拉大学）
在这项工作中，我们解决了具有挑战性的问题，无监督学习从视频。现有方法利用连续视频帧中的时空连续性作为学习过程的正则化。通常情况下，这种时间上的连贯性，密切的帧被用作一种自由形式的注释，鼓励学习表示表现出这些帧之间的小差异。但这种方法无法捕捉具有不同内容的视频之间的差异，因此学习较少的区分特征。在这里，我们提出了两个连体结构的卷积神经网络，和相应的新的损失函数，学习从未标记的视频，共同利用相邻帧之间的局部时间相干性，和一个全局的区别性的边缘用于分离不同的视频表示。一个广泛的实验评估，我们验证了所提出的模型在各种任务。首先，我们展示了如何学习的功能可以用来发现视频集合中的动作和场景。其次，我们展示了这种无监督学习的好处，它可以直接用作图像中动作和对象的监督识别任务的先验，我们的结果进一步表明，我们的特征甚至可以超过传统的和重监督的预训练加微调策略。
2018-10-11 cs.CV
An overview of deep learning based methods for unsupervised and semi-supervised anomaly detection in videos
Uncanny Vision Solutions（Uncanny Vision解决方案公司）；Université Charles de Gaulle, Lille 3（戴高乐大学（里尔第三大学））
视频代表了监控应用的主要信息来源，并且大量可用，但在大多数情况下，几乎不包含或不包含用于监督学习的注释。本文回顾了最先进的基于深度学习的视频异常检测方法，并根据模型类型和检测标准对其进行了分类。我们还进行了简单的研究，以了解不同的方法，并提供评估标准的时空异常检测。
2018-01-30 cs.CV
Are You Imitating Me? Unsupervised Sparse Modeling for Group Activity Analysis from a Single Video
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
本文提出了一种基于单个视频的无监督群体活动分析框架。我们的工作假设是，人类的行动在于低维子空间的工会，因此可以有效地建模为稀疏的线性组合的原子从一个学习的字典表示的动作的原语。与现有技术相反，并且以时空动作分组为主要目标，在这项工作中，在没有任何先前训练信息的情况下，只有一个单个视频片段可用于无监督学习和分析。在单个时空尺度上提取简单特征后，我们在每个短时间内为视频中的每个人学习一个字典。这些字典允许我们通过产生亲和矩阵来比较个体的动作，该亲和矩阵包含关于场景中的动作的足够的判别信息，从而使用简单有效的工具进行分组。通过各种公开的真实视频，我们证明了所提出的框架的有效性及其对杂乱背景，人类外观变化和动作变化的鲁棒性。
2012-08-27 cs.CV
Unsupervised Learning of Long-Term Motion Dynamics for Videos
Stanford University（斯坦福大学）
我们提出了一种无监督的表示学习方法，压缩编码的运动依赖的视频。给定来自视频剪辑的一对图像，我们的框架学习预测长期的3D运动。为了降低学习框架的复杂性，我们建议将运动描述为使用RGB-D模态计算的原子3D流序列。我们使用基于递归神经网络的编码器-解码器框架来预测这些流序列。我们认为，为了使解码器重建这些序列，编码器必须学习一个强大的视频表示，捕捉长期的运动依赖性和时空关系。我们证明了我们学习的时间表示在多个模态和数据集（如NTU RGB+D和MSR Daily Activity 3D）上对活动分类的有效性。我们的框架是通用的任何输入模态，即，RGB、深度和RGB-D视频。
2017-04-11 cs.CV
Unsupervised object segmentation in video by efficient selection of highly probable positive features
University Politehnica of Bucharest（布加勒斯特理工大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
我们解决了计算机视觉中的一个基本问题，即视频中的无监督对象分割，其中视频序列中的主要感兴趣对象应该自动从其背景中分离出来。一个有效的解决方案，这项任务将使大规模的视频解释在高语义水平的情况下，昂贵的手动标记的地面真相。我们提出了一种有效的无监督方法，用于生成前景对象软分割掩模的基础上自动选择和学习，从高度可能的积极特征。我们表明，这样的功能可以有效地选择考虑到在整个观察序列的对象的时空，外观和运动的一致性。我们还强调了前景对象和背景之间的对比属性的作用。我们的模型分两个阶段创建：我们从像素级分析开始，在此基础上，我们添加了一个回归模型，该模型在描述符上进行训练，该描述符考虑了像素组的信息，并且对对象在整个视频中经历的许多变化都具有区分性和不变性。我们还提出了我们的无监督学习方法的理论属性，在一些温和的约束下，保证学习正确的判别分类器，即使在无监督的情况下。我们的方法在具有挑战性的Youtube-Objects和SegTrack数据集上实现了具有竞争力的甚至是最先进的结果，同时比竞争对手快至少一个数量级。我们相信，我们的方法在实践中的竞争力表现，以及其理论特性，构成了解决视频中无监督发现的重要一步。
2017-04-19 cs.CV
Unsupervised Learning of Video Representations via Dense Trajectory Clustering
Carnegie Mellon University（卡内基梅隆大学）；Inria（法国国家信息与自动化研究所）
本文讨论了无监督学习的任务表示在视频中的动作识别。以前的工作提出了利用未来的预测，或其他特定领域的目标，训练网络，但只取得了有限的成功。相比之下，在图像表示学习的相关领域，更简单的，基于判别的方法最近弥合了差距，完全监督的性能。我们首先建议将这类中的两个顶级性能目标-实例识别和本地聚合-适应于视频域。特别地，后一种方法在网络的特征空间中对视频进行聚类和更新以尊重具有非参数分类损失的聚类之间迭代。我们观察到有希望的性能，但定性分析表明，学习的表示未能捕获运动模式，根据外观对视频进行分组。为了缓解这个问题，我们转向基于运动的IDT描述符，它是手动设计的，用于对视频中的运动模式进行编码。我们在IDT空间中形成集群，使用这些描述符作为迭代局部聚合算法中的无监督先验。我们的实验表明，这种方法优于UCF 101和HMDB 51动作识别基准的先前工作。我们还定性分析了学习的表示，并表明他们成功地捕捉视频动态。
2020-06-28 cs.CV
Unsupervised Learning and Segmentation of Complex Activities from Video
University of Bonn（波恩大学）；Germany（德国（注意：这里“Germany”是国家，不是机构，原问题中“University of Bonn, Germany”整体是机构地址，但根据提取规则，机构粒度到大学/学院级别即可，所以正确的机构是“University of Bonn”，“Germany”是国家，不应作为机构提取。原输入中“Affiliation: University of Bonn, Germany”，其中“University of Bonn”是机构，“Germany”是国家，所以正确提取的机构是“University of Bonn”，对应的中文翻译是“波恩大学”。）]} 修正：原输入中“Affiliation: University of Bonn, Germany”，其中“University of Bonn”是机构，“Germany”是国家，所以正确提取的机构是“University of Bonn”，对应的中文翻译是“波恩大学”。因此正确的输出应该是：{）
本文提出了一种新的方法，用于将视频中的复杂活动无监督分割成多个步骤或子活动，而无需任何文本输入。我们提出了一种迭代的判别生成方法，该方法在判别学习从视频的视觉特征到子活动标签的子活动的外观和使用广义Mallow模型对子活动的时间结构进行生成建模之间交替。此外，我们引入了一个模型的背景占帧无关的实际活动。我们的方法在具有挑战性的早餐动作和Inria教学视频数据集上得到了验证，并且优于无监督和弱监督的最新技术水平。
2018-03-26 cs.CV
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
National University of Singapore（新加坡国立大学）；Hangzhou Dianzi University（杭州电子科技大学）
在本文中，我们提出了一种新的无监督视频摘要模型，不需要手动注释。Cycle-SUM模型采用了一种新的周期一致的对抗性LSTM架构，可以有效地最大限度地提高摘要视频的信息保留和紧凑性。它由一个帧选择器和一个基于周期一致性学习的评价器组成。选择器是一个双向LSTM网络，它学习嵌入视频帧之间的长程关系的视频表示。评估器定义原始视频和摘要视频之间的可学习的信息保持度量，并且“监督”选择器以识别最具信息性的帧以形成摘要视频。特别地，评估器由两个生成对抗网络（GANs）组成，其中前向GAN学习从摘要视频重建原始视频，而后向GAN学习反转处理。这种循环学习的输出之间的一致性被采用作为视频摘要的信息保持度量。我们证明了互信息最大化和这样的循环学习过程之间的密切关系。在两个视频摘要基准数据集上的实验验证了Cycle-SUM模型的最新性能和优越性。
2019-04-17 cs.CV
LOVE: Benchmarking and Evaluating Text-to-Video Generation and Video-to-Text Interpretation
Institute of Image Communication and Network Engineering（图像通信与网络工程研究所）；MoE Key Lab of Artificial Intelligence（人工智能MoE重点实验室）；AI Institute（人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
该研究构建了含大规模人工标注的AIGV评估基准AIGVE-60K，提出基于LMM的多维度评估指标LOVE，在自身基准及其他同类基准上均表现优异。
2025-05-17 cs.CV
Unsupervised Flow-Aligned Sequence-to-Sequence Learning for Video Restoration
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；ETH Zürich（苏黎世联邦理工学院）
如何正确地建模视频序列中的帧间关系是视频恢复（VR）的一个重要但尚未解决的挑战。在这项工作中，我们提出了一个无监督的流对齐序列到序列模型（S2SVR）来解决这个问题。一方面，序列到序列模型，这已被证明能够在自然语言处理领域的序列建模，首次在虚拟现实中进行了探索。优化的序列化建模在捕获帧之间的长距离依赖关系方面显示出潜力。另一方面，我们为序列到序列模型配备了无监督的光流估计器，以最大限度地发挥其潜力。我们提出的无监督蒸馏损失的流量估计器进行训练，这可以减轻数据的差异和不准确的退化光流的问题，以前的基于流量的方法。通过可靠的光流，我们可以在多个帧之间建立准确的对应关系，缩小1D语言和2D未对齐帧之间的域差异，并提高序列到序列模型的潜力。S2SVR在多个VR任务中表现出卓越的性能，包括视频去模糊、视频超分辨率和压缩视频质量增强。代码和模型可在https://github.com/linjing7/VR-Baseline上公开获取
2022-06-16 cs.CV
