Simple Unsupervised Object-Centric Learning for Complex and Naturalistic Videos
Rutgers University(罗格斯大学);KAIST(韩国科学技术院)
无监督的以对象为中心的学习旨在将场景的模块化、组合和因果结构表示为一组对象表示,从而有望解决传统单向量表示的许多关键限制,例如系统泛化能力差。虽然近年来已经有了许多显着的进步,在这个方向上最关键的问题之一是,以前的方法只适用于简单和合成的场景,但不适用于复杂和自然的图像或视频。在本文中,我们提出了STEVE,这是一种用于视频中以对象为中心的学习的无监督模型。我们提出的模型通过展示其在这一研究领域前所未有的各种复杂和自然视频上的有效性,取得了重大进展。有趣的是,这是通过既不增加模型架构的复杂性,也不引入新目标或弱监督来实现的。相反,它是通过一个令人惊讶的简单的架构,使用基于变换的图像解码器的槽和学习的目标是简单地重建观察。我们在各种复杂和自然的视频上的实验结果表明,与以前的最先进的技术相比,有显着的改进。
2022-05-27 cs.CV cs.LG
Dense Unsupervised Learning for Video Segmentation
TU Darmstadt(达姆施塔特工业大学)
提出了一种新的视频对象分割的无监督学习方法。与以前的工作不同,我们的公式允许在完全卷积的机制中直接学习密集的特征表示。我们依靠均匀的网格采样来提取一组锚点,并训练我们的模型,以消除它们之间的视频间和视频内的歧义。然而,一个天真的计划,训练这样的模型的结果在退化的解决方案。我们建议用一个简单的正则化方案来防止这种情况,将分割任务的等方差特性适应于相似性变换。我们的训练目标允许有效的实现,并表现出快速的训练收敛。在已建立的VOS基准测试中,尽管使用的训练数据和计算能力显著减少,但我们的方法仍超过了以前工作的分割精度。
2021-11-11 cs.CV cs.LG
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University(纽约大学);ETH Zürich(苏黎世联邦理工学院)
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中,我们提出了UVIT,一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容,使用专门的编码器-解码器结构,并通过双向递归神经网络(RNN)单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果,并为模态灵活的翻译提供了一个良好的接口。此外,通过改变我们的翻译中包含的输入帧和样式代码,我们提出了一个视频插值损失,它捕获序列中的时间信息,以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真,时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站:https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
Unsupervised Action Segmentation for Instructional Videos
Google(谷歌);Google Research(谷歌研究院)
在本文中,我们解决的问题,自动发现原子动作在无监督的方式从教学视频,这是很少与原子动作注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务,从各种教学视频的基础上顺序随机自回归模型的时间分割的视频。它学习表示和发现任务的不同原子动作之间的顺序关系,并提供自动和无监督的自标记。
2021-06-07 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich(慕尼黑技术大学);TU Darmstadt(达姆施塔特技术大学);NVIDIA(英伟达);University of Oxford(牛津大学);MCML;ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS,利用深度、运动和视觉线索生成伪标签,并通过Video DropLoss训练,在无监督条件下实现准确分割。
2026-06-03 cs.CV
Unsupervised Learning from Video with Deep Neural Embeddings
Stanford University(斯坦福大学);MIT(麻省理工学院)
由于视频丰富的动态结构及其在日常生活中的普遍存在,视频数据可以作为一种强大的无监督学习信号,用于在深度神经网络中训练视觉表示,这是一个很自然的想法。然而,实例化这个想法,特别是在大规模上,仍然是人工智能的一个重大挑战。在这里,我们提出了视频实例嵌入(VIE)框架,该框架将最近用于学习深度非线性嵌入的强大无监督损失函数扩展到大规模视频数据集上的多流时间处理架构。我们表明,VIE-trained网络在视频数据流的无监督学习方面大大提高了最新技术水平,无论是Kinetics数据集中的动作识别,还是ImageNet数据集中的对象识别。我们表明,静态和动态处理途径的混合模型是最佳的两个转移任务,并提供分析表明如何不同的途径。从上下文来看,我们的研究结果表明,深度神经嵌入是一种很有前途的方法,可以在各种领域进行无监督视觉学习。
2020-03-10 cs.AI cs.CV cs.LG
VDSM: Unsupervised Video Disentanglement with State-Space Modeling and Deep Mixtures of Experts
University of Surrey(萨里大学)
分解表示支持一系列下游任务,包括因果推理、生成建模和公平机器学习。不幸的是,没有监督或归纳偏见的结合,解开纠缠已经被证明是不可能的。鉴于监督通常是昂贵的或不可行的收购,我们选择将结构归纳偏差,并提出了一个无监督的,深状态空间模型的视频解纠缠(VDSM)。该模型通过采用分层结构、动态先验知识和混合专家模型解码器来消除潜在的时变和动态因素。VDSM学习视频中对象或人的身份以及正在执行的动作的单独的解纠缠表示。我们在一系列定性和定量的任务,包括身份和动力学转移,序列生成,Fréchet起始距离和因子分类评估VDSM。VDSM提供了最先进的性能,超过了对抗性方法,即使这些方法需要额外的监督。
2021-12-15 cs.CV cs.LG
Unsupervised Learning from Narrated Instruction Videos
WILLOW project-team, Département d’Informatique de l’Ecole Normale Supérieure, ENS/INRIA/CNRS UMR 8548(WILLOW项目组,巴黎高等师范学校计算机科学系,ENS/INRIA/CNRS UMR 8548);SIERRA project-team, Département d’Informatique de l’Ecole Normale Supérieure, ENS/INRIA/CNRS UMR 8548(SIERRA项目组,巴黎高等师范学校计算机科学系,ENS/INRIA/CNRS UMR 8548);IIIT Hyderabad(海得拉巴国际信息技术学院)
我们解决的问题,自动学习的主要步骤,以完成某项任务,如改变汽车轮胎,从一组叙述的指令视频。本文的贡献有三个方面。首先,我们开发了一种新的无监督学习方法,该方法利用了输入视频和相关叙述的互补性。该方法解决了两个聚类问题,一个在文本中,一个在视频中,应用一个在彼此之后,并通过联合约束链接,以获得一个单一的连贯序列的步骤,在这两种方式。其次,我们收集和注释一个新的具有挑战性的数据集的现实世界的教学视频从互联网上。该数据集包含大约80万帧,用于五种不同的任务,包括人与物体之间的复杂交互,并在各种室内和室外环境中捕获。第三,我们的实验表明,该方法可以自动发现,在一个无监督的方式,实现任务的主要步骤,并定位在输入视频的步骤。
2016-06-28 cs.CV cs.LG
Uncertainty-Guided Alignment for Unsupervised Domain Adaptation in Regression
EPFL(洛桑联邦理工学院);Intelligent Maintenance and Operations Systems(智能维护与运营系统(机构))
本文提出不确定性引导对齐(UGA),将证据深度学习预测的不确定性融入特征对齐过程,以解决回归任务无监督域自适应中传统特征对齐失效和特征坍缩问题,并在多个基准上取得优于现有方法的性能。
2024-11-21 cs.CV cs.LG
Unsupervised Discovery of Actions in Instructional Videos
Robotics at Google(谷歌机器人部门);Google Research(谷歌研究院)
在本文中,我们解决的问题,自动发现原子的行动在无监督的方式从教学视频。教学视频包含复杂的活动,是智能代理的丰富信息源,例如,自主机器人或虚拟助手,它们可以自动“读取”教学视频中的步骤并执行它们。然而,视频很少用原子活动、它们的边界或持续时间来注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务,从各种教学视频。我们提出了一个序列随机自回归模型的时间分割的视频,学习表示和发现的顺序关系的任务的不同原子动作,并提供自动和无监督的自标记的视频。我们的方法优于最先进的无监督方法,具有很大的利润率。我们将开放源代码。
2021-06-28 cs.CV
Unsupervised Video Representation Learning by Bidirectional Feature Prediction
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Bonn(波恩大学)
提出了一种基于特征预测的自监督视频表示学习方法。与以前的方法,专注于未来的特征预测相比,我们认为,从未观察到的过去帧产生的监督信号是互补的一个起源于未来的帧。我们的方法背后的基本原理是鼓励网络通过区分未来和过去的当前观察来探索视频的时间结构。我们在一个对比学习框架中训练我们的模型,其中未来和过去的联合编码通过交换为我们提供了一组全面的时间硬否定。我们的经验表明,利用这两个信号丰富的学习表示的下游任务的动作识别。它优于独立预测未来和过去。
2020-11-11 cs.CV cs.LG
Unsupervised learning of clutter-resistant visual representations from natural videos
MIT(麻省理工学院);McGovern Institute(麦戈文研究所);Center for Brains, Minds and Machines(大脑、心智与机器中心)
下颞叶皮层(IT)中的神经元群体维持对象身份的显式代码,该代码也容忍对象外观的变换,例如,位置,比例,视角[1,2,3]。虽然学习规则是未知的,但最近的结果[4,5,6]表明了无监督的基于时间关联的方法的操作,例如,Foldiak's trace rule [7].这种方法利用视觉世界的时间连续性,假设在短时间尺度上的视觉体验往往具有不变的身份内容。因此,通过关联来自附近时间的帧的表示,可以实现容忍视频中发生的任何变换的表示。许多先前的研究证实,这种规则可以在没有背景杂波的简单情况下工作,但视觉杂波的存在仍然是这种方法的问题。在这里,我们展示了基于大型类特定过滤器(模板)的时间关联避免了混乱的问题。我们的系统以无监督的方式从互联网上收集的自然视频中学习,并且能够在自然图像上执行困难的无约束人脸识别任务:野外的标记人脸[8]。
2015-04-24 cs.CV cs.LG
Unsupervised Difference Learning for Noisy Rigid Image Alignment
Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学)
刚性图像配准是计算机视觉中的一项基本任务,而传统的配准算法要么对噪声过于敏感,要么耗时较长。基于空间Transformer网络的无监督图像对齐方法在干净图像上显示出更好的性能,但由于其严重依赖于像素值比较,因此在噪声图像上不会达到令人满意的性能。为了处理这些具有挑战性的应用,我们提出了一种新的无监督差分学习(UDL)策略,并将其应用于刚性图像对齐。UDL利用回归任务的量化特性,将原始的无监督问题转化为伪监督问题。在新的基于UDL的图像对齐流水线下,可以在干净和有噪声的图像上准确估计旋转,然后可以轻松解决平移问题。自然和冷冻EM图像上的实验结果表明,我们的UDL为基础的无监督刚性图像对齐方法的有效性。
2022-05-24 cs.CV
AlignNet: Unsupervised Entity Alignment
DeepMind
最近开发的深度学习模型能够在没有监督的情况下学习将场景分割成组件对象。这开辟了许多新的和令人兴奋的研究途径,允许代理将对象(或实体)作为输入,而不是像素。不幸的是,尽管这些模型提供了对单个帧的出色分割,但它们并不跟踪在一个时间步处分割的对象如何与在稍后时间步处的对象相对应(或对齐)。对齐(或对应)问题阻碍了在下游任务中使用对象表示的进展。在本文中,我们采取措施解决对齐问题,提出了AlignNet,一个无监督对齐模块。
2020-07-21 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种无监督的领域自适应方法,该方法训练共享嵌入来对齐输入(域)和输出(类)的联合分布,使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐,而且标签也对齐。我们提出了一个新的目标函数,鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
SrvfNet: A Generative Network for Unsupervised Multiple Diffeomorphic Shape Alignment
UCLA(加州大学洛杉矶分校)
我们提出了SrvfNet,这是一个生成式深度学习框架,用于将包含平方根速度函数(SRVF)的大型功能数据集合与其模板进行联合多重对齐。我们提出的框架是完全无监督的,并且能够与预定义的模板对齐,以及从数据中联合预测最佳模板,同时实现对齐。我们的网络被构造为生成式编码器-解码器架构,包括能够产生扭曲函数的分布空间的全连接层。我们证明了我们的框架的强度,通过验证它的合成数据以及磁共振成像(MRI)数据的扩散配置文件。
2021-04-27 cs.CV cs.LG math.DG
Unsupervised Video-to-Video Translation
Boston University(波士顿大学)
无监督图像到图像翻译是最近提出的一项任务,在训练时仅给出未配对的图像示例,将图像翻译为不同的风格或域。在本文中,我们制定了一个新的任务,无监督的视频到视频翻译,这带来了自己独特的挑战。翻译视频意味着不仅要学习对象和场景的外观,还要学习连续帧之间的真实运动和过渡。我们研究了使用现有图像到图像翻译网络进行每帧视频到视频翻译的性能,并提出了一种时空3D翻译器作为解决这个问题的替代方案。我们在多个合成数据集上评估了我们的3D方法,例如移动彩色数字,以及现实的分割到视频GTA数据集和新的CT到MRI体积图像转换数据集。我们的研究结果表明,逐帧翻译在单帧水平上产生逼真的结果,但与我们的三维翻译方法相比,在整个视频的规模上表现明显不佳,三维翻译方法能够更好地学习视频的复杂结构和对象外观的运动和连续性。
2018-06-10 cs.CV
Key Instance Selection for Unsupervised Video Object Segmentation
SK T-Brain(SK T-Brain研究院)
提出了一种基于视频显著性、覆盖对象性和动态性的无监督视频对象分割(UVOS)关键实例选择方法。我们的方法依次帧和提取对象的建议与相应的面具为每一帧。我们根据对象的相似性将它们链接到第M帧,然后为它们分配唯一的ID(即,实例)。相似性度量考虑了ReID描述符、预期轨迹和语义共分割结果等多个属性。在第M帧之后,我们基于视频显著性和出现频率选择K个ID;然后在剩余帧中仅跟踪这些关键ID。由于这些技术贡献,我们的结果在UVOS DAVIS挑战排行榜上排名第三。
2019-07-26 cs.CV cs.LG eess.IV
Unsupervised Video Prediction from a Single Frame by Estimating 3D Dynamic Scene Structure
Institute of Science Technology (IST) Austria(奥地利科学技术研究所)
我们在这项工作中的目标是生成逼真的视频,只需一个初始帧作为输入。针对此任务的现有无监督方法没有考虑视频通常显示3D环境的事实,并且即使在相机和对象移动时,这也应该从帧到帧保持一致。我们通过开发一个模型来解决这个问题,该模型首先估计场景的潜在3D结构,包括任何移动对象的分割。然后,它通过模拟对象和相机动态来预测未来的帧,并渲染生成的视图。重要的是,它是端到端训练的,只使用预测未来帧的无监督目标,没有任何3D信息或分割注释。在两个具有挑战性的自然视频数据集上的实验表明,我们的模型可以从单个帧中估计3D结构和运动分割,从而生成合理和多样的预测。
2021-06-16 cs.AI cs.CV cs.LG
Minimal-Entropy Correlation Alignment for Unsupervised Deep Domain Adaptation
在这项工作中,我们面临的问题,无监督的领域自适应与一种新的深度学习的方法,利用我们的发现,熵最小化诱导的二阶统计源和目标域之间的最佳对齐。我们正式证明了这一假设,并在实际情况下,旨在实现最佳的对齐,我们采用了一个更有原则的策略,不同于目前的欧几里德方法,部署沿测地线对齐。我们的管道可以通过添加到标准分类损失(在标记的源域上)来实现,这是一个以无监督和数据驱动方式加权的源到目标正则化器。我们提供了广泛的实验来评估我们的框架在标准域和模态适应基准上的优越性。
2017-11-28 cs.CV
Masked Autoencoder for Unsupervised Video Summarization
NAVER Cloud(NAVER 云);KAIST(韩国科学技术院)
本文提出一种用于无监督视频摘要的自监督掩码自编码器,直接利用解码器重建分数评估帧重要性,无需额外下游架构或微调,并在多个基准上验证有效性。
2023-06-02 cs.CV
Unsupervised Learning of Depth and Ego-Motion from Cylindrical Panoramic Video
Naval Research Laboratory(海军研究实验室);California Polytechnic State University(加州州立理工大学)
我们介绍了一个卷积神经网络模型的深度和自我运动的圆柱全景视频的无监督学习。全景深度估计是虚拟现实、三维建模和自主机器人导航等应用的重要技术。与以前将卷积神经网络应用于全景图像的方法相比,我们使用圆柱全景投影,它允许使用传统的CNN层,如卷积滤波器和最大池化,而无需修改。我们对合成数据和真实数据的评估表明,对柱面全景图像进行深度和自我运动的无监督学习可以产生高质量的深度图,并且增加的视场可以提高自我运动估计的准确性。我们还介绍了Headcam,这是一种新颖的全景视频数据集,它是在城市环境中骑自行车时从头盔式摄像机收集的。
2019-10-29 cs.CV cs.LG cs.RO
Unsupervised Object-Level Video Summarization with Online Motion Auto-Encoder
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Carnegie Mellon University(卡内基梅隆大学);Xidian University(西安电子科技大学)
无监督视频摘要在消化、浏览和搜索每天不断增长的视频方面发挥着重要作用,并且底层的细粒度语义和运动信息(即,感兴趣的对象及其关键动作)在在线视频中几乎没有被触及。在本文中,我们探讨了一个先驱的研究方向,对细粒度的无监督对象级视频摘要。它可以从两个方面区别于现有的管道:提取参与对象的关键运动,并以无监督和在线的方式学习总结。为了实现这一目标,我们提出了一种新的在线运动自动编码器(在线运动AE)的框架上的超分割对象运动剪辑的功能。在新收集的监控数据集和公共数据集上的综合实验证明了该方法的有效性。
2018-08-11 cs.CV
Unsupervised Open-Vocabulary Object Localization in Videos
Fudan University(复旦大学);Amazon Web Services(亚马逊网络服务);National University of Singapore(新加坡国立大学)
本文利用视频表示学习和预训练视觉-语言模型,提出一种结合槽注意力与CLIP的无监督视频目标定位方法,首次在常规基准上取得良好结果。
2024-06-26 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern(伯尔尼大学计算机视觉组)
本研究提出无监督视频实例分割方法FlowCut,通过三阶段框架构建带伪标签的数据集,在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Daimler TSS(戴姆勒TSS公司);Facebook AI Research(脸书人工智能研究实验室);MIT(麻省理工学院);Harvard Medical School(哈佛医学院);KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院)
动作分割是指推断视频中语义一致的视觉概念的边界,并且是许多视频理解任务的重要要求。对于这个和其他视频理解任务,监督方法已经取得了令人鼓舞的性能,但需要大量的详细帧级注释。我们提出了一种全自动和无监督的方法来分割视频中的动作,不需要任何训练。我们的建议是一个有效的时间加权层次聚类算法,可以组语义一致的视频帧。我们的主要发现是,通过考虑到时间进展,用1-最近邻图表示视频足以形成语义和时间上一致的帧簇,其中每个簇可以表示视频中的一些动作。此外,我们为动作分割建立了强大的无监督基线,并在五个具有挑战性的动作分割数据集上显示了与已发布的无监督方法相比的显着性能改进。我们的代码可在https://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCH上获得
2021-03-27 cs.AI cs.CV cs.LG
Instance Embedding Transfer to Unsupervised Video Object Segmentation
University of Southern California(南加州大学);Google Inc.(谷歌公司)
我们提出了一种通过传输基于图像的实例嵌入网络中封装的知识来进行无监督视频对象分割的方法。实例嵌入网络为每个像素生成嵌入向量,该嵌入向量能够识别属于同一对象的所有像素。虽然是在静态图像上训练的,但实例嵌入在连续的视频帧上是稳定的,这允许我们随着时间的推移将对象链接在一起。因此,我们将在静态图像上训练的实例网络适应于视频对象分割,并将具有对象和光流特征的嵌入结合起来,而无需模型重新训练或在线微调。该方法在DAVIS数据集和FBMS数据集中的性能优于最先进的无监督分割方法。
2018-02-27 cs.CV
Unsupervised Incremental Learning of Deep Descriptors From Video Streams
MICC -- University of Florence(MICC——佛罗伦萨大学)
我们提出了一种新的无监督的方法从视频序列的人脸身份学习。该方法利用ResNet深度网络进行人脸检测和VGGface fc7人脸描述符,以及利用视频流中视觉数据的时间一致性的智能学习机制。我们提出了一种新的特征匹配解决方案的基础上反向最近邻和特征遗忘策略,支持增量学习与内存大小控制,而时间的推移。结果表明,所提出的学习过程是渐近稳定的,可以有效地应用于相关的应用,如多人脸跟踪。
2017-08-11 cs.CV
Unsupervised Video Continual Learning via Non-Parametric Deep Embedded Clustering
Department of Computer Science, University of York(约克大学计算机科学系)
针对无任务边界与标签的无监督视频持续学习,提出基于深度嵌入特征 KDE、新颖性检测和任务间迁移学习的非参数聚类方法。
2025-08-29 cs.AI cs.CV cs.LG
Unsupervised learning from video to detect foreground objects in single images
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所)
从视觉数据中进行无监督学习是计算机视觉中最困难的挑战之一,是理解视觉识别如何工作的基本任务。从实践的角度来看,从无监督的视觉输入中学习具有巨大的实用价值,因为可以以低成本收集大量未标记的视频。在本文中,我们解决的任务无监督学习检测和分割前景物体在单一的图像。我们通过训练由深度神经网络组成的学生路径来实现我们的目标。它学习从单个输入图像(视频帧)预测该特定帧的输出,教师路径在视频中执行无监督对象发现。我们的方法是不同的,从已发表的文献中进行无监督的发现在视频或图像的集合在测试时。我们在训练阶段移动无监督发现阶段,而在测试时,我们沿着学生路径应用标准前馈处理。这有双重好处:首先,它原则上允许在训练期间无限的学习和推广可能性,同时在测试时保持非常快。其次,学生不仅能够在单个图像中检测到比无监督视频发现教师更好的效果,而且还在两个重要的当前基准测试(YouTube Objects和Object Discovery数据集)上取得了最先进的结果。此外,在测试时,我们的系统至少比以前的其他方法快两个数量级。
2017-03-31 cs.CV
Unsupervised Learning Layers for Video Analysis
Baidu Research - Institute of Deep Learning(百度研究院-深度学习研究所)
本文提出了两个无监督学习层(UL层)用于无标签视频分析:一个用于全连接层,另一个用于卷积层。所提出的UL层可以扮演两个角色:它们可以是用于提供全局训练信号的成本函数层;同时,它们可以被添加到任何常规神经网络层以提供局部训练信号,并且与从上层反向传播的训练信号组合以提取不同深度的层处的慢变化和快变化特征。因此,UL层可以在纯无监督或半监督设置中使用。提供了用于两个UL层的封闭形式的解决方案和在线学习算法两者。对无标记的合成视频和真实视频的实验表明,采用所提出的在线学习算法训练的UL层神经网络能够从运动物体的视频序列中提取形状和运动信息。实验结果表明,UL层和在线学习算法在头部方向估计和运动目标定位中具有潜在的应用价值。
2017-05-24 cs.CV cs.LG stat.ML
Masked Feature Modelling: Feature Masking for the Unsupervised Pre-training of a Graph Attention Network Block for Bottom-up Video Event Recognition
CERTH-ITI(希腊研究与技术中心信息与电信研究所)
该研究提出掩码特征建模(MFM)方法,通过Visual Tokenizer和MiniKinetics数据集无监督预训练GAT模块,将其集成到ViGAT架构中,经YLI-MED数据集验证可有效提升自底向上视频事件识别的性能。
2023-08-25 cs.CV cs.LG cs.MM
Unsupervised Semantic Parsing of Video Collections
Stanford University(斯坦福大学);Cornell University(康奈尔大学);Brain of Things Inc.(Brain of Things公司)
人类交流通常有一个基本结构。这反映在以下事实中:在许多用户生成的视频中,可以识别起点、终点和这两者之间的某些客观步骤。在本文中,我们提出了一种方法来解析视频到这样的语义步骤,在无监督的方式。所提出的方法是能够提供一个语义的“故事情节”的视频组成的目标步骤。我们在一个联合生成模型中使用视觉和语言线索来实现这一点。所提出的方法还可以为所识别的语义步骤和视频片段中的每一个提供文本描述。我们在大量复杂的YouTube视频上评估了这种方法,并为这个复杂而有影响力的问题展示了前所未有的质量结果。
2016-01-27 cs.CV
Unsupervised Visual-Linguistic Reference Resolution in Instructional Videos
Stanford University(斯坦福大学);University of Southern California(南加州大学)
我们提出了一种用于教学视频中的参考分辨率的无监督方法,其中目标是在时间上链接实体(例如,“穿衣”)到动作(例如,“混合酸奶”)。关键的挑战是视频中实体的视觉外观和指称表达的变化不可避免地产生视觉语言模糊性。我们的目标是在没有监督的情况下解决引用,这一事实加剧了这一挑战。我们通过学习联合视觉语言模型来解决这些挑战,其中语言线索可以帮助解决视觉歧义,反之亦然。我们通过使用YouTube上的2000多个非结构化烹饪视频无监督地学习我们的模型来验证我们的方法,并表明我们的视觉语言模型可以大大提高教学视频中最先进的语言模型的参考分辨率。
2017-05-20 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University(乌尔姆大学);Google(谷歌);KAUST(卡尔斯鲁厄大学);TU Vienna(维也纳技术大学)
S2D通过稀疏到密集关键掩码蒸馏方法,利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Queen Mary University of London(伦敦玛丽女王大学)
视频摘要旨在通过生成简短、简洁的摘要来促进大规模视频浏览,这些摘要是多样化的,并且具有原始视频的代表性。在本文中,我们将视频摘要制定为一个顺序决策过程,并开发了一个深度摘要网络(DSN)来总结视频。DSN为每个视频帧预测一个概率,该概率指示帧被选择的可能性,然后根据概率分布采取措施来选择帧,形成视频摘要。为了训练我们的DSN,我们提出了一个端到端的,基于强化学习的框架,在那里我们设计了一个新的奖励函数,该函数联合考虑了生成的摘要的多样性和代表性,并且完全不依赖于标签或用户交互。在训练过程中,奖励函数判断生成的摘要的多样性和代表性,而DSN则通过学习生成更多样、更有代表性的摘要来争取获得更高的奖励。由于不需要标签,我们的方法可以完全无监督。在两个基准数据集上的大量实验表明,我们的无监督方法不仅优于其他最先进的无监督方法,而且与大多数已发表的监督方法相当,甚至优于它们。
2018-02-13 cs.CV
Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast
University of Oulu(奥卢大学)
针对有监督rPPG方法需真实生理信号训练的问题,提出无监督方法Contrast-Phys,用3DCNN结合时空对比损失训练,在五个数据集上性能接近最优有监督方法,且速度更快、鲁棒性更强。
2022-08-08 cs.CV
LiveSeg: Unsupervised Multimodal Temporal Segmentation of Long Livestream Videos
Adobe Research(Adobe研究院);Carnegie Mellon University(卡内基梅隆大学)
直播视频已成为在线学习的重要组成部分,经验丰富的专家在课程中教授设计,数字营销,创意绘画和其他技能,使其成为宝贵的材料。然而,直播教程视频通常长达几个小时,录制好后直接上传到互联网上,这使得其他人很难快速跟上。大纲将是一个有益的解决方案,它需要根据主题对视频进行时间分割。在这项工作中,我们引入了一个名为MultiLive的大型Livestream视频数据集,并制定了长Livestream视频(TSLLV)任务的时间分割。我们提出了LiveSeg,一个无监督的实时视频时间分割解决方案,它利用了来自不同领域的多模态特征。与最先进的方法相比,我们的方法实现了$16.8\%$ F1评分性能的改善。
2022-10-12 cs.CV
Unsupervised Methods for Video Quality Improvement: A Survey of Restoration and Enhancement Techniques
本文综述了视频恢复与增强的无监督方法,涵盖退化原因、传统与深度学习方法、域转换等核心技术分类、损失函数及合成数据集评估,并提出了未来研究方向。
2026-09-28 cs.CV
Unsupervised Videographic Analysis of Rodent Behaviour
University College London(伦敦大学学院)
动物的行为是复杂的,如果提取视频形式的数据量是丰富的。行为的人工分析受到两个不可逾越的障碍的极大限制,即行为模式的复杂性和人类偏见。自动化视觉分析有可能消除这两个问题,并实现连续分析,从而允许更高带宽的数据汇集,这对于在许多不同的时间尺度上捕获复杂的行为至关重要。行为并不局限于一个有限的模块集,因此我们只能通过推断生成分布来建模。以这种方式,可以考虑不可预测的异常行为。在这里,我们提出了一种无监督的行为分析方法,只从一个单一的,固定的角度拍摄的高清视频记录。我们证明,刻板的啮齿动物行为的识别可以以这种方式提取。
2019-10-26 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation for Video Semantic Segmentation
KAIST(韩国科学技术院)
用于语义分割的无监督领域自适应已经获得了极大的普及,因为它可以通过在很大程度上减少真实的每像素标记工作来将知识从模拟转移到真实(Sim2Real)。在这项工作中,我们提出了一个新的视频扩展这项任务,即无监督领域自适应视频语义分割。由于通过模拟获得大规模视频标签变得很容易,我们相信尝试最大限度地提高Sim2Real知识的可转移性是解决视频中基本数据饥饿问题的有希望的方向之一。为了解决这个新问题,我们提出了一种新的两阶段适应计划。在第一步中,我们使用监督损失函数详尽地提取源域知识。同时,视频对抗训练(VAT)是用来对齐的功能,从源到目标,利用视频上下文。在第二步中,我们应用视频自训练(VST),只关注目标数据。为了构造鲁棒的伪标签,我们利用视频中的时间信息,这在以前的基于图像的自训练方法中很少被探索。我们在“VIPER to CityscapeVPS”适应场景上设置了强基线分数。我们表明,我们的建议显着优于以前的基于图像的UDA方法的图像级(mIoU)和视频级(VPQ)的评估指标。
2021-09-13 cs.CV
Xp-GAN: Unsupervised Multi-object Controllable Video Generation
Faculty of Computer Engineering Amirkabi University of Technology Tehran, Iran
视频生成是机器学习中一个相对较新且受欢迎的主题,这是由于其广泛的潜在应用和众多的挑战。视频生成中的当前方法为用户提供了对所生成的视频中的对象将如何移动和定位在每个帧处的确切规范的很少或没有控制,也就是说,用户不能明确地控制视频中的每个对象应该如何移动。在本文中,我们提出了一种新的方法,允许用户移动任何数量的对象的一个单一的初始帧,只是通过绘制边界框在这些对象,然后移动这些框在所需的path. We模型利用两个自动编码器,以充分分解的运动和内容信息的视频,并实现了结果相媲美的知名基线和国家的最先进的方法。
2021-11-19 cs.CV cs.LG eess.IV
Towards Unsupervised Familiar Scene Recognition in Egocentric Videos
University of Groningen(格罗宁根大学);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
如今,人们对使用生活记录设备的兴趣高涨。这些设备会产生大量的图像数据;因此,对分析和汇总这些数据的自动方法的需求急剧增加。我们提出了一种新的方法,熟悉的场景识别自我中心的视频,通过自动配置COSFIRE过滤器的背景模式检测的基础上。我们提出了一些实验与叙事剪辑获得的自我中心的数据。
2019-05-10 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia(东英吉利大学计算科学学院)
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而,到目前为止,它已被用于像素空间中的输入样本,而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为,并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N,我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
Unsupervised Microscopy Video Denoising
School of Computing, Clemson University(克莱姆森大学计算学院);The Medical University of South Carolina(南卡罗来纳医科大学)
本文提出一种无监督深度时间插值网络,利用底层CNN中的时间信号滤波器,无需噪声先验即可去噪显微镜视频,实验证明其性能优于现有监督与无监督方法。
2024-04-17 cs.CV eess.IV
Unsupervised Domain Adaptation by Uncertain Feature Alignment
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
无监督领域自适应(UDA)处理模型从具有标记数据的给定源域到未标记目标域的自适应。在本文中,我们利用模型固有的预测不确定性来完成领域自适应任务。的不确定性是衡量的蒙特卡洛辍学,并用于我们提出的不确定性为基础的过滤和功能对齐(UFAL),结合了不确定性的功能损失(UFL)功能和不确定性为基础的过滤(UBF)的方法在欧几里得空间的功能对齐。我们的方法超越了最近提出的架构,并在多个具有挑战性的数据集上取得了最先进的结果。代码可在项目网站上获得。
2020-09-14 cs.CV
Generative Cooperative Learning for Unsupervised Video Anomaly Detection
Electronics Telecommunications Research Institute(电子电信研究院);Univ. of Science Technology(科学技术大学);ETH Zurich(苏黎世联邦理工学院);Information Technology Univ(信息技术大学);Mohamed bin Zayed Univ. of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
视频异常检测在弱监督和一类分类(OCC)环境中得到了很好的研究。然而,无监督的视频异常检测方法是相当稀疏的,可能是因为异常发生的频率较低,通常没有明确定义,这与地面实况监督的缺乏相结合时,可能会对学习算法的性能产生不利影响。这个问题是具有挑战性的,但有益的,因为它可以完全消除获得费力的注释的成本,并使这样的系统能够在没有人为干预的情况下部署。为此,我们提出了一种新的无监督生成协作学习(GCL)的视频异常检测方法,利用低频率的异常对建立一个发电机和一个发电机之间的交叉监督。从本质上讲,两个网络都是以合作的方式进行训练的,从而允许无监督学习。我们在两个大规模视频异常检测数据集UCF crime和ShanghaiTech上进行了大量的实验。对现有最先进的无监督和OCC方法的持续改进证实了我们方法的有效性。
2022-03-08 cs.CV
VVitCutLER: Towards Unsupervised Object Detection and Segmentation in Videos
RPTU University of Kaiserslautern-Landau(莱茵-瓦尔德大学凯撒斯劳滕-兰道分校);German Research Center for Artificial Intelligence(德国人工智能研究中心)
该研究提出VVitCutLER框架,通过引入时间一致性提升视频中伪标签的质量,从而改进目标检测和实例分割的性能,减少时间不稳定性。
2026-05-11 cs.CV
Exploiting Robust Unsupervised Video Person Re-identification
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
无监督视频人物再识别(reID)方法通常依赖于全局级特征。许多有监督的reID方法采用局部特征,并取得了显着的性能改进。然而,将局部特征应用于无监督方法可能会引入不稳定的性能。为了提高无监督视频识别的性能稳定性,提出了一种融合部分模型和无监督学习的通用方案。在该方案中,全局级特征被划分为相等的局部级特征。局部感知模块用于探索局部特征在无监督学习中的潜力。提出了一个全局感知的模块来克服局部特征的缺点。来自这两个模块的特征被融合以形成针对每个输入图像的鲁棒特征表示。这种特征表示具有局部特征的优点,而没有遭受其缺点。在PRID 2011、iLIDS-VID和DukeMTMC-VideoReID三个基准测试平台上进行了综合实验,实验结果表明,该方法具有较好的性能。广泛的消融研究表明,所提出的方案,局部感知模块和全局感知模块的有效性和鲁棒性。代码和生成的功能可在https://github.com/deropty/uPMnet上获得。
2022-02-12 cs.CV
Video Interpolation and Prediction with Unsupervised Landmarks
NVIDIA Corporation(英伟达公司)
长距离视频数据的预测和插值涉及对每个可见对象的运动轨迹、遮挡和非遮挡以及由于视点和照明引起的外观变化进行建模的复杂任务。基于光流的技术一般化,但仅适用于短时间范围。许多方法选择将视频帧投影到低维潜在空间,实现远程预测。然而,这些潜在的表征通常是不可解释的,因此难以操纵。这项工作提出了视频预测和插值作为无监督的潜在结构推理,然后在这个潜在空间的时间预测。潜在的表示捕捉前景语义,而没有显式的监督,如关键点或姿势。此外,由于每个地标可以被映射到指示语义部分位于何处的坐标,因此我们可以在坐标域内可靠地插值以实现可预测的运动插值。鉴于图像解码器能够将这些地标映射回图像域,我们能够通过在地标表示空间上操作来实现高质量的长距离视频内插和外插。
2019-09-06 cs.CV cs.LG stat.ML
Boosting Unsupervised Video Instance Segmentation with Automatic Quality-Guided Self-Training
Technical University of Denmark(丹麦技术大学)
AutoQ-VIS通过质量引导的自训练方法,在无需人工标注的情况下实现了无监督视频实例分割的最新性能。
2025-12-07 cs.CV
AutoQ-VIS: Improving Unsupervised Video Instance Segmentation via Automatic Quality Assessment
Technical University of Denmark(技术大学)
AutoQ-VIS提出质量引导自训练闭环框架,通过自动质量评估弥合合成到真实域差距,在YouTubeVIS-2019上以52.6 AP50超越VideoCutLER 4.4%,实现无监督视频实例分割新SOTA。
2025-08-27 cs.CV
Unsupervised Video Object Segmentation using Motion Saliency-Guided Spatio-Temporal Propagation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工学院暨州立大学)
无监督视频分割在从对象识别到压缩的各种应用中起着重要作用。然而,到目前为止,快速运动、运动模糊和遮挡带来了重大挑战。为了解决无监督视频分割的这些挑战,我们开发了一种新的显着性估计技术,以及一种新的邻域图,基于光流和边缘线索。我们的方法导致显着更好的初始前景背景估计和他们的鲁棒性以及准确的扩散随着时间的推移。我们在具有挑战性的DAVIS,SegTrack v2和FBMS-59数据集上评估了我们提出的算法。尽管只使用了在200张图像上训练的标准边缘检测器,但我们的方法在无监督设置中获得了最先进的结果,优于基于深度学习的方法。我们甚至在DAVIS数据集的半监督设置中展示了与基于深度学习的方法相当的竞争结果。
2018-09-04 cs.CV
UnOVOST: Unsupervised Offline Video Object Segmentation and Tracking
RWTH Aachen University(亚琛工业大学)
我们解决了无监督视频对象分割(UVOS),自动生成准确的像素掩模的视频序列中的突出对象,并跟踪这些对象始终通过时间,没有任何输入的对象应该被跟踪的任务。为了解决这个问题,我们提出了UnOVOST(无监督离线视频对象分割和跟踪)作为一个简单的和通用的算法,它能够跟踪和分割各种各样的对象。该算法在多个阶段中建立轨迹,首先将片段分组为时空一致的短轨迹,然后基于它们的视觉相似性将这些轨迹合并为长期一致的对象轨迹。为了实现这一目标,我们引入了一种新的基于tracklet的森林路径切割数据关联算法,该算法建立了一个决策森林的轨道假设,然后将此森林切割成形成长期一致的对象轨道的路径。在DAVIS 2017无监督数据集上评估我们的方法时,我们获得了最先进的性能,平均J &F得分为val的67.9%,测试开发的58%和测试挑战基准的56.4%,在DAVIS 2019无监督视频对象分割挑战赛中获得第一名。UnOVOST甚至可以与许多半监督视频对象分割算法竞争,即使它没有给出任何关于应该跟踪和分割哪些对象的输入。
2020-01-15 cs.CV