3D human pose estimation in video with temporal convolutions and semi-supervised training
ETH Zürich(苏黎世联邦理工学院);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
在这项工作中,我们证明了视频中的3D姿势可以有效地估计与完全卷积模型的基础上,在2D关键点的膨胀时间卷积。我们还介绍了反向投影,这是一种简单有效的半监督训练方法,它利用了未标记的视频数据。我们从未标记视频的预测2D关键点开始,然后估计3D姿势,最后反向投影到输入的2D关键点。在监督设置中,我们的全卷积模型在Human3.6M上的每个关节平均位置误差为6 mm,比文献中的最佳结果高出11%,并且该模型在HumanEva-I上也显示出显着的改进。此外,反向投影的实验表明,它在标记数据稀缺的半监督设置中的表现优于以前的最先进的结果。代码和模型可在https://github.com/facebookresearch/VideoPose3D上获得
2019-03-29 cs.CV
Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们解决了一个新的任务,即弱监督的时空接地视频中的自然句子。具体来说,给定一个自然句子和一个视频,我们在视频中定位一个时空管,它在语义上对应于给定的句子,在训练过程中不依赖任何时空注释。首先,从视频中提取一组时空管,称为实例。然后,我们编码这些实例和句子使用我们提出的专注的交互器,可以利用它们的细粒度的关系来表征它们的匹配行为。除了排名损失,一种新的多样性损失被引入到训练所提出的专注的交互器,以加强匹配行为的可靠的实例-句子对和惩罚不可靠的。此外,我们还基于ImageNet视频目标检测数据集贡献了一个名为VID-sentence的数据集,作为我们任务的基准。大量的实验结果表明,我们的模型优于基线方法。
2019-06-06 cs.CV
SMATE: Semi-Supervised Spatio-Temporal Representation Learning on Multivariate Time Series
DAVID Lab(DAVID实验室);University of Versailles(凡尔赛大学);Université Paris-Saclay(巴黎萨克雷大学)
近年来,从多变量时间序列中学习引起了广泛的关注。特别是,标签短缺是一个真正的挑战,MTS上的分类任务,考虑到其复杂的维度和顺序的数据结构。与依赖于基于距离的分类器的自我训练和积极的未标记学习不同,在本文中,我们提出了SMATE,一种新的半监督模型,用于从弱标记MTS中学习可解释的时空表示。我们从UEA MTS存档的30个公共数据集上经验验证了学习的表示。我们将其与完全监督任务的13种最先进的基线方法和半监督任务的4种基线进行了比较。结果表明,我们提出的方法的可靠性和有效性。
2021-10-10 cs.AI cs.LG
SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化研究院);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院)
本文提出SemiSAM策略,利用SAM生成的伪标签作为额外监督,在标注极少时显著提升半监督医学图像分割性能,并具备即插即用效率。
2024-10-23 cs.CV
Semi-Supervised Semantic Segmentation with High- and Low-level Consistency
University of Freiburg(弗莱堡大学)
从有限的标记数据中理解视觉信息的能力是机器学习的一个重要方面。虽然图像级分类已经在半监督环境中被广泛研究,但具有有限数据的密集像素级分类最近才引起注意。在这项工作中,我们提出了一种半监督语义分割的方法,学习有限的像素明智的注释样本,同时利用额外的无注释图像。它使用两个网络分支,将半监督分类与半监督分割(包括自训练)联系起来。双分支方法减少了在使用少量标签进行训练时典型的低级和高级伪影。该方法与现有方法相比有了显着的改进,特别是在使用很少的标记样本进行训练时。在几个标准基准测试中- PASCAL VOC 2012,PASCAL-Context和Cityscapes -该方法在半监督学习中达到了最先进的水平。
2019-08-15 cs.CV
Adaptive Spatio-Temporal Graphs with Self-Supervised Pretraining for Multi-Horizon Weather Forecasting
School of Computer Science, Xiangtan University, Xiangtan, 411105, China(计算机学院,湘潭大学,湘潭,411105,中国)
提出一种结合图神经网络与自监督预训练的自适应时空图框架,通过时空自适应机制提升多变量、多时间跨度天气预报的准确性与泛化能力。
2025-10-28 cs.AI cs.LG
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
转向较少监督场景的方法是图像分割的关键,因为密集标签需要大量的人为干预。一般来说,通过用较弱的监督形式标记数据集来减轻注释负担,例如图像级标签或边界框。另一种选择是半监督设置,通常利用一些强注释和大量未标记/弱标记数据。在本文中,我们重新审视了半监督分割方案,并与以前的方法相比显着缩小了注释预算(就训练集的总标记时间而言)。通过一个非常简单的管道,我们证明了在低注释预算下,半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品,大大降低了标签成本。我们提出了Pascal VOC基准测试的结果,并通过考虑总注释预算来统一弱监督和半监督方法,从而使方法之间的比较更加公平。
2019-05-23 cs.CV
Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction
University of Shanghai for Science and Technology(上海理工大学);Capital One(第一资本)
针对长期交通预测中动态时空依赖难捕捉的问题,提出融合混合Transformer、切比雪夫图卷积与两项时空自监督学习任务的模型,经自适应数据增强提升鲁棒性,在PeMS04、PeMS08数据集上表现更优。
2024-01-29 cs.AI cs.LG
Change is Everywhere: Single-Temporal Supervised Object Change Detection in Remote Sensing Imagery
Wuhan University(武汉大学)
本文提出单时相监督学习(STAR)框架,利用非成对图像中的目标变化作为监督信号,并设计ChangeStar检测器,仅需非成对标注图像即可训练高精度变化检测器,显著优于基线。
2023-10-14 cs.CV
Momentum-Guided Semantic Forecasting (MoFore) for Self-Supervised Video Representation Learning
Qinwu Xu, PhD(秦武 Xu 博士)
提出MoFore框架,通过预测未来潜在嵌入进行自监督视频表示学习,结合对比正则化防止表示崩溃,在UCF101上验证了时间一致性和语义结构。
2026-06-16 cs.AI cs.CV cs.LG
Time-to-Label: Temporal Consistency for Self-Supervised Monocular 3D Object Detection
University of Genoa(热那亚大学);Technical University of Munich(慕尼黑工业大学);Google Inc.(谷歌公司)
单目3D目标检测由于RGB相机的成本优势和更广泛的可用性而继续吸引关注。尽管最近的进步和大规模采集数据的能力,注释成本和复杂性仍然限制了监督设置中的3D目标检测数据集的大小。另一方面,自监督方法旨在依靠借口任务或各种一致性约束来训练深度网络。此外,其他3D感知任务(如深度估计)已经显示出时间先验作为自我监督信号的好处。在这项工作中,我们认为,时间上的一致性的水平上的对象构成,提供了一个重要的监督信号的物理运动的强先验。具体来说,我们提出了一个自我监督的损失,它使用这种一致性,除了渲染和比较损失,以完善嘈杂的姿态预测,并获得高质量的伪标签。为了评估所提出的方法的有效性,我们微调一个综合训练的单目3D目标检测模型,使用我们在真实数据上生成的伪标签。在标准KITTI 3D基准测试中的评估表明,与其他单目自监督和监督方法相比,我们的方法达到了有竞争力的性能。
2022-03-04 cs.CV cs.RO
Interpolation-based semi-supervised learning for object detection
Seoul National University(首尔国立大学);Aalto University(阿尔托大学);Mila Université de Montréal(蒙特利尔大学米拉研究所);SK hynix(SK海力士)
尽管目标检测任务的数据标记成本远高于分类任务,但用于目标检测的半监督学习方法还没有得到太多的研究。本文提出了一种基于插值的半监督学习目标检测方法(ISD),该方法考虑并解决了传统的插值正则化(IR)直接应用于目标检测所带来的问题。我们根据IR中混合的两个原始补丁的对象性得分将模型的输出分为两种类型。然后,我们以无监督的方式应用适合于每种类型的单独损失。提出的损失显着提高性能的半监督学习以及监督学习。在监督学习设置中,我们的方法显著地改进了基线方法。在半监督学习环境中,我们的算法提高了性能的基准数据集(PASCAL VOC和MSCOCO)在基准架构(SSD)。
2020-12-29 cs.CV
Self-Supervised Dynamic Graph Representation Learning via Temporal Subgraph Contrast
Nanjing University of Posts and Telecommunications(南京邮电大学)
图上的自监督学习由于其独立于标签和表示的鲁棒性而引起了人们的广泛关注。目前的研究主要是利用图的结构等静态信息,而不能很好地捕捉边的时间戳等动态信息。真实图通常是动态的,这意味着节点之间的交互发生在特定的时间。提出了一种自监督动态图表示学习框架(DySubC),该框架定义了一个时态子图对比学习任务来同时学习动态图的结构和演化特征。首先提出了一种新的时间子图采样策略,该策略以动态图的每个节点为中心节点,同时利用邻域结构和边时间戳对相应的时间子图进行采样。在对每个子图中的节点进行编码后,根据邻域节点对中心节点的影响设计子图表示函数。最后,定义了结构对比损失和时态对比损失,以最大化节点表示和时态子图表示之间的互信息。在5个真实数据集上的实验表明:(1)DySubC在下游链接预测任务中的表现优于相关基线,包括2个图对比学习模型和4个动态图表示学习模型;(2)时间信息的使用不仅可以采样更多有效的子图,而且可以通过时间对比损失学习更好的表示。
2021-12-16 cs.AI cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Spatial-Temporal Hypergraph Self-Supervised Learning for Crime Prediction
South China University of Technology(华南理工大学);Simon Fraser University(西蒙弗雷泽大学);Musketeers Foundation Institute of Data Science(火枪手基金会数据科学研究院);University of Hong Kong(香港大学)
犯罪已成为许多城市的主要问题,这就要求及时预测全市犯罪发生的需求不断上升。准确的犯罪预测结果对于政府的事前决策、缓解人们对公共安全的日益关注至关重要。虽然许多努力已经致力于提出各种时空预测技术,以探索跨位置和时间段的依赖性,其中大多数遵循监督学习的方式,这限制了他们的时空表示能力稀疏的犯罪数据。受最近自监督学习成功的启发,本文提出了一个时空超图自监督学习框架(ST-HSL)来解决犯罪预测中的标签稀缺问题。具体来说,我们提出了跨区域超图结构学习编码区域明智的犯罪依赖下,整个城市空间。此外,我们设计的双阶段自监督学习范式,不仅共同捕捉本地和全球层面的时空犯罪模式,但也补充稀疏犯罪表示,通过增强区域自我歧视。我们在两个现实生活中的犯罪数据集上进行了广泛的实验。评估结果表明,我们的ST-HSL显著优于最先进的基线。进一步的分析提供了我们的ST-HSL方法在时空犯罪模式的表示的优越性的见解。实现代码可在https://github.com/LZH-YS1998/STHSL上获得。
2022-05-07 cs.AI cs.CY cs.LG
Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室);University of Hong Kong(香港大学);JD Intelligent Cities Research(京东智能城市研究院);JD Technology(京东科技)
针对现有交通流预测方法未充分考虑时空异质性的问题,提出ST-SSL框架,通过自适应图增强和双SSL辅助任务提升表征能力,在四个基准数据集上性能优于先进基线,可为其他时空应用提供参考。
2024-03-06 cs.AI cs.LG
Weakly-supervised Temporal Path Representation Learning with Contrastive Curriculum Learning -- Extended Version
Aalborg University(奥尔堡大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);HEC Montreal(蒙特利尔高等商学院)
随着交通的数字化,我们正在见证越来越多的基于路径的智慧城市应用,例如,行程时间估计和行程路径排序。时间路径(TP)包括时间信息,例如,离开时间,进入路径是基本的,使这样的应用程序。在这种情况下,必须学习通用时间路径表示(TPR),这些TPR同时考虑空间和时间相关性,并且可以用于不同的应用,即,下游任务。现有的方法无法实现这一目标,因为(i)监督方法在训练时需要大量特定于任务的标签,因此无法将获得的TPR推广到其他任务;(ii)通过无监督方法可以学习通用表示,它们忽略了时间方面,导致次优结果。为了克服现有解决方案的局限性,我们提出了一个弱监督对比(WSC)学习模型。首先,我们提出了一个时间路径编码器,编码的时间路径的空间和时间信息到TPR。为了训练编码器,我们引入容易且廉价获得并且与不同任务相关的弱标记,例如,时间标签指示从出发时间开始的高峰时段和非高峰时段。基于弱标签,我们通过考虑空间和时间信息来构造有意义的正和负时间路径样本,这便于使用对比学习来训练编码器,通过拉近正样本的表示而推开负样本的表示。为了更好地指导对比学习,我们提出了一种基于课程学习的学习策略,使学习从容易的训练实例到困难的训练实例。实验研究验证了该方法的有效性。
2022-04-15 cs.AI cs.LG
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Exploiting Temporality for Semi-Supervised Video Segmentation
University of Amsterdam(阿姆斯特丹大学);TomTom(汤姆汤姆公司);VU Amsterdam(阿姆斯特丹自由大学)
近年来,有监督图像分割技术取得了显著的进展。视频分割较少探索,尽管时间维度是高度信息化的。可以通过合并来自先前帧的信息来推断例如在当前帧中不能准确检测的语义标签。然而,由于需要处理的数据量以及更重要的是获得每帧的地面实况注释所涉及的成本,视频分割是具有挑战性的。在本文中,我们通过使用视频的连续帧来解决标签稀缺的问题,其中只有一帧被注释。我们提出了一个深度的、端到端的可训练模型,该模型利用时间信息来利用易于获取的未标记数据。我们的网络架构依赖于两个组件的新型互连:一个完全卷积网络,用于对空间信息和时间单元进行建模,这些时间单元用于卷积网络的中间层,以便通过时间传播信息。这项工作的主要贡献是通过网络的时间信号的指导。我们表明,只有放置一个时间模块之间的编码器和解码器是次优(基线)。我们在CityScapes数据集上进行的大量实验表明,所得到的模型可以利用未标记的时间帧,并且显著优于逐帧图像分割和基线方法。
2019-08-29 cs.CV cs.LG eess.IV
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology(华中科技大学)
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中,我们专注于应用自我监督方法的力量,以提高半监督行动建议生成。特别地,我们设计了一个有效的自监督半监督时态动作建议(SSTAP)框架。SSTAP包含两个关键分支,即,时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型,即,时间特征转移和时间特征翻转,在平均教师框架。自监督分支定义了两个托词任务,包括掩蔽特征重构和裁剪顺序预测,以学习时间线索之间的关系。通过这种方式,SSTAP可以更好地探索未标记的视频,并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明,SSTAP显着优于最先进的半监督方法,甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation
National University of Singapore(新加坡国立大学)
我们提出了一个半监督学习的时间动作分割任务的方法。该任务的目标是在时间上检测和分割动作长,未修剪的程序视频,其中只有一小部分视频是密集标记的,和大量的视频未标记。为此,我们提出了两个新的损失函数的未标记的数据:一个行动的亲和力损失和行动的连续性损失。动作亲和损失通过施加从标记集合诱导的动作先验来引导未标记样本学习。动作连续性损失加强了动作的时间连续性,这也提供了逐帧分类监督。此外,我们提出了一种自适应边界平滑(ABS)方法来构建更粗糙的动作边界,以实现更强大和可靠的学习。建议的损失函数和ABS进行了评估的三个基准。结果表明,他们显着提高了动作分割性能与少量(5%和10%)的标记数据,并取得了可比的结果与50%的标记数据的全面监督。此外,ABS成功地提高了性能时,集成到全监督学习。
2022-07-21 cs.AI cs.CV
Self-supervised Learning for Semi-supervised Temporal Language Grounding
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市智能信息处理重点实验室)
给定文本描述,时间语言基础(TLG)的目的是本地化的片段,包含指定的语义在一个未修剪的视频的时间边界。TLG本质上是一项具有挑战性的任务,因为它需要全面理解句子语义和视频内容。以前的作品要么在需要大量时间注释的完全监督设置中处理此任务,要么在通常无法实现令人满意的性能的弱监督设置中处理此任务。由于人工标注的成本很高,为了处理有限的标注,我们通过引入自监督学习以半监督的方式处理TLG,并提出了自监督半监督时态语言基础(S^4TLG)。S^4TLG由两部分组成:(1)伪标签生成模块,基于教师模型的预测自适应地为未标记的样本生成即时伪标签;(2)具有模态间和模态内对比损失的自监督特征学习模块,以在视频内容一致性和视频-文本对齐的约束下学习视频特征表示。我们在ActivityNet-CD-OOD和Charades-CD-OOD数据集上进行了广泛的实验。结果表明,我们提出的S^4TLG可以实现有竞争力的性能相比,完全监督的国家的最先进的方法,而只需要一小部分的时间注释。
2021-12-06 cs.CV
Weakly-Supervised Temporal Action Detection for Fine-Grained Videos with Hierarchical Atomic Actions
University of California, Berkeley(加州大学伯克利分校);Tencent America(美国腾讯公司);Pennsylvania State University(宾夕法尼亚州立大学)
动作理解已经发展到细粒度的时代,因为现实生活中大多数人类行为只有微小的差异。为了以标签有效的方式准确地检测这些细粒度动作,我们首次解决了视频中弱监督细粒度时间动作检测的问题。如果没有仔细的设计来捕捉细粒度动作之间的细微差异,以前用于一般动作检测的弱监督模型在细粒度设置中不能很好地执行。我们建议将动作建模为通过自监督聚类从数据中自动发现的可重用原子动作的组合,以捕获细粒度动作的共性和个性。由视觉概念表示的学习的原子动作被进一步映射到利用语义标签层次结构的精细和粗略动作标签。我们的方法构建了一个可视化的表示层次结构的四个级别:剪辑级,原子动作级,精细动作类级和粗糙的动作类级,在每个级别的监督。在两个大规模细粒度视频数据集FineAction和FineGym上进行的大量实验表明,我们提出的弱监督模型在细粒度动作检测方面具有优势,并取得了最先进的结果。
2022-07-24 cs.AI cs.CV
Iterative Contrast-Classify For Semi-supervised Temporal Action Segmentation
National University of Singapore(新加坡国立大学)
时间动作分割是对长视频序列中每一帧的动作进行分类。由于逐帧标记的成本很高,我们提出了第一个半监督的时间动作分割方法。我们的方法取决于无监督的表示学习,这对于时间动作分割来说是一个独特的挑战。未修剪视频中的动作长度各不相同,并且具有未知的标签和开始/结束时间。跨视频的动作的顺序也可能不同。我们提出了一种新的方法来学习从时间卷积网络(TCN)的逐帧表示通过聚类输入功能添加时间接近条件和多分辨率相似性。通过将表示学习与传统的监督学习相结合,我们提出了一种“迭代-对比-分类(ICC)”的半监督学习方案。随着更多的标记数据,ICC的性能逐渐提高; ICC半监督学习,40%的标记视频,表现类似于完全监督的同行。对于100%标记的视频,我们的ICC在早餐、50份沙拉和GTEA上分别将MoF提高{+1.8,+5.6,+2.5}%。
2021-12-08 cs.CV
C2F-TCN: A Framework for Semi and Fully Supervised Temporal Action Segmentation
National University of Singapore(新加坡国立大学)
时间动作分割为包含序列中的多个动作的输入未修剪视频中的每个帧标记动作标签。对于时间动作分割的任务,我们提出了一个编码器-解码器风格的架构命名为C2F-TCN具有“粗到细”的整体解码器输出。C2F-TCN框架增强了一种新的模型不可知的时间特征增强策略,该策略由计算成本低廉的随机最大池化段策略形成。它在三个基准动作分割数据集上产生更准确和校准良好的监督结果。我们表明,该架构是灵活的监督和表示学习。根据这一点,我们提出了一种新的无监督的方法来学习C2F-TCN的逐帧表示。我们的无监督学习方法取决于输入特征的聚类能力和从解码器的隐式结构形成多分辨率特征。此外,我们通过将表示学习与传统的监督学习相结合,提供了第一个半监督的时间动作分割结果。我们的半监督学习方案,称为"迭代-对比-分类(ICC分类)“,通过更多的标记数据逐步提高性能。C2F-TCN中的ICC半监督学习,具有40%的标记视频,与完全监督的同行表现相似。
2022-12-20 cs.CV
Learning Temporal Action Proposals With Fewer Labels
Stanford University(斯坦福大学)
时间动作建议是当今动作检测管道中的常见模块。目前大多数用于训练动作建议模块的方法依赖于完全监督的方法,该方法需要长视频序列中的大量注释的时间动作间隔。大量的成本和精力在注释,这需要促使我们研究的问题,培训建议模块较少的监督。在这项工作中,我们提出了一个半监督学习算法,专门设计用于训练时间的行动建议网络。当只有少量标签可用时,我们的半监督方法生成的建议明显优于完全监督的对应方法和其他强半监督基线。我们在两个具有挑战性的动作检测视频数据集ActivityNet v1.3和THUMOS 14上验证了我们的方法。我们表明,我们的半监督方法始终匹配或优于完全监督的最先进的方法。
2019-10-03 cs.CV
Self-supervised Temporal Discriminative Learning for Video Representation Learning
Sun Yat-sen University(中山大学);Hong Kong Baptist University(香港浸会大学)
视频中的时间线索为准确识别动作提供了重要信息。然而,如果不使用带注释的大规模视频动作数据集进行训练,则很难提取时间区分特征。本文提出了一种新的基于视频的时间判别学习(VTDL)框架,在自我监督的方式。在没有标记数据进行网络预训练的情况下,通过使用相同或不同时间间隔的片段为每个锚视频生成时间三元组,以增强时间特征表示的能力。通过时间导数测量时间信息,时间一致增强(TCA)旨在确保增强的正的时间导数(以任何顺序)是不变的,除了缩放常数。最后,通过最小化每个锚点与其增强的正片之间的距离来学习时间区分特征,而每个锚点与其增强的负片以及保存在存储体中的其他视频之间的距离被最大化以丰富表示多样性。在下游的动作识别任务中,所提出的方法显着优于现有的相关工作。令人惊讶的是,当使用小规模视频数据集(只有数千个视频)进行预训练时,所提出的自监督方法优于UCF 101和HMDB 51上的全监督方法。该守则已在https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition上公布。
2020-08-05 cs.CV
PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training
University of Oulu(奥卢大学);Center for Machine Vision and Signal Analysis (CMVS)(机器视觉与信号分析中心)
提出首个长时空图rPPG Transformer网络PhySU-Net及自监督预训练策略,利用传统方法和图像掩码生成伪标签,在OBF和VIPL-HR数据集上表现优越,有效缓解数据稀缺问题。
2024-02-19 cs.CV
Connectionist Temporal Modeling for Weakly Supervised Action Labeling
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
我们提出了一个弱监督的框架,用于视频中的动作标记,在训练时间内只需要动作发生的顺序。关键的挑战是输入(视频)和标签(动作)序列之间的每帧对齐在训练期间是未知的。我们通过引入扩展连接主义时间分类(ECTC)框架来解决这个问题,通过动态规划来有效地评估所有可能的对齐,并明确地执行它们与帧到帧视觉相似性的一致性。这可以保护模型免受视觉上不一致或退化对齐的干扰,而无需时间监督。我们进一步扩展我们的框架时,在视频中稀疏注释的几个帧的半监督的情况下。每个视频的标记帧不到1%,我们的方法能够优于现有的半监督方法,并实现与完全监督方法相当的性能。
2016-07-28 cs.CV
PSEE: Progressive Sensor Event Expansion for Point-Supervised Temporal Action Localization
针对点监督时间动作定位中伪片段质量差的问题,提出PSEE方法,结合语义激活、传感器转换证据和自适应时间归属生成伪片段,在四个惯性基准上提升边界质量并兼容多种检测器。
2026-09-21 cs.CV
TimeBalance: Temporally-Invariant and Temporally-Distinctive Video Representations for Semi-Supervised Action Recognition
University of Central Florida(中佛罗里达大学)
与图像相比,半监督学习更有利于视频领域,因为它具有更高的注释成本和维度。此外,任何视频理解任务都需要在空间和时间维度上进行推理。为了学习半监督动作识别任务的静态和运动相关特征,现有方法依赖于硬输入感应偏差,例如使用两种模态(RGB和光流)或不同回放速率的两个流。我们没有通过不同的输入流使用未标记的视频,而是依赖于自监督视频表示,特别是,我们使用时间不变和时间独特的表示。我们观察到,这些表征根据动作的性质而相互补充。基于这一观察,我们提出了一个学生-教师半监督学习框架TimeBalance,在这个框架中,我们从一个时间不变的和一个时间不同的教师中提取知识。根据未标记的视频的性质,我们动态地结合这两个教师的知识的基础上,一种新的基于时间相似性的重新加权方案。我们的方法在三个动作识别基准测试中达到了最先进的性能:UCF 101,HMDB 51和Kinetics 400。代码:https://github.com/DAVEISHAN/TimeBalance
2023-03-28 cs.CV cs.LG
Can Temporal Information Help with Contrastive Self-Supervised Learning?
The Johns Hopkins University(约翰斯·霍普金斯大学);Facebook AI Research(Facebook人工智能研究院);Facebook Reality Labs(Facebook现实实验室)
利用时间信息被认为是开发视频理解模型的关键。然而,如何正确地将时间信息纳入最近成功的基于实例判别的对比自监督学习(CSL)框架仍然不清楚。作为一个直观的解决方案,我们发现,直接应用时间增强没有帮助,甚至损害视频CSL一般。这种违反直觉的观察促使我们重新设计现有的视频CSL框架,以更好地整合时间知识。为此,我们提出了时间感知对比自监督学习TaCo,作为一个通用的范例,以提高视频CSL。具体来说,TaCo选择一组时间变换不仅作为强数据增强,而且还构成额外的自我监督视频理解。通过将实例与丰富的时间变换进行联合对比,并将这些变换作为自监督信号进行学习,TaCo可以显著增强无监督视频表示学习。例如,TaCo在一系列主干和CSL方法的下游分类任务中表现出一致的改进。我们最好的模型达到了85.1%(UCF-101)和51.6%(HMDB-51)的top-1准确率,这比以前的最先进水平分别提高了3%和2.4%。
2020-11-25 cs.CV
Exploring the Temporal Consistency for Point-Level Weakly-Supervised Temporal Action Localization
University of Chinese Academy of Science, Beijing,100190, China(中国科学院大学);Macquarie University(麦考瑞大学)
本文提出一种多任务学习框架,通过三个自监督任务提升点监督时间动作定位的模型时间理解能力,验证了在四个基准数据集上的有效性。
2026-09-16 cs.CV
Video Playback Rate Perception for Self-supervisedSpatio-Temporal Representation Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
在自监督时空表示学习中,时间分辨率和长短期特性尚未得到充分探索,这限制了学习模型的表示能力。在本文中,我们提出了一种新的自我监督的方法,称为视频回放速率感知(PRP),学习时空表示在一个简单而有效的方式。PRP起源于一种扩张的采样策略,它产生关于视频回放速率的自我监督信号,用于表示模型学习。PRP实现了一个特征编码器,一个分类模块,和一个重建解码器,以实现时空语义保持在一个合作的歧视产生的方式。歧视性感知模型遵循特征编码器,通过对快进速率进行分类来优先感知低时间分辨率和长期表示。通过引入运动-注意力机制,生成感知模型充当特征解码器以专注于理解高时间分辨率和短期表示。PRP应用于典型的视频目标任务,包括动作识别和视频检索。实验表明,PRP优于最先进的自监督模型,具有显着的利润率。代码可在github.com/yuanyao366/PRP上获得
2020-06-20 cs.CV
Weakly Supervised Temporal Adjacent Network for Language Grounding
University of Science and Technology of China(中国科学技术大学)
时间语言背景是视觉和语言理解的一个基本而又具有挑战性的问题。现有的方法主要集中在训练的时间边界标签的完全监督设置,然而,遭受昂贵的注释成本。在这项工作中,我们致力于弱监督TLG,其中多个描述句子被赋予一个未经修剪的视频没有时间边界标签。在这项任务中,关键是要学习句子语义和视觉内容之间的强跨模态语义对齐。为此,我们引入了一种新的弱监督时间相邻网络(WSTAN)的时间语言接地。具体地说,WSTAN学习跨模态语义对齐利用时间相邻网络的多实例学习(MIL)范式,与整个描述段落作为输入。此外,我们将一个补充分支集成到框架中,该框架明确地从MIL阶段使用伪监督来细化预测。在MIL分支和互补分支上设计了一个额外的自鉴别损失,旨在通过自监督来增强语义鉴别。在\emph{i.e.}、ActivityNet-Captions、Charades-STA和DiDeMo三个广泛使用的基准数据集上进行了大量的实验,实验结果证明了该方法的有效性。
2021-06-30 cs.CV
Learning from Temporal Gradient for Semi-supervised Action Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);The City University of New York(纽约城市大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance(字节跳动)
半监督视频动作识别往往使深度神经网络即使在标记数据非常有限的情况下也能实现卓越的性能。然而,现有的方法主要是从当前的基于图像的方法(例如,FixMatch)。如果没有专门利用时间动态和固有的多模态属性,他们的结果可能是次优的。为了更好地利用视频中编码的时间信息,本文引入时间梯度作为一种额外的模态,以进行更细致的特征提取。具体地说,我们的方法明确地从时间梯度(TG)中提取细粒度的运动表示,并在不同模态之间施加一致性(即,RGB和TG)。在推理过程中不需要额外的计算和参数,半监督动作识别的性能得到了显著的提高。我们的方法在三个视频动作识别基准上实现了最先进的性能(即,动力学-400,UCF-101和HMDB-51)在几种典型的半监督设置(即,标记数据的不同比率)。
2022-04-23 cs.CV
Segregated Temporal Assembly Recurrent Networks for Weakly Supervised Multiple Action Detection
Hikvision Research Institute(海康威视研究院);Shanghai Jiaotong University(上海交通大学);Zhejiang University(浙江大学)
提出了一种用于弱监督多动作检测的隔离时间组装递归(STAR)网络。该模型从未经修剪的视频中学习,仅对视频级标签进行监督,并预测多个动作的间隔。具体来说,我们首先组装视频剪辑根据类标签的注意力机制,学习类变量的注意力权重,从而帮助消除噪音的背景或其他行动。其次,我们通过将组装的特征馈送到增强的递归神经网络中来建立动作之间的时间关系。最后,我们将递归神经网络的输出转换成相应的动作分布。为了生成更精确的时间建议,我们设计了一个分数术语称为隔离的时间梯度加权类激活映射(ST-GradCAM)融合注意力权重。在THUMOS'14和ActivityNet1.3数据集上的实验表明,我们的方法优于最先进的弱监督方法,并且与完全监督方法相当。
2018-11-19 cs.CV
Weakly Supervised Action Localization by Sparse Temporal Pooling Network
University of California(加利福尼亚大学);Google(谷歌);Seoul National University(首尔国立大学)
我们提出了一个弱监督的时间动作定位算法的未修剪的视频使用卷积神经网络。我们的算法从视频级别的类标签中学习,并预测人类动作的时间间隔,而不需要时间定位注释。我们设计我们的网络,以确定一个稀疏的子集的关键段与目标动作在视频中使用的注意力模块和融合的关键段通过自适应时间池。我们的损失函数是由两个术语,最大限度地减少视频级的动作分类错误,并执行稀疏的段选择。在推理时,我们提取和评分时间的建议,使用时间类激活和类不可知的注意,估计对应于目标动作的时间间隔。该算法在THUMOS 14数据集上获得了最先进的结果,在ActivityNet1.3上表现出色,即使其监督较弱。
2018-04-03 cs.CV
AutoLoc: Weakly-supervised Temporal Action Localization
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);Mitsubishi Electric(三菱电机)
未修剪视频中的时间动作定位(TAL)对于许多应用都很重要。但是注释片段级的基础事实(动作类和时间边界)是非常昂贵的。这引起了人们对解决监督薄弱的TAL问题的兴趣,即在培训期间仅提供视频级注释)。然而,最先进的弱监督TAL方法仅关注随着时间的推移生成良好的类激活序列(CAS),但对CAS进行简单的阈值处理以定位动作。在本文中,我们首先开发了一个新的弱监督TAL框架AutoLoc,直接预测每个动作实例的时间边界。我们提出了一种新的外-内-对比(OIC)损失,以自动发现训练这种边界预测器所需的段级监督。我们的方法实现了显着提高的性能:在IoU阈值0.5下,我们的方法将THUMOS'14上的mAP从13.7%提高到21.2%,将ActivityNet上的mAP从7.4%提高到27.3%。同样令人鼓舞的是,我们的弱监督方法取得了与一些完全监督方法相当的结果。
2018-12-16 cs.CV
Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);University of Chinese Academy of Sciences(中国科学院大学)
我们提出了一种新的自我监督的方法,称为视频完形填空程序(VCP),学习丰富的时空表示。VCP首先通过扣留视频剪辑来生成“空白”,然后通过对扣留的剪辑应用时空操作来创建“选项”。最后,它用“选项”填充空白,并通过预测应用于剪辑的操作类别来学习表示。在自监督学习中,VCP既可以作为代理任务,也可以作为目标任务。作为一个代理任务,它将丰富的自我监督表示转换为视频剪辑操作(选项),这增强了灵活性,降低了表示学习的复杂性。作为目标任务,它可以以统一和可解释的方式评估学习的表示模型。使用VCP,我们训练时空表示模型(3D-CNN),并将这些模型应用于动作识别和视频检索任务。在常用基准测试上的实验表明,训练后的模型优于最先进的自监督模型,具有显著的优势。
2020-01-02 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich(慕尼黑工业大学)
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块,相关的粗深度预测,聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外,我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块,我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比,这产生了几何上有意义的注意力,并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
Semi-supervised Vision Transformers at Scale
AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究半监督学习(SSL)的视觉Transformer(ViT),尽管广泛采用的ViT架构不同的任务,一个未充分探讨的话题。为了解决这个问题,我们提出了一个新的SSL管道,包括第一个非/自我监督的预训练,其次是监督微调,最后是半监督微调。在半监督微调阶段,我们采用指数移动平均(EMA)-教师框架,而不是流行的FixMatch,因为前者更稳定,并提供更高的精度为半监督视觉Transformer。此外,我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签,以改进正则化,这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法,被称为半ViT,实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势,可以轻松扩展到大尺寸模型,并提高精度。例如,Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率,这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Two Stream Self-Supervised Learning for Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);Honda Research Institute, USA(本田美国研究院)
我们提出了一个自我监督的方法,使用视频帧之间的时空信号的动作识别。一个两流架构被用来纠缠空间和时间的表示学习。我们的任务被制定为序列验证和时空比对任务。前者需要运动时间结构的理解,而后者耦合的空间表示与学习的运动。在动作识别任务上验证了自监督预训练权值的有效性。定量评估显示了三个数据集上的自监督方法能力:HMDB51,UCF101和本田驾驶数据集(HDD)。进一步的研究,以提高性能和推广的有效性仍然需要。
2018-06-16 cs.CV
Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds
University of California, Los Angeles(加州大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Peking University(北京大学);Tsinghua University(清华大学)
到目前为止,各种3D场景理解任务仍然缺乏实用和可推广的预训练模型,这主要是由于3D场景理解任务的复杂性及其由相机视图,照明,遮挡等引入的巨大变化。在本文中,我们通过引入时空表示学习(STRL)框架来解决这一挑战,能够以自我监督的方式从未标记的3D点云中学习。受婴儿如何从野外视觉数据中学习的启发,我们探索了来自3D数据的丰富的时空线索。具体地说,STRL从3D点云序列中获取两个时间相关的帧作为输入,通过空间数据增强对其进行变换,并自我监督地学习不变表示。为了证实STRL的有效性,我们对三种类型的数据集(合成,室内和室外)进行了广泛的实验。实验结果表明,与监督学习方法相比,学习的自监督表示有助于各种模型获得相当甚至更好的性能,同时能够将预训练的模型推广到下游任务,包括3D形状分类,3D目标检测和3D语义分割。此外,嵌入在3D点云中的时空上下文线索显着提高了学习的表示。
2021-09-01 cs.CV
The Impact of Spatiotemporal Augmentations on Self-Supervised Audiovisual Representation Learning
University of Western Ontario(西安大略大学)
听觉和视觉感知的对比学习在单独研究时非常成功。然而,我们如何整合从这两个领域学到的原则,以实现有效的视听表现,仍然存在重大问题。在本文中,我们提出了一个对比框架,学习视听表示从未标记的视频。在自我监督预训练期间使用的增强的类型和强度对于对比框架充分工作起着至关重要的作用。因此,我们广泛研究适合学习视听表示的时间增强的组成;我们发现不破坏视频的时间一致性的有损时空变换是最有效的。此外,我们表明,这些变换的有效性尺度更高的时间分辨率和更强的变换强度。与仅基于采样的时间增强预训练的自监督模型相比,使用我们的时间增强预训练的自监督模型在AVE数据集上的线性分类器性能上获得了大约6.5%的增益。最后,我们表明,尽管它们很简单,但我们提出的转换在自监督学习框架(SimSiam,MoCoV 3等)和基准视听数据集(AVE)中运行良好。
2021-10-13 cs.CV
Exploring Temporal Granularity in Self-Supervised Video Representation Learning
Google Research(谷歌研究院);Cornell University(康奈尔大学);University of Copenhagen(哥本哈根大学)
本文提出了一个自监督学习框架TeG来研究视频表示学习中的时间粒度。在TeG中,我们从视频中采样一个长剪辑和一个位于长剪辑内的短剪辑。然后,我们提取其密集的时间嵌入。训练目标由两部分组成:一个细粒度的时间学习目标,以最大限度地提高短剪辑和长剪辑中相应的时间嵌入之间的相似性,以及一个持久的时间学习目标,将两个剪辑的全局嵌入拉在一起。我们的研究揭示了时间粒度的影响,有三个主要发现。1)不同的视频任务可能需要不同时间粒度的特征。2)有趣的是,一些被广泛认为需要时间意识的任务实际上可以通过时间持久性特征来很好地解决。3)TeG的灵活性在8个视频基准测试中产生了最先进的结果,在大多数情况下优于监督预训练。
2021-12-08 cs.CV cs.LG
Point-Level Temporal Action Localization: Bridging Fully-supervised Proposals to Weakly-supervised Losses
Shanghai Jiao Tong University(上海交通大学);Huawei Cloud & AI(华为云与人工智能)
点级时间动作本地化(PTAL)的目的是在未经修剪的视频中定位动作,每个动作实例只有一个时间戳注释。现有的方法采用帧级预测范式从稀疏的单帧标签中学习。然而,这样的框架不可避免地受到大的解决方案空间的影响。本文试图探索基于建议的预测范式点级注释,它具有更多的约束的解决方案空间和相邻帧之间的一致预测的优点。点级注释首先用作关键点监督以训练关键点检测器。在位置预测阶段,引入了一个简单但有效的映射器模块,该模块可以反向传播训练误差,从而将全监督框架与弱监督框架连接起来。据我们所知,这是第一个利用点级别设置的完全监督范例的工作。在THUMOS 14、BEFORT和GTEA上的实验从定量和定性两方面验证了该方法的有效性,并表明该方法优于现有的方法。
2020-12-15 cs.CV
SSCAP: Self-supervised Co-occurrence Action Parsing for Unsupervised Temporal Action Segmentation
UC Irvine(加州大学欧文分校);Amazon Web Services(亚马逊云科技);Amazon(亚马逊)
时间动作分割是对视频中的每一帧进行动作标签分类的任务。然而,在大型视频语料库中注释每一帧以构建全面的监督训练数据集是相当昂贵的。因此,在这项工作中,我们提出了一种无监督的方法,即SSCAP,它对未标记的视频语料库进行操作,并预测一组可能的跨视频的时间段。SSCAP利用自监督学习提取可区分的特征,然后应用一种新的同现动作解析算法,不仅捕获活动结构下的子动作之间的相关性,而且以准确和一般的方式估计子动作的时间路径。我们在经典数据集(早餐,50沙拉)和新兴的细粒度动作数据集(FineGym)上进行评估,这些数据集具有更复杂的活动结构和类似的子动作。结果表明,SSCAP在所有数据集上都达到了最先进的性能,甚至可以超过一些弱监督方法,证明了其有效性和通用性。
2021-10-25 cs.CV
TReViS: Temporal Repetition Structure Aware Video Synthesis for Self-supervised Repetitive Action Counting
AIGO Unit, Istituto Italiano di Tecnologia(意大利技术研究院AIGO单元);Department of Computer Science, University of Verona(维罗纳大学计算机科学系);University of Genoa(热那亚大学)
提出TReViS,一种利用时间自相似矩阵估计重复结构并合成伪标签视频的自监督框架,无需标签即可训练重复动作计数模型,性能媲美监督方法。
2026-09-22 cs.CV
W-TALC: Weakly-supervised Temporal Activity Localization and Classification
University of California, Riverside(加州大学河滨分校)
文献中的大多数活动定位方法都受到逐帧注释要求的负担。从弱标签中学习可能是减少这种手动标记工作的潜在解决方案。近年来,互联网上大量的带标签的视频涌入,这些视频可以作为弱监督训练数据的丰富来源。具体地,可以利用具有相似标签的视频之间的相关性来在时间上定位活动。为了实现这一目标,我们提出了W-TALC,一个弱监督的时间活动定位和分类框架,只使用视频级标签。该网络可以分为两个子网络,即基于双流的特征提取器网络和弱监督模块,我们通过优化两个互补的损失函数来学习。在两个具有挑战性的数据集-Thumos 14和ActivityNet1.2上的定性和定量结果表明,所提出的方法能够以细粒度检测活动,并实现比当前最先进的方法更好的性能。
2018-12-15 cs.CV
Fine-grained Semantic Alignment Network for Weakly Supervised Temporal Language Grounding
University of Science and Technology of China(中国科学技术大学)
时间语言基础(TLG)旨在基于自然语言描述在未经修剪的视频中定位视频片段。为了减轻时间边界标签手动注释的昂贵成本,我们致力于弱监督设置,其中仅提供视频级描述用于训练。现有的大多数弱监督方法通过基于MIL的框架生成候选片段集并学习跨模态对齐。然而,视频的时间结构以及句子中复杂的语义在学习过程中丢失。在这项工作中,我们提出了一种新的候选人自由的框架:细粒度语义对齐网络(FSAN),弱监督TLG。FSAN不是将句子和候选时刻作为一个整体来看待,而是通过迭代的跨模态交互模块来学习逐个片段的跨模态语义对齐,生成细粒度的跨模态语义对齐图,并直接在图的顶部执行接地。在两个广泛使用的基准测试:ActivityNet-Captions和DiDeMo上进行了大量的实验,其中我们的FSAN达到了最先进的性能。
2022-10-21 cs.CV
Weakly-Supervised Completion Moment Detection using Temporal Attention
University of Bristol(布里斯托大学)
监视动作的完成进度可以提供对参与者行为的细粒度洞察。在这项工作中,我们的目标是检测动作的完成时刻,即动作的目标已经成功完成的时刻。这具有从监视到辅助生活和人机交互的潜在应用。以前的工作需要人工注释完成训练的时刻(即完全监督)。在这项工作中,我们提出了一种从弱视频级标签的时刻检测方法。给定同一动作的完整和不完整序列,我们学习时间注意力,以及序列中所有帧的累积完成预测。我们还演示了如何使用的方法时,完成时刻监督。我们评估和比较了我们对三个数据集(即HMDB,UCF 101和RGBD-AC)的动作的方法,并表明时间注意力在弱监督和全监督环境下都提高了检测。
2019-10-22 cs.CV
`Attention-Guided Cross-Temporal Clustering for Self-Supervised Video Object Segmentation
Griffith University(格里菲斯大学)
针对视频对象分割任务,现有自监督方法存在问题。本文提出跨时间一致性和聚类框架,结合注意力引导令牌选择与轻量级时间聚类,通过显著性加权目标对齐软部分分配,利用冻结变压器主干实现有效扩展,提升自监督视频对象分割性能。
2026-07-09 cs.CV
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology(哈尔滨工业大学)
本工作提出自监督半监督学习框架Color-$S^{4}L$,通过引入图像着色代理任务,在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV