Exploit Clues from Views: Self-Supervised and Regularized Learning for Multiview Object Recognition
University of California, San Diego(加州大学圣地亚哥分校)
多视图识别在文献中得到了很好的研究,并在目标识别和检索任务中取得了不错的性能。然而,大多数以前的工作依赖于监督学习和一些不切实际的基本假设,如在训练和推理时间的所有视图的可用性。在这项工作中,多视图自监督学习(MV-SSL)的问题进行了研究,只有图像对象的关联。在此基础上,提出了一种新的自监督学习的代理任务。通过随机选择一个物体的图像特征作为物体原型,并结合多视点一致性正则化,实现了视点不变的随机原型嵌入(VISPE)。实验结果表明,VISPE在可见和不可见数据上的识别和检索效果优于其他自监督学习方法。VISPE也可以应用于半监督场景,并在有限的数据下表现出强大的性能。代码可在https://github.com/chihhuiho/VISPE上获得
2020-03-28 cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来,图卷积网络(GCN)在基于卷积的人体动作识别中发挥着越来越重要的作用。然而,大多数基于GCN的方法仍然存在两个主要的局限性:1)它们只考虑关节的运动信息或单独处理关节和骨骼,这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式,这在很大程度上依赖于大量的标记训练数据。为了解决这些问题,我们提出了一个半监督的基于candicon的动作识别方法,以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络(CD-JBF-GCN)作为编码器,使用位姿预测头作为解码器来实现半监督学习。具体地,CD-JBF-GC可以探索关节流和骨流之间的运动传输,从而促进两个流学习更多的区别性特征表示。在自监督训练阶段,基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示,这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明,我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能,并且对于全监督方法也很有用。
2022-02-08 cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络(DCGAN)。然后,我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤,并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置,以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息,在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition
University of Science and Technology of China(中国科学技术大学)
目前的工作制定面部动作单元(AU)识别作为一个监督学习的问题,在训练过程中需要完全AU标记的面部图像。为大量的面部图像提供AU注释是具有挑战性的,如果不是不可能的话。幸运的是,AU出现在所有面部图像上,无论是否手动标记,都满足潜在的解剖机制和人类行为习惯。在本文中,我们提出了一个深度半监督框架,用于从部分AU标记的面部图像中识别面部动作单元。具体来说,所提出的深度半监督AU识别方法由深度识别网络和CNOD组成。深度识别网络R从大规模面部图像学习面部表示,并从有限的地面真实AU标签学习AU分类器。引入了AR-3D以加强地面真实AU标签中固有的AU分布与来自标记和未标记面部图像的预测AU标签的分布之间的统计相似性。深度识别网络旨在最大限度地减少标记面部图像的识别损失,忠实地表示标记和未标记面部图像的固有AU分布,并混淆图像。在训练过程中,深度识别网络R和BND交替优化。因此,在训练期间,利用由潜在解剖机制引起的固有AU分布来从部分AU标记的数据构建更好的特征表示和AU分类器。在两个基准数据库上的实验表明,该方法通过对抗学习成功地捕获了AU分布,并优于最先进的AU识别工作。
2021-06-04 cs.CV
Analysis of Semi-Supervised Methods for Facial Expression Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(Ingenuity Labs研究院)
训练用于图像识别的深度神经网络通常需要大规模的人类注释数据。为了减少深度神经解决方案对标记数据的依赖,文献中已经提出了最先进的半监督方法。尽管如此,这种半监督方法的使用在面部表情识别(FER)领域中还是相当罕见的。在本文中,我们提出了一个全面的研究,最近提出的国家的最先进的半监督学习方法的背景下,FER。我们对八种半监督学习方法进行了比较研究,即Pi模型,伪标签,平均教师,增值税,混合匹配,ReMixMatch,UDA和FixMatch,在三个FER数据集(FER 13,RAF-DB和AffectNet)上,当使用不同数量的标记样本时。我们还比较了这些方法与完全监督训练的性能。我们的研究表明,当训练现有的半监督方法时,每个类只有250个标记样本,可以产生与在完整标记数据集上训练的全监督方法相当的性能。为了方便在这一领域的进一步研究,我们将我们的代码公开在:https://github.com/ShuvenduRoy/SSL_FER
2022-07-31 cs.CV
DTG-Net: Differentiated Teachers Guided Self-Supervised Video Action Recognition
Beijing Institute of Technology(北京理工大学);Swinburne University of Technology(斯威本科技大学)
具有复杂网络架构的最先进的视频动作识别模型已经取得了显着的改进,但这些模型严重依赖于大规模标记良好的数据集。为了减少这种依赖,我们提出了一个自我监督的师生架构,即,差异化教师指导的自我监督网络(DTG-Net)。在DTG-Net中,除了通过自监督学习(SSL)减少标记数据依赖性外,预训练的动作相关模型被用作教师指导,提供先验知识,以减轻SSL中对大量未标记视频的需求。具体而言,利用多年来在与行动有关的任务中的努力,例如,图像分类,基于图像的动作识别,DTG-Net在各种教师指导下学习自监督视频表示,即,那些训练有素的与行动相关的任务模型。同时,采用对比自监督学习的方法对DTG网络进行优化。当两个图像序列分别从同一视频或不同视频中随机采样作为正对或负对时,它们然后被发送到教师和学生网络进行特征嵌入。然后定义每对特征嵌入之间的对比特征一致性,即,正对一致,负对不一致。同时,为了反映不同教师任务的不同导向,我们还探索了不同的教师任务导向权重。最后,DTG-Net以两种方式进行评估:(i)自监督DTG-Net仅用未标记的视频预训练监督动作识别模型;(ii)监督DTG-Net以端到端的方式与监督动作网络联合训练。它的性能优于大多数预训练方法,但与监督动作识别方法相比也具有出色的竞争力。
2020-06-13 cs.CV
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而,它提出了很大的挑战,在获得干净和一致的面部表情数据集的注释。另一方面,自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及,该策略可以潜在地规避注释问题。然而,实例级鉴别仍然存在固有的缺点,当面对复杂的面部表示时,这甚至更具挑战性。在本文中,我们重新审视了自我监督对比学习的使用,并探讨了三个核心策略,以执行特定的表达,并尽量减少其他面部属性,如身份和面部造型的干扰。实验结果表明,我们提出的方法优于当前国家的最先进的自监督学习方法,在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
Addressing Data Scarcity in Multimodal User State Recognition by Combining Semi-Supervised and Supervised Learning
Bielefeld University(比勒费尔德大学);Honda Research Institute Europe(欧洲本田研究院)
检测人类用户的精神状态对于开发合作和智能机器人至关重要,因为它使机器人能够理解用户的意图和愿望。尽管它们很重要,但很难获得大量高质量的数据来训练自动识别算法,因为收集和标记这些数据所需的时间和精力非常高。在本文中,我们提出了一个多模态机器学习方法检测不一致/协议和混乱状态的人机交互环境中,只使用少量的手动注释的数据。我们通过进行人机交互研究来收集数据集,并为我们的机器学习方法开发了一种新的预处理管道。通过结合半监督和监督架构,我们能够实现81.1\%的平均F1分数的不一致/不一致检测与少量的标记数据和大量的未标记数据集,同时增加模型的鲁棒性相比,监督的方法。
2022-02-08 cs.CV
Learning from Temporal Gradient for Semi-supervised Action Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);The City University of New York(纽约城市大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance(字节跳动)
半监督视频动作识别往往使深度神经网络即使在标记数据非常有限的情况下也能实现卓越的性能。然而,现有的方法主要是从当前的基于图像的方法(例如,FixMatch)。如果没有专门利用时间动态和固有的多模态属性,他们的结果可能是次优的。为了更好地利用视频中编码的时间信息,本文引入时间梯度作为一种额外的模态,以进行更细致的特征提取。具体地说,我们的方法明确地从时间梯度(TG)中提取细粒度的运动表示,并在不同模态之间施加一致性(即,RGB和TG)。在推理过程中不需要额外的计算和参数,半监督动作识别的性能得到了显著的提高。我们的方法在三个视频动作识别基准上实现了最先进的性能(即,动力学-400,UCF-101和HMDB-51)在几种典型的半监督设置(即,标记数据的不同比率)。
2022-04-23 cs.CV
Semi-supervised Long-tailed Recognition using Alternate Sampling
UC, San Diego(加州大学圣迭戈分校);Wormpex AI Research(Wormpex AI 研究院)
长尾识别面临的主要挑战是数据分布不平衡和尾类样本稀缺。虽然已经提出了一些技术来实现更平衡的训练损失,并改善尾类数据与合成样本的变化,但我们利用现成的未标记数据来提高识别准确性。这个想法导致了一个新的识别设置,即半监督长尾识别。我们认为,这种设置更好地类似于现实世界的数据汇集和注释过程,因此可以帮助缩小差距,以现实世界的情况。为了解决半监督长尾识别问题,我们提出了一个交替采样框架,结合了这两个研究领域中成功方法的直觉。分类器和特征嵌入分别学习并迭代更新。采用类平衡采样策略对未标记数据进行分类器的训练,使分类器的训练不受伪标记质量的影响。引入了一致性损失,以限制未标记数据的影响,同时利用它们来更新特征嵌入。我们在两个数据集上证明了与其他竞争方法相比的显着准确性提高。
2021-05-01 cs.CV
SoGAR: Self-supervised Spatiotemporal Attention-based Social Group Activity Recognition
本文提出SoGAR方法,利用自监督Transformer和不同帧率视图学习时空一致特征,在JRDB-PAR、NBA和Volleyball三个群体活动识别基准上取得最优结果。
2024-11-18 cs.CV
Unsupervised Human Action Recognition with Skeletal Graph Laplacian and Self-Supervised Viewpoints Invariance
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);University of Trento(特伦托大学)
本文提出了一种新的端到端的方法的问题,基于神经网络的无监督人体动作识别。我们提出了一个新的架构与卷积自动编码器,使用图形拉普拉斯正则化模型的动作的时间动态的骨架几何。我们的方法是强大的视点变化,包括一个自我监督的梯度反转层,确保泛化跨相机视图。该方法在NTU-60和NTU-120大规模数据集上进行了验证,在跨主题,跨视图和跨设置协议上,该方法优于所有先前的基于无监督模型的方法。虽然是无监督的,但我们的可学习表示允许我们的方法甚至超过一些基于监督的基于动作的动作识别方法。该代码可在:www.example.com
2022-04-21 cs.CV
UntrimmedNets for Weakly Supervised Action Recognition and Detection
Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程系)
目前的动作识别方法严重依赖于修剪视频进行模型训练。然而,这是昂贵的和耗时的获取大规模修剪视频数据集。本文提出了一种新的弱监督架构,称为UntrimmedNet,它能够直接从未修剪的视频中学习动作识别模型,而不需要动作实例的时间注释。我们的UntrimmedNet耦合两个重要的组件,分类模块和选择模块,分别学习动作模型和动作实例的持续时间的原因。这两个组件通过前馈网络实现,因此UntrimmedNet是一个端到端的可训练架构。我们在THUMOS 14和ActivityNet的未修剪视频数据集上利用学习模型进行动作识别(WSR)和检测(WSD)。虽然我们的UntrimmedNet只采用弱监督,但我们的方法在这两个数据集上实现了优于或相当于强监督方法的性能。
2017-05-22 cs.CV
Supervised Contrastive Learning on Blended Images for Long-tailed Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院)
真实世界的数据通常具有长尾分布,其中每个类的样本数量在训练类中不相等。不平衡的数据形成有偏的特征空间,这恶化了识别模型的性能。在本文中,我们提出了一种新的长尾识别方法来平衡潜在的特征空间。首先,我们引入了一种基于MixUp的数据增强技术来减少长尾数据的偏差。此外,我们提出了一种新的监督对比学习方法,命名为监督对比学习混合类(SMC),混合图像。SMC根据原始图像的类别标签创建一组阳性图像。阳性的组合比率对训练损失中的阳性进行加权。基于类混合损失的SMC探索了更多样的数据空间,增强了模型的泛化能力。在各种基准测试上的大量实验表明了我们的一阶段训练方法的有效性。
2022-11-22 cs.CV
LoDisc: Learning Global-Local Discriminative Features for Self-Supervised Fine-Grained Visual Recognition
Faculty of Information Science and Engineering, Ocean University of China(信息科学与工程学院,中国海洋大学)
本文提出LoDisc,一种自监督全局-局部对比学习框架,通过局部判别前置任务增强细粒度特征,提升细粒度及通用物体识别性能。
2025-10-08 cs.CV
Reading and Writing: Discriminative and Generative Modeling for Self-Supervised Text Recognition
Huazhong University of Science and Technology(华中科技大学);Huawei Inc.(华为公司)
现有的文本识别方法通常需要大规模的训练数据。由于缺乏带注释的真实图像,它们中的大多数依赖于合成的训练数据。然而,在合成数据和真实数据之间存在域差距,这限制了文本识别模型的性能。最近的自监督文本识别方法试图通过引入对比学习来利用未标记的真实图像,该对比学习主要学习文本图像的区分度。受人类通过阅读和写作来学习识别文本的观察的启发,我们提出通过在我们的自监督方法中集成对比学习和掩码图像建模来学习区分和生成。采用对比学习分支来学习文本图像的辨别,它模仿人类的阅读行为。同时,首次将掩码图像建模引入文本识别,学习文本图像的上下文生成,这类似于书写行为。实验结果表明,该方法在不规则场景文本识别数据集上的识别性能比以往的自监督文本识别方法提高了10.2%-20.2%。此外,我们提出的文本识别器超过了以前的国家的最先进的文本识别方法,平均5.3%的11个基准,具有类似的模型大小。我们还证明,我们的预训练模型可以很容易地应用于其他文本相关的任务,具有明显的性能增益。该代码可在https://github.com/ayumiymk/DiG上获得。
2023-03-02 cs.CV
Semi-Supervised Self-Growing Generative Adversarial Networks for Image Recognition
Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);Shenzhen Institute of Future Media Technology(深圳未来媒体技术研究院);College of Computer Science, Nankai University(南开大学计算机学院);Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
图像识别是计算机视觉和图像处理中的一个重要课题,主要通过监督式深度学习方法来解决,这种方法需要大量的标记图像来实现有希望的性能。然而,在大多数情况下,标记的数据是昂贵的,甚至不可能获得,而未标记的数据很容易从许多免费的在线资源,并已被利用,以提高深度神经网络的性能。为了更好地利用未标记数据的图像识别能力,本文提出了一种半监督生成方法,即半监督自生长生成对抗网络(SGGAN)。标签推理是半监督学习方法成功的关键步骤。标签推理中存在两个主要问题:如何度量未标记数据的置信度和如何推广分类器。我们解决这两个问题,通过生成框架和一种新的卷积块变换技术,分别。为了稳定和加快SGGAN的训练过程,我们采用度量最大均值离散度作为特征匹配目标函数,并实现了比标准半监督GANs(SS GANs)更大的增益,缩小了与监督方法的差距。在多个基准数据集上的实验表明了SGGAN在图像识别和人脸属性识别任务上的有效性。通过使用仅具有4%标记的面部属性的训练数据,SGGAN方法可以实现与具有所有标记的面部属性的领先监督深度学习方法相当的准确性。
2019-08-11 cs.CV
Bridging the Gaps: Utilizing Unlabeled Face Recognition Datasets to Boost Semi-Supervised Facial Expression Recognition
West China Hospital, Sichuan University(四川大学华西医院);Institutes for Systems Genetics(系统遗传学研究所);Frontiers Science Center for Disease-related Molecular Network(疾病相关分子网络前沿科学中心)
本文提出利用大规模无标注人脸识别数据集进行人脸重建预训练,并结合两阶段微调和基于IoU的Mixup数据增强策略,显著提升半监督面部表情识别性能,在多个基准上达到新最先进水平。
2024-10-23 cs.CV
Recognition of Abnormal Events in Surveillance Videos using Weakly Supervised Dual-Encoder Models
Afeka College of Engineering(阿法卡工程学院);Ben-Gurion University of the Negev(内盖夫本·古里安大学)
针对仅视频级监督下监控视频罕见多样异常检测的挑战,提出结合卷积与Transformer表示的双骨干框架,在UCF-Crime数据集上取得90.7%的AUC性能。
2025-11-17 cs.CV
Semi-Supervised Few-Shot Atomic Action Recognition
Hong Kong University of Science and Technology(香港科技大学);Kauishou(快手)
尽管已经取得了很好的进展,但动作识别的性能仍然严重依赖于特定的数据集,由于劳动密集型标签,这些数据集很难扩展新的动作类。此外,时空外观的高度多样性需要鲁棒的和代表性的动作特征聚合和注意。为了解决上述问题,我们专注于原子动作,并提出了一种新的半监督Few-Shot原子动作识别模型。我们的模型具有无监督和对比视频嵌入,松散的动作对齐,多头特征比较,和基于注意力的聚合,这使得动作识别只有几个训练样本,通过提取更具代表性的功能,并允许灵活的空间和时间的对齐和动作的变化。实验表明,我们的模型可以达到高精度的代表性原子动作数据集优于各自的国家的最先进的分类精度在全监督设置。
2020-11-17 cs.CV
Focalized Contrastive View-invariant Learning for Self-supervised Skeleton-based Action Recognition
University of Oxford(牛津大学);City University of Hong Kong(香港城市大学);University of Glasgow(格拉斯哥大学);Durham University(杜伦大学)
本文提出FoCoViL框架,通过最大化多视角样本对之间的对比损失互信息来学习视角不变的骨架动作表示,并引入自适应聚焦化方法增强聚类边界,在无监督和有监督分类器上均表现优异。
2023-04-03 cs.CV
Text-DIAE: A Self-Supervised Degradation Invariant Autoencoders for Text Recognition and Document Enhancement
Computer Vision Center(计算机视觉中心);Digital Research Center of Sfax(斯法克斯数字研究中心)
在本文中,我们提出了一个文本退化不变自动编码器(Text-DIAE),一个自监督模型,旨在解决两个任务,文本识别(手写或场景文本)和文档图像增强。我们首先采用基于transformer的架构,该架构将三个借口任务作为学习目标,在预训练期间进行优化,而不使用标记数据。每个借口目标都是为最终的下游任务专门定制的。我们进行了几个消融实验,确认所选的借口任务的设计选择。重要的是,所提出的模型没有表现出以前的国家的最先进的方法的基础上的对比损失的限制,而在同一时间需要大大减少数据样本收敛。最后,我们证明了我们的方法超越了现有的监督和自监督设置在手写和场景文本识别和文档图像增强的最先进的。我们的代码和训练模型将在~ \url{ http://Upon_Acceptance}上公开发布。
2022-08-18 cs.CV
Leveraging Self-Supervised Training for Unintentional Action Recognition
MPI for Informatics(马克斯·普朗克信息学研究所)
无意行为是很难精确定义的罕见事件,并且高度依赖于行为的时间背景。在这项工作中,我们探索这样的行动,并寻求确定在视频中的动作从有意到无意的过渡点。我们提出了一个多阶段的框架,利用固有的偏见,如运动速度,运动方向,并以识别无意的行动。为了通过自我监督训练来增强无意动作识别任务的表示,我们提出了时间变换,称为无意动作固有偏差的时间变换(T2IBUA)。多阶段方法对各个帧和完整剪辑的水平上的时间信息进行建模。这些增强的表示无意动作识别任务表现出很强的性能。我们提供了一个广泛的消融研究,我们的框架和报告的结果,显着提高了国家的最先进的。
2022-09-23 cs.CV
Domain Adapting Ability of Self-Supervised Learning for Face Recognition
National Chiao Tung University(国立交通大学)
尽管深度卷积网络在人脸识别任务中取得了很好的性能,但在现实世界的应用中仍然存在域差异的挑战。缺乏训练数据的域覆盖(源域)使得学习的模型在测试场景(目标域)中退化。在人脸识别任务中,两个领域中的类别通常是不同的,因此经典的领域自适应方法,假设领域中存在共享类别,可能不是解决这个问题的合理方法。本文采用自监督学习的方法学习一个更好的嵌入空间,使目标域中的主题更容易区分。学习的目标是最大限度地提高每个图像和它的镜像在两个域中的嵌入之间的相似性。实验结果表明,该方法与已有方法相比具有较好的性能.为了知道为什么它可以实现这样的性能,我们进一步讨论了这种方法如何影响嵌入的学习。
2021-02-26 cs.CV
SEE: Towards Semi-Supervised End-to-End Scene Text Recognition
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳学院)
在自然场景图像中检测和识别文本是一个具有挑战性的,但尚未完全解决的任务。近年来,已经提出了几个新的系统,试图解决至少两个子任务(文本检测和文本识别)之一。在本文中,我们提出了SEE,半监督神经网络的场景文本检测和识别,可以优化端到端的一步。大多数现有的作品包括多个深度神经网络和几个预处理步骤。与此相反,我们建议使用单个深度神经网络,它以半监督的方式学习从自然图像中检测和识别文本。SEE是一个网络,它集成并联合学习空间Transformer网络和文本识别网络,空间transformer网络可以学习检测图像中的文本区域,文本识别网络可以识别识别的文本区域并识别其文本内容。我们介绍了我们的新方法背后的想法,并通过在标准基准数据集上进行一系列实验来展示其可行性,在这些实验中,我们获得了有竞争力的结果。
2017-12-14 cs.CV
Self-supervised Representation Learning for Cell Event Recognition through Time Arrow Prediction
Institute for Mathematical Innovation, University of Bath(巴斯大学数学创新研究所);Department of Computer Science, University of Bath(巴斯大学计算机科学系);Department of Life Sciences, University of Bath(巴斯大学生命科学系)
针对活细胞显微镜数据分析中高质量标注获取困难的问题,提出基于时间箭头预测(TAP)的自监督表示学习(SSRL)方法,提取特征图用于下游细胞事件识别任务,实验证明其在有限标注下优于端到端全监督模型。
2024-11-10 cs.CV
ReADS: A Rectified Attentional Double Supervised Network for Scene Text Recognition
Meituan-Dianping Group(美团点评集团)
近年来,场景文本识别一直被认为是一个序列到序列的问题。连接主义时间分类(CTC)和注意序列识别(Attn)是两种非常流行的方法来解决这个问题,但他们可能会在某些情况下分别失败。CTC更关注单个字符,但在文本语义依赖建模方面比较薄弱。基于Attn的方法具有更好的上下文语义建模能力,但往往在有限的训练数据上过拟合。在本文中,我们精心设计了一个校正注意双监督网络(ReADS)的一般场景文本识别。为了克服CTC和Attn的不足,我们将它们都应用到我们的方法中,但在两个监督分支中使用了不同的模块,可以相互补充。此外,有效的空间和通道注意力机制的引入,以消除背景噪声和提取有效的前景信息。最后,实现了一个简单的校正网络来校正不规则文本。ReADS可以进行端到端的训练,只需要单词级的注释。在各种基准测试上的大量实验验证了ReADS的有效性,达到了最先进的性能。
2020-04-07 cs.CV
PageNet: Towards End-to-End Weakly Supervised Page-Level Handwritten Chinese Text Recognition
South China University of Technology(华南理工大学);Huazhong University of Science and Technology(华中科技大学);Huawei Cloud Computing Technologies(华为云计算技术有限公司);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔));Peng Cheng Laboratory(鹏城实验室)
手写体中文文本识别(HCTR)一直是一个活跃的研究课题。然而,大多数以前的研究只集中在识别裁剪文本行图像,忽略了文本行检测在现实世界中的应用所造成的错误。虽然近年来已经提出了一些针对页面级文本识别的方法,但它们要么限于简单的布局,要么需要非常详细的注释,包括昂贵的行级甚至字符级边界框。为此,我们提出了端到端弱监督页面级HCTR的PageNet。PageNet检测和识别字符,并预测它们之间的阅读顺序,在处理包括多方向和弯曲文本行在内的复杂布局时更加健壮和灵活。利用所提出的弱监督学习框架,PageNet只需要对真实数据进行注释的成绩单;然而,它仍然可以输出字符和行级别的检测和识别结果,避免了标记字符和文本行的边界框的劳动力和成本。在五个数据集上进行的大量实验证明了PageNet优于现有的弱监督和完全监督页面级方法。这些实验结果可能会引发进一步的研究超越现有的方法的基础上连接时间分类或注意。源代码可在https://github.com/shannanyinxiang/PageNet上获得。
2022-07-29 cs.CV
Multi-label Co-regularization for Semi-supervised Facial Action Unit Recognition
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
面部动作单元识别是情感分析的基础,在心理状态分析中有着广泛的应用。现有的AU识别工作通常需要带有AU标签的大型人脸数据集;然而,手动AU注释需要专业知识,并且可能非常耗时。在这项工作中,我们提出了一种半监督的方法,利用大量的网络人脸图像没有AU标签和一个相对较小的人脸数据集与AU注释的启发,共同训练方法的AU识别。与传统的需要提供多视图特征和模型重新训练的协同训练方法不同,我们提出了一种新的协同训练方法,即多标签协同正则化,用于半监督人脸AU识别。利用两个深度神经网络分别为已标记和未标记人脸图像生成多视图特征,并设计了一个多视图损失,以强制两个特征生成器得到条件独立的表示。为了约束两个视图的预测一致性,我们进一步提出了一种多标签共正则化损失,通过最小化两个视图的预测AU概率分布的距离。此外,通过图卷积网络(GCN)嵌入个体AU之间关系的先验知识,以利用来自大的未标记数据集的有用信息。实验结果表明,该方法能够有效地利用大规模的无AU标签人脸图像数据集,提高AU识别的准确率,优于现有的半监督AU识别方法.
2020-09-23 cs.CV
Self-supervised Character-to-Character Distillation for Text Recognition
Shanghai Jiao Tong University(上海交通大学)
本文提出自监督字符到字符蒸馏方法CCD,通过字符分割与增强视图间变换矩阵保持字符对齐,支持灵活增强,并在文本识别、分割和超分辨率任务上达到SOTA。
2023-08-18 cs.CV
Seq-UPS: Sequential Uncertainty-aware Pseudo-label Selection for Semi-Supervised Text Recognition
Purdue University(普渡大学)
本文着眼于基于图像的文本识别的半监督学习(SSL)。最流行的SSL方法之一是伪标签(PL)。PL方法在使用标记数据和伪标记数据的组合重新训练模型之前将标签分配给未标记数据。然而,PL方法被噪声严重降级,并且由于包括从校准不良的模型生成的错误的高置信度伪标签,因此容易过度拟合到有噪声的标签,从而使得基于阈值的选择无效。此外,假设空间的组合复杂性和由于多个不正确的自回归步骤而导致的误差累积使得序列模型的伪标记具有挑战性。为此,我们提出了一个伪标签生成和基于不确定性的数据选择框架的半监督文本识别。我们首先使用波束搜索推理产生高度可能的假设分配伪标签的未标记的例子。然后,我们采用一个集成的模型,通过应用dropout采样,以获得与预测相关的不确定性的鲁棒估计,同时考虑字符级和单词级的预测分布,以选择高质量的伪标签。在几个基准手写和场景文本数据集上的大量实验表明,我们的方法优于基线方法和以前最先进的半监督文本识别方法。
2022-10-06 cs.CV
Rethinking Image-based Table Recognition Using Weakly Supervised Methods
National Institute of Informatics (NII)(国立信息学研究所)
以前的大多数表格识别方法都依赖于包含许多丰富注释的表格图像的训练数据集。详细的表格图像注释,例如,然而,单元格或文本限界框注释是昂贵的并且通常是主观的。在本文中,我们提出了一个名为WSTabNet的弱监督模型,用于表格识别,该模型仅依赖于表格图像的HTML(或LaTeX)代码级注释。该模型由三个主要部分组成:用于特征提取的编码器、用于生成表结构的结构解码器和用于预测表中每个单元的内容的单元解码器。我们的系统是通过随机梯度下降算法进行端到端训练的,只需要表格图像和它们的真实HTML(或LaTeX)表示。为了通过深度学习促进表格识别,我们创建并发布了WikiTableSet,这是从维基百科构建的最大的公开可用的基于图像的表格识别数据集。WikiTableSet包含近400万张英文表格图像、59万张日文表格图像和64万张法文表格图像,以及相应的HTML表示和单元格边界框。在WikiTableSet和两个大规模数据集FinTabNet和PubTabNet上进行的广泛实验表明,与所有基准数据集上的最先进模型相比,所提出的弱监督模型实现了更好或相似的精度。
2023-03-14 cs.CV
SS-MFAR : Semi-supervised Multi-task Facial Affect Recognition
SSSIHL(斯里沙迪亚赛高等研究所)
自动情感识别在教育、游戏、软件开发、汽车、医疗保健等许多领域都有应用,但在野外数据集上实现可观的性能是一项不平凡的任务。尽管野外数据集比合成数据集更能代表真实世界的场景,但前者存在标签不完整的问题。受半监督学习的启发,在本文中,我们介绍了我们在2022年第四届野外情感行为分析(ABAW)竞赛中提交的多任务学习挑战赛。在这个挑战中考虑的三个任务是效价唤醒(VA)估计,将表情分类为6个基本(愤怒、厌恶、恐惧、快乐、悲伤、惊讶)、中性和“其他”类别以及编号为AU-{1,2,4,6,7,10,12,15,23,24,25,26}的12个动作单元(AU)。我们的方法半监督多任务面部情感识别名为SS-MFAR使用深度残差网络与任务特定的分类器为每个任务以及自适应阈值为每个表情类和半监督学习不完整的标签。源代码可在https://github.com/1980x/ABAW2022DMACS上获得。
2022-08-05 cs.CV
Boosting Semi-Supervised Face Recognition with Noise Robustness
Australian National University(澳大利亚国立大学);JD AI Research(京东人工智能研究院);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
尽管深度人脸识别从大规模训练数据中受益匪浅,但目前的瓶颈是标签成本。一个可行的解决方案是半监督学习,利用一小部分的标记数据和大量的未标记数据。然而,主要的挑战是通过自动标签累积的标签错误,从而影响了训练。提出了一种有效的半监督人脸识别方法,该方法对自动标注所产生的标签噪声具有鲁棒性。具体来说,我们引入了一个多代理方法,名为GroupNet(GN),赋予我们的解决方案的能力,以识别错误标记的样本,并保留干净的样本。我们表明,GN单独实现了领先的准确性,在传统的监督人脸识别,即使在嘈杂的标签超过50%的训练数据。此外,我们开发了一种半监督人脸识别解决方案,命名为噪声鲁棒学习标记(NRoLL),它是基于GN赋予的鲁棒训练能力。它从少量标记数据开始,然后对大量未标记数据进行高置信度标记,以促进进一步的训练。NRoLL标记的数据越多,数据集中标签的置信度就越高。为了评估我们的方法的竞争力,我们在一个粗略的条件下运行NRoLL,即只有五分之一的标记MSCeleb可用,其余的用作未标记的数据。在广泛的基准测试中,我们的方法与最先进的方法相比毫不逊色。
2021-05-10 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University(东国大学)
野外面部表情识别(FER-W)的关键问题之一是,由于面部图像固有的复杂性和模糊性,策划大规模标记的面部图像是具有挑战性的。因此,在本文中,我们提出了一种自监督的简单面部标志编码(SimFLE)方法,可以学习有效的面部标志编码,这是提高FER-W性能的重要特征,而无需昂贵的标签。具体来说,我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同,语义掩蔽是基于在主干中处理的信道信息进行的,因此可以探索信道的丰富语义。此外,语义掩蔽过程是完全可训练的,使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明,与监督基线和其他自监督方法相比,该方法在人脸标志点定位方面具有明显的优势,并且性能有明显的提高。
2023-03-14 cs.CV
Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher
Beijing University of Posts and Telecommunications(北京邮电大学)
在本文中,我们的目标是提高在野外人脸表情识别(FER)的性能,通过利用半监督学习。大规模标记数据和深度学习方法极大地提高了图像识别的性能。然而,由于缺乏训练数据和不正确的注释(例如,标签噪声)。在现有的野外FER数据集中,可靠的数据集包含的数据不足以训练鲁棒的深度模型,而大规模的数据集则以较低的质量进行注释。为了解决这个问题,我们提出了一个半监督学习算法名为渐进式教师(PT),利用可靠的FER数据集以及大规模的未标记的表情图像进行有效的训练。一方面,PT引入了半监督学习的方法来缓解FER中数据不足的问题。另一方面,它自动和渐进地选择有用的标记训练样本,以减轻标签噪声。PT使用选定的干净标记数据来计算监督分类损失,使用未标记数据来计算无监督一致性损失。在广泛使用的数据库RAF-DB和FERPlus上的实验验证了该方法的有效性,在RAF-DB上取得了89.57%的准确率。此外,当合成噪声率甚至达到30%时,我们的PT算法的性能仅下降了4.37%。
2022-05-28 cs.CV
SPARTAN: Self-supervised Spatiotemporal Transformers Approach to Group Activity Recognition
University of Arkansas(阿肯色大学);West Virginia University(西弗吉尼亚大学)
本研究提出自监督时空Transformer方法SPARTAN,通过构建多尺度时空视图的自监督匹配目标,利用无标注视频提升群体活动识别效果,在两个基准数据集上的关键指标显著超越现有最优水平。
2023-08-28 cs.CV
A Self-supervised GAN for Unsupervised Few-shot Object Recognition
Oregon State University(俄勒冈州立大学)
本文讨论了无监督的Few-Shot对象识别,其中所有的训练图像是未标记的,测试图像被划分为查询和一些标记的支持图像,每个对象类的兴趣。训练图像和测试图像不共享对象类。我们扩展了香草GAN与两个损失函数,都旨在自监督学习。第一个是重建损失,其强制所述解码器重建已用于生成“假”图像的概率采样的潜码。第二个是三重丢失,它强制编码器输出更相似图像的更接近的图像编码。在Few-Shot分类的背景下进行评价、比较和详细的消融研究。我们的方法在Mini-Imagenet和Tiered-Imagenet数据集上的表现明显优于最先进的方法。
2020-10-19 cs.CV
Self-Supervised Pretraining for Fine-Grained Plankton Recognition
LUT University, Computer Vision and Pattern Recognition Laboratory(卢霍斯大学);Finnish Environment Institute(芬兰环境研究所);Brno University of Technology, Faculty of Information Technology(布拉格技术大学)
本文研究利用大规模多样化浮游生物图像进行掩码自编码器自监督预训练,再以极少标注样本微调,从而在数据有限时显著提升细粒度浮游生物识别准确率。
2025-05-09 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI(Facebook人工智能)
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究,使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是,尽管有嘈杂的社交媒体视频和标签,但在非常大的规模(超过6500万个视频)下进行预训练,大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外,我们还研究了弱监督视频动作数据集构建中的三个问题。首先,考虑到动作涉及与对象的交互,应该如何构建动词-对象预训练标签空间以使迁移学习受益最大?第二,基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够,或者对时空特征进行预训练对于最佳迁移学习是否有价值?最后,动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的,那么在给定视频数量或分钟数的固定预算的情况下,应该如何选择视频片段以获得最佳性能?
2019-05-02 cs.CV
Toward Parking Spot Occupancy Recognition: A Self-Supervised Approach
Federal University of Paraná(巴拉那联邦大学);Pontifical Catholic University of Paraná(巴拉那天主教大学)
提出一种无需目标停车场标签的自监督方法,通过两阶段自监督训练和微调,在三个公开数据集上平均准确率达97.2%,两阶段策略进一步提升至97.8%。
2026-06-23 cs.CV
Supervised Fine-tuning Evaluation for Long-term Visual Place Recognition
Tampere University(坦佩雷大学)
在本文中,我们对深度卷积神经网络的实用性进行了全面的研究,该网络具有两个最先进的池化层,这些池化层放置在卷积层之后,并以端到端的方式进行微调,用于在具有挑战性的条件下进行视觉位置识别任务,包括季节和光照变化。我们广泛地比较了深度学习的全局特征与三种不同的损失函数的性能,例如三元组,对比度和ArcFace,用于在部署期间学习架构的参数,以正确匹配的分数。为了验证我们的结果的有效性,我们使用了两个真实世界的数据集在室内和室外的位置识别。我们的研究表明,对于视觉位置识别任务,以端到端方式使用ArcFace损失的微调架构在室外数据集中的性能比其他两种损失高出约1~4%,在室内数据集中高出1~2%。
2022-11-14 cs.CV
Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin
Xidian University(西安电子科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Chongqing University of Posts and Telecommunications(重庆邮电大学)
对于大多数半监督学习方法,仅选择未标记数据的部分来训练模型,其置信度分数通常高于预定义阈值(即,置信度)。我们认为,识别性能应进一步提高,充分利用所有未标记的数据。在本文中,我们学习了自适应置信度(Ada-CM),以充分利用所有未标记的数据进行半监督深度面部表情识别。通过在每个训练时期将所有未标记的样本的置信度分数与自适应学习的置信度裕度进行比较,将所有未标记的样本划分为两个子集:(1)子集I,包括置信度分数不低于裕度的样本;(2)子集II,包括置信度分数低于裕度的样本。对于子集I中的样本,我们约束它们的预测以匹配伪标签。同时,子集II中的样本参与特征级对比目标,以学习有效的面部表情特征。我们在四个具有挑战性的数据集上对Ada-CM进行了广泛的评估,结果表明我们的方法达到了最先进的性能,特别是以半监督的方式超过了完全监督的基线。消融实验进一步证明了该方法的有效性。源代码可在https://github.com/hangyu94/Ada-CM上获得。
2022-03-24 cs.CV
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore(新加坡国立大学);NEC Corporation(日本电气股份有限公司)
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景,这赋予了监控场景的潜力。然而,全方位视频分析的研究已经落后于硬件的进步。在这项工作中,我们解决的重要问题,在顶视360 $^{\circ}$视频的动作识别。由于宽视场,360 $^{\circ}$视频通常捕获多个人同时执行动作。此外,人的外表是畸形的。该框架首先将全向视频转换为全景视频,然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法,该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验,定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究,我们引入了360Action,这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV
Multi-Task Multi-Modal Self-Supervised Learning for Facial Expression Recognition
Technische Universität Berlin(柏林工业大学);Science of Intelligence, Research Cluster of Excellence(科学智慧卓越研究集群);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室);Humboldt-Universität zu Berlin(柏林洪堡大学)
本文提出多任务多模态自监督学习方法ConCluGen,结合对比学习、聚类和重建三种损失,在CMU-MOSEI等基准上显著提升面部表情识别性能并减少标注需求。
2024-09-04 cs.CV
Self-Supervised Learning via multi-Transformation Classification for Action Recognition
National Central University(国立中央大学);University of Arkansas(阿肯色大学)
自我监督任务已被用来构建有用的表示,可以在下游任务时,注释不可用。在本文中,我们介绍了一种自监督视频表示学习方法的基础上,多变换分类,有效地分类人类的行动。对各种变换的自监督学习不仅提供了更丰富的上下文信息,而且使视觉表示对变换更鲁棒。通过对七种不同的变换进行分类,即旋转、剪辑反转、置换、分裂、连接变换、颜色切换、帧替换、噪声添加,以自监督的方式学习视频的时空表示。首先,对视频剪辑应用七种不同的视频变换。然后利用三维卷积神经网络提取片段的特征,并对这些特征进行处理以分类伪标签。我们使用在借口任务中学习的模型作为预先训练的模型,并对其进行微调,以识别下游任务中的人类行为。我们在UCF 101和HMDB 51数据集上进行了实验,并将C3 D和3D Resnet-18作为骨干网络。实验结果表明,我们提出的框架优于其他SOTA自监督动作识别方法。该代码将公开提供。
2021-02-20 cs.CV
SkeletonMAE: Spatial-Temporal Masked Autoencoders for Self-supervised Skeleton Action Recognition
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Wuhan University of Science and Technology(武汉科技大学);University of Central Florida(中佛罗里达大学)
针对骨骼动作识别中标注数据稀缺的问题,提出SkeletonMAE,一种基于MAE的时空掩码自编码器框架,通过关节级和帧级掩码预训练学习泛化特征,在NTU RGB+D和NTU RGB+D 120上超越现有方法。
2023-05-10 cs.CV
STARS: Self-supervised Tuning for 3D Action Recognition in Skeleton Sequences
University of Toronto(多伦多大学);Vector Institute(向量研究所);KITE Research Institute(KITE研究机构)
STARS通过掩码预测与最近邻对比学习相结合的自监督调优方法,在不使用手工数据增强的情况下提升骨架动作识别的聚类质量和少样本泛化能力,并在多个基准上取得最优结果。
2025-11-09 cs.CV
On Model and Data Scaling for Skeleton-based Self-Supervised Gait Recognition
University Politehnica of Bucharest(布加勒斯特理工大学);Faculty of Automatic Control and Computer Science(自动控制与计算机科学学院)
本文首次对基于骨架的自监督步态识别进行规模化实证研究,通过在270万行走序列上预训练GaitPT变体并评估四个基准数据集,揭示了数据、模型规模和计算量的幂律规模化定律,为实际步态识别系统的资源分配与性能估计提供指导。
2025-04-10 cs.CV
Self-supervised Implicit Glyph Attention for Text Recognition
Shanghai Jiao Tong University(上海交通大学)
针对场景文本识别中隐式注意力对齐漂移及监督注意力需额外标注的问题,提出自监督隐式字形注意力(SIGA),通过联合文本分割与注意力对齐提升注意力正确性,在公开及无上下文基准上显著优于现有方法。
2023-05-15 cs.CV
Self-Supervised Multi-View Representation Learning using Vision-Language Model for 3D/4D Facial Expression Recognition
King Fahd University of Petroleum and Minerals(国王法赫德石油矿物大学)
本文提出自监督视觉-语言模型SMILE-VLM,通过多视图去相关、视觉-语言对比对齐和跨模态冗余最小化实现3D/4D面部表情及微表情识别,在多个基准上达到或超过有监督方法。
2025-06-01 cs.CV
SSL-SLR: Self-Supervised Representation Learning for Sign Language Recognition
University of Namur(南姆大学);University of Dschang(乍角大学)
本文提出了一种自监督学习框架,通过自由负对和数据增强技术提升手语识别的表示学习效果。
2026-03-06 cs.CV
Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition
Hikvision Research Institute(海康威视研究院)
由于人工标注的缺乏,自动面部动作单元(AU)识别是一项具有挑战性的任务。为了缓解这个问题,大量的努力一直致力于利用各种弱监督的方法,利用大量的未标记的数据。然而,许多方面的一些独特的属性,如区域和关系的特点,AU,没有充分探讨在以前的工作。受此启发,我们考虑了AU属性,并提出了两个辅助AU相关任务,以通过未标记数据以自监督方式弥合有限注释和模型性能之间的差距。具体来说,为了增强AU关系嵌入区域特征的区分度,我们设计了一个ROI修复任务来恢复随机裁剪的AU补丁。同时,提出了一种基于单幅图像的光流估计任务,利用面部肌肉的动态变化,并将运动信息编码到全局特征表示中。基于这两个自我监督的辅助任务,本地功能,相互关系和运动线索的AU更好地捕捉到骨干网络。此外,通过结合半监督学习,我们提出了一个端到端的可训练的框架命名为弱监督区域和时间学习(WSRTL)的AU识别。在BP 4D和DISFA上进行的大量实验证明了我们方法的优越性,并取得了新的最先进的性能。
2022-04-01 cs.CV
Social Adaptive Module for Weakly-supervised Group Activity Recognition
Nanjing University of Science and Technology(南京理工大学);Huawei Inc.(华为公司)
本文提出了一种新的任务称为弱监督的群体活动识别(GAR),它不同于传统的GAR任务,只有视频级的标签是可用的,但每个帧内的重要人物,即使在训练数据不提供。这使得我们可以轻松地收集和注释大规模的NBA数据集,从而对GAR提出新的挑战。为了从弱监督中挖掘有用的信息,我们提出了一个关键的见解,即关键实例可能彼此相关,从而设计了一个社会适应模块(SAM)来从噪声数据中推理关键人物和帧。实验表明,NBA数据集以及流行的排球数据集显着改善。特别是,我们在视频级注释上训练的模型实现了与需要强标签的先前算法相当的准确性。
2020-07-18 cs.CV