Self-supervised Activity Representation Learning with Incremental Data: An Empirical Study
University of New South Wales(新南威尔士大学);Defence Science and Technology Group(国防科学技术集团)
本研究针对移动感知场景下增量数据的活动分类问题,提出基于自监督表征学习的工作流程,通过无标注数据预训练提取特征后用于分类,并在四个公开数据集上分析了无标注数据的规模、分布和来源对性能的影响。
2023-05-01 cs.LG eess.SP
Concept Representation Learning with Contrastive Self-Supervised Learning
IBM
面向概念的深度学习(CODL)是一种应对深度学习未来挑战的通用方法:(1)在很少或没有外部监督的情况下学习,(2)处理来自与训练样本不同分布的测试样本,以及(3)将深度学习与符号AI集成。在CODL中,就像在人类学习中一样,概念表示是基于概念范例学习的。对比自监督学习(CSSL)提供了一种很有前途的方法来做到这一点,因为它:(1)使用数据驱动的关联,摆脱语义标签,(2)支持增量和持续学习,摆脱(大型)固定数据集,(3)适应紧急目标,摆脱固定目标(任务)。我们讨论了使用CSSL的概念表示学习的主要方面。这些包括双层概念表示,CSSL特征表示,范例相似性度量和自监督关系推理,增量和连续CSSL,以及对比自监督概念(类)增量学习。讨论利用了认知神经科学和CSSL的最新发现。
2022-02-03 cs.LG
Balanced Supervised Contrastive Learning for Few-Shot Class-Incremental Learning
KAIST(韩国科学技术院);Samsung Research(三星研究院)
针对少样本类增量学习中新任务欠拟合与旧任务遗忘的平衡难题,本文提出平衡监督对比损失以学习通用特征表示,并统一基会话与增量会话分类器初始化,在多个数据集上显著超越现有方法。
2023-05-26 cs.AI cs.CV
Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
Uniphore(尤尼福尔(Uniphore))
本文提出可控意图发现(CDI)框架,通过无监督对比学习、半监督微调、迭代伪标签优化及无遗忘学习,实现人在回路的增量式意图发现,在CLINC和BANKING上显著优于现有方法。
2024-10-18 cs.AI cs.CL cs.LG
Self-Supervised Learning Aided Class-Incremental Lifelong Learning
Peking University(北京大学)
终身或持续学习仍然是人工神经网络的一个挑战,因为它既要保持旧知识的稳定性,又要获得新知识的可塑性。以前的经验被覆盖是很常见的,这导致了众所周知的灾难性遗忘问题,特别是在类增量学习(Class-IL)的情况下。近年来,人们提出了许多终身学习的方法来避免灾难性遗忘。然而,在不重放输入数据的情况下学习的模型会遇到另一个被忽略的问题,我们称之为先验信息丢失(PIL)。在Class-IL的训练过程中,由于模型没有后续任务的知识,它只会提取到目前为止学习的任务所需的特征,其信息不足以用于联合分类。在本文中,我们的实验结果表明,PIL限制了目前最先进的方法类IL,正交权重修改(OWM)算法的性能。此外,我们建议结合自监督学习,它可以提供有效的表示,而不需要标签,类IL部分解决这个问题。实验表明,该方法的优越性OWM,以及其他强基线。
2020-10-07 cs.LG stat.ML
Towards Label-Efficient Incremental Learning: A Survey
Eindhoven University of Technology(埃因霍温理工大学);Autonomous University of Barcelona(巴塞罗那自治大学);University of Amsterdam(阿姆斯特丹大学)
在构建机器学习模型时,当前的主要范式是一遍又一遍地遍历数据集,直到收敛。这种方法是非增量的,因为它假设可以同时访问所有类别的所有图像。然而,对于许多应用程序来说,非增量学习是不现实的。为此,研究人员研究了增量学习,要求学习者适应具有不同分布的传入数据流,同时防止忘记过去的知识。然而,已经取得了重大进展,绝大多数工作都集中在完全监督的设置上,使得这些算法标签饥饿,从而限制了它们的实际部署。为此,在本文中,我们第一次尝试调查最近越来越多的兴趣标签有效的增量学习。我们确定了三个细分,即半,Few-Shot-和自监督学习,以减少标记的努力。最后,我们确定了新的方向,可以进一步提高标签效率,提高增量学习的可扩展性。项目网址:https://github.com/kilickaya/label-efficient-il。
2023-02-11 cs.CV cs.LG
ISSTAD: Incremental Self-Supervised Learning Based on Transformer for Anomaly Detection and Localization
organization= School of Software Engineering,Xi'an Jiaotong University , addressline= 28 Xianning West Road , city= Xi'an , postcode= 710049 , state= Shaanxi , country= China
针对图像异常检测与定位任务,提出基于Transformer的两阶段增量自监督方法ISSTAD,通过MAE预训练结合像素级增强学习修复与分类,在MVTec AD数据集上AUC达97.6%,优于现有CNN方法。
2023-04-28 cs.CV cs.LG
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督,通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中,数据增强技术被广泛应用,并且不需要数据标签,因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑,即使数据源非常不同。我们表明,整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG
Homomorphic Self-Supervised Learning
Apple(苹果公司)
在这项工作中,我们观察到,许多现有的自监督学习算法可以统一和推广时,通过等变表示的镜头。具体来说,我们介绍了一个一般的框架,我们称之为同态自监督学习,并从理论上展示了它如何可能substrate的使用输入增强提供了一个增强同态特征提取器。我们验证了这个理论的实验简单的增强,演示了框架失败时,代表性结构被删除,并进一步实证探索如何这个框架的参数与传统的基于增强的自监督学习。最后,我们讨论了这种新的视角对自监督学习的潜在好处。
2022-11-15 cs.AI cs.LG
Intrinsically Motivated Self-supervised Learning in Reinforcement Learning
Peking University(北京大学);Tsinghua University(清华大学)
在基于视觉的强化学习(RL)任务中,为了获得更多的语义表示并提高样本效率,通常采用代理自监督损失来分配辅助任务。然而,由于表示学习部分和决策部分被分离,自监督辅助任务中的丰富信息被忽视。为了充分利用辅助任务中的信息,我们提出了一个简单而有效的想法,采用自我监督损失作为内在奖励,称为强化学习中的内在激励自监督学习(IM-SSR)。我们正式表明,自我监督的损失可以分解为探索新的状态和鲁棒性的提高,从滋扰消除。IM-SSR可以毫不费力地插入任何具有自监督辅助目标的强化学习,几乎没有额外的成本。结合IM-SSR,以前的底层算法在DeepMind控制套件的各种基于视觉的机器人任务中,特别是在奖励信号稀疏时,在样本效率和泛化方面都取得了显着的改进。
2022-05-13 cs.AI cs.LG
Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
Yonsei University(延世大学);Seoul National University(首尔大学)
本文提出多级知识蒸馏和动态自监督学习,用于解决持续学习中的类别增量问题,通过利用未标记数据提升模型稳定性与可塑性,实验显示在CVPR CLVISION挑战中取得第二名。
2026-03-31 cs.AI cs.CV cs.LG
Unsupervised Social Event Detection via Hybrid Graph Contrastive Learning and Reinforced Incremental Clustering
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);National Defense University(国防大学)
针对现有无监督社交事件检测方法存在的GCL信息学习不充分、依赖先验知识的问题,提出融合混合图对比学习与强化增量聚类的HCRC方法,在多个数据集和设置下实现显著性能提升。
2023-12-15 cs.AI cs.SI
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University(哥伦比亚大学)
最近,自监督学习在各种机器学习任务中出现了爆炸性增长和使用,因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献,并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成,跨模态预训练,循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Towards Robust Few-shot Class Incremental Learning in Audio Classification using Contrastive Representation
IISER Bhopal(印度博帕尔印度科学教育与研究学院)
本文针对音频分类中的少样本类增量学习问题,提出在基会话训练中引入监督对比学习以优化表示空间,从而提升判别力和泛化能力,并在多个音频数据集上取得最先进性能。
2024-08-07 cs.LG cs.SD eess.AS
Maximizing Incremental Information Entropy for Contrastive Learning
本文提出IE-CL框架,通过优化增强视图间的熵增来提升对比学习性能,在CIFAR-10/100、STL-10和ImageNet数据集上验证了其有效性,并能无缝集成到现有框架中。
2026-03-13 cs.LG
REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning
Shien-Ming Wu School of Intelligent Engineering(申铭武智能工程学院);School of Future Technology(未来技术学院);Department of Electrical and Electronic Engineering(电气与电子工程系)
REAL通过双流预训练和表征增强蒸馏提升无实例类增量学习的表征能力,结合特征融合缓冲器更高效利用主干网络知识,实现更优的分类性能。
2025-12-17 cs.CV cs.LG
On the surprising similarities between supervised and self-supervised models
University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注:IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所,但根据常见中文译法及上下文,此处保留缩写更准确))
人类如何学习获得强大、灵活和健壮的对象表示?虽然这个过程的大部分仍然未知,但很明显,人类不需要数百万个对象标签。令人兴奋的是,自监督学习的最新算法进步现在使卷积神经网络(CNN)能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破,我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型,这些数据集有大规模的人类行为数据(130 K高度受控的心理物理试验)。令人惊讶的是,目前的自监督CNN具有监督CNN的四个关键特征:(1)相对较差的噪声鲁棒性(Simplified的显著例外),(2.)非人类类别级错误模式,(3.)非人类图像级错误模式(与监督模型错误的高度相似性)和(4.)对质地的偏爱总的来说,这些结果表明,通过今天的监督和自我监督训练目标学习的策略最终惊人地相似,但与人类行为相去甚远。话虽如此,我们显然只是处于所谓的机器视觉自监督革命的开始,我们希望未来的自监督模型与监督模型的行为不同,并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology(快手科技)
近年来,从大量未标记数据中学习,特别是自监督学习,逐渐兴起并受到广泛关注。自监督学习,然后对一些标记的示例进行监督微调,可以显着提高标记效率,并优于使用完全注释数据的标准监督训练。在这项工作中,我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说,我们设计了一个学生-教师网络来生成自监督学习数据的多视图,并将硬负对挖掘集成到训练中。然后,我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST(韩国科学技术院)
本研究通过将自监督表示学习表述为监督学习目标的近似,推导出与InfoNCE相关的损失函数,引入原型表示偏差和平衡对比损失概念,从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon AWS AI(亚马逊云科技人工智能)
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性,值得探索。在这项研究中,我们提出了一个有效的自监督学习框架和一个新的正则化策略,以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同,所提出的自监督正则化(SSReg)只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略,所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力,并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明,通过添加有效的自监督正则化,我们提出的自监督方法获得了23.4%的相对改进,并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明,较大的模型比较小的模型从自监督学习中受益更多。因此,对于较大的模型,监督学习和自监督学习之间的差距已经大大缩小。在这项工作中,我们没有为自监督学习设计新的伪任务,而是开发了一种模型压缩方法,将已经学习的深度自监督模型(教师)压缩为较小的模型(学生)。我们对学生模型进行训练,使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet,我们的方法优于所有以前的方法,包括ImageNet线性评估(59.0%与56.5%相比)和最近邻评估(50.7%与41.4%相比)的完全监督模型。据我们所知,这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到:https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven(鲁汶大学)
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标,它集成了自监督和结构学习。此外,我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明,与传统的自监督学习相比,该框架在下游分类任务中实现了更高的泛化性能,并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay
Columbia University(哥伦比亚大学)
自监督学习因其不需要数据标注就能学习有意义的表示而成为近年来的热门方法。本文提出了一种新的图像增强技术,叠加图像,这还没有被广泛应用于自监督学习。此方法旨在为模型提供更好的指导,以理解底层信息,从而产生更有用的表示。所提出的方法使用对比学习进行评估,对比学习是一种广泛使用的自监督学习方法,在下游任务中表现出良好的性能。实验结果表明,所提出的增强技术在提高自监督模型的性能方面是有效的。
2023-01-23 cs.CV cs.LG
FairDD: Enhancing Fairness with domain-incremental learning in dermatological disease diagnosis
College of Information Science and Technology(信息科学与技术学院);College of Cyber Security(网络空间安全学院)
本文提出了一种名为 FairDD 的皮肤病诊断网络,通过引入领域增量学习、mixup 数据增强和监督对比学习,在保持高准确性的同时有效缓解了模型决策偏差,实现了准确性与公平性的更优权衡。
2024-12-21 cs.CV cs.CY cs.LG
TriBYOL: Triplet BYOL for Self-Supervised Representation Learning
Hokkaido University(北海道大学)
本文提出了一种新的自监督学习方法,学习更好的小批量表示。许多基于某种形式的连体网络的自监督学习方法已经出现并受到了极大的关注。然而,这些方法需要使用大批量来学习良好的表示,并需要大量的计算资源。我们提出了一个新的三重网络结合三重视图损失,以提高性能的自监督表示学习与小批量。实验结果表明,在小批量情况下,我们的方法在多个数据集上的性能可以大大优于最先进的自监督学习方法。我们的方法提供了一个可行的解决方案,自监督学习与现实世界的高分辨率图像,使用小批量。
2022-06-07 cs.AI cs.CV
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research(Facebook AI研究院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆塔纳实验室)
最近,自监督学习方法,如MoCo,Simploy,BYOL和SwAV,已经缩小了与监督方法的差距。这些结果是在控制环境中实现的,即高度策划的ImageNet数据集。然而,自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中,我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督(SEER)模型,一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY,达到了84.2%的top-1准确率,超过了最好的自监督预训练模型1%,并证实了自监督学习在现实世界中的工作环境。有趣的是,我们还观察到自监督模型是很好的Few-Shot学习者,在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码:https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning
The University of Tokyo(东京大学);Peking University(北京大学);University of Waterloo(滑铁卢大学)
我们提出了自适应训练-一种统一的训练算法,通过模型预测动态校准和增强训练过程,而不会产生额外的计算成本-以推进深度神经网络的监督学习和自监督学习。我们在训练数据上分析深度网络的训练动态,这些数据被以下因素破坏,例如,随机噪声和对抗性示例。我们的分析表明,模型预测能够放大数据中有用的底层信息,即使在没有任何标签信息的情况下,这种现象也会广泛发生,这突出表明模型预测可以大大有利于训练过程:自适应训练提高了噪声下深度网络的泛化能力,并增强了自监督表示学习。该分析还有助于理解深度学习,例如,对最近发现的经验风险最小化中的双下降现象和最先进的自监督学习算法的崩溃问题的潜在解释。在CIFAR,STL和ImageNet数据集上的实验验证了我们的方法在三个应用中的有效性:标签噪声分类,选择性分类和线性评估。为了方便今后的研究,该守则已在https://github.com/LayneH/self-adaptive-training上公布。
2022-10-14 cs.CV cs.LG
Self-Supervised Models are Continual Learners
University of Trento(特伦托大学);Inria(法国国家信息与自动化研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
当在大规模的未标记数据上进行离线训练时,自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而,在持续学习(CL)场景中,它们的功效会灾难性地降低,其中数据按顺序呈现给模型。在本文中,我们表明,自我监督的损失函数可以无缝地转换成CL蒸馏机制,通过添加一个预测网络,映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架,(i)显着提高学习表示的质量,(ii)与几个最先进的自监督目标兼容,(iii)几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Self-supervised Video Object Segmentation
Fudan University(复旦大学);University of Oxford(牛津大学);West Virginia University(西弗吉尼亚大学)
本文的目标是自监督的表示学习,目标是解决半监督视频对象分割(a.k.a.密集跟踪)。本文的主要贡献如下:(1)改进了现有的自监督匹配方法,提出了一种简单有效的长时匹配记忆机制,解决了对象消失和再现带来的挑战;(ii)通过用在线自适应模块增强自监督方法,我们的方法成功地消除了由时空不连续性引起的跟踪器漂移,例如,遮挡或不遮挡,快速运动;(iii)我们探索了自监督表示学习用于密集跟踪的效率,令人惊讶的是,我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练(相当于11分钟的持续时间),表明低级别的统计数据已经对跟踪任务有效;(iv)我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果,并超越了使用数百万手动分割注释训练的大多数方法,进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究(https://github.com/fangruizhu/self_sup_semiVOS)。
2020-06-22 cs.CV cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo(滑铁卢大学)
本综述总结自监督预训练在放射影像诊断任务中的效果,发现其通常优于全监督学习,尤其在未标记数据多时,并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University(杜克大学)
自监督学习显著提高了许多NLP任务的性能。然而,自监督学习如何发现有用的表示,以及为什么它比概率模型等传统方法更好,在很大程度上仍然是未知的。在本文中,我们专注于主题建模的背景下,并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时,自监督学习可以忽略特定的模型,因此不太容易受到模型误指定。特别是,我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲,我们表明,相同的目标可以执行与后验推理使用正确的模型,而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
DeepMind(深度思维);Twitter Cortex(推特科泰克斯)
尽管自监督方法最近在残差网络的表示学习方面取得了进展,但它们在ImageNet分类基准上的表现仍然低于监督学习,限制了它们在性能关键设置中的适用性。基于来自ReLIC的先前理论见解[Mitrovic等人,2021],我们将额外的归纳偏差纳入自监督学习。我们提出了一种新的自我监督的表示学习方法,ReLICv 2,它结合了一个明确的不变性损失与对比的目标,在一组不同的适当构造的数据视图,以避免学习虚假的相关性,并获得更多的信息表示。在ResNet 50上进行线性评估时,ReLICv 2在ImageNet上实现了$77.1\%$ top- $1$精度,从而通过绝对$+1.5\%$改进了先前的最先进技术;在更大的ResNet模型上,ReLICv 2实现了高达$80.6\%$的性能,优于先前的自监督方法,其裕度高达$+2.3\%$。最值得注意的是,ReLICv 2是第一个无监督的表示学习方法,在一系列ResNet架构的同类比较中始终优于监督基线。使用ReLICv 2,我们还学习了更强大和可转移的表示,这些表示比以前的工作更好地概括了分布,无论是在图像分类还是语义分割方面。最后,我们表明,尽管使用ResNet编码器,ReLICv 2与最先进的自监督Vision Transformers相当。
2022-11-03 cs.CV cs.LG stat.ML
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
持续学习通常假设传入的数据是完全标记的,这在实际应用中可能不适用。在这项工作中,我们考虑半监督持续学习(SSCL),增量学习部分标记的数据。观察到现有的持续学习方法缺乏持续利用未标记数据的能力,我们提出了具有判别器一致性的深度在线重放(ORDisCo),以利用条件生成对抗网络(GAN)相互依赖地学习分类器,该网络不断将学习的数据分布传递给分类器。特别是,ORDisCo重放采样的数据从条件发生器的分类器在一个在线的方式,利用未标记的数据在时间和存储效率的方式。此外,为了明确地克服未标记数据的灾难性遗忘,我们选择性地稳定对于区分由分类器预测的旧的未标记数据和它们的伪标签对很重要的参数。我们在SSCL的各种半监督学习基准数据集上广泛评估了ORDisCo,并表明与强基线相比,ORDisCo在SVHN,CIFAR 10和Tiny-ImageNet上实现了显着的性能改进。
2021-04-09 cs.AI cs.LG stat.ML
SCLIFD:Supervised Contrastive Knowledge Distillation for Incremental Fault Diagnosis under Limited Fault Data
Zhejiang University(浙江大学);University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Science and Technology Beijing(北京科技大学)
智能故障诊断技术目前已经取得了长足的进步。然而,很少有工作解决有限故障数据下的类增量学习故障诊断,即,不平衡和长尾故障诊断带来了各种显著的挑战。最初,很难从有限的故障数据中提取有区别的特征。此外,一个经过良好训练的模型必须从头开始重新训练,才能从新的类别中对样本进行分类,从而造成很高的计算负担和时间消耗。此外,该模型在增量训练时可能遭受灾难性遗忘。最后,由于类不平衡,模型决策偏向于新类。这些问题会导致故障诊断模型的性能下降。针对上述问题,提出了一种有限故障数据下的增量式故障诊断监督对比知识提取(SCLIPD)框架,从三个方面扩展了经典增量式分类器和表示学习(iCaRL)框架.首先,我们采用有监督的对比知识提取(KD),以提高其表示学习能力,在有限的故障数据。此外,我们提出了一种新的优先级样本选择方法自适应羊群(AdaHerding),以限制计算负担的增加,这也是结合KD,以减轻灾难性遗忘。此外,我们采用余弦分类器,以减轻类不平衡的不利影响。我们进行了广泛的实验模拟和现实世界的工业过程中不同的不平衡比。实验结果表明,我们的SCLIFD优于现有的方法,由一个很大的利润。
2023-02-12 cs.LG
Incremental Self-training for Semi-supervised Learning
School of Computer Science & Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Pazhou Lab(琶洲实验室)
本文提出增量自训练(IST)方法,通过分批处理数据并优先分配高置信伪标签,再处理决策边界数据,以提高半监督学习的精度和速度,并在多个任务上超越现有方法。
2024-04-14 cs.LG
MAGIC-SSCIL: Manifold Anchoring and Geometric Incremental Calibration for Semi-Supervised Class Incremental Learning
针对无范例半监督类增量学习的灾难性遗忘与伪标签不可靠问题,提出MAGIC框架,通过软加权几何校准与几何结构对齐组件,在多数据集低标签场景下提升了平均增量准确率。
2026-11-18 cs.CV cs.LG
Importance of user inputs while using incremental learning to personalize human activity recognition models
University of Oulu(奥卢大学)
在这项研究中,用户输入的重要性进行了研究的背景下,个性化的人类活动识别模型,使用增量学习。使用来自三个身体位置的惯性传感器数据,并且分类基于Learn++集成方法。比较了三种不同的模型更新方法:非监督、半监督和监督。非监督方法完全依赖于预测标签,监督完全依赖于用户标记的数据,而所提出的半监督学习方法是这两者的组合。事实上,我们的实验表明,通过依赖于高置信度的预测标签,并要求用户只标记不确定的观察结果(根据所使用的基本分类器,从12%到26%的观察结果),几乎可以实现与使用监督方法一样低的出错率。事实上,差异小于2%-单位。此外,与非监督方法不同,半监督方法不会遭受剧烈的概念漂移,因此,非监督方法的出错率超过5%,比使用半监督方法高。
2019-05-28 cs.CV cs.HC cs.LG
DIRA-SS:Dynamic Domain Incremental Regularised Adaptation -- Self-Supervised
University of Bristol(布里斯托大学)
研究自治系统中深度神经网络分类器遇分布变化性能下降问题,提出DIRA-SS,通过辅助重训练分支、旋转预测任务及弹性权重巩固实现自监督在线域自适应,提升模型性能。
2026-07-08 cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
在线类增量持续学习(CL)研究从在线非平稳数据流中持续学习新类的问题,旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果,但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值(NCM)分类器在CL社区中被严重低估,但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差,并避免了新类的全连接层的结构变化。此外,我们观察到相当大的和一致的性能增益时,用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器,属于同一类的数据嵌入应该被聚类,并与具有不同类标签的数据嵌入很好地分离。为此,我们贡献了监督对比重放(SCR),它明确鼓励来自同一类的样本在嵌入空间中紧密聚类,同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说,我们观察到,我们提出的SCR大大减少了灾难性遗忘,并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
Semi-supervised Relation Extraction via Incremental Meta Self-Training
为了减轻人类获取大规模注释的努力,半监督关系抽取方法旨在利用未标记的数据,除了从有限的样本中学习。现有的自训练方法遭受逐渐漂移问题,其中在训练期间将未标记数据上的噪声伪标签并入。为了减轻伪标签中的噪声,我们提出了一种称为MetaSRE的方法,其中关系标签生成网络通过从关系分类网络上的成功和失败尝试中(Meta)学习来生成伪标签的质量评估作为额外的元目标。为了减少噪声伪标签的影响,MetaSRE采用了伪标签选择和利用方案,该方案评估未标记样本的伪标签质量,并仅以自训练方式利用高质量的伪标签来增量地增加标记样本,以实现鲁棒性和准确性。在两个公开数据集上的实验结果证明了该方法的有效性。
2021-09-10 cs.CL cs.LG
Incremental Semi-supervised Federated Learning for Health Inference via Mobile Sensing
South China Normal University(华南师范大学);University of Virginia(弗吉尼亚大学)
提出FedMobile增量式半监督联邦学习算法,用于移动感知健康推断,解决域偏移、计算负担和数据稀疏问题,在流感样症状识别数据集上取得最优性能。
2023-12-19 cs.CY cs.LG cs.SI
Incremental Spectral Sparsification for Large-Scale Graph-Based Semi-Supervised Learning
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧洲分所);University of Puerto Rico - Rio Piedras(波多黎各大学里约彼德拉斯分校)
虽然谐波函数解决方案在许多半监督学习(SSL)任务中表现良好,但已知其随样本数量的扩展性较差。最近成功的和可扩展的方法,如本征函数方法,专注于有效地逼近从数据构建的图拉普拉斯算子的整个谱。这与过去提出的各种子采样和量化方法形成对比,这些方法可能无法保留图形频谱。然而,谱的近似对最终泛化误差的影响要么是未知的,要么需要对数据进行强假设。在本文中,我们介绍了稀疏HFS,一个有效的边缘稀疏化算法SSL。通过构造一个边稀疏和谱相似的图,我们能够利用谱稀疏化方法的近似保证来限制稀疏HFS的泛化误差。因此,我们获得了一个理论上接地的近似方案,基于图的SSL,也经验匹配的性能已知的大规模方法。
2016-01-21 cs.LG stat.ML
Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt
University of Maryland(马里兰大学)
提出注意力感知自适应提示(ASP)框架,通过任务不变与任务特定提示结合信息瓶颈目标,解决少样本类增量学习的过拟合与遗忘问题,并在三个基准上超越现有方法。
2024-07-17 cs.AI cs.CV cs.LG
TIDE: Temporal Incremental Draft Engine for Self-Improving LLM Inference
TIDE通过整合在线草稿适应和自适应运行时控制,提升LLM推理效率并减少训练时间。
2026-09-25 cs.AI cs.LG
Unsupervised Video Class-Incremental Learning via Deep Embedded Clustering Management
Department of Computer Science, University of York, York YO10 5GH, UK(计算机科学系,约克大学,约克 YO10 5GH,英国)
本文提出了一种无监督视频类增量学习方法,通过深度嵌入聚类管理实现高效学习,优于现有基线方法。
2026-01-20 cs.AI cs.CV cs.LG
Reminding the Incremental Language Model via Data-Free Self-Distillation
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, China(中国科学院声学研究所语言声学与内容理解重点实验室);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学)
在神经网络中,使用伪数据的增量式语言学习可以缓解灾难性遗忘。然而,为了获得更好的性能,以前的方法对以前任务的伪数据有更高的要求。当使用较少的伪数据时,性能显著降低。此外,随着不同任务的顺序学习,伪数据的分布逐渐偏离真实数据。学习的任务越多,偏差越大,导致的灾难性遗忘越严重。为了解决这些问题,我们提出了提醒增量语言模型通过无数据自蒸馏(DFSD),其中包括自蒸馏的基础上的地球移动器的距离和隐藏的数据增强。通过估计GPT-2各层的知识分布并将其从教师模型转换为学生模型,基于地球移动器距离的自蒸馏可以显著减少对伪数据的需求。隐藏数据增强通过将伪数据的生成建模为隐藏数据增强过程,其中每个样本是所有训练任务数据的混合,可以极大地减轻偏差引起的灾难性遗忘。实验结果表明,我们的DFSD可以超过以前的国家的最先进的方法,即使在伪数据的最大减少是90%。
2021-10-17 cs.AI cs.CL cs.LG
Remembering by Reconstructing: Domain Incremental Learning With Test-Time Training on Video Streams
ESAT, KU Leuven(ESAT,比利时鲁汶大学)
提出一种结合主任务头和自监督掩码自编码器头的域增量学习方法,通过测试时训练识别最佳LoRA适配器以重新记忆域,适用于视频流数据。
2026-05-29 cs.CV cs.LG
Self-Training for Class-Incremental Semantic Segmentation
Tianjin University of Technology(天津理工大学);Nankai University(南开大学);Autonomous University of Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心)
在类增量语义分割中,我们无法访问先前任务的标记数据。因此,当增量学习新类时,深度神经网络会对先前学习的知识产生灾难性遗忘。为了解决这个问题,我们建议应用一种自我训练的方法,利用未标记的数据,这是用于排练以前的知识。具体来说,我们首先学习当前任务的临时模型,然后通过融合来自先前任务的旧模型和当前临时模型的信息来计算未标记数据的伪标签。此外,提出了冲突减少,以解决从旧的和临时的模型产生的伪标签的冲突。我们表明,最大化自熵可以通过平滑过度自信的预测来进一步改善结果。有趣的是,在实验中,我们表明,辅助数据可以不同于训练数据,即使是通用的,但不同的辅助数据可以导致大的性能增益。实验证明了最先进的结果:与以前的最先进方法相比,在Pascal-VOC 2012上获得了高达114%的相对增益,在更具挑战性的ADE 20 K上获得了8.5%的相对增益。
2022-03-11 cs.AI cs.CV cs.LG
NTK-Guided Few-Shot Class Incremental Learning
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
本文从NTK视角建模FSCIL抗遗忘问题,通过元学习、自监督预训练、课程对齐和双重NTK正则化实现最优收敛与更低泛化损失,准确率较现有方法提升2.9%至9.3%。
2024-09-24 cs.AI cs.LG
YOLOOC: YOLO-based Open-Class Incremental Object Detection with Novel Class Discovery
针对开放世界目标检测中新类发现与增量学习问题,提出基于YOLO架构的YOLOOC检测器,通过引入标签平滑防止新类误判,并构建仅推理阶段遇新类的基准验证了有效性。
2024-04-22 cs.AI cs.CV cs.LG
Class Incremental Continual Learning with Self-Organizing Maps and Synthetic Replay
该研究提出基于自组织映射(SOM)与合成重放的类别增量持续学习框架,在多基准数据集上性能优于无内存方法,为类别增量持续学习提供了可扩展的无标签无示例方案。
2026-08-31 cs.LG