The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning
Google Research(谷歌研究);EPFL(瑞士联邦理工学院)
本研究通过分析预训练到监督微调的知识转移,揭示了不同能力类别、基准测试和模型规模间转移可靠性的差异,为模型开发和数据整理提供指导。
2026-02-11 cs.LG
Self-supervised Pretraining for Decision Foundation Model: Formulation, Pipeline and Challenges
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对传统决策方法样本效率低和泛化差的问题,本文提出Pretrain-Then-Adapt流程,通过整合大规模自监督预训练知识至下游任务,并综述相关技术及未来挑战,推动决策基础模型发展。
2024-01-05 cs.AI cs.LG
A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series
School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院);IBM Research, Thomas J. Watson Research Center(IBM研究部托马斯·J·沃森研究中心)
针对时间序列模型预训练知识迁移的挑战,提出一种基于监督对比学习的预训练-微调方法,利用概率相似度指标对齐数据动态以增强目标预测,实验验证了其有效性。
2023-11-21 cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo(滑铁卢大学)
本综述总结自监督预训练在放射影像诊断任务中的效果,发现其通常优于全监督学习,尤其在未标记数据多时,并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks
Dartmouth College(达特茅斯学院)
本文提出了一个针对fMRI数据的transformer自监督预训练框架,通过同时进行两个任务预训练以学习听觉皮层时空动态,并在有监督分类任务中微调,显著提升了留出运行上的准确率,验证了多任务预训练与迁移学习的有效性。
2023-05-15 cs.LG q-bio.NC
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University(斯坦福大学)
对比学习在计算机视觉方面取得了相当大的进展,在一系列下游数据集上的表现优于有监督的预训练。然而,对比学习是否在所有情况下都是更好的选择?我们证明了两种情况下,它不是。首先,在足够小的预训练预算下,ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明,在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次,即使预训练预算较大,我们也可以识别出监督学习占主导地位的任务,这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调,需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
A Study on Self-Supervised Pretraining for Vision Problems in Gastrointestinal Endoscopy
University of Central Lancashire(中央兰开夏大学)
本研究比较了自监督与监督预训练在胃肠内窥镜视觉任务中的效果,发现自监督预训练通常更优,且ImageNet-1k预训练优于专用数据集,但深度估计例外,并指出不同骨干架构适用于不同任务。
2024-05-28 cs.CV cs.LG
SMART: Self-supervised Multi-task pretrAining with contRol Transformers
University of Maryland(马里兰大学);Microsoft(微软)
自监督预训练在语言和视觉领域得到了广泛的研究,其中统一的模型可以通过预训练没有显式标签的表示来轻松适应各种下游任务。然而,当涉及到顺序决策任务时,很难正确设计这样一种预训练方法,既可以处理高维感知信息,又可以处理长交互范围内顺序控制的复杂性。如果我们想预训练能够适应各种任务的表示,那么挑战在组合上变得更加复杂。为了解决这个问题,在这项工作中,我们制定了一个通用的预训练,微调管道顺序决策,在此基础上,我们提出了一个通用的预训练框架\textit{Self-supervised Multi-task pretrAining with contRol Transformer (SMART)}。通过系统地研究预训练机制,我们精心设计了一个控制Transformer(CT)加上一个新的控制为中心的预训练目标在一个自我监督的方式。SMART鼓励代表捕获与短期控制和长期控制相关的共同基本信息,这些信息可以在任务之间转移。我们通过在DeepMind Control Suite中的大量实验表明,SMART在不同的学习场景下,包括模仿学习(IL)和强化学习(RL),显着提高了可见和不可见下游任务和领域的学习效率。受益于所提出的以控制为中心的目标,SMART对预训练和微调之间的分布偏移具有弹性,甚至可以很好地处理随机收集的低质量预训练数据集。
2023-01-24 cs.AI cs.LG
Self-Supervised Pretraining for 2D Medical Image Segmentation
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
监督机器学习为各种计算机视觉问题提供了最先进的解决方案。然而,对大量标记的训练数据的需要限制了这些算法在这种输入稀缺或昂贵的情况下的能力。自监督学习提供了一种方法,通过在未标记数据上为特定领域预训练模型来降低对手动注释数据的需求。在这种方法中,仅需要标记数据来微调下游任务的模型。医学图像分割是一个领域,标记数据需要专业知识,收集大型标记数据集是具有挑战性的,因此,自监督学习算法承诺在这一领域的实质性改进。尽管如此,自监督学习算法很少用于预训练医学图像分割网络。在本文中,我们阐述和分析了监督和自我监督预训练方法对下游医学图像分割的有效性,重点是收敛性和数据效率。我们发现,在自然图像和特定于目标域的图像上进行自监督预训练可以实现最快、最稳定的下游收敛。在我们对ACDC心脏分割数据集的实验中,与ImageNet预训练模型相比,这种预训练方法实现了4-5倍的微调收敛。我们还表明,这种方法只需要对特定领域的数据进行不到五个时期的预训练,就可以在下游收敛时间上实现这种改进。最后,我们发现,在低数据场景中,有监督的ImageNet预训练达到了最佳的准确性,只需要不到100个带注释的样本就可以实现接近最小的错误。
2022-09-01 cs.CV cs.LG
Exploring the Utility of Self-Supervised Pretraining Strategies for the Detection of Absent Lung Sliding in M-Mode Lung Ultrasound
University of Waterloo(滑铁卢大学);Deep Breathe;Western University(韦仕敦大学)
本研究提出了一种耦合M型图像的新颖成对关系,验证了自监督预训练在M型肺超声肺滑动分类任务中优于全监督,能显著提升未用ImageNet预训练权重模型的性能与泛化能力。
2023-04-05 cs.CV cs.LG
SPeCiaL: Self-Supervised Pretraining for Continual Learning
McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院)
本文介绍了SPeciaL:一种为持续学习量身定制的表示的无监督预训练方法。我们的方法设计了一个元学习目标,通过顺序学习过程区分。具体来说,我们训练一个线性模型的表示,以匹配不同的增强视图相同的图像在一起,每个视图顺序呈现。然后评估线性模型对它刚刚看到的图像进行分类的能力,以及对来自先前迭代的图像进行分类的能力。这就产生了有利于快速记忆知识和最小遗忘的表征。我们在连续少样本学习设置中评估SPeciaL,并表明它可以匹配或优于其他监督预训练方法。
2021-06-16 cs.CV cs.LG
Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future
Laboratory for Machine Perception and Learning(机器感知与学习实验室);University of Central Florida(中佛罗里达大学)
在本文中,我们回顾了自监督深度网络的对抗性预训练,包括卷积神经网络和视觉Transformer。与访问标记示例的对抗训练不同,对抗预训练很复杂,因为它只能访问未标记的示例。为了在输入或特征级别上将对手纳入预训练模型,我们发现现有的方法主要分为两组:无记忆的实例攻击对单个示例施加最坏情况的扰动,以及基于记忆的对手在迭代过程中跨示例共享。特别是,我们回顾了几个有代表性的对抗性预训练模型的基础上对比学习(CL)和掩码图像建模(MIM),分别在文献中流行的两种自监督预训练方法。我们还回顾了有关计算开销,输入/特征级对手以及上述两组之外的其他对抗性预训练方法的各种问题。最后,我们讨论了对抗和合作预训练之间的关系,统一对抗CL和MIM预训练,以及对抗预训练中准确性和鲁棒性之间的权衡的新兴趋势和未来方向。
2022-10-23 cs.AI cs.CV cs.LG
United We Pretrain, Divided We Fail! Representation Learning for Time Series by Pretraining on 75 Datasets at Once
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);TU Eindhoven(埃因霍温理工大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心)
本文提出XD-MixUp插值与SICC损失的自监督对比预训练方法,首次证明可在75个多样时间序列数据集上一次性学习通用表示,并在低数据微调中超越监督训练。
2024-02-23 cs.LG
Does GNN Pretraining Help Molecular Representation?
Google Cloud AI Research(谷歌云人工智能研究院);Google Research(谷歌研究院)
使用图神经网络(GNN)提取分子的信息表示在AI驱动的药物发现中至关重要。最近,图研究社区一直在试图复制自然语言处理中自我监督预训练的成功,并取得了一些成功。然而,我们发现在许多情况下,对小分子数据进行自我监督预训练所带来的好处可以忽略不计。我们对GNN预训练的关键组成部分进行了彻底的消融研究,包括预训练目标,数据分割方法,输入特征,预训练数据集规模和GNN架构,以了解它们如何影响下游任务的准确性。我们的第一个重要发现是,在许多情况下,自监督图预训练并不总是比非预训练方法具有统计上的显著优势。其次,虽然通过额外的监督预训练可以观察到明显的改善,但随着更丰富的特征或更平衡的数据分割,这种改善可能会减少。第三,超参数对下游任务准确率的影响可能大于预训练任务的选择,特别是当下游任务规模较小时。最后,我们提供了一些小分子预训练方法的复杂性可能不足的地方,然后是不同预训练数据集上的经验证据。
2022-11-02 cs.LG q-bio.BM
How Useful is Self-Supervised Pretraining for Visual Tasks?
Princeton University(普林斯顿大学)
最近的进展在自我监督的视觉预训练方面取得了令人难以置信的进展。我们调查哪些因素可能发挥作用,这些预培训方法的实用性从业者。为此,我们在一系列综合的合成数据集和下游任务中评估了各种自监督算法。我们准备了一套合成数据,可以无休止地提供注释图像,并完全控制数据集的难度。我们的实验提供了洞察自我监督的效用如何随着可用标签数量的增长而变化,以及效用如何随着下游任务和训练数据的属性而变化。我们还发现,线性评价与微调性能无关。代码和数据可在\href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}上获得。
2020-03-31 cs.CV cs.LG
Encoder-Decoder Networks for Self-Supervised Pretraining and Downstream Signal Bandwidth Regression on Digital Antenna Arrays
DeepSig, Inc.(DeepSig公司)
本文首次将自监督学习用于数字天线阵列数据,通过通道修复任务预训练编码器-解码器网络,再迁移到少量标注数据上训练带宽回归任务,证明预训练能显著提升下游回归性能。
2023-07-06 cs.LG eess.SP
CoSP: Co-supervised pretraining of pocket and ligand
我们能否将口袋-配体相互作用知识注入到预先训练好的模型中,并共同学习它们的化学空间?近年来,预训练分子和蛋白质引起了相当大的关注,而这些方法大多集中在学习化学空间之一,缺乏生物学知识的注入。我们提出了一个共同监督的预训练(CoSP)框架,以同时学习3D口袋和配体表示。我们使用门控几何消息传递层来建模3D口袋和配体,其中考虑每个节点的化学特征、几何位置和方向。为了学习生物学上有意义的嵌入,我们通过对比损失将口袋-配体相互作用知识注入预训练模型。考虑到分子的特异性,我们进一步提出了一种化学相似性增强的负采样策略,以提高对比学习的性能。通过大量的实验,我们得出结论,CoSP可以在口袋匹配,分子性质预测和虚拟筛选方面取得有竞争力的结果。
2022-06-23 cs.AI cs.LG
Pretraining the Vision Transformer using self-supervised methods for vision based Deep Reinforcement Learning
Instituto Superior Técnico(高等技术学院);INESC-ID(里斯本系统与计算机工程研究所);NeuralShift
本研究针对视觉强化学习中CNN仍占主导的问题,用多种自监督方法预训练ViT,提出带时间顺序验证的VICReg扩展,在ALE上提升了RL数据效率并取得最优表现。
2023-07-18 cs.LG
A surprisingly simple technique to control the pretraining bias for better transfer: Expand or Narrow your representation
Meta AI;Mila(米拉人工智能研究所);Universite de Montreal(蒙特利尔大学)
本文提出仅通过改变骨干网络最后一个块的维度即可有效控制预训练偏差,显著提升自监督和监督预训练模型的下游迁移性能。
2023-04-11 cs.LG
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec(魁北克大学国立科学研究院-能源、材料与电信);Salesforce Research(赛富时研究院)
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明,使用自监督学习获得的功能是可比的,或优于,监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组,并证明了多任务学习兼容的借口任务提高领域泛化性能相比,单独训练的任务。当训练和测试分布之间存在较大的域偏移时,与其监督对应物相比,通过自监督学习的特征可以更好地泛化到不可见的域,甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合,以进一步提高性能。
2020-03-30 cs.CV cs.LG
Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking
Google Research(谷歌研究院)
在这项工作中,我们提出了一个实体链接模型,它结合了Transformer架构与大规模的预训练维基百科链接。我们的模型在两个常用的实体链接数据集上达到了最先进的水平:CoNLL上的96.7%和TAC-KBP上的94.9%。我们提出了详细的分析,以了解什么样的设计选择是重要的实体链接,包括选择负实体候选人,Transformer架构,和输入扰动。最后,我们提出了更有挑战性的设置,如端到端的实体链接和实体链接,没有域内训练数据有希望的结果。
2020-05-28 cs.CL cs.LG
DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining
Fordham University(福特汉姆大学);Rutgers University(罗格斯大学);Pioneer Centre for AI(先锋人工智能中心);Cold Spring Harbor Laboratory(冷泉港实验室);Brown University(布朗大学);University of Copenhagen(哥本哈根大学)
DIET-CP是一种轻量、数据高效的自我监督持续预训练方法,无需标签且超参数少,仅用1000张图像即可显著提升DINOv3等基础模型在新领域上的性能。
2025-09-02 cs.CV cs.LG
Is Self-Supervised Pretraining Good for Extrapolation in Molecular Property Prediction?
The University of Tokyo(东京大学)
本文研究自监督预训练对分子性质预测外推能力的影响,提出实验框架并证明其虽不能准确预测绝对值,却可帮助模型学习未观测性质的相对趋势。
2023-08-16 cs.LG q-bio.QM
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
大多数现代无监督领域自适应(UDA)方法都植根于领域对齐,即,学习对齐源和目标特征以使用源标签来学习目标域分类器。在半监督领域自适应(SSDA)中,当学习器可以访问很少的目标领域标签时,现有方法遵循UDA理论使用领域对齐进行学习。我们表明,SSDA的情况是不同的,一个好的目标分类器可以学习,而不需要对齐。我们使用自监督预训练(通过旋转预测)和一致性正则化来实现良好分离的目标聚类,帮助学习低错误目标分类器。通过我们的预训练和一致性(PAC)方法,我们在这个半监督领域自适应任务上实现了最先进的目标准确性,超越了多个数据集上的多个对抗性领域对齐方法。PAC虽然使用简单的技术,但在大型且具有挑战性的SSDA基准测试(如DomainNet和Visda-17)上表现非常出色,经常以相当大的幅度超过最新的技术水平。我们的实验代码可以在https://github.com/venkatesh-saligrama/PAC上找到
2021-11-26 cs.CV cs.LG
Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks
University of Waterloo(滑铁卢大学)
本研究验证了自监督预训练能提升多任务肺部超声分类的AUC并显著降低推理时间,尤其在低标签场景下优势明显。
2023-09-05 cs.CV cs.LG
Variational Pretraining for Semi-supervised Text Classification
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了VAMPIRE,一个轻量级的预训练框架,用于在数据和计算资源有限的情况下进行有效的文本分类。我们预训练一个unigram文档模型作为域内未标记数据的变分自编码器,并使用其内部状态作为下游分类器的特征。从经验上讲,我们显示了VAMPIRE对计算昂贵的上下文嵌入和低资源设置下的其他流行的半监督基线的相对强度。我们还发现,在有限的监督下工作时,对域内数据进行微调对于从上下文嵌入中获得良好的性能至关重要。我们在本文中附带了预训练代码,并在下游任务中使用VAMPIRE嵌入。
2019-06-05 cs.CL cs.LG
Self-Supervised Pretraining for Aerial Road Extraction
FZI Research Center for Information Technology(FZI信息技术研究中心);Institute of Applied Informatics and Formal Description Methods, Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院应用信息学与形式化描述方法研究所)
针对航空图像道路提取标注数据稀缺问题,提出基于图像修复的自监督预训练方法,通过重建缺失区域学习图像固有结构,显著提升低数据量下的分割精度与泛化能力。
2025-04-01 cs.CV cs.LG
Movie Box Office Prediction With Self-Supervised and Visually Grounded Pretraining
Alibaba Group(阿里巴巴集团);Alibaba-NTU Joint Research Institute(阿里巴巴-南洋理工大学联合研究院);Nanyang Technological University(南洋理工大学)
针对电影票房预测中演员、导演和内容关键词表征学习难题,提出自监督预训练与海报视觉定位目标,在35,794部电影上较同架构微调BERT相对提升14.5%。
2023-04-20 cs.LG cs.MM
Noise-Robust Keyword Spotting through Self-supervised Pretraining
Aalborg University(奥尔堡大学);Pioneer Centre for AI(先锋人工智能中心)
本文探讨了利用Data2Vec等自监督预训练方法增强关键词检测模型在噪声条件下的鲁棒性,发现预训练结合微调优于监督学习,且Data2Vec-denoising方法显著提升抗噪性能。
2024-03-27 cs.LG cs.SD eess.AS
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中,自监督学习(SSL)已经成为一个重要的研究方向。事实证明,SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面,监督多任务学习(MTL)是另一种表示学习范式,已被证明在计算机视觉(CV)和自然语言处理(NLP)中有效。然而,在语音处理中,还没有系统的研究,一般表示学习模型的监督MTL训练。在本文中,我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性,以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI(亚马逊Alexa人工智能部门);Google Research(谷歌研究院)
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行,并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性,如语言内容,说话者身份和节奏。在这项工作中,我们引入了一个自我监督的方法来解开房间声学语音,并使用设备仲裁的下游任务的声学表示。我们的结果表明,当标记的训练数据稀缺时,我们提出的方法比基线显着提高了性能,这表明我们的预训练方案学会了对房间声学信息进行编码,同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型,例如wav 2 vec 2.0和HuBERT,已经对自动语音识别(ASR)的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显,当使用可用的标记数据进行微调时。然而,微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中,我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练(CoPT)。CoPT比半监督训练(SST)更有效,半监督训练是在ASR中利用未标记数据的标准方法,因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率(WERs)的结果,等于或略优于使用SST。此外,我们表明,使用CoPT模型的伪标签,并使用这些标签在SST中,结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech(加州理工学院);Google(谷歌);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所);University of Copenhagen(哥本哈根大学)
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解,但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步,我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度,我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果:(i)超过500k图像的额外预训练数据的好处是适度的,(ii)添加来自另一个域的预训练图像不会导致更一般的表示,(iii)损坏的预训练图像对监督和自监督预训练有不同的影响,(iv)对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
TUNet: A Block-online Bandwidth Extension Model based on Transformers and Self-supervised Pretraining
FPT Software(FPT软件公司);Nanyang Technological University(南洋理工大学)
我们引入了一个块的时间特征线性调制(TFiLM)模型的在线变体,以实现带宽扩展。该架构简化了TFiLM的UNet主干以减少推理时间,并在瓶颈处采用高效的Transformer以缓解性能下降。我们还利用自监督预训练和数据增强来提高带宽扩展信号的质量,并降低对下采样方法的敏感性。在VCTK数据集上的实验结果表明,该方法在侵入性和非侵入性度量方面都优于最近的几个基线。预训练和滤波器增强也有助于稳定和提高整体性能。
2022-06-07 cs.LG cs.SD eess.AS
BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization
Aalborg University(奥胡斯大学);Technical University of Denmark(技术大学);Pioneer Centre for AI(先锋人工智能中心)
BiSSL通过双层优化增强自监督预训练与下游微调之间的对齐,提升模型在下游任务中的性能。
2026-02-10 cs.AI cs.LG
Subimage Overlap Prediction: Task-Aligned Self-Supervised Pretraining For Semantic Segmentation In Remote Sensing Imagery
Instacart;New York University(纽约大学);University of Washington(华盛顿大学)
本文提出子图像重叠预测任务,通过少量预训练数据提升遥感图像语义分割性能,实现更快收敛和同等或更优的mIoU表现。
2026-01-05 cs.AI cs.CV cs.LG
Self-supervised Pretraining for Robust Personalized Voice Activity Detection in Adverse Conditions
Aalborg University(奥尔堡大学);Oticon A/S(奥迪康有限公司);Pioneer Centre for AI(人工智能先锋中心)
本文利用APC自监督预训练LSTM编码器并提出去噪变体,再用于个性化VAD微调,显著提升模型在干净语音及多噪声、多SNR恶劣条件下的性能与鲁棒性。
2024-01-23 cs.LG cs.SD eess.AS
Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks
Meta AI
提出用于异构超图神经网络的自监督预训练框架SPHH,通过两个预训练任务学习局部和全局表示,在多种下游任务中显著提升性能并展现鲁棒性。
2023-11-19 cs.LG cs.SI stat.ML
Selective Masking based Self-Supervised Learning for Image Semantic Segmentation
Department of Computer Science University of Sasktachewan(计算机科学系萨斯喀彻温大学)
本文提出选择性掩码自监督学习方法,通过选择性掩码提升语义分割性能,尤其在低预算预训练和低模型容量场景下表现优异。
2025-12-07 cs.CV cs.LG
ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
The University of Arizona(亚利桑那大学);University of Arizona(亚利桑那大学)
提出ViT-2SPN框架,通过监督预训练、自监督预训练和监督微调三阶段流程,利用ViT-Base和负余弦相似度损失增强特征提取,在OCTMNIST数据集上实现高诊断准确率并优于现有方法。
2025-01-28 cs.AI cs.CV cs.LG
Learning the Neighborhood: Contrast-Free Multimodal Self-Supervised Molecular Graph Pretraining
University of Tübingen(图宾根大学)
提出C-FREE框架,通过预测子图嵌入与互补邻域的关系,融合2D拓扑和3D构象信息,实现无对比、无负样本的多模态自监督分子图预训练,在MoleculeNet上取得最优结果。
2026-06-02 cs.AI cs.LG
Abacus: Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling
Criteo AI Lab(Criteo人工智能实验室)
Abacus通过自监督预训练方法提升序列用户建模,结合事件计数统计与序列学习目标,提高下游任务性能。
2025-12-18 cs.IR cs.LG
OccFeat: Self-supervised Occupancy Feature Prediction for Pretraining BEV Segmentation Networks
ISIR, Sorbonne Université(索邦大学ISIR研究所);Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague(布拉格捷克理工大学捷克信息学、机器人学与控制论研究所);FEE CTU(捷克技术大学电气工程系);CIIRC CTU(捷克技术大学捷克信息学、机器人学与控制论研究所);Kyutai(Kyutai公司);LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(法国国家科学研究中心-古斯塔夫·埃菲尔大学巴黎路桥学院LIGM实验室)
本文提出 OccFeat 自监督预训练方法,通过三维占据预测结合图像基础模型特征蒸馏,为相机-only BEV 分割网络注入几何与语义信息,显著提升低数据场景下的分割性能。
2024-06-12 cs.CV cs.LG
Improving self-supervised pretraining models for epileptic seizure detection from EEG data
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
互联网上有大量的医学数据,其中大部分是未标记的。传统的监督学习算法通常受到标记数据量的限制,特别是在医疗领域,标记在人工处理和标记它们所需的专业专家方面是昂贵的。它们也容易出现人为错误和偏见,因为少数专家注释者给它们贴上了标签。这些问题可以通过自我监督来缓解,我们通过查看数据本身从未标记的数据生成伪标签。本文提出了各种自我监督策略,以提高性能的时间序列为基础的扩散卷积递归神经网络(DCRNN)模型。在自我监督预训练阶段学习的权重可以转移到监督训练阶段,以提高模型的预测能力。我们的技术进行了测试的扩散卷积递归神经网络(DCRNN)模型的扩展,RNN与图形扩散卷积,模型的时空依赖性存在于EEG信号。当从预训练阶段学习的权重被转移到DCRNN模型,以确定EEG时间窗口是否具有与之相关的特征性癫痫发作信号时,我们的方法产生的AUROC分数$1.56\%$比TUH EEG癫痫发作语料库上的当前最先进的模型。
2022-06-28 cs.LG eess.SP
Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Northeastern University(东北大学);Worcester Polytechnic Institute(伍斯特理工学院)
针对自监督图预训练存在的拓扑学习不足、依赖人工知识等问题,提出含双层架构、边池化基序挖掘与跨匹配任务的DGPM方法,在15个数据集上表现优于SOTA,可提升鲁棒性与可解释性。
2023-12-19 cs.LG cs.SI stat.ME
On Pretraining Data Diversity for Self-Supervised Learning
KAUST(阿卜杜拉国王科技大学);University of Oxford(牛津大学)
本文研究在固定计算预算下,增加预训练数据多样性对自监督学习性能的影响,发现仅当分布距离极小时提升有效,且分布偏移仍是挑战,实验涵盖七种方法及大规模数据集。
2024-07-18 cs.AI cs.CV cs.LG
Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT(罗切斯特理工学院);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题,在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
Weakly Supervised Pretraining and Multi-Annotator Supervised Finetuning for Facial Wrinkle Detection
Asan Medical Center(峨山医院);University of Ulsan College of Medicine(蔚山大学医学院);Hanyang University(汉阳大学);Hankuk University of Foreign Studies(韩国外国语大学)
本研究针对面部皱纹检测需求,提出结合弱监督预训练与多标注者监督微调的CNN方法,验证了迁移学习的性能提升作用,可实现自动化皱纹分割以辅助皮肤诊疗。
2024-08-19 cs.AI cs.CV cs.LG
Supervised Graph Contrastive Pretraining for Text Classification
IIT Hyderabad(印度理工学院海得拉巴分校);Amazon(亚马逊)
文本分类的对比预训练技术在无监督环境中得到了大量研究。然而,通常来自与当前任务共享标签语义的相关任务的标记数据是可用的。我们假设,有效地使用这些标记的数据可以导致更好的概括当前任务。在本文中,我们提出了一种新的方法,有效地利用标记数据的相关任务与基于图的监督对比学习方法。我们制定了一个令牌图外推的监督信息从例子到令牌。我们的公式导致嵌入空间,其中具有高/低概率属于同一类的令牌彼此接近/远离。我们还开发了详细的理论见解,作为我们的方法的动机。在我们的实验与$13$数据集,我们表明我们的方法优于预训练方案的$2.5\%$,也是基于示例级对比学习的配方平均$1.8\%$。此外,我们展示了跨域的有效性,我们的方法在zero-shot设置由$3.91\%$平均。最后,我们还证明了我们的方法可以作为一个嘈杂的教师在知识蒸馏设置显着提高性能的Transformer为基础的模型在低标记的数据制度平均$4.57\%$。
2021-12-21 cs.CL cs.LG
SatDINO: A Deep Dive into Self-Supervised Pretraining for Remote Sensing
University of West Bohemia in Pilsen(西波西米亚大学)
本文提出面向遥感影像的自监督表征模型 SatDINO,基于 DINO 预训练并加入 GSD 编码与自适应视图采样,在多数据集基准上优于基于 MAE 的方法。
2025-08-29 cs.CV cs.LG
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona(亚利桑那大学);Houston Methodist Hospital(休斯顿卫理公会医院)
获取大型数据集的手动注释以用于深度学习(DL)模型的监督训练是具有挑战性的。与标记数据集相比,大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中,我们考虑了两种用于驱动DL模型学习不同表示的预训练方法:a)利用图像内的空间依赖性的回归损失和b)利用图像对之间的语义相似性的对比损失。在使用磁共振(MR)图像的两个下游分割应用中评估预训练技术的效果:a)腹部T2加权MR图像中的肝脏分割和b)前列腺T2加权MR图像中的前列腺分割。我们观察到,使用自我监督预训练的DL模型可以用更少的标记数据集进行微调,以获得相当的性能。此外,我们还观察到,使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction
University of Toronto(多伦多大学);Reverie Labs;DeepChem
GNN和化学指纹是代表分子进行属性预测的主要方法。然而,在NLP中,由于其强大的下游任务转移,Transformers已经成为表示学习的事实标准。与此同时,围绕Transformers的软件生态系统正在迅速成熟,HuggingFace和BertViz等库可以简化培训和自省。在这项工作中,我们首次尝试通过我们的ChemBERTa模型系统地评估Transformers器对分子性质预测任务的影响。ChemBERTa可以很好地扩展预训练数据集的大小,在MoleculeNet上提供有竞争力的下游性能和有用的基于注意力的可视化模式。我们的研究结果表明,Transformers提供了一个有前途的途径,未来的工作,分子表示学习和属性预测。为了促进这些努力,我们从PubChem发布了一个适合大规模自我监督预训练的77M SMILES的策划数据集。
2020-10-23 cs.CL cs.LG physics.chem-ph
Multi-level Self-supervised Pretraining on Compositional Hierarchical Graph for Molecular Property Prediction
School of Mathematical Sciences(数学科学学院);University of Electronic Science and Technology of China(电子科技大学);Department of Computer Science and Engineering(计算机科学与工程系);Oakland University(奥克兰大学)
本文提出MolCHG框架,通过多级自监督预训练提升分子性质预测性能,采用组合层次图组织分子结构,引入bond graph增强bond信息,实现原子与bond语义的平等聚合。
2026-05-15 cs.AI cs.LG
Supervised Pretraining for Molecular Force Fields and Properties Prediction
ByteDance Inc.(字节跳动公司);Apple Inc.(苹果公司)
机器学习方法已成为流行的分子建模任务,包括分子力场和性质预测。传统的监督学习方法缺乏用于特定任务的标记数据,从而促使将大规模数据集用于其他相关任务。我们建议在8600万个分子的数据集上预训练神经网络,这些分子的原子电荷和3D几何形状作为输入,分子能量作为标签。实验表明,与从头开始训练相比,微调预训练模型可以显著提高七个分子性质预测任务和两个力场任务的性能。我们还证明了从预训练模型中学习的表示包含有关分子结构的足够信息,通过显示表示的线性探测可以预测许多分子信息,包括原子类型,原子间距离,分子支架类和分子片段的存在。我们的研究结果表明,监督预训练是分子建模中一个很有前途的研究方向
2022-11-23 cs.LG physics.chem-ph q-bio.BM