Robust Alzheimer's Progression Modeling using Cross-Domain Self-Supervised Deep Learning
University of Pittsburgh(匹兹堡大学);Genentech Inc.(基因泰克公司)
本研究提出跨域自监督学习方法,以医学图像为输入进行回归建模,证明自监督预训练能改善脑MRI预测阿尔茨海默病进展,且结合自然图像与扩展脑MRI数据预训练效果最佳。
2023-10-10 cs.AI cs.CV cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech(加州理工学院);Google(谷歌);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所);University of Copenhagen(哥本哈根大学)
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解,但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步,我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度,我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果:(i)超过500k图像的额外预训练数据的好处是适度的,(ii)添加来自另一个域的预训练图像不会导致更一般的表示,(iii)损坏的预训练图像对监督和自监督预训练有不同的影响,(iv)对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中,自监督学习(SSL)已经成为一个重要的研究方向。事实证明,SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面,监督多任务学习(MTL)是另一种表示学习范式,已被证明在计算机视觉(CV)和自然语言处理(NLP)中有效。然而,在语音处理中,还没有系统的研究,一般表示学习模型的监督MTL训练。在本文中,我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性,以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization
Aalborg University(奥胡斯大学);Technical University of Denmark(技术大学);Pioneer Centre for AI(先锋人工智能中心)
BiSSL通过双层优化增强自监督预训练与下游微调之间的对齐,提升模型在下游任务中的性能。
2026-02-10 cs.AI cs.LG
Adaptive Spatio-Temporal Graphs with Self-Supervised Pretraining for Multi-Horizon Weather Forecasting
School of Computer Science, Xiangtan University, Xiangtan, 411105, China(计算机学院,湘潭大学,湘潭,411105,中国)
提出一种结合图神经网络与自监督预训练的自适应时空图框架,通过时空自适应机制提升多变量、多时间跨度天气预报的准确性与泛化能力。
2025-10-28 cs.AI cs.LG
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research(Facebook AI研究院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆塔纳实验室)
最近,自监督学习方法,如MoCo,Simploy,BYOL和SwAV,已经缩小了与监督方法的差距。这些结果是在控制环境中实现的,即高度策划的ImageNet数据集。然而,自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中,我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督(SEER)模型,一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY,达到了84.2%的top-1准确率,超过了最好的自监督预训练模型1%,并证实了自监督学习在现实世界中的工作环境。有趣的是,我们还观察到自监督模型是很好的Few-Shot学习者,在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码:https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
Selective Masking based Self-Supervised Learning for Image Semantic Segmentation
Department of Computer Science University of Sasktachewan(计算机科学系萨斯喀彻温大学)
本文提出选择性掩码自监督学习方法,通过选择性掩码提升语义分割性能,尤其在低预算预训练和低模型容量场景下表现优异。
2025-12-07 cs.CV cs.LG
Learning the Neighborhood: Contrast-Free Multimodal Self-Supervised Molecular Graph Pretraining
University of Tübingen(图宾根大学)
提出C-FREE框架,通过预测子图嵌入与互补邻域的关系,融合2D拓扑和3D构象信息,实现无对比、无负样本的多模态自监督分子图预训练,在MoleculeNet上取得最优结果。
2026-06-02 cs.AI cs.LG
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI(德国人工智能研究中心);University of Copenhagen(哥本哈根大学)
现代自然语言处理(NLP)方法采用自监督预训练目标,如掩蔽语言建模,以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽,最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似,使最近在图像表示预训练中取得了成功。然而,在NLP中,自动创建文本输入增强仍然非常具有挑战性,因为单个令牌可以颠倒句子的含义。出于这个原因,一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对,而不是输入-输入对。在这项调查中,我们总结了最近的自监督和监督对比NLP预训练方法,并描述了它们用于改进语言建模,少量或零样本学习,预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念,从以前的研究和结构工程的应用和跨领域的关系。最后,我们指出了对比NLP面临的挑战和未来的发展方向,以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT(罗切斯特理工学院);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题,在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
SatDINO: A Deep Dive into Self-Supervised Pretraining for Remote Sensing
University of West Bohemia in Pilsen(西波西米亚大学)
本文提出面向遥感影像的自监督表征模型 SatDINO,基于 DINO 预训练并加入 GSD 编码与自适应视图采样,在多数据集基准上优于基于 MAE 的方法。
2025-08-29 cs.CV cs.LG
Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy
Forschungszentrum Jülich GmbH(于利希研究中心);RWTH Aachen University(亚琛工业大学)
本文探索了生成对抗网络在电子显微镜数据上的自监督预训练,证明其能提升多种下游任务性能,低复杂度微调模型优于高复杂度随机初始化模型,尤其在标注数据有限时优势显著。
2024-07-18 cond-mat.mtrl-sci cs.AI cs.CV
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
针对聚合物标注数据集稀缺问题,研究在聚合物分子图上应用JEPA进行自监督预训练,证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning
Hyperconnect;Sogang University(西江大学);Naver
神经结构搜索(NAS)促进了机器学习的各个领域。尽管它的突出贡献,许多人批评了高计算成本的内在局限性。我们的目标是改善这一点,提出了一个预训练计划,可以普遍适用于基于网络的NAS。我们的方法,基于局部的自监督分类任务,利用网络架构的结构相似性,以获得良好的架构表示。我们将我们的方法纳入神经结构优化(NAO)中,以分析预训练的嵌入及其有效性,并强调增加度量学习损失对NAS带来了有利的影响。我们的代码可在\url{https://github.com/Multi-Objective-NAS/self-supervised-nas}上获得。
2021-03-15 cs.LG
Supervised Pretraining for Material Property Prediction
Lane Department of Computer Science and Electrical Engineering, West Virginia University(兰恩计算机科学与电气工程系,西弗吉尼亚大学);Department of Physics and Astronomy, West Virginia University(物理与天文学系,西弗吉尼亚大学)
本文提出一种用于材料属性预测的有监督预训练方法,利用类别信息作为代理标签指导学习,并结合基于图的增强技术提升鲁棒性,在六个预测任务上使MAE降低2%至6.67%,确立了新基准。
2025-04-27 cond-mat.mtrl-sci cs.AI cs.LG
Improve Unsupervised Pretraining for Few-label Transfer
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
无监督预训练已经取得了巨大的成功,最近的许多工作表明,无监督预训练可以在下游目标数据集上实现与有监督预训练相当甚至略好的传输性能。但在本文中,我们发现,当目标数据集有很少的标记样本进行微调,\ie,少标记转移时,这一结论可能不成立。从聚类的角度分析了可能的原因:1)目标样本的聚类质量对少标签迁移非常重要; 2)尽管对比学习是学习如何聚类的必要条件,但由于缺乏标签监督,其聚类质量仍然不如监督预训练。基于分析,我们有趣地发现,只有将一些未标记的目标域引入无监督预训练才能提高聚类质量,从而减少与有监督预训练的传输性能差距。这一发现也促使我们提出一种新的渐进式少标签传输算法的实际应用,其目的是在有限的注释预算下最大限度地提高传输性能。为了支持我们的分析和提出的方法,我们对九个不同的目标数据集进行了广泛的实验。实验结果表明,我们提出的方法可以显着提高无监督预训练的少标签传输性能。
2021-07-26 cs.CV cs.LG
Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms
University of California San Diego(加州大学圣地亚哥分校);University of California Berkeley(加州大学伯克利分校)
预训练已成为计算机视觉和自然语言处理中的标准技术,通常有助于大幅提高性能。以前,最主要的预训练方法是迁移学习(TL),它使用标记的数据来学习一个好的表示网络。最近,一种新的预训练方法--自监督学习(SSL)--在广泛的应用中表现出了良好的效果。SSL不需要带注释的标签。它纯粹是通过求解在输入数据示例上定义的辅助任务来对输入数据进行的。目前报告的结果表明,在某些应用程序中,SSL优于TL,在其他应用程序中则相反。对于数据和任务的哪些属性使得一种方法优于另一种方法,还没有一个清晰的理解。如果没有一个明智的指导方针,ML研究人员必须尝试这两种方法,以找出哪一种更好的经验。这样做通常很耗时。在这项工作中,我们的目标是解决这个问题。我们对SSL和TL进行了全面的比较研究,以了解在不同的数据和任务属性下,SSL和TL哪一个更好,包括源任务和目标任务之间的域差异,预训练数据量,源数据中的类不平衡,以及目标数据用于额外预训练的使用,从我们的比较研究中提取的见解可以帮助ML研究人员根据其应用程序的属性决定使用哪种方法。
2020-06-19 cs.CV cs.LG stat.ML
Encoder-Decoder Networks for Self-Supervised Pretraining and Downstream Signal Bandwidth Regression on Digital Antenna Arrays
DeepSig, Inc.(DeepSig公司)
本文首次将自监督学习用于数字天线阵列数据,通过通道修复任务预训练编码器-解码器网络,再迁移到少量标注数据上训练带宽回归任务,证明预训练能显著提升下游回归性能。
2023-07-06 cs.LG eess.SP
Mitigating Overfitting in Medical Imaging: Self-Supervised Pretraining vs. ImageNet Transfer Learning for Dermatological Diagnosis
Dpt. of Signal Theory and Communications University of Seville(信号理论与通信系塞维利亚大学);Department of Dermatology Hospital Universitario Virgen Macarena(皮肤科部门塞维利亚大学医院);Department of Dermatology Hospital Quirón Salud Sevilla(皮肤科部门Quirón Salud Sevilla医院)
本研究比较了自监督预训练与ImageNet迁移学习在皮肤病诊断中的效果,发现自监督方法能有效缓解过拟合,实现更稳定的泛化性能,凸显了领域特定特征提取在医学影像中的关键作用。
2025-05-22 cs.AI cs.CV
Noise-Robust Keyword Spotting through Self-supervised Pretraining
Aalborg University(奥尔堡大学);Pioneer Centre for AI(先锋人工智能中心)
本文探讨了利用Data2Vec等自监督预训练方法增强关键词检测模型在噪声条件下的鲁棒性,发现预训练结合微调优于监督学习,且Data2Vec-denoising方法显著提升抗噪性能。
2024-03-27 cs.LG cs.SD eess.AS
A Comparison of Self-Supervised Pretraining Approaches for Predicting Disease Risk from Chest Radiograph Images
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Columbia University(哥伦比亚大学)
针对医学风险预测标注数据稀缺的问题,该研究对比了多种半监督与自监督预训练方法在胸部X光片死亡风险预测任务上的效果,发现半监督自编码器在内外验证中均优于对比学习和迁移学习。
2023-06-15 cs.CV cs.LG eess.IV
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI(亚马逊Alexa人工智能部门);Google Research(谷歌研究院)
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行,并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性,如语言内容,说话者身份和节奏。在这项工作中,我们引入了一个自我监督的方法来解开房间声学语音,并使用设备仲裁的下游任务的声学表示。我们的结果表明,当标记的训练数据稀缺时,我们提出的方法比基线显着提高了性能,这表明我们的预训练方案学会了对房间声学信息进行编码,同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual Question Answering
University of Adelaide(阿德莱德大学);Amazon(亚马逊);Idiap Research Institute(Idiap研究所)
干净和多样的标记数据的可用性是训练模型进行复杂任务(如视觉问答(VQA))的主要障碍。对大型视觉和语言模型的大量研究表明,自监督学习对于预训练多模态交互是有效的。在这份技术报告中,我们专注于视觉表现。我们审查和评估自我监督方法,以利用未标记的图像并预训练模型,然后在自定义VQA任务上进行微调,以允许受控的评估和诊断。我们比较了基于能量的模型(EBM)和对比学习(CL)。虽然循证医学越来越受欢迎,但它们缺乏对下游任务的评估。我们发现EBM和CL都可以从未标记的图像中学习表示,从而能够在很少的注释数据上训练VQA模型。在一个类似于CLEVR的简单设置中,我们发现CL表示也提高了系统的泛化能力,甚至可以与来自更大的、有监督的、ImageNet预训练模型的表示的性能相匹配。然而,我们发现循证医学是难以训练,因为不稳定性和高变异性,在他们的结果。虽然EBM被证明对OOD检测有用,但基于监督的能量训练和不确定性校准的其他结果在很大程度上是负面的。总的来说,合作法目前似乎比循证医学更可取。
2022-06-29 cs.CL cs.CV cs.LG
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所);Biomedical Engineering, RIT(罗切斯特理工学院生物医学工程系)
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响,发现DermNet数据集最具挑战性但更鲁棒,并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Self-Supervised Pretraining on Satellite Imagery: a Case Study on Label-Efficient Vehicle Detection
Preligens(普雷利根斯);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);MINES Paris - PSL University(巴黎矿业学院-PSL大学)
针对卫星影像车辆检测标注稀缺的问题,研究利用世界功能地图数据集和扩展动量对比框架开展域内自监督预训练,在低标签场景下性能优于ImageNet预训练。
2022-10-21 cs.CV cs.LG
Deep Clustering with Features from Self-Supervised Pretraining
The Hong Kong University of Science and Technology(香港科技大学)
深度聚类模型在概念上由将数据点映射到潜在空间的特征提取器和将数据点分组到潜在空间中的聚类头组成。虽然这两个组成部分过去是以端到端的方式联合训练的,但最近的工作证明,分两个阶段分别对它们进行训练是有益的。在第一阶段中,特征提取器通过自监督学习进行训练,这使得能够保存数据点之间的聚类结构。为了更好地保留聚类结构,我们建议用另一个模型代替第一阶段,该模型通过自监督学习在更大的数据集上进行预训练。该方法简单,但可能会受到域移位的影响。尽管如此,我们的经验表明,它可以实现卓越的聚类性能。当使用视觉Transformer(ViT)架构进行特征提取时,我们的方法在CIFAR-10、CIFAR-100和STL-10上的聚类准确率分别达到94.0%、55.6%和97.9%。相应的既往最新技术水平结果分别为84.3%、47.7%和80.8%。我们的代码将在网上提供的文件的出版物。
2022-07-27 cs.CV cs.LG
Self-supervised Synthetic Pretraining for Inference of Stellar Mass Embedded in Dense Gas
Center for Interdisciplinary Theoretical and Mathematical Sciences (iTHEMS) RIKEN(交叉学科理论与数学科学中心(iTHEMS)RIKEN);Department of Earth and Planetary Sciences(地球与行星科学系);Department of Astronomy(天文学系)
针对恒星形成区恒星质量估算难、监督学习所需高分辨率MHD模拟标注数据计算成本高的问题,提出用DINOv2在百万合成分形图上预训练视觉Transformer再迁移的方法,提升了恒星质量预测效果,还可实现无监督分割。
2025-10-28 astro-ph.GA astro-ph.IM cs.AI
Self-supervised Pretraining for Cardiovascular Magnetic Resonance Cine Segmentation
Eindhoven University of Technology(埃因霍温理工大学)
本研究评估了自监督预训练在CMR短轴电影分割中的作用,发现在标记数据稀缺时(如仅10名受试者)MIM方法能显著提升分割性能,但在数据充足时无额外增益。
2024-09-26 cs.CV cs.LG
MAE-Based Self-Supervised Pretraining for Data-Efficient Medical Image Segmentation Using nnFormer
Chaitanya Bharathi Institute of Technology(恰蒂斯赫尔学院技术学院)
本文提出基于MAE的自监督预训练方法,提升nnFormer在医学图像分割中的数据效率,实现更高的Dice得分、更快的收敛速度和更好的小样本泛化能力。
2026-04-22 cs.AI cs.CV
TinySSL: Distilled Self-Supervised Pretraining for Sub-Megabyte MCU Models
Bibin Wilson
本文提出CA-DSSL框架,通过蒸馏和自监督学习在子兆字节MCU模型上实现高效表示学习,达到优于SimCLR-Tiny的性能,且参数更少。
2026-05-07 cs.AI cs.CV
Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Northeastern University(东北大学);Worcester Polytechnic Institute(伍斯特理工学院)
针对自监督图预训练存在的拓扑学习不足、依赖人工知识等问题,提出含双层架构、边池化基序挖掘与跨匹配任务的DGPM方法,在15个数据集上表现优于SOTA,可提升鲁棒性与可解释性。
2023-12-19 cs.LG cs.SI stat.ME
A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series
School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院);IBM Research, Thomas J. Watson Research Center(IBM研究部托马斯·J·沃森研究中心)
针对时间序列模型预训练知识迁移的挑战,提出一种基于监督对比学习的预训练-微调方法,利用概率相似度指标对齐数据动态以增强目标预测,实验验证了其有效性。
2023-11-21 cs.LG
ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction
University of Toronto(多伦多大学);Reverie Labs;DeepChem
GNN和化学指纹是代表分子进行属性预测的主要方法。然而,在NLP中,由于其强大的下游任务转移,Transformers已经成为表示学习的事实标准。与此同时,围绕Transformers的软件生态系统正在迅速成熟,HuggingFace和BertViz等库可以简化培训和自省。在这项工作中,我们首次尝试通过我们的ChemBERTa模型系统地评估Transformers器对分子性质预测任务的影响。ChemBERTa可以很好地扩展预训练数据集的大小,在MoleculeNet上提供有竞争力的下游性能和有用的基于注意力的可视化模式。我们的研究结果表明,Transformers提供了一个有前途的途径,未来的工作,分子表示学习和属性预测。为了促进这些努力,我们从PubChem发布了一个适合大规模自我监督预训练的77M SMILES的策划数据集。
2020-10-23 cs.CL cs.LG physics.chem-ph
Supervised Graph Contrastive Pretraining for Text Classification
IIT Hyderabad(印度理工学院海得拉巴分校);Amazon(亚马逊)
文本分类的对比预训练技术在无监督环境中得到了大量研究。然而,通常来自与当前任务共享标签语义的相关任务的标记数据是可用的。我们假设,有效地使用这些标记的数据可以导致更好的概括当前任务。在本文中,我们提出了一种新的方法,有效地利用标记数据的相关任务与基于图的监督对比学习方法。我们制定了一个令牌图外推的监督信息从例子到令牌。我们的公式导致嵌入空间,其中具有高/低概率属于同一类的令牌彼此接近/远离。我们还开发了详细的理论见解,作为我们的方法的动机。在我们的实验与$13$数据集,我们表明我们的方法优于预训练方案的$2.5\%$,也是基于示例级对比学习的配方平均$1.8\%$。此外,我们展示了跨域的有效性,我们的方法在zero-shot设置由$3.91\%$平均。最后,我们还证明了我们的方法可以作为一个嘈杂的教师在知识蒸馏设置显着提高性能的Transformer为基础的模型在低标记的数据制度平均$4.57\%$。
2021-12-21 cs.CL cs.LG
United We Pretrain, Divided We Fail! Representation Learning for Time Series by Pretraining on 75 Datasets at Once
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);TU Eindhoven(埃因霍温理工大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心)
本文提出XD-MixUp插值与SICC损失的自监督对比预训练方法,首次证明可在75个多样时间序列数据集上一次性学习通用表示,并在低数据微调中超越监督训练。
2024-02-23 cs.LG
A surprisingly simple technique to control the pretraining bias for better transfer: Expand or Narrow your representation
Meta AI;Mila(米拉人工智能研究所);Universite de Montreal(蒙特利尔大学)
本文提出仅通过改变骨干网络最后一个块的维度即可有效控制预训练偏差,显著提升自监督和监督预训练模型的下游迁移性能。
2023-04-11 cs.LG
Multimodal Pretraining of Medical Time Series and Notes
Texas A&M University(德克萨斯农工大学)
针对ICU医疗数据标注稀缺的问题,提出结合对比学习与掩码标记预测的多模态自监督预训练方法,对齐临床测量数据与病历记录,在少标注场景下显著提升下游任务性能。
2023-12-11 cs.CL cs.LG
Noise-Robust Target-Speaker Voice Activity Detection Through Self-Supervised Pretraining
Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司);Pioneer Centre for AI(先锋人工智能中心)
本文提出因果自监督预训练框架 DN-APC,并结合说话人条件化方法,提升 TS-VAD 在已见与未见噪声环境下的检测鲁棒性,FiLM 条件化整体表现最佳。
2025-01-06 cs.LG cs.SD eess.AS
Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement
这项工作探讨了如何自我监督学习可以普遍用于发现扬声器的特定功能,使个性化的语音增强模型。我们专门解决了Few-Shot学习场景,其中对测试时间扬声器的清洁录音的访问限于几秒钟,但扬声器的嘈杂录音是丰富的。我们开发了一个简单的对比学习过程,将丰富的噪声数据作为临时的训练目标,通过成对的噪声注入:该模型进行预训练,以最大限度地提高对不同变形的相同的话语之间的协议,并尽量减少对类似变形的不相同的话语之间的协议。我们的实验比较了所提出的预训练方法与两个基线替代方案:说话者不可知的全监督预训练,和说话者特定的自我监督预训练没有对比损失条款。在所有三种方法中,使用对比混合物的方法被发现对模型压缩(使用少85%的参数)和减少干净语音(仅需要3秒)是最鲁棒的。
2022-08-09 cs.LG cs.SD eess.AS
Self-Supervised Pretraining of Graph Neural Network for the Retrieval of Related Mathematical Expressions in Scientific Articles
TU Dortmund University(多特蒙德工业大学)
由于出版物的增加,搜索相关论文变得繁琐。特别是,不支持跨学科或跨思想流派的搜索。这主要是由于关键字查询的检索:技术术语在不同的科学或不同的时间是不同的。相关文章最好通过其数学问题描述来识别。仅仅看一下论文中的方程就已经暗示了这篇论文是否相关。因此,我们提出了一种基于机器学习的数学表达式检索新方法。我们设计了一个无监督的表示学习任务,结合嵌入学习和自监督学习。使用图卷积神经网络,我们嵌入数学表达式到低维向量空间,允许有效的最近邻查询。为了训练我们的模型,我们从arXiv.org上发布的90多万种出版物中收集了一个巨大的数据集,其中包含超过2900万个数学表达式。我们的经验评估涉及一个新的数据集手动注释的搜索查询显示使用嵌入模型的数学检索的好处。这项工作最初发表在KDD 2020上。
2022-08-22 cs.IR cs.LG
Establishing Deep InfoMax as an effective self-supervised learning methodology in materials informatics
Leverhulme Research Centre for Functional Materials Design(Leverhulme功能材料设计研究中心);University of Liverpool(利物浦大学);Department of Computer Science(计算机科学系);Department of Chemistry(化学系)
本文提出将 Deep InfoMax 作为材料信息学的自监督学习框架,通过最大化晶体点集表示与向量表示间的互信息,在无性质标签的大规模晶体数据上预训练 Site-Net 模型,从而提升小数据量下带隙和形成能预测的性能。
2024-06-30 cond-mat.mtrl-sci cs.LG
Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance
Arizona State University(亚利桑那州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文研究预训练数据地理组成对模型下游性能的影响,发现欧洲预训练数据在全局和本地评估中表现最佳,发现光谱多样性与性能强相关。
2026-04-22 cs.CV cs.LG
ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
The University of Arizona(亚利桑那大学);University of Arizona(亚利桑那大学)
提出ViT-2SPN框架,通过监督预训练、自监督预训练和监督微调三阶段流程,利用ViT-Base和负余弦相似度损失增强特征提取,在OCTMNIST数据集上实现高诊断准确率并优于现有方法。
2025-01-28 cs.AI cs.CV cs.LG
Weakly Supervised Pretraining and Multi-Annotator Supervised Finetuning for Facial Wrinkle Detection
Asan Medical Center(峨山医院);University of Ulsan College of Medicine(蔚山大学医学院);Hanyang University(汉阳大学);Hankuk University of Foreign Studies(韩国外国语大学)
本研究针对面部皱纹检测需求,提出结合弱监督预训练与多标注者监督微调的CNN方法,验证了迁移学习的性能提升作用,可实现自动化皱纹分割以辅助皮肤诊疗。
2024-08-19 cs.AI cs.CV cs.LG
A Study on Self-Supervised Pretraining for Vision Problems in Gastrointestinal Endoscopy
University of Central Lancashire(中央兰开夏大学)
本研究比较了自监督与监督预训练在胃肠内窥镜视觉任务中的效果,发现自监督预训练通常更优,且ImageNet-1k预训练优于专用数据集,但深度估计例外,并指出不同骨干架构适用于不同任务。
2024-05-28 cs.CV cs.LG
Self-Supervised Pretraining Improves Self-Supervised Pretraining
UC Berkeley(加州大学伯克利分校);UCSF(加州大学旧金山分校);Georgia Tech(佐治亚理工学院)
虽然自我监督的预训练已被证明对许多计算机视觉任务有益,但它需要昂贵而冗长的计算,大量的数据,并且对数据增强敏感。先前的工作表明,在与目标数据不同的数据集上预训练的模型,例如在ImageNet上训练的胸部X射线模型,表现不佳。缺乏预训练资源的用户必须使用性能较低的现有模型。本文探讨了分层预训练(HPT),它通过使用现有的预训练模型初始化预训练过程来减少收敛时间并提高精度。通过对16个不同视觉数据集的实验,我们发现HPT的收敛速度快了80倍,提高了跨任务的准确性,并提高了自监督预训练过程对图像增强策略或预训练数据量变化的鲁棒性。总之,HPT提供了一个简单的框架,可以用更少的计算资源获得更好的预训练表示。
2021-03-25 cs.CV
Exploring the Utility of Self-Supervised Pretraining Strategies for the Detection of Absent Lung Sliding in M-Mode Lung Ultrasound
University of Waterloo(滑铁卢大学);Deep Breathe;Western University(韦仕敦大学)
本研究提出了一种耦合M型图像的新颖成对关系,验证了自监督预训练在M型肺超声肺滑动分类任务中优于全监督,能显著提升未用ImageNet预训练权重模型的性能与泛化能力。
2023-04-05 cs.CV cs.LG
SPeCiaL: Self-Supervised Pretraining for Continual Learning
McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院)
本文介绍了SPeciaL:一种为持续学习量身定制的表示的无监督预训练方法。我们的方法设计了一个元学习目标,通过顺序学习过程区分。具体来说,我们训练一个线性模型的表示,以匹配不同的增强视图相同的图像在一起,每个视图顺序呈现。然后评估线性模型对它刚刚看到的图像进行分类的能力,以及对来自先前迭代的图像进行分类的能力。这就产生了有利于快速记忆知识和最小遗忘的表征。我们在连续少样本学习设置中评估SPeciaL,并表明它可以匹配或优于其他监督预训练方法。
2021-06-16 cs.CV cs.LG
How Useful is Self-Supervised Pretraining for Visual Tasks?
Princeton University(普林斯顿大学)
最近的进展在自我监督的视觉预训练方面取得了令人难以置信的进展。我们调查哪些因素可能发挥作用,这些预培训方法的实用性从业者。为此,我们在一系列综合的合成数据集和下游任务中评估了各种自监督算法。我们准备了一套合成数据,可以无休止地提供注释图像,并完全控制数据集的难度。我们的实验提供了洞察自我监督的效用如何随着可用标签数量的增长而变化,以及效用如何随着下游任务和训练数据的属性而变化。我们还发现,线性评价与微调性能无关。代码和数据可在\href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}上获得。
2020-03-31 cs.CV cs.LG
Revisiting the Transferability of Supervised Pretraining: an MLP Perspective
Zhejiang University(浙江大学);The University of Sydney(悉尼大学);SenseTime Research(商汤科技研究院);Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院)
预训练微调范式是视觉学习中的经典管道。无监督预训练方法的最新进展显示出优于有监督方法的迁移性能。本文重新审视了这一现象,并从多层感知器(MLP)的角度为理解无监督和监督预训练之间的可转移性差距提供了新的思路。虽然以前的工作集中在MLP对无监督图像分类的有效性,其中预训练和评估是在同一数据集上进行的,我们发现,MLP投影仪也是更好的可移植性的关键因素,无监督预训练方法比监督预训练方法。基于这一观察,我们试图通过在监督预训练中的分类器之前添加MLP投影仪来缩小监督和无监督预训练之间的可转移性差距。我们的分析表明,MLP投影仪可以帮助保留视觉特征的类内变化,减少预训练和评估数据集之间的特征分布距离,并减少特征冗余。在公共基准测试上进行的大量实验表明,添加的MLP投影仪显著提高了监督预训练的可移植性,例如概念泛化任务的top-1准确率为+7.2%,12域分类任务的线性评估的top-1准确率为+5.8%,COCO目标检测任务的AP为+0.8%,使监督预训练与无监督预训练相当甚至更好。
2022-03-28 cs.CV
Self-supervised video pretraining yields robust and more human-aligned visual representations
Google DeepMind(谷歌DeepMind)
提出 VITO 自监督视频预训练框架,通过视频整理与对比学习获得跨图像和视频任务、鲁棒且更符合人类判断的统一视觉表征。
2025-01-10 cs.AI cs.CV cs.LG
Learning to diagnose cirrhosis from radiological and histological labels with joint self and weakly-supervised pretraining strategies
Guerbet Research(盖尔贝特研究中心);Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Sorbonne Université(索邦大学)
识别肝硬化是正确评估肝脏健康的关键。然而,肝硬化的金标准诊断需要医疗干预以获得组织学确认,例如METAVIR评分,因为放射学表现可能不明确。在这项工作中,我们建议利用来自放射科医生注释的大型数据集的迁移学习(我们认为这是弱注释)来预测小型附件数据集上可用的组织学评分。为此,我们建议比较不同的预训练方法,即弱监督和自监督方法,以提高对肝硬化的预测。最后,我们引入了一个损失函数,它结合了监督和自监督框架来进行预训练。该方法优于METAVIR评分的基线分类,达到0.84的AUC和0.75的平衡准确度,而基线分类器为0.77和0.72。
2023-02-16 cs.AI cs.CV
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona(亚利桑那大学);Houston Methodist Hospital(休斯顿卫理公会医院)
获取大型数据集的手动注释以用于深度学习(DL)模型的监督训练是具有挑战性的。与标记数据集相比,大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中,我们考虑了两种用于驱动DL模型学习不同表示的预训练方法:a)利用图像内的空间依赖性的回归损失和b)利用图像对之间的语义相似性的对比损失。在使用磁共振(MR)图像的两个下游分割应用中评估预训练技术的效果:a)腹部T2加权MR图像中的肝脏分割和b)前列腺T2加权MR图像中的前列腺分割。我们观察到,使用自我监督预训练的DL模型可以用更少的标记数据集进行微调,以获得相当的性能。此外,我们还观察到,使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec(魁北克大学国立科学研究院-能源、材料与电信);Salesforce Research(赛富时研究院)
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明,使用自监督学习获得的功能是可比的,或优于,监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组,并证明了多任务学习兼容的借口任务提高领域泛化性能相比,单独训练的任务。当训练和测试分布之间存在较大的域偏移时,与其监督对应物相比,通过自监督学习的特征可以更好地泛化到不可见的域,甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合,以进一步提高性能。
2020-03-30 cs.CV cs.LG