An Empirical Study of Accuracy-Robustness Tradeoff and Training Efficiency in Self-Supervised Learning
College of Engineering(工程学院);University of South Carolina(南卡罗来纳大学)
本文实证研究自监督对抗训练效率,通过多裁剪鲁棒EMP-SSL加速收敛并兼顾干净准确性与对抗鲁棒性,进而提出CF-AMC-SSL以降低训练成本。
2025-01-07 cs.CV cs.LG
ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations
Indian Institute of Science(印度科学学院)
ProFeAT针对自监督学习与对抗训练结合时教师与学生目标不匹配的问题,通过引入投影头、特征层攻防损失及差异化数据增强,在不增加训练复杂度的情况下显著提升干净与鲁棒准确率,超越现有SSL-AT方法。
2024-06-09 cs.CV cs.LG
Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Northwestern Polytechnical University(西北工业大学);Sichuan University(四川大学)
对抗训练(AT)的鲁棒表示学习和自监督学习(SSL)的无监督表示学习是两个活跃的研究领域。将AT集成到SSL中,多个先前的工作已经完成了一个非常重要但具有挑战性的任务:学习没有标签的鲁棒表示。一个广泛使用的框架是对抗性对比学习,它将AT和SSL耦合在一起,从而构成了一个非常复杂的优化问题。受分治思想的启发,我们推测它可以通过解决两个子问题来简化和改进:非鲁棒SSL和伪监督AT。这种动机转移的重点任务,从寻求一个最佳的集成策略的耦合问题,找到子问题的子解决方案。有了这一点,这项工作放弃了直接引入AT到SSL框架的先前实践,并提出了一个两阶段的框架,称为解耦对抗对比学习(DeACL)。大量的实验结果表明,我们的DeACL实现SOTA自监督对抗鲁棒性,同时显着减少训练时间,这验证了其有效性和效率。此外,我们的DeACL构成了一个更可解释的解决方案,它的成功也弥补了与半监督AT的差距,利用未标记的样本进行鲁棒的表示学习。该代码可在https://github.com/pantheon5100/DeACL上公开访问。
2022-07-22 cs.AI cs.CV cs.LG
Self-supervised Learning is More Robust to Dataset Imbalance
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究所)
自监督学习(SSL)是一种学习一般视觉表示的可扩展方式,因为它在没有标签的情况下学习。然而,大规模的未标记数据集通常具有长尾标签分布,我们对SSL的行为知之甚少。在这项工作中,我们系统地研究了数据集不平衡下的自监督学习。首先,我们通过大量的实验发现,现成的自监督表示已经比监督表示对类不平衡更鲁棒。在不同样本量下,使用SSL的平衡和不平衡预训练之间的性能差距明显小于使用监督学习的差距,无论是域内还是域外评估。其次,为了理解SSL的鲁棒性,我们假设SSL从频繁数据中学习更丰富的特征:它可以学习与标签无关但可转移的特征,这些特征有助于对稀有类和下游任务进行分类。相反,监督学习没有动机从频繁的例子中学习与标签无关的特征。我们验证了这一假设与半合成实验和理论分析的简化设置。第三,受理论见解的启发,我们设计了一种重新加权的正则化技术,该技术通过几个评估标准不断提高不平衡数据集上的SSL表示质量,用相同数量的例子缩小平衡和不平衡数据集之间的差距。
2022-05-22 cs.CV cs.LG stat.ML
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所);Biomedical Engineering, RIT(罗切斯特理工学院生物医学工程系)
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响,发现DermNet数据集最具挑战性但更鲁棒,并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Rethinking Robust Contrastive Learning from the Adversarial Perspective
University of YYY(YYY大学);Company Name(名称公司);Institute of WWW(WWW研究所)
本文从对抗视角分析对抗训练对自监督、监督对比学习及监督学习表示的影响,发现其可缩小对抗与干净表示差异并提升鲁棒性。
2023-06-06 cs.CV cs.LG
RoPAWS: Robust Semi-supervised Representation Learning from Uncurated Data
KAIST(韩国科学技术院);NEC Laboratories America(美国NEC实验室);Meta AI;McGill University(麦吉尔大学);Mila(米拉人工智能研究所)
半监督学习的目标是使用有限的标签训练模型。用于图像分类的最先进的半监督方法(例如PAWS)依赖于用大规模未标记但策划的数据学习的自监督表示。然而,PAWS在使用未经策划的真实世界未标记数据时通常不太有效,例如,包含类外数据。我们提出了RoPAWS,这是PAWS的一个强大扩展,可以处理真实世界的未标记数据。我们首先重新解释PAWS作为一个生成分类器,模型密度使用内核密度估计。从这个概率的角度来看,我们校准其预测的基础上标记和未标记的数据,这导致了一个简单的封闭形式的解决方案从贝叶斯规则的密度。我们证明了RoPAWS将未策划的Semi-iNat的PAWS显著提高了+5.3%,策划的ImageNet提高了+0.4%。
2023-02-28 cs.CV cs.LG stat.ML
Self-Supervised Learning with Lie Symmetries for Partial Differential Equations
Meta;Univ Gustave Eiffel(Gustave Eiffel大学);CNRS(法国国家科学研究中心);MIT(麻省理工学院);NYU(纽约大学)
本研究提出一种基于李对称性的自监督学习方法,通过联合嵌入方法从异构数据中学习偏微分方程的通用表示,在不变任务上优于基线方法并提升了神经求解器的时间步进性能。
2024-02-14 cs.LG cs.NA math.NA
Manifold Contrastive Learning with Variational Lie Group Operators
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种利用变分李群算子直接建模潜在流形的对比学习方法,通过稀疏先验和变分分布生成特征增强,提升自监督与半监督图像分类性能。
2023-06-23 cs.LG
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出统一理论框架,首次推导任意对比损失的鲁棒条件,证明InfoNCE不鲁棒并提出对称InfoNCE(SymNCE),同时解释最近邻样本选择等已有技术,实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Robust Alzheimer's Progression Modeling using Cross-Domain Self-Supervised Deep Learning
University of Pittsburgh(匹兹堡大学);Genentech Inc.(基因泰克公司)
本研究提出跨域自监督学习方法,以医学图像为输入进行回归建模,证明自监督预训练能改善脑MRI预测阿尔茨海默病进展,且结合自然图像与扩展脑MRI数据预训练效果最佳。
2023-10-10 cs.AI cs.CV cs.LG
Understanding and Achieving Efficient Robustness with Adversarial Supervised Contrastive Learning
Monash University(莫纳什大学);Defence Science and Technology Group, Australia(澳大利亚国防科技集团);CSIRO Data61, Australia(澳大利亚联邦科学与工业研究组织Data61)
对比学习(CL)是近年来兴起的一种有效的表征学习方法。这种方法的核心是选择正(相似)和负(不相似)集,为模型提供在潜在空间中的数据和类表示之间进行“对比”的机会。在本文中,我们研究CL提高模型的鲁棒性使用对抗样本。我们首先设计并进行了一项全面的研究,以了解对抗性脆弱性在潜在空间中的表现。基于这些经验证据,我们提出了一种有效和高效的监督对比学习,以实现对对抗攻击的模型鲁棒性。此外,我们提出了一种新的样本选择策略,通过去除冗余和提高与锚的相关性来优化正/负集。大量的实验表明,我们的对抗监督对比学习(ASCL)方法实现了与最先进的防御相当的性能,同时通过仅使用$42.8\%$阳性和$6.3\%$阴性,显着优于其他基于CL的防御方法。
2021-10-22 cs.AI cs.CV cs.LG
Phase Aberration Robust Beamformer for Planewave US Using Self-Supervised Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
超声(US)因其实时和非侵入性而广泛用于临床成像应用。然而,其病变检测能力往往是有限的,在许多应用中,由于相位畸变伪影所造成的变化,在身体部位内的声速(SoS)。为了解决这个问题,在这里,我们提出了一种新的自监督3D CNN,使相位畸变强大的平面波成像。我们的方法不是像传统方法那样以估计SoS分布为目标,而是独特的,因为网络是以自监督的方式训练的,通过将声速的变化建模为随机的,从各种相位畸变图像中鲁棒地生成高质量的图像。利用仿组织体模和\textit{in vivo}扫描的实际测量结果证实了该方法可以显着减少相位畸变伪影,提高深度扫描的视觉质量。
2022-02-16 cs.AI cs.CV cs.LG
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota(南达科他大学)
本文提出结合监督对比学习与基于间隔的对比损失的新框架,通过优化特征空间结构和决策边界间隔,在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
Distributionally robust self-supervised learning for tabular data
Boston University(波士顿大学);Amazon(亚马逊)
本文提出在表格数据自监督预训练阶段结合JTT和DFR方法学习鲁棒表示,通过特征专用模型集成提升下游分类的切片鲁棒性和泛化性能。
2025-11-07 cs.LG
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别(ASR)在噪声环境中会显著降低,并且特别容易受到干扰语音的影响,因为模型无法确定要转录哪个说话者。视听语音识别(AVSR)系统通过用视觉信息补充音频流来提高鲁棒性,视觉信息对噪声是不变的,并且帮助模型聚焦于期望的说话者。然而,以前的AVSR工作只集中在监督学习设置上;因此,可用的标记数据量阻碍了进展。在这项工作中,我们提出了一个自监督AVSR框架上建立的视听休伯特(AV休伯特),一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上,我们的方法在存在串音噪声的情况下使用不到10%的标记数据(433小时与30小时),比现有技术的性能高出约50%(28.0%与14.1%),同时平均将基于音频的模型的WER降低了75%以上(25.8%与5.8%)。
2022-07-14 cs.CV cs.LG cs.SD
Ditch the Denoiser: Emergence of Noise Robustness in Self-Supervised Learning from Data Curriculum
本研究提出一种全自监督框架,通过构建去噪-含噪数据课程并结合教师引导正则化预训练SSL骨干网络,使模型在无需额外去噪器的情况下获得噪声鲁棒性,在极端高斯噪声下的ImageNet-1k线性探测任务中准确率较DINOv2提升4.8%。
2025-10-29 cs.AI cs.CV cs.LG
Deep Unfolded Tensor Robust PCA with Self-supervised Learning
Carnegie Mellon University(卡内基梅隆大学);Air Force Research Laboratory(空军研究实验室)
张量鲁棒主成分分析(RPCA)试图将低秩张量与其稀疏破坏分离,在张量结构变得越来越普遍的数据科学和机器学习中至关重要。虽然功能强大,但现有的张量RPCA算法在实践中可能很难使用,因为它们的性能可能对附加超参数的选择很敏感,而这些超参数并不容易调整。在本文中,我们描述了一个快速,简单的自监督模型张量RPCA使用深度展开,只学习四个超参数。尽管它很简单,但我们的模型消除了对地面真实标签的需求,同时与监督式深度展开相比保持了竞争力甚至更高的性能。此外,我们的模型能够在极端数据匮乏的情况下运行。我们在合成数据和现实任务的混合上证明了这些主张,并将性能与先前研究的监督深度展开方法和贝叶斯优化基线进行了比较。
2022-12-21 cs.LG stat.ML
On the surprising similarities between supervised and self-supervised models
University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注:IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所,但根据常见中文译法及上下文,此处保留缩写更准确))
人类如何学习获得强大、灵活和健壮的对象表示?虽然这个过程的大部分仍然未知,但很明显,人类不需要数百万个对象标签。令人兴奋的是,自监督学习的最新算法进步现在使卷积神经网络(CNN)能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破,我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型,这些数据集有大规模的人类行为数据(130 K高度受控的心理物理试验)。令人惊讶的是,目前的自监督CNN具有监督CNN的四个关键特征:(1)相对较差的噪声鲁棒性(Simplified的显著例外),(2.)非人类类别级错误模式,(3.)非人类图像级错误模式(与监督模型错误的高度相似性)和(4.)对质地的偏爱总的来说,这些结果表明,通过今天的监督和自我监督训练目标学习的策略最终惊人地相似,但与人类行为相去甚远。话虽如此,我们显然只是处于所谓的机器视觉自监督革命的开始,我们希望未来的自监督模型与监督模型的行为不同,并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University(杜克大学)
自监督学习显著提高了许多NLP任务的性能。然而,自监督学习如何发现有用的表示,以及为什么它比概率模型等传统方法更好,在很大程度上仍然是未知的。在本文中,我们专注于主题建模的背景下,并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时,自监督学习可以忽略特定的模型,因此不太容易受到模型误指定。特别是,我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲,我们表明,相同的目标可以执行与后验推理使用正确的模型,而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Ensemble Distribution Distillation for Self-Supervised Human Activity Recognition
organization= The University of New South Wales , city= Sydney , country= Australia;organization= The University of New South Wales \& CSIRO , city= Sydney , country= Australia
本文提出一种自监督集成分布蒸馏框架,利用未标记数据和部分监督训练,提升人类活动识别的准确性、不确定性估计和对抗鲁棒性,且不增加推理计算复杂度。
2025-09-10 cs.LG
Elastic Weight Consolidation Improves the Robustness of Self-Supervised Learning Methods under Transfer
University of Cambridge(剑桥大学);Apple(苹果公司)
自监督表示学习(SSL)方法为下游任务的微调提供了一个有效的无标签初始条件。然而,在许多现实场景中,下游任务可能会相对于目标标签分布有偏差。这反过来又将学习的微调模型后验远离初始(标签)无偏差自监督模型后验。在这项工作中,我们重新解释SSL微调贝叶斯持续学习的镜头下,并考虑通过弹性权重合并(EWC)框架的正则化。我们证明,对初始SSL骨干的自正则化提高了最差的子组性能在水鸟5%和Celeb-A的2%,当使用ViT-B/16架构。此外,为了帮助简化EWC与SSL的使用,我们预先计算并公开发布了Fisher信息矩阵(Fisher Information Matrix),该矩阵使用10,000个ImageNet-1 K变量进行评估,这些变量在大型现代SSL架构(包括ViT-B/16和使用DINO训练的ResNet 50)上进行评估。
2022-10-28 cs.LG
Noise-Robust Keyword Spotting through Self-supervised Pretraining
Aalborg University(奥尔堡大学);Pioneer Centre for AI(先锋人工智能中心)
本文探讨了利用Data2Vec等自监督预训练方法增强关键词检测模型在噪声条件下的鲁棒性,发现预训练结合微调优于监督学习,且Data2Vec-denoising方法显著提升抗噪性能。
2024-03-27 cs.LG cs.SD eess.AS
Self-Supervised Combinatorial Optimization with Constraints via Frank-Wolfe
NYU(纽约大学);MIT(麻省理工学院)
提出一种基于Frank-Wolfe的通用框架,允许神经网络预测可行域外的连续向量,通过几何分解近似为可行解的稀疏凸组合,实现自监督训练和自动舍入,在多个组合优化问题上表现优异。
2026-09-23 cs.AI cs.LG
Symbol-Temporal Consistency Self-supervised Learning for Robust Time Series Classification
Department of Computer Science, University of Texas Rio Grande Valley(计算机科学系,德克萨斯大学里奥格兰德谷分校)
针对数字健康中时间序列数据分布偏移问题,提出利用符号袋表示的自监督学习框架,以增强模型对噪声和偏移的鲁棒性,实验证明在显著偏移下性能更优。
2025-09-24 cs.LG
Understanding the Robustness of Distributed Self-Supervised Learning Frameworks Against Non-IID Data
School of Electrical and Computer Engineering, The University of Sydney(悉尼大学电气与计算机工程学院);Northwestern Polytechnical University(西北工业大学)
本文理论分析分布式自监督学习在非IID数据下的鲁棒性,发现掩码图像建模比对比学习更鲁棒,且联邦学习与去中心化学习鲁棒性相当,并提出MAR损失验证理论。
2026-07-03 cs.LG
Robust Inverse Framework using Knowledge-guided Self-Supervised Learning: An application to Hydrology
University of Minnesota - Twin Cities(明尼苏达大学双城分校);University of Pittsburgh(匹兹堡大学);Penn State University(宾夕法尼亚州立大学)
机器学习开始在一系列环境应用中提供最先进的性能,例如水文流域中的径流预测。然而,建立精确的大尺度径流模型在实践中仍然具有挑战性,由于主要水文过程的变化,这是最好的捕捉的过程相关的流域特征集。现有流域特征受到噪声和不确定性等诸多因素的影响,对模型性能产生不利影响。为了解决上述挑战,在本文中,我们提出了一种新的知识引导的自监督学习(KGSSL)的逆框架,从驱动程序和响应数据提取系统特征。这是同类第一个框架,即使在特征被破坏时也能实现强大的性能。我们表明,KGSSL实现了最先进的结果,为径流建模CAMELS(流域属性和MEREMS学大样本研究),这是一个广泛使用的水文基准数据集。具体来说,KGSSL优于其他方法高达16%的重建特征。此外,我们表明,KGSSL是相对更强大的失真比基线方法,并优于基线模型的35%时,插入KGSSL推断的特征。
2022-06-09 cs.LG
RobustSentEmbed: Robust Sentence Embeddings Using Adversarial Self-Supervised Contrastive Learning
Georgia State University(佐治亚州立大学);University of Arizona(亚利桑那大学);Old Dominion University(奥多明尼昂大学)
本文提出RobustSentEmbed,一种基于对抗性自监督对比学习的句子嵌入框架,通过生成高风险扰动并优化目标函数,显著提升鲁棒性,将BERTAttack成功率从75.51%降至38.81%,并在相似性和迁移任务上分别提升1.59%和0.23%。
2024-03-17 cs.AI cs.CL cs.LG
Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Institute of Statistics, LMU Munich(慕尼黑大学统计研究所);Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所)
针对自监督学习集成成本高、多样性不足的问题,提出独立子网络集成与多样性损失函数,以极低计算开销实现高多样性集成,提升不确定性校准与预测可靠性,并在多领域超越基线。
2023-09-01 cs.LG stat.ML
FeaRLESS: Feature Refinement Loss for Ensembling Self-Supervised Learning Features in Robust End-to-end Speech Recognition
University of Texas at Dallas(德克萨斯大学达拉斯分校)
自监督学习表示(SSLR)在许多领域中为下游任务提供了鲁棒的功能。最近,几个SSLR在自动语音识别(ASR)基准语料库上显示出有希望的结果。然而,以前的研究只显示了作为ASR模型输入特征的孤立SSLR的性能。在这项研究中,我们建议调查不同的SSLR组合使用各种融合方法在端到端(E2E)ASR模型的有效性。此外,我们将展示这些提取的SSLR之间的相关性。因此,我们进一步提出了去相关的特征细化损失,以有效地组合输入特征集。对于评估,我们表明,建议的“FeaRLESS学习功能”比系统更好地执行没有建议的功能细化损失的华尔街日报和无畏的步骤挑战(FSC)语料库。
2022-06-30 cs.LG cs.SD eess.AS
Adaptive Self-supervised Robust Clustering for Unstructured Data with Unknown Cluster Number
University of Science and Technology of China(中国科学技术大学);The Hong Kong Polytechnic University(香港理工大学)
提出自适应自监督鲁棒聚类方法ASRC,通过自适应学习图结构和边权重,结合增强图自编码器与对比学习,在未知簇数量下实现非结构化数据的高效聚类,性能优于依赖先验知识的方法。
2024-07-30 cs.AI cs.LG
SSPS: Self-Supervised Positive Sampling for Robust Self-Supervised Speaker Verification
EPITA Research Laboratory (LRE)(EPITA研究实验室)
本文提出自监督正样本采样(SSPS),通过聚类和记忆队列为锚点寻找同说话人不同录音条件的正样本,缓解标准SSL框架主要编码信道信息的问题,在VoxCeleb1-O上显著降低EER并优于现有方法。
2025-06-24 cs.AI cs.LG cs.SD
PhysioME: A Robust Multimodal Self-Supervised Framework for Physiological Signals with Missing Modalities
针对生理信号缺失模态导致性能下降的问题,提出鲁棒多模态自监督框架PhysioME,结合对比学习、掩码预测与恢复解码器,在缺失模态下保持高一致性与泛化性能,支持真实临床决策。
2025-10-13 cs.AI cs.LG
Self-supervised learning for robust voice cloning
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile Communications Business, Samsung Electronics(三星电子移动通信业务部)
语音克隆是一项困难的任务,它需要在高质量的TTS系统中加入强大的和信息丰富的功能,以便有效地复制一个看不见的扬声器的声音。在我们的工作中,我们利用通过Bootstrap Your Own Latent(BYOL)方法在自监督框架中学习的功能,当特定的音频增强应用于香草算法时,该方法可以产生高质量的语音表示。我们进一步扩展了训练过程中的增强,以帮助产生的功能,以捕捉扬声器的身份,并使他们强大的噪声和声学条件。学习到的特征被用作预先训练的话语级嵌入和作为基于非注意Tacotron架构的输入,旨在实现多扬声器语音合成而不利用额外的扬声器特征。这种方法使我们能够在未标记的多说话者数据集中训练我们的模型,并使用看不见的说话者嵌入来复制说话者的声音。主观和客观的评价被用来验证所提出的模型,以及目标话语的声学条件的鲁棒性。
2022-11-02 cs.LG cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation(日本电信电话株式会社)
针对零样本TTS在含噪参考语音下质量下降的问题,提出通过在SSL模型中引入适配器并用含噪语音联合微调,同时结合语音增强前端,实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
HelixADMET: a robust and endpoint extensible ADMET system incorporating self-supervised knowledge transfer
Baidu International Technology (Shenzhen) Co., Ltd.(百度国际科技(深圳)有限公司);Baidu Inc.(百度公司);Harbin Institute of Technology (HIT)(哈尔滨工业大学)
准确的ADMET(“吸收、分布、代谢、排泄和毒性”的缩写)预测可以在药物发现的早期阶段有效地筛选出不期望的候选药物。近年来,已经开发了采用先进的机器学习模型的多个综合ADMET系统,提供估计多个端点的服务。然而,这些ADMET系统通常遭受外推能力弱。首先,由于缺乏每个端点的标记数据,典型的机器学习模型对于具有未观察到的支架的分子表现脆弱。其次,大多数系统只提供固定的内置端点,无法定制以满足各种研究要求。为此,我们开发了一个强大的和端点可扩展的ADMET系统,HelixADMET(H-ADMET)。H-ADMET融合了自我监督学习的概念,以生成一个强大的预训练模型。然后使用多任务和多阶段框架对模型进行微调,以在ADMET端点、辅助任务和自我监督任务之间传输知识。我们的研究结果表明,与现有的ADMET系统相比,H-ADMET在可比终点上实现了4%的总体改善。此外,H-ADMET提供的预训练模型可以进行微调,以生成新的和定制的ADMET终点,满足药物研发的各种需求。
2022-05-17 cs.AI cs.LG q-bio.BM
Using Multiple Self-Supervised Tasks Improves Model Robustness
Columbia University(哥伦比亚大学)
深度网络在计算机视觉任务上实现了最先进的性能,但它们在人类无法感知的对抗攻击下失败了。在本文中,我们提出了一种新的防御,可以动态地适应输入使用多个自监督任务的内在结构。通过同时使用许多自监督任务,我们的防御避免了将自适应图像过度拟合到一个特定的自监督任务,并与单个自监督任务方法相比,恢复了图像中更多的内在结构。与最先进的单任务自我监督防御相比,我们的方法进一步提高了鲁棒性和清洁准确性。我们的工作是第一个将多个自我监督任务与鲁棒性联系起来的工作,并表明我们可以从视觉数据中获得更多的内在信号来实现更好的鲁棒性。
2022-04-07 cs.CV cs.LG
On the robustness of self-supervised representations for multi-view object classification
University of the Witwatersrand(威特沃特斯兰德大学)
众所周知,来自自监督预训练的表示可以在各种下游任务上与来自完全监督预训练的表示表现相当,并且通常更好。这已经在诸如通用对象分类和检测、语义分割和图像检索之类的大量设置中示出。然而,最近出现了一些问题,展示了自监督表示的一些失败模式,例如非ImageNet类数据或复杂场景的性能。在本文中,我们表明,自我监督表示的基础上的实例歧视目标导致更好的表示对象,更强大的变化的观点和观点的对象。我们对多个监督基线进行现代自监督方法的实验来证明这一点,包括通过单应性近似对象视点变化,以及基于多个多视图数据集的真实世界测试。我们发现,自监督表示更强大的对象的观点,似乎编码更多的相关信息的对象,促进从新的观点对象的识别。
2022-07-27 cs.CV cs.LG
Robust Image Analysis by L1-Norm Semi-supervised Learning
Peking University(北京大学)
通过对基于图的半监督学习的关键步骤拉普拉斯正则化给出新的L1范数形式,提出了一种新的L1范数半监督学习算法.由于我们的L1范数拉普拉斯正则化直接定义在归一化拉普拉斯矩阵的特征向量上,因此我们成功地将半监督学习表示为L1范数线性重建问题,可以通过稀疏编码有效地解决。通过只使用特征向量的一个小子集,我们进一步为我们的L1范数半监督学习开发了一个快速稀疏编码算法。由于稀疏编码所带来的稀疏性,该算法能够在一定程度上处理数据中的噪声,因此在抗噪声的图像分类以及视觉和文本词袋(BOW)模型的降噪等鲁棒图像分析中具有重要的应用。特别是,本文是第一次尝试获得强大的图像表示稀疏共同细化的视觉和文本BOW模型。实验结果表明,该算法具有良好的性能。
2013-01-10 cs.CV cs.LG
Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation
University of California, Berkeley(加州大学伯克利分校);National Taiwan University(台湾大学);Mobile Drive Technology(摩拜驱动科技)
提出SNORD框架,将半监督学习引入对抗训练,无需预训练模型,在低标注预算下实现高鲁棒性,相对鲁棒准确率达90%。
2024-09-19 cs.CV cs.LG
Self-supervised Adversarial Training
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
最近的研究表明,神经网络容易受到对抗性样本的影响。为了摆脱这一困境,许多研究者试图通过各种方法对模型进行强化,其中对抗性训练是一种有效的方法,它可以学习鲁棒的特征表示,从而抵抗对抗攻击。同时,自监督学习的目标是从数据本身学习鲁棒的和语义的嵌入。基于这些观点,本文引入了自监督学习来对抗对抗性样本。具体地说,自监督表示与k-最近邻相结合,提出了分类。为了进一步增强防御能力,提出了自监督对抗训练方法,该方法最大化了原始样本和对应对抗样本的表示之间的互信息。实验结果表明,自监督表示在鲁棒性方面优于监督表示,自监督对抗训练能进一步有效提高防御能力。
2020-02-01 cs.CV cs.LG
Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning
Texas A&M University(得克萨斯农工大学);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
来自自我监督的预训练模型通常用于更快或更好地微调下游任务。然而,从预训练中获得鲁棒性尚未探索。我们将对抗训练引入自我监督,首次提供通用的鲁棒预训练模型。我们发现,这些鲁棒的预训练模型可以通过两种方式使后续的微调受益:i)提高最终模型的鲁棒性; ii)如果进行对抗性微调,则可以节省计算成本。我们进行了广泛的实验,以证明与传统的端到端对抗训练基线相比,所提出的框架实现了较大的性能裕度(例如,在CIFAR-10数据集上,鲁棒准确率为3.83%,标准准确率为1.3%)。此外,我们发现不同的自我监督预训练模型具有不同的对抗性脆弱性。它激励我们集成几个预训练任务,这可以进一步提高鲁棒性。我们的集成策略有助于进一步提高3.59%的鲁棒准确度,同时保持CIFAR-10略高的标准准确度。我们的代码可在https://github.com/TAMU-VITA/Adv-SS-Pretraining上获得。
2020-03-28 cs.CV cs.LG
Adversarial Robustness of Discriminative Self-Supervised Learning in Vision
Department of Computer Engineering, Koç University(计算机工程系,科克大学)
本研究评估了七个判别式自监督模型与一个监督模型在多种视觉任务上的对抗鲁棒性,发现自监督模型在ImageNet分类和线性迁移学习中更具鲁棒性,但微调后差距缩小,分割检测中优势减弱。
2025-09-24 cs.CV
Lie Detector: Unified Backdoor Detection via Cross-Examination Framework
本文提出一种基于交叉审查的统一后门检测框架,通过中心核对齐和微调敏感性分析恢复后门触发器并区分对抗性扰动,在多种学习任务上显著提升检测精度,并首次有效检测多模态大语言模型后门。
2025-04-01 cs.CV cs.LG
Weakly Supervised Contrastive Adversarial Training for Learning Robust Features from Semi-supervised Data
School of Computer Science, Sichuan University(四川大学计算机学院)
针对现有对抗训练扰动不完整、鲁棒特征学习效果不佳,且完全扰动受特征区分难、标记数据少限制的问题,提出基于信息论的弱监督对比对抗训练方法,通过半监督数据上的完全对抗样本扰动提升鲁棒特征学习效果,经理论与实验验证有效。
2025-03-20 cs.CV
Semi-supervised Learning with Robust Loss in Brain Segmentation
University of Southern California(南加州大学)
在这项工作中,我们使用半监督学习方法来训练深度学习模型,可以分割大脑MRI图像。半监督模型使用较少的标记数据,并且性能与全标记数据的监督模型竞争。该框架可以降低标记MRI图像的成本。我们还引入了鲁棒损失来减少半监督学习中产生的不准确标签的噪声影响。
2022-12-03 cs.CV eess.IV
Evaluating the Robustness of Self-Supervised Learning in Medical Imaging
Technische Universität München(慕尼黑工业大学);Klinikum rechts der Isar(伊萨尔河右岸医院);TranslaTUM - Central Institute for Translational Cancer Research(慕尼黑转化癌症研究中心);University of Zurich(苏黎世大学);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心)
自我监督已被证明是一种有效的学习策略时,训练目标任务的小注释数据集。虽然目前的研究集中在创建新的借口任务,学习有意义的和可重用的表示为目标任务,这些努力获得边际性能增益相比,完全监督学习。与此同时,很少有人注意到研究的鲁棒性的网络训练在一个自我监督的方式。在这项工作中,我们证明了通过自监督学习训练的网络具有更好的鲁棒性和泛化能力相比,完全监督学习在医学成像的背景下。我们在X射线中的肺炎检测和CT中的多器官分割上的实验产生了一致的结果,揭示了自我监督对于学习鲁棒特征表示的隐藏好处。
2021-05-14 cs.CV
Robust Anomaly Map Assisted Multiple Defect Detection with Supervised Classification Techniques
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);National Technical University of Athens(雅典国立技术大学);Philips Consumer Lifestyle BV(飞利浦消费生活有限公司);Qlector d.o.o.(Qlector有限责任公司)
工业4.0旨在通过利用新的技术进步来优化制造环境,例如新的传感能力和人工智能。DRAEM技术已显示出最先进的无监督分类性能。可以利用创建异常图的能力来突出缺陷可能存在的区域,以向监督分类模型提供线索并增强其性能。我们的研究表明,当通过提供图像和相应的异常图作为输入来训练缺陷检测模型时,可以实现最佳性能。此外,这样的设置在将缺陷检测框定为二进制或多类分类问题时提供一致的性能,并且不受类平衡策略的影响。我们在Philips Consumer Lifestyle BV提供的三个真实数据集上进行了实验。
2022-12-19 cs.CV cs.LG
Self-supervised Monocular Depth Estimation Robust to Reflective Surface Leveraged by Triplet Mining
Daegu Gyeongbuk Institute of Science and Technology(大邱庆北科学技术院);Stanford University(斯坦福大学)
针对自监督单目深度估计在反射表面因违反朗伯假设而训练失准的问题,提出反射感知三元组挖掘损失与知识蒸馏方法,实现像素级区域区分并提升多数据集深度估计性能。
2025-02-20 cs.CV cs.LG
Uncertainty-Supervised Interpretable and Robust Evidential Segmentation
School of Data Science, Fudan University, Shanghai, China(复旦大学数据科学学院);Institute of Science and Technology for Brain-inspired intelligence, Fudan University, Shanghai, China(复旦大学脑启发式智能技术研究所);Nuffield Department of Population Health, University of Oxford, Oxford, UK(牛津大学人口健康牛津部门)
本文提出一种自监督不确定性监督方法,通过两个损失函数增强医学图像分割中不确定性估计的可解释性和鲁棒性,在OOD场景中表现更优。
2025-10-14 cs.CV cs.LG
Self-Supervised Dynamic Networks for Covariate Shift Robustness
BeyondMinds(超越心智)
由于监督学习仍然主导着大多数人工智能应用,测试时的性能往往是意想不到的。具体而言,由背景噪声、照明变化或转录错误等典型干扰引起的输入协变量的移位可能导致预测准确度的显著降低。最近,它表明,纳入自我监督可以显着提高协变量偏移的鲁棒性。在这项工作中,我们提出了自监督动态网络(SSDN):一种输入依赖机制,灵感来自动态网络,允许自监督网络预测主网络的权重,从而在测试时直接处理协变量偏移。我们提出的概念和经验的优势,所提出的方法在不同的协变量偏移下的图像分类的问题,并表明,它显着优于可比的方法。
2020-06-06 cs.CV
Improved Noise and Attack Robustness for Semantic Segmentation by Using Multi-Task Training with Self-Supervised Depth Estimation
Technische Universität Braunschweig(布伦瑞克工业大学)
虽然当前的神经网络训练方法通常旨在提高性能,但较少关注针对不同噪声条件或对抗性示例的定向攻击的鲁棒性的训练方法。在本文中,我们建议通过多任务训练来提高鲁棒性,该训练通过对未标记视频的自监督单目深度估计来扩展监督语义分割。这个额外的任务仅在训练期间执行,以在若干输入扰动下在测试时提高语义分割模型的鲁棒性。此外,我们甚至发现,我们的联合训练方法也提高了模型在原始(监督)语义分割任务上的性能。我们的评估表现出一种特别的新颖性,因为它允许相互比较输入噪声和对抗攻击对语义分割的鲁棒性的影响。我们在Cityscapes数据集上展示了我们的方法的有效性,其中我们的多任务训练方法在鲁棒性与噪声和对抗攻击方面始终优于单任务语义分割基线,而无需在训练中使用深度标签。
2020-04-23 cs.CV
Robust Human Trajectory Prediction via Self-Supervised Skeleton Representation Learning
Chiba University(千叶大学)
本文提出一种基于自监督学习的鲁棒人体轨迹预测方法,通过预训练的骨骼表示模型提升在遮挡环境下预测的鲁棒性和准确性。
2026-02-26 cs.CV
Robust Self-Supervised Convolutional Neural Network for Subspace Clustering and Classification
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
现有的子空间聚类方法处理来自非线性流形、数据损坏和样本外数据的能力不足,阻碍了它们解决现实世界聚类和分类问题的适用性。本文提出了自监督卷积子空间聚类网络($S^2$ ConvSCN)的鲁棒性公式,该网络包含全连接(FC)层,因此,它能够通过使用softmax分类器对其进行分类来处理样本外数据。$S^2$ ConvSCN通过学习特征空间中的线性自表示模型对来自非线性流形的数据进行聚类。对数据损坏的鲁棒性是通过使用相关熵诱导度量(CIM)的错误。此外,块对角(BD)结构的表示矩阵是通过BD正则化明确执行。在真正的无监督训练环境中,Robust $S^2$ ConvSCN在四个众所周知的数据集上的可见和不可见数据方面都比其基线版本表现出色。可以说,这样的消融研究以前没有报道过。
2020-04-03 cs.CV cs.LG stat.ML