Self-Supervised Dynamical System Representations for Physiological Time-Series
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出PULSE框架,利用动力系统生成模型的信息结构,通过跨重建预训练目标提取共享系统参数信息,丢弃样本特异性噪声,提升生理时间序列的表示学习效果。
2026-06-07 cs.LG stat.ML
Unsupervised and Supervised Principal Component Analysis: Tutorial
University of Waterloo(滑铁卢大学)
这是一个详细的教程文件,其中解释了主成分分析(PCA),监督PCA(SPCA),内核PCA和内核SPCA。我们从投影开始,PCA与特征分解,PCA与一个和多个投影方向,投影矩阵的属性,重建误差最小化,我们连接到自动编码器。然后,PCA与奇异值分解,双PCA,核PCA。SPCA使用评分和希尔伯特-施密特独立性准则的解释。核SPCA使用直接和双重的方法,然后介绍。我们涵盖了训练和样本外数据的投影和重建的所有情况。最后,在Frey和AT&T人脸数据集上进行了仿真,验证了理论的可行性。
2022-08-01 cs.LG stat.ML
Self-supervised Learning: Generative or Contrastive
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology (TNList)(清华信息科学与技术国家实验室);Anhui University(安徽大学);Renmin University of China(中国人民大学)
深度监督学习在过去十年中取得了巨大的成功。然而,其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法,在过去的几年里,由于其在表示学习方面的出色表现,吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督,并使几乎所有类型的下游任务受益。在这篇综述中,我们将探讨新的自监督学习方法,用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法,并根据其目标将其归纳为三个主要类别:生成,对比和生成对比(对抗)。我们进一步研究相关的理论分析工作,提供更深层次的思考自监督学习是如何工作的。最后,我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
Evaluating Self-Supervised Learning via Risk Decomposition
Stanford University(斯坦福大学)
提出一种SSL风险分解方法,将误差分为四个组件以分析设计选择对169个模型的影响,为改进SSL提供洞见。
2024-01-08 cs.AI cs.LG stat.ML
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
Divergence-aware Federated Self-Supervised Learning
NTU(南洋理工大学);SenseTime Research(商汤科技研究院)
自监督学习(SSL)能够从集中可用的数据中学习显著的表示。最近的工作进一步实现了使用SSL的联邦学习,以从快速增长的分散式未标记图像(例如,从相机和电话),往往是由于隐私的限制。基于Siamese网络的SSL方法受到了广泛的关注。然而,这样的努力还没有揭示出对联邦自监督学习(FedSSL)架构的各种基本构建块的深刻见解。我们的目标是通过深入的实证研究来填补这一空白,并提出一种新的方法来解决分散数据的非独立同分布(非IID)数据问题。首先,我们介绍了一个广义的FedSSL框架,包括现有的SSL方法的基础上,暹罗网络,并提出了灵活性,迎合未来的方法。在这个框架中,服务器协调多个客户端进行SSL训练,并定期更新客户端的本地模型与聚合的全局模型。使用该框架,我们的研究揭示了FedSSL的独特见解:1)停止梯度操作,以前报道是必不可少的,并不总是必要的FedSSL; 2)保留本地知识的FedSSL客户端是特别有益的非IID数据。受这些见解的启发,我们提出了一种新的模型更新方法,联邦发散感知指数移动平均更新(FedEMA)。FedEMA使用全局模型的EMA自适应地更新客户端的局部模型,其中衰减率通过模型发散度动态地测量。大量的实验表明,FedEMA优于现有的方法3-4%的线性评价。我们希望这项工作将为未来的研究提供有益的见解。
2022-04-09 cs.AI cs.CV cs.DC
SWIS: Self-Supervised Representation Learning For Writer Independent Offline Signature Verification
Indian Statistical Institute(印度统计研究所);Indian Institute of Technology Kharagpur(印度理工学院哈拉格布尔分校);Jadavpur University(贾达普大学)
与作者无关的离线签名验证是模式识别中最具挑战性的任务之一,因为通常缺乏训练数据。为了解决这种数据稀缺的问题,在本文中,我们提出了一种新的自监督学习(SSL)框架,作者独立的离线签名验证。据我们所知,这是第一次尝试利用自监督设置的签名验证任务。通过最小化属于不同特征方向的两个随机变量之间的互协方差并确保表示相同特征方向的随机变量之间的正互协方差来实现签名图像的自监督表示学习的目标。这确保了特征被线性地去相关并且冗余信息被丢弃。通过在不同数据集上的实验结果,我们得到了令人鼓舞的结果。
2022-07-12 cs.CV cs.LG eess.IV
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST(韩国科学技术院)
本研究通过将自监督表示学习表述为监督学习目标的近似,推导出与InfoNCE相关的损失函数,引入原型表示偏差和平衡对比损失概念,从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);University of Montreal(蒙特利尔大学)
我们研究了一种策略,通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失,SuNCEt,基于噪声对比估计和邻域成分分析,其目的是区分不同类别的例子,除了自我监督的实例借口任务。在ImageNet上,我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性,同时使用不到一半的预训练和计算量。我们的主要观点是,在预训练期间,而不仅仅是在微调期间,即使是少量的标记数据,也可以提供一个重要的信号,可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights
The University of Hong Kong(香港大学);University of Edinburgh(爱丁堡大学);Shanghai AI Laboratory(上海人工智能实验室)
本文通过受控实验揭示 CLIP 凭借动态分类代理任务隔离主导类偏差并隐式平衡学习信号,结合语言监督、数据规模与开放世界概念获得长尾鲁棒性,并将洞见迁移至监督与自监督模型。
2024-10-27 cs.CL cs.CV cs.LG
Self-supervised learning methods and applications in medical imaging analysis: A survey
Jordan University of Science and Technology(约旦科技大学)
缺乏高质量的带注释的医学成像数据集是与医学成像分析领域的机器学习应用相冲突的主要问题,并阻碍了其发展。自监督学习是最近的一种训练范式,它能够在不需要人工注释的情况下学习鲁棒的表示,这可以被认为是注释医学数据稀缺的有效解决方案。本文综述了图像数据自监督学习方法的最新研究方向,并重点介绍了其在医学成像分析领域的应用。本文涵盖了计算机视觉领域的一组最新的自监督学习方法,因为它们适用于医学成像分析,并将其分类为预测,生成和对比方法。此外,本文涵盖了医学成像分析中自监督学习领域的40篇最新研究论文,旨在揭示该领域的最新创新。最后,文章总结了该领域未来可能的研究方向。
2022-07-20 cs.CV cs.LG eess.IV
Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
DeepMind(深度思维);Twitter Cortex(推特科泰克斯)
尽管自监督方法最近在残差网络的表示学习方面取得了进展,但它们在ImageNet分类基准上的表现仍然低于监督学习,限制了它们在性能关键设置中的适用性。基于来自ReLIC的先前理论见解[Mitrovic等人,2021],我们将额外的归纳偏差纳入自监督学习。我们提出了一种新的自我监督的表示学习方法,ReLICv 2,它结合了一个明确的不变性损失与对比的目标,在一组不同的适当构造的数据视图,以避免学习虚假的相关性,并获得更多的信息表示。在ResNet 50上进行线性评估时,ReLICv 2在ImageNet上实现了$77.1\%$ top- $1$精度,从而通过绝对$+1.5\%$改进了先前的最先进技术;在更大的ResNet模型上,ReLICv 2实现了高达$80.6\%$的性能,优于先前的自监督方法,其裕度高达$+2.3\%$。最值得注意的是,ReLICv 2是第一个无监督的表示学习方法,在一系列ResNet架构的同类比较中始终优于监督基线。使用ReLICv 2,我们还学习了更强大和可转移的表示,这些表示比以前的工作更好地概括了分布,无论是在图像分类还是语义分割方面。最后,我们表明,尽管使用ResNet编码器,ReLICv 2与最先进的自监督Vision Transformers相当。
2022-11-03 cs.CV cs.LG stat.ML
Self-Supervised Learning of Representations for Space Generates Multi-Modular Grid Cells
Stanford University(斯坦福大学);MIT(麻省理工学院)
本研究融合编码理论、动力系统等四类方法的洞见,提出一种无需监督位置信息的自监督学习框架,成功让网络中涌现多模块网格细胞,且表征具备良好的分布外泛化能力,为神经科学与自监督学习研究提供新启发。
2023-11-04 cs.LG cs.NE
Systematic comparison of semi-supervised and self-supervised learning for medical image classification
Tufts University, School of Engineering(塔夫茨大学工程学院)
本文系统比较了医学图像分类中13种半监督与自监督方法,在4个数据集上验证了现实规模验证集下超参数调优的有效性,并发现MixMatch能带来最可靠的准确率提升。
2024-03-29 cs.CV cs.LG
Deep Dive into Semi-Supervised ELBO for Improving Classification Performance
Agency Lab(机构实验室);Independent University Bangladesh(孟加拉国独立大学)
对VAE用于密度估计的证据下限(ELBO)目标进行分解,揭示了VAE用于表示学习的不足,并提出了改进方法。在本文中,我们研究是否可以通过使用VAE模型分解ELBO进行半监督分类来获得类似的见解。具体来说,我们表明,输入和类标签之间的互信息减少ELBO目标的最大化。我们提出了一种方法来解决这个问题。我们还强制集群假设,以帮助分类。在不同数据集上的实验表明,该方法可以提高现有基于VAE的半监督模型的分类性能。实验还表明,这可以在不牺牲模型生成能力的情况下实现。
2022-11-21 cs.LG
Towards Good Practices in Self-supervised Representation Learning
Amazon Inc.(亚马逊公司)
自监督表示学习在过去几年中取得了显著的进展。最近,对比实例学习与其监督学习同行相比显示出令人印象深刻的结果。然而,即使对对比实例学习的兴趣越来越大,但这些方法为什么能如此有效,在很大程度上仍然不清楚。在本文中,我们的目的是解开他们成功背后的一些奥秘,这是良好的做法。通过广泛的实证分析,我们希望不仅提供见解,而且还制定了一套最佳实践,导致最近的工作在自我监督表示学习的成功。
2020-12-01 cs.AI cs.CV cs.LG
In-Context Semi-Supervised Learning
Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系)
本文提出上下文半监督学习方法,通过结合少量标记示例和大量未标记上下文,提升Transformer在低标签场景下的表现。
2026-01-29 cs.LG
GraphGuard: Contrastive Self-Supervised Learning for Credit-Card Fraud Detection in Multi-Relational Dynamic Graphs
University of St. Gallen (HSG)(圣加仑大学(HSG))
针对信用卡欺诈检测中特征工程和标注依赖的局限,提出基于图的对比自监督框架GraphGuard,在真实与合成数据集上验证了其有效性。
2024-07-17 cs.LG
Semi-Supervised Contrastive Learning with Orthonormal Prototypes
Department of Electrical Engineering, Statistics, Biostatistics(电气工程系、统计学与生物统计学系);Wisconsin Institute of Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出CLOP,一种基于正交原型的半监督对比学习方法,通过促进类嵌入正交子空间形成,防止维度坍缩,提升图像分类和目标检测性能。
2025-11-27 cs.LG
Which Tasks Survive Self-Supervised Learning?
Texas A&M University(得克萨斯A&M大学)
本研究提出语义可恢复性概念,从理论上阐明同实例自监督学习保留哪些下游任务信息,并揭示其与方向几何、谱结构及少样本迁移的定量关系。
2026-10-01 cs.AI cs.LG
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
提出MixSGCL方法,将推荐与对比损失整合为监督对比学习损失以统一优化方向,并引入节点级和边级混合挖掘监督信号,有效缓解数据稀疏性,在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University(斯坦福大学)
对比学习在计算机视觉方面取得了相当大的进展,在一系列下游数据集上的表现优于有监督的预训练。然而,对比学习是否在所有情况下都是更好的选择?我们证明了两种情况下,它不是。首先,在足够小的预训练预算下,ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明,在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次,即使预训练预算较大,我们也可以识别出监督学习占主导地位的任务,这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调,需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
Supervised Graph Contrastive Learning for Gene Regulatory Networks
University of Tokyo(东京大学);National Institute of Genetics(日本国立遗传学研究所)
本文提出SupGCL方法,通过整合基因敲除实验中的生物扰动作为监督信号,改进基因调控网络的表示学习,提升疾病亚型识别和下游任务性能。
2026-06-15 cs.LG
What Do We Maximize in Self-Supervised Learning?
New York University(纽约大学);Meta AI Research(Meta人工智能研究院)
在本文中,我们研究了自监督学习方法,特别是VICReg,以提供对其构建的信息理论理解。作为第一步,我们展示了如何信息理论的数量可以获得一个确定性的网络,提供了一个可能的替代以前的工作,依赖于随机模型。这使我们能够演示如何从第一原理及其关于数据分布的假设中(重新)发现VICReg。此外,我们实证证明了我们的假设的有效性,证实了我们对VICReg的新理解。最后,我们相信我们获得的推导和见解可以推广到许多其他SSL方法,为SSL和迁移学习的理论和实践理解开辟了新的途径。
2022-07-20 cs.AI cs.LG
Is Self-Supervised Learning More Robust Than Supervised Learning?
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学)
自监督对比学习是学习无标签视觉表征的有力工具。以前的工作主要集中在评估各种预训练算法的识别准确性,但忽略了其他行为方面。除了准确性,分布鲁棒性在机器学习模型的可靠性中起着关键作用。我们设计并进行了一系列鲁棒性测试,以量化对比学习和监督学习之间的行为差异,下游或前训练数据分布的变化。这些测试利用多个级别的数据损坏,从像素级伽马失真到补丁级洗牌,再到磁盘组级分布偏移。我们的测试揭示了对比学习和监督学习有趣的鲁棒性行为。一方面,在下游腐败下,我们通常观察到对比学习比监督学习更鲁棒。另一方面,在预训练损坏的情况下,我们发现对比学习容易受到补丁洗牌和像素强度变化的影响,但对补丁级分布变化不太敏感。我们试图通过数据增强和特征空间属性的作用来解释这些结果。我们的见解对提高监督学习的下游鲁棒性具有启示。
2022-06-10 cs.CV cs.LG
Self-Supervised Learning on Molecular Graphs: A Systematic Investigation of Masking Design
Stony Brook University(石溪大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文系统研究了分子图自监督学习中掩码设计的影响,发现预测目标与编码器架构的协同作用比复杂的掩码分布更为关键,且语义丰富的目标能显著提升下游性能。
2025-12-08 cs.AI cs.LG q-bio.QM
Survey on Self-supervised Representation Learning Using Image Transformations
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
深度神经网络需要大量的训练数据,而在现实世界中,可用于训练目的的数据稀缺。为了解决这些问题,自监督学习(SSL)方法被使用。SSL使用几何变换(GT)是一种简单而强大的技术,用于无监督表示学习。虽然多篇调查论文已经回顾了SSL技术,但没有一篇只关注使用几何变换的技术。此外,这些方法没有在审查它们的文件中深入讨论。我们提出这项工作的动机是几何变换已被证明是无监督表示学习中强大的监督信号。此外,许多这样的作品取得了巨大的成功,但没有得到太多的关注。我们提出了一个简洁的调查SSL的方法,使用几何变换。我们列出了六个使用图像变换的代表性模型,包括基于预测和自动编码变换的模型。我们回顾他们的架构以及学习方法。我们还比较了这些模型在CIFAR-10和ImageNet数据集上的对象识别任务中的性能。我们的分析表明,AETv 2在大多数设置中表现最佳。在某些设置中,具有特征解耦的旋转也表现良好。然后,我们从观察到的结果中获得见解。最后,我们总结的结果和见解,以及突出开放的问题要解决,并指出各种未来的方向。
2022-02-17 cs.CV cs.LG
Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching
The Chinese University of Hong Kong(香港中文大学);Huya AI(虎牙AI)
在本文中,我们提出了一个统一的方法来联合学习光流和立体匹配。我们的第一个直觉是立体匹配可以建模为光流的特殊情况,我们可以利用立体视频背后的3D几何来指导这两种形式的对应关系的学习。然后,我们将这些知识纳入最先进的自监督学习框架,并训练一个单一的网络来估计流量和立体声。其次,我们揭示了以前的自监督学习方法中的瓶颈,并提出创建一组新的具有挑战性的代理任务来提高性能。这两种见解产生了一个单一的模型,在KITTI 2012和2015基准测试中,该模型在所有现有的无监督流和立体方法中达到了最高的准确性。更值得注意的是,我们的自监督方法甚至优于几种最先进的完全监督方法,包括KITTI 2012上的PWC-Net和FlowNet 2。
2020-04-05 cs.CV cs.LG
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中,自监督学习(SSL)已经成为一个重要的研究方向。事实证明,SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面,监督多任务学习(MTL)是另一种表示学习范式,已被证明在计算机视觉(CV)和自然语言处理(NLP)中有效。然而,在语音处理中,还没有系统的研究,一般表示学习模型的监督MTL训练。在本文中,我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性,以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Self-Supervised Multimodal Learning: A Survey
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Samsung AI Research Centre, Cambridge(三星剑桥人工智能研究中心)
该综述系统梳理自监督多模态学习(SSML)的最新进展,剖析其三大核心挑战及对应解决方案,介绍多领域实际应用,并探讨未来研究方向,同时提供相关资源合集。
2024-08-16 cs.AI cs.CL cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo(滑铁卢大学)
本综述总结自监督预训练在放射影像诊断任务中的效果,发现其通常优于全监督学习,尤其在未标记数据多时,并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech(加州理工学院);Google(谷歌);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所);University of Copenhagen(哥本哈根大学)
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解,但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步,我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度,我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果:(i)超过500k图像的额外预训练数据的好处是适度的,(ii)添加来自另一个域的预训练图像不会导致更一般的表示,(iii)损坏的预训练图像对监督和自监督预训练有不同的影响,(iv)对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
IdEst: Assessing Self-Supervised Learning Representations via Intrinsic Dimension
University of California, Berkeley(加州大学伯克利分校)
提出IdEst方法,利用最小生成树维度估计器评估自监督学习表示的内在维度,发现其与下游线性探测性能强相关,并能高效选择超参数。
2026-06-02 cs.CV cs.LG
Scaling and Benchmarking Self-Supervised Visual Representation Learning
Facebook AI Research(脸书人工智能研究院)
自监督学习的目标是在没有明确的人工监督的情况下从数据本身学习表示。现有的努力忽略了自监督学习的一个关键方面-扩展到大量数据的能力,因为自监督不需要手动标签。在这项工作中,我们重新审视了这一原则,并将两种流行的自监督方法扩展到1亿张图像。我们表明,通过在各个轴上进行缩放(包括数据大小和问题“硬度”),可以在很大程度上匹配甚至超过监督预训练在各种任务上的性能,例如使用强化学习进行目标检测,表面法线估计(3D)和视觉导航。扩展这些方法也提供了许多有趣的见解,目前的自我监督技术和评估的局限性。我们的结论是,目前的自我监督的方法是不够“硬”,以充分利用大规模的数据,似乎没有学习有效的高层次的语义表示。我们还介绍了一个跨9个不同数据集和任务的广泛基准。我们认为,要取得有意义的进展,就必须有这样一个基准以及可比较的评价环境。代码在:https://github.com/facebookresearch/fair_self_supervision_benchmark。
2019-06-06 cs.AI cs.CV cs.LG
DimCL: Dimensional Contrastive Learning For Improving Self-Supervised Learning
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文提出维度对比学习 DimCL,通过沿维度方向进行对比学习增强特征多样性,作为正则化器融入自监督学习框架,在多种数据集和骨干架构上显著提升性能。
2023-09-21 cs.AI cs.CV cs.LG
Self-supervised learning predicts plant growth trajectories from multi-modal industrial greenhouse data
本文提出自监督学习方法,利用移动机器人平台采集的多模态工业温室数据,预测植物生长轨迹,包括株高和收获质量,推动农业自动化与机器学习结合。
2025-07-08 cs.LG cs.RO q-bio.QM
Low-Trace Adaptation of Zero-shot Self-supervised Blind Image Denoising
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
提出低迹自适应Noise2Noise(LoTA-N2N)模型,通过迹约束损失弥合自监督与监督去噪差距,实现零样本自监督盲去噪的最优性能。
2024-03-19 cs.CV cs.LG eess.IV
Continuum directions for supervised dimension reduction
University of Pittsburgh(匹兹堡大学)
研究了辅助信息监督下的多元数据的降维问题。一系列的基础降维得到的一个新的标准的极小。所提出的方法类似于连续统回归,并且所得到的基础被称为连续统方向。在存在二进制监督数据的情况下,这些方向连续地桥接主分量、平均差和线性判别方向,从而从无监督到全监督的降维。高维渐近研究连续二进制监督方向揭示了几个有趣的事实。指定了样本连续体方向不一致但分类性能良好的条件。虽然所提出的方法可以直接用于二进制和多类别分类,其推广到任何形式的辅助数据也提出。该方法具有计算速度快,性能更好或与更多的计算机密集型的替代品。
2018-03-21 cs.LG stat.ME stat.ML
Statistical and Algorithmic Insights for Semi-supervised Learning with Self-training
University of California, Riverside(加州大学河滨分校)
自训练是半监督学习中的一种经典方法,已成功应用于各种机器学习问题。自训练算法为未标记的样本生成伪标签,并逐步细化这些伪标签,希望与实际标签一致。这项工作提供了理论上的见解,自我训练算法的重点是线性分类器。我们首先研究高斯混合模型,并提供了一个尖锐的非渐近有限样本的自训练迭代特征。我们的分析揭示了拒绝低置信度样本的可证明的好处,并证明了自训练迭代可以优雅地提高模型的准确性,即使它们确实卡在次优固定点上。然后,我们证明了正则化和类边缘(即分离)对于成功是非常重要的,缺乏正则化可能会阻止自训练识别数据中的核心特征。最后,我们讨论了一般分布下自我训练的经验风险最小化的统计方面。我们展示了如何一个纯粹的无监督的概念,基于自我训练的聚类的基础上的泛化可以正式的集群利润的基础上。然后,我们建立了基于半监督的自我训练和更一般的学习问题与异构数据和弱监督之间的联系。
2020-06-19 cs.LG stat.ML
Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
The Hong Kong Polytechnic University(香港理工大学);ETH Zurich(苏黎世联邦理工学院)
新的深度学习工具正在重新审视机器学习中的许多有趣问题。对于基于图的半监督学习,最近的一个重要发展是图卷积网络(GCN),它很好地集成了卷积层中的局部顶点特征和图拓扑。虽然GCN模型与其他最先进的方法相比毫不逊色,但其机制尚不清楚,仍然需要大量的标记数据进行验证和模型选择。在本文中,我们对GCN模型有了更深入的了解,并解决了它的基本局限性。首先,我们证明了GCN模型的图卷积实际上是拉普拉斯平滑的一种特殊形式,这是GCN工作的关键原因,但它也带来了许多卷积层过度平滑的潜在问题。其次,为了克服GCN模型的局限性与浅架构,我们提出了共同训练和自我训练的方法来训练GCN。我们的方法显著提高了GCN在学习中使用很少的标签,并免除了它们需要额外的标签进行验证。大量的基准测试实验验证了我们的理论和建议。
2018-01-22 cs.LG stat.ML
Gradient-based kernel dimension reduction for supervised learning
The Institute of Statistical Mathematics(统计数学研究所);National University of Singapore(新加坡国立大学)
本文提出了一种新的核方法,用于监督学习的线性降维。降维的目的是在输入空间中找到方向,以尽可能有效地解释输出。该方法基于再生核Hilbert空间上的协方差算子,对回归函数的梯度进行估计。与现有的方法相比,该方法具有广泛的适用性,无需对变量的分布或类型进行强假设,并且使用计算简单的特征分解。实验结果表明,该方法能够有效地找到有效的方向与高效的计算。
2011-09-02 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique(巴黎综合理工学院);University of California, Berkeley(加州大学伯克利分校)
由于错误和类之间真正的歧义,类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型,该模型显式地对噪声标签进行建模,称为Mislabeled VAE(M-VAE)。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外,M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
Self-supervised Enhancement of Latent Discovery in GANs
TCS Research(塔塔咨询服务研究部);Flytxt Mobile Solutions(Flytxt 移动解决方案公司);Indian Institute of Space Science and Technology(印度空间科学技术研究所)
已经提出了几种用于在预训练的GANs的潜在空间中发现可解释方向的方法。由无监督方法发现的潜在语义比监督方法相对较少,因为它们不使用预先训练的属性分类器。我们提出了规模排名估计(SRE),这是使用自我监督训练。SRE增强了现有的无监督解缠技术获得的方向上的解缠。这些方向被更新以保持潜在空间中每个方向内的变化的顺序。定性和定量评估发现的方向表明,我们提出的方法显着提高了各种数据集的解纠缠。我们还表明,学习SRE可以用来执行基于属性的图像检索任务,而无需进一步的训练。
2021-12-16 cs.CV cs.LG
Data Transformation Insights in Self-supervision with Clustering Tasks
Bing Ads, Microsoft(必应广告,微软)
自我监督是将深度学习扩展到标签稀缺领域的关键。对于大多数自监督方法,数据转换起着重要的作用。然而,到目前为止,尚未研究转型的影响。此外,不同的转换可能对系统产生不同的影响。我们提供了新的见解使用数据转换的自我监督任务,特别是有关聚类。我们从理论上和经验上证明了某些变换有助于自监督聚类的收敛。我们还显示的情况下,转换是没有帮助的,在某些情况下,甚至是有害的。我们显示更快的收敛速度与有效的转换凸以及某些家庭的非凸目标,随着证明收敛到原来的最优值。我们有合成和真实世界的数据实验。经验上,我们的结果符合理论的见解提供。
2020-02-18 cs.LG math.ST stat.ML
Semi-Supervised Learning Approach to Discover Enterprise User Insights from Feedback and Support
Microsoft(微软公司)
随着云计算和以客户为中心的文化的发展,我们固有地积累了大量的文本评论,反馈和支持数据库。这促使企业寻求和研究参与模式,用户网络分析,主题检测等。然而,挖掘数据仍然需要大量的手工工作才能挖掘出可操作的结果。本文提出并开发了一种创新的半监督学习方法,该方法利用深度学习和主题建模来更好地理解用户语音。该方法结合了通过监督学习的基于BERT的多分类算法和通过无监督学习的新型概率和语义混合主题推理(PSHTI)模型,旨在自动化从文本反馈和支持中更好地识别主题或领域以及子主题的过程。随着深度学习技术的进步,自然语言处理领域出现了巨大的创新,然而作为自然语言处理应用之一的传统主题建模却落后于深度学习的潮流。在方法论和技术层面上,我们采用迁移学习对基于BERT的多分类系统进行微调,对主主题进行分类,然后利用新的PSHTI模型对预测的主主题下的子主题进行推断。2.传统的基于无监督学习的主题模型或聚类方法难以自动生成有意义的主题标签,但我们的系统能够通过网络爬行利用关于产品的领域知识将热门词映射到自助问题。3.这项工作通过在实际生产中利用最先进的方法提供了一个突出的展示,以帮助发现用户见解并推动业务投资优先级。
2020-07-22 cs.CL cs.LG stat.ML
Gaining Insight into SARS-CoV-2 Infection and COVID-19 Severity Using Self-supervised Edge Features and Graph Neural Networks
Yale University(耶鲁大学)
对SARS-CoV-2病毒如何感染并导致严重COVID-19的分子和细胞理解仍然是制定结束大流行的干预措施的瓶颈。我们试图使用深度学习来研究SARS-CoV-2感染和COVID-19严重程度的生物学,方法是识别与SARS-CoV-2感染和COVID-19严重程度相关的转录组模式和细胞类型。为此,我们开发了一种新的方法来生成自监督边缘特征。我们提出了一个模型,建立在图注意力网络(GAT),创建边缘功能,使用自监督学习,并摄取这些边缘功能,通过设置Transformer。该模型在预测单个细胞的疾病状态方面取得了显着的改进,因为它们的转录组。我们将我们的模型应用于SARS-CoV-2感染的肺类器官和COVID-19患者支气管肺泡灌洗液样本的单细胞RNA测序数据集,使用我们的模型在两个数据集上实现了最先进的性能。然后,我们借用可解释AI(XAI)领域的知识,来识别在不同时间区分旁观者与感染细胞以及中度与重度COVID-19疾病的特征(基因)和细胞类型。据我们所知,这代表了深度学习首次应用于使用单细胞组学数据识别SARS-CoV-2感染和COVID-19严重程度的分子和细胞决定因素。
2020-12-15 cs.LG q-bio.GN stat.ML
Improved Generalization of Heading Direction Estimation for Aerial Filming Using Semi-supervised Regression
Carnegie Mellon University(卡内基梅隆大学);Yamaha Motor Co., Ltd.(雅马哈发动机有限公司)
在移动演员(例如,人或车辆)的自主空中拍摄任务中,根据视觉输入对演员进行良好的航向方向估计是至关重要的。然而,在其他类似的任务,如行人碰撞风险分析和人机交互,获得的模型是非常困难的,推广到空中拍摄任务,因为数据分布的差异。为了在较少的标记数据量下提高泛化能力,提出了一种半监督航向估计算法。我们利用时间连续性作为无监督信号来正则化模型,并获得更好的泛化能力。这种半监督算法被应用于训练和测试阶段,这大大提高了测试性能。我们表明,通过利用未标记的序列,所需的标记数据量可以显着减少。我们还讨论了通过平衡标记和未标记损失以及进行良好的组合来提高性能的几个重要细节。实验结果表明,我们的方法鲁棒输出的航向不同类型的演员。在航拍任务中,视频的美学价值也得到了提升。
2019-03-26 cs.AI cs.CV cs.LG
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex(扬德克斯);National Research University Higher School of Economics(国立研究型大学高等经济学院)
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换,例如缩放或缩放,从而实现更可控的生成过程。然而,这些方向的发现目前是以监督的方式执行的,需要人类标签,预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中,我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序,我们发现方向对应于明智的语义操作,没有任何形式的(自我)监督。此外,我们揭示了几个非平凡的发现,这将是很难获得现有的方法,例如,对应于背景去除的方向。作为我们工作的直接实际好处,我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation
Indian Institute of Technology, Gandhinagar(甘地讷格尔印度理工学院)
在过去的十年里,我们见证了监督学习范式的巨大增长。监督学习需要大量的标记数据来达到最先进的性能。然而,标记样本需要大量的人工注释。为了避免标记数据的成本,提出了自监督方法来利用大量可用的未标记数据。本研究对特征表征的自我监督范式的最新发展进行了全面而深入的调查和分析。在本文中,我们调查的因素影响的有用性,自我监督在不同的设置。我们提出了一些关于自我监督,生成和对比方法的两种不同方法的关键见解。我们还研究了监督对抗训练的局限性,以及自我监督如何帮助克服这些局限性。然后,我们继续讨论有效地使用视觉任务的自我监督的局限性和挑战。最后,我们强调了一些开放的问题,并指出未来的研究方向。
2021-11-03 cs.CV cs.LG
Semi-supervised 3D Video Information Retrieval with Deep Neural Network and Bi-directional Dynamic-time Warping Algorithm
Northwestern University(西北大学)
本文提出一种半监督深度学习算法,结合卷积循环网络与双向动态时间规整,实现基于视觉内容的二维和三维视频检索,并在多个公开数据集上优于现有最先进模型。
2023-09-03 cs.CV cs.LG
Revisiting Meta-Learning as Supervised Learning
The Ohio State University(俄亥俄州立大学);Nanjing University(南京大学);Cornell University(康奈尔大学)
近年来,关于元学习的新出版物和方法层出不穷。这种社区范围内的热情激发了人们的深刻见解,但也创造了大量看似不同的框架,这些框架很难进行比较和评估。在本文中,我们的目标是通过重新审视和加强元学习和传统监督学习之间的联系,提供一个原则性的,统一的框架。通过将特定于任务的数据集和目标模型对视为(特征,标签)样本,我们可以将许多元学习算法简化为监督学习的实例。这种观点不仅将元学习统一到一个直观且实用的框架中,而且还允许我们直接转移监督学习的见解来改进元学习。例如,我们对泛化属性有了更好的理解,并且我们可以很容易地转移已经很好理解的技术,例如模型集成、预训练、联合训练、数据增强,甚至是基于最近邻的方法。我们在元学习的背景下提供了这些方法的直观类比,并表明它们在少样本学习的模型性能上有显着改善。
2020-02-03 cs.CV cs.LG stat.ML
SMART: An Open Source Data Labeling Platform for Supervised Learning
RTI International(RTI国际组织)
SMART是一个开源数据标注平台,通过直观界面、主动学习和评估者间信度统计,帮助高效构建监督学习训练数据集。
2018-12-11 cs.LG stat.ML
Geometric Insights into Support Vector Machine Behavior using the KKT Conditions
University of North Carolina(北卡罗来纳大学)
支持向量机是一种功能强大、应用广泛的分类算法。本文使用Karush-Kuhn-Tucker条件为SVM行为的新见解提供了严格的数学证明。这些见解提供了可能意想不到的SVM和其他两个线性分类器之间的关系:平均差异和最大数据堆积方向。例如,我们表明,在许多情况下,SVM可以被视为这些分类器的裁剪版本。通过仔细探索这些连接,我们展示了SVM的调整行为如何受到特征的影响,包括:平衡与不平衡类,低维与高维,可分离与不可分离数据。这些结果通过解释观察到的病理行为和激励改进的交叉验证方法,为通过交叉验证调整SVM提供了进一步的见解。最后,我们还提供了新的结果,在高维空间中的完全数据堆积方向的几何。
2018-10-10 cs.LG stat.ML