More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd(广州虎牙科技有限公司);University of Oxford(牛津大学)
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能,他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发,我们提出了两个一般原则:1)单调递减和2)边际概率惩罚,用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同,我们提供了一个新的视角,将开集人脸识别视为一个信息传输问题。同时,该算法在保证更多干净信息的前提下,具有较好的泛化能力。提出了一种称为线性自动TS编码器(LASSE)的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明,LASSE有助于人脸嵌入获得更强的泛化能力,并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
Sentence Embeddings using Supervised Contrastive Learning
Princeton University(普林斯顿大学)
句子嵌入将句子编码在固定的密集向量中,并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习(如Quick-Thoughts)和监督学习(如Infersent)。随着预训练的NLP模型的成功,最近的研究表明,在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入,在各种评估基准上优于以前的句子嵌入方法。在本文中,我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说,我们的方法在SNLI数据上微调预训练的BERT,同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比,我们的监督对比方法在语义文本相似性(STS)基准测试中平均提高了2.8%,在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
Salesforce Research(Salesforce研究院)
半监督学习是利用未标记数据减少对标记数据依赖的有效范例。我们提出了CoMatch,一种新的半监督学习方法,它统一了主流方法并解决了它们的局限性。CoMatch联合学习训练数据的两种表示,它们的类概率和低维嵌入。这两种表征相互作用,共同进化。嵌入对类概率施加平滑约束以改进伪标签,而伪标签通过基于图的对比学习来正则化嵌入的结构。CoMatch在多个数据集上实现了最先进的性能。它在标签稀缺的CIFAR-10和STL-10上实现了实质性的精度改进。在标签数为1%的ImageNet上,CoMatch达到了66.0%的top-1准确率,比FixMatch高出12.6%。此外,CoMatch在下游任务上实现了更好的表示学习性能,优于监督学习和自监督学习。代码和预训练模型可在www.example.com上获得。
2021-03-03 cs.CV cs.LG
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明,较大的模型比较小的模型从自监督学习中受益更多。因此,对于较大的模型,监督学习和自监督学习之间的差距已经大大缩小。在这项工作中,我们没有为自监督学习设计新的伪任务,而是开发了一种模型压缩方法,将已经学习的深度自监督模型(教师)压缩为较小的模型(学生)。我们对学生模型进行训练,使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet,我们的方法优于所有以前的方法,包括ImageNet线性评估(59.0%与56.5%相比)和最近邻评估(50.7%与41.4%相比)的完全监督模型。据我们所知,这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到:https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven(鲁汶大学)
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标,它集成了自监督和结构学习。此外,我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明,与传统的自监督学习相比,该框架在下游分类任务中实现了更高的泛化性能,并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Joint-Embedding Prediction of Masked Point Tubes for Self-Supervised Learning on 4D Point Cloud Videos
National Taiwan University(台湾大学)
该研究针对四维点云视频自监督学习的挑战,提出JEPA风格框架结合Sketched Isotropic Gaussian Regularization,通过掩码时空区域的潜在点管预测学习表示,在动作和手势识别任务中取得良好效果。
2026-08-26 cs.CV cs.LG
On the Importance of Embedding Norms in Self-Supervised Learning
University of Amsterdam(阿姆斯特丹大学)
本文研究了嵌入范数在自监督学习中的作用,通过理论分析和实验表明范数影响收敛速度和网络置信度,且较小的范数对应意外样本。
2025-06-11 cs.LG
Bag of Image Patch Embedding Behind the Success of Self-Supervised Learning
Meta AI - FAIR(Meta人工智能基础研究实验室);Center for Data Science, New York University(纽约大学数据科学中心);Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Redwood Center(红杉中心);UC Berkeley(加州大学伯克利分校);Courant Institute(柯朗研究所)
本研究揭示联合嵌入类自监督学习本质是学习反映共现关系的图像块表示,提出BagSSL方法,验证了块表示聚合的有效性与局部性保留特性,为理解自监督表示学习提供新视角。
2023-06-13 cs.CV cs.LG
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Locally Linear Embedding and its Variants: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于局部线性嵌入(LLE)及其变体的教程和调查论文。LLE的思想是在嵌入空间中拟合流形的局部结构。在本文中,我们首先涵盖LLE,核LLE,逆LLE,和LLE的特征融合。然后,我们使用线性重构,特征函数和核映射来覆盖样本外嵌入。增量LLE被解释用于嵌入流数据。使用Nystrom近似和局部线性地标的地标LLE方法被解释用于大数据嵌入。我们介绍了使用残差方差,Procrustes统计量,保持邻域误差和局部邻域选择的邻居数的参数选择的方法。之后,监督LLE(SLLE),增强SLLE,SLLE投影,概率SLLE,监督引导LLE(使用Hilbert-Schmidt独立性准则)和半监督LLE解释监督和半监督嵌入。鲁棒LLE方法使用最小二乘问题和惩罚函数也被引入嵌入存在离群值和噪声。然后,我们介绍LLE与其他流形学习方法的融合,包括Isomap(即,ISOLLE)、主成分分析、Fisher判别分析、判别LLE和Isotop。最后,我们解释加权LLE中的距离,重建权重,或嵌入调整更好的嵌入,我们覆盖加权LLE变形分布数据,加权LLE使用发生概率,SLLE调整权重,修改LLE,迭代LLE。
2020-11-22 cs.CV cs.LG stat.ML
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting(RJ研究咨询公司);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
本文提出了一种新的半监督框架与卷积神经网络(CNN)的文本分类。与以前依赖于单词嵌入的方法不同,我们的方法从未标记的数据中学习小文本区域的嵌入,以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想,即使训练是在未标记的数据上完成的,也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
FUSE: Fast Semi-Supervised Node Embedding Learning via Structural and Label-Aware Optimization
School of Data Science, IISER Thiruvananthapuram, India(数据科学学院,印度泰米尔纳德邦IISER)
针对真实图中节点缺乏特征向量的问题,提出FUSE快速半监督节点嵌入框架,联合优化结构保留、监督正则化和半监督传播三个目标,在标准基准上实现与SOTA相当或更优的分类准确率且计算成本更低。
2025-10-13 cs.LG
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI;Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Courant Institute, New York University(纽约大学柯朗研究所);Center for Data Science, New York University(纽约大学数据科学中心)
提出MC-JEPA联合嵌入预测架构,通过共享编码器联合学习光流与内容特征,实现两类任务性能比肩现有方法,得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
Self-supervised Learning of Pose Embeddings from Spatiotemporal Relations in Videos
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);IWR, Heidelberg University(海德堡大学跨学科科学计算中心)
人体姿势分析目前由深度卷积网络主导,该网络通过对关节位置及其他位置的大量手动注释进行训练。为了避免昂贵的标签的需要,我们利用时空关系的训练视频的姿态嵌入的自监督学习。其关键思想是将时间排序和空间位置估计相结合,作为学习Siamese卷积网络中姿势相似性的辅助任务。由于从自然视频中对两个任务进行自监督采样可能会导致模糊和不正确的训练标签,因此我们的方法采用了课程学习的思想,即从最可靠的数据样本开始训练,并逐渐增加难度。为了进一步完善训练过程,我们挖掘了单个视频中的重复姿势,这些姿势提供了可靠的标签,同时消除了不一致。我们的姿势嵌入捕捉人体姿势的视觉特征,可以提高现有的监督表示在人体姿势估计和检索。我们在奥林匹克运动会,利兹姿势运动和MPII人体姿势数据集中报告了这些任务的定量和定性结果。
2017-08-07 cs.CV
Temporally Coherent Embeddings for Self-Supervised Video Representation Learning
Data61 CSIRO(联邦科学与工业研究组织 Data61)
本文提出了TCE:时间相干嵌入的自我监督视频表示学习。所提出的方法利用未标记视频数据的固有结构来明确地在嵌入空间中执行时间相干性,而不是通过排名或预测代理任务间接地学习它。就像世界中的高级视觉信息变化平滑一样,我们相信学习表征中的邻近帧将从展示类似属性中受益。使用这个假设,我们训练我们的TCE模型来编码视频,使得相邻帧彼此靠近并且视频彼此分离。使用TCE,我们从大量未标记的视频数据中学习鲁棒的表示。我们使用多个具有挑战性的基准(Kinetics 400,UCF 101,HMDB 51)在视频动作识别的下游任务上彻底分析和评估了我们的自监督学习TCE模型。通过简单但有效的2D-CNN主干和仅RGB流输入,TCE预训练的表示优于之前在UCF 101上预训练的所有自监督2D-CNN和3D-CNN。本文的代码和预训练模型可以从以下网站下载:https://github.com/csiro-robotics/TCE
2020-11-17 cs.CV cs.LG eess.IV
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
针对聚合物标注数据集稀缺问题,研究在聚合物分子图上应用JEPA进行自监督预训练,证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo(滑铁卢大学)
有监督的降维策略已经引起了极大的兴趣。然而,当前的监督降维方法难以针对以大数据集为特征的情况进行缩放,因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战,但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战,在这项研究中,我们探索了一个新的方向,通过监督随机投影(SRP)的概念,以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是,而不是执行计算上禁止大规模数据的谱分解(或其近似),而是通过利用核近似理论和希尔伯特-施密特独立准则(HSIC)度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明,所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法(例如,SPCA和KSPCA),同时实现1-2个数量级更好的计算性能。因此,这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
与k-最近邻(kNN)相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而,这些方法中的大多数涉及成对的训练数据比较,并且因此具有关于训练集的大小的二次计算复杂性,从而阻止它们扩展到相当大的数据集。此外,在测试期间,将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外,以前的指标要么太受约束,要么太有表现力,无法很好地学习。为了有效地解决这些问题,我们提出了一个样本为中心的监督浅参数数据嵌入模型,使用最大塌陷度量学习(MCML)的目标。我们的策略学习浅高阶参数嵌入函数,并仅将训练/测试数据与学习或预先计算的样本进行比较,从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明,对于二维嵌入空间中的分类,我们的方法不仅使kNN的加速提高了数百倍,而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University(哥伦比亚大学)
最近,自监督学习在各种机器学习任务中出现了爆炸性增长和使用,因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献,并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成,跨模态预训练,循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research(脸书人工智能研究院)
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中,对比学习通过负样本对防止崩溃。已经表明,非对比方法遭受不同性质的较小崩溃问题:维度崩溃,其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里,我们表明,维度崩溃也发生在对比学习。在本文中,我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发,我们提出了一种新的对比学习方法,称为DirectRank,它直接优化表示空间,而不依赖于显式的可训练投影。实验表明,DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
3D Weakly Supervised Semantic Segmentation with 2D Vision-Language Guidance
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Meituan Inc.(美团公司);University of Trento(特伦托大学);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出3DSS-VLG方法,通过2D视觉-语言模型中的图像与文本嵌入对3D点云进行弱监督语义分割,在S3DIS和ScanNet上取得领先性能并保持强泛化能力。
2024-08-30 cs.CV
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
Flow Based Self-supervised Pixel Embedding for Image Segmentation
CuraCloud(库拉云)
我们提出了一种新的自监督的方法,从运动线索的图像特征学习。这种新方法在两个方向上利用了深度学习的最新进展:1)训练深度神经网络在使用合成流数据估计真实数据中的光流方面的成功;以及2)从运动线索(如光流)学习图像特征的新兴工作。在此基础上,我们证明了图像特征可以通过首先用合成流数据训练光流估计器,然后从真实运动数据中的估计流学习图像特征来学习自我监督。我们演示和评估这种方法的图像分割任务。使用学习的图像特征表示,该网络在Few-Shot分割任务中的表现明显优于从头开始训练的网络。
2019-01-08 cs.CV
Self-supervised Learning of Contextualized Local Visual Embeddings
Institute of Computing(计算研究所);University of Campinas(坎皮纳斯大学);Department of Informatics(信息学系);University of Oslo(奥斯陆大学)
提出自监督卷积方法 CLoVE,通过归一化多头自注意力层学习上下文局部嵌入,在 4 项密集预测任务中实现 CNN 架构的 SOTA 性能。
2023-10-04 cs.CV
Self-supervised learning of visual features through embedding images into text topic spaces
Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心);CVIT, KCIS, IIIT Hyderabad(海得拉巴国际信息技术学院视觉信息技术中心)
针对新的计算机视觉问题的当前深度架构的从头开始的端到端训练将需要ImageNet规模的数据集,而这并不总是可能的。在本文中,我们提出了一种方法,能够利用免费提供的多模态内容的训练计算机视觉算法没有人的监督。我们提出了通过挖掘大规模的多模态(文本和图像)文档语料库来执行视觉特征的自监督学习的思想。我们表明,通过训练CNN来预测特定图像更有可能作为插图出现的语义上下文,可以有效地学习有区别的视觉特征。为此,我们利用隐藏的语义结构中发现的文本语料库与一个众所周知的主题建模技术。我们的实验表明,最先进的性能在图像分类,目标检测,和多模态检索相比,最近的自我监督或自然监督的方法。
2017-05-24 cs.CV
Target-Embedding Autoencoders for Supervised Representation Learning
University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校)
基于自动编码器的学习已经成为在无监督和半监督环境中规范表示的主要方法。本文分析了一个框架,以提高泛化在纯监督设置,目标空间是高维的。我们激励和形式化的一般框架的目标嵌入自动编码器(TEA)的监督预测,学习中间的潜在表示联合优化,既可预测的功能,以及预测的目标-编码的目标的变化是由一组紧凑的基本因素驱动的先验。作为我们的理论贡献,我们通过证明一致稳定性,将辅助重建任务的好处解释为正则化的一种形式,为线性TEA的推广提供了保证。作为我们的经验贡献,我们扩展验证这种方法超出现有的静态分类应用程序的多变量序列预测,验证其优势的线性和非线性经常性架构-从而强调了进一步的一般性,这个框架超越前馈实例。
2020-01-23 cs.LG stat.ML
Joint-Embedding Predictive Architecture for Self-Supervised Learning of Mask Classification Architecture
VUNO Inc.(VUNO公司);POSTECH(浦项科技大学)
本研究提出专为掩码分类架构定制的自监督学习框架Mask-JEPA,结合联合嵌入预测架构解决自监督分割的两大关键挑战,在多个数据集上取得有竞争力的结果且具备良好通用性与鲁棒性。
2024-07-15 cs.CV
Spectal Harmonics: Bridging Spectral Embedding and Matrix Completion in Self-Supervised Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech))
本文从拉普拉斯算子视角将自监督学习中的增强归纳偏置与低秩矩阵补全联系起来,并利用矩阵补全理论分析现代自监督学习方法的收敛性及影响下游性能的关键性质。
2023-10-30 cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab(腾讯人工智能实验室)
在这项研究中,我们研究了用于说话人确认(SV)的自监督表示学习。首先,我们研究了一个简单的对比学习方法(Simplified)与动量对比(MoCo)学习框架,其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现,更好的发言人嵌入可以通过动量对比学习。接下来,替代增强策略进行了探讨,规范化的两个随机段从同一语音话语的外在说话人变异。具体而言,波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时,所提出的MoCo说话人嵌入得到进一步改进,这鼓励说话人嵌入更接近其分配的原型,并具有中间聚类步骤。此外,我们将自监督框架推广到半监督场景,其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明,与现有技术相比,我们提出的自监督方法具有竞争力的性能,并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
本文提出用随机嵌入显式建模自监督学习中的表示,从信息论角度研究概率建模对信息瓶颈的影响,并发现损失空间中的额外瓶颈可显著提升分布外检测能力。
2023-10-27 cs.LG
Beyond Pairwise Correlations: Higher-Order Redundancies in Self-Supervised Representation Learning
ETH Zürich(苏黎世联邦理工学院)
针对现有自监督学习仅关注特征成对相关性的局限,该研究形式化高阶嵌入空间冗余概念,提出结合编码器与预测器博弈的SSLPM方法,验证其性能媲美SOTA,且最优SSL方法普遍存在隐式冗余降低现象。
2024-12-08 cs.LG
TextTopicNet - Self-Supervised Learning of Visual Features Through Embedding Images on Semantic Text Spaces
Carnegie Mellon University(卡内基梅隆大学);IIIT Hyderabad(海得拉巴国际信息技术学院);Computer Vision Center, Universitat Autonoma de Barcelona(巴塞罗那自治大学计算机视觉中心);Eurecat, Centre Tecnològic de Catalunya(加泰罗尼亚技术中心 Eurecat)
基于深度学习的方法在计算机视觉中的巨大成功在很大程度上依赖于大规模训练数据集。这些注释丰富的数据集帮助网络学习有区别的视觉特征。收集和注释这些数据集需要大量的人力,并且注释仅限于流行的类集。作为替代方案,通过设计利用免费可用的自我监督的辅助任务来学习视觉特征在计算机视觉社区中变得越来越流行。本文提出了一种利用多模态上下文为计算机视觉算法训练提供自我监督的思想。我们表明,通过训练CNN来预测特定图像更有可能作为插图出现的语义文本上下文,可以有效地学习足够的视觉特征。更具体地说,我们使用流行的文本嵌入技术为深度CNN的训练提供自我监督。我们的实验表明,国家的最先进的性能相比,最近的自我监督或自然监督的方法在图像分类,目标检测,和多模态检索。
2018-07-04 cs.CV
On the surprising similarities between supervised and self-supervised models
University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注:IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所,但根据常见中文译法及上下文,此处保留缩写更准确))
人类如何学习获得强大、灵活和健壮的对象表示?虽然这个过程的大部分仍然未知,但很明显,人类不需要数百万个对象标签。令人兴奋的是,自监督学习的最新算法进步现在使卷积神经网络(CNN)能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破,我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型,这些数据集有大规模的人类行为数据(130 K高度受控的心理物理试验)。令人惊讶的是,目前的自监督CNN具有监督CNN的四个关键特征:(1)相对较差的噪声鲁棒性(Simplified的显著例外),(2.)非人类类别级错误模式,(3.)非人类图像级错误模式(与监督模型错误的高度相似性)和(4.)对质地的偏爱总的来说,这些结果表明,通过今天的监督和自我监督训练目标学习的策略最终惊人地相似,但与人类行为相去甚远。话虽如此,我们显然只是处于所谓的机器视觉自监督革命的开始,我们希望未来的自监督模型与监督模型的行为不同,并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology(快手科技)
近年来,从大量未标记数据中学习,特别是自监督学习,逐渐兴起并受到广泛关注。自监督学习,然后对一些标记的示例进行监督微调,可以显着提高标记效率,并优于使用完全注释数据的标准监督训练。在这项工作中,我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说,我们设计了一个学生-教师网络来生成自监督学习数据的多视图,并将硬负对挖掘集成到训练中。然后,我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Evaluating Self-Supervised Learning for Molecular Graph Embeddings
Cambridge(剑桥大学);UCL(伦敦大学学院);MILA(米拉人工智能研究所);UdeM(蒙特利尔大学);HEC(巴黎高等商学院);CIFAR(加拿大高等研究院);HKU(香港大学)
本文提出分子图表示评估基准MOLGRAPHEVAL,通过通用图、分子子结构和嵌入空间属性三类探测任务评估GSSL方法,发现现有数据集评估与细致探测结果存在显著不一致,表明当前评估方法不全面。
2023-10-18 cs.LG q-bio.QM
Optimizing Likelihood-free Inference using Self-supervised Neural Symmetry Embeddings
Massachusetts Institute of Technology(麻省理工学院);Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)(人工智能与基础相互作用研究所(IAIFI));University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学)
本研究提出一种通过自监督神经对称嵌入优化无似然推断的方法,利用对称数据增强的自监督联合嵌入学习物理对称性,结合归一化流实现参数推断,在两个物理问题上验证了其更快收敛、参数更少的优势。
2023-12-11 astro-ph.IM cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon AWS AI(亚马逊云科技人工智能)
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性,值得探索。在这项研究中,我们提出了一个有效的自监督学习框架和一个新的正则化策略,以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同,所提出的自监督正则化(SSReg)只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略,所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力,并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明,通过添加有效的自监督正则化,我们提出的自监督方法获得了23.4%的相对改进,并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
ScribbleVC: Scribble-supervised Medical Image Segmentation with Vision-Class Embedding
Xiamen University(厦门大学);University of Washington(华盛顿大学);University of Electronic Science and Technology of China(电子科技大学)
提出ScribbleVC框架,通过多模态信息增强机制结合视觉与类别嵌入,并统一利用CNN和Transformer特征,在涂鸦监督下实现了优于现有方法的医学图像分割性能。
2023-07-30 cs.CV cs.MM
Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
贝叶斯优化是一种广泛应用的优化昂贵的黑箱函数的方法。尽管它取得了成功,但仍然面临着来自高维搜索空间的挑战。为了缓解这个问题,我们提出了一种新的贝叶斯优化框架(称为SILBO),它找到一个低维空间进行贝叶斯优化迭代通过半监督降维。SILBO结合了从获取函数中获取的标记点和未标记点,以指导嵌入空间学习。为了加快学习过程,我们提出了一种随机的方法来生成投影矩阵。此外,针对低维空间到高维原始空间的映射,根据目标函数的求值开销,提出了两种映射策略:$\text{SILBO}_{FZ}$和$\text{SILBO}_{FX}$.在合成函数和超参数优化任务上的实验结果表明,SILBO优于现有的最先进的高维贝叶斯优化方法。
2020-10-19 cs.AI cs.LG stat.ML
Improving Pre-trained Self-Supervised Embeddings Through Effective Entropy Maximization
UMass Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学);Meta - FAIR(元公司FAIR研究院)
针对自监督嵌入熵最大化依赖高维熵估计的问题,本文提出基于易估计低维约束的E2MC附加准则,仅需少量epoch继续训练即可稳定提升下游性能。
2025-03-13 cs.CV cs.IT cs.LG
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
考虑到大量的未标记语音数据和高昂的标记成本,无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法,它需要负采样:对替代样本进行采样,以与当前样本(锚)进行对比。然而,很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation(DINO),并将其应用于语音领域。与对比方法不同,DINO不需要负采样。这些嵌入进行了评估,说话人确认和情感识别。在说话人验证中,无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道,不需要说话人标签,进一步提高了EER到1.89%。在情感识别方面,DINO嵌入在IEMOCAP,Crema-D和MSP-Podcast上的micro-f1得分分别为60.87,79.21和56.98%。结果表明,DINO嵌入的通用性,不同的语音应用。
2022-08-10 cs.LG eess.AS
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research(Meta人工智能研究院);NYU(纽约大学)
自监督学习(SSL)推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑:在许多模态\dots中优于监督方法,但理论基础有限,方法特定,并且未能为从业者提供原则性的设计指南。在本文中,我们提出了一个统一的框架下的频谱流形学习,以解决这些限制。通过这项研究的过程中,我们将严格证明VICReg,Simplified,BarlowTwins等。对应于epsilon谱方法,如Laplacian Eigenmaps,Multidimensional Scaling等。这种统一将使我们能够获得(i)每种方法的闭合形式最佳表示,(ii)每种方法的线性区域中的闭合形式最佳网络参数,(iii)训练过程中使用的成对关系对每个量和下游任务性能的影响,最重要的是,(iv)对比和非对比方法之间的第一个理论桥梁,分别通向全局和局部谱嵌入方法,暗示每个方法的优点和局限性。例如,(i)如果成对关系与下游任务对齐,则可以成功地采用任何SSL方法并将恢复监督方法,但在低数据状态下,VICReg的不变性超参数应该较高;(ii)如果成对关系与下游任务不对齐,则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Uncertainty-aware Self-supervised 3D Data Association
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Honda Research Institute(本田研究院)
3D对象跟踪器通常需要在大量带注释的数据上进行训练,这是昂贵且耗时的。相反,我们建议通过3D对象跟踪器的自监督度量学习来利用大量未标记的数据集,重点是数据关联。通过跨帧的自动目标检测和关联,廉价地获得未标记数据的大规模注释。我们展示了如何以原则性的方式使用这些自监督注释来学习对3D跟踪有效的点云嵌入。我们估计并将不确定性纳入自监督跟踪中,以学习更强大的嵌入,而不需要任何标记数据。我们设计嵌入来区分帧间的对象,并使用不确定性感知的自我监督训练来学习它们。最后,我们展示了他们跨帧执行准确数据关联的能力,以实现有效和准确的3D跟踪。项目视频和代码在https://jianrenw.github.io/Self-Supervised-3D-Data-Association。
2020-08-18 cs.CV cs.RO
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University(达尔豪斯大学);Vector Institute(向量研究所);McMaster University(麦克马斯特大学);Nova Scotia Health(新斯科舍卫生机构)
本研究利用基于自监督学习的语音模型提取SSL嵌入,不仅预测抑郁症严重程度,还识别个体症状,并发现其优于常规特征,同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
Self-supervised Learning of Image Embedding for Continuous Control
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
直接从原始的高维感官输入(如图像)进行操作仍然是机器人控制的一个挑战。最近,人们提出了强化学习方法来解决端到端的特定任务,从像素到扭矩。然而,这些方法假设访问指定的奖励,这可能需要专门的环境仪器。此外,所获得的策略和表示往往是特定于任务的,并且可能不能很好地传递。在这项工作中,我们调查完全自监督学习的一般图像嵌入和控制原语,找到最短的时间达到任何状态的基础上。我们还引入了一个新的结构的状态-动作价值函数,建立了无模型和基于模型的方法之间的连接,并提高了性能的学习算法。我们的实验证明这些发现在三个模拟机器人任务。
2019-01-03 cs.AI cs.LG cs.NE
Bootstrapped Self-Supervised Training with Monocular Video for Semantic Segmentation and Depth Estimation
Massachusetts Institute of Technology(麻省理工学院)
对于部署在世界各地的机器人来说,希望具有自主学习的能力,以改善其初始预设知识。我们将其形式化为自举自监督学习问题,其中系统最初在标记数据集上进行监督训练,并且我们寻找一种自监督训练方法,该方法随后可以仅使用未标记数据在监督训练基线上改进系统。在这项工作中,我们利用单目视频中帧之间的时间一致性来执行这种自举式自我监督训练。我们表明,一个训练有素的国家的最先进的语义分割网络可以通过我们的方法进一步改善。此外,我们还证明了自举自监督训练框架可以帮助网络比纯监督训练或自监督训练更好地学习深度估计。
2021-08-01 cs.CV cs.RO
Subgraph Gaussian Embedding Contrast for Self-Supervised Graph Representation Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris, Palaiseau, France(LTCI,Telecom Paris,巴黎理工学院,Palaiseau,法国)
针对自监督图表示学习需求,提出子图高斯嵌入对比方法,通过高斯空间映射和最优传输距离增强对比学习鲁棒性,在多基准上取得优于或媲美现有最优方法的性能,为相关方法设计提供新思路。
2025-06-12 cs.AI cs.LG
Multi-Prototype Embedding Refinement for Semi-Supervised Medical Image Segmentation
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);School of Computer Science, Peking University(北京大学计算机学院)
针对半监督医学图像分割中类内方差研究不足、传统线性分类器难以捕捉精细体素差异的问题,提出基于多原型的嵌入精修方法,通过多原型分类挖掘类内变化并结合一致性约束,在两个基准上取得优于现有方法的性能。
2025-03-18 cs.CV eess.IV
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督,通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中,数据增强技术被广泛应用,并且不需要数据标签,因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑,即使数据源非常不同。我们表明,整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG