Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
FUSE: Fast Semi-Supervised Node Embedding Learning via Structural and Label-Aware Optimization
School of Data Science, IISER Thiruvananthapuram, India(数据科学学院,印度泰米尔纳德邦IISER)
针对真实图中节点缺乏特征向量的问题,提出FUSE快速半监督节点嵌入框架,联合优化结构保留、监督正则化和半监督传播三个目标,在标准基准上实现与SOTA相当或更优的分类准确率且计算成本更低。
2025-10-13 cs.LG
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI;Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Courant Institute, New York University(纽约大学柯朗研究所);Center for Data Science, New York University(纽约大学数据科学中心)
提出MC-JEPA联合嵌入预测架构,通过共享编码器联合学习光流与内容特征,实现两类任务性能比肩现有方法,得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
与k-最近邻(kNN)相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而,这些方法中的大多数涉及成对的训练数据比较,并且因此具有关于训练集的大小的二次计算复杂性,从而阻止它们扩展到相当大的数据集。此外,在测试期间,将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外,以前的指标要么太受约束,要么太有表现力,无法很好地学习。为了有效地解决这些问题,我们提出了一个样本为中心的监督浅参数数据嵌入模型,使用最大塌陷度量学习(MCML)的目标。我们的策略学习浅高阶参数嵌入函数,并仅将训练/测试数据与学习或预先计算的样本进行比较,从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明,对于二维嵌入空间中的分类,我们的方法不仅使kNN的加速提高了数百倍,而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
针对聚合物标注数据集稀缺问题,研究在聚合物分子图上应用JEPA进行自监督预训练,证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
贝叶斯优化是一种广泛应用的优化昂贵的黑箱函数的方法。尽管它取得了成功,但仍然面临着来自高维搜索空间的挑战。为了缓解这个问题,我们提出了一种新的贝叶斯优化框架(称为SILBO),它找到一个低维空间进行贝叶斯优化迭代通过半监督降维。SILBO结合了从获取函数中获取的标记点和未标记点,以指导嵌入空间学习。为了加快学习过程,我们提出了一种随机的方法来生成投影矩阵。此外,针对低维空间到高维原始空间的映射,根据目标函数的求值开销,提出了两种映射策略:$\text{SILBO}_{FZ}$和$\text{SILBO}_{FX}$.在合成函数和超参数优化任务上的实验结果表明,SILBO优于现有的最先进的高维贝叶斯优化方法。
2020-10-19 cs.AI cs.LG stat.ML
Subgraph Gaussian Embedding Contrast for Self-Supervised Graph Representation Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris, Palaiseau, France(LTCI,Telecom Paris,巴黎理工学院,Palaiseau,法国)
针对自监督图表示学习需求,提出子图高斯嵌入对比方法,通过高斯空间映射和最优传输距离增强对比学习鲁棒性,在多基准上取得优于或媲美现有最优方法的性能,为相关方法设计提供新思路。
2025-06-12 cs.AI cs.LG
Target-Embedding Autoencoders for Supervised Representation Learning
University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校)
基于自动编码器的学习已经成为在无监督和半监督环境中规范表示的主要方法。本文分析了一个框架,以提高泛化在纯监督设置,目标空间是高维的。我们激励和形式化的一般框架的目标嵌入自动编码器(TEA)的监督预测,学习中间的潜在表示联合优化,既可预测的功能,以及预测的目标-编码的目标的变化是由一组紧凑的基本因素驱动的先验。作为我们的理论贡献,我们通过证明一致稳定性,将辅助重建任务的好处解释为正则化的一种形式,为线性TEA的推广提供了保证。作为我们的经验贡献,我们扩展验证这种方法超出现有的静态分类应用程序的多变量序列预测,验证其优势的线性和非线性经常性架构-从而强调了进一步的一般性,这个框架超越前馈实例。
2020-01-23 cs.LG stat.ML
Self-Supervised Deep Graph Embedding with High-Order Information Fusion for Community Discovery
Dalian University of Technology(大连理工大学)
深度图嵌入是社区发现的一种重要方法。具有自监督机制的深度图神经网络可以从未标记和非结构化的图数据中获取节点的低维嵌入向量。图的高阶信息可以为节点的表示学习提供更丰富的结构信息。然而,由于图神经网络的层数有限,大多数自监督图神经网络只使用邻接矩阵作为图的输入拓扑信息,不能获得太高的阶信息。如果有太多的层,过度平滑的现象会出现。因此,如何利用浅层图神经网络获取并融合图的高阶信息是一个重要的问题。提出了一种基于自监督机制的深度图嵌入算法。该算法利用自监督机制和图的不同高阶信息训练多个深度图卷积神经网络。该方法将多个图卷积神经网络的输出进行融合,提取包含图的属性和结构信息的节点表示。此外,在训练过程中引入了数据增强和负采样,以提高嵌入效果。在五个实验数据集上对所提出的算法和比较算法进行了实验。实验结果表明,在大多数实验数据集上,该算法的性能优于对比算法。实验结果表明,该算法是一种有效的社区发现算法。
2021-02-08 cs.AI cs.SI
Simplicial Embeddings in Self-Supervised Learning and Downstream Classification
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);National University of Singapore(新加坡国立大学)
单纯形嵌入(SEM)是通过自监督学习(SSL)学习的表示,其中表示被投影到$V$维度的$L$单纯形中,每个都使用softmax操作。该过程在预训练期间将表示条件化到受约束的空间上,并赋予组稀疏性的归纳偏差。对于下游分类,我们正式证明了SEM表示导致更好的泛化比未规范化的表示。此外,我们通过经验证明,使用SEM训练的SSL方法在自然图像数据集(如CIFAR-100和ImageNet)上的泛化能力有所提高。最后,当在下游分类任务中使用时,我们表明SEM特征表现出紧急语义一致性,其中小组学习特征明显预测语义相关类。
2022-09-30 cs.CV cs.LG
Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning
National Cancer Center(国家癌症中心)
提出Retro方法,通过为学生模型重用教师投影头解决嵌入蒸馏中的尺寸不匹配问题,在轻量级模型上显著优于现有技术并减少参数量。
2024-08-24 cs.AI cs.CV
Virtual embeddings and self-consistency for self-supervised learning
Technical University of Munich(慕尼黑工业大学);Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学怀廷工程学院);University Hospital Bonn(波恩大学医院);Helmholtz Zentrum München(亥姆霍兹慕尼黑中心)
自监督学习(Self-supervised Learning,SSL)由于训练监督学习模型的高成本和数据限制而受到广泛关注。SSL中的当前范例是利用输入空间处的数据增强来创建相同图像的不同视图,并训练模型以最大化相似图像之间的表示并最小化不同图像之间的表示。虽然这种方法在各种下游任务中实现了最先进的(SOTA)结果,但它仍然有机会研究潜在的空间增强。本文提出了TriMix,SSL的一个新概念,通过线性插值的数据生成虚拟嵌入,从而提供了新的表示模型。我们的策略侧重于训练模型从虚拟嵌入中提取原始嵌入,从而更好地进行表示学习。此外,我们提出了一个自我一致性术语,提高了虚拟和实际嵌入之间的一致性。我们验证了TriMix的8个基准数据集组成的自然和医学图像与2.71%和0.41%的改善优于第二个最好的模型为两个数据类型。此外,我们的方法在半监督学习中优于当前的方法,特别是在低数据状态下。此外,我们的预训练模型表现出更好的转移到其他数据集。
2022-06-15 cs.AI cs.CV
Graph Embedding Dynamic Feature-based Supervised Contrastive Learning of Transient Stability for Changing Power Grid Topologies
School of Electrical Engineering(电气工程学院)
针对电网拓扑变化下的在线暂态稳定预测,提出GEDF将拓扑结构编码为低维图嵌入流特征,并构建GEDF-SCL监督对比学习模型;IEEE 39节点系统的N-1与N-m-1事故仿真验证其高精度与拓扑适应性。
2023-08-01 cs.AI cs.LG cs.SY
Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss
提出条件混合策略与嵌入级对比损失,解决半监督声音事件检测中混合增强在伪标签学习和对比学习中的角色冲突,在DESED验证集上达到SOTA。
2026-06-29 cs.AI eess.AS
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research(脸书人工智能研究院)
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中,对比学习通过负样本对防止崩溃。已经表明,非对比方法遭受不同性质的较小崩溃问题:维度崩溃,其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里,我们表明,维度崩溃也发生在对比学习。在本文中,我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发,我们提出了一种新的对比学习方法,称为DirectRank,它直接优化表示空间,而不依赖于显式的可训练投影。实验表明,DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
Hierarchical Molecular Representation Learning via Fragment-Based Self-Supervised Embedding Prediction
School of Computing, National University of Singapore, Singapore(新加坡国立大学计算机学院);Engineering, The Chinese University of Hong Kong, China(香港中文大学工程学院)
本文提出GraSPNet,通过层次自监督框架学习分子的原子和片段级语义,以提升分子性质预测的性能。
2026-02-23 cs.AI cs.LG q-bio.QM
Locally Linear Embedding and its Variants: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于局部线性嵌入(LLE)及其变体的教程和调查论文。LLE的思想是在嵌入空间中拟合流形的局部结构。在本文中,我们首先涵盖LLE,核LLE,逆LLE,和LLE的特征融合。然后,我们使用线性重构,特征函数和核映射来覆盖样本外嵌入。增量LLE被解释用于嵌入流数据。使用Nystrom近似和局部线性地标的地标LLE方法被解释用于大数据嵌入。我们介绍了使用残差方差,Procrustes统计量,保持邻域误差和局部邻域选择的邻居数的参数选择的方法。之后,监督LLE(SLLE),增强SLLE,SLLE投影,概率SLLE,监督引导LLE(使用Hilbert-Schmidt独立性准则)和半监督LLE解释监督和半监督嵌入。鲁棒LLE方法使用最小二乘问题和惩罚函数也被引入嵌入存在离群值和噪声。然后,我们介绍LLE与其他流形学习方法的融合,包括Isomap(即,ISOLLE)、主成分分析、Fisher判别分析、判别LLE和Isotop。最后,我们解释加权LLE中的距离,重建权重,或嵌入调整更好的嵌入,我们覆盖加权LLE变形分布数据,加权LLE使用发生概率,SLLE调整权重,修改LLE,迭代LLE。
2020-11-22 cs.CV cs.LG stat.ML
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University(卡内基梅隆大学)
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中,我们提出了mSimCSE,它扩展SimCSE到多语言设置,并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入,而无需任何并行数据。在无监督和弱监督的设置,mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面,无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时,性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab(腾讯人工智能实验室)
在这项研究中,我们研究了用于说话人确认(SV)的自监督表示学习。首先,我们研究了一个简单的对比学习方法(Simplified)与动量对比(MoCo)学习框架,其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现,更好的发言人嵌入可以通过动量对比学习。接下来,替代增强策略进行了探讨,规范化的两个随机段从同一语音话语的外在说话人变异。具体而言,波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时,所提出的MoCo说话人嵌入得到进一步改进,这鼓励说话人嵌入更接近其分配的原型,并具有中间聚类步骤。此外,我们将自监督框架推广到半监督场景,其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明,与现有技术相比,我们提出的自监督方法具有竞争力的性能,并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
S-JEA: Stacked Joint Embedding Architectures for Self-Supervised Visual Representation Learning
University of Aberdeen(阿伯丁大学)
针对自监督学习难以学习可分离分层语义表示的问题,提出堆叠联合嵌入架构(S-JEA),通过堆叠JEA使高层输入低层表示,学习可分离的语义层次,并在参数相当下达到传统JEA性能,可视化验证层次结构。
2024-11-04 cs.CV cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University(延世大学);Bank of Korea(韩国银行)
本文提出单纯形到单纯形嵌入模型(SSEM)作为理论框架,分析监督对比学习中超参数对表示的影响,并给出防止类别坍缩的实用指导,且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在这项工作中,我们提出了一个自我监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像般的表示,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所隐含的观察到的马尔可夫路径。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,使用精确-召回曲线下的面积(AUPRC)度量,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的张量表示,这些张量表示可以与其他图像源相结合,旨在促进地理空间计算机视觉中的多模态学习。
2022-10-07 cs.AI cs.CV cs.LG
Temporally Coherent Embeddings for Self-Supervised Video Representation Learning
Data61 CSIRO(联邦科学与工业研究组织 Data61)
本文提出了TCE:时间相干嵌入的自我监督视频表示学习。所提出的方法利用未标记视频数据的固有结构来明确地在嵌入空间中执行时间相干性,而不是通过排名或预测代理任务间接地学习它。就像世界中的高级视觉信息变化平滑一样,我们相信学习表征中的邻近帧将从展示类似属性中受益。使用这个假设,我们训练我们的TCE模型来编码视频,使得相邻帧彼此靠近并且视频彼此分离。使用TCE,我们从大量未标记的视频数据中学习鲁棒的表示。我们使用多个具有挑战性的基准(Kinetics 400,UCF 101,HMDB 51)在视频动作识别的下游任务上彻底分析和评估了我们的自监督学习TCE模型。通过简单但有效的2D-CNN主干和仅RGB流输入,TCE预训练的表示优于之前在UCF 101上预训练的所有自监督2D-CNN和3D-CNN。本文的代码和预训练模型可以从以下网站下载:https://github.com/csiro-robotics/TCE
2020-11-17 cs.CV cs.LG eess.IV
RobustSentEmbed: Robust Sentence Embeddings Using Adversarial Self-Supervised Contrastive Learning
Georgia State University(佐治亚州立大学);University of Arizona(亚利桑那大学);Old Dominion University(奥多明尼昂大学)
本文提出RobustSentEmbed,一种基于对抗性自监督对比学习的句子嵌入框架,通过生成高风险扰动并优化目标函数,显著提升鲁棒性,将BERTAttack成功率从75.51%降至38.81%,并在相似性和迁移任务上分别提升1.59%和0.23%。
2024-03-17 cs.AI cs.CL cs.LG
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd(广州虎牙科技有限公司);University of Oxford(牛津大学)
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能,他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发,我们提出了两个一般原则:1)单调递减和2)边际概率惩罚,用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同,我们提供了一个新的视角,将开集人脸识别视为一个信息传输问题。同时,该算法在保证更多干净信息的前提下,具有较好的泛化能力。提出了一种称为线性自动TS编码器(LASSE)的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明,LASSE有助于人脸嵌入获得更强的泛化能力,并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
Magnitude-Phase Dual-Path Speech Enhancement Network based on Self-Supervised Embedding and Perceptual Contrast Stretch Boosting
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);Cadre Division Organization Department of the Party Committee, Xinjiang Uygur Autonomous Region(中国新疆维吾尔自治区党委组织部干部处)
提出BSP-MPNet双路径框架,融合自监督嵌入与幅度-相位信息,通过PCS增强和REMA解码器,在多个数据集上超越现有方法。
2025-03-27 cs.AI cs.SD eess.AS
Spectal Harmonics: Bridging Spectral Embedding and Matrix Completion in Self-Supervised Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech))
本文从拉普拉斯算子视角将自监督学习中的增强归纳偏置与低秩矩阵补全联系起来,并利用矩阵补全理论分析现代自监督学习方法的收敛性及影响下游性能的关键性质。
2023-10-30 cs.LG
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University(达尔豪斯大学);Vector Institute(向量研究所);McMaster University(麦克马斯特大学);Nova Scotia Health(新斯科舍卫生机构)
本研究利用基于自监督学习的语音模型提取SSL嵌入,不仅预测抑郁症严重程度,还识别个体症状,并发现其优于常规特征,同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
Evaluating Self-Supervised Learning for Molecular Graph Embeddings
Cambridge(剑桥大学);UCL(伦敦大学学院);MILA(米拉人工智能研究所);UdeM(蒙特利尔大学);HEC(巴黎高等商学院);CIFAR(加拿大高等研究院);HKU(香港大学)
本文提出分子图表示评估基准MOLGRAPHEVAL,通过通用图、分子子结构和嵌入空间属性三类探测任务评估GSSL方法,发现现有数据集评估与细致探测结果存在显著不一致,表明当前评估方法不全面。
2023-10-18 cs.LG q-bio.QM
Optimizing Likelihood-free Inference using Self-supervised Neural Symmetry Embeddings
Massachusetts Institute of Technology(麻省理工学院);Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)(人工智能与基础相互作用研究所(IAIFI));University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学)
本研究提出一种通过自监督神经对称嵌入优化无似然推断的方法,利用对称数据增强的自监督联合嵌入学习物理对称性,结合归一化流实现参数推断,在两个物理问题上验证了其更快收敛、参数更少的优势。
2023-12-11 astro-ph.IM cs.LG
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research(Meta人工智能研究院);NYU(纽约大学)
自监督学习(SSL)推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑:在许多模态\dots中优于监督方法,但理论基础有限,方法特定,并且未能为从业者提供原则性的设计指南。在本文中,我们提出了一个统一的框架下的频谱流形学习,以解决这些限制。通过这项研究的过程中,我们将严格证明VICReg,Simplified,BarlowTwins等。对应于epsilon谱方法,如Laplacian Eigenmaps,Multidimensional Scaling等。这种统一将使我们能够获得(i)每种方法的闭合形式最佳表示,(ii)每种方法的线性区域中的闭合形式最佳网络参数,(iii)训练过程中使用的成对关系对每个量和下游任务性能的影响,最重要的是,(iv)对比和非对比方法之间的第一个理论桥梁,分别通向全局和局部谱嵌入方法,暗示每个方法的优点和局限性。例如,(i)如果成对关系与下游任务对齐,则可以成功地采用任何SSL方法并将恢复监督方法,但在低数据状态下,VICReg的不变性超参数应该较高;(ii)如果成对关系与下游任务不对齐,则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
本文提出用随机嵌入显式建模自监督学习中的表示,从信息论角度研究概率建模对信息瓶颈的影响,并发现损失空间中的额外瓶颈可显著提升分布外检测能力。
2023-10-27 cs.LG
An Efficient Self-Supervised Cross-View Training For Sentence Embedding
School of Information Science and Technology, VISTEC(VISTEC 信息科学与技术学院);Department of Computer Engineering, Chulalongkorn University(朱拉隆功大学计算机工程系)
针对小参数量预训练语言模型句子表示学习性能下降的问题,提出自监督跨视图训练框架SCT,在多基准测试中显著提升小模型的语义文本相似度表现。
2023-11-06 cs.AI cs.CL
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
考虑到大量的未标记语音数据和高昂的标记成本,无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法,它需要负采样:对替代样本进行采样,以与当前样本(锚)进行对比。然而,很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation(DINO),并将其应用于语音领域。与对比方法不同,DINO不需要负采样。这些嵌入进行了评估,说话人确认和情感识别。在说话人验证中,无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道,不需要说话人标签,进一步提高了EER到1.89%。在情感识别方面,DINO嵌入在IEMOCAP,Crema-D和MSP-Podcast上的micro-f1得分分别为60.87,79.21和56.98%。结果表明,DINO嵌入的通用性,不同的语音应用。
2022-08-10 cs.LG eess.AS
ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本文提出全流程说话人嵌入工具包ESPnet-SPK,提供多种模型、模块化设计、预训练模型、自监督特征集成与可复现配方,并在Vox1-O上达到0.39% EER。
2024-06-13 cs.AI cs.SD eess.AS
Beyond Pairwise Correlations: Higher-Order Redundancies in Self-Supervised Representation Learning
ETH Zürich(苏黎世联邦理工学院)
针对现有自监督学习仅关注特征成对相关性的局限,该研究形式化高阶嵌入空间冗余概念,提出结合编码器与预测器博弈的SSLPM方法,验证其性能媲美SOTA,且最优SSL方法普遍存在隐式冗余降低现象。
2024-12-08 cs.LG
CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
Salesforce Research(Salesforce研究院)
半监督学习是利用未标记数据减少对标记数据依赖的有效范例。我们提出了CoMatch,一种新的半监督学习方法,它统一了主流方法并解决了它们的局限性。CoMatch联合学习训练数据的两种表示,它们的类概率和低维嵌入。这两种表征相互作用,共同进化。嵌入对类概率施加平滑约束以改进伪标签,而伪标签通过基于图的对比学习来正则化嵌入的结构。CoMatch在多个数据集上实现了最先进的性能。它在标签稀缺的CIFAR-10和STL-10上实现了实质性的精度改进。在标签数为1%的ImageNet上,CoMatch达到了66.0%的top-1准确率,比FixMatch高出12.6%。此外,CoMatch在下游任务上实现了更好的表示学习性能,优于监督学习和自监督学习。代码和预训练模型可在www.example.com上获得。
2021-03-03 cs.CV cs.LG
Self-supervised Graph Learning for Occasional Group Recommendation
Capital Normal University(首都师范大学);The University of Queensland(昆士兰大学);Renmin University of China(中国人民大学)
作为推荐系统的一个重要分支,偶发性群体推荐越来越受到人们的关注。在这种情况下,每个临时组(冷启动组)没有或很少有历史交互项。由于每一个偶然群组与项目之间的交互非常稀疏,传统的群组推荐方法无法学习到高质量的群组表示。最近提出的图神经网络(GNNs),它包含了目标偶然群的高阶邻居,可以在一定程度上缓解上述问题。然而,这些GNN仍然不能显式地增强具有很少相互作用的高阶邻居的嵌入质量。受自监督学习技术的启发,提出了一种自监督图学习框架,该框架以用户/项目/组嵌入重构为前提,增强冷启动用户/项目/组的嵌入。为了显式地提高高阶冷启动邻居的嵌入质量,我们进一步引入了嵌入增强器,它利用自注意力机制来提高它们的嵌入质量。综合实验表明,我们提出的框架比国家的最先进的方法的优势。
2022-07-21 cs.AI cs.IR
Joint-Embedding Prediction of Masked Point Tubes for Self-Supervised Learning on 4D Point Cloud Videos
National Taiwan University(台湾大学)
该研究针对四维点云视频自监督学习的挑战,提出JEPA风格框架结合Sketched Isotropic Gaussian Regularization,通过掩码时空区域的潜在点管预测学习表示,在动作和手势识别任务中取得良好效果。
2026-08-26 cs.CV cs.LG
Bag of Image Patch Embedding Behind the Success of Self-Supervised Learning
Meta AI - FAIR(Meta人工智能基础研究实验室);Center for Data Science, New York University(纽约大学数据科学中心);Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Redwood Center(红杉中心);UC Berkeley(加州大学伯克利分校);Courant Institute(柯朗研究所)
本研究揭示联合嵌入类自监督学习本质是学习反映共现关系的图像块表示,提出BagSSL方法,验证了块表示聚合的有效性与局部性保留特性,为理解自监督表示学习提供新视角。
2023-06-13 cs.CV cs.LG
Self-supervised learning of imaging and clinical signatures using a multimodal joint-embedding predictive architecture
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本文提出利用未标注CT与电子健康记录进行JEPA自监督预训练,以改善肺结节多模态诊断,并展示其在内部队列中的优势及外部队列中的局限。
2025-09-18 cs.AI cs.CV
Improving Pre-trained Self-Supervised Embeddings Through Effective Entropy Maximization
UMass Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学);Meta - FAIR(元公司FAIR研究院)
针对自监督嵌入熵最大化依赖高维熵估计的问题,本文提出基于易估计低维约束的E2MC附加准则,仅需少量epoch继续训练即可稳定提升下游性能。
2025-03-13 cs.CV cs.IT cs.LG
Self-supervised learning with rotation-invariant kernels
Univ Lyon(里昂大学);EnsL(里昂高等师范学院);UCBL(里昂第一大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIP(里昂信息处理实验室)
我们引入了一个正则化损失的基础上内核的平均嵌入旋转不变的内核超球(也称为点积内核)的图像表示的自监督学习。除了与现有技术完全竞争外,我们的方法还显着降低了自我监督训练的时间和内存复杂性,使其可在现有设备上实现非常大的嵌入维度,并且比以前的方法更容易调整到资源有限的设置。我们的工作遵循主要范式,其中模型学习对一些预定义的图像变换(裁剪,模糊,颜色抖动等)保持不变,同时通过正则化嵌入分布来避免退化解。我们的特别贡献是提出了一个损失家庭促进嵌入分布接近均匀分布的超球,相对于最大的平均差异伪度量。我们证明了这个家庭包括几个正则化的前方法,包括均匀性为基础的和信息最大化的方法,这是我们灵活的正则化损失与不同的内核的变体。除了它的实际后果,国家的最先进的自监督学习有限的资源,建议通用正则化方法打开视角,更广泛地利用文献的内核方法,以改善自监督学习方法。
2023-03-08 cs.AI cs.CV
EmInspector: Combating Backdoor Attacks in Federated Self-Supervised Learning Through Embedding Inspection
本文针对联邦自监督学习(FSSL)中的后门攻击,提出EmInspector方法,通过检查本地模型嵌入空间检测恶意客户端,利用少量检查图像评估嵌入相似性,有效缓解各类对手设置下的后门攻击。
2024-05-21 cs.CR cs.LG
Self-Supervised Representation Learning With MUlti-Segmental Informational Coding (MUSIC)
Rensselaer Polytechnic Institute(伦斯勒理工学院)
自监督表示学习将高维数据映射到一个有意义的嵌入空间,在这个空间中,语义内容相似的样本彼此接近。最近的表示学习方法大多在$l2$规范化单位超球面上最大化余弦相似度或最小化来自同一样本的不同视图的嵌入特征之间的距离。为了防止所有样本具有相同的嵌入特征的平凡解决方案,已经开发了各种技术,如对比学习,停止梯度,方差和协方差正则化等。在这项研究中,我们提出了多段信息编码(MUSIC)的自监督表示学习。MUSIC将嵌入特征分为多个分段,这些分段区分地将样本划分为不同的语义聚类,并且不同的分段关注不同的划分原则。信息论测量直接用于优化MUSIC,并在理论上保证避免平凡的解决方案。MUSIC不依赖于常用的技术,例如存储体或大批量、不对称网络、梯度停止、动量权重更新等,使得训练框架灵活。我们的实验表明,MUSIC在使用线性探测的ImageNet分类上取得了比大多数相关的Barlow Twins和VICReg方法更好的结果,并且既不需要深度投影仪也不需要大的特征尺寸。代码将提供。
2022-06-13 cs.AI cs.CV
DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder
JD AI(京东人工智能);Xiaoduo AI(晓多人工智能)
随着人工智能的快速发展,会话机器人已经在主流电子商务平台中盛行,它可以及时提供便捷的客户服务。为了满足用户,会话机器人需要理解用户的意图,检测用户的情感,并从会话语句中提取关键实体。然而,理解对话被认为是一项非常具有挑战性的任务。与一般的语言理解不同,对话中的话语是从不同的角色交替出现的,并且通常被组织成层次结构。为了促进对话的理解,在本文中,我们提出了一种新的上下文对话编码器(即对话BERT)的基础上流行的预训练的语言模型BERT。设计了五个自监督学习预训练任务来学习会话话语的特殊性。四种不同的输入嵌入,包括话轮嵌入,角色嵌入,标记嵌入和位置嵌入的集成来捕捉话语之间的关系。DialogueBERT在真实场景中预先训练了7000万个对话,然后在三个不同的下游对话理解任务中进行了微调。实验结果表明,DialogueBERT在意图识别、情感识别和命名实体识别方面分别取得了88.63%、94.25%和97.04%F1的优异成绩,大大优于几个强基线。
2021-09-22 cs.AI cs.CL
Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain
KAIST AI(韩国国立科学技术院人工智能研究所);Yonsei University College of Medicine(延世大学医学院);AITRICS
本文提出时空联合嵌入掩码自编码器ST-JEMA,受JEPA启发,通过重建动态图学习fMRI数据的高层语义表示,在八个基准数据集上优于现有方法,有效利用标签稀缺的脑影像数据。
2025-05-05 cs.LG q-bio.NC
An Embedding-Dynamic Approach to Self-supervised Learning
NAVER Clova;Korea University(高丽大学)
许多最近的自监督学习方法在图像分类和其他任务上表现出令人印象深刻的性能。人们使用了各种各样的技术,有些令人困惑,但并不总是清楚地了解它们的好处,特别是当它们结合使用时。在这里,我们把图像的嵌入作为点粒子,并考虑模型优化作为一个动态的过程中,这个系统的粒子。我们的动力学模型结合了相似图像的吸引力,避免局部崩溃的局部分散力,以及实现粒子全局均匀分布的全局分散力。动态视角突出了使用延迟参数图像嵌入(a la BYOL)以及同一图像的多个视图的优点。它还使用了一个纯动态的局部色散力(布朗运动),表现出比其他方法更好的性能,并且不需要其他粒子坐标的知识。该方法被称为MSBReg,它代表(i)多视图质心损失,其施加吸引力以将不同的图像视图嵌入拉向其质心,(ii)奇异值损失,其将粒子系统推向空间均匀密度,(iii)布朗扩散损失。我们评估了MSBReg在ImageNet上的下游分类性能以及迁移学习任务,包括细粒度分类,多类对象分类,目标检测和实例分割。此外,我们还表明,将我们的正则化项应用于其他方法,通过防止模式坍塌,进一步提高了它们的性能并稳定了训练。
2022-07-07 cs.CV cs.LG
Supervised Phrase-boundary Embeddings
Department of Computer Science and Information Systems, Birkbeck, University of London(伦敦大学伯贝克学院计算机科学与信息系统系)
我们提出了一个新的词嵌入模型,称为SPhrase,它结合了监督短语信息。我们的方法通过确保短语中的所有目标词具有完全相同的上下文来修改传统的词嵌入。我们证明,包括这些信息在一个上下文窗口产生优越的嵌入为内在的评价任务和下游的外在任务。
2020-02-15 cs.CL cs.IR cs.LG
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
RJ Research Consulting(RJ研究咨询公司);Baidu Inc(百度公司)
One-hot CNN(卷积神经网络)已被证明对文本分类有效(Johnson & Zhang,2015)。我们将其视为一般框架的一个特例,该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下,我们探索了一种使用长短期记忆(LSTM)的更复杂的区域嵌入方法。LSTM可以嵌入可变(可能很大)大小的文本区域,而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层,获得了最佳结果。结果表明,在这个任务中,嵌入的文本区域,可以传达复杂的概念,是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。
2016-05-26 cs.CL cs.LG stat.ML
Revisiting Semi-Supervised Learning with Graph Embeddings
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个基于图嵌入的半监督学习框架。给定实例之间的图,我们训练每个实例的嵌入,以联合预测图中的类标签和邻域上下文。我们开发了我们的方法的转导和诱导变体。在我们方法的转换变体中,类标签由学习的嵌入和输入特征向量确定,而在归纳变体中,嵌入被定义为特征向量的参数函数,因此可以对训练期间未看到的实例进行预测。在大量不同的基准任务(包括文本分类、远程监督实体提取和实体分类)上,我们显示出比许多现有模型更好的性能。
2016-05-26 cs.LG