Spectal Harmonics: Bridging Spectral Embedding and Matrix Completion in Self-Supervised Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech))
本文从拉普拉斯算子视角将自监督学习中的增强归纳偏置与低秩矩阵补全联系起来,并利用矩阵补全理论分析现代自监督学习方法的收敛性及影响下游性能的关键性质。
2023-10-30 cs.LG
Bayesian Self-Supervised Contrastive Learning
Southwest Jiaotong University(西南交通大学);Huazhong University of Science and Technology(华中科技大学)
针对自监督对比学习中随机负样本易出现假负例导致训练偏差的问题,提出BCL损失,在贝叶斯框架下设计带位置与浓度参数的参数化采样分布,用重要性权重修正偏差并挖掘难负例,实验验证了其有效性与优越性。
2024-01-31 cs.LG
Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
实例判别式自监督表示学习由于其无监督性质和下游任务的信息特征表示而受到关注。在实践中,它通常使用比监督类的数量更多的负样本。然而,在现有的分析中存在不一致性;理论上,大量的负样本会降低下游监督任务的分类性能,而经验上,它们会提高性能。我们提供了一个新的框架来分析这一实证结果,关于负样本使用优惠券收集器的问题。我们的界限可以通过增加负样本的数量来隐含地将下游任务的监督损失纳入自监督损失。我们确认,我们提出的分析在真实世界的基准数据集上成立。
2022-01-14 cs.LG stat.ML
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo(滑铁卢大学)
有监督的降维策略已经引起了极大的兴趣。然而,当前的监督降维方法难以针对以大数据集为特征的情况进行缩放,因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战,但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战,在这项研究中,我们探索了一个新的方向,通过监督随机投影(SRP)的概念,以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是,而不是执行计算上禁止大规模数据的谱分解(或其近似),而是通过利用核近似理论和希尔伯特-施密特独立准则(HSIC)度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明,所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法(例如,SPCA和KSPCA),同时实现1-2个数量级更好的计算性能。因此,这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting(RJ研究咨询公司);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
本文提出了一种新的半监督框架与卷积神经网络(CNN)的文本分类。与以前依赖于单词嵌入的方法不同,我们的方法从未标记的数据中学习小文本区域的嵌入,以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想,即使训练是在未标记的数据上完成的,也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
与k-最近邻(kNN)相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而,这些方法中的大多数涉及成对的训练数据比较,并且因此具有关于训练集的大小的二次计算复杂性,从而阻止它们扩展到相当大的数据集。此外,在测试期间,将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外,以前的指标要么太受约束,要么太有表现力,无法很好地学习。为了有效地解决这些问题,我们提出了一个样本为中心的监督浅参数数据嵌入模型,使用最大塌陷度量学习(MCML)的目标。我们的策略学习浅高阶参数嵌入函数,并仅将训练/测试数据与学习或预先计算的样本进行比较,从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明,对于二维嵌入空间中的分类,我们的方法不仅使kNN的加速提高了数百倍,而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
Target-Embedding Autoencoders for Supervised Representation Learning
University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校)
基于自动编码器的学习已经成为在无监督和半监督环境中规范表示的主要方法。本文分析了一个框架,以提高泛化在纯监督设置,目标空间是高维的。我们激励和形式化的一般框架的目标嵌入自动编码器(TEA)的监督预测,学习中间的潜在表示联合优化,既可预测的功能,以及预测的目标-编码的目标的变化是由一组紧凑的基本因素驱动的先验。作为我们的理论贡献,我们通过证明一致稳定性,将辅助重建任务的好处解释为正则化的一种形式,为线性TEA的推广提供了保证。作为我们的经验贡献,我们扩展验证这种方法超出现有的静态分类应用程序的多变量序列预测,验证其优势的线性和非线性经常性架构-从而强调了进一步的一般性,这个框架超越前馈实例。
2020-01-23 cs.LG stat.ML
Simplicial Embeddings in Self-Supervised Learning and Downstream Classification
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);National University of Singapore(新加坡国立大学)
单纯形嵌入(SEM)是通过自监督学习(SSL)学习的表示,其中表示被投影到$V$维度的$L$单纯形中,每个都使用softmax操作。该过程在预训练期间将表示条件化到受约束的空间上,并赋予组稀疏性的归纳偏差。对于下游分类,我们正式证明了SEM表示导致更好的泛化比未规范化的表示。此外,我们通过经验证明,使用SEM训练的SSL方法在自然图像数据集(如CIFAR-100和ImageNet)上的泛化能力有所提高。最后,当在下游分类任务中使用时,我们表明SEM特征表现出紧急语义一致性,其中小组学习特征明显预测语义相关类。
2022-09-30 cs.CV cs.LG
How Does SimSiam Avoid Collapse Without Negative Samples? A Unified Understanding with Self-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
为了避免自监督学习(SSL)中的崩溃,对比损失被广泛使用,但通常需要大量的负样本。在没有负样本的情况下,还没有达到有竞争力的性能,最近的一项工作引起了人们的极大关注,因为它提供了一种极简的简单暹罗(SimSiam)方法来避免崩溃。然而,在没有负样本的情况下它如何避免崩溃的原因仍然不完全清楚,我们的调查从重新审视原始SimSiam中的解释性声明开始。在反驳了他们的观点后,我们引入了基于$l_2$归一化表示向量的梯度分析的向量分解来分析崩溃。这对阴性样本和SimSiam如何缓解崩溃产生了统一的观点。这样一个统一的视角对于理解SSL的最新进展来说是及时的。
2022-03-30 cs.AI cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab(腾讯人工智能实验室)
在这项研究中,我们研究了用于说话人确认(SV)的自监督表示学习。首先,我们研究了一个简单的对比学习方法(Simplified)与动量对比(MoCo)学习框架,其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现,更好的发言人嵌入可以通过动量对比学习。接下来,替代增强策略进行了探讨,规范化的两个随机段从同一语音话语的外在说话人变异。具体而言,波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时,所提出的MoCo说话人嵌入得到进一步改进,这鼓励说话人嵌入更接近其分配的原型,并具有中间聚类步骤。此外,我们将自监督框架推广到半监督场景,其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明,与现有技术相比,我们提出的自监督方法具有竞争力的性能,并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
S-JEA: Stacked Joint Embedding Architectures for Self-Supervised Visual Representation Learning
University of Aberdeen(阿伯丁大学)
针对自监督学习难以学习可分离分层语义表示的问题,提出堆叠联合嵌入架构(S-JEA),通过堆叠JEA使高层输入低层表示,学习可分离的语义层次,并在参数相当下达到传统JEA性能,可视化验证层次结构。
2024-11-04 cs.CV cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University(延世大学);Bank of Korea(韩国银行)
本文提出单纯形到单纯形嵌入模型(SSEM)作为理论框架,分析监督对比学习中超参数对表示的影响,并给出防止类别坍缩的实用指导,且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd(广州虎牙科技有限公司);University of Oxford(牛津大学)
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能,他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发,我们提出了两个一般原则:1)单调递减和2)边际概率惩罚,用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同,我们提供了一个新的视角,将开集人脸识别视为一个信息传输问题。同时,该算法在保证更多干净信息的前提下,具有较好的泛化能力。提出了一种称为线性自动TS编码器(LASSE)的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明,LASSE有助于人脸嵌入获得更强的泛化能力,并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
Evaluating Self-Supervised Learning for Molecular Graph Embeddings
Cambridge(剑桥大学);UCL(伦敦大学学院);MILA(米拉人工智能研究所);UdeM(蒙特利尔大学);HEC(巴黎高等商学院);CIFAR(加拿大高等研究院);HKU(香港大学)
本文提出分子图表示评估基准MOLGRAPHEVAL,通过通用图、分子子结构和嵌入空间属性三类探测任务评估GSSL方法,发现现有数据集评估与细致探测结果存在显著不一致,表明当前评估方法不全面。
2023-10-18 cs.LG q-bio.QM
Optimizing Likelihood-free Inference using Self-supervised Neural Symmetry Embeddings
Massachusetts Institute of Technology(麻省理工学院);Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)(人工智能与基础相互作用研究所(IAIFI));University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学)
本研究提出一种通过自监督神经对称嵌入优化无似然推断的方法,利用对称数据增强的自监督联合嵌入学习物理对称性,结合归一化流实现参数推断,在两个物理问题上验证了其更快收敛、参数更少的优势。
2023-12-11 astro-ph.IM cs.LG
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Boosting Contrastive Self-Supervised Learning with False Negative Cancellation
Google(谷歌);Google Research(谷歌研究院);TTI-Chicago(芝加哥丰田技术研究所);University of Chicago(芝加哥大学)
自我监督表示学习在对比学习的进步推动下取得了重大飞跃,对比学习试图学习将正输入对嵌入附近,同时将负输入对推离很远的转换。虽然可以可靠地生成正对(例如,作为同一图像的不同视图),很难准确地建立否定对,否定对被定义为来自不同图像的样本,而不管它们的语义内容或视觉特征。对比学习的一个基本问题是减轻假阴性的影响。对比假否定导致了表示学习中的两个关键问题:丢弃语义信息和收敛速度慢。在本文中,我们提出了新的方法来识别假阴性,以及两种策略,以减轻其影响,即假阴性消除和吸引力,同时系统地进行严格的评估,详细研究这个问题。我们的方法表现出一致的改进现有的对比学习为基础的方法。在没有标签的情况下,我们在ImageNet上的1000个语义类中以40%的准确率识别假阴性,并且在使用1%标签进行微调时,与之前的最先进技术相比,top-1准确率绝对提高了5.8%。我们的代码可在https://github.com/google-research/fnc上获得。
2022-01-02 cs.CV cs.LG
Locally Linear Embedding and its Variants: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于局部线性嵌入(LLE)及其变体的教程和调查论文。LLE的思想是在嵌入空间中拟合流形的局部结构。在本文中,我们首先涵盖LLE,核LLE,逆LLE,和LLE的特征融合。然后,我们使用线性重构,特征函数和核映射来覆盖样本外嵌入。增量LLE被解释用于嵌入流数据。使用Nystrom近似和局部线性地标的地标LLE方法被解释用于大数据嵌入。我们介绍了使用残差方差,Procrustes统计量,保持邻域误差和局部邻域选择的邻居数的参数选择的方法。之后,监督LLE(SLLE),增强SLLE,SLLE投影,概率SLLE,监督引导LLE(使用Hilbert-Schmidt独立性准则)和半监督LLE解释监督和半监督嵌入。鲁棒LLE方法使用最小二乘问题和惩罚函数也被引入嵌入存在离群值和噪声。然后,我们介绍LLE与其他流形学习方法的融合,包括Isomap(即,ISOLLE)、主成分分析、Fisher判别分析、判别LLE和Isotop。最后,我们解释加权LLE中的距离,重建权重,或嵌入调整更好的嵌入,我们覆盖加权LLE变形分布数据,加权LLE使用发生概率,SLLE调整权重,修改LLE,迭代LLE。
2020-11-22 cs.CV cs.LG stat.ML
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
考虑到大量的未标记语音数据和高昂的标记成本,无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法,它需要负采样:对替代样本进行采样,以与当前样本(锚)进行对比。然而,很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation(DINO),并将其应用于语音领域。与对比方法不同,DINO不需要负采样。这些嵌入进行了评估,说话人确认和情感识别。在说话人验证中,无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道,不需要说话人标签,进一步提高了EER到1.89%。在情感识别方面,DINO嵌入在IEMOCAP,Crema-D和MSP-Podcast上的micro-f1得分分别为60.87,79.21和56.98%。结果表明,DINO嵌入的通用性,不同的语音应用。
2022-08-10 cs.LG eess.AS
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI;Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Courant Institute, New York University(纽约大学柯朗研究所);Center for Data Science, New York University(纽约大学数据科学中心)
提出MC-JEPA联合嵌入预测架构,通过共享编码器联合学习光流与内容特征,实现两类任务性能比肩现有方法,得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
Salesforce Research(Salesforce研究院)
半监督学习是利用未标记数据减少对标记数据依赖的有效范例。我们提出了CoMatch,一种新的半监督学习方法,它统一了主流方法并解决了它们的局限性。CoMatch联合学习训练数据的两种表示,它们的类概率和低维嵌入。这两种表征相互作用,共同进化。嵌入对类概率施加平滑约束以改进伪标签,而伪标签通过基于图的对比学习来正则化嵌入的结构。CoMatch在多个数据集上实现了最先进的性能。它在标签稀缺的CIFAR-10和STL-10上实现了实质性的精度改进。在标签数为1%的ImageNet上,CoMatch达到了66.0%的top-1准确率,比FixMatch高出12.6%。此外,CoMatch在下游任务上实现了更好的表示学习性能,优于监督学习和自监督学习。代码和预训练模型可在www.example.com上获得。
2021-03-03 cs.CV cs.LG
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland(三星研发院波兰分院);AGH University of Krakow(波兰克拉科夫AGH大学)
针对说话人验证中对比学习的难负样本利用问题,提出CHNS聚类式难负样本采样方法,通过聚类相似说话人嵌入并优化批次难易负样本比例,在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%,优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Temporally Coherent Embeddings for Self-Supervised Video Representation Learning
Data61 CSIRO(联邦科学与工业研究组织 Data61)
本文提出了TCE:时间相干嵌入的自我监督视频表示学习。所提出的方法利用未标记视频数据的固有结构来明确地在嵌入空间中执行时间相干性,而不是通过排名或预测代理任务间接地学习它。就像世界中的高级视觉信息变化平滑一样,我们相信学习表征中的邻近帧将从展示类似属性中受益。使用这个假设,我们训练我们的TCE模型来编码视频,使得相邻帧彼此靠近并且视频彼此分离。使用TCE,我们从大量未标记的视频数据中学习鲁棒的表示。我们使用多个具有挑战性的基准(Kinetics 400,UCF 101,HMDB 51)在视频动作识别的下游任务上彻底分析和评估了我们的自监督学习TCE模型。通过简单但有效的2D-CNN主干和仅RGB流输入,TCE预训练的表示优于之前在UCF 101上预训练的所有自监督2D-CNN和3D-CNN。本文的代码和预训练模型可以从以下网站下载:https://github.com/csiro-robotics/TCE
2020-11-17 cs.CV cs.LG eess.IV
Guided Semi-Supervised Non-negative Matrix Factorization on Legal Documents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
分类和主题建模是机器学习中从大规模数据集中提取信息的流行技术。通过结合先验信息,如标签或重要特征,已经开发出方法来执行分类和主题建模任务;然而,大多数可以执行这两种任务的方法不允许指导主题或特征。在本文中,我们提出了一种方法,即引导半监督非负矩阵分解(GSSNMF),进行分类和主题建模,将监督从预先分配的文档类标签和用户设计的种子词。我们通过将其应用于加州无罪项目提供的法律文件来测试这种方法的性能,该项目是一个致力于释放无辜被定罪者和改革司法系统的非营利组织。结果表明,我们提出的方法提高了分类精度和主题一致性相比,过去的方法,如半监督非负矩阵分解(SSNMF)和引导非负矩阵分解(引导NMF)。
2022-01-31 cs.IR cs.LG stat.ML
Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
贝叶斯优化是一种广泛应用的优化昂贵的黑箱函数的方法。尽管它取得了成功,但仍然面临着来自高维搜索空间的挑战。为了缓解这个问题,我们提出了一种新的贝叶斯优化框架(称为SILBO),它找到一个低维空间进行贝叶斯优化迭代通过半监督降维。SILBO结合了从获取函数中获取的标记点和未标记点,以指导嵌入空间学习。为了加快学习过程,我们提出了一种随机的方法来生成投影矩阵。此外,针对低维空间到高维原始空间的映射,根据目标函数的求值开销,提出了两种映射策略:$\text{SILBO}_{FZ}$和$\text{SILBO}_{FX}$.在合成函数和超参数优化任务上的实验结果表明,SILBO优于现有的最先进的高维贝叶斯优化方法。
2020-10-19 cs.AI cs.LG stat.ML
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University(达尔豪斯大学);Vector Institute(向量研究所);McMaster University(麦克马斯特大学);Nova Scotia Health(新斯科舍卫生机构)
本研究利用基于自监督学习的语音模型提取SSL嵌入,不仅预测抑郁症严重程度,还识别个体症状,并发现其优于常规特征,同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
Self-supervised Learning of Image Embedding for Continuous Control
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
直接从原始的高维感官输入(如图像)进行操作仍然是机器人控制的一个挑战。最近,人们提出了强化学习方法来解决端到端的特定任务,从像素到扭矩。然而,这些方法假设访问指定的奖励,这可能需要专门的环境仪器。此外,所获得的策略和表示往往是特定于任务的,并且可能不能很好地传递。在这项工作中,我们调查完全自监督学习的一般图像嵌入和控制原语,找到最短的时间达到任何状态的基础上。我们还引入了一个新的结构的状态-动作价值函数,建立了无模型和基于模型的方法之间的连接,并提高了性能的学习算法。我们的实验证明这些发现在三个模拟机器人任务。
2019-01-03 cs.AI cs.LG cs.NE
Discovering Global False Negatives On the Fly for Self-supervised Contrastive Learning
针对自监督对比学习中相似语义假负样本被错误推开的问题,提出GloFND方法,在训练中在线学习阈值以全局识别假负样本,且计算成本与数据集大小无关,在图像和图文数据上验证了有效性。
2026-10-09 cs.AI cs.CV cs.LG
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research(脸书人工智能研究院)
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中,对比学习通过负样本对防止崩溃。已经表明,非对比方法遭受不同性质的较小崩溃问题:维度崩溃,其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里,我们表明,维度崩溃也发生在对比学习。在本文中,我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发,我们提出了一种新的对比学习方法,称为DirectRank,它直接优化表示空间,而不依赖于显式的可训练投影。实验表明,DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology(快手科技)
近年来,从大量未标记数据中学习,特别是自监督学习,逐渐兴起并受到广泛关注。自监督学习,然后对一些标记的示例进行监督微调,可以显着提高标记效率,并优于使用完全注释数据的标准监督训练。在这项工作中,我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说,我们设计了一个学生-教师网络来生成自监督学习数据的多视图,并将硬负对挖掘集成到训练中。然后,我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Graph Embedding Dynamic Feature-based Supervised Contrastive Learning of Transient Stability for Changing Power Grid Topologies
School of Electrical Engineering(电气工程学院)
针对电网拓扑变化下的在线暂态稳定预测,提出GEDF将拓扑结构编码为低维图嵌入流特征,并构建GEDF-SCL监督对比学习模型;IEEE 39节点系统的N-1与N-m-1事故仿真验证其高精度与拓扑适应性。
2023-08-01 cs.AI cs.LG cs.SY
Contrastive Self-Supervised Network Intrusion Detection using Augmented Negative Pairs
University of Strathclyde(斯特拉思克莱德大学);Ain Shams University(爱因夏姆大学)
针对网络入侵检测,提出对比学习范式CLAN,将增强样本视为负视图、良性样本为正视图,在Lycos2017上超越现有自监督与异常检测方法,并提升多类分类性能。
2025-09-08 cs.AI cs.CR cs.LG
Improving Pre-trained Self-Supervised Embeddings Through Effective Entropy Maximization
UMass Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学);Meta - FAIR(元公司FAIR研究院)
针对自监督嵌入熵最大化依赖高维熵估计的问题,本文提出基于易估计低维约束的E2MC附加准则,仅需少量epoch继续训练即可稳定提升下游性能。
2025-03-13 cs.CV cs.IT cs.LG
Revisiting Semi-Supervised Learning with Graph Embeddings
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个基于图嵌入的半监督学习框架。给定实例之间的图,我们训练每个实例的嵌入,以联合预测图中的类标签和邻域上下文。我们开发了我们的方法的转导和诱导变体。在我们方法的转换变体中,类标签由学习的嵌入和输入特征向量确定,而在归纳变体中,嵌入被定义为特征向量的参数函数,因此可以对训练期间未看到的实例进行预测。在大量不同的基准任务(包括文本分类、远程监督实体提取和实体分类)上,我们显示出比许多现有模型更好的性能。
2016-05-26 cs.LG
Semi-supervised deep learning by metric embedding
Technion - Israel Institute of Technology(以色列理工学院)
深度网络被成功地用作分类模型,当在大量标记样本上训练时,可以产生最先进的结果。然而,这些模型通常不太适合半监督问题,因为它们在少量数据上训练时容易过拟合。在这项工作中,我们将探索一个新的训练目标,该目标针对仅具有一小部分标记数据的半监督机制。该标准基于标记样本集内距离关系的深度度量嵌入,以及未标记集嵌入的约束。最终学习的表示在欧几里德空间中是有区别的,因此可以与使用标记样本的后续最近邻分类一起使用。
2018-12-04 cs.LG
A study of the classification of low-dimensional data with supervised manifold learning
Middle East Technical University(中东技术大学);INRIA(法国国家信息与自动化研究所);Centre de recherche INRIA Bretagne Atlantique(法国国家信息与自动化研究所布列塔尼大西洋研究中心)
监督流形学习方法通过保留数据的几何结构来学习数据表示,同时增强来自不同类别的数据样本之间的分离。在这项工作中,我们提出了一个监督流形学习分类的理论研究。我们认为非线性降维算法,产生线性可分离的嵌入的训练数据和目前的推广这种类型的算法的界限。令人满意的推广性能的一个必要条件是,嵌入允许构造一个足够规则的插值函数与嵌入的分离裕度。我们表明,对于满足这一条件的监督嵌入,分类误差随着训练样本的数量以指数速度衰减。最后,我们研究了监督非线性嵌入的可分性,其目的是保持基于图表示的数据的低维几何结构。几个真实数据集上的实验支持所提出的分析。
2018-01-05 cs.LG
Leveraging Complementary Embeddings for Replay Selection in Continual Learning with Small Buffers
本文提出MERS方法,通过结合监督和自监督嵌入的图方法改进重放缓冲区选择,提升持续学习性能,尤其在低内存环境下表现优异。
2026-09-17 cs.LG
Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University(卡内基梅隆大学)
预训练的词嵌入是几个自然语言处理(NLP)任务中迁移学习的主要方法。最近的工作集中在使用无监督技术,如语言建模,以获得这些嵌入。相比之下,这项工作的重点是从多个预先训练的监督模型中提取表示,这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明,这种监督嵌入是有帮助的,特别是在低资源环境中,但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
Adversarial Attack on Network Embeddings via Supervised Network Poisoning
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院)
使用来自网络表示学习的技术来学习低级节点嵌入对于解决诸如节点分类和链接预测之类的下游任务是有用的。在这种应用中,一个重要的考虑因素是嵌入算法对对抗攻击的鲁棒性,这可以通过对原始网络进行扰动来检查。有效的扰动技术会降低下游任务的网络嵌入性能。在本文中,我们研究网络嵌入算法从对抗的角度来看,观察中毒的网络对下游任务的影响。我们提出了VIKING,一种监督网络中毒策略,其在原始网络结构上的性能优于最先进的中毒方法高达18%。我们还将VIKING扩展到半监督攻击设置,并表明它与其监督对应物相当。
2021-02-14 cs.CR cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program(跨系神经科学项目);Yale School of Medicine(耶鲁医学院)
词汇翻译是语言翻译的一个组成部分。在机器翻译中,每种语言都被认为是一个域,具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外,它提供了一种方法来推断跨语言意义的话,没有直接翻译。用于词嵌入对齐的当前方法是有监督的,即它们需要已知的词对,或者以无监督的方式学习固定嵌入上的跨域变换。在这里,我们提出了一个端到端的词嵌入对齐方法,不需要已知的词对。我们的方法称为通过MMD(WAM)进行单词对齐,它使用嵌入之间的本地化最大平均离散度(MMD)约束来学习在句子翻译训练期间对齐的嵌入。我们表明,我们的方法不仅优于无监督的方法,但也有监督的方法,训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Supervised Phrase-boundary Embeddings
Department of Computer Science and Information Systems, Birkbeck, University of London(伦敦大学伯贝克学院计算机科学与信息系统系)
我们提出了一个新的词嵌入模型,称为SPhrase,它结合了监督短语信息。我们的方法通过确保短语中的所有目标词具有完全相同的上下文来修改传统的词嵌入。我们证明,包括这些信息在一个上下文窗口产生优越的嵌入为内在的评价任务和下游的外在任务。
2020-02-15 cs.CL cs.IR cs.LG
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
RJ Research Consulting(RJ研究咨询公司);Baidu Inc(百度公司)
One-hot CNN(卷积神经网络)已被证明对文本分类有效(Johnson & Zhang,2015)。我们将其视为一般框架的一个特例,该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下,我们探索了一种使用长短期记忆(LSTM)的更复杂的区域嵌入方法。LSTM可以嵌入可变(可能很大)大小的文本区域,而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层,获得了最佳结果。结果表明,在这个任务中,嵌入的文本区域,可以传达复杂的概念,是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。
2016-05-26 cs.CL cs.LG stat.ML
Enhancing PyKEEN with Multiple Negative Sampling Solutions for Knowledge Graph Embedding Models
Dipartimento di Informatica -- University of Bari Aldo Moro, Italy(巴里阿尔多·莫罗大学计算机系);CILA -- University of Bari Aldo Moro, Italy(巴里阿尔多·莫罗大学计算机信息实验室)
本研究针对知识图谱嵌入库缺乏高级负采样策略的问题,为 PyKEEN 框架开发了集成多种静态与动态负采样器的扩展,并通过实证研究验证了其对链接预测性能的提升。
2025-08-07 cs.LG
Cropping outperforms dropout as an augmentation strategy for self-supervised training of text embeddings
Hertie Institute for AI in Brain Health(人工智能与脑健康赫尔蒂研究所);University of Tübingen(图宾根大学);University of Tübingen, Germany(德国图宾根大学)
本文研究了自监督微调中裁剪和dropout两种增强策略,发现裁剪在文本嵌入质量上表现更优,尤其在领域内数据中能快速生成高质量嵌入。
2026-03-16 cs.CL cs.LG
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA(美国西门子医疗解决方案公司)
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示,在紧凑的欧几里得空间中保持它们的相似性。然而,这些空间的尺寸并没有提供任何明确的解释。在这项研究中,我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明,该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此,它们的行为类似于字典特征,同时具有连续值输出的优点。此外,这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外,相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中,我们已经证明,使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性,通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
Semi-supervised Network Embedding with Differentiable Deep Quantisation
Monash University(莫纳什大学);University of Electronic Science and Technology of China(电子科技大学)
学习网络的准确低维嵌入是一项至关重要的任务,因为它有助于许多下游网络分析任务。对于大型网络,经过训练的嵌入通常需要大量的空间来存储,这使得存储和处理成为一个挑战。基于我们以前在半监督网络嵌入方面的工作,我们开发了d-SNEQ,这是一种用于网络嵌入的基于DNN的可微量化方法。d-SNEQ结合了秩损失以使学习的量化码具有丰富的高阶信息,并且能够大幅压缩训练嵌入的大小,从而减少存储占用并加快检索速度。我们还提出了一个新的评价指标,路径预测,公平和更直接地评估模型的性能上的高阶信息的保存。我们对四个具有不同特征的真实网络的评估表明,d-SNEQ在链接预测、路径预测、节点分类和节点推荐方面优于许多最先进的嵌入方法,同时具有更高的空间和时间效率。
2022-03-19 cs.LG cs.SI
Entity Aware Negative Sampling with Auxiliary Loss of False Negative Prediction for Knowledge Graph Embedding
Kakao Enterprise Corp.(Kakao企业公司)
知识图谱(KG)嵌入被广泛用于使用KG的许多下游应用中。通常,由于KG仅包含地面真值三元组,因此需要构造任意负样本以用于KG的表示学习。近年来,由于负三元组的质量对KG嵌入有很大的影响,人们研究了各种高质量负样本的采样方法。本文提出了一种新的实体感知负采样(Entity Aware Negative Sampling,EANS)方法,该方法通过对对齐后的实体索引空间采用高斯分布,能够对与正实体相似的负实体进行采样。此外,我们为假阴性预测引入了辅助损失,可以减轻采样的假阴性三元组的影响。无论阴性样本大小如何,该方法都可以生成高质量的阴性样本,并有效减轻假阴性样本的影响。标准基准测试的实验结果表明,我们的EANS优于现有的国家的最先进的负采样方法在几个知识图谱嵌入模型。此外,所提出的方法实现了竞争力的性能,即使当负样本的数量被限制为只有一个。
2022-10-12 cs.AI cs.LG
Semi-supervisedly Co-embedding Attributed Networks
Sun Yat-sen University(中山大学);University of Glasgow(格拉斯哥大学)
深度生成模型(DGMs)已经取得了显着的进步。半监督变分自动编码器(SVAE)作为一种经典的DGM提供了一个有效地从小的标记数据推广到大的未标记数据的原则性框架,但它很难在多个异构实体中包含丰富的非结构化关系。针对这一问题,本文提出了一种基于广义SVAE的半监督属性网络共嵌入模型(SCAN),该模型能够半监督地协同学习部分标记属性网络的节点和属性的低维向量表示.通过SCAN以统一的方式获得的节点和属性嵌入不仅有利于捕获节点之间的邻近度,而且有利于捕获节点和属性之间的亲和力。此外,我们的模型还训练了一个判别网络来学习节点的标签预测分布。在真实网络上的实验结果表明,与最先进的基线相比,我们的模型在属性推断、用户分析和节点分类等应用中具有出色的性能。
2019-10-31 cs.LG cs.SI
Supervised Domain Adaptation: A Graph Embedding Perspective and a Rectified Experimental Protocol
Aarhus University(奥胡斯大学)
领域自适应是缓解来自不同领域的数据之间的分布差距的过程。在本文中,我们表明,领域自适应方法使用成对的源和目标域数据之间的关系,可以制定为一个图形嵌入的域标签被纳入到结构的内在和惩罚图。具体来说,我们分析了三个现有的国家的最先进的监督领域自适应方法的损失函数,并证明他们执行图嵌入。此外,我们强调了一些普遍性和再现性的问题,通常用于证明这些方法的少样本学习能力的实验设置。为了准确地评估和比较监督领域自适应方法,我们提出了一个修正的评估协议,并在标准数据集上报告了更新的基准测试结果,这些标准数据集包括Amazon,DSLR和Webcam,Digits(MNIST,USPS,SVHN和MNIST-M)和VisDA(Synthetic,Real)。
2021-10-24 cs.LG stat.ML
Semi-supervised Graph Embedding Approach to Dynamic Link Prediction
The University of Tokyo(东京大学)
我们提出了一个简单的离散时间半监督图嵌入方法,在动态网络中的链接预测。学习的嵌入反映了来自时间和横截面网络结构的信息,这是通过将损失函数定义为来自过去动态的监督损失和预测当前网络中的邻域上下文的无监督损失的加权和来执行的。我们的模型也能够学习不同的嵌入形成和溶解动力学。这些关键方面有助于我们的模型的预测性能,我们提供了三个真实世界的动态网络的实验表明,我们的方法是可比的最先进的方法在链接形成预测和优于最先进的基线方法在链接解散预测。
2016-10-14 cs.LG cs.SI physics.soc-ph