Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting(RJ研究咨询公司);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
本文提出了一种新的半监督框架与卷积神经网络(CNN)的文本分类。与以前依赖于单词嵌入的方法不同,我们的方法从未标记的数据中学习小文本区域的嵌入,以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想,即使训练是在未标记的数据上完成的,也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
FUSE: Fast Semi-Supervised Node Embedding Learning via Structural and Label-Aware Optimization
School of Data Science, IISER Thiruvananthapuram, India(数据科学学院,印度泰米尔纳德邦IISER)
针对真实图中节点缺乏特征向量的问题,提出FUSE快速半监督节点嵌入框架,联合优化结构保留、监督正则化和半监督传播三个目标,在标准基准上实现与SOTA相当或更优的分类准确率且计算成本更低。
2025-10-13 cs.LG
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
针对聚合物标注数据集稀缺问题,研究在聚合物分子图上应用JEPA进行自监督预训练,证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo(滑铁卢大学)
有监督的降维策略已经引起了极大的兴趣。然而,当前的监督降维方法难以针对以大数据集为特征的情况进行缩放,因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战,但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战,在这项研究中,我们探索了一个新的方向,通过监督随机投影(SRP)的概念,以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是,而不是执行计算上禁止大规模数据的谱分解(或其近似),而是通过利用核近似理论和希尔伯特-施密特独立准则(HSIC)度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明,所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法(例如,SPCA和KSPCA),同时实现1-2个数量级更好的计算性能。因此,这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
与k-最近邻(kNN)相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而,这些方法中的大多数涉及成对的训练数据比较,并且因此具有关于训练集的大小的二次计算复杂性,从而阻止它们扩展到相当大的数据集。此外,在测试期间,将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外,以前的指标要么太受约束,要么太有表现力,无法很好地学习。为了有效地解决这些问题,我们提出了一个样本为中心的监督浅参数数据嵌入模型,使用最大塌陷度量学习(MCML)的目标。我们的策略学习浅高阶参数嵌入函数,并仅将训练/测试数据与学习或预先计算的样本进行比较,从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明,对于二维嵌入空间中的分类,我们的方法不仅使kNN的加速提高了数百倍,而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
Target-Embedding Autoencoders for Supervised Representation Learning
University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校)
基于自动编码器的学习已经成为在无监督和半监督环境中规范表示的主要方法。本文分析了一个框架,以提高泛化在纯监督设置,目标空间是高维的。我们激励和形式化的一般框架的目标嵌入自动编码器(TEA)的监督预测,学习中间的潜在表示联合优化,既可预测的功能,以及预测的目标-编码的目标的变化是由一组紧凑的基本因素驱动的先验。作为我们的理论贡献,我们通过证明一致稳定性,将辅助重建任务的好处解释为正则化的一种形式,为线性TEA的推广提供了保证。作为我们的经验贡献,我们扩展验证这种方法超出现有的静态分类应用程序的多变量序列预测,验证其优势的线性和非线性经常性架构-从而强调了进一步的一般性,这个框架超越前馈实例。
2020-01-23 cs.LG stat.ML
Advancing Melanoma Diagnosis with Self-Supervised Neural Networks: Evaluating the Effectiveness of Different Techniques
Greenwood High International School(格林伍德高中国际学校);Weill Cornell Medicine(威尔康奈尔医学院)
本研究评估多种自监督技术对黑色素瘤斑块分类深度学习模型准确性的影响,发现损坏去除方法效果显著,并指出通过更多训练轮次或扩大数据集可进一步提升性能,建议未来探索BYOL和对比学习等方法。
2024-07-19 cs.CV cs.LG
Evaluating Contrastive Learning on Wearable Timeseries for Downstream Clinical Outcomes
University of Cambridge(剑桥大学)
大量的个人生成的健康数据(可穿戴设备)被收集,但注释以馈送到机器学习模型的过程是不切实际的。本文讨论了使用对比度损失的自监督方法,如Simplified和BYOL,以前应用于视觉领域,可以应用于高维健康信号,用于跨越睡眠,心脏和代谢条件的各种疾病的下游分类任务。为此,我们调整数据增强步骤和整体架构,以适应数据的时间性质(可穿戴痕迹),并通过比较其他最先进的方法,包括监督学习和对抗性无监督表示学习方法,对5个下游任务进行评估。我们表明,Simplified在大多数下游评估任务中优于对抗方法和全监督方法,并且所有自监督方法都优于全监督方法。这项工作为应用于可穿戴时间序列领域的对比方法提供了一个全面的基准,显示了下游临床结果的任务不可知表示的前景。
2021-11-13 cs.LG eess.SP
Simplicial Embeddings in Self-Supervised Learning and Downstream Classification
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);National University of Singapore(新加坡国立大学)
单纯形嵌入(SEM)是通过自监督学习(SSL)学习的表示,其中表示被投影到$V$维度的$L$单纯形中,每个都使用softmax操作。该过程在预训练期间将表示条件化到受约束的空间上,并赋予组稀疏性的归纳偏差。对于下游分类,我们正式证明了SEM表示导致更好的泛化比未规范化的表示。此外,我们通过经验证明,使用SEM训练的SSL方法在自然图像数据集(如CIFAR-100和ImageNet)上的泛化能力有所提高。最后,当在下游分类任务中使用时,我们表明SEM特征表现出紧急语义一致性,其中小组学习特征明显预测语义相关类。
2022-09-30 cs.CV cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab(腾讯人工智能实验室)
在这项研究中,我们研究了用于说话人确认(SV)的自监督表示学习。首先,我们研究了一个简单的对比学习方法(Simplified)与动量对比(MoCo)学习框架,其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现,更好的发言人嵌入可以通过动量对比学习。接下来,替代增强策略进行了探讨,规范化的两个随机段从同一语音话语的外在说话人变异。具体而言,波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时,所提出的MoCo说话人嵌入得到进一步改进,这鼓励说话人嵌入更接近其分配的原型,并具有中间聚类步骤。此外,我们将自监督框架推广到半监督场景,其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明,与现有技术相比,我们提出的自监督方法具有竞争力的性能,并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
S-JEA: Stacked Joint Embedding Architectures for Self-Supervised Visual Representation Learning
University of Aberdeen(阿伯丁大学)
针对自监督学习难以学习可分离分层语义表示的问题,提出堆叠联合嵌入架构(S-JEA),通过堆叠JEA使高层输入低层表示,学习可分离的语义层次,并在参数相当下达到传统JEA性能,可视化验证层次结构。
2024-11-04 cs.CV cs.LG
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Locally Linear Embedding and its Variants: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于局部线性嵌入(LLE)及其变体的教程和调查论文。LLE的思想是在嵌入空间中拟合流形的局部结构。在本文中,我们首先涵盖LLE,核LLE,逆LLE,和LLE的特征融合。然后,我们使用线性重构,特征函数和核映射来覆盖样本外嵌入。增量LLE被解释用于嵌入流数据。使用Nystrom近似和局部线性地标的地标LLE方法被解释用于大数据嵌入。我们介绍了使用残差方差,Procrustes统计量,保持邻域误差和局部邻域选择的邻居数的参数选择的方法。之后,监督LLE(SLLE),增强SLLE,SLLE投影,概率SLLE,监督引导LLE(使用Hilbert-Schmidt独立性准则)和半监督LLE解释监督和半监督嵌入。鲁棒LLE方法使用最小二乘问题和惩罚函数也被引入嵌入存在离群值和噪声。然后,我们介绍LLE与其他流形学习方法的融合,包括Isomap(即,ISOLLE)、主成分分析、Fisher判别分析、判别LLE和Isotop。最后,我们解释加权LLE中的距离,重建权重,或嵌入调整更好的嵌入,我们覆盖加权LLE变形分布数据,加权LLE使用发生概率,SLLE调整权重,修改LLE,迭代LLE。
2020-11-22 cs.CV cs.LG stat.ML
Evaluating Self-Supervised Learning via Risk Decomposition
Stanford University(斯坦福大学)
提出一种SSL风险分解方法,将误差分为四个组件以分析设计选择对169个模型的影响,为改进SSL提供洞见。
2024-01-08 cs.AI cs.LG stat.ML
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University(延世大学);Bank of Korea(韩国银行)
本文提出单纯形到单纯形嵌入模型(SSEM)作为理论框架,分析监督对比学习中超参数对表示的影响,并给出防止类别坍缩的实用指导,且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI;Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);Courant Institute, New York University(纽约大学柯朗研究所);Center for Data Science, New York University(纽约大学数据科学中心)
提出MC-JEPA联合嵌入预测架构,通过共享编码器联合学习光流与内容特征,实现两类任务性能比肩现有方法,得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Evaluating the Label Efficiency of Contrastive Self-Supervised Learning for Multi-Resolution Satellite Imagery
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆塔纳实验室);Preligens(普雷利根斯公司)
针对遥感影像标注不足、需适配多分辨率的问题,本文从标签效率角度研究对比自监督学习,验证了基于MoCo的方法在少监督下优于随机初始化和域外预训练,并用fMoW、RESISC45数据集完成验证。
2022-10-13 cs.CV cs.LG eess.IV
Temporally Coherent Embeddings for Self-Supervised Video Representation Learning
Data61 CSIRO(联邦科学与工业研究组织 Data61)
本文提出了TCE:时间相干嵌入的自我监督视频表示学习。所提出的方法利用未标记视频数据的固有结构来明确地在嵌入空间中执行时间相干性,而不是通过排名或预测代理任务间接地学习它。就像世界中的高级视觉信息变化平滑一样,我们相信学习表征中的邻近帧将从展示类似属性中受益。使用这个假设,我们训练我们的TCE模型来编码视频,使得相邻帧彼此靠近并且视频彼此分离。使用TCE,我们从大量未标记的视频数据中学习鲁棒的表示。我们使用多个具有挑战性的基准(Kinetics 400,UCF 101,HMDB 51)在视频动作识别的下游任务上彻底分析和评估了我们的自监督学习TCE模型。通过简单但有效的2D-CNN主干和仅RGB流输入,TCE预训练的表示优于之前在UCF 101上预训练的所有自监督2D-CNN和3D-CNN。本文的代码和预训练模型可以从以下网站下载:https://github.com/csiro-robotics/TCE
2020-11-17 cs.CV cs.LG eess.IV
Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
贝叶斯优化是一种广泛应用的优化昂贵的黑箱函数的方法。尽管它取得了成功,但仍然面临着来自高维搜索空间的挑战。为了缓解这个问题,我们提出了一种新的贝叶斯优化框架(称为SILBO),它找到一个低维空间进行贝叶斯优化迭代通过半监督降维。SILBO结合了从获取函数中获取的标记点和未标记点,以指导嵌入空间学习。为了加快学习过程,我们提出了一种随机的方法来生成投影矩阵。此外,针对低维空间到高维原始空间的映射,根据目标函数的求值开销,提出了两种映射策略:$\text{SILBO}_{FZ}$和$\text{SILBO}_{FX}$.在合成函数和超参数优化任务上的实验结果表明,SILBO优于现有的最先进的高维贝叶斯优化方法。
2020-10-19 cs.AI cs.LG stat.ML
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University(达尔豪斯大学);Vector Institute(向量研究所);McMaster University(麦克马斯特大学);Nova Scotia Health(新斯科舍卫生机构)
本研究利用基于自监督学习的语音模型提取SSL嵌入,不仅预测抑郁症严重程度,还识别个体症状,并发现其优于常规特征,同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
Self-supervised Learning of Image Embedding for Continuous Control
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
直接从原始的高维感官输入(如图像)进行操作仍然是机器人控制的一个挑战。最近,人们提出了强化学习方法来解决端到端的特定任务,从像素到扭矩。然而,这些方法假设访问指定的奖励,这可能需要专门的环境仪器。此外,所获得的策略和表示往往是特定于任务的,并且可能不能很好地传递。在这项工作中,我们调查完全自监督学习的一般图像嵌入和控制原语,找到最短的时间达到任何状态的基础上。我们还引入了一个新的结构的状态-动作价值函数,建立了无模型和基于模型的方法之间的连接,并提高了性能的学习算法。我们的实验证明这些发现在三个模拟机器人任务。
2019-01-03 cs.AI cs.LG cs.NE
Revisiting Semi-Supervised Learning with Graph Embeddings
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个基于图嵌入的半监督学习框架。给定实例之间的图,我们训练每个实例的嵌入,以联合预测图中的类标签和邻域上下文。我们开发了我们的方法的转导和诱导变体。在我们方法的转换变体中,类标签由学习的嵌入和输入特征向量确定,而在归纳变体中,嵌入被定义为特征向量的参数函数,因此可以对训练期间未看到的实例进行预测。在大量不同的基准任务(包括文本分类、远程监督实体提取和实体分类)上,我们显示出比许多现有模型更好的性能。
2016-05-26 cs.LG
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近,上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中,我们研究的影响,这种概念的变化,在词嵌入计算与性别偏见。我们的分析包括不同的措施,以前在文献中应用到标准的词嵌入。我们的研究结果表明,语境化的词嵌入是更少的偏见比标准的,即使后者是去偏见。
2019-04-18 cs.CL cs.LG
Semi-supervised deep learning by metric embedding
Technion - Israel Institute of Technology(以色列理工学院)
深度网络被成功地用作分类模型,当在大量标记样本上训练时,可以产生最先进的结果。然而,这些模型通常不太适合半监督问题,因为它们在少量数据上训练时容易过拟合。在这项工作中,我们将探索一个新的训练目标,该目标针对仅具有一小部分标记数据的半监督机制。该标准基于标记样本集内距离关系的深度度量嵌入,以及未标记集嵌入的约束。最终学习的表示在欧几里德空间中是有区别的,因此可以与使用标记样本的后续最近邻分类一起使用。
2018-12-04 cs.LG
Supervised Phrase-boundary Embeddings
Department of Computer Science and Information Systems, Birkbeck, University of London(伦敦大学伯贝克学院计算机科学与信息系统系)
我们提出了一个新的词嵌入模型,称为SPhrase,它结合了监督短语信息。我们的方法通过确保短语中的所有目标词具有完全相同的上下文来修改传统的词嵌入。我们证明,包括这些信息在一个上下文窗口产生优越的嵌入为内在的评价任务和下游的外在任务。
2020-02-15 cs.CL cs.IR cs.LG
Evaluating KGR10 Polish word embeddings in the recognition of temporal expressions using BiLSTM-CRF
Wroclaw University of Technology(弗罗茨瓦夫理工大学)
本文介绍了一组新的波兰语词嵌入,使用KGR 10语料库,其中包含超过40亿个单词。这些嵌入评估的时间表达式(时间)的波兰语言的识别问题。我们描述了KGR 10语料库的创建过程和一种新的识别方法,使用双向长短期记忆(BiLSTM)网络与额外的CRF层,其中特定的嵌入是必不可少的。我们介绍了实验和从中得出的结论。
2019-04-03 cs.CL cs.LG stat.ML
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
RJ Research Consulting(RJ研究咨询公司);Baidu Inc(百度公司)
One-hot CNN(卷积神经网络)已被证明对文本分类有效(Johnson & Zhang,2015)。我们将其视为一般框架的一个特例,该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下,我们探索了一种使用长短期记忆(LSTM)的更复杂的区域嵌入方法。LSTM可以嵌入可变(可能很大)大小的文本区域,而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层,获得了最佳结果。结果表明,在这个任务中,嵌入的文本区域,可以传达复杂的概念,是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。
2016-05-26 cs.CL cs.LG stat.ML
Twitch Gamers: a Dataset for Evaluating Proximity Preserving and Structural Role-based Node Embeddings
The University of Edinburgh(爱丁堡大学)
邻近保持和基于角色的结构化节点嵌入已经成为应用图挖掘的主要工作。新的节点嵌入技术通常在一组有限的基准数据集上进行测试。在本文中,我们提出了一个新的多样化的社交网络数据集,称为Twitch Gamers,具有多个潜在的目标属性。我们对社交网络和节点分类实验的分析表明,Twitch Gamers适用于评估新型邻近保持和基于结构角色的节点嵌入算法的预测性能。
2021-02-16 cs.AI cs.LG cs.SI
Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University(卡内基梅隆大学)
预训练的词嵌入是几个自然语言处理(NLP)任务中迁移学习的主要方法。最近的工作集中在使用无监督技术,如语言建模,以获得这些嵌入。相比之下,这项工作的重点是从多个预先训练的监督模型中提取表示,这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明,这种监督嵌入是有帮助的,特别是在低资源环境中,但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
Adversarial Attack on Network Embeddings via Supervised Network Poisoning
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院)
使用来自网络表示学习的技术来学习低级节点嵌入对于解决诸如节点分类和链接预测之类的下游任务是有用的。在这种应用中,一个重要的考虑因素是嵌入算法对对抗攻击的鲁棒性,这可以通过对原始网络进行扰动来检查。有效的扰动技术会降低下游任务的网络嵌入性能。在本文中,我们研究网络嵌入算法从对抗的角度来看,观察中毒的网络对下游任务的影响。我们提出了VIKING,一种监督网络中毒策略,其在原始网络结构上的性能优于最先进的中毒方法高达18%。我们还将VIKING扩展到半监督攻击设置,并表明它与其监督对应物相当。
2021-02-14 cs.CR cs.LG
Evaluating Self and Semi-Supervised Methods for Remote Sensing Segmentation Tasks
Google Research India(谷歌印度研究院);Google LLC(谷歌有限责任公司)
自监督和半监督机器学习技术利用未标记的数据来提高下游任务性能。这些方法对于遥感任务特别有价值,因为制作标记的地面实况数据集可能非常昂贵,但可以轻松获得大量未标记的图像。我们进行了严格的评估Simplified,一种自我监督的方法,和FixMatch,一种半监督的方法,在三个遥感任务:河床分割,土地覆盖制图,洪水制图。当原始监督数据集之外的其他图像可用于训练时,我们量化了这些遥感分割任务的性能改进。我们还设计了实验来测试这些技术的有效性时,测试集是域转移到不同的地理区域的样本相比,训练和验证集。我们发现,这种技术显着提高泛化性能时,标记的数据是有限的,有地理域之间的训练数据和验证/测试数据的变化。
2022-06-19 cs.CV cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program(跨系神经科学项目);Yale School of Medicine(耶鲁医学院)
词汇翻译是语言翻译的一个组成部分。在机器翻译中,每种语言都被认为是一个域,具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外,它提供了一种方法来推断跨语言意义的话,没有直接翻译。用于词嵌入对齐的当前方法是有监督的,即它们需要已知的词对,或者以无监督的方式学习固定嵌入上的跨域变换。在这里,我们提出了一个端到端的词嵌入对齐方法,不需要已知的词对。我们的方法称为通过MMD(WAM)进行单词对齐,它使用嵌入之间的本地化最大平均离散度(MMD)约束来学习在句子翻译训练期间对齐的嵌入。我们表明,我们的方法不仅优于无监督的方法,但也有监督的方法,训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
A study of the classification of low-dimensional data with supervised manifold learning
Middle East Technical University(中东技术大学);INRIA(法国国家信息与自动化研究所);Centre de recherche INRIA Bretagne Atlantique(法国国家信息与自动化研究所布列塔尼大西洋研究中心)
监督流形学习方法通过保留数据的几何结构来学习数据表示,同时增强来自不同类别的数据样本之间的分离。在这项工作中,我们提出了一个监督流形学习分类的理论研究。我们认为非线性降维算法,产生线性可分离的嵌入的训练数据和目前的推广这种类型的算法的界限。令人满意的推广性能的一个必要条件是,嵌入允许构造一个足够规则的插值函数与嵌入的分离裕度。我们表明,对于满足这一条件的监督嵌入,分类误差随着训练样本的数量以指数速度衰减。最后,我们研究了监督非线性嵌入的可分性,其目的是保持基于图表示的数据的低维几何结构。几个真实数据集上的实验支持所提出的分析。
2018-01-05 cs.LG
Evaluating Crowdsourcing Participants in the Absence of Ground-Truth
Northeastern Univ.(东北大学);LinkedIn(领英);Siemens(西门子)
给定一个监督/半监督学习的情况下,多个注释器可用,我们考虑的问题,识别敌对或不可靠的注释器。
2016-05-30 cs.HC cs.LG
On Evaluating Embedding Models for Knowledge Base Completion
University of Mannheim(曼海姆大学);Mannheim(曼海姆)
知识库有助于许多网络搜索和挖掘任务,但它们往往是不完整的。为了将缺失的事实添加到给定的知识库中,在最近的文献中已经提出了各种嵌入模型。也许令人惊讶的是,相对简单的模型,有限的表达能力往往表现得非常好,在今天最常用的评估协议。在本文中,我们探讨了最近的模型是否能很好地完成知识库,并认为目前的评估协议更适合于问答,而不是知识库完成。我们表明,当专注于评估知识库完成的不同预测任务时,即使在以前被认为太容易的数据集上,当前嵌入模型的性能也不令人满意。当将嵌入模型与简单的基于规则的基线进行比较时,尤其如此。这项工作表明,需要更多的研究嵌入模型和评估协议的知识库完成。
2019-01-31 cs.AI cs.LG stat.ML
Parametric UMAP embeddings for representation and semi-supervised learning
UC San Diego(加州大学圣迭戈分校);Tutte Institute for Mathematics and Computing(图特数学与计算研究所)
UMAP是一种基于非参数图的降维算法,使用应用黎曼几何和代数拓扑来找到结构化数据的低维嵌入。UMAP算法由两个步骤组成:(1)计算数据集的图形表示(模糊单纯复形),以及(2)通过随机梯度下降,优化图的低维嵌入。在这里,我们将UMAP的第二步扩展到神经网络权重的参数优化,学习数据和嵌入之间的参数关系。我们首先证明了参数UMAP执行非参数映射,同时赋予学习参数映射的好处(例如,新数据的快速在线嵌入)。然后,我们探索UMAP作为正则化,约束自动编码器的潜在分布,参数变化的全局结构保存,并通过捕获未标记数据中的结构来提高半监督学习的分类器精度。Google Colab演练:https://colab.research.google.com/drive/1WkXVZ5pnMrm17m0YgmtoNjM_XHdnE5Vp? usp=共享
2021-08-29 cs.CG cs.LG q-bio.QM
Cropping outperforms dropout as an augmentation strategy for self-supervised training of text embeddings
Hertie Institute for AI in Brain Health(人工智能与脑健康赫尔蒂研究所);University of Tübingen(图宾根大学);University of Tübingen, Germany(德国图宾根大学)
本文研究了自监督微调中裁剪和dropout两种增强策略,发现裁剪在文本嵌入质量上表现更优,尤其在领域内数据中能快速生成高质量嵌入。
2026-03-16 cs.CL cs.LG
PyKEEN 1.0: A Python Library for Training and Evaluating Knowledge Graph Embeddings
Smart Data Analytics Group, University of Bonn & Fraunhofer IAIS(波恩大学智能数据分析组与弗劳恩霍夫智能分析与信息系统研究所);Ludwig-Maximilians-Universität München(慕尼黑大学);Enveda Therapeutics;Technical University of Denmark(丹麦技术大学);Ludwig-Maximilians-Universität München & Siemens AG(慕尼黑大学与西门子股份公司)
近年来,知识图谱嵌入(KGE)受到了广泛的关注,并开发了几个软件库用于训练和评估KGE。虽然每个库都满足特定的需求,但我们在社区的努力下重新设计和重新实现了PyKEEN,这是第一个KGE库之一。PyKEEN 1.0使用户能够基于广泛的交互模型、训练方法、损失函数来构建知识图谱嵌入模型(KGEM),并允许对逆关系进行显式建模。此外,还实现了自动内存优化,以最佳地利用所提供的硬件,并通过集成Optuna提供了广泛的超参数优化(HPO)功能。
2020-07-30 cs.AI cs.LG stat.ML
SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling
Iowa State University(爱荷华州立大学);Alibaba Group(阿里巴巴集团);East China Normal University(华东师范大学)
典型的自动摘要评价指标,如ROUGE,侧重于词汇相似性,不能很好地捕捉语义和语言质量,需要一个参考摘要,这是昂贵的获得。最近,已经有越来越多的努力来减轻这两个缺点中的一个或两个。在本文中,我们提出了一个概念验证的研究,弱监督摘要评估方法,没有参考摘要的存在。现有摘要数据集中的大量数据通过将文档与损坏的参考摘要配对来进行转换以进行训练。在跨域测试中,我们的策略优于基线,具有很好的改进效果,并且在衡量所有指标的语言质量方面表现出很大的优势。
2022-05-05 cs.CL cs.IR cs.LG
Semi-supervised Graph Embedding Approach to Dynamic Link Prediction
The University of Tokyo(东京大学)
我们提出了一个简单的离散时间半监督图嵌入方法,在动态网络中的链接预测。学习的嵌入反映了来自时间和横截面网络结构的信息,这是通过将损失函数定义为来自过去动态的监督损失和预测当前网络中的邻域上下文的无监督损失的加权和来执行的。我们的模型也能够学习不同的嵌入形成和溶解动力学。这些关键方面有助于我们的模型的预测性能,我们提供了三个真实世界的动态网络的实验表明,我们的方法是可比的最先进的方法在链接形成预测和优于最先进的基线方法在链接解散预测。
2016-10-14 cs.LG cs.SI physics.soc-ph
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA(美国西门子医疗解决方案公司)
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示,在紧凑的欧几里得空间中保持它们的相似性。然而,这些空间的尺寸并没有提供任何明确的解释。在这项研究中,我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明,该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此,它们的行为类似于字典特征,同时具有连续值输出的优点。此外,这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外,相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中,我们已经证明,使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性,通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
Better Together: Evaluating the Complementarity of Earth Embedding Models
Wageningen University(瓦赫宁根大学);University College London(伦敦大学学院);University of Bonn(波恩大学)
本文研究了地球嵌入模型的互补性,提出通过融合嵌入来提升性能,并评估了四种模型在不同任务中的表现,发现互补性在任务和位置上都具有依赖性。
2026-05-18 cs.CV cs.LG
Semi-supervised Network Embedding with Differentiable Deep Quantisation
Monash University(莫纳什大学);University of Electronic Science and Technology of China(电子科技大学)
学习网络的准确低维嵌入是一项至关重要的任务,因为它有助于许多下游网络分析任务。对于大型网络,经过训练的嵌入通常需要大量的空间来存储,这使得存储和处理成为一个挑战。基于我们以前在半监督网络嵌入方面的工作,我们开发了d-SNEQ,这是一种用于网络嵌入的基于DNN的可微量化方法。d-SNEQ结合了秩损失以使学习的量化码具有丰富的高阶信息,并且能够大幅压缩训练嵌入的大小,从而减少存储占用并加快检索速度。我们还提出了一个新的评价指标,路径预测,公平和更直接地评估模型的性能上的高阶信息的保存。我们对四个具有不同特征的真实网络的评估表明,d-SNEQ在链接预测、路径预测、节点分类和节点推荐方面优于许多最先进的嵌入方法,同时具有更高的空间和时间效率。
2022-03-19 cs.LG cs.SI
Leveraging Complementary Embeddings for Replay Selection in Continual Learning with Small Buffers
本文提出MERS方法,通过结合监督和自监督嵌入的图方法改进重放缓冲区选择,提升持续学习性能,尤其在低内存环境下表现优异。
2026-09-17 cs.LG
Benchmarking Image Embeddings for E-Commerce: Evaluating Off-the Shelf Foundation Models, Fine-Tuning Strategies and Practical Trade-offs
Adevinta(阿德温塔公司)
本文系统评测了电子商务场景下多种基础模型图像嵌入在分类与检索任务中的表现,发现全量微调稳健但top-tuning能以更低计算成本达到相近性能,并为嵌入选择与微调策略提供了实用指南。
2025-04-10 cs.AI cs.CE cs.CV
Weakly Supervised Multi-Embeddings Learning of Acoustic Models
ENS(巴黎高等师范学院);EHESS(社会科学高等研究院);CNRS(法国国家科学研究中心)
我们用语音数据集上的多任务相同/不同信息训练了一个连体网络,发现可以在不损失性能的情况下为两个任务共享一个网络。第一个任务是区分两个相同或不同的单词,第二个任务是区分两个相同或不同的说话者。
2015-04-20 cs.CL cs.LG cs.SD
Evaluating the Effectiveness of Margin Parameter when Learning Knowledge Embedding Representation for Domain-specific Multi-relational Categorized Data
HDR-UK Institute of Health Informatics(HDR-UK健康信息学研究所);University College London(伦敦大学学院)
学习知识表示是支持各种机器学习相关应用的日益重要的技术。然而,超参数的选择很少是合理的,通常依赖于穷举搜索。了解超参数组合对嵌入质量的影响对于避免低效过程和增强矢量表示方法的实用性至关重要。我们评估了不同的边缘参数值的影响,专注于多关系分类数据的平移嵌入表示模型。我们通过对比传统的链接预测任务与分类任务的准确性来评估嵌入模型质量的边际影响。这些发现提供了证据,证明较低的边缘值不足以帮助学习过程,而较大的值会产生很多噪音,将实体推到超空间的表面,因此需要不断正则化。最后,链接预测与分类精度的相关性表明,传统的嵌入模型验证协议是一种弱度量,不能很好地表征嵌入模型的质量。
2019-12-21 cs.LG stat.ML
Evaluating and Mitigating Gender Bias in Pre-trained Embeddings for ML-based Recruitment
AI Lab, Vrije Universiteit Brussel(人工智能实验室,布鲁塞尔自由大学)
研究基于机器学习的招聘中预训练嵌入的性别偏见问题,通过在合成数据集上评估模型、采用多任务对抗学习框架及多目标模型选择,发现清理性别可减少但未消除泄露,对抗学习能改善公平性,是补充策略。
2026-07-23 cs.LG
Semi-supervisedly Co-embedding Attributed Networks
Sun Yat-sen University(中山大学);University of Glasgow(格拉斯哥大学)
深度生成模型(DGMs)已经取得了显着的进步。半监督变分自动编码器(SVAE)作为一种经典的DGM提供了一个有效地从小的标记数据推广到大的未标记数据的原则性框架,但它很难在多个异构实体中包含丰富的非结构化关系。针对这一问题,本文提出了一种基于广义SVAE的半监督属性网络共嵌入模型(SCAN),该模型能够半监督地协同学习部分标记属性网络的节点和属性的低维向量表示.通过SCAN以统一的方式获得的节点和属性嵌入不仅有利于捕获节点之间的邻近度,而且有利于捕获节点和属性之间的亲和力。此外,我们的模型还训练了一个判别网络来学习节点的标签预测分布。在真实网络上的实验结果表明,与最先进的基线相比,我们的模型在属性推断、用户分析和节点分类等应用中具有出色的性能。
2019-10-31 cs.LG cs.SI
Evaluating Supervised Machine Learning Models: Principles, Pitfalls, and Metric Selection
Jiangsu Key Laboratory of Big Data Security and Intelligent Processing, Nanjing University of Posts and Telecommunications(江苏大数据安全与智能处理重点实验室,南京邮电大学);University of Brighton(布莱顿大学);University of Lancashire(兰开夏大学);School of Cyber Science and Engineering, Southeast University(东南大学信息科学与工程学院)
本文探讨监督学习模型评估的原则、挑战及实践考虑,分析数据集特性、验证设计、类别不平衡等因素对评估结果的影响,指出常见陷阱并强调选择合适度量标准的重要性。
2026-04-15 cs.AI cs.LG
Semi-Supervised Hierarchical Drug Embedding in Hyperbolic Space
University of Pittsburgh(匹兹堡大学)
学习准确的药物表示对于诸如计算药物重新定位和预测药物副作用等任务至关重要。药物层级是一种有价值的来源,它将人类对药物关系的知识编码为树状结构,其中作用于相同器官、治疗相同疾病或结合相同生物靶标的药物被分组在一起。然而,其在学习药物表征中的效用尚未被探索,并且目前描述的药物表征不能将新分子置于药物层级中。在这里,我们开发了一种半监督的药物嵌入,它包含两个信息来源:(1)从药物和药物样分子的分子结构推断的基础化学语法(无监督),以及(2)在专家制作的批准药物层次结构中编码的层次关系(监督)。我们使用变分自动编码器(VAE)框架来编码分子的化学结构,并使用基于知识的药物相似性来诱导药物在双曲空间中的聚类。双曲空间适合于编码分层概念。定量和定性的结果都支持学习药物包埋可以准确地再现化学结构,并诱导药物之间的层次关系。此外,我们的方法可以推断新分子的药理学性质,从嵌入空间检索类似的药物。我们证明,学习药物嵌入可以用来寻找现有药物的新用途,并发现副作用。我们表明,它显着优于基线在这两个任务。
2020-06-01 cs.LG q-bio.MN q-bio.QM