Visual-Semantic Embedding Model Informed by Structured Knowledge
The University of Manchester(曼彻斯特大学)
我们提出了一种新的方法来改善视觉语义嵌入模型,将从外部结构化知识库捕获的概念表示。我们研究了它在标准和zero-shot设置下的图像分类性能。我们提出了两个新的评价框架来分析分类错误的知识库所示的类层次结构。使用ILSVRC 2012图像数据集和WordNet知识库对该方法进行了测试。相对于标准和zero-shot图像分类,我们的方法表现出优越的性能相比,原来的方法,它使用词嵌入。
2020-09-21 cs.CL cs.CV cs.LG
Variational Integrator Networks for Physically Structured Embeddings
Imperial College London(帝国理工学院);Microsoft Research(微软研究院);University College London(伦敦大学学院)
在许多应用领域中,学习动力系统的可行表示正成为一个越来越重要的问题。通过利用最近将深度神经网络连接到微分方程系统的工作,我们提出了\emph{variational integrator networks},这是一类旨在保留物理系统几何结构的神经网络架构。这类网络架构有助于实现准确的长期预测、可解释性和数据高效学习,同时仍然保持高度灵活性,并能够对复杂行为进行建模。我们证明,他们可以准确地学习动态系统从相空间中的噪声观测和图像像素内的未知动态嵌入。
2020-03-02 cs.LG stat.ML
Automated Concatenation of Embeddings for Structured Prediction
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
预训练的上下文嵌入是结构化预测任务的强大单词表示。最近的研究发现,通过连接不同类型的嵌入可以获得更好的单词表示。然而,选择嵌入以形成最佳的级联表示通常取决于任务和候选嵌入的集合,并且嵌入类型的数量不断增加使其成为一个更加困难的问题。在本文中,我们提出了嵌入的自动连接(ACE),以自动化的过程中找到更好的串联嵌入结构化预测任务,基于最近的神经架构搜索的进展启发制定。具体地,控制器根据其考虑到任务的各个嵌入类型的有效性的当前信念,交替地对嵌入的级联进行采样,并基于奖励更新信念。我们遵循强化学习中的策略来优化控制器的参数,并根据任务模型的准确性计算奖励,该任务模型以采样的级联作为输入并在任务数据集上进行训练。在6个任务和21个数据集上的实证结果表明,我们的方法优于强基线,并在所有评估中通过微调嵌入实现了最先进的性能。
2021-06-01 cs.AI cs.CL cs.LG
A General Framework for Consistent Structured Prediction with Implicit Loss Embeddings
Imperial College London(帝国理工学院);University of Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利理工学院);Massachusetts Institute of Technology(麻省理工学院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research(巴黎文理研究大学)
我们提出并分析了一种新的结构化预测的理论和算法框架。虽然到目前为止,这个术语指的是离散的输出空间,但这里我们考虑更一般的设置,例如流形或概率测度的空间。我们将结构化预测定义为输出空间缺乏向量结构的问题。我们确定并研究了一大类损失函数,隐含地定义了一个合适的几何问题。后者是开发一个算法框架的关键,该框架适合于尖锐的统计分析并产生有效的计算。当处理输出空间的无限基数,一个合适的隐式公式的估计是至关重要的。
2020-02-13 cs.LG math.ST stat.ML
Supervized Segmentation with Graph-Structured Deep Metric Learning
Univ. Paris-Est(巴黎东大学);IGN-ENSG(法国国家地理信息学院-巴黎地理学院);LaSTIG(土地、城市、地理信息与遥感实验室)
我们提出了一个完全监督的学习方法来分割由邻接图结构化的数据。我们介绍了图形结构的对比损失,一个损失函数结构的地面真相分割。它促进学习顶点嵌入,这些顶点嵌入在所需的段内是均匀的,并且在它们的接口处具有高对比度。因此,计算这种嵌入的分段常数近似产生接近目标分割的图分区。这种损失是完全反向传播的,这允许我们使用深度学习算法来学习顶点嵌入。我们评估我们的方法上的3D点云过分割任务,定义了一个新的国家的最先进的大幅度。这些结果基于Landrieu和Boussaha 2019年发表的工作。
2019-06-24 cs.CV cs.LG stat.ML
Deep Metric Learning via Lifted Structured Feature Embedding
Stanford University(斯坦福大学);MIT(麻省理工学院)
学习样本之间的距离度量对于学习和视觉识别具有重要意义。随着最先进的卷积神经网络的显着成功,最近的工作已经显示出有前途的结果,有区别地训练网络学习语义特征嵌入,其中相似的例子被映射到彼此接近,不相似的例子被映射到更远的地方。在本文中,我们描述了一种算法,充分利用训练批次的神经网络的训练,通过提升的成对距离的向量在批次内的成对距离矩阵。该步骤使算法能够通过优化提升问题上的新结构化预测目标来学习最先进的特征嵌入。此外,我们收集了在线产品数据集:23 k类在线产品的120 k图像用于度量学习。我们在CUB-200-2011、CARS 196和在线产品数据集上的实验表明,在GoogLeNet网络的所有实验嵌入大小上,现有的深度特征嵌入方法都有显著的改进。
2015-11-19 cs.CV cs.LG
Bhargava Cube--Inspired Quadratic Regularization for Structured Neural Embeddings
Department of Computer Science;Engineering (AI \& ML), PES University, Bangalore 560 085, India Department of Electronics;Communication Engineering, PES University, Bangalore 560 085, India
本文提出受Bhargava立方体启发的二次正则化方法,用于生成结构化的神经嵌入,通过数学约束提升表示的可解释性和一致性。
2025-12-12 cs.LG
A Structured Self-attentive Sentence Embedding
IBM Watson(IBM 沃森);Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
本文提出了一种新的模型,通过引入自注意提取一个可解释的句子嵌入。我们不使用向量,而是使用一个二维矩阵来表示嵌入,矩阵的每一行都代表句子的不同部分。我们还提出了一个自注意力机制和一个特殊的正则化项的模型。作为一个副作用,嵌入附带了一种简单的方法,可以可视化句子的哪些特定部分被编码到嵌入中。我们在3个不同的任务上评估我们的模型:作者分析,情感分类和文本蕴涵。结果表明,我们的模型产生了显着的性能增益相比,其他句子嵌入方法在所有的3个任务。
2017-03-09 cs.AI cs.CL cs.LG
Binary embeddings with structured hashed projections
Google(谷歌);NVIDIA(英伟达)
我们考虑构建二进制嵌入的哈希机制,涉及伪随机投影,然后是非线性(符号函数)映射。伪随机投影由矩阵描述,其中并非所有条目都是独立的随机变量,而是固定的“随机性预算”分布在矩阵上。这样的矩阵可以有效地存储在次二次或甚至线性空间中,减少随机性使用(即所需随机值的数量),并且经常导致计算速度加快。我们证明了几个理论结果表明,通过各种结构化矩阵的投影,然后通过非线性映射准确地保持输入高维向量之间的角距离。据我们所知,这些结果是第一个,使理论基础的使用一般结构矩阵的非线性设置。特别是,他们推广了以前的扩展的约翰逊-林登施特劳斯引理,并证明了该方法的可验证性,到目前为止,只有实证证实了一些特殊的结构矩阵。因此,我们表明,许多结构化矩阵可以作为一种有效的信息压缩机制。我们的研究结果更好地理解了某些深度架构,这些架构包含随机加权和未经训练的层,但在不同的学习任务中实现了高性能。我们实证验证了我们的理论研究结果,并通过结构化的散列投影的性能上的神经网络以及最近邻分类器的学习的依赖。
2016-07-01 cs.LG
Discriminative Embeddings of Latent Variable Models for Structured Data
Georgia Institute of Technology(佐治亚理工学院)
核分类器和回归器设计的结构化数据,如序列,树和图形,显着推进了一些跨学科领域,如计算生物学和药物设计。通常,预先为数据类型设计核,其利用结构的统计或利用概率生成模型,然后经由凸优化基于核学习判别分类器。然而,这种优雅的两阶段方法也限制了核方法扩展到数百万个数据点,并利用判别信息来学习特征表示。我们提出,structure2vec,一个有效的和可扩展的结构化数据表示方法的基础上嵌入潜变量模型到特征空间的想法,并学习这样的特征空间使用判别信息。有趣的是,structure2vec通过执行一系列函数映射来提取特征,其方式类似于图形模型推理过程,例如平均场和置信传播。在涉及数百万个数据点的应用程序中,我们发现structure2vec的运行速度快2倍,生成的模型小$10,000$倍,同时实现了最先进的预测性能。
2020-01-11 cs.LG
Understand Functionality and Dimensionality of Vector Embeddings: the Distributional Hypothesis, the Pairwise Inner Product Loss and Its Bias-Variance Trade-off
Stanford University(斯坦福大学)
向量嵌入是许多深度学习模型的基础构建块,特别是在自然语言处理中。在本文中,我们提出了一个理论框架来理解向量嵌入的维数的影响。我们观察到,分布假设,统计语义的一个主导原则,需要一个自然的酉不变性的向量嵌入。受酉不变观测的启发,我们提出了成对内积(PIP)损失,这是一种关于两个嵌入之间相似性的酉不变度量。我们证明了PIP损失捕获嵌入之间的功能差异,并且PIP损失与向量嵌入的两个基本属性(即相似性和组合性)密切相关。通过将嵌入训练过程制定为具有噪声的矩阵分解,我们揭示了在维度选择过程中信号频谱和噪声功率之间的基本偏差-方差权衡。这种偏差-方差权衡揭示了许多尚未得到彻底解释的经验观察,例如最佳维度的存在。此外,我们发现了两个新的结果向量嵌入,即对过参数化的鲁棒性和前向稳定性。PIP损失的偏差-方差权衡明确回答了向量嵌入的维度选择的基本开放问题。
2018-05-21 cs.LG stat.ML
Concentration bounds on response-based vector embeddings of black-box generative models
本文研究了基于响应的生成模型向量嵌入的集中界,通过数据核视角空间嵌入方法,在适当正则条件下推导出样本向量嵌入的高概率集中界,并确定所需样本响应数量以实现目标精度的群体嵌入近似。
2026-06-27 cs.LG stat.ML
UniVSE: Robust Visual Semantic Embeddings via Structured Semantic Representations
Fudan University(复旦大学);Bytedance AI Lab(字节跳动人工智能实验室);Tsinghua University(清华大学)
我们提出了统一的视觉语义嵌入(UniVSE)学习视觉和文本概念的联合空间。空间统一了不同层次的概念,包括对象,属性,关系和全场景。提出了一种对比学习方法,用于仅从图像-字幕对进行细粒度对齐。此外,我们提出了一个有效的方法来执行的覆盖范围内出现在句子中的语义成分。我们证明了统一VSE在防御文本域对抗攻击跨模态检索任务的鲁棒性。这种鲁棒性还使得能够使用视觉线索来解决新句子中的单词依赖性。
2019-04-28 cs.CL cs.CV cs.LG
Cost-efficient Gaussian Tensor Network Embeddings for Tensor-structured Inputs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文讨论了具有张量网络结构的随机矩阵($S$)的张量网络嵌入。这些嵌入已被用于执行张量网络结构化输入$x$的降维,并加速诸如张量分解和核回归之类的应用。现有的工作已经为具有特定结构的输入$x$设计了嵌入,使得计算$Sx$的计算成本是有效的。我们提供了一种系统的方法来设计由高斯随机张量组成的张量网络嵌入,使得对于具有更一般的张量网络结构的输入,草图大小($S$的行大小)和草图计算成本都很低。我们分析了一般的张量网络嵌入,可以减少到一个序列的草图矩阵。我们提供了一个充分条件来量化这种嵌入的准确性,并推导出草图渐近成本下界使用嵌入,满足这个条件,并具有低于任何输入尺寸的草图大小。然后,我们提供了一个算法,有效地使用这样的嵌入草图输入数据。该算法中使用的嵌入的草图大小与输入的草图尺寸的数量呈线性关系。假设张量收缩与经典的稠密矩阵乘法算法进行,该算法实现的渐近成本的一个因素$O(\sqrt{m})$的成本下界,其中$m$是草图的大小。此外,当输入中的每个张量具有需要绘制的尺寸时,该算法产生最优的绘制渐近成本。我们将我们的草图分析不精确张量分解优化算法。我们提供了一个草图算法的CP分解,是渐近快于现有的工作在多个政权,并显示最优的张量训练舍入的现有算法。
2022-05-26 cs.DS cs.LG cs.NA
Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web
Samsung Research America(三星美国研究院)
知识以实体及其关系的形式被捕获并存储在知识图谱中。知识图谱增强了许多不同领域的应用程序的功能,包括Web搜索、推荐和自然语言理解。这主要是因为,实体使机器能够理解超越简单令牌的事物。许多现代算法使用从这些结构化表示中学习的实体嵌入。然而,构建知识图谱需要时间和精力,因此非常昂贵且不平凡。另一方面,许多Web资源以某种结构化格式描述实体,因此,找到将它们转化为有用的实体知识的方法是有利的。我们提出了一种处理以实体为中心的文本知识源来学习实体嵌入的方法,从而避免了对传统知识图谱的需要。我们首先提取三元组到新的表示格式,不使用传统的复杂的三元组提取方法定义的预定义的关系标签。然后我们通过这种新类型的三元组学习实体嵌入。我们表明,从我们的方法学习的嵌入是:(i)高质量和可比的一个已知的知识图谱为基础的嵌入,并可用于进一步改善他们,(ii)优于上下文语言模型为基础的实体嵌入,和(iii)易于计算和通用的领域特定的应用程序中的知识图谱是不容易获得的
2021-03-29 cs.CL cs.IR cs.LG
Estimating Vector Fields on Manifolds and the Embedding of Directed Graphs
University of Washington(华盛顿大学)
本文研究了在欧氏空间中嵌入有向图同时保留方向信息的问题。我们建模一个有向图作为一个有限的一组观察,从一个流形上的扩散赋予一个向量场。这是有向图的第一个生成模型。我们介绍了一个图嵌入算法,估计所有三个功能的模型:低维嵌入的流形,数据密度和向量场。在此过程中,我们还得到了关于由有向图导出的“Laplacian型”矩阵的极限的新的理论结果。将我们的方法应用于人工构建和真实数据突出了其优势。
2014-05-30 cs.LG stat.ML
Structured Query Construction via Knowledge Graph Embedding
Southeast University(东南大学);VU Amsterdam(阿姆斯特丹自由大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所);RWTH Aachen University(亚琛工业大学);University of Jyväskylä(于韦斯屈莱大学)
本文提出一种基于知识图谱嵌入的查询构建框架,通过将知识图谱编码到低维空间并利用嵌入表示推断查询结构,在基准数据集上显著提升了复杂自然语言查询构建的效果与效率。
2019-09-06 cs.AI cs.CL cs.LG
Set Representation Learning with Generalized Sliced-Wasserstein Embeddings
HRL Laboratories, LLC.(HRL实验室)
越来越多的机器学习任务处理从集合结构化数据中学习表示。这些问题的解决方案涉及置换等变模块的组合(例如,自注意或经由前馈神经网络的个体处理)和置换不变模块(例如,全局平均汇集或通过多头注意力的汇集)。在本文中,我们提出了一个几何可解释的框架,用于从集结构数据中学习表示,该框架植根于最优公共交通问题。特别是,我们把一个集合的元素作为样本的概率测度,并提出了一个精确的欧氏嵌入广义切片Wasserstein(GSW)距离有效地从集合结构化数据学习。我们评估了我们提出的多监督和无监督集学习任务的框架,并证明了它的优越性比国家的最先进的集表示学习方法。
2021-03-05 cs.LG
Structured Representation Learning with Locally Linear Embeddings and Adaptive Feature Fusion
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
受神经科学启发,提出一种强化学习框架,利用局部线性嵌入捕捉状态局部结构,并通过注意力机制自适应融合动态与奖励特征,提升学习效率。
2026-06-18 cs.AI cs.LG
Interpolated Discretized Embedding of Single Vectors and Vector Pairs for Classification, Metric Learning and Distance Approximation
Ariel University(阿里埃勒大学)
我们提出了一种新的嵌入方法,为一个单一的向量和一对向量。这种嵌入方法能够:a)单向量函数的有效分类和回归; b)距离函数的有效近似;以及c)非欧几里德半度量学习。据我们所知,这是第一个工作,使学习任何一般的,非欧几里德,semimetrics。也就是说,我们的方法是一种通用的半度量学习和近似方法,可以在有或没有半度量约束的情况下以所需的高精度近似任何距离函数。项目主页(包括代码)位于:http://www.ariel.ac.il/sites/ofirpele/ID
2016-08-08 cs.LG
Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings
New Jersey Institute of Technology(新泽西理工学院)
本文提出层次Mamba结合双曲几何,以学习具有层次意识的语言嵌入,提升复杂层次推理能力。
2025-12-04 cs.CL cs.LG
SSSD-ECG-nle: New Label Embeddings with Structured State-Space Models for ECG generation
ISP RAS(俄罗斯科学院信息学研究所)
本文提出SSSD-ECG-nle架构,利用结构化状态空间扩散模型生成10秒12导联ECG信号,通过改进条件机制提升下游任务效率,并经定量定性评估及医师验证确保数据质量与可复现性。
2024-07-15 cs.LG eess.SP
Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Northwestern University(西北大学)
STAVE用两个任务特定向量取代上下文演示,实现零射击推理成本,在多模态和文本任务上以更少参数达到或超越最先进方法。
2026-10-07 cs.CL cs.CV cs.LG
Dichotomic Pattern Mining with Applications to Intent Prediction from Semi-Structured Clickstream Datasets
AI Center of Excellence, Fidelity Investments(富达投资人工智能卓越中心)
我们引入了一个模式挖掘框架,该框架在半结构化数据集上运行,并利用结果之间的二分法。我们的方法利用约束推理,找到频繁发生的序列模式,并表现出所需的属性。这允许创建新颖的模式嵌入,这对知识提取和预测建模非常有用。最后,我们提出了一个应用程序的客户意图预测从数字点击流数据。总体而言,我们表明,模式嵌入在半结构化数据和机器学习模型之间起着集成者的作用,提高了下游任务的性能,并保持了可解释性。
2022-01-23 cs.AI cs.IR cs.LG
Fast Machine Learning Method with Vector Embedding on Orthonormal Basis and Spectral Transform
本文提出一种结合正交基向量嵌入与谱变换的快速机器学习方法,利用SVD和DCT实现数据压缩与高效处理,并展示了在词、文本和图像嵌入上的应用。
2023-11-13 cs.LG cs.NA math.NA
Estimator Vectors: OOV Word Embeddings based on Subword and Context Clue Estimates
George Mason University(乔治梅森大学)
使用神经网络模型如word2vec,已经成功地从未标记的语料库中提取了词的语义表示。这些表示通常是高质量的,并且训练在计算上是便宜的,这使得它们很受欢迎。然而,这些方法通常无法近似出词汇(OOV)的话,人类可以很容易地完成任务,使用词根和上下文线索。本文提出了一种联合学习高质量词表示、子词表示和上下文线索表示的神经网络模型。一起学习所有三种类型的表示增强了对每种表示的学习,从而通过相应的上下文线索和子词嵌入的组合来丰富词向量,以及对OOV词的强估计。我们的模型,称为估计向量(EV),学习强大的词嵌入,并与最先进的方法进行OOV估计的竞争。
2019-10-18 cs.CL cs.LG stat.ML
Bike2Vec: Vector Embedding Representations of Road Cycling Riders and Races
University of Toronto(多伦多大学);Zelus Analytics(泽卢斯分析公司);Ghent University(根特大学);Research Foundation Flanders(弗拉芒研究基金会)
本文提出Bike2Vec方法,利用历史成绩为公路自行车选手和赛事学习向量嵌入,经无监督学习验证其捕捉有效特征,可用于早期人才识别和赛事结果预测等下游任务。
2023-05-17 cs.LG
Towards Structured Deep Neural Network for Automatic Speech Recognition
National Taiwan University(台湾大学)
在本文中,我们提出了结构化深度神经网络(Structured DNN)作为一种结构化和深度学习算法,通过全局考虑结构之间的映射关系而不是逐项考虑结构化输入(如向量序列),学习找到最佳结构化对象(如标签序列)。当自动语音识别被视为这种结构化学习问题的特殊情况时,其中我们将声学矢量序列作为输入,并将音素标签序列作为输出,可以作为一个整体而不是逐帧地全面学习发音。结构化支持向量机(Structured Support Vector Machine,简称结构化SVM)是一种基于结构化学习的自动识别方法,但受到SVM线性性质的限制。在这里,我们提出了结构化DNN,以使用多层非线性变换作为结构化和深度学习算法。在TIMIT的初步实验中,它被证明优于结构化SVM。
2015-06-03 cs.LG
Analyzing Structures in the Semantic Vector Space: A Framework for Decomposing Word Embeddings
Technische Universität Darmstadt(达姆施塔特工业大学)
词嵌入是丰富的词表示,与深度神经网络相结合,可以为许多NLP任务带来巨大的性能提升。然而,词嵌入由密集的实值向量表示,因此它们不能直接解释。因此,基于它们的计算操作也没有得到很好的理解。在本文中,我们提出了一种方法来分析语义向量空间中的结构,以更好地理解潜在的语义编码原则。我们提出了一个框架分解词嵌入到更小的有意义的单位,我们称之为子向量。该框架开辟了一个广泛的可能性分析现象的向量空间语义,以及解决具体的自然语言处理问题:我们介绍了类别完成任务,并表明,基于子向量的方法优于监督技术;我们提出了一个基于子向量的方法来解决单词类比任务,大大优于传统的向量偏移方法的不同变体。
2019-12-17 cs.CL cs.LG
KEEP: Integrating Medical Ontologies with Clinical Data for Robust Code Embeddings
Columbia University(哥伦比亚大学);New York Genome Center(纽约基因组中心)
针对医疗机器学习中医学编码表征方法的知识与现实模式难以兼顾的问题,提出KEEP框架,结合知识图谱嵌入与临床数据正则化训练,无需任务特定训练即可生成嵌入,在多个EHR数据集上表现更优且计算需求低。
2025-10-06 cs.LG
Online Learning for Structured Loss Spaces
Indian Institute of Science(印度科学理工学院)
我们考虑预测专家的意见时,损失向量被假定为位于一个原子规范球的总和所描述的集合。我们得到一个遗憾的约束的一般版本的在线镜像下降(OMD)算法,使用正则化的组合,每个适应的组成原子规范。一般的结果恢复标准OMD遗憾界,并产生遗憾界的新结构化设置的损失向量是(i)噪声版本的点从一个低秩子空间,(ii)稀疏向量损坏的噪声,和(iii)稀疏扰动的低秩向量。对于具有结构化损失的在线学习问题,我们还显示了损失向量的源集的秩和稀疏性方面的遗憾下界,这也意味着上述附加损失设置的下界。
2017-11-12 cs.LG
Customized Graph Embedding: Tailoring Embedding Vectors to different Applications
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学)
图是一种自然的数据表示方法,在知识图谱挖掘、社会网络分析和生物网络比较等领域有着广泛的应用。对于这些应用程序,图嵌入是至关重要的,因为它提供了图的矢量表示。现有的图嵌入方法的一个局限性是它们的嵌入优化过程与目标应用程序断开。在本文中,我们提出了一种新的方法,即自定义图嵌入(CGE)来解决这个问题。CGE算法通过自动区分特定应用程序的不同图形路径的重要性来学习图形节点的自定义矢量表示。在一组不同的节点分类数据集上进行了大量的实验,这些实验证明了CGE的强大性能,并为模型提供了深入的见解。
2020-01-23 cs.LG cs.SI
Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction
School of Biomedical Informatics, University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心生物医学信息学院)
电子健康记录(EHR)中基于深度学习(DL)的预测模型在许多临床任务中提供了令人印象深刻的性能。然而,通常需要大的训练队列来实现高精度,这阻碍了在具有有限训练数据大小的场景中采用基于DL的模型。近年来,基于Transformers的双向编码器表示(BERT)及其相关模型在自然语言处理领域取得了巨大的成功。BERT在一个非常大的训练语料库上的预训练生成了上下文化的嵌入,可以提高在较小数据集上训练的模型的性能。我们提出了Med-BERT,它采用BERT框架对来自28,490,650名患者EHR数据集的结构化诊断数据进行预训练情境化嵌入模型。对两个疾病预测任务进行微调实验:(1)预测糖尿病患者的心力衰竭和(2)从两个临床数据库预测胰腺癌。Med-BERT大大提高了预测精度,使受试者工作特征曲线下面积(AUC)提高了2.02- 7.12%。特别是,预训练的Med-BERT大大提高了任务的性能,非常小的微调训练集(300-500个样本)将AUC提高了20%以上,或相当于10倍大的训练集的AUC。我们相信Med-BERT将有利于使用小型本地训练数据集进行疾病预测研究,降低数据汇集费用,并加快人工智能辅助医疗保健的步伐。
2020-05-22 cs.CL cs.LG cs.NE
Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
本文研究了亚采样和散列作为工具的近似欧氏范数保持嵌入(未知)加性高斯噪声的向量的理论性质。这种嵌入有时被称为约翰逊-林登施特劳斯嵌入,因为它们的著名引理。以前的工作表明,作为稀疏嵌入,子采样和哈希的成功密切依赖于要映射的向量的$l_\infty$与$l_2$的比率。本文表明,噪声的存在消除了这种约束,在高维,换句话说,稀疏嵌入,如子采样和散列具有可比的嵌入维数密集嵌入有类似的近似范数保持降维属性。关键是,噪声应该被视为一种待开发的信息,而不仅仅是要去除的东西。理论界的子采样和散列恢复的近似范数的高维向量在噪声的存在下,推导出,与数值例子显示更好的性能,在噪声的存在下实现。
2022-09-01 cs.DS cs.LG cs.NA
CEHR-BERT: Incorporating temporal information from structured EHR data to improve prediction tasks
Columbia University Irving Medical Center(哥伦比亚大学欧文医学中心);Geisinger(盖辛格)
嵌入算法越来越多地用于表示医疗保健中的临床概念,以改进机器学习任务,例如临床表型和疾病预测。最近的研究已经将最先进的双向编码器表示从Transformers(BERT)架构调整为结构化电子健康记录(EHR)数据,以用于生成情境化概念嵌入,但没有完全合并跨多个临床领域的时间数据。因此,我们开发了一个新的BERT适应,CEHR-BERT,将时间信息使用混合的方法,通过增加输入到BERT使用人工时间令牌,结合时间,年龄和概念嵌入,并引入一个新的第二个学习目标访问类型。CEHR-BERT在哥伦比亚大学欧文医学中心-约克长老会医院的临床数据子集上进行了训练,其中包括240万名患者,跨越30年,并使用4倍交叉验证对以下预测任务进行了测试:住院,死亡,新发心力衰竭(HF)诊断和HF再入院。我们的实验表明,CEHR-BERT在ROC-AUC和PR-AUC的所有4个预测任务中均优于现有的最先进的临床BERT适应和基线模型。CEHR-BERT还展示了强大的迁移学习能力,因为我们的模型只训练了5%的数据,优于在整个数据集上训练的比较模型。消融研究,以更好地了解每个时间成分的贡献显示每个元素的增量收益,这表明CEHR-BERT的人工时间令牌,时间和年龄嵌入与概念嵌入的结合,以及第二个学习目标的增加代表了未来基于BERT的临床嵌入的一种有前途的方法。
2021-11-10 cs.LG
Document Embedding with Paragraph Vectors
Google(谷歌)
段落向量最近被提出作为一种无监督的方法,用于学习文本的分布式表示。在他们的工作中,作者表明,该方法可以学习电影评论文本的嵌入,这些文本可以用于情感分析。这一概念证明虽然令人鼓舞,但范围相当狭窄。在这里,我们考虑任务以外的情感分析,提供了一个更彻底的比较段落向量的其他文档建模算法,如潜在的Dirichlet分配,并评估性能的方法,因为我们不同的维数的学习表示。我们在两个文档相似性数据集上对模型进行了基准测试,一个来自维基百科,一个来自arXiv。我们观察到段落向量方法的性能明显优于其他方法,并提出了一个简单的改进来提高嵌入质量。有些令人惊讶的是,我们还表明,很像词嵌入,向量操作段落向量可以执行有用的语义结果。
2015-07-29 cs.AI cs.CL cs.LG
Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence
School of Computer Science and Technology, Northwestern Polytechnical University(西北工业大学计算机科学与技术学院)
本文针对脑-语言解码的模糊性问题,提出MD-SigLIP框架,通过边际正则化结构化语义对齐实现基于检索的解码,在全词汇与子集评估下均取得最优检索性能。
2026-08-19 cs.CL cs.LG
Using Multi-Sense Vector Embeddings for Reverse Dictionaries
Saarland Informatics Campus(萨尔兰信息学园区);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Rutgers University(罗格斯大学)
流行的词嵌入方法,如word2vec和GloVe,为每个词分配一个向量表示,即使一个词有多个不同的含义。相反,多意义嵌入为单词的每个意义提供不同的向量。然而,它们通常不能作为传统单义嵌入的替代品,因为需要为每个单词选择正确的意义向量。在这项工作中,我们研究的效果,多意义嵌入的任务,反向字典。我们提出了一种技术,可以很容易地将它们集成到现有的神经网络架构使用注意力机制。我们的实验表明,大的改进时,可以获得多意义嵌入在输入序列以及目标表示。分析的意义分布和学习的注意力。
2019-04-02 cs.CL cs.LG
Neural i-vectors
University of Eastern Finland(东芬兰大学);NEC Corporation(日本电气股份有限公司)
在最近的说话人验证评估中,深度说话人嵌入已被证明优于其生成对应物i向量。为了结合高性能和生成解释的优点,我们连续研究了深度嵌入提取器和i向量提取器的使用。为了将深度嵌入提取器与i向量提取器捆绑在一起,我们采用了受高斯混合模型(GMM)启发的聚合层来嵌入提取器网络。包含GMM类层允许区分训练的网络用作i向量提取器的足够统计数据的提供者,以提取我们称为神经i向量的内容。我们将深度嵌入与野生扬声器(SITW)和说话人识别评估(SRE)2018和2019数据集上的拟议神经i向量进行了比较。在SITW的核心-核心条件下,我们的深度嵌入获得了与最先进的性能相当的性能。神经i向量的性能比深度嵌入差约50%,但另一方面,明显优于文献中报道的先前i向量方法。
2020-04-18 cs.LG eess.AS
Vector Embeddings with Subvector Permutation Invariance using a Triplet Enhanced Autoencoder
The Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
深度神经网络(DNN)自编码器(AE)的使用由于其广泛的适用性而最近爆炸式增长。然而,由标准DNN AE产生的嵌入表示(该标准DNN AE被训练为仅最小化重建误差)并不总是揭示数据中更微妙的模式。有时,自动编码器需要以一个或多个附加损失函数的形式的进一步指导。在本文中,我们使用一个自动编码器增强与三重损失,以促进相关的向量,通过置换的构成子向量的聚类。通过这种方法,我们可以创建一个对这种排列几乎不变的向量嵌入。然后,我们可以使用这些不变嵌入作为其他问题的输入,如分类和聚类,并提高这些问题的检测精度。
2020-11-18 cs.LG
Matrix embedding method in match for session-based recommendation
基于会话的推荐模型在推荐系统中得到了广泛的应用。该算法将用户点击序列作为递归神经网络的输入,将递归神经网络的输出作为会话的向量嵌入,并将会话的向量嵌入与下一个条目的向量嵌入的内积作为评分,作为对下一个条目的兴趣度量。该方法可用于项目数很大的推荐系统的匹配阶段,可以采用KD-Tree或Ball-Tree等索引方法。但是这种方法否认了用户在会话中兴趣的多样性。我们生成的模型修改的向量嵌入会话的对称矩阵嵌入,这是等价于一个二次型的向量空间的项目。得分被构建为二次型下下的下一项的向量嵌入的值。通过构造正特征值所对应的对称矩阵嵌入的特征向量来表示会话中用户的兴趣。该方法也可用于“匹配”阶段。实验表明,该方法优于矢量嵌入方法。
2019-08-27 cs.IR cs.LG
Learning Structured Representations with Hyperbolic Embeddings
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);Netflix Inc.(网飞公司)
针对现有表示学习方法忽略标签层次结构、欧氏距离易扭曲语义的问题,提出双曲结构化正则化方法HypStructure,结合双曲树表示损失与中心损失,在低维场景提升泛化性能并通过特征值分析关联表示几何与OOD检测性能。
2024-12-02 cs.CV cs.LG
Point Cloud Oversegmentation with Graph-Structured Deep Metric Learning
Univ. Paris-Est(巴黎东大);IGN-ENSG(法国国家地理林业信息学院)
我们提出了一个新的监督学习框架,用于将3D点云过度分割成超级点。我们将这个问题转化为学习3D点的局部几何和辐射度量的深度嵌入,使得对象的边界呈现高对比度。嵌入计算使用一个轻量级的神经网络上的点的局部邻域操作。最后,我们将点云过度分割表示为关于学习到的嵌入的图划分问题。这种新方法使我们能够在密集的室内数据集(S3DIS)和稀疏的室外数据集(vKITTI)上设置一个新的最先进的点云过度分割。我们的最佳解决方案需要比之前在S3 DIS上发布的方法少五倍以上的超级点才能达到类似的性能。此外,我们表明,我们的框架可以用来改善基于超点的语义分割算法,设置一个新的国家的最先进的这项任务,以及。
2019-04-03 cs.CV cs.LG
eTREE: Learning Tree-structured Embeddings
University of Minnesota(明尼苏达大学);IQVIA Inc.(艾昆纬公司);University of Virginia(弗吉尼亚大学)
矩阵分解(MF)在广泛的机器学习和数据采掘模型中起着重要的作用。MF通常用于获取项目嵌入和特征表示,因为它能够捕获维度之间的相关性和高阶统计依赖性。在许多应用中,项目的类别呈现分层树结构。例如,人类疾病可以分为粗略的类别,例如,细菌和病毒。这些类别可以进一步分为更细的类别,例如,病毒感染可以是呼吸道、胃肠道和排泄性病毒疾病。在电子商务、产品、电影、书籍等方面,被分组到分层类别中,例如,服装项目按性别,然后按类型(正式,休闲等)划分。虽然在某些应用中可能知道不同项的树结构和类别,但在许多其他应用中,它们必须与嵌入一起学习。在这项工作中,我们提出了eTREE,一个模型,它结合了(通常被忽视的)树结构,以提高嵌入的质量。我们利用非负MF(NMF)的特殊唯一性来证明eTREE的可识别性。该模型不仅利用了树结构的先验知识,而且以无监督的数据驱动方式学习层次聚类。我们得到一个有效的算法解决方案和可扩展的实现eTREE,利用并行计算,计算缓存,热启动策略。我们展示了eTREE对来自不同应用领域的真实数据的有效性:医疗保健,推荐系统和教育。我们还证明了从eTREE获得的领域专家解释的树的意义。
2020-12-20 cs.AI cs.LG
Domain Specific Data Distillation and Multi-modal Embedding Generation
Amazon Web Services Inc.(亚马逊网络服务公司)
针对领域结构化数据稀缺、传统单模态嵌入效果受限的问题,本文提出在 HCF 框架中用结构化数据蒸馏非结构化数据并微调实体表示,实验显示其在云计算领域属性预测上显著优于 AutoEncoder。
2024-10-27 cs.LG cs.SI
Graph Memory: A Structured and Interpretable Framework for Modality-Agnostic Embedding-Based Inference
Institute of Mathematics and Statistics, University of São Paulo(数学统计研究所,圣保罗大学)
图记忆通过紧凑的可靠性标注原型区域图表示嵌入空间,结合原型关系编码局部几何和区域模糊性,实现查询证据扩散推理,统一实例检索、原型推理和图扩散,提供更准确和可解释的多模态推理。
2026-03-25 cs.CV cs.LG
Is a Single Vector Enough? Exploring Node Polysemy for Network Embedding
Texas A&M University(得克萨斯农工大学);Alibaba Group(阿里巴巴集团)
网络已经被广泛地用作用于抽象现实世界系统以及组织实体之间的关系的数据结构。网络嵌入模型是将网络中的节点映射到连续向量空间表示中的强大工具,以便于后续任务,例如分类和链接预测。现有的网络嵌入模型综合了每个节点的所有信息,如链接和属性,向一个单一的嵌入向量来表示节点在网络中的一般角色。然而,现实世界的实体可能是多方面的,由于不同的动机或不一定相关的自我特征,它连接到不同的社区。例如,在电影推荐系统中,用户可能同时喜欢喜剧或恐怖电影,但是这两种类型的电影在嵌入空间中不太可能相互接近,用户嵌入向量也不可能同时充分接近它们。在本文中,我们提出了一个多义嵌入方法建模节点的多个方面,作为语言建模中的单词多义现象的动机。节点的每个面被映射为一个嵌入向量,同时我们还保持每对节点和面之间的关联度。所提出的方法是适应各种现有的嵌入模型,而不会显着复杂的优化过程。我们还讨论了如何将不同方面的嵌入向量用于推理任务,包括分类和链接预测。在真实数据集上的实验有助于全面评估所提出的方法的性能。
2019-05-25 cs.IR cs.LG cs.SI
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University(北京大学)
本文提出了一种新的潜在语义学习方法,用于从大量具有结构化稀疏表示的丰富中级特征(即视觉关键字)的词汇中提取高级特征(即潜在语义),这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构,我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法,而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是,我们构建了L1-图的结构化稀疏表示,这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中,我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核,学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同,本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构,从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
Geometric Relational Embeddings
Universität Stuttgart(斯图加特大学);Institut für Künstliche Intelligenz (KI) der Universität Stuttgart(斯图加特大学人工智能研究所)
针对向量表示难以捕捉关系数据复杂符号属性的问题,提出几何关系嵌入范式,通过多种模型捕捉网络、知识图谱及本体中的复杂结构、逻辑约束与高阶结构,有效保留数据的离散符号特性。
2024-09-18 cs.AI cs.LG cs.SI
Towards Structured Deep Neural Network for Automatic Speech Recognition
National Taiwan University(国立台湾大学)
在本文中,我们提出了结构化深度神经网络(结构化DNN)作为结构化和深度学习框架。这种方法可以通过全局地考虑结构之间的映射关系而不是逐项地考虑结构化输入(例如向量序列)来学习找到最佳结构化对象(例如标签序列)。当自动语音识别被视为这种结构化学习问题的特殊情况时,其中我们将声学矢量序列作为输入并且将音素标签序列作为输出,可以作为一个整体而不是逐帧地全面学习发音。结构化支持向量机(Structured Support Vector Machine,简称结构化SVM)是一种基于结构化学习的自动识别方法,但受到SVM线性性质的限制。在这里,我们提出了结构化DNN,以使用多层中的非线性变换作为结构化和深度学习方法。在TIMIT的初步实验中,这种方法被证明可以击败结构化SVM。
2015-11-08 cs.CL cs.LG cs.NE
H-VECTORS: Utterance-level Speaker Embedding Using A Hierarchical Attention Model
University of Sheffield(谢菲尔德大学)
本文提出了一种用于说话人辨识的层次化注意力网络。由于话语的不同部分可能对说话人身份有不同的贡献,因此使用分层结构的目的是局部和全局地学习说话人相关信息。在所提出的方法中,帧级编码器和注意力被施加在输入话语的片段上,并生成单独的片段向量。然后,段级注意力被施加在段向量上以构建话语表示。为了评估所提出的方法的有效性,NIST SRE 2008第1部分数据集用于训练,和两个数据集,Switchboard蜂窝第1部分和CallHome美国英语语音,被用来评估质量提取的话语嵌入说话人辨识和验证任务。通过与两个基线X-vector、X-vector+Attention的比较,结果表明,H-vector可以获得更好的性能。此外,当使用t-SNE映射到2D空间中时,所提取的话语级嵌入比两个基线更具鉴别力。
2019-10-19 cs.CL cs.LG cs.SD
Temporal Network Embedding via Tensor Factorization
Emory University(埃默里大学);Xidian University(西安电子科技大学)
静态图结构数据的表示学习在许多实际应用中表现出了显著的影响。然而,很少有人注意到时间网络的演化性质,其中的边缘往往随着时间的推移而变化。这种时间网络的嵌入应该编码图结构信息和时间演变模式。现有的方法在学习时间演化网络表示未能捕捉时间的相互依赖性。在本文中,我们提出了太妃糖,一种新的方法的时间网络表示学习的基础上张量分解。我们的方法利用张量-张量积算子对跨时间信息进行编码,从而可以捕获演化网络中的周期性变化。实验结果表明,Toffee优于现有的方法在多个真实世界的时间网络生成有效的嵌入链接预测任务。
2021-08-22 cs.LG
A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings
Faculty of Information Technology, University of Jyväskylä(于韦斯屈莱大学信息科技学院);HUS Helsinki University Hospital(赫尔辛基大学医院);Digital Workforce Services(数字劳动力服务)
本文通过UMAP投影分析反义词与同义词词对嵌入差向量的几何特性,发现特定投影下出现独特的漩涡结构,探讨了Transformer模型中概念编码的几何表示方法。
2026-03-25 cs.CL cs.LG
Banach-Tarski Embeddings and Transformers
本文提出一种将递归数据结构嵌入高维向量的新方法,为transformer潜在状态提供可解释模型,支持直接在嵌入空间通过向量操作进行计算与解码。
2023-11-21 cs.CL cs.DS cs.LG