Efficient Multi-Modal Embeddings from Structured Data
University of Cambridge（剑桥大学）
多模态词语义学的目标是增强嵌入与感知输入，假设人类的意义表示是基于感官经验。大多数研究集中在直接视觉输入的评价，然而，视觉背景也可以有助于语言应用。本文的另一个动机是越来越需要更多的可解释的模型，并评估模型的大小和性能的效率。这项工作探讨了视觉信息的语义的影响时，评价涉及没有直接的视觉输入，特别是语义相似性和相关性。我们研究了一种新的嵌入类型之间的语言和视觉模态，视觉基因组的结构化注释的基础上。我们比较了单模态和多模态模型，包括结构化，语言和基于图像的表示。我们衡量每个模型的效率方面的数据和模型的大小，模态/数据分布和信息增益。分析包括嵌入结构的解释。我们发现，这种新的嵌入传达了基于文本的嵌入的补充信息。它以一种经济的方式实现了相当的性能，使用的资源数量级低于可视化模型。
2021-10-06 cs.CL cs.CV
Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings
New Jersey Institute of Technology（新泽西理工学院）
本文提出层次Mamba结合双曲几何，以学习具有层次意识的语言嵌入，提升复杂层次推理能力。
2025-12-04 cs.CL cs.LG
UniVSE: Robust Visual Semantic Embeddings via Structured Semantic Representations
Fudan University（复旦大学）；Bytedance AI Lab（字节跳动人工智能实验室）；Tsinghua University（清华大学）
我们提出了统一的视觉语义嵌入（UniVSE）学习视觉和文本概念的联合空间。空间统一了不同层次的概念，包括对象，属性，关系和全场景。提出了一种对比学习方法，用于仅从图像-字幕对进行细粒度对齐。此外，我们提出了一个有效的方法来执行的覆盖范围内出现在句子中的语义成分。我们证明了统一VSE在防御文本域对抗攻击跨模态检索任务的鲁棒性。这种鲁棒性还使得能够使用视觉线索来解决新句子中的单词依赖性。
2019-04-28 cs.CL cs.CV cs.LG
Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web
Samsung Research America（三星美国研究院）
知识以实体及其关系的形式被捕获并存储在知识图谱中。知识图谱增强了许多不同领域的应用程序的功能，包括Web搜索、推荐和自然语言理解。这主要是因为，实体使机器能够理解超越简单令牌的事物。许多现代算法使用从这些结构化表示中学习的实体嵌入。然而，构建知识图谱需要时间和精力，因此非常昂贵且不平凡。另一方面，许多Web资源以某种结构化格式描述实体，因此，找到将它们转化为有用的实体知识的方法是有利的。我们提出了一种处理以实体为中心的文本知识源来学习实体嵌入的方法，从而避免了对传统知识图谱的需要。我们首先提取三元组到新的表示格式，不使用传统的复杂的三元组提取方法定义的预定义的关系标签。然后我们通过这种新类型的三元组学习实体嵌入。我们表明，从我们的方法学习的嵌入是：（i）高质量和可比的一个已知的知识图谱为基础的嵌入，并可用于进一步改善他们，（ii）优于上下文语言模型为基础的实体嵌入，和（iii）易于计算和通用的领域特定的应用程序中的知识图谱是不容易获得的
2021-03-29 cs.CL cs.IR cs.LG
Structured Query Construction via Knowledge Graph Embedding
Southeast University（东南大学）；VU Amsterdam（阿姆斯特丹自由大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；University of Jyväskylä（于韦斯屈莱大学）
本文提出一种基于知识图谱嵌入的查询构建框架，通过将知识图谱编码到低维空间并利用嵌入表示推断查询结构，在基准数据集上显著提升了复杂自然语言查询构建的效果与效率。
2019-09-06 cs.AI cs.CL cs.LG
PublishInCovid19 at WNUT 2020 Shared Task-1: Entity Recognition in Wet Lab Protocols using Structured Learning Ensemble and Contextualised Embeddings
Flipkart Private Limited（Flipkart私人有限公司）
在本文中，我们描述了我们用于解决湿实验室协议上的实体识别任务的方法-EMNLP WNUT-2020研讨会中的共享任务。我们的方法由两个阶段组成。在第一阶段，我们使用各种上下文化的词嵌入（如Flair，基于BERT的）和BiLSTM-CRF模型进行实验，以获得性能最佳的架构。在第二阶段，我们创建了一个由11个BiLSTM-CRF模型组成的系综。单个模型在完整数据集的随机训练验证分割上进行训练。在这里，我们还尝试了不同的输出合并方案，包括多数投票和结构化学习集成（SLE）。我们最终提交的作品在实体跨度的部分和精确匹配方面分别获得了0.8175和0.7757的微观F1分数。我们分别在部分匹配和完全匹配方面排名第一和第二。
2020-10-15 cs.CL
Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence
School of Computer Science and Technology, Northwestern Polytechnical University（西北工业大学计算机科学与技术学院）
本文针对脑-语言解码的模糊性问题，提出MD-SigLIP框架，通过边际正则化结构化语义对齐实现基于检索的解码，在全词汇与子集评估下均取得最优检索性能。
2026-08-19 cs.CL cs.LG
Incremental Sense Weight Training for the Interpretation of Contextualized Word Embeddings
EMORY University（埃默里大学）
我们提出了一种新的在线算法，学习词嵌入中的每个维度的本质，通过最小化上下文嵌入组的组内距离。使用三种最先进的基于神经的语言模型Flair、ELMo和BERT来生成上下文化的词嵌入，以便为相同的词类型生成不同的嵌入，这些嵌入通过SemCor数据集中手动注释的含义进行分组。我们假设并非所有维度对于下游任务都同样重要，以便我们的算法可以检测不必要的维度并丢弃它们，而不会损害性能。为了验证这一假设，我们首先掩模尺寸确定不必要的我们的算法，应用掩蔽的词嵌入的词义消歧任务（WSD），并比较其性能对一个实现的原始嵌入。几个KNN的方法进行了实验，以建立强大的基线WSD。我们的研究结果表明，掩蔽的词嵌入不损害性能，可以提高3%。我们的工作可以用来进行未来的上下文嵌入的可解释性的研究。
2020-05-23 cs.CL
Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Northwestern University（西北大学）
STAVE用两个任务特定向量取代上下文演示，实现零射击推理成本，在多模态和文本任务上以更少参数达到或超越最先进方法。
2026-10-07 cs.CL cs.CV cs.LG
Hierarchical Semantic Correspondence Learning for Post-Discharge Patient Mortality Prediction
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Northwestern University（西北大学）
预测患者死亡率是医疗保健领域中一个重要且具有挑战性的问题，特别是对于重症监护病房（ICU）患者。电子健康笔记作为学习患者陈述的丰富来源，可以促进有效的风险评估。然而，很大一部分的临床笔记是非结构化的，也包含特定领域的术语，我们需要从中提取结构化的信息。在本文中，我们引入了一个嵌入框架来学习语义合理的分布式表示的临床笔记，利用非结构化文本和它们相应的结构化知识，称为语义框架，在一个层次化的方式之间的语义对应。我们的方法将文本建模和语义对应学习集成到单个模型中，该单个模型包括：1）非结构化嵌入模块，其利用自相似矩阵表示，以便注入临床文本中固有的不同片段的结构化映射，以促进局部一致性; 2）结构化嵌入模块，其嵌入语义框架（例如，UMLS语义类型）与深度ConvNet的交互，以及3）分层语义对应模块，其通过增强多个级别上的文本语义框架嵌入对之间的交互来嵌入（即，单词、句子、注释）。出院后重症监护患者死亡率预测任务的多个嵌入基准的评估表明，它的有效性相比，不利用结构化和非结构化的信息之间的语义相互作用的临床笔记的方法。
2019-10-15 cs.CL cs.LG
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge
Technical University of Munich（慕尼黑工业大学）；DFKI GmbH（德国人工智能研究中心）
本文提出AspectCSE方法，利用对比学习和Wikidata知识图谱属性训练基于方面的句子嵌入，在信息检索任务上平均提升3.97%，并证明多方面嵌入优于单方面嵌入。
2023-09-24 cs.AI cs.CL
Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction
School of Biomedical Informatics, University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心生物医学信息学院）
电子健康记录（EHR）中基于深度学习（DL）的预测模型在许多临床任务中提供了令人印象深刻的性能。然而，通常需要大的训练队列来实现高精度，这阻碍了在具有有限训练数据大小的场景中采用基于DL的模型。近年来，基于Transformers的双向编码器表示（BERT）及其相关模型在自然语言处理领域取得了巨大的成功。BERT在一个非常大的训练语料库上的预训练生成了上下文化的嵌入，可以提高在较小数据集上训练的模型的性能。我们提出了Med-BERT，它采用BERT框架对来自28，490，650名患者EHR数据集的结构化诊断数据进行预训练情境化嵌入模型。对两个疾病预测任务进行微调实验：（1）预测糖尿病患者的心力衰竭和（2）从两个临床数据库预测胰腺癌。Med-BERT大大提高了预测精度，使受试者工作特征曲线下面积（AUC）提高了2.02- 7.12%。特别是，预训练的Med-BERT大大提高了任务的性能，非常小的微调训练集（300-500个样本）将AUC提高了20%以上，或相当于10倍大的训练集的AUC。我们相信Med-BERT将有利于使用小型本地训练数据集进行疾病预测研究，降低数据汇集费用，并加快人工智能辅助医疗保健的步伐。
2020-05-22 cs.CL cs.LG cs.NE
Structured Prompt Tuning
National Taiwan University（台湾大学）；Meta AI
我们提出了结构化提示微调，一个简单而有效的方法来改善提示微调。我们通过超网络生成软提示嵌入，而不是将一系列可调嵌入前置到输入中。我们的方法包含了标准的提示微调，在模型设计中允许更大的灵活性，并且可以应用于单任务和多任务训练设置。根据经验，与标准提示微调相比，结构化提示微调在GLUE基准上显示出+1.2 $1. 5点的增益，并且对学习率的变化不太敏感。
2022-05-24 cs.CL
A Trie-Structured Bayesian Model for Unsupervised Morphological Segmentation
Middle East Technical University（中东技术大学）；Hacettepe University（哈杰泰佩大学）
在本文中，我们介绍了一个trie-structured贝叶斯模型的无监督形态分割。我们在模型中采用了不同来源的先验信息。我们使用神经词嵌入来发现在形态上彼此派生的词，从而发现语义相似的词。我们使用从由神经词嵌入构建的尝试中获得的字母后继变量计数。我们的研究结果表明，使用不同的信息源，如神经词嵌入和字母后继品种作为先验信息，提高了贝叶斯模型中的形态分割。我们的模型在土耳其语上的表现优于其他无监督形态分割模型，并在英语和德语上为稀缺资源提供了有希望的结果。
2017-04-24 cs.CL
Structural Embedding Projection for Contextual Large Language Model Inference
本文提出结构嵌入投影（SEP）方法，通过投影矩阵整合层次与关系依赖以细化词元表示，在降低困惑度、增强连贯性的同时带来数据集相关的效率权衡，并改善多句生成的流畅性与主题一致性。
2025-08-08 cs.CL
Semantic Structure and Interpretability of Word Embeddings
ASELSAN Research Center（ASELSAN研究中心）；Bilkent University（比尔肯大学）
密集词嵌入是一种将词的语义编码到低维向量空间中的方法，由于其在许多自然语言处理（自然语言处理）任务中的优异性能，已成为自然语言处理研究的热点。词嵌入在捕获词之间的语义关系方面是非常成功的，因此在相应的向量空间中必须存在有意义的语义结构。然而，在许多情况下，这种语义结构广泛且不均匀地分布在嵌入维度上，这使得解释成为一个很大的挑战。在这项研究中，我们提出了一种统计方法来揭示隐藏在密集的词嵌入的语义结构。为了进行我们的分析，我们引入了一个新的数据集（SEMCAT），其中包含超过6500个单词的语义分组下110个类别。我们进一步提出了一种方法来量化的词嵌入的可解释性，所提出的方法是一个实用的替代经典的词入侵测试，需要人为干预。
2018-05-16 cs.CL
NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating
Independent Researcher（独立研究者）；Department of Computer Science, University of Reading（阅读大学计算机科学系）；School of Computing, Newcastle University（新castle大学计算学院）
本文比较了三种方法：基于嵌入的方法、Transformer微调和大语言模型提示，发现结构化提示优于微调和嵌入方法，提示设计比模型规模更重要。
2026-05-08 cs.CL
Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models
The School of AI（人工智能学院）
提出Kronecker嵌入，通过字节级字符-位置确定性分解替代标准嵌入表，消除91-94%输入侧可训练参数，在多个实验中实现更低验证损失、更强拼写鲁棒性和运行时效率。
2026-05-28 cs.CL cs.LG
Structural Embedding of Syntactic Trees for Machine Comprehension
Carnegie Mellon University（卡内基梅隆大学）
用于机器理解的深度神经网络通常仅利用单词或字符嵌入，而不显式地利用结构化的语言信息，例如选区树和依赖树。在本文中，我们提出了结构嵌入的语法树（SEST），算法框架，利用结构化的信息，并将其编码成向量表示，可以提高机器理解算法的性能。我们使用SQuAD数据集上最先进的神经注意力模型来评估我们的方法。实验结果表明，我们的模型可以准确地识别句子的语法边界，并提取出比基线方法在语法上连贯的答案。
2017-08-31 cs.CL
GT2Vec: Large Language Models as Multi-Modal Encoders for Text and Graph-Structured Data
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Michigan State University（密歇根州立大学）；University of Washington（华盛顿大学）；University of Michigan（密歇根大学）
针对现有方法难以充分利用图与文本模态异质性的问题，提出GT2Vec框架，通过MLP适配器和对比学习利用大型语言模型联合编码文本与图数据，在三类任务的六个数据集上持续优于基线，有效提升联合嵌入质量。
2025-02-11 cs.CL
Mapping News Narratives Using LLMs and Narrative-Structured Text Embeddings
University College Dublin（都柏林大学学院）
本文提出基于 Greimas 行动元模型，用开源 LLM 提取六类行动元并构建叙事结构化文本嵌入，在 5000 篇以巴冲突新闻中区分同主题但叙事结构不同的报道。
2024-09-10 cs.CL
Knowledge Graph Embeddings for Multi-Lingual Structured Representations of Radiology Reports
University of Amsterdam（阿姆斯特丹大学）
提出一种轻量级基于图的放射学报告嵌入方法，通过多语言SNOMED知识库连接医学术语，在疾病分类和图像分类任务中表现优异且模型规模与数据需求更小。
2023-09-14 cs.AI cs.CL
Joint Embeddings of Hierarchical Categories and Entities
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化知识应用于学习类别的分布式表示，现有的工作不能将类别层次结构纳入实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。与以前的最先进的状态相比，我们的框架可以处理单词的概念和多词的概念具有优越的性能，在概念分类和语义相关性。
2016-05-13 cs.CL
Learning Structured Embeddings of Knowledge Graphs with Adversarial Learning Framework
Fudan University（复旦大学）
许多大规模的知识图谱现在已经可以提供语义结构化的信息，这些信息被认为是问答和决策支持任务的重要资源。然而，它们是建立在严格的符号框架，这使得它们很难被用于其他智能系统。我们提出了一种使用生成对抗架构的学习方法，旨在将知识图谱的实体和关系嵌入到连续的向量空间中。生成网络（GN）将（主语、谓语、宾语）三元组的两个元素作为输入，并生成缺失元素的向量表示。判别网络（DN）对三元组进行评分，以将正三元组与GN生成的三元组区分开来。GN的训练目标是欺骗DN做出错误的分类。当达到收敛时，GN恢复训练数据并可用于知识图谱完成，而DN被训练成良好的三重分类器。与之前基于生成对抗架构的一些研究不同，我们的GN能够生成看不见的实例，而他们只是使用GN来更好地选择DN的阴性样本（已经存在）。实验表明，我们的方法可以改善经典的关系学习模型（如transE）的链接预测和三重分类任务的显着利润率。
2020-04-15 cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制，在保持计算效率的同时增强多尺度语义表示，提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
A Survey on Knowledge Graph Embeddings with Literals: Which model links better Literal-ly?
FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
知识图谱（KG）由关于特定领域的实体和关系形式的结构化信息组成。除了结构化信息之外，KG还有助于促进关联数据云中表示的不同资源之间的互连性和互操作性。KG已被用于各种应用，如实体链接，问答，推荐系统等，然而，KG应用程序遭受高的计算和存储成本。因此，需要一种能够将高维KG映射到低维空间的表示，即，嵌入空间，保留结构和关系信息。本文对KG嵌入模型进行了综述，这些模型不仅考虑了KG中以实体和关系形式包含的结构化信息，而且还考虑了以文字表示的非结构化信息，如文本、数值、图像等。对于链接预测的一般任务，已经执行了在相同设置下的不同方法的经验评估。
2020-05-14 cs.AI cs.CL
LISE : Listenable Interpretable Speaker Embeddings
University of Southampton（南安普顿大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Edinburgh（爱丁堡大学）
提出LISE框架，将预训练说话人嵌入分解为少量可解释分量，在保持说话人验证性能的同时，通过听辨实验证明其可解释性。
2026-06-23 cs.CL cs.SD
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化的知识应用于学习的分布式表示的类别，现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念，在概念分类上具有优越的性能，并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
Untangling the GDPR Using ConRelMiner
University of Vienna（维也纳大学）
《通用数据保护条例》（GDPR）在理解、实施和维护所包含的约束方面给公司和组织带来了巨大的挑战。我们报告如何使用ConRelMiner方法来解开GDPR。为此，GDPR将根据GDPR提到的角色进行过滤和分组，并显示分析师要阅读的句子的减少。此外，ConRelMiner的输出-句子之间关系的聚类图-被显示和解释。总的来说，我们的目标是说明如何减少实施GDPR的工作，并找到相关GDPR语句的结构化和有意义的表示。
2018-11-08 cs.CL
Word sense induction using word embeddings and community detection in complex networks
University of São Paulo (USP)（圣保罗大学）；Indiana University（印第安纳大学）
词义归纳是从语料库中自动归纳词义的能力。WSI任务首先被提出来克服在词义消歧系统中所需的手动注释语料库的局限性。即使已经提出了几个作品，以诱导词义，现有的系统仍然是非常有限的意义上说，他们利用结构化的，特定领域的知识来源。在本文中，我们设计了一种方法，利用词嵌入研究的最新发现，以产生上下文嵌入，这是嵌入包含有关一个词的语义上下文的信息。为了诱导语义，我们将歧义词集建模为复杂网络。在生成的网络中，如果各自的上下文嵌入相似，则连接两个实例（节点）。在使用成熟的社区发现方法对所获得的上下文嵌入进行聚类后，我们发现所提出的方法对于WSI任务具有优异的性能。我们的方法以完全无监督的方式优于竞争算法和基线，并且不需要任何额外的结构化知识源。
2018-03-22 cs.CL cs.SI
Concept2vec: Metrics for Evaluating Quality of Embeddings for Ontological Concepts
University of Leipzig（莱比锡大学）；University of Dayton（代顿大学）；Kno.e.sis Center（Kno.e.sis中心）
虽然有一个新兴的趋势，主要是为非结构化数据生成嵌入，最近，结构化数据，还没有系统的套件，用于测量嵌入的质量已经提出。这种缺陷在为结构化数据生成的嵌入方面进一步被感知，因为没有具体的评估度量来测量编码结构的质量以及嵌入空间中的语义模式。在本文中，我们介绍了一个框架，包含三个不同的任务与本体概念的各个方面：（i）范畴化方面，（ii）层次方面，（iii）关系方面。然后，在每个任务的范围内，提出了一些内在的指标来评估嵌入的质量。此外，W.R.T.在此框架下，进行了多项实验研究，以比较可用嵌入模型的质量。在未来的研究中使用这个框架可以减少误判，并提供更深入的了解嵌入本体概念的质量比较。我们在GNU通用公共许可证v3.0下将采样数据和代码放置在https://github.com/alshargi/Concept2vec上。
2020-05-08 cs.AI cs.CL
Structured Multidimensional Representation Learning for Large Language Models
Université du Littoral Cote d’Opale（勒阿弗尔海岸大学）；LMPA（LMPA研究所）；FGSES, University Mohammed VI Polytechnic（穆莱·伊沙克六世理工学院FGSES研究所）；LISIC（LISIC研究所）
本文提出一种基于谱分解的张量变换器，通过结构化多维表示学习压缩大语言模型参数，同时保持模型性能。
2026-03-05 cs.CL cs.NA math.NA
