Knowledge Association with Hyperbolic Knowledge Graph Embeddings
Nanjing University（南京大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加利福尼亚大学）；Alibaba Group（阿里巴巴集团）
通过实体对齐、实体类型推断和其他相关任务捕获知识图谱（KG）的关联，使NLP应用程序具有全面的知识表示。最近的相关方法建立在欧几里德嵌入的层次结构和不同规模的KG的挑战。它们还依赖于高嵌入维数来实现足够的表现力。随后，我们探索低维双曲嵌入知识关联。我们提出了一个双曲关系图神经网络KG嵌入和捕捉知识的关联与双曲变换。在实体对齐和类型推断上的大量实验证明了该方法的有效性。
2020-10-05 cs.AI cs.CL cs.LG
ExpressivE: A Spatio-Functional Embedding For Knowledge Graph Completion
TU Wien（维也纳工业大学）
知识图谱本质上是不完整的。因此，大量的研究已经指向知识图谱完成（KGC），即，从所述知识图谱（KG）中表示的所述信息预测缺失的三元组。KG嵌入模型（KGE）已经为KGC产生了有希望的结果，然而任何当前的KGE都不能：（1）完全捕获重要的推理模式（例如，合成），（2）联合地捕获突出图案（例如，层次和组成），以及（3）提供对捕获的模式的直观解释。在这项工作中，我们提出了ExpressivE，一个完全表达空间功能的KGE，同时解决了所有这些挑战。ExpressivE在虚拟三元空间$\mathbb{R}^{2d}$中将实体对嵌入为点，将关系嵌入为超平行四边形。这种模型设计不仅允许ExpressivE联合捕获丰富的推理模式集，而且还可以通过超平行四边形的空间关系显示任何支持的推理模式，为ExpressivE嵌入及其捕获的模式提供直观和一致的几何解释。在标准KGC基准测试上的实验结果表明，ExpressivE与最先进的KGE相比具有竞争力，甚至在WN18RR上的表现明显优于它们。
2023-03-22 cs.AI cs.LG
VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification
University of Montreal（蒙特利尔大学）
近年来，基于神经网络的文本分类方法取得了很大的进展。特别是，使用注意力机制的模型，如BERT，已被证明具有捕获句子或文档中的上下文信息的能力。然而，它们捕捉语言词汇的全局信息的能力是有限的。后者是图卷积网络（GCN）的优势。本文将BERT的性能与词汇图卷积网络（VGCN）相结合，提出了VGCN-BERT模型。局部信息和全局信息通过BERT的不同层相互作用，允许它们相互影响并共同构建用于分类的最终表示。在多个文本分类数据集上的实验中，我们的方法优于单独的BERT和GCN，并取得了比以往研究更高的有效性。
2020-04-12 cs.CL cs.LG stat.ML
CTAGE: Curvature-Based Topology-Aware Graph Embedding for Learning Molecular Representations
针对分子图难以表达三维空间信息且现有方案增加计算成本的问题，本文提出CTAGE嵌入，利用k跳离散Ricci曲率注入拓扑结构信息并提升分子性质预测性能。
2024-01-18 cs.AI cs.LG q-bio.QM
MOHONE: Modeling Higher Order Network Effects in KnowledgeGraphs via Network Infused Embeddings
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
许多知识图谱嵌入方法对三元组进行操作，因此隐含地受到整个知识图谱的非常局部的视图的限制。我们提出了一个新的框架MOHONE有效地建模知识图中的高阶网络效应，从而使人们能够捕捉不同程度的网络连接（从本地到全球）。我们的框架是通用的，明确地模拟网络规模，并捕捉网络中相似性的两个不同方面：（a）共享的局部邻域和（b）基于角色的结构相似性。首先，我们介绍了学习网络表示的知识图谱捕捉这些不同方面的相似性的实体的方法。然后，我们提出了一种快速，有效的方法，将这些网络表示捕获到现有的知识图谱嵌入的信息。我们表明，我们的方法一致和显着提高性能的链接预测的几种不同的知识图嵌入方法，包括TRANSE，TRANSD，DISTMULT，和复杂（至少4点或17%，在某些情况下）。
2018-11-01 cs.AI cs.CL cs.LG
A Comprehensive Study on Knowledge Graph Embedding over Relational Patterns Based on Rule Learning
Zhejiang University（浙江大学）；Donghai laboratory（东海实验室）
本文系统评估 7 个 KGE 模型在 2 个基准、4 种关系模式上的表现，结合理论、实体频率和部分到整体分析揭示反直觉结论，并提出免训练的 SPA 方法提升关系模式相关性能。
2023-08-15 cs.AI cs.CL
Navigating the Dynamics of Financial Embeddings over Time
Capital One（第一资本）
金融交易构成实体之间的连接，并通过这些连接，一个大规模的异构加权图制定。在这个不断更新的互动迷宫中，存在着各种基于相似性的模式，可以提供对金融体系动态的洞察。在当前的工作中，我们提出了在可扩展的动态设置中应用图表示学习，作为以有意义和鲁棒的方式捕获这些模式的一种手段。我们继续对潜在轨迹进行严格的定性分析，以从所提出的表示及其随时间的演变中提取真实世界的见解，据我们所知，这是金融领域的第一次。潜在空间的变化与已知的经济事件有关，特别是最近的COVID-19疫情对消费模式的影响。捕获这些模式表明通过合并潜在图表示为金融建模增加了价值。
2020-07-01 cs.LG cs.SI stat.ML
FHGE: A Fast Heterogeneous Graph Embedding with Ad-hoc Meta-paths
School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Software, Fudan University（复旦大学软件学院）；Shanghai Key Laboratory of Data Science（上海数据科学重点实验室）
FHGE提出一种无需重新训练的快速异构图嵌入方法，通过分割与重建模块及双重注意力机制，高效生成元路径引导的嵌入，适用于即席查询和实时图分析。
2025-02-22 cs.LG
A Hybrid Model for Learning Embeddings and Logical Rules Simultaneously from Knowledge Graphs
Purdue University（普渡大学）
知识图谱（KG）推理问题已经被传统的基于规则的系统和最近的知识图谱嵌入方法广泛地探索。虽然逻辑规则可以捕获KG中的确定性行为，但它们是脆弱的，并且挖掘那些推断已知KG之外的事实的规则是具有挑战性的。概率嵌入方法在捕获全局软统计趋势方面是有效的，并且用它们进行推理在计算上是高效的。虽然从丰富的训练数据中学习到的嵌入表示具有表达性，但现实世界KG中的不完整性和稀疏性可能会影响其有效性。我们的目标是利用这两种方法的互补特性来开发一种混合模型，同时学习高质量的规则和嵌入。我们的方法使用了交叉反馈的范例，其中，嵌入模型被用来指导搜索的规则挖掘系统挖掘规则和推断新的事实。这些新的事实被采样并进一步用于改进嵌入模型。多个基准数据集上的实验表明，我们的方法比其他竞争力的独立和混合基线的有效性。我们还展示了其在稀疏KG设置中的功效，并最终探索了与负采样的联系。
2020-09-22 cs.AI cs.LG
Hyperbolic Graph Embeddings: a Survey and an Evaluation on Anomaly Detection
École nationale Supérieure d’Informatique（国家信息学院）；Université de Lyon, CNRS, Université Lyon 1, LIRIS, UMR5205（里里士大学、法国国家科学研究中心、里里士大学第一大学、LIRIS、UMR5205）
本文综述了双曲图嵌入模型，并在异常检测任务中评估了其性能，展示了双曲空间在捕捉复杂结构方面的优势。
2025-12-21 cs.AI cs.LG
Recommender systems based on graph embedding techniques: A comprehensive review
University of Electronic Science and Technology of China（电子科技大学）
推荐系统作为缓解信息过载问题的关键工具，其目标是通过分析用户与项目之间的关系，从数百万候选项目中预测用户的偏好项目。为了解决推荐系统中的稀疏性和冷启动问题，研究者们采用了在推荐中引入边信息或知识的策略来发现隐藏的（间接的）用户-项目关系，旨在丰富推荐所需的观测信息（或数据）。然而，面对高复杂性和大规模的边信息和知识，该策略的有效实施依赖于推荐模型的可扩展性。直到机器学习流行之后，图嵌入技术才成为一个焦点，它可以有效地利用复杂和大规模的数据。有鉴于此，近年来，为推荐系统配备图嵌入技术得到了广泛的研究，似乎优于直接基于图拓扑分析实现的传统推荐。作为重点，本文从二分图、一般图和知识图谱的嵌入技术入手，回顾了基于图嵌入的推荐方法，并提出了基于图嵌入的推荐方法的一般设计流程。此外，通过仿真比较几种典型的基于图嵌入的推荐模型与最常用的传统推荐模型，发现传统推荐模型在预测隐式用户-项目交互方面的性能优于基于图嵌入的推荐模型，揭示了基于图嵌入的推荐模型在这些任务中的相对弱点。为了促进未来的研究，本文提出了在不同任务中权衡基于图嵌入的推荐和传统推荐的建议，并提出了开放性问题。
2022-03-22 cs.IR cs.LG
On2Vec: Embedding-based Relation Prediction for Ontology Population
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
填充本体图是语义Web社区长期存在的问题。最近的进展，基于知识的图嵌入方法填充实例级知识图谱导致有前途的新方法的本体人口问题。然而，与实例级图不同，本体图中的大多数关系事实具有全面的语义关系，通常包括传递性和对称性以及层次关系。这些综合关系对于现有的图嵌入方法来说往往过于复杂，直接应用这些方法是不可行的。因此，我们提出了On 2 Vec，一种新的基于推理的图嵌入方法的本体人口。On 2 Vec集成了两个模型组件，有效地表征了本体图中的综合关系事实。第一种是特定于概念的模型，它将概念和关系编码到低维嵌入空间中，而不会丢失关系属性;第二种是层次模型，它对层次关系事实进行集中学习。几个著名的本体图上的实验表明，有前途的能力On 2 Vec在预测和验证新的关系事实。这些有希望的结果也使得相关方法的重大改进成为可能。
2018-09-07 cs.AI cs.IR
Word Embeddings Are Capable of Capturing Rhythmic Similarity of Words
Isfahan University of Technology（伊斯法罕理工大学）
诸如Word2Vec和GloVe之类的词嵌入系统在NLP的深度学习方法中是众所周知的。这在很大程度上是由于它们能够捕捉单词之间的语义关系。在这项工作中，我们研究了他们的有用性，而不是捕捉节奏相似的话。结果表明，与其他词相比，这些嵌入分配给押韵词的向量彼此更相似。GloVe在这方面的表现也相对优于Word2Vec。我们还提出了第一种度量的节奏相似性的一对字的量化。
2022-04-14 cs.CL cs.LG
Survey on Embedding Models for Knowledge Graph and its Applications
该综述介绍了知识图谱的定义与图表示的缺陷，阐述了基于平移和基于神经网络的两类知识图谱嵌入模型的差异，还探讨了知识图谱在结合深度学习与社交媒体数据的领域中的应用。
2024-04-14 cs.AI cs.SI
Faithiful Embeddings for EL++ Knowledge Bases
University of Stuttgart（斯图加特大学）；Imperial College London（帝国理工学院）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Southampton（南安普顿大学）
最近，越来越多的努力投入到学习符号知识库（KB）的连续表示。然而，这些方法要么只嵌入数据级知识（ABox），要么在处理概念级知识（TBox）时受到固有的限制，即，它们不能忠实地对KB中存在的逻辑结构建模。我们提出了BoxEL，这是一种几何KB嵌入方法，可以更好地捕获逻辑结构（即，ABox和TBox公理）。BoxEL将知识库中的概念建模为轴平行框，其适合于将概念相交建模，将实体建模为框内的点，并且将概念/实体之间的关系建模为仿射变换。我们展示了BoxEL的理论保证（健全性），以保持逻辑结构。即，损失为0的BoxEL嵌入的学习模型是KB的（逻辑）模型。实验结果表明，BoxEL算法优于传统的知识图谱嵌入方法和最先进的EL++嵌入方法。
2022-09-21 cs.AI cs.LG cs.LO
Comparative Analysis of Word Embeddings for Capturing Word Similarities
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University（圣西里尔与圣美多迪乌斯大学计算机科学与工程学院）
分布式语言表示已经成为各种自然语言处理任务中最广泛使用的语言表示技术。大多数基于深度学习技术的自然语言处理模型使用已经预先训练的分布式单词表示，通常称为词嵌入。确定最定性的词嵌入对于此类模型至关重要。然而，选择适当的词嵌入是一个复杂的任务，因为投影的嵌入空间是不直观的人。在本文中，我们探讨了不同的方法来创建分布式单词表示。我们执行几个国家的最先进的词嵌入方法的内在评价。它们在捕获词相似性方面的性能与现有的词对相似性基准数据集进行了分析。本文对不同词嵌入方法获得的相似度与真实词相似度进行了相关性分析。
2020-05-08 cs.CL cs.LG
QuatE-D: A Distance-Based Quaternion Model for Knowledge Graph Embedding
School of Electrical and Computer Engineering., College of Engineering., University of Tehran,Tehran., Iran.（电气与计算机工程学院，工程学院，德黑兰大学，德黑兰，伊朗）
提出QuatE-D，一种基于距离评分的四元数知识图谱嵌入模型，通过欧几里得距离增强可解释性和灵活性，在平均秩降低上表现优异，为知识图谱补全提供新方向。
2025-04-18 cs.LG
PanRep: Graph neural networks for extracting universal node embeddings in heterogeneous graphs
AWS Artificial Intelligence（亚马逊人工智能部门）
学习无监督的节点嵌入有助于几个下游任务，如节点分类和链接预测。如果节点嵌入被设计为由各种下游任务使用并使其受益，则它是通用的。这项工作介绍了PanRep，图神经网络（GNN）模型，无监督学习的通用节点表示异构图。PanRep由一个GNN编码器和四个解码器组成，GNN编码器用于获取节点嵌入，每个解码器都捕获不同的拓扑和节点特征属性。遵循这些属性，新型无监督框架学习适用于不同下游任务的通用嵌入。PanRep可以进一步微调以考虑可能的有限标签。在这种操作设置中，PanRep被认为是用于提取异构图数据的节点嵌入的预训练模型。PanRep在节点分类和链接预测方面优于所有无监督和某些监督方法，特别是当监督方法的标记数据很小时。PanRep-FT（微调）优于所有其他监督方法，这证实了预训练模型的优点。最后，我们将PanRep-FT应用于发现新型冠状病毒药物。我们展示了通用嵌入在药物再利用中的优势，并确定了临床试验中使用的几种药物作为可能的候选药物。
2021-03-04 cs.LG stat.ML
A categorical embedding discontinuity-capturing shallow neural network for anisotropic elliptic interface problems
Department of Mathematics, National Central University（数学系，国立中央大学）；Department of Applied Mathematics, National Yang Ming Chiao Tung University（应用数学系，国立阳明交通大学）；Department of Applied Mathematics, National University of Kaohsiung（应用数学系，国立高雄大学）
提出含间断捕捉、分类嵌入和全连接三层的浅层无网格神经网络，自动学习间断嵌入以高精度逼近数十至数百段的分段连续解，并在各向异性椭圆界面问题上达到与传统网格方法相当的精度与效率。
2025-09-27 cs.LG cs.NA math.NA
A Survey on Contextual Embeddings
University of Oxford（牛津大学）；DeepMind（深度思维）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
ELMo和BERT等上下文嵌入超越了Word2Vec等全局单词表示，并在广泛的自然语言处理任务中实现了突破性的性能。上下文嵌入根据上下文为每个单词分配一个表示，从而捕获单词在不同上下文中的使用，并对跨语言传输的知识进行编码。在本调查中，我们回顾了现有的上下文嵌入模型，跨语言多语言预训练，上下文嵌入在下游任务中的应用，模型压缩和模型分析。
2020-04-13 cs.AI cs.CL cs.LG
Capturing LLM Capabilities via Evidence-Calibrated Query Clustering
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Elorian AI
提出ECC算法，利用有限后验模型比较校准先验语义嵌入，通过Bradley-Terry模型参数化能力轮廓，联合学习灵活的能力感知聚类结构，显著提升LLM能力排序质量。
2026-06-01 cs.AI cs.LG
A Pre-trained Reaction Embedding Descriptor Capturing Bond Transformation Patterns
Artificial Intelligence Innovation and Incubation Institute, Fudan University, Shanghai, China（复旦大学人工智能创新与孵化院）；Shanghai Academy of Artificial Intelligence for Science, Shanghai, China（上海人工智能科学研究院）；Zhongshan Hospital, Shanghai, China（中山医院）
本研究提出RXNEmb，一种基于预训练模型的反应嵌入描述符，用于捕捉键转变模式，通过数据驱动的方法改进反应分类和可视化分析。
2026-01-07 cs.AI cs.LG physics.chem-ph
Rethinking Speaker Embeddings for Speech Generation: Sub-Center Modeling for Capturing Intra-Speaker Diversity
Center for Language and Speech Processing (CLSP), Johns Hopkins University, USA（语言与语音处理中心（CLSP），约翰霍普金斯大学，美国）；Center for Robust Speech Systems (CRSS), The University of Texas at Dallas, USA（稳健语音系统中心（CRSS），德克萨斯大学达拉斯分校，美国）；Language Technologies Institute (LTI), Carnegie Mellon University, USA（语言技术研究所（LTI），卡内基梅隆大学，美国）
该研究针对语音生成中说话人嵌入的设计缺陷，提出子中心建模框架，在零样本语音转换任务中提升了可懂度、音高变异性与自然度，同时保留了说话人验证性能。
2026-08-31 cs.LG eess.AS
ConCare: Personalized Clinical Feature Embedding via Capturing the Healthcare Context
Peking University（北京大学）；Lancaster University（兰卡斯特大学）；Peking University Third Hospital（北京大学第三医院）
从历史电子病历中预测患者的临床预后是医学信息学的一个基本研究课题。大多数基于深度学习的EMR分析解决方案都集中在学习临床访视嵌入和探索访视之间的关系。虽然这些作品在医疗预测方面表现出了优异的性能，但它们未能充分探索临床访问期间的个人特征。此外，现有的工作通常假设，最近的记录在预测中的权重更大，但这种假设并不适用于所有情况。在本文中，我们提出ConCare处理不规则的EMR数据和提取特征的相互关系，进行个性化的医疗保健预测。我们的解决方案可以通过对时间感知分布进行建模来单独嵌入特征序列。ConCare通过十字头去相关进一步改善了多头自注意，从而可以有效地捕获动态特征和静态基线信息之间的相互依赖关系，以形成个人健康上下文。两个真实世界的EMR数据集上的实验结果证明了ConCare的有效性。ConCare提取的医学发现也得到了人类专家和医学文献的经验证实。
2019-11-27 cs.LG stat.ML
Enriching Tabular Data with Contextual LLM Embeddings: A Comprehensive Ablation Study for Ensemble Classifiers
Technical University of Munich（慕尼黑工业大学）
本研究通过消融实验证明，将RoBERTa和GPT-2嵌入与集成分类器结合可提升表格数据预测性能，尤其在不平衡或小样本数据集上效果显著。
2024-11-05 cs.AI cs.LG
A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution
ULiege/HEC Liege（列日大学/列日高等商学院）
共指消解是一项重要的自然语言处理任务，大多数最先进的方法都依赖于词嵌入来表示词。然而，在文献中很大程度上被忽视的一个问题是，在这项任务中，比较不同嵌入的性能。因此，我们在事件和实体共指消解（EvCR & EnCR）的背景下构建我们的研究，并解决两个问题：1）在性能（预测和运行时间）和嵌入大小之间是否存在权衡？2)嵌入的性能在家族内部和家族之间如何比较？我们的实验揭示了几个有趣的发现。首先，我们观察到嵌入大小的性能收益递减。例如，仅使用字符嵌入的模型实现了最大模型（Elmo，GloVe，Character）的86%的性能，而其大小为1.2%。其次，使用多个嵌入的较大模型总体上学习得更快，尽管每个时期较慢。但是，在测试时仍然较慢。最后，Elmo在EvCR和EnCR上表现最好，而GloVe和FastText分别在EvCR和EnCR上表现最好。
2021-10-11 cs.CL cs.LG
Neighborhood Sensitive Mapping for Zero-Shot Classification using Independently Learned Semantic Embeddings
University College London（伦敦大学学院）；Yahoo（雅虎）
在传统的设置中，训练分类器以近似目标函数$f:X \rightarrow Y$，其中将每个$y \in Y$的至少一个样本呈现给训练算法。在zero-shot设置中，我们有标签$\hat{Y} \subset Y$的子集，我们没有观察到任何对应的训练实例。尽管如此，我们训练的函数$f$也必须能够在$\hat{Y}$上正确地分配标签。在实践中，zero-shot问题是非常重要的，特别是当标签集很大，并且标签集中所有可能值的编辑标签样本的成本可能非常高时。最近的零样本学习方法是基于使用语义嵌入来发现和利用标签之间的关系。我们在本文中表明，语义嵌入，尽管是非常好的捕捉标签之间的关系，是不是很好地捕捉标签之间的关系，在数据依赖的方式。为此，我们提出了一种新的两步学习过程的zero-shot分类。在第一步中，我们学习我们称之为\emph{property embedding space}的东西，它捕获标签集的“\emph{learnable}“特征。然后，我们利用学习的属性，以减少线性最近邻分类器的泛化误差。
2020-08-19 cs.LG
Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
异构信息网络（HIN）在现实世界的应用中无处不在。与此同时，网络嵌入已经成为一种方便的工具，从网络数据挖掘和学习。因此，开发HIN嵌入方法是有意义的。然而，HIN中的异构性不仅引入了丰富的信息，而且还引入了潜在的不兼容语义，这对HIN中的嵌入式学习提出了特殊的挑战。为了保留HIN嵌入中丰富但潜在不兼容的信息，我们提出研究异构信息网络的综合转录问题。HIN的全面转录还提供了一种易于使用的方法来释放HIN的力量，因为它不需要额外的监督，专业知识或功能工程。为了应对在全面转录的HIN的挑战，我们提出了HEER算法，它嵌入HIN通过边缘表示，进一步耦合适当学习的异构指标。为了证实HEER的有效性，我们在两个大规模的真实词数据集上进行了实验，并进行了边缘重建任务和多个案例研究。实验结果表明，所提出的HEER模型的有效性和效用的边缘表示和异构度量。代码和数据可在https://github.com/GentleZhu/HEER上获得。
2018-07-10 cs.AI cs.LG cs.SI
A comprehensive empirical analysis on cross-domain semantic enrichment for detection of depressive language
University of Alberta（阿尔伯塔大学）
我们分析了创建词嵌入特征表示的过程，这些特征表示是为当注释数据稀缺时的学习任务而设计的，例如，在推文中的抑郁语言检测中。我们从一个从大型通用数据集预训练的丰富的词嵌入开始，然后通过一个简单的非线性映射机制，从一个更小、更具体的领域数据集学习嵌入。我们还尝试了其他几种更复杂的映射方法，包括几种基于自动编码器和基于自定义损失函数的方法，这些方法通过逐渐学习接近相似语义的单词和远离不相似语义的单词来学习嵌入表示。我们的强化表征更好地捕捉了抑郁领域的语义，因为它结合了从特定领域学到的语义和一般语言的词汇覆盖。我们还提出了一个比较性能分析我们的词嵌入表示与一个简单的词袋模型，众所周知的情感和心理语言学词典，和一般的预训练词嵌入。当用作几种不同的机器学习方法的特征表示时，包括抑郁推文识别任务中的深度学习模型，我们表明我们的增强词嵌入表示比其他表示获得了更好的F1分数，特别是当应用于高质量数据集时。此外，我们提出了几个数据消融测试，证实了我们的增强技术的有效性。
2021-06-24 cs.AI cs.CL cs.LG
Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations
Samsung AI Centre Toronto（多伦多三星人工智能中心）；York University（约克大学）；University of Toronto（多伦多大学）
概率嵌入已被证明对于捕获多义词含义以及图像匹配中的歧义是有用的。在本文中，我们研究了概率嵌入在跨模态设置（即，文本和图像），并提出了一种简单的方法，取代标准的矢量点嵌入在现有的图像-文本匹配模型与概率分布，参数学习。我们的指导假设是，概率嵌入中编码的不确定性捕获了输入实例中的跨模态模糊性，并且通过捕获这种不确定性，概率模型可以在下游任务中表现得更好，例如图像到文本或文本到图像检索。通过对标准和新基准的广泛实验，我们在跨模态检索中展示了概率表示的一致优势，并验证了我们的嵌入捕获不确定性的能力。
2022-04-20 cs.CL cs.CV cs.IR
Word Embedding-based Text Processing for Comprehensive Summarization and Distinct Information Extraction
School of Systems and Enterprises, Stevens Institute of Technology（史蒂文斯理工学院系统与企业学院）
在本文中，我们提出了两个自动化的文本处理框架，专门设计用于分析在线评论。第一个框架的目标是通过提取基本句子来总结评论数据集。这是通过将句子转换为数字向量并使用基于其相似性水平的社区发现算法对其进行聚类来执行的。然后，测量每个句子的相关性得分，以确定其在每个聚类中的重要性级别，并将其分配为该社区的标签。第二个框架是基于一个问答神经网络模型训练，以提取多个不同的问题的答案。收集的答案被有效地聚类，以找到客户可能提出的单个问题的多个不同答案。拟议的框架比现有的审查处理解决方案更全面。
2020-04-21 cs.CL cs.LG
STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting
Southern University of Science and Technology（南方科技大学）；The University of Tokyo（东京大学）；University of Technology Sydney（悉尼科技大学）
针对交通预测中捕捉复杂时空模式的难题，本研究提出时空自适应嵌入组件，搭配普通Transformer构建的STAEformer在5个真实数据集上达SOTA，验证了该嵌入在捕捉时空关联与时序信息上的关键作用。
2023-10-08 cs.LG
Text-ADBench: Text Anomaly Detection Benchmark Based on LLM Embeddings
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究构建了基于LLM嵌入的文本异常检测基准，通过多模型、多数据集的实验发现嵌入质量决定检测效果，深度学习方法在LLM嵌入下无性能优势，还提出了高效评估策略并开源工具包。
2026-08-25 cs.AI cs.CL cs.LG
Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics
University of Washington（华盛顿大学）；Information School（信息学院）；Birla Institute of Technology and Science（比尔拉科学技术学院）；Harvard University（哈佛大学）
语言语料库中的统计数据将众所周知的社会偏见编码到词嵌入中。在这里，我们专注于性别，以全面分析在互联网语料库上训练的广泛使用的静态英语词嵌入中基于群体的偏见（GloVe 2014，fastText 2017）。使用单类别词嵌入关联测试，我们证明了性别偏见的普遍存在，也显示出差异：（1）与男性和女性相关的词的频率;（b）性别相关词的词性标签;（c）性别相关词的语义类别;（d）性别相关词的效价，唤醒和优势。首先，在词频方面：我们发现，在词汇表中最常见的1,000个单词中，77%与男性的联系比女性更多，这为英语世界的日常语言中男性默认提供了直接证据。第二，转向词性：与男性相关的词最多的通常是动词（例如，fight，overpower），而与女性相关的最多的词通常是形容词和副词（例如，情感上的，情感上的）。嵌入中的性别偏见也渗透到词性中。第三，对于语义类别：自下而上，对与每个性别相关的前1,000个词进行聚类分析。与男性相关的概念包括大型科技、工程、宗教、体育和暴力的角色和领域;相比之下，与女性相关的概念则不太关注角色，包括女性特有的诽谤和性内容，以及外观和厨房术语。第四，从一个约20，000字的词汇，使用人类的评级的字的效价，唤醒，和优势，我们发现，男性相关的词更高的唤醒和优势，而女性相关的词更高的效价。
2022-06-07 cs.AI cs.CL cs.CY
TIGER-MARL: Enhancing Multi-Agent Reinforcement Learning with Temporal Information through Graph-based Embeddings and Representations
University of Southern California（美国南加州大学）；DEVCOM Army Research Office（国防部陆军研究办公室）
针对MARL方法忽略智能体交互时间演化的问题，本文提出TIGER框架，通过构建动态时间图并结合时间注意力编码器生成时间感知嵌入，在协调基准上持续优于基线，且经消融验证结构与时间因素的协同作用。
2025-11-11 cs.AI cs.LG
CardioEmbed: Domain-Specialized Text Embeddings for Clinical Cardiology
University of Nevada Las Vegas, Department of Neuroscience（内华达大学拉斯维加斯分校神经科学系）；Concorde Career Colleges, Department of Cardiovascular and Medical Diagnostic Sonography（康科德职业学院心血管与医学诊断超声系）
针对现有生物医学文本嵌入因依赖PubMed研究文献、与临床心脏病学依赖教材的需求存在差距的问题，本研究基于Qwen3-Embedding-8B训练领域专用模型CardioEmbed，在心脏病学教材语料上通过对比学习训练，显著提升了临床心脏病学语义检索性能及相关医学基准测试表现。
2025-11-14 cs.CL cs.LG
Where are we in embedding spaces? A Comprehensive Analysis on Network Embedding Approaches for Recommender Systems
University of Technology Sydney（悉尼科技大学）；Shandong University（山东大学）；The University of Queensland（昆士兰大学）
双曲空间和双曲嵌入成为推荐系统的一个热门研究领域。然而，在什么情况下应该考虑双曲空间还不清楚。为了填补这一空白，本文提供了理论分析和经验结果，何时以及在何处使用双曲空间和双曲嵌入的推荐系统。具体来说，我们回答了哪些类型的模型和数据集更适合双曲空间，以及选择哪种潜在大小的问题。我们通过比较欧氏空间和双曲空间在一般项目推荐领域和社会推荐领域的不同潜在空间模型上的性能来评估我们的答案，使用6个广泛使用的数据集和不同的潜在大小。此外，我们提出了一种新的基于度量学习的推荐方法SCML及其双曲线版本HSCML。我们评估我们的结论，双曲空间上SCML和显示的国家的最先进的性能，双曲空间比较HSCML与其他基线方法。
2021-05-19 cs.IR cs.LG
A Topical Approach to Capturing Customer Insight In Social Media
Université Claude Bernard Lyon 1（里昂第一大学）；INRIA（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；Lizeo IT（Lizeo IT公司）；Université Jean Monnet（圣艾蒂安大学）；Sorbonne Université（索邦大学）；Université Paul Sabatier（保罗·萨巴蒂埃大学）
针对社交媒体含噪声大数据下的无监督客户洞察提取难题，提出三种基于变分自编码器的非参数主题方法，在基准与汽车行业数据集上性能达SOTA水平，指出主题建模需优化评估指标。
2023-07-14 cs.CL cs.LG stat.ML
A Comprehensive Approach to Unsupervised Embedding Learning based on AND Algorithm
KAIST（韩国科学技术院）；National Cheng Kung University（国立成功大学）；Institute for Basic Science（基础科学研究所）
无监督嵌入学习旨在从数据中提取良好的表示，而不需要任何人工标签，这一直是许多监督学习任务的关键挑战。本文提出了一种新的无监督嵌入方法，称为Super-AND，它扩展了当前最先进的模型。Super-AND具有其独特的损失集，可以在低密度空间内收集附近的相似样本，同时保持不变的特征不受数据增强的影响。Super-AND优于所有现有的方法，并在CIFAR-10的图像分类任务上实现了89.2%的准确率。我们讨论了这种方法在协助半监督任务的实际意义。
2020-02-26 cs.CV cs.LG stat.ML
Language Agnostic Code Embeddings
Cohere For AI；MIT（麻省理工学院）；IBM Research（IBM研究院）
本文系统研究多语言代码嵌入，发现其包含语言特定与语言无关两个成分，并证明去除语言特定成分可显著提升代码检索性能，MRR绝对提升最高达17。
2023-10-25 cs.CL cs.LG
Graph Inference Representation: Learning Graph Positional Embeddings with Anchor Path Encoding
Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecom Research Institute（中国电信研究院）
结合图结构信息的学习节点表示有利于图上的广泛任务。大多数现有的图神经网络（GNN）在捕获给定节点的位置信息方面具有有限的能力。利用选定锚点定位节点的想法已经被利用，但主要依赖于距离信息的显式标记。在这里，我们提出了图推理表示（GIR），一个基于锚点的GNN模型编码与每个节点的预选锚点相关的路径信息。在GIR及其核心变体上，从理论和实验上研究了获得位置感知嵌入的能力。此外，GIR和典型的GNN之间的互补性被证明。我们表明，GIR在位置感知场景中表现出色，并且通过融合GIR嵌入可以提高典型GNN的性能。
2021-06-12 cs.AI cs.LG
Capturing Fine-grained Semantics in Contrastive Graph Representation Learning
Sun Yat-sen University（中山大学）
针对图对比学习忽视多样语义导致嵌入粗粒度的问题，提出FSGCL，通过基于模体的图构造和语义级对比任务捕获细粒度语义，并在五个数据集上验证其优于现有方法。
2023-04-23 cs.LG
A CNN-based Local-Global Self-Attention via Averaged Window Embeddings for Hierarchical ECG Analysis
Universidade Federal de Minas Gerais（巴西米纳斯吉拉斯联邦大学）
针对传统Transformer难以捕捉ECG局部形态特征的问题，提出LGA-ECG模型，结合卷积归纳偏置与全局自注意力，在CODE-15数据集上超越现有模型，展现临床部署潜力。
2025-04-13 cs.AI cs.LG eess.SP
A Comprehensive Study of Decoder-Only LLMs for Text-to-Image Generation
University of Maryland（马里兰大学）；NVIDIA（英伟达）
本研究针对现有文生图模型文本编码器过时的问题，构建标准化流程测试仅解码器LLMs作为文本编码器的效果，发现全层层归一化平均嵌入可提升复杂提示对齐度，多数LLMs性能优于T5基线。
2025-06-09 cs.AI cs.CL cs.CV
On a 'Two Truths' Phenomenon in Spectral Graph Clustering
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute for Defense Analyses（国防分析研究所）；University of Massachusetts（马萨诸塞大学）
聚类关注的是在没有任何明确的真实分组概念的情况下对观测数据进行连贯的分组。谱图聚类--根据图的谱嵌入对图的顶点进行聚类--通常通过由拉普拉斯或邻接谱嵌入（LSE或ASE）组成的K均值（或者更一般地，高斯混合模型）聚类来实现。最近的理论结果提供了新的理解的问题和解决方案，并导致我们的“两个真理”的LSE与ASE频谱图聚类现象令人信服地说明了这里通过扩散MRI连接体数据集：不同的嵌入方法产生不同的聚类结果，与LSE捕获左半球/右半球的亲和结构和ASE捕获灰质/白质的核心-外围结构。
2019-02-11 cs.LG stat.ML
Capturing the Temporal Dependence of Training Data Influence
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Virginia Tech（弗吉尼亚理工大学）
针对传统影响函数无法适配现代训练对数据排序敏感的问题，该研究提出轨迹特定留一法影响的形式化定义，并通过数据值嵌入技术高效近似计算，揭示了数据影响的阶段特性，为数据策展提供了新思路。
2024-12-12 cs.LG stat.ML
SENSE: Semantically Enhanced Node Sequence Embedding
IBM T.J. Watson Research（IBM托马斯·J·沃森研究中心）；Army Research Lab（美国陆军研究实验室）；IBM Research（IBM研究院）；Cardiff University（卡迪夫大学）
以向量嵌入的形式有效地捕获图节点序列对许多应用至关重要。我们通过（i）首先学习单个图节点的向量嵌入，（ii）然后将它们组合起来以压缩表示节点序列。具体来说，我们提出了SENSE-S（Semantically Enhanced Node Sequence Embedding - for Single nodes），这是一种基于skip-gram的新型嵌入机制，用于共同学习图形结构及其文本描述的单个图形节点。我们证明，在使用真实数据集的各种场景下，SENSE-S向量将多标签分类任务的准确性提高了50%，将链接预测任务提高了78%。基于SENSE-S，我们接下来提出通用SENSE来计算表示节点序列的复合向量，其中保持节点顺序很重要。我们证明了这种方法是有效的嵌入节点序列，我们对真实数据的实验证实了它在节点顺序解码的高精度。
2019-11-07 cs.CL cs.LG stat.ML
Embedding-Enhanced Probabilistic Modeling of Ferroelectric Field Effect Transistors (FeFETs)
University of Tennessee（田纳西大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Fraunhofer IPMS（弗劳恩霍夫光子和微系统研究所）
针对FeFET建模中的随机性问题，提出基于MDN的增强概率框架，集成平滑激活与设备嵌入层，以R²=0.92准确捕捉电流变异性，支持变异性感知仿真与电路集成。
2025-08-02 cs.ET cs.LG
Enhancing VICReg: Random-Walk Pairing for Improved Generalization and Better Global Semantics Capturing
Department of Computer Science Bar-Ilan University（计算机科学系巴伊兰大学）；Electrical and Computer Engineering Technion（电子与计算机工程技术ion）
本文提出SAG-VICReg，通过随机游走配对等新训练技术增强VICReg，改善全局语义捕获和泛化能力，并引入无需标签的全局结构评估指标，实验验证其超越多种最先进自监督基线。
2025-06-22 cs.CV cs.LG
Capturing Context-Aware Route Choice Semantics for Trajectory Representation Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang Lab（之江实验室）；Zhejiang Provincial Engineering Research Center for Real-Time SmartTech in Urban Security Governance, Hangzhou City University（浙大城市学院浙江省城市安全治理实时智能技术工程研究中心）；School of Software Technology, Zhejiang University（浙江大学软件学院）；Polytechnic Institute of Zhejiang University（浙江大学工程师学院）
提出CORE框架，通过多粒度环境感知模块和基于混合专家架构的路径选择编码器，将上下文感知的路径选择语义融入轨迹嵌入，在6个下游任务中平均提升9.20%。
2026-07-01 cs.CV cs.LG
RGCF: Refined Graph Convolution Collaborative Filtering with concise and expressive embedding
Hefei University of Technology（合肥工业大学）
图卷积网络（GCN）已经引起了极大的关注，并成为最流行的学习图表示的方法。近年来，许多努力都集中在将GCN集成到推荐任务中，并取得了显着的进展。其核心是明确地捕捉用户-项目二分图中节点之间的高阶连接性。然而，我们从理论和经验上发现，这些基于GCN的推荐方法存在一个固有的缺点，GCN直接应用于聚合相邻节点会引入噪声和信息冗余。因此，这些模型捕捉不同节点之间的高阶连接的能力是有限的，导致推荐任务的次优性能。其主要原因是GCN结构中的非线性网络层不适合协同过滤场景中的非语义特征（如独热ID特征）的提取。在这项工作中，我们开发了一个新的基于GCN的协同过滤模型，命名为精炼图卷积协同过滤（RGCF），其中用户（项目）的嵌入的建设是从几个方面精心重新设计的聚合过程中的图。与最先进的基于GCN的推荐相比，RGCF更能够捕获图内部的隐式高阶连接性，并且结果向量表示更具表达力。我们在三个公开的百万级数据集上进行了广泛的实验，证明我们的RGCF显著优于最先进的模型。我们在https://github.com/hfutmars/RGCF上发布代码。
2020-07-11 cs.IR cs.LG stat.ML
Parametric UMAP embeddings for representation and semi-supervised learning
UC San Diego（加州大学圣迭戈分校）；Tutte Institute for Mathematics and Computing（图特数学与计算研究所）
UMAP是一种基于非参数图的降维算法，使用应用黎曼几何和代数拓扑来找到结构化数据的低维嵌入。UMAP算法由两个步骤组成：（1）计算数据集的图形表示（模糊单纯复形），以及（2）通过随机梯度下降，优化图的低维嵌入。在这里，我们将UMAP的第二步扩展到神经网络权重的参数优化，学习数据和嵌入之间的参数关系。我们首先证明了参数UMAP执行非参数映射，同时赋予学习参数映射的好处（例如，新数据的快速在线嵌入）。然后，我们探索UMAP作为正则化，约束自动编码器的潜在分布，参数变化的全局结构保存，并通过捕获未标记数据中的结构来提高半监督学习的分类器精度。Google Colab演练：https://colab.research.google.com/drive/1WkXVZ5pnMrm17m0YgmtoNjM_XHdnE5Vp? usp=共享
2021-08-29 cs.CG cs.LG q-bio.QM
A Comprehensive Analytical Survey on Unsupervised and Semi-Supervised Graph Representation Learning Methods
Indiana University（印第安纳大学）
图表示学习是一个快速发展的领域，其主要目标之一是在低维空间中生成有意义的图表示。学习的嵌入已成功地应用于执行各种预测任务，如链接预测，节点分类，聚类和可视化。图学习社区的集体努力已经提供了数百种方法，但没有一种方法在所有评估指标（如预测准确性，运行时间，可扩展性等）下表现出色。本调查旨在通过考虑算法变化，参数选择，可扩展性，硬件和软件平台，下游ML任务和不同的数据集来评估所有主要类别的图嵌入方法。我们使用一种分类法来组织图嵌入技术，该分类法包括来自手动特征工程、矩阵分解、浅层神经网络和深层图卷积网络的方法。我们使用广泛使用的基准图评估了节点分类、链接预测、聚类和可视化任务的这些类算法。我们在PyTorch Geometric和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格审查嵌入方法的性能在各种性能指标，并总结结果。因此，本文可作为一个比较指南，以帮助用户选择最适合他们的任务的方法。
2021-12-20 cs.DC cs.LG
