Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University（卡内基梅隆大学）
预训练的词嵌入是几个自然语言处理（NLP）任务中迁移学习的主要方法。最近的工作集中在使用无监督技术，如语言建模，以获得这些嵌入。相比之下，这项工作的重点是从多个预先训练的监督模型中提取表示，这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明，这种监督嵌入是有帮助的，特别是在低资源环境中，但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer
Microsoft Research AI（微软研究院人工智能）；University of California, Los Angeles（加州大学洛杉矶分校）
多语言表示将来自许多语言的单词嵌入到单个语义空间中，使得具有相似含义的单词彼此接近，而不管语言。这些嵌入已被广泛用于各种环境中，例如跨语言迁移，其中在一种语言上训练的自然语言处理（NLP）模型被部署到另一种语言。虽然跨语言迁移技术是强大的，他们携带性别偏见从源语言到目标语言。在本文中，我们研究了多语言嵌入中的性别偏见以及它如何影响自然语言处理应用程序的迁移学习。我们创建了一个多语言数据集的偏见分析，并提出了几种方法来量化偏见的多语言表示从内在和外在的角度。实验结果表明，当我们将嵌入对齐到不同的目标空间时，多语言表示中的偏差大小会发生不同的变化，并且对齐方向也会对迁移学习中的偏差产生影响。我们还提供了使用多语言单词表示的下游任务的建议。
2020-05-02 cs.CL cs.CY cs.LG
MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control
MMLab, The Chinese University of Hong Kong（香港中文大学MMLab）；ByteDance（字节跳动）
本文提出MMEmb-R1框架，通过引入配对感知推理选择和强化学习，解决多模态嵌入中推理与对比监督不匹配及推理冗余的问题，实验显示其在MMEB-V2基准上达到71.2分，参数更少且推理效率更高。
2026-08-27 cs.AI cs.CL cs.CV
DANE: Domain Adaptive Network Embedding
Peking University（北京大学）
最近的工作表明，网络嵌入技术使许多机器学习模型能够处理图结构数据上的各种下游任务。然而，由于以前的方法通常专注于学习单个网络的嵌入，它们不能学习在多个网络上可转移的表示。因此，设计一种网络嵌入算法来支持不同网络上的下游模型传输，称为领域自适应，是非常重要的。本文提出了一种新的域自适应网络嵌入框架，该框架利用图卷积网络学习可转移的嵌入。在DANE中，来自多个网络的节点通过一组共享的可学习参数编码为向量，以便向量共享对齐的嵌入空间。不同网络上的嵌入分布通过对抗学习正则化进一步对齐。此外，DANE在学习可迁移网络嵌入方面的优势也得到了理论上的保证。大量的实验表明，该框架在跨网络领域自适应任务中优于其他最先进的网络嵌入基线。
2019-08-19 cs.LG cs.SI stat.ML
GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Google, Inc.（谷歌公司）；New York University（纽约大学）
现代深度迁移学习方法主要集中在从一个任务中学习可转移到其他任务的通用特征向量，例如语言中的词嵌入和视觉中的预训练卷积特征。然而，这些方法通常转移一元特征，并在很大程度上忽略了更结构化的图形表示。这项工作探索了学习通用潜在关系图的可能性，这些图捕获了数据单元对之间的依赖关系（例如，字或像素），并将图形传输到下游任务。我们提出的迁移学习框架提高了各种任务的性能，包括问答，自然语言推理，情感分析和图像分类。我们还表明，学习的图是通用的，足以被转移到不同的嵌入上，图还没有被训练（包括GloVe嵌入，ELMo嵌入，和特定于任务的RNN隐藏单元），或嵌入免费的单位，如图像像素。
2018-07-02 cs.CL cs.CV cs.LG
GlobalWalk: Learning Global-aware Node Embeddings via Biased Sampling
Shanghai Jiao Tong University（上海交通大学）
流行的节点嵌入方法，如DeepWalk，遵循在图上执行随机遍历的范式，然后要求每个节点接近与它一起出现的节点。虽然在各种任务中被证明是成功的，但这种范式将具有拓扑结构的图简化为一组连续的句子，从而省略了全局信息。为了产生全局感知的节点嵌入，我们提出了GlobalWalk，这是一种偏向于语义相似的节点的随机游走策略。经验证据表明，GlobalWalk通常可以提高全球对生成的嵌入的认识。
2022-05-30 cs.AI cs.LG
Knowledge Graph Embedding using Graph Convolutional Networks with Relation-Aware Attention
IBM Research - Almaden（IBM阿尔马登研究中心）；IBM Research - Zurich（IBM苏黎世研究中心）
知识图谱嵌入方法学习低维空间中的实体和关系的嵌入，其可用于各种下游机器学习任务，诸如链接预测和实体匹配。已经提出了各种图卷积网络方法，其使用不同类型的信息来学习实体和关系的特征。然而，这些方法在聚合信息时为邻居分配相同的权重（重要性），忽略了与邻居实体的不同关系的作用。为此，我们提出了一个关系感知的图注意力模型，利用关系信息来计算不同的权重到相邻节点学习嵌入的实体和关系。我们评估我们提出的方法上的链接预测和实体匹配任务。我们在三个数据集（一个专有数据集和两个公共数据集）上的链接预测实验结果和在一个专有数据集上的无监督实体匹配实验结果证明了关系感知注意的有效性。
2021-02-14 cs.AI cs.LG
A Geometry-Aware Algorithm to Learn Hierarchical Embeddings in Hyperbolic Space
Alibaba Inc.（阿里巴巴集团）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Purdue University（普渡大学）
针对双曲空间与欧氏空间几何差异导致层次数据双曲嵌入学习困难的问题，提出一种利用膨胀操作和传递闭包正则化解决三类病态问题的几何感知算法，实验证明其性能优越。
2024-07-23 cs.AI cs.LG
Swift and Sure: Hardness-aware Contrastive Learning for Low-dimensional Knowledge Graph Embeddings
Dalian University of Technology（大连理工大学）；Macquarie University（麦考瑞大学）
知识图谱嵌入在知识图谱自动补全和知识驱动任务中显示出巨大的潜力。然而，最近的KGE模型遭受高训练成本和大存储空间，从而限制了它们在现实世界中的应用的实用性。为了应对这一挑战，基于对比学习领域的最新研究成果，我们提出了一种新的KGE训练框架，称为Hardness-aware Low-dimensional Embedding（HaLE）。在查询抽样的基础上，设计了一种新的损失函数，取代了传统的负抽样方法，该函数能够平衡两个重要的训练目标：对齐度和一致性。此外，我们分析了最近的低维双曲模型的硬度感知能力，并提出了一个轻量级的硬度感知激活机制。实验结果表明，在有限的训练时间内，HaLE能有效提高KGE模型在5种常用数据集上的性能和训练速度.经过几分钟的训练后，HaLE训练的模型在低维和高维条件下与最先进的模型相比都具有竞争力。
2022-05-24 cs.AI cs.LG
Type-aware Embeddings for Multi-Hop Reasoning over Knowledge Graphs
Shanxi University（山西大学）；Cardiff University（卡迪夫大学）；A*STAR（新加坡科技研究局）；University of Edinburgh（爱丁堡大学）
基于真实知识图谱的多跳推理是一个极具挑战性的问题，传统的子图匹配方法无法处理噪声和缺失信息。为了解决这个问题，它最近已经推出了一种很有前途的方法，基于联合嵌入逻辑查询和KG到一个低维空间，以确定答案实体。然而，现有的建议忽略了关键的语义知识固有的KG，如类型信息。为了利用类型信息，我们提出了一种新的类型感知的消息传递（TEMP）模型，它增强了查询中的实体和关系表示，同时提高了泛化，演绎和归纳推理。值得注意的是，TEMP是一个即插即用的模型，可以很容易地集成到现有的基于嵌入的模型中，以提高其性能。在三个真实数据集上的大量实验证明了TEMP的有效性。
2022-07-04 cs.AI cs.LG
ComDensE : Combined Dense Embedding of Relation-aware and Common Features for Knowledge Graph Completion
Kakao Enterprise（Kakao企业）；Korea University（高丽大学）
现实世界的知识图谱（KG）大多是不完整的。恢复缺失关系的问题，称为KG完成，最近已成为一个活跃的研究领域。知识图谱（KG）嵌入作为实体和关系的低维表示，是KG完备化的关键技术。诸如ConvE、SACN、InteractE和RGCN等模型中的卷积神经网络最近取得了成功。本文采取了不同的架构视图，并提出了ComDensE，它结合了关系感知和常见的功能，使用密集的神经网络。在关系感知的特征提取中，我们试图通过应用特定于每个关系的编码函数来创建关系归纳偏差。在公共特征提取中，我们将公共编码函数应用于所有输入嵌入。这些编码功能使用ComDensE中的密集层实现。与以前的基线方法相比，ComDensE在链接预测中的MRR、FB 15 k-237上的HIT@1和WN 18 RR上的HIT@1方面实现了最先进的性能。我们进行了广泛的消融研究，以检查ComDensE的关系感知层和公共层的影响。实验结果表明，在ComDensE实现的组合密集架构达到最佳性能。
2022-06-29 cs.AI cs.LG
Entity Aware Negative Sampling with Auxiliary Loss of False Negative Prediction for Knowledge Graph Embedding
Kakao Enterprise Corp.（Kakao企业公司）
知识图谱（KG）嵌入被广泛用于使用KG的许多下游应用中。通常，由于KG仅包含地面真值三元组，因此需要构造任意负样本以用于KG的表示学习。近年来，由于负三元组的质量对KG嵌入有很大的影响，人们研究了各种高质量负样本的采样方法。本文提出了一种新的实体感知负采样（Entity Aware Negative Sampling，EANS）方法，该方法通过对对齐后的实体索引空间采用高斯分布，能够对与正实体相似的负实体进行采样。此外，我们为假阴性预测引入了辅助损失，可以减轻采样的假阴性三元组的影响。无论阴性样本大小如何，该方法都可以生成高质量的阴性样本，并有效减轻假阴性样本的影响。标准基准测试的实验结果表明，我们的EANS优于现有的国家的最先进的负采样方法在几个知识图谱嵌入模型。此外，所提出的方法实现了竞争力的性能，即使当负样本的数量被限制为只有一个。
2022-10-12 cs.AI cs.LG
Demographic Aware Probabilistic Medical Knowledge Graph Embeddings of Electronic Medical Records
University of Bonn（波恩大学）
由电子病历构建的医学知识图谱包含了丰富的患者和医疗实体信息。KG嵌入模型在这些数据上的利用已被证明对于不同的医疗任务是有效的。然而，现有的模型没有适当地纳入患者的人口统计数据，他们中的大多数忽略了医疗KG的概率特征。在本文中，我们提出了DARLING（人口统计学感知pRobabiListic medIcal kNowledge embeddinG），一个人口统计学感知的医疗KG嵌入框架，通过将患者人口统计数据与相应的超平面相关联，明确地将人口统计数据纳入医疗实体空间。我们的框架利用医疗实体内的概率特征，通过人口统计学指导来学习它们的表示。我们评估DARLING通过链接预测的治疗和药物，从EMR数据构建的医疗KG，并说明其优越的性能相比，现有的KG嵌入模型。
2021-04-03 cs.AI cs.IR cs.LG
Dynamics-aware Embeddings
New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
在本文中，我们考虑自监督表示学习，以提高样本效率的强化学习（RL）。我们提出了一个前向预测目标，同时学习嵌入的状态和动作序列。这些嵌入捕获环境动态的结构，从而实现高效的策略学习。我们证明，我们的动作嵌入单独提高样本效率和峰值性能的无模型RL控制从低维状态。通过结合状态和动作嵌入，我们可以在仅1-2百万个环境步骤中从像素观察中有效学习目标条件连续控制的高质量策略。
2020-01-14 cs.AI cs.LG stat.ML
QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings
Oracle Labs（甲骨文实验室）；AEHRC, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
我们提出了一个简单而有效的嵌入模型来学习知识图谱中实体和关系的四元数嵌入。我们的模型旨在增强头部和尾部实体之间的相关性，给定四元数空间内的关系与汉密尔顿产品。该模型通过进一步将每个关系与两个关系感知旋转相关联来实现这一目标，这两个关系感知旋转分别用于旋转头部和尾部实体的四元数嵌入。实验结果表明，我们提出的模型产生国家的最先进的性能在著名的基准数据集知识图谱完成。我们的代码可从以下网址获得：\url{https://github.com/daiquocnguyen/QuatRE}。
2022-03-08 cs.AI cs.CL cs.LG
Enhancing Tabular Learners with Context-Aware Semantic Embeddings
该研究提出CASE框架，结合LLMs语义理解与表格学习器统计能力，通过预填充Gemma 3表格语言模型KV缓存建立语义锚点，在CARTE等基准上显著提升表格学习器在语义丰富数据集的低数据场景性能。
2026-10-12 cs.AI cs.LG
On the Transferability of VAE Embeddings using Relational Knowledge with Semi-Supervision
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；City University of London（伦敦城市大学）
我们提出了一个新的关系VAE半监督模型，能够平衡解纠缠和低复杂度的关系建模与不同的符号属性。我们比较了关系解码器复杂度和潜在空间结构对归纳和转导迁移学习的相对好处。我们的研究结果描绘了一个复杂的画面，在半监督表示上强制执行结构可以大大提高zero-shot转导传输，但可能不太有利，甚至对感应传输的能力产生负面影响。
2020-11-13 cs.AI cs.LG
Can Neural Networks Provide Latent Embeddings for Telemetry-Aware Greedy Routing?
Autonomous Learning Robots, Karlsruhe Institute of Technology, Germany（自主学习机器人，卡尔斯鲁厄大学技术与科学学院）
Placer通过信息传递网络将网络状态转换为潜在嵌入，实现高效贪心路由并可视化网络事件对路由决策的影响。
2026-02-13 cs.AI cs.LG cs.NI
Spurious Correlation-Aware Embedding Regularization for Worst-Group Robustness
Yonsei University（延世大学）；LG CNS；Korea Development Bank（韩国发展银行）
SCER通过正则化特征表示，减少模型对虚假线索的依赖，提升最差群体的鲁棒性。
2026-03-02 cs.AI cs.LG
LightSAE: Parameter-Efficient and Heterogeneity-Aware Embedding for IoT Multivariate Time Series Forecasting
Department of Electrical Engineering, Tsinghua University（清华大学电子工程系）
针对IoT多元时间序列预测中共享嵌入掩盖通道特定信息的问题，提出LightSAE模块，通过低秩分解与共享门控组件池实现参数高效的异构感知嵌入，在多数据集和架构上以极低参数开销显著提升预测精度。
2025-10-12 cs.AI cs.LG
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide（阿德莱德大学）；Macquarie University（麦考瑞大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
在过去的几十年里，知识感知方法已经推动了一系列自然语言处理应用。近年来，作为自然语言处理应用之一的文档摘要领域，知识的应用越来越受到人们的关注。以前的工作报告说，知识嵌入式文档摘要擅长生成卓越的摘要，特别是在信息量，连贯性和事实的一致性。本文旨在提出第一个系统的调查，为国家的最先进的方法，将知识嵌入到文档摘要。特别是，我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入，特别是深度学习模型。最后，我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
Embedding Transfer with Label Relaxation for Improved Metric Learning
POSTECH（浦项科技大学）
本文提出了一种新的嵌入转移方法，将学习到的嵌入模型的知识转移到另一个。我们的方法利用源嵌入空间中样本之间的成对相似性作为知识，并通过用于学习目标嵌入模型的损失来转移它们。为此，我们设计了一个新的损失称为放松对比损失，它采用成对的相似性作为放松标签的样本间的关系。我们的损失提供了一个丰富的监督信号超越类等价，使更重要的对有助于更多的训练，并没有限制目标嵌入空间的流形。在度量学习基准上的实验表明，该方法大大提高了性能，或者有效地减少了目标模型的大小和输出维度。我们进一步表明，它也可以用来提高质量的自我监督表示和分类模型的性能。在所有的实验中，我们的方法明显优于现有的嵌入转移技术。
2021-03-27 cs.AI cs.CV cs.LG
LightCAKE: A Lightweight Framework for Context-Aware Knowledge Graph Embedding
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
知识图谱嵌入（KGE）模型学习基于观察到的三元组将符号实体和关系投影到连续向量空间中。然而，现有的KGE模型不能在图上下文和模型复杂度之间做出适当的权衡，这使得它们仍然远远不能令人满意。在本文中，我们提出了一个轻量级的框架名为LightCAKE上下文感知KGE。LightCAKE显式地对图上下文进行建模，而不引入冗余的可训练参数，并使用迭代聚合策略将上下文信息集成到实体/关系嵌入中。作为一个通用的框架，它可以用于许多简单的KGE模型，以实现出色的结果。最后，在公共基准上的大量实验证明了我们的框架的效率和有效性。
2021-03-04 cs.AI cs.CL cs.LG
Text Classification through Glyph-aware Disentangled Character Embedding and Semantic Sub-character Augmentation
Hosei University（法政大学）
我们提出了一个新的基于字符的文本分类框架的非字母的语言，如中文和日语。我们的框架包括一个变分字符编码器（VCE）和字符级文本分类器。VCE由一个$β$ -变分自动编码器（$β$ -VAE）组成，该编码器学习所提出的字形感知解纠缠字符嵌入（GDCE）。由于GDCE提供了零均值单位方差的特征嵌入，是维度独立的，它适用于我们的可解释的数据增强，即语义子字符增强（SSA）。在本文中，我们评估了我们的框架，使用日本文本分类任务的文件和文件级别。我们证实，我们的GDCE和SSA不仅提供了嵌入的可解释性，但也提高了分类性能。我们的建议取得了竞争力的结果，国家的最先进的模型，同时还提供模型的可解释性。我们的代码可在https://github.com/IyatomiLab/GDCE-SSA上获得
2020-11-09 cs.AI cs.CL cs.LG
Source-Aware Embedding Training on Heterogeneous Information Networks
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）；TCL Corporate Research (Hong Kong)（TCL（香港）公司研究院）
针对异构信息网络中多源子图分布差异被忽视的问题，本文提出可扩展无监督框架SUMSHINE，通过对齐多源嵌入分布提升图嵌入学习效果，并在多个下游任务中验证其优于现有方法。
2023-07-10 cs.AI cs.LG cs.SI
A Framework for Joint Unsupervised Learning of Cluster-Aware Embedding for Heterogeneous Networks
Technical University of Munich（慕尼黑工业大学）；Mercateo AG（Mercateo公司）
异构信息网络（HIN）嵌入是指保持HIN结构和语义的HIN节点的低维投影。HIN嵌入已经成为网络分析的一个有前途的研究领域，因为它可以实现聚类和节点分类等下游任务。在这项工作中，我们提出了\ours集群嵌入以及集群感知HIN嵌入的联合学习。我们假设连接的节点很有可能落在同一个集群，并采用变分的方法来保持信息的成对关系在集群感知的方式。此外，我们部署对比模块，同时利用多个元路径中的信息，从而缓解元路径选择问题-许多著名的HIN嵌入方法所面临的挑战。HIN嵌入，从而学习，不仅提高了聚类性能，但也保留了成对的接近度以及高阶HIN结构。我们通过将其与三个真实数据集上的聚类和下游节点分类的许多竞争基线进行比较，展示了我们方法的有效性。
2021-08-09 cs.LG
Relation-aware Ensemble Learning for Knowledge Graph Embedding
Tsinghua University（清华大学）；Paradigm Inc.（第四范式公司）；Tencent YouTu Lab（腾讯优图实验室）
本文提出关系感知集成学习框架RelEns-DSC，通过分治合并算法独立搜索关系级权重，在保持计算成本的同时提升知识图谱嵌入性能，并在基准数据集上达到最先进水平。
2023-10-13 cs.AI cs.CL cs.LG
Abundance-Aware Set Transformer for Microbiome Sample Embedding
Drexel University（德雷塞尔大学）
本文提出丰度感知的Set Transformer变体，通过按相对丰度复制序列嵌入并进行自注意力聚合，构建微生物组样本级嵌入，在真实分类任务上优于平均池化和未加权Set Transformer，验证了丰度感知聚合的有效性。
2025-08-14 cs.LG
Struc-EMB: The Potential of Structure-Aware Encoding in Language Embeddings
Georgia Institute of Technology（佐治亚理工学院）
本文提出将结构关系直接整合到LLM内部编码过程的结构感知文本嵌入新范式，通过顺序拼接和并行缓存方法，结合Context Distillation与Semantic Balancing技术，在多项任务中显著超越基线。
2025-10-09 cs.AI cs.CL cs.LG
Embedding-Aware Feature Discovery: Bridging Latent Representations and Interpretable Features in Event Sequences
Sber AI Lab（Sber AI实验室）；ISP RAS Research Center for Trusted AI（俄罗斯科学院信息与系统研究所可信人工智能研究中心）
本文提出EAFD框架，通过结合预训练事件序列嵌入与自反思LLM驱动特征生成代理，解决嵌入与特征管道间的断层问题，实现特征的发现、评估与优化，提升事件序列处理性能。
2026-03-16 cs.AI cs.IR cs.LG
PrefixMol: Target- and Chemistry-aware Molecule Design via Prefix Embedding
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Shenzhen Technology University（深圳技术大学）
是否有一个统一的模型来产生考虑不同条件的分子，如结合口袋和化学性质？尽管靶点感知生成模型在药物设计方面取得了重大进展，但它们不考虑化学条件，无法保证所需的化学性质。不幸的是，将目标感知和化学感知模型合并为一个统一的模型以满足定制的需求可能会导致负迁移问题。受NLP领域多任务学习成功的启发，我们使用前缀嵌入来提供一种新的生成模型，该模型考虑了目标口袋的情况和各种化学性质。所有的条件信息都表示为可学习的特征，生成模型随后将其用作上下文提示。实验表明，该模型在单条件和多条件分子生成中均表现出良好的可控性。可控性使我们能够超越以前的基于结构的药物设计方法。更有趣的是，我们开放了注意力机制，揭示了条件之间的耦合关系，为多条件分子生成提供了指导。
2023-02-14 cs.AI cs.LG q-bio.BM
Compatibility-aware Heterogeneous Visual Search
AWS/Amazon AI（亚马逊网络服务/亚马逊人工智能）；Georgia Institute of Technology（佐治亚理工学院）
我们解决了资源限制下的视觉搜索问题。现有系统使用相同的嵌入模型来计算查询和图库图像的表示（嵌入）。这样的系统本质上面临着一个很难的准确性-效率权衡：嵌入模型需要足够大以确保高准确性，但又足够小以在资源受限的平台上实现查询嵌入计算。如果图库嵌入是从大型模型中生成的，而查询嵌入是使用紧凑模型提取的，则可以减轻这种权衡。构建这样一个系统的关键是确保查询和图库模型之间的表示兼容性。在本文中，我们解决了两种形式的兼容性：一种是通过修改计算嵌入的每个模型的参数来实现的。另一种是通过修改计算嵌入的架构，导致兼容性感知神经架构搜索（CMP-NAS）。我们在具有挑战性的时尚图像（DeepFashion 2）和人脸图像（IJB-C）检索任务上测试了CMP-NAS。与使用最大嵌入模型（paragon）的普通（同质）视觉搜索相比，CMP-NAS实现了80倍和23倍的成本降低，同时在DeepFashion 2和IJB-C上分别将准确率保持在paragon的0.3%和1.6%以内。
2021-05-13 cs.AI cs.CV cs.LG
Multi-Relation Aware Temporal Interaction Network Embedding
Zhejiang University（浙江大学）
时间交互网络在许多领域中形成，例如，电子商务、在线教育和社交网络服务。时态交互网络嵌入可以有效地挖掘时态交互网络中的信息，对上述领域具有重要意义。通常，交互的发生不仅影响直接参与交互的节点（交互节点），而且影响交互节点的邻居节点。然而，现有的时态交互网络嵌入方法只利用历史交互关系挖掘邻居节点，忽略了其他关系类型。本文提出了一种多关系感知的时态交互网络嵌入方法（MRATE）。MRATE基于历史交互，挖掘历史交互关系、共同交互关系和交互序列相似关系，得到交互节点的邻居嵌入。MRATE中的层次多关系感知聚集方法首先利用图注意力网络（GATs）聚集通过同一关系类型传播的交互影响，然后通过自注意机制将聚集的多关系类型的交互影响合并。在三个公开的时态交互网络数据集上进行了实验，实验结果表明了MRATE的有效性。
2021-10-09 cs.LG
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
RWTH Aachen（亚琛工业大学）；L3S Research Center（L3S研究中心）；University of Mannheim（曼海姆大学）；GESIS（盖泽斯社会科学研究所）；CSH Vienna（维也纳复杂科学中心）
为词嵌入添加可解释性是文本表示的一个活跃研究领域。最近的工作已经探索了通过所谓的极性维度（例如好与坏，正确与错误）嵌入单词的潜力。这些最近的方法的例子包括SemAxis、POLAR、FrameAxis和BiImp。虽然这些方法为词提供了可解释的维度，但它们并不是为了处理一词多义而设计的，即它们不能很容易地区分词的不同意义。为了解决这个问题，我们提出了SensePOLAR，原来的POLAR框架的扩展，使预先训练的上下文词嵌入的词义感知可解释性。由此产生的可解释的词嵌入实现的性能水平，可与原始的上下文词嵌入在各种自然语言处理任务，包括GLUE和SQuAD基准。我们的工作消除了现有方法的一个根本限制，为用户提供上下文词嵌入的感知解释。
2023-01-11 cs.CL cs.LG
TEPI: Taxonomy-aware Embedding and Pseudo-Imaging for Scarcely-labeled Zero-shot Genome Classification
Auburn University（奥本大学）；Oklahoma State University（俄克拉荷马州立大学）；Oklahoma Animal Disease Diagnostics Laboratory, College of Veterinary Medicine, Oklahoma State University（俄克拉荷马州立大学兽医学院俄克拉荷马动物疾病诊断实验室）
针对物种标签长尾且标注稀缺的全基因组分类问题，提出 TEPI，将基因组表示为伪图像并映射到分类学感知嵌入空间，以零样本方式实现大规模物种泛化分类。
2024-01-24 cs.AI cs.LG q-bio.GN
Improved Semantic-Aware Network Embedding with Fine-Grained Word Alignment
Duke University（杜克大学）
网络嵌入学习大规模网络中每个顶点的低维表示，近年来受到了相当大的关注。对于广泛的应用，在网络中的顶点通常伴随着丰富的文本信息，如用户简档，论文摘要等，我们建议将语义特征到网络嵌入匹配的文本序列之间的所有对顶点的重要单词。我们引入了一个字的字对齐框架，衡量词对之间的嵌入的兼容性，然后自适应地积累这些对齐功能与一个简单而有效的聚合函数。在实验中，我们评估所提出的框架在三个现实世界的基准下游任务，包括链接预测和多标签顶点分类。结果表明，我们的模型优于国家的最先进的网络嵌入方法的大幅度。
2018-08-29 cs.AI cs.CL cs.LG
TeRo: A Time-aware Knowledge Graph Embedding via Temporal Rotation
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息学研究所）
在过去的几年里，人们对学习知识图谱中实体和关系的表示产生了浓厚的兴趣。然而，最近可用的时间知识图（TKG），包含每个事实的时间信息，需要在这样的TKG推理超时。在这方面，我们提出了一种新的TKG嵌入的方法，TeRo，它定义的实体嵌入的时间演化作为一个旋转从初始时间到当前时间在复向量空间。特别地，对于涉及时间间隔的事实，每个关系被表示为一对对偶复嵌入，以分别处理关系的开始和结束。我们表明，我们提出的模型克服了现有的KG嵌入模型和TKG嵌入模型的局限性，并具有学习和推断各种关系模式随着时间的推移的能力。四个不同的TKG上的实验结果表明，TeRo显着优于现有的最先进的链接预测模型。此外，我们还分析了时间粒度对TKG上链接预测的影响，据我们所知，这在以前的文献中还没有研究过。
2020-10-24 cs.AI cs.CL cs.LG
Instruction-aware User Embedding via Synergistic Language and Representation Modeling
Zhejiang University（浙江大学）
提出指令感知用户嵌入基础模型InstructUE，通过多编码器架构与对比-自回归训练框架融合语言与表示空间，在多场景下显著提升跨领域泛化与抗噪能力。
2025-10-13 cs.LG
LE4Mob: Towards Inductive, Distance-Aware and General-Purpose Location Embedding for Human Mobility Modelling
University College London（伦敦大学学院）；The Chinese University of Hong Kong（香港中文大学）；Wuhan University（武汉大学）；The Alan Turing Institute（艾伦·图灵研究所）
LE4Mob提出一种归纳式、距离感知且源自地理信息的位置嵌入框架，通过对比预训练和距离正则化，在下一位置预测和通勤流生成任务中优于强基线，支持未见位置并跨任务迁移。
2026-09-22 cs.LG
Time-aware Graph Embedding: A temporal smoothness and task-oriented approach
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Victoria University（维多利亚大学）；Simon Fraser University（西蒙弗雷泽大学）；South China University of Technology（华南理工大学）
知识图谱嵌入是近年来研究的热点之一，其目的是学习实体和关系的低维表示。然而，大多数知识图谱的嵌入方法只关注固定三元组中的结构关系，而忽略了时态信息。目前，已有的时间感知图嵌入方法只关注事实的可扩展性，而忽略了时间平滑性。时间平滑性是描述事实与其上下文之间交互的模型，因此能够捕获细粒度的时间关系。这导致嵌入相关应用程序的性能有限。为了解决这个问题，本文提出了一种鲁棒的时间感知图嵌入（RTGE）方法，结合时间平滑。本文的两个主要创新点在这里。首先，RTGE在时间感知图嵌入的学习过程中集成了时间平滑性的度量。通过提出的附加平滑因子，RTGE可以保持给定图的结构信息和演化模式。其次，RTGE提供了一个通用的面向任务的负采样策略与时间感知的信息，这进一步提高了所提出的算法的自适应能力，并在各种任务中获得优异的性能发挥了至关重要的作用。在多个基准任务上进行的大量实验表明，RTGE可以提高实体/关系/时间范围预测任务的性能。
2020-07-22 cs.LG stat.ML
Magnitude-aware Probabilistic Speaker Embeddings
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
最近，超球面嵌入已经成为人脸和语音识别的主要技术。具体来说，学习欧几里得空间向量嵌入以在其方向上编码特定于人的信息，而忽略幅度。然而，最近的研究表明，深度神经网络提取的嵌入的大小可能表明相应输入的质量。本文探讨了嵌入的质量评估和分布外检测相关的幅度的性质。我们提出了一种新的概率说话人嵌入提取器，使用嵌入幅度编码的信息，并利用它在说话人验证管道。我们还提出了几种质量感知的日记化方法，并将这些方法中的幅度。我们的研究结果表明，无论是在扬声器验证和日记任务的幅度不可知的基线显着改善。
2022-10-23 cs.LG cs.SD eess.AS
Freeze, Diffuse, Decode: Task-Aware Adaptation of Transformer Embeddings for Antimicrobial Peptide Design
Institute of AI for Health, Helmholtz Munich School of Computation, Information；Technology, Technical University of Munich Mila - Quebec AI institute；Univ. de Montreal Dept. Mathematics \& Statistics, Utah State University Department of Statistics, Brigham Young University Faculty of Mathematics, Informatics
FDD通过几何感知的扩散方法，实现预训练Transformer嵌入在抗菌肽设计任务中的有效适应，生成低维可解释的表示以支持预测与检索。
2026-09-03 cs.LG
CAPE: Context-Aware Private Embeddings for Private Language Learning
Edinburgh Napier University（爱丁堡龙比亚大学）
基于深度学习的语言模型已经在许多应用中取得了最先进的结果，包括情感分析、主题标签、意图分类等。使用这些模型获得文本表示或嵌入呈现了对从语言和上下文线索学习的个人可识别信息进行编码的可能性，这些信息可能对声誉或隐私构成风险。为了改善这些问题，我们提出了上下文感知私有嵌入（CAPE），一种新的方法，在嵌入训练过程中保护隐私。为了保持文本表示的隐私性，CAPE通过差分隐私应用校准噪声，在模糊敏感信息的同时保留编码的语义链接。此外，CAPE采用对抗性训练制度，掩盖了已确定的私人变量。实验结果表明，所提出的方法减少私人信息泄漏比任何单一的干预。
2021-08-27 cs.CL cs.LG
Embedding-Aware Quantum-Classical SVMs for Scalable Quantum Machine Learning
National Irish Centre for AI (CeADAR), University College Dublin (UCD), Dublin, Ireland（爱尔兰人工智能国家中心（CeADAR）、都柏林大学（UCD））；SISTEMIC Research Group, University of Antioquia, Medellín, Colombia（SISTEMIC研究组、安蒂奎亚大学）；Department of Computer Science, University of Torino, Torino, Italy（计算机科学系、托里诺大学）；Corporation for Aerospace Initiatives (CASIRI), University of Cauca, Popayán, Colombia（航空航天倡议公司（CASIRI）、考卡大学）
本文提出结合类别平衡k-means蒸馏与ViT嵌入的量子-经典SVM流水线，首次系统证明量子核优势关键取决于嵌入选择，并在MNIST和Fashion-MNIST上实现优于经典SVM的准确率提升。
2025-11-10 cs.AI cs.LG quant-ph
A Frequency-aware Software Cache for Large Recommendation System Embeddings
HPC-AI Technology Inc.（HPC-AI科技公司）；School of Computer Science, Wuhan University（武汉大学计算机学院）；National University of Singapore（新加坡国立大学）
深度学习推荐模型（DLRM）在互联网企业中得到了广泛应用。DLRM的嵌入表太大，无法完全容纳在GPU内存中。我们提出了一种基于GPU的软件缓存方法，通过利用目标数据集的id频率统计信息来动态管理CPU和GPU内存空间中的嵌入表。我们提出的软件缓存是有效的训练整个DLRM在GPU上同步更新的方式。它还可以扩展到多个GPU，并结合广泛使用的混合并行训练方法。评估我们的原型系统表明，我们可以在GPU中仅保留1.5%的嵌入参数，以获得良好的端到端训练速度。
2022-08-08 cs.AI cs.DC cs.IR
Saec: Similarity-Aware Embedding Compression in Recommendation Systems
Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；Platform and Content Group, Tencent（腾讯平台与内容业务线）
产品推荐系统依赖于嵌入方法来表示各种特征。实践中的一个阻碍性挑战是，随着特征的数量随着时间的推移而增长，大的嵌入矩阵在服务中引起大量的存储器占用。我们提出了一种相似性感知的嵌入矩阵压缩方法称为Saec来解决这一挑战。Saec将相似的特征聚集在一个字段中，以减少嵌入矩阵的大小。Saec还采用了一种基于特征频率的快速聚类优化方法，大大提高了聚类时间。我们在腾讯的分布式机器学习系统Many上实现并评估了Saec，使用了QQ手机浏览器10天的特征数据。测试床实验表明，Saec将嵌入向量的数量减少了两个数量级，将嵌入大小压缩了约27倍，并提供了相同的AUC和log loss性能。
2019-02-26 cs.IR cs.LG stat.ML
A Neighbourhood-Aware Differential Privacy Mechanism for Static Word Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）；National Institute of Informatics（国立信息学研究所）；International Professional University of Technology in Tokyo（东京国际工科专门职大学）
本文提出邻域感知差分隐私机制，通过词嵌入最近邻图分解邻域并施加差异化高斯噪声，在多个下游任务中优于拉普拉斯、高斯和马氏等差分隐私机制，同时提供更高隐私保障。
2023-09-19 cs.AI cs.CL cs.CR
Learning Missing Modal Electronic Health Records with Unified Multi-modal Data Embedding and Modality-Aware Attention
AITRICS Inc.（AITRICS公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Sungkyunkwan University (SKKU)（成均馆大学（SKKU））
针对多模态电子健康记录学习中的数据嵌入与模态缺失问题，提出统一多模态集合嵌入和带跳跃瓶颈的模态感知注意力方法，在MIMIC-IV数据集的多项预测任务上性能优于基线模型。
2023-05-04 cs.LG
Graph Node Embeddings using Domain-Aware Biased Random Walks
Galois
最近公开可用的图结构数据的激增已经引发了对用于图数据的机器学习算法的兴趣。由于大多数传统的机器学习算法都假设数据是表格式的，因此将图数据映射到实值向量空间的嵌入算法已经成为一个活跃的研究领域。现有的图嵌入方法纯粹基于结构信息，忽略了底层域的任何语义信息。在本文中，我们证明了语义信息可以在计算图嵌入中发挥有用的作用。具体来说，我们提出了一个框架，用于设计嵌入策略，知道特定领域的解释图节点和边缘，并使用下游机器学习任务的知识，以确定相关的图形子结构。使用两个现实生活中的领域，我们表明，我们的框架产生嵌入，是简单的实现，但实现相同或更高的准确性相比，领域独立的方法在机器学习任务。
2019-08-08 cs.LG cs.SI stat.ML
Semantic CSI Feedback for Beam Selection: When Task-Aware Embeddings from Sparse Pilots Outperform Full-Bandwidth Reconstruction
Ericsson Research（爱立信研究院）
本文提出语义CSI反馈方法，用稀疏导频的紧凑嵌入替代全带宽重构，在波束选择任务上超越CsiNet，验证了“传输意图而非信号”的语义通信原则。
2026-09-22 cs.AI cs.LG eess.SP
Subdomain-aware representation compression for pretrained image embeddings
本文研究利用PCA和LDA等降维技术对预训练图像嵌入进行子域感知压缩，在提升空间与计算效率的同时提高准确率，并验证了压缩表示的迁移学习能力。
2026-09-18 cs.LG
Efficient Relation-aware Scoring Function Search for Knowledge Graph Embedding
The Hong Kong University of Science and Technology（香港科技大学）；Paradigm Inc.（第四范式）；Tsinghua University（清华大学）
衡量知识图谱（KG）中三元组可扩展性的评分函数是保证KG嵌入优良性能的关键，其设计也是文献中的一个重要问题。自动机器学习（AutoML）技术最近被引入KG中以设计任务感知评分函数，其在KG嵌入中实现了最先进的性能。然而，所搜索的评分函数的有效性仍然不如期望的那样好。在本文中，观察到现有的评分功能可以表现出不同的性能不同的语义模式，我们的动机，探索这样的语义搜索关系感知评分功能。但是关系感知搜索需要比前一个更大的搜索空间。因此，我们建议将空间编码为超网，并提出一种有效的替代最小化算法，以一次性的方式搜索超网。最后，在基准数据集上的实验结果表明，该方法能够有效地搜索关系感知的评分函数，并获得比现有方法更好的嵌入性能.
2021-04-22 cs.CL cs.IR cs.LG
