RWR-GAE: Random Walk Regularization for Graph Auto Encoders
Carnegie Mellon University（卡内基梅隆大学）
节点嵌入已经成为一种普遍存在的技术，用于表示低维空间中的图形数据。图自编码器作为广泛适用的深度模型之一，已经被提出通过最小化图数据的重建误差来以无监督的方式学习图嵌入。然而，它的重建损失忽略了潜在表示的分布，从而导致劣质嵌入。为了缓解这个问题，我们提出了一种基于随机游走的方法来正则化编码器学习的表示。我们表明，提出的新的增强击败了现有的国家的最先进的模型由一个大的利润率（高达7.5%）的节点聚类任务，并实现了国家的最先进的准确性上的链接预测任务的三个标准数据集，cora，citeseer和pubmed。代码可在https://github.com/MysteryVaibhav/DW-GAE获得。
2019-08-12 cs.LG cs.SI stat.ML
Do We Need an Encoder-Decoder to Model Dynamical Systems on Networks?
Jilin University（吉林大学）；Deakin University（迪肯大学）
本文指出网络动力学建模中顶点嵌入会导致错误的长期行为，提出无嵌入的加性向量场参数化模型，能可靠恢复不同网络拓扑上的动力学。
2023-05-20 cs.AI cs.LG
Graph Neural Networks Powered by Encoder Embedding for Improved Node Learning
Department of Applied Mathematics and Statistics (AMS), Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学）；Microsoft Research（微软研究院）；Department of Applied Mathematics and Statistics (AMS), the Center for Imaging Science (CIS), and the Mathematical Institute for Data Science (MINDS), Johns Hopkins University（应用数学与统计学系，影像科学中心，数据科学数学研究所，约翰霍普金斯大学）
本文提出了一种基于编码器嵌入的图神经网络框架，通过结构感知的初始化提升节点学习性能，实验表明在多种任务中均取得显著效果。
2026-02-21 cs.LG stat.ML
Siamese Attribute-missing Graph Auto-encoder
National University of Defense Technology（国防科技大学）
属性缺失图的图表示学习（GRL）是一个常见而又具有挑战性的问题，近年来引起了人们的广泛关注。我们观察到现有文献：1）将属性嵌入和结构嵌入的学习分离开来，未能充分利用这两类信息; 2）对潜在空间变量施加了过于严格的分布假设，导致特征表示的区分度较低。在本文中，基于在两个信息源之间引入亲密信息交互的思想，我们提出了我们的连体属性缺失图自动编码器（SAGA）。具体而言，实施了三项战略。首先，我们通过引入连体网络结构来共享两个过程学习的参数，从而使网络训练受益于更丰富和多样化的信息，从而使属性嵌入和结构嵌入纠缠在一起。其次，我们引入了一个K-近邻（KNN）和结构约束增强学习机制，以提高质量的潜在特征的缺失属性过滤不可靠的连接。第三，我们手动屏蔽多个相邻矩阵上的连接，并强制结构信息嵌入子网络恢复真正的相邻矩阵，从而强制生成的网络能够选择性地利用更高阶的判别特征来完成数据。在六个基准数据集上的大量实验证明了我们的SAGA对最先进方法的优越性。
2021-12-09 cs.AI cs.LG
Barlow Graph Auto-Encoder for Unsupervised Network Embedding
Unite Network SE（Unite Network SE公司）；TU Munich（慕尼黑工业大学）
网络嵌入已成为网络分析的一个很有前途的研究领域。最近，一种名为Barlow Twins的方法被提出用于计算机视觉中的自监督学习，该方法通过将冗余减少原理应用于对应于两个失真版本的图像样本的嵌入向量。受此启发，我们提出了Barlow Graph Auto-Encoder，一个简单而有效的学习网络嵌入的架构。它的目的是最大限度地提高一个节点的直接和更大的邻域的嵌入向量之间的相似性，同时最小化这些投影的组件之间的冗余。此外，我们还提出了变异对应的巴洛变分图自动编码器。我们的方法产生了有前途的结果，归纳链接预测，并与国家的最先进的聚类和下游节点分类，证明了广泛的比较与几个知名的技术在三个基准引文数据集。
2022-12-13 cs.LG
Graph Encoder Ensemble for Simultaneous Vertex Embedding and Community Detection
University of Delaware（特拉华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出一种结合归一化独热图编码器和基于排名的簇规模度量的图编码器集成方法，同时实现顶点嵌入、社区检测和社区规模确定，并通过模拟验证其高效性能。
2024-07-21 cs.LG cs.SI stat.ML
Edge-Parallel Graph Encoder Embedding
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Delaware（特拉华大学）
提出边并行图编码器嵌入算法，在Ligra引擎中并行化GEE，利用无锁原子指令避免数据竞争，在18亿条边的图上实现500倍加速。
2024-02-06 cs.DC cs.LG
Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles
School of Computing Science（计算机科学学院）；Simon Fraser University（西蒙菲莎大学）
本文针对无标签数据下预训练编码器在分布外数据上泛化差的问题，提出一种无监督对齐嵌入空间的集成方法，并在MNIST上验证其优于单一编码器。
2024-11-20 cs.CV cs.LG
Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning
University of Macau（澳门大学）；Tencent AI Lab（腾讯 AI 实验室）；The University of Sydney（悉尼大学）
编码器层融合（EncoderFusion）是一种融合序列到序列（Seq 2Seq）模型的所有编码器层（而不是最上层）的技术，已被证明对各种NLP任务有效。然而，目前还不完全清楚为什么以及何时EncoderFusion应该工作。在本文中，我们的主要贡献是进一步理解EncoderFusion。许多先前的研究认为，EncoderFusion的成功来自于利用嵌入在较低编码器层中的表面和语法信息。与它们不同的是，我们发现编码器嵌入层比其他中间编码器层更重要。此外，最上面的解码器层在NLP任务中始终更加关注编码器嵌入层。基于这一观察，我们提出了一种简单的融合方法，SurfaceFusion，只融合softmax层的编码器嵌入层。实验结果表明，SurfaceFusion在几个NLP基准测试中的表现优于EncoderFusion，包括机器翻译、文本摘要和语法错误纠正。它在WMT 16罗马尼亚语-英语和WMT 14英语-法语翻译任务上获得了最先进的性能。广泛的分析表明，SurfaceFusion通过在相关源和目标嵌入之间建立更紧密的关系来学习更具表达力的双语词嵌入。源代码可以在https://github.com/SunbowLiu/SurfaceFusion上免费获得。
2021-03-18 cs.CL cs.LG
Latent Network Embedding via Adversarial Auto-encoders
Beijing University of Technology（北京工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
图自动编码器已被证明是有用的网络嵌入任务。然而，目前的模型只考虑了显式结构，没有探索信息的潜在结构中凝聚在网络。为了解决这个问题，我们提出了一个潜在的网络嵌入模型的基础上对抗图自动编码器。在此框架下，发现潜在结构的问题被公式化为推断的潜在关系，从部分观察。一个潜在的传输矩阵，描述了现有的优势和潜在的关系，来自基于影响级联通过模拟网络上的扩散过程进行采样。此外，由于推理过程可能会带来额外的噪声，我们引入了对抗性训练，作为正则化来去除噪声，提高模型的鲁棒性。在链接预测和节点分类任务上的大量实验表明，与基线模型相比，该模型取得了更好的结果。
2021-09-30 cs.LG cs.SI
Encoder Embedding for General Graph and Node Classification
University of Delaware（特拉华大学）
本文将图编码器嵌入从二值图扩展到加权图、距离矩阵和核矩阵等通用图模型，证明其满足大数定律与中心极限定理，并在逐类别上具有渐近正态性，从而支持基于判别分析的最优节点分类。
2024-10-22 cs.LG cs.SI stat.ML
Item Cold Start Recommendation via Adversarial Variational Auto-encoder Warm-up
Tencent News（腾讯新闻）
随机初始化的项目ID嵌入和经过良好训练的暖项目ID嵌入之间的差距使得冷项目难以适应推荐系统，该推荐系统是在历史暖项目数据上训练的。为了缓解新项目推荐的性能下降，新项目ID嵌入的分布应该接近历史热门项目的分布。为了实现这一目标，我们提出了一个对抗变分自动编码器预热模型（AVAEW）来为冷项生成预热项ID嵌入。具体来说，我们开发了一个条件变分自动编码器模型，以利用项目的边信息来生成预热项目ID嵌入。特别是，我们引入了一个对抗模块来加强热身项目ID嵌入分布和历史项目ID嵌入分布之间的对齐。我们通过在公开数据集上的大量离线实验和在真实世界的大规模新闻推荐平台上的在线A/B测试，证明了所提出的方法的有效性和兼容性。
2023-02-28 cs.AI cs.IR cs.LG
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University（斯泰伦博斯大学）
我们调查的无监督模型，可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中，这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督，如单词或音素边界。在这里，我们提出了编码器-解码器对应自动编码器（EncDec-CAE），它不是真正的单词段，而是使用自动发现的段：一个无监督的术语发现系统发现相同的未知类型的单词对，并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器（AE），具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Do Location Encoders Capture Spatial Effects? A GeoShapley Benchmark Across Scales
Siebel School of Computing \& Data Science, University of Illinois Urbana-Champaign Urbana IL USA；Department of Geography \& GIS；Siebel School of Computing \& Data Science, University of Illinois Urbana-Champaign
通过GeoShapley解释器，评估11种位置编码器在不同尺度下从嵌入中恢复空间变化系数的能力，发现主系数恢复稳定，次系数依赖尺度，原始坐标基线始终有竞争力。
2026-09-28 cs.LG
P3CA: Encoder-Agnostic Interpretation of Vision Foundation Model Embeddings via Spatial Probing
School of Computing, Queen’s University（女王大学计算学院）
针对视觉基础模型嵌入难以解释的问题，提出与编码器无关的P3CA方法，通过空间提示实现局部探测，在多类数据上验证其可揭示局部结构、提升病理判别能力等贡献。
2026-08-12 cs.CV cs.LG
Flexible Keyword Spotting based on Homogeneous Audio-Text Embedding
Apple（苹果公司）
本文提出一种基于音频兼容文本编码器的灵活关键词识别架构，通过G2P与代表性音素向量实现同质音频-文本嵌入，并结合易混淆关键词生成增强判别力，在Libriphrase困难数据集上显著提升AUC并降低EER。
2023-08-12 cs.LG cs.SD eess.AS
Acoustic Neighbor Embeddings
Apple（苹果公司）
本文提出了一种新的声学字嵌入称为声学邻居嵌入语音或文本的任意长度被映射到一个向量空间的固定，减少尺寸通过适应随机邻居嵌入（SNE）顺序输入。嵌入空间中坐标之间的欧氏距离反映了其对应序列之间的语音混淆性。训练两个编码器神经网络：声学编码器，其接受从声学模型获得的逐帧子字后验概率形式的语音信号，以及文本编码器，其接受子字transmittance形式的文本。与三重损失准则相比，所提出的方法具有更有效的神经网络训练梯度。在实验上，当两个编码器网络在单词（名称）识别任务中串联使用时，以及当文本编码器网络在近似语音匹配任务中独立使用时，它也给出了更准确的低维嵌入结果。特别是，在一个孤立的名称识别任务，仅依赖于建议的嵌入向量之间的欧几里德最近邻搜索，识别精度是相同的传统的有限状态转换器（FST）的解码使用测试数据与多达1万个名称的词汇和40个维度的嵌入。
2022-01-06 cs.LG cs.SD eess.AS
Sentence Embeddings in NLI with Iterative Refinement Encoders
University of Helsinki（赫尔辛基大学）
句子级表示对于各种NLP任务是必要的。递归神经网络已被证明在学习分布式表示方面非常有效，并且可以在自然语言推理任务上进行有效训练。我们建立在这样一个模型之上，并提出了一个BiLSTM和最大池化层的层次结构，该层次结构实现了迭代细化策略，并在SciTail数据集上产生了最先进的结果，以及SNLI和MultiNLI的强结果。我们可以证明，以这种方式学习的句子嵌入可以用于各种各样的迁移学习任务，在10个SentEval句子嵌入评估任务中有7个优于InferSent，在9个SentEval评估任务中有8个优于SkipThought。此外，我们的模型在最近发表的10个SentEval探测任务中的8个中击败了InferSent模型，这些探测任务旨在评估句子嵌入捕捉句子的一些重要语言属性的能力。
2019-06-03 cs.CL cs.LG
Additional Shared Decoder on Siamese Multi-view Encoders for Learning Acoustic Word Embeddings
KAIST（韩国科学技术院）
声学词嵌入-任意长度词的固定维向量表示-在逐例查询口语词检测中引起了越来越多的兴趣。最近，基于文本标签的正字法部分地反映了单词发音之间的语音相似性的事实，已经引入了联合学习声学和文本嵌入的多视图方法。这表明，它是可能的，通过设计的目标，以文本标签以及词段学习判别嵌入。在本文中，我们提出了一种网络架构，扩展了多视图的方法相结合的暹罗多视图编码器与共享的解码器网络，以最大限度地提高嵌入空间中的声学和文本嵌入之间的关系的效果。在多视图三元组丢失和解码丢失的情况下进行区分训练，我们提出的方法在WSJ数据集的声学单词区分任务上取得了更好的性能，平均精度相对提高了11.1%。我们还提出了跨视图字歧视和字级语音识别任务的实验结果。
2019-10-01 cs.IR cs.LG cs.SD
What's in an Earth Embedding? An Explainability Analysis of Location Encoders
University of Colorado Boulder（科罗拉多大学博尔德分校）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
通过稀疏自编码器、自然语言概念和视觉特征分解地理隐式神经表示的位置嵌入，揭示其编码的可解释地理结构。
2026-06-25 cs.LG
Privacy-Preserving Machine Learning for Collaborative Data Sharing via Auto-encoder Latent Space Embeddings
Los Andes University（洛斯安第斯大学）；Rappi（Rappi公司）；Amazon（亚马逊）
数据共享过程中的隐私保护机器学习是一项至关重要的任务，它可以在不需要共享原始数据源的情况下实现机器学习（ML）模型的协作训练。当组织必须确保敏感数据在整个ML管道中保持私有时，这一点尤其重要，即，训练和推理阶段。本文提出了一个创新的框架，使用表示学习通过自动编码器生成隐私保护的嵌入式数据。因此，组织可以共享数据表示，以提高机器学习模型在具有用于共享的预测下游任务的多个数据源的场景中的性能。
2022-11-11 cs.CR cs.LG
WavLink: Compact Audio-Text Embeddings with a Global Whisper Token
Technology Innovation Institute（技术创新研究所）
WavLink通过在Whisper编码器中引入可学习的全局标记，实现紧凑的音频-文本嵌入，提升了模型的可扩展性和检索性能。
2026-01-22 cs.CL cs.LG cs.SD
Context encoders as a simple but powerful extension of word2vec
Technische Universität Berlin（柏林工业大学）
凭借简单的架构和从包含数十亿单词的文本中有效学习有意义的单词嵌入的能力，word2vec仍然是当今最受欢迎的神经语言模型之一。然而，由于对词汇表中的每个单词只学习一个嵌入，因此该模型无法最佳地表示具有多种含义的单词。此外，不可能当场为新（词汇表外）单词创建嵌入。基于一个直观的解释连续袋的话（CBOW）word2vec模型的负采样训练目标预测上下文的相似性，我们激励扩展的模型，我们称之为上下文编码器（ConEc）。通过将已训练的word2vec嵌入矩阵与单词的平均上下文向量相乘，可以基于单词的本地上下文创建具有多个含义的单词的词汇外（OOV）嵌入和表示。这种方法的好处是通过使用这些词嵌入的功能，在CoNLL 2003命名实体识别（NER）的任务。
2017-06-08 cs.CL cs.LG stat.ML
Embedding Graph Auto-Encoder for Graph Clustering
Northwestern Polytechnical University（西北工业大学）
图聚类是近年来的一个研究热点，其目的是通过无监督的方法将图中的节点划分为不同的组。为了提高聚类的代表性，提出了几种基于半监督图卷积网络（GCN）的图自动编码器（GAE）模型，并与传统聚类方法进行了比较，取得了良好的效果。然而，现有的方法要么未能利用GAE产生的表示的正交性，或分离的聚类和神经网络的学习。我们首先证明了放松的k-均值将在内积空间中获得最优划分。在对松弛k-均值算法理论分析的基础上，设计了一种基于遗传算法的图聚类模型，即嵌入图自动编码器（EGAE）。同时，学习到的表示是很好的解释，这样的表示也可以用于其他任务。为了进一步诱导神经网络产生适合于特定聚类模型的深度特征，同时学习松弛k均值和GAE。因此，放松的k均值可以等效地被视为试图学习可以由一些质心向量线性构造的表示的解码器。因此，EGAE由一个编码器和双解码器组成。通过大量的实验证明了EGAE的优越性，并进行了相应的理论分析。
2021-03-13 cs.LG stat.ML
GroupEnc: encoder with group loss for global structure preservation
Ghent University（根特大学）
针对降维嵌入全局结构失真问题，提出基于VAE和SQuadMDS组损失的GroupEnc编码器，在保持参数化与灵活架构的同时减少全局失真，经单细胞转录组数据验证有效。
2023-09-06 cs.LG
Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
针对AI生成与人类撰写文本的区分需求，提出基于多预训练语言模型嵌入融合的作者归属识别框架，在五类大模型生成的平衡数据集上实现超96%的分类准确率与0.93以上的MCC，验证了方法的有效性与鲁棒性。
2024-11-01 cs.CL cs.LG
Contextual Joint Factor Acoustic Embeddings
University of Sheffield（谢菲尔德大学）
将声学信息嵌入到固定长度表示中对于语音和音频技术中的整个范围的应用是感兴趣的。提出了两种新的无监督的方法来生成声学嵌入的声学上下文建模。第一种方法是上下文联合因子合成编码器，其中编码器/解码器框架中的编码器被训练为从周围音频帧提取联合因子以最佳地生成目标输出。第二种方法是上下文联合因子分析编码器，其中编码器被训练为分析来自与相邻音频最佳相关的源信号的联合因子。为了评估我们的方法的有效性相比，以前的工作，两个任务进行-电话分类和说话人识别-和测试不同的TIMIT数据集。实验结果表明，所提出的方法优于电话分类基线，产生74.1%的分类准确率。当使用额外的域外数据进行训练时，对于电话分类和说话人识别任务，可以获得额外的3%的改进。
2021-02-05 cs.AI cs.CL cs.LG
A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks
Google DeepMind（谷歌DeepMind）
本文提出用小型校正网络调整过时的缓存目标嵌入，以近似 softmax 并采样最新困难负样本，在稠密检索和检索增强问答中匹配最先进结果，同时将重新嵌入计算成本降低 4-80 倍。
2024-09-03 cs.LG
Routing Without Embeddings: Fast And Interpretable Routing With Regular Expressions
Rice University（莱斯大学）
本文提出REGEXROUTE，利用稀疏自编码器发现可解释的正则表达式特征，替代神经编码实现快速可解释的LLM路由，在四个基准上达到与强基线相当的准确率。
2026-09-29 cs.LG
LORE: Lagrangian-Optimized Robust Embeddings for Visual Encoders
Stanford University（斯坦福大学）；Aktus AI；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Apple（苹果公司）
LORE通过约束优化方法提升视觉编码器的对抗鲁棒性，同时保持清洁数据性能，有效平衡鲁棒性与准确性。
2025-11-29 cs.AI cs.CV cs.LG
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University（首尔大学）
随着数字音乐制作成为主流，选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器，使一个人想要的声音，音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合，这是费时和低效的。在本文中，我们称之为乐器检索这项任务，并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类，并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估，我们还提出了一个名为Nlakh的新数据集。实验结果表明，单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射，而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得：https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
Federated Learning with Ad-hoc Adapter Insertions: The Case of Soft-Embeddings for Training Classifier-as-Retriever
webAI
本文提出在冻结的小语言模型前插入可训练适配器生成软嵌入，并附加分类器头作为检索器，结合联邦学习与差分隐私实现在边缘设备上高效、隐私保护的RAG编码器更新。
2025-09-20 cs.LG
On the Language Encoder of Contrastive Cross-modal Models
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文评估了句子嵌入训练对CLIP和CLAP等对比跨模态模型语言编码器的影响，发现其能提升VL任务性能与文本空间均匀性，但在AL任务中因数据量有限获益较少。
2023-10-20 cs.CL cs.CV cs.LG
Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
受多模态学习和机器翻译最新进展的启发，我们引入了一个编码器-解码器管道，它学习（a）：一个具有图像和文本的多模态联合嵌入空间和（b）：一个新的语言模型，用于从我们的空间解码分布式表示。我们的管道有效地统一了联合图像-文本嵌入模型与多模态神经语言模型。我们介绍了结构-内容神经语言模型，该模型将句子的结构与其内容分开，以编码器产生的表示为条件。编码器允许对图像和句子进行排序，而解码器可以从头开始生成新颖的描述。使用LSTM对句子进行编码，我们在不使用目标检测的情况下，在Flickr 8 K和Flickr 30 K上匹配了最先进的性能。我们还在使用19层牛津卷积网络时设置了新的最佳结果。此外，我们表明，使用线性编码器，学习的嵌入空间在向量空间算术方面捕获多模态图像，例如 * 蓝色汽车的图像 * -“蓝色”+“红色”是红色汽车的近图像。为800幅图像生成的示例字幕可供比较。
2014-11-10 cs.CL cs.CV cs.LG
Unified Embeddings of Structural and Functional Connectome via a Function-Constrained Structural Graph Variational Auto-Encoder
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Pittsburgh（匹兹堡大学）
图论分析已经成为大脑功能和解剖连接建模的标准工具。随着连接组学的出现，感兴趣的主要图形或网络是结构连接组（来自DTI纤维束成像）和功能连接组（来自静息状态fMRI）。然而，大多数已发表的连接体研究都集中在结构或功能连接体上，但当它们之间的互补信息在同一数据集中可用时，可以共同利用来提高我们对大脑的理解。为此，我们提出了一个功能约束的结构图变分自动编码器（FCS-GVAE）能够将信息从功能和结构连接体在一个无监督的方式。这导致了一个联合低维嵌入，建立了一个统一的空间坐标系，用于比较不同的主题。我们使用公开的OASIS-3阿尔茨海默病（AD）数据集评估我们的方法，并表明变分制剂是必要的，以最佳编码功能性脑动力学。此外，所提出的联合嵌入方法可以比不使用互补连接体信息的方法更准确地区分不同的患者亚群。
2022-07-05 cs.LG q-bio.NC
Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders
Google DeepMind（谷歌DeepMind）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出基于稀疏矩阵分解的方法，高效近似交叉编码器相似度并实现可扩展k-NN搜索，在显著减少CE调用和索引时间的同时提升召回率。
2024-05-06 cs.IR cs.LG
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings
Pattern Recognition Center, WeChat AI（微信AI模式识别中心）
针对文本编码器嵌入无法识别细粒度实体或事件导致简单查询检索失败的问题，提出CapRetrieval数据集评估该现象，通过数据生成策略微调编码器，提升细粒度匹配能力并揭示嵌入粒度困境。
2025-08-26 cs.CL cs.LG
Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
大多数关于双曲嵌入的现有文献集中在监督学习上，而非监督双曲嵌入的使用则较少被探索。在本文中，我们分析了无监督任务如何从双曲空间中的学习表示中受益。为了探索如何以及未标记数据的层次结构可以表示在双曲空间中，我们设计了一种新的双曲消息传递自动编码器，其整体自动编码是在双曲空间中进行。该模型通过充分利用双曲几何的信息传递方式对网络进行自动编码。通过大量的定量和定性分析，我们验证了无监督双曲表示的性质和好处。代码可在https://github.com/junhocho/HGCAE上获得。
2021-03-30 cs.LG
Semi-overcomplete convolutional auto-encoder embedding as shape priors for deep vessel segmentation
LaTIM UMR 1101, Inserm（法国国家健康与医学研究院LaTIM UMR 1101研究所）；University of Western Brittany（西布列塔尼大学）；University Hospital of Brest（布雷斯特大学医院）；University Hospital of Poitiers（普瓦捷大学医院）；ICube UMR 7357, CNRS（法国国家科学研究中心ICube UMR 7357研究所）；IMT Atlantique（大西洋电信学院）
本文提出一种将半过完备卷积自编码器（S-OCAE）嵌入作为形状先验整合到深度分割中的新方法，通过过完备分支投影数据至高维以更好表征微小血管结构，在DRIVE和3D-IRCADb数据集上的血管提取实验证明了其优于传统U-Net及CAE先验方法。
2024-09-19 cs.CV cs.LG eess.IV
SamToNe: Improving Contrastive Loss for Dual Encoder Retrieval Models with Same Tower Negatives
Google Inc.（谷歌公司）
本文提出 SamToNe 对比损失，将同编码器塔中的查询或文档作为负样本，提升对称与非对称双编码器在多个检索基准上的表现，并从嵌入对齐和正则化角度解释其机理。
2023-06-05 cs.IR cs.LG
ReGAE: Graph autoencoder based on recursive neural networks
Billennium（比伦尼姆公司）；University of Technology（理工大学）
大型图到固定维向量（嵌入）的可逆变换仍然是一个挑战。它的克服将减少图上的任何操作到向量空间中的操作。然而，大多数现有的方法仅限于具有数十个顶点的图。在本文中，我们解决了上述挑战与递归神经网络的编码器和解码器。编码器网络将子图的嵌入转换为更大子图的嵌入，并最终转换为输入图的嵌入。解码器则相反。嵌入的维数是恒定的，与（子）图的大小无关。本文提出的模拟实验证实，我们提出的图形自动编码器，ReGAE，可以处理图形，甚至数千个顶点。
2022-07-11 cs.LG
A Self-Encoder for Learning Nearest Neighbors
Télécom Paris（巴黎电信学院）；Institut Polytechniques de Paris（巴黎理工学院）
提出一种通过自监督学习数据表示的自编码器，使样本在嵌入空间线性可分且对特征缩放不变，结合最近邻分类器在异构数据上表现优异。
2023-06-25 cs.LG
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测，在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型，提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出SAGA框架，利用冻结的多模态大语言模型（MLLM）通过GRPO奖励机制为视觉编码器提供属性级监督，替代传统标量距离，提升零样本图像检索性能。
2026-06-16 cs.AI cs.CV cs.LG
Deep learning with sentence embeddings pre-trained on biomedical corpora improves the performance of finding similar sentences in electronic medical records
National Center for Biotechnology Information, National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）
句子语义的获取在文本挖掘应用中起着至关重要的作用。尽管在一般领域的相关数据集和模型的开发不断努力，但数据集和模型在生物医学和临床领域都是有限的。BioCreative/OHNLP组织者首次尝试从临床笔记中注释1，068个句子对，并呼吁社区努力解决语义文本相似性（BioCreative/OHNLP STS）挑战。我们使用传统的机器学习和深度学习方法开发模型。对于后期挑战，我们关注两个模型：随机森林和编码器网络。我们应用了在PubMed摘要和MIMIC-III临床笔记上预训练的句子嵌入，并相应地更新了随机森林和编码器网络。官方结果表明，我们最好的提交是八个模型的集合。它达到了0.8328的人相关系数，在来自4个团队的13个提交中表现最好。对于挑战后，随机森林和编码器网络的性能都得到了提高;特别是，编码器网络的相关性提高了约13%。在挑战任务期间，没有端到端的深度学习模型比采用手动制作的功能的机器学习模型具有更好的性能。相比之下，使用在生物医学语料库上预训练的句子嵌入，编码器网络现在实现了~0.84的相关性，高于最初的最佳模型。采用改进版本的随机森林和编码器网络作为输入的集成模型进一步将性能提高到0.8528。具有在生物医学语料库上预训练的句子嵌入的深度学习模型在测试集上实现了最高的性能。
2019-09-06 cs.CL cs.LG stat.ML
Small Lesion Segmentation in Brain MRIs with Subpixel Embedding
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Chung-Ang University（中央大学）
我们提出了一种方法来分割MRI扫描的人的大脑缺血性中风病变和正常组织。我们提出了一个标准的编码器-解码器形式的神经网络架构，其中预测由空间扩展嵌入网络指导。我们的嵌入式网络学习可以解析大脑中详细结构的特征，而不需要高分辨率的训练图像，这些图像通常是不可用的，而且获取成本很高。或者，编码器-解码器通过跨越和最大池化来学习全局结构。我们的嵌入网络通过在编码器阶段引导解码器丢失空间下采样的细粒度细节来补充编码器-解码器架构。与以前的作品不同，我们的解码器以2倍的输入分辨率输出，其中输入分辨率中的单个像素由我们输出中的四个相邻子像素预测。为了获得原始尺度下的输出，我们提出了一种可学习的下采样器（与手工制作的下采样器相反，例如双线性），它结合了子像素预测。我们的方法将基线架构提高了约11.7%，并在ATLAS公共基准数据集上达到了最先进的水平，并且比最佳竞争方法具有更小的内存占用和更快的运行时间。我们的源代码可以在https://github.com/alexklwong/subpixel-embedding-segmentation上找到。
2021-09-18 cs.AI cs.CV cs.LG
Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy
Stanford University（斯坦福大学）；Amazon AWS（亚马逊云科技）；Tel Aviv University（特拉维夫大学）
本研究探讨向量检索中查询编码器的可学习性，发现其质量远低于文档索引的几何容量上限，并理论证明学习查询编码器在计算上可能困难，需指数级统计查询。
2026-10-05 cs.IR cs.LG
Enhancing Protein-Protein Interaction Prediction with Hierarchical Motif-based Multimodal Protein Embedding
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出MMM-PPI模型，通过层次化基序的多模态编码（微观、中观、宏观三尺度）整合序列、结构和功能信息，提升蛋白质-蛋白质相互作用预测性能。
2026-05-30 cs.AI cs.LG q-bio.QM
SAINT+: Integrating Temporal Features for EdNet Correctness Prediction
Riiid! AI Research（Riiid! 人工智能研究院）
我们提出了SAINT+，SAINT是一个基于Transformer的知识跟踪模型，分别处理练习信息和学生的反应信息的继任者。遵循SAINT的架构，SAINT+具有编码器-解码器结构，其中编码器将自注意力层应用于练习嵌入流，解码器交替地将自注意力层和编码器-解码器注意力层应用于响应嵌入流和编码器输出。此外，SAINT+将两个时间特征嵌入到响应嵌入中：经过的时间，学生回答所花费的时间，以及滞后时间，相邻学习活动之间的时间间隔。我们在教育领域最大的公开基准数据集EdNet上实证评估了SAINT+的有效性。实验结果表明，SAINT+实现了最先进的知识跟踪性能，与目前EdNet数据集中最先进的模型SAINT相比，接收器操作特征曲线下的面积提高了1.25%。
2021-02-01 cs.AI cs.CY cs.LG
Learning to Retrieve via Reinforcement Learning in Embedding Space
Renmin University of China（中国人民大学）
提出RELER框架，利用强化学习在嵌入空间中直接优化检索指标，通过vMF采样和条件均值投影减少噪声，在BRIGHT基准及RAG下游任务中显著提升性能。
2026-10-07 cs.AI cs.CL cs.IR
LightFair: Towards an Efficient Alternative for Fair T2I Diffusion via Debiasing Pre-trained Text Encoders
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；School of Computer Science and Tech., University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）
提出 LightFair 轻量公平 T2I 扩散方法，通过距离约束微调文本编码器去偏，并用两阶段采样保持生成质量，以四分之一训练成本达到 SOTA。
2025-09-28 cs.AI cs.CV cs.LG
Revisiting Paraphrase Question Generator using Pairwise Discriminator
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种方法来获得双级嵌入。虽然保护词级嵌入的问题已经得到了很好的研究，但我们提出了一种获取句子级嵌入的新方法。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法在语义嵌入的结果，并优于国家的最先进的释义生成和情感分析任务的标准数据集。这些结果也显示出统计学显著性。
2020-01-04 cs.CL cs.LG
Mosquito acoustic identification at unseen recording sites: practical limits of common transfer remedies for vector surveillance
Chongqing Finance and Economics College（重庆财经学院）
本研究揭示编码器越强越依赖MMD对齐且越受重平衡损害，据此简化配方为冻结嵌入加单MMD，保持性能并提升未见域泛化。
2026-11-03 cs.LG eess.AS
