Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction
Cardiff University（卡迪夫大学）
本文针对关系抽取中实体嵌入间接建模关系的局限，提出利用含 [MASK] 的提示构造关系嵌入，并与头尾实体嵌入联合建模，从而在多个基准上取得最先进性能。
2024-10-02 cs.CL
Distilling Word Embeddings: An Encoding Approach
Institute of Software, Peking University, China（北京大学软件研究所）
将知识从一个训练良好的笨重的网络中提取到一个小的网络中已经成为一个新的研究课题，因为在各种资源受限的系统中，特别需要具有高性能的轻量级神经网络。本文讨论了自然语言处理任务中提取词嵌入的问题。我们提出了一种编码方法，从一组高维嵌入中提取特定于任务的知识，这可以大大降低模型的复杂性，同时保持高精度，在效率和性能之间表现出良好的折衷。两个任务的实验表明，从繁琐的嵌入中提取知识比直接用小嵌入训练神经网络更好。
2016-07-24 cs.CL cs.LG
Variation and generality in encoding of syntactic anomaly information in sentence embeddings
Zhejiang University（浙江大学）；The University of Chicago（芝加哥大学）
虽然句子异常已经定期应用于NLP测试，但我们还没有建立NLP模型表示中异常信息的精确状态。在本文中，我们的目标是填补两个主要的差距，侧重于领域的句法异常。首先，我们通过设计探测任务来探索异常编码的细粒度差异，这些探测任务改变了句子中出现异常的层次结构。其次，我们不仅测试模型检测给定异常的能力，还通过检查不同异常类型之间的传递来测试检测到的异常信号的通用性。结果表明，所有的模型编码的一些信息支持异常检测，但检测性能不同的异常，只有最近的Transformer模型表示的迹象，广义知识的异常。后续分析支持这样一种观点，即这些模型采用了一个合理的、一般的句子奇怪的概念，而粗粒度的单词位置信息也可能是观察到的异常检测的一个贡献者。
2021-11-12 cs.CL
Efficient Purely Convolutional Text Encoding
Institute of Computer Science（计算机科学研究所）；University of Wrocław（弗罗茨瓦夫大学）
在这项工作中，我们专注于一个轻量级的卷积架构，创建固定大小的句子向量嵌入。这种表示对于构建NLP系统（包括会话代理）非常有用。我们的工作源于最近提出的递归卷积架构，用于在字节级自动编码文本段落。我们提出了一些替代方案，可以显着减少训练时间，参数数量，并提高自动编码的准确性。最后，我们评估了我们的模型在SentEval基准测试套件的任务上创建的表示，并表明它可以作为一个更好的，但相当低的资源替代流行的词袋嵌入。
2018-08-03 cs.CL
Dynamic Position Encoding for Transformers
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Amazon（亚马逊）
在过去的几年里，递归模型一直主导着神经机器翻译（NMT）领域。Transformers \citep{vaswani2017attention}通过提出一种依赖于前馈骨干和自注意力机制的新颖体系结构，从根本上改变了它。虽然Transformers功能强大，但由于其非循环特性，它们可能无法正确编码顺序/位置信息。为了解决这个问题，位置嵌入被专门定义为每个时间步，以丰富单词信息。然而，这样的嵌入在训练之后是固定的，而不管源或目标语言的任务和单词排序系统如何。在本文中，我们提出了一种新的架构，新的位置嵌入取决于输入文本，以解决这个缺点，考虑到目标词的顺序。我们的解决方案没有使用预定义的位置嵌入，而是生成新的嵌入来细化每个单词的位置信息。由于我们不指定源标记的位置并以端到端的方式学习它们，因此我们将我们的方法称为动态位置编码（DPE）。我们评估了我们的模型对多个数据集的影响，从英语翻译成德语，法语和意大利语，并观察到与原始Transformer相比有意义的改进。
2022-10-22 cs.CL
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
HyPE: Category-Aware Hypergraph Encoding with Persistent Edge Embeddings for Persona-Grounded Dialogue
Sungkyunkwan University（成均馆大学）
提出HyPE框架，通过将人物角色文本解析为四元组并构建超图，利用HyperGCN和持久边嵌入（PEE）编码高阶关系，在PersonaChat上优于句子级池化基线。
2026-06-12 cs.CL
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Subword Encoding in Lattice LSTM for Chinese Word Segmentation
Singapore University of Technology and Design（新加坡科技设计大学）
我们研究了一个用于中文分词（CWS）的格型LSTM网络，以利用词或子词。该算法将字符序列特征与词典匹配的所有序列信息相结合。匹配的序列作为信息捷径隧道，直接连接它们的开始和结束字符。门控单元用于控制多个输入链接的贡献。通过公式推导和比较，我们证明了lattice LSTM是标准LSTM的扩展，具有接受多个输入的能力。以前的格LSTM模型采用词嵌入作为词典输入，我们证明了子词编码可以提供相当的性能，并且具有不依赖任何外部分割器的优点。格型LSTM的贡献来自于词典和预训练的嵌入信息，我们通过控制实验发现词典信息的贡献大于预训练的嵌入信息。我们的实验表明，子字编码的晶格结构提供了竞争力或更好的结果与以前的国家的最先进的方法在四个分割基准。详细分析比较了格型LSTM中字编码和子字编码的性能。我们还研究了LSTM结构在不同情况下的性能，以及该模型何时工作或失败。
2018-10-30 cs.CL
Context-aware Rotary Position Embedding
Axiom Lab（Axiom实验室）
针对RoPE静态频率模式无法建模上下文敏感关系的问题，提出动态生成头相关频率模式的CARoPE，在FineWeb-Edu-10B上实验显示其优于基线，提升训练效率与模型效果。
2025-07-30 cs.CL
Understanding Token Probability Encoding in Output Embeddings
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RIKEN（理化学研究所）
该研究发现语言模型输出嵌入中存在准确且稀疏的token概率对数线性编码，可通过调控该编码修改输出分布，且超30%的输出嵌入维度可删除而不显著影响生成效果，还发现预训练早期输出嵌入就已捕获语料token频率信息。
2024-12-11 cs.AI cs.CL cs.LG
Revisiting Language Encoding in Learning Multilingual Representations
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）；Microsoft Research（微软研究院）
Transformer已经展示了它在单个模型中学习多种语言的上下文单词表示的强大功能。为了在模型中处理多语言句子，通常为每种语言分配一个可学习的向量，这被称为“语言嵌入”。语言嵌入既可以添加到词嵌入中，也可以附加在句首。它充当特定于语言的信号，供Transformer跨语言捕获上下文表示。在本文中，我们重新使用的语言嵌入，并确定在现有的配方中的几个问题。通过考察自我注意模块中语言嵌入和词嵌入之间的相互作用，发现现有方法不能很好地反映特定语言的词相关性。鉴于这些发现，我们提出了一种新的方法，称为跨语言语言投影（XLP），以取代语言嵌入。对于一个句子，XLP将词嵌入投影到语言特定的语义空间中，然后将投影的嵌入馈送到Transformer模型中，以处理其语言特定的含义。通过这种方式，XLP实现了在多语言Transformer模型中对“语言”进行适当编码的目的。实验结果表明，XLP可以自由和显着提高模型的性能在广泛的多语言基准数据集。代码和模型将在https://github.com/lsj2408/XLP上发布。
2021-02-16 cs.CL cs.LG
Universal Sentence Encoder
Google Research（谷歌研究院）
我们提出了将句子编码为嵌入向量的模型，这些嵌入向量专门针对迁移学习到其他NLP任务。该模型是有效的，并导致在不同的传输任务的准确性能。编码模型的两种变体允许在准确性和计算资源之间进行权衡。对于这两种变体，我们调查和报告模型复杂性，资源消耗，传输任务训练数据的可用性和任务性能之间的关系。与通过预训练的词嵌入使用词级迁移学习的基线以及不使用任何迁移学习的基线进行比较。我们发现使用句子嵌入的迁移学习往往优于单词水平的迁移。通过句子嵌入的迁移学习，我们观察到了令人惊讶的良好性能，并且对于迁移任务使用了最少量的监督训练数据。我们获得了令人鼓舞的结果词嵌入关联测试（WEAT）针对检测模型的偏见。我们的预训练句子编码模型可在TF Hub上免费下载。
2018-04-12 cs.CL
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple（苹果公司）；Facebook AI Research（Facebook 人工智能研究院）；Herophilus, Inc.（Herophilus 公司）
在没有位置信息的情况下，基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现，但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒，但实现起来更复杂，并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中，我们提出了一种基于增广的方法（CAPE）的绝对位置嵌入，它保持了绝对（简单和速度）和相对位置嵌入（更好的泛化）的优点。此外，我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明，CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
Meme Sentiment Analysis Enhanced with Multimodal Spatial Encoding and Facial Embedding
University of Galway（戈尔韦大学）；Technological University Dublin（都柏林理工大学）
互联网模因的特点是在视觉元素中穿插文字。国家的最先进的多模态模因分类器不占这些元素在两个模态的相对位置，尽管与文本和视觉元素放置的潜在意义。针对两个模因情感分类数据集，我们系统地展示了从模因中提取的视觉对象，人脸和文本聚类的空间位置所带来的性能增益。此外，我们还提出了面部嵌入作为一个有影响力的增强图像表示在多模态模因分类。最后，我们表明，结合这些空间信息，使我们的完全自动化的方法，以超越其相应的基线，依赖于额外的人力验证OCR提取的文本。
2023-03-03 cs.CL cs.CV
Encoding word order in complex embeddings
University of Padua（帕多瓦大学）；Tianjin University（天津大学）；University of Copenhagen（哥本哈根大学）
在处理文本时，连续的词序很重要。目前，神经网络（NN）通过使用位置嵌入对单词位置进行建模来解决这个问题。问题是位置嵌入捕获单个单词的位置，但不是有序关系（例如，相邻或优先）。我们提出了一种新颖的和原则性的解决方案，建模的全球绝对位置的话，他们的顺序关系。我们的解决方案将先前定义为独立向量的词嵌入推广到变量（位置）上的连续词函数。连续函数在可变位置上的好处是，单词表示随着位置的增加而平滑地移动。因此，不同位置的单词表示可以在连续函数中彼此相关。这些函数的通解被推广到复值域，由于更丰富的表示。我们将CNN，RNN和Transformer NN扩展到复值版本，以纳入我们的复杂嵌入（我们提供所有代码）。在文本分类、机器翻译和语言建模上的实验表明，与经典的词嵌入和位置丰富的词嵌入相比，该方法具有更好的性能。据我们所知，这是NLP中第一个将复值表示中的虚数与具体含义联系起来的工作（即，词序）。
2020-06-28 cs.CL cs.IR
fMRI Semantic Category Decoding using Linguistic Encoding of Word Embeddings
University of Hyderabad（海得拉巴大学）
关于人脑如何表征概念性知识的争论在许多科学领域都存在。脑成像研究表明，大脑中神经激活的空间模式与思考不同语义类别的单词（例如，工具，动物和建筑物）或观看相关图片时相关。在本文中，我们提出了一个计算模型，学习预测的测试词的功能磁共振成像（fMRI）数据中捕获的神经激活。与手工制作的功能，已在文献中使用的模型不同，在本文中，我们提出了一种新的方法，其中解码模型的特征提取流行的语言编码的Word 2 Vec，GloVe，元嵌入结合经验fMRI数据与观看几十个具体名词。我们将这些模型与其他几个使用从FastText，Randomly-generated features，Mitchell's 25 features中提取的单词特征的模型进行了比较。实验结果表明，使用元嵌入预测的fMRI图像符合最先进的性能。虽然具有GloVe和Word 2 Vec特征的模型预测fMRI图像与最先进的模型相似，但具有Meta-Embeddings特征的模型预测效果明显更好。建议的计划，使用流行的语言编码提供了一个简单易行的方法从功能磁共振成像实验的语义解码。
2018-06-13 cs.CL cs.CV q-bio.NC
Embedding Biomedical Ontologies by Jointly Encoding Network Structure and Textual Node Descriptors
Athens University of Economics and Business（雅典经济与商业大学）；Institute for Language and Speech Processing, Research Center ‘Athena’（“雅典娜”研究中心语言与语音处理研究所）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；Univ. Paris Diderot（巴黎第七大学）
网络嵌入（Network Embedding，NE）方法将网络节点映射为低维特征向量，在网络分析和生物信息学中有着广泛的应用。许多现有的NE方法仅依赖于网络结构，忽略了与节点相关联的其他信息，例如，描述节点的文本。最近试图结合这两个信息来源只考虑本地网络结构。我们扩展了NODE2VEC，一个众所周知的NE方法，考虑更广泛的网络结构，也考虑使用递归神经编码器的文本节点描述符。我们的方法是评估链接预测在两个网络来自UMLS。实验结果表明，所提出的方法相比，以前的工作的有效性。
2019-06-20 cs.AI cs.CL
Struc-EMB: The Potential of Structure-Aware Encoding in Language Embeddings
Georgia Institute of Technology（佐治亚理工学院）
本文提出将结构关系直接整合到LLM内部编码过程的结构感知文本嵌入新范式，通过顺序拼接和并行缓存方法，结合Context Distillation与Semantic Balancing技术，在多项任务中显著超越基线。
2025-10-09 cs.AI cs.CL cs.LG
Enhancing Building Semantics Preservation in AI Model Training with Large Language Model Encodings
Yonsei University（延世大学）；Technical University of Munich（慕尼黑工业大学）
本研究利用大语言模型编码提升AI对建筑语义的理解，通过实验验证其在分类任务中的优越性。
2026-02-17 cs.AI cs.CL
Spatial Pyramid Encoding with Convex Length Normalization for Text-Independent Speaker Verification
KAIST（韩国科学技术院）；LG Electronics（LG电子）
在本文中，我们提出了一种新的池化方法称为空间金字塔编码（SPE）生成说话人嵌入文本无关的说话人确认。我们首先将深度残差网络（ResNet）的输出特征映射划分为越来越细的子区域，并通过可学习的字典编码层从每个子区域提取说话人嵌入。这些嵌入被连接以获得最终的说话者表示。SPE层不仅为可变长度的语音段生成固定维的说话人嵌入，而且还从多层次的时间块中聚合特征分布信息。此外，我们通过用环损失来增加损失函数来应用深度长度归一化。通过应用环损失，网络逐渐学会使用模型权重本身来规范化说话人嵌入，同时保持凸性，从而产生更鲁棒的说话人嵌入。在VoxCeleb1数据集上的实验表明，使用SPE层和基于环丢失的深度长度归一化的系统优于i向量和d向量基线。
2019-06-19 cs.CL cs.LG cs.SD
Hierarchical GPT with Congruent Transformers for Multi-Sentence Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）；KI for Artificial Intelligence, Korea Advanced Institute of Science and Technology（韩国科学技术院人工智能研究所）
我们报告了一个基于GPT的多句子语言模型的对话生成和文档理解。首先，我们提出了一个分层的GPT，它由三个块组成，即，句子编码块、句子生成块和句子解码块。句子编码和解码块基本上是标准Transformers的编码器-解码器块，它们独立地处理每个句子。句子生成块被插入在编码块和解码块之间，并且从先前的句子嵌入向量生成下一个句子嵌入向量。我们认为这是人类进行对话和理解段落和文档的方式。由于每个句子可以由更少的单词组成，所以句子编码和解码Transformers可以使用小得多的维度嵌入向量。其次，我们注意到在Transformers中使用了内积相似性度量。因此，为了比较同一空间中的两个向量，我们将查询和键的转换矩阵设置为相同。否则，相似性概念是不一致的。我们报告的实验结果表明，这两个修改增加了语言模型的多个句子的任务的性能。
2020-09-18 cs.CL
$ρ$-hot Lexicon Embedding-based Two-level LSTM for Sentiment Analysis
Tianjin University（天津大学）；Civil Aviation University of China（中国民航大学）
情感分析是各种文本挖掘应用中的关键组成部分。在文献中已经提出了许多情感分类技术，包括常规方法和基于深度学习的方法。在大多数现有的方法中，假设给定高质量的训练集。然而，在实际应用中，构建由高度准确的标签组成的高质量训练集是一个挑战。这种困难源于文本样本通常包含复杂的情感表示，并且它们的注释是主观的。在这项研究中，我们利用一种新的标签策略，并利用两级长短期记忆网络来构建一个情感分类器。词汇线索对于情感分析是有用的，并且它们已经被利用在传统的研究中。例如，极性词和否定词在情感分析中起着重要作用。提出了一种新的编码策略，即$ρ$ -hot编码，以克服one-hot编码的缺点，从而有效地结合有用的词汇线索。我们编制了三个中国数据集的基础上，我们的标签策略和建议的方法。在三个数据集上的实验表明，该方法优于现有的算法。
2018-03-21 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
Self-Attention Gazetteer Embeddings for Named-Entity Recognition
Amazon（亚马逊）
最近的尝试摄取外部知识到神经模型的命名实体识别（NER）表现出混合的结果。在这项工作中，我们提出了GazSelfAttn，一种新的地名词典嵌入方法，使用自我关注和匹配跨度编码，以建立增强的地名词典嵌入。此外，我们还演示了如何从开源维基数据知识库中构建地名词典资源。对CoNLL-03和Ontonotes 5数据集的评估显示，F1分别从92.34提高到92.86和89.11提高到89.32，达到了与大型最先进模型相当的性能。
2020-04-18 cs.CL
MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；Eigen Technologies
机器理解式问答是自然语言处理中的一个典型问题。以往的方法很少花时间在编码层的改进上，尤其是句法信息和词的名称实体的嵌入，而这对编码的质量至关重要。此外，现有的注意力方法将每个查询词表示为一个向量，或者用单个向量来表示整个查询语句，都不能正确处理查询语句中关键词的权重。在本文中，我们介绍了一种新的神经网络架构称为多层嵌入与记忆网络（MEMEMEN）的机器阅读任务。在编码层，我们采用经典的skip-gram模型对词汇的句法和语义信息进行训练，形成一种新的嵌入层。我们还提出了一个记忆网络的全方位匹配的查询和通道，以捕捉更多的关键信息。实验结果表明，该模型在Stanford问答数据集（SQuAD）上的测试结果在精度和效率方面都具有竞争力，在TriviaQA数据集上的测试结果也达到了最先进水平。
2017-07-28 cs.AI cs.CL
PESTO: Switching Point based Dynamic and Relative Positional Encoding for Code-Mixed Languages
IIIT Sri City（印度信息技术学院斯里城）；UCLA（加州大学洛杉矶分校）；Wipro AI Labs（威普罗人工智能实验室）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
代码混合（CM）或混合语言文本的NLP应用最近获得了显著的发展势头，主要原因是在印度，墨西哥，欧洲，美国部分地区等多语言社会的社交媒体通信中语言混合的流行。词嵌入是当今任何NLP系统的基本构建块，然而，CM语言的词嵌入是一个未开发的领域。CM词嵌入的主要瓶颈是切换点，即语言切换的地方。这些位置缺乏上下文，并且由于所见示例中的高方差，统计系统无法对这种现象进行建模。在本文中，我们提出了我们的初步观察应用切换点为基础的位置编码技术的CM语言，特别是印度式英语（印地语-英语）。结果仅略好于SOTA，但很明显，位置编码可以是训练CM文本的位置敏感语言模型的有效方法。
2021-11-12 cs.AI cs.CL cs.LG
Rethinking Positional Encoding in Language Pre-training
Microsoft Research（微软研究院）
在这项工作中，我们研究了用于语言预训练的位置编码方法（例如，BERT）并识别现有公式中的几个问题。首先，我们证明了在绝对位置编码中，位置嵌入和词嵌入上的加法运算带来了两个异构信息资源之间的混合相关性。它可能会在注意力上带来不必要的随机性，并进一步限制模型的表达能力。第二，我们质疑，考虑到符号\texttt{[CLS]}在下游任务中的特殊作用（代表整个句子），将符号的位置与其他单词相同是否是一个合理的设计。基于上述分析，我们提出了一种新的位置编码方法--\textbf{T} transformer with \textbf{U} ntied \textbf{P} ositional \textbf{E} ncoding（TUPE）.在自注意模块中，TUPE分别计算了词的上下文相关度和位置相关度，并将它们相加。这种设计消除了异构嵌入上的混合和噪声相关性，并通过使用不同的投影矩阵提供了更多的表现力。此外，TUPE将\texttt{[CLS]}符号与其他位置分开，从而更容易从所有位置捕获信息。大量的实验和GLUE基准上的烧蚀研究证明了该方法的有效性。代码和模型在https://github.com/guolinke/TUPE上发布。
2021-03-15 cs.CL cs.LG
TransXSSM: A Hybrid Transformer State Space Model with Unified Rotary Position Embedding
HKUST (Guangzhou)（香港科技大学（广州））
针对Transformer与SSM混合模型中位置编码不兼容的问题，提出统一旋转位置嵌入方法，构建TransXSSM混合架构，在速度、准确率和扩展性上均优于基线模型。
2025-06-18 cs.AI cs.CL
Spying on your neighbors: Fine-grained probing of contextual embeddings for information about surrounding words
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
虽然使用上下文词嵌入的模型在许多NLP任务上取得了最先进的结果，但人们对这些嵌入编码的上下文词的确切信息知之甚少。为了解决这个问题，我们引入了一套探测任务，使细粒度测试的上下文嵌入编码的信息周围的话。我们应用这些任务来检查流行的BERT，ELMo和GPT上下文编码器，并发现我们测试的每种信息类型确实被编码为跨令牌的上下文信息，通常具有近乎完美的可恢复性，但编码器在将哪些特征分配给哪些令牌，它们的分布有多细微，以及每个特征的编码对距离的鲁棒性方面有所不同。我们讨论了这些结果的影响，不同类型的模型如何分解和优先级词级上下文信息时，构建令牌嵌入。
2020-05-04 cs.AI cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码（BPE）算法来表示子字。我们评估了生物医学词嵌入，获得了比以前的版本更好的结果，这表明随着数据的增加，我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
SeqPE: Transformer with Sequential Position Encoding
Nara Institute of Science and Technology（奈良科学技术研究所）；Kuaishou Technology（快手科技）；Tencent（腾讯）
针对传统位置编码外推能力弱、跨模态适配成本高的问题，提出全可学习的SeqPE框架，通过序列编码位置索引并结合对比与蒸馏目标正则化，在多任务上超越基线且支持多维输入无缝泛化。
2025-06-17 cs.AI cs.CL cs.CV
Logical Embeddings for Argument Analysis
Kellogg School of Management（凯洛格商学院）；Northwestern University（西北大学）；MIT（麻省理工学院）
本文提出用于论证分析的新框架，用封装论证逻辑语义的逻辑嵌入替代传统上下文词嵌入，基于RKHS理论定义，在分类任务中性能优于多数标准嵌入方法。
2026-08-18 cs.AI cs.CL
Fixed-Size Ordinally Forgetting Encoding Based Word Sense Disambiguation
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Lassonde School of Engineering, York University（约克大学拉松德工程学院）
在本文中，我们提出了我们的方法，使用固定大小的顺序遗忘编码（FOFE）来解决词义消歧（WSD）问题。FOFE使我们能够将可变长度的单词序列编码成理论上唯一的固定大小的表示，该表示可以被馈送到前馈神经网络（FFNN）中，同时保持单词之间的位置信息。该方法利用基于FOFE的FFNN在未标注语料库上训练一个伪语言模型，然后利用预训练好的语言模型将标注语料库中多义词实例的上下文抽象为上下文嵌入。接下来，我们利用这些上下文嵌入WSD分类。我们在几个WSD数据集上进行了实验，这表明我们提出的方法可以以更低的计算成本为代价实现与最先进方法相当的性能。
2019-02-23 cs.CL cs.LG stat.ML
An Improved Historical Embedding without Alignment
Southwest University（西南大学）；RMIT University（皇家墨尔本理工大学）；Chongqing University of Education（重庆第二师范学院）
由于文化和社会的变化，许多词语的意义也发生了变化。理解这些变化对于模拟语言和文化演变至关重要。低维嵌入方法通过将单词编码成密集向量来检测单词的含义变化。然而，当探索词随时间的语义变化时，这些方法需要跨不同时间段对齐词嵌入。这个过程在计算上是昂贵的，令人望而却步的时间消耗和遭受上下文的变化。在本文中，我们提出了一个新的和可扩展的方法编码的单词从不同的时间段到一个密集的向量空间。这可以大大提高识别随着时间的推移含义发生变化的单词的性能。我们在Google Books N-gram的数据集上评估了我们的方法。我们的方法在正确识别含义发生变化的单词数量方面优于其他三种流行的方法。此外，我们提供了一个直观的可视化的语义演变的一些词提取我们的方法
2019-10-19 cs.CL cs.IR
Analysing the Linearity of Linguistic Relations in Language Model Embedding Spaces
ADAPT Research Centre（ADAPT研究中心）；Trinity College Dublin（都柏林圣三一大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出框架分析语言模型嵌入中语言关系的线性编码，发现屈折和派生关系近完美线性，词典和百科关系误差大，且RoBERTa和ModernBERT优于GloVe。
2026-09-21 cs.CL cs.LG
Hybrid Encoder: Towards Efficient and Precise Native AdsRecommendation via Hybrid Transformer Encoding Networks
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Microsoft（微软）
Transformer编码网络已被证明是理解自然语言的有力工具。它们在原生广告服务中发挥着关键作用，这有助于根据用户的Web浏览历史推荐合适的广告。为了高效推荐，常规方法将利用连体Transformer编码器独立地生成用户和广告嵌入，使得可以利用近似最近邻搜索（ANN）。鉴于用户和广告的潜在语义可能是复杂的，这种独立生成的嵌入容易丢失信息，这导致较差的推荐质量。虽然另一种编码策略，交叉编码器，可以更准确，这将导致巨大的运行成本，并成为不可行的实时服务，如原生广告推荐。在这项工作中，我们提出了混合编码器，通过两个连续的步骤：检索和排名，使高效和精确的原生广告推荐。在检索步骤中，用户和广告被编码的连体组件，这使得相关的候选人通过人工神经网络搜索检索。在排名步骤中，它进一步表示每个具有分解嵌入的广告和每个具有广告相关嵌入的用户，这有助于从候选集中细粒度地选择高质量的广告。这两个步骤都是轻量级的，这要归功于预先计算和缓存的中间结果。为了优化混合编码器在这个两阶段工作流程中的性能，开发了一个渐进式训练管道，该管道逐步建立模型在检索和排名任务中的能力。混合编码器的有效性进行了实验验证：很少的额外成本，它优于暹罗编码器显着，并实现了可比的建议质量的交叉编码器。
2021-04-22 cs.AI cs.CL cs.IR
Beyond Textual Context: Structural Graph Encoding with Adaptive Space Alignment to alleviate the hallucination of LLMs
Wuhan University of Technology（武汉理工大学）
提出 SSKG-LLM 架构，通过 KGR、KGE 与 KGA 模块对齐知识图谱结构、语义嵌入和 LLM 文本空间，以增强事实推理并缓解幻觉。
2025-09-26 cs.AI cs.CL
Sequential Query Encoding For Complex Query Answering on Knowledge Graphs
Hong Kong University of Science and Technology（香港科技大学）
针对知识图谱复杂查询回答中现有查询编码方法过于复杂的问题，提出序列查询编码（SQE），通过将计算图线性化为token序列并用序列编码器计算向量表示来检索答案，在多个基准上取得最先进性能。
2023-06-25 cs.AI cs.CL
A Novel Spinor-Based Embedding Model for Transformers
MiraCosta College（米拉科斯塔学院）
本文提出将几何代数中的旋量用于Transformer词嵌入，以增强语言表示的表达能力和鲁棒性，并给出理论基础、集成方法及潜在优势与挑战的分析。
2024-09-26 cs.CL cs.LG
Which Encoding is the Best for Text Classification in Chinese, English, Japanese and Korean?
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Facebook AI Research, Facebook Inc.（Facebook 公司人工智能研究院）
本文对中、日、韩、英四种语言的不同编码方法进行了实证研究。研究了不同的编码级别，包括UTF-8字节、字符、单词、罗马化字符和罗马化单词。对于所有编码级别，只要适用，我们就提供与线性模型，fastText和卷积网络的比较。对于卷积网络，我们比较了使用字符串图像、one-hot（或one-of-n）编码和嵌入的编码机制。总共有473个模型，使用14个大规模文本分类数据集，包括中文，英文，日文和韩文。从这些结果中得出的一些结论包括，基于UTF-8的字节级独热编码始终为卷积网络产生有竞争力的结果，即使没有完美的分词，单词级n-gram线性模型也具有竞争力，fastText使用字符级n-gram编码提供最佳结果，但当特征过于丰富时可能会过拟合。
2017-08-17 cs.CL cs.LG
Graph-Embedding Empowered Entity Retrieval
在这项研究中，我们改进了目前的艺术实体检索的结果列表使用图嵌入重新排名。本文表明，图嵌入是有用的面向实体的搜索任务。我们的经验表明，编码信息从知识图谱到（图）嵌入有助于更高的增加实体检索结果的有效性比使用普通的词嵌入。我们分析了实体链接器的准确性对整体检索效果的影响。我们的分析进一步部署集群假设来解释观察到的优势，图嵌入更广泛使用的词嵌入，用户任务涉及排名实体。
2020-05-06 cs.CL cs.IR
A Survey on Contextual Embeddings
University of Oxford（牛津大学）；DeepMind（深度思维）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
ELMo和BERT等上下文嵌入超越了Word2Vec等全局单词表示，并在广泛的自然语言处理任务中实现了突破性的性能。上下文嵌入根据上下文为每个单词分配一个表示，从而捕获单词在不同上下文中的使用，并对跨语言传输的知识进行编码。在本调查中，我们回顾了现有的上下文嵌入模型，跨语言多语言预训练，上下文嵌入在下游任务中的应用，模型压缩和模型分析。
2020-04-13 cs.AI cs.CL cs.LG
Dynamic Self-Attention : Computing Attention over Words Dynamically for Sentence Embedding
Korea University（高丽大学）
本文提出了一种新的句子嵌入的自注意机制动态自注意（DSA）。我们通过修改胶囊网络中的动态路由来设计DSA（Sabouretal.，2017）用于自然语言处理。DSA采用动态权向量处理信息词。我们在斯坦福自然语言推理（SNLI）数据集上以最少的参数实现了句子编码方法之间的新的最先进的结果，同时在斯坦福情感树库（SST）数据集上显示了比较结果。
2018-08-22 cs.CL cs.LG stat.ML
