Can Cross Encoders Produce Useful Sentence Embeddings?
IBM(国际商业机器公司(IBM))
本文发现交叉编码器早期层的嵌入可用于信息检索,并提出利用交叉编码器蒸馏轻量双编码器的方法,在保持效果的同时实现5.15倍推理加速。
2025-02-05 cs.CL cs.IR
Improve Transformer Models with Better Relative Position Embeddings
AWS AI(亚马逊云服务人工智能(AWS AI))
Transformer体系结构依赖于显式的位置编码,以保持词序的概念。在本文中,我们认为,现有的工作并没有充分利用位置信息。例如,正弦曲线嵌入的初始建议是固定的,不可学习。在本文中,我们首先回顾绝对位置嵌入和相对位置嵌入的现有方法。然后,我们提出了新的技术,鼓励增加查询,关键和相对位置嵌入在自我注意力机制之间的互动。我们最有前途的方法是绝对位置嵌入的推广,与以前的位置嵌入方法相比,SQuAD 1.1的结果有所改善。此外,我们解决的归纳属性的位置嵌入是否可以足够强大,以处理长序列。我们的经验表明,我们的相对位置嵌入方法是合理的推广和强大的归纳的角度来看。最后,我们表明,我们提出的方法可以作为一个近下降的替代,以提高大型模型的精度与一个小的计算预算。
2020-09-28 cs.CL
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski(数学与信息学系,索菲亚大学);Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题,提出精确位置嵌入ExPE,通过覆写嵌入向量特定维度编码精确位置信息,在因果语言建模长序列测试中显著降低困惑度,提升模型长序列泛化能力。
2025-09-23 cs.CL
Language Agnostic Code Embeddings
Cohere For AI;MIT(麻省理工学院);IBM Research(IBM研究院)
本文系统研究多语言代码嵌入,发现其包含语言特定与语言无关两个成分,并证明去除语言特定成分可显著提升代码检索性能,MRR绝对提升最高达17。
2023-10-25 cs.CL cs.LG
Extending Input Contexts of Language Models through Training on Segmented Sequences
UC San Diego(加州大学圣迭戈分校);University of Minnesota(明尼苏达大学)
该研究针对语言模型长输入训练的成本与适配难题,提出分段序列训练结合插值扩展位置嵌入的方法,无需改架构和额外内存即可将上下文扩展4倍并优化困惑度,适配多种位置嵌入方式。
2024-06-19 cs.CL cs.LG
Geometry of Compositionality
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个简单的组合性测试(即,字面用法)的一个词或短语在上下文特定的方式。该测试在计算上很简单,不依赖外部资源,只使用一组经过训练的词向量。实验结果表明,该方法在多种语言的不同数据集上,对各种自然语言现象(习语、讽刺、隐喻)的上下文组合性检测具有很高的准确性。关键的见解是将组合性与词嵌入的一个奇怪的几何性质联系起来,这是一个独立的兴趣。
2016-11-29 cs.CL
Characterizing the impact of geometric properties of word embeddings on task performance
The Ohio State University(俄亥俄州立大学);University of Warwick(华威大学)
词嵌入属性的分析,以告知其在下游NLP任务中的使用,主要是通过评估最近的邻居进行研究。然而,连续特征空间的几何性质直接有助于在下游模型中使用嵌入特征,并且在很大程度上未被探索。我们考虑词嵌入几何的四个属性,即:相对于原点的位置,特征在向量空间中的分布,全局成对距离和局部成对距离。我们定义了一系列转换来生成新的嵌入,这些嵌入将这些属性的子集暴露给下游模型,并评估任务性能的变化,以了解每个属性对NLP模型的贡献。我们从三个流行的工具包(word2vec,GloVe和FastText)中转换公开的预训练嵌入,并评估各种内在任务,这些任务在向量空间中建模语言信息,以及外部任务,这些任务使用向量作为机器学习模型的输入。我们发现,内在的评价是高度敏感的绝对位置,而外在的任务主要依赖于本地的相似性。我们的研究结果表明,未来的嵌入模型和后处理技术应该主要关注向量空间中附近点的相似性。
2019-04-09 cs.CL cs.LG
Multiplicative Position-aware Transformer Models for Language Understanding
AWS AI(亚马逊网络服务人工智能研究院)
Transformer模型利用了自注意力等架构改进,在自然语言处理(NLP)任务上表现非常出色。自我注意力机制是位置不可知的。为了捕获位置排序信息,已经提出了各种风格的绝对和相对位置嵌入。然而,没有系统的分析,这些方法的贡献和全面的比较是在文献中失踪。在本文中,我们回顾了现有的主要位置嵌入方法,并使用我们自己的实现比较了它们在下游NLP任务上的准确性。我们还提出了一种新的乘法嵌入方法,导致优越的精度相比,现有的方法。最后,我们证明了我们提出的嵌入方法,作为默认绝对位置嵌入的直接替代,可以改进SQuAD1.1和SQuAD2.0数据集上的RoBERTa-base和RoBERTa-large模型。
2021-09-27 cs.AI cs.CL
Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们描述了一种无监督的方法来创建伪平行语料库的机器翻译(MT)从未对齐的文本。我们使用多语言BERT来创建源和目标句子嵌入以进行最近邻搜索,并通过自训练来调整模型。我们通过在BUCC 2017双文本挖掘任务中提取平行句子对来验证我们的技术,并观察到F1分数比以前的无监督方法增加了24.5分(绝对值)。然后,我们通过补充从同一语料库中挖掘的伪并行文本来改进在维基百科上预训练的基于XLM的无监督神经MT系统,在WMT'14法语-英语和WMT'16德语-英语任务上将无监督翻译性能提高了3.5 BLEU,并优于以前的最先进水平。我们用伪平行的Wikipedia句子对丰富了IWEEE '15英语-越南语语料库,在低资源MT任务上获得了1.2 BLEU的改进。我们证明了无监督的双文本挖掘是增强MT数据集的有效方法,并补充了现有的技术,如使用预训练的上下文嵌入进行初始化。
2020-10-15 cs.CL cs.LG
Ontology-Aware Token Embeddings for Prepositional Phrase Attachment
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);DeepMind
类型级词嵌入使用相同的参数集来表示词的所有实例,而不管其上下文如何,忽略了语言中固有的词汇歧义。相反,我们嵌入WordNet中定义的语义概念(或同义词集),并通过估计相关语义概念的分布来表示特定上下文中的单词标记。我们在一个模型中使用新的上下文敏感的嵌入来预测介词短语(PP)附件,并共同学习概念嵌入和模型参数。我们发现,使用上下文敏感的嵌入提高了5.4%的绝对点的PP附件模型的准确性,这相当于一个34.4%的相对减少错误。
2017-05-08 cs.CL
Where does Absolute Position come from in decoder-only Transformers?
Sapienza University of Rome(罗马大学萨皮恩扎分校);Intuition Machines(直觉机器)
本文研究了RoPE训练的仅解码器Transformer中绝对位置信息的来源,发现因果掩码和残差流是导致绝对位置泄露的两个关键组件,并提出了通过替换BOS嵌入来减少残差流成分的方法。
2026-06-04 cs.AI cs.CL
Conformer-based End-to-end Speech Recognition With Rotary Position Embedding
Northwestern Polytechnical University(西北工业大学)
近年来,基于transformer的端到端语音识别模型由于其高训练速度和对长距离全局上下文建模的能力而受到相当大的关注。Transformer架构中的位置嵌入是必不可少的,因为它为输入序列中不同位置的元素之间的依赖性建模提供了监督。为了利用输入序列的时间顺序,许多作品将元素的相对或绝对位置信息注入到输入序列中。在这项工作中,我们研究了各种位置嵌入方法的卷积增强的Transformer(conformer),并采用了一种新的实现称为旋转位置嵌入(RoPE)。RoPE通过旋转矩阵将绝对位置信息编码到输入序列中,然后自然地将显式相对位置信息并入自注意模块中。为了评估RoPE方法的有效性,我们在AISHELL-1和LibriSpeech语料库上进行了实验。实验结果表明,在语音识别任务中,用RoPE增强的构象子取得了较好的性能.具体来说,我们的模型实现了一个相对字的出错率减少8.70%和7.27%,分别在测试清洁和测试其他集的LibriSpeech语料库的一致。
2021-07-13 cs.CL cs.SD eess.AS
P-Transformer: Towards Better Document-to-Document Neural Machine Translation
Northwest Minzu University(西北民族大学);Soochow University(苏州大学);Huawei Translation Services Center(华为翻译服务中心)
通过Transformer从头开始直接训练文档到文档(Doc 2Doc)神经机器翻译(NMT),特别是在小数据集上,通常无法收敛。我们专门的探测任务表明:1)绝对位置和相对位置信息一旦到达编码器上层就会逐渐减弱甚至消失,2)编码器输出中绝对位置信息的消失导致Doc 2Doc NMT的训练失败。为了缓解这个问题,我们提出了一个位置感知的Transformer(P-Transformer),以提高绝对和相对位置信息的自我注意和交叉注意。具体地,我们整合绝对位置信息,即,位置嵌入,通过一个简单而有效的加法运算,在自注意和交叉注意中的查询键对中。此外,我们还整合了自我注意中的相对位置编码。所提出的P-变压器利用正弦位置编码,不需要任何任务指定的位置嵌入,段嵌入,或注意力机制。通过上述方法,我们使用P-Transformer构建了一个Doc 2Doc NMT模型,该模型以序列到序列(seq 2seq)的方式摄取源文档并完整地生成目标文档。此外,P-Transformer还可以应用于基于seq 2seq的文档到句子(Doc 2Sent)和句子到句子(Sent 2Sent)翻译。Doc 2Doc NMT的大量实验结果表明,P-Transformer在广泛使用的9个文档级数据集、7个语言对上的表现显著优于强基线,达到了新的水平。对话语现象的实验表明,我们的Doc 2Doc NMT模型在BLEU和话…
2022-12-12 cs.CL
Punctuation Prediction in Spontaneous Conversations: Can We Mitigate ASR Errors with Retrofitted Word Embeddings?
Avaya(亚美亚公司);Wrocław University of Technology(弗罗茨瓦夫理工大学);Poznan University of Technology(波兹南理工大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
自动语音识别(ASR)系统会引入单词错误,这通常会混淆标点预测模型,从而使标点恢复成为一项具有挑战性的任务。这些错误通常以同音异义词的形式出现。我们展示了如何改造的特定领域的数据上的词嵌入可以减轻ASR错误。我们的主要贡献是更好地对齐同音嵌入的方法和验证所提出的方法上的标点符号预测任务。与最先进的模型相比,我们记录了标点符号预测准确率的绝对提高,从6.2%(问号)到9%(句号)。
2020-04-13 cs.CL cs.LG cs.SD
Closed Form Word Embedding Alignment
School of Computing(计算学院)
我们开发了一系列技术来对齐来自不同源数据集或使用不同机制(例如,GloVe或word2vec)。我们的方法很简单,并且有一个封闭的形式来优化旋转,平移和缩放,以最大限度地减少均方根误差或最大限度地提高相同词汇的两个嵌入到同一维空间之间的平均余弦相似性。我们的方法扩展了称为绝对方向的方法,这种方法在三维中对齐对象时很流行,并推广了Smith等人的方法(ICLR 2017)。我们证明了新的最佳缩放和最大限度地提高余弦相似性的结果。然后,我们演示了如何评估来自不同来源或机制的嵌入的相似性,以及在嵌入中保留某些属性(如同义词和类比),并且可以通过简单地对齐和平均嵌入集合来增强。
2020-11-17 cs.CL stat.ML
DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings
Massachusetts Institute of Technology(麻省理工学院);Meta AI;MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
我们提出了DiffCSE,一个无监督的对比学习框架学习句子嵌入。DiffCSE学习对原始句子和编辑句子之间的差异敏感的句子嵌入,其中编辑句子是通过随机掩蔽原始句子然后从掩蔽的语言模型采样而获得的。我们证明了DiffSCE是等变对比学习的一个实例(Dangovski等人,2021),其概括了对比学习并学习对某些类型的增强不敏感而对其他“有害”类型的增强敏感的表示。我们的实验表明,DiffCSE在无监督句子表示学习方法中取得了最先进的结果,在语义文本相似性任务上比无监督SimCSE高出2.3个绝对点。
2022-04-21 cs.CL
Constrained Output Embeddings for End-to-End Code-Switching Speech Recognition with Only Monolingual Data
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
缺乏语码转换训练数据是开发端到端语码转换自动语音识别(ASR)模型的主要问题之一。在这项工作中,我们提出了一种方法来训练一个改进的端到端的代码切换ASR只使用单语数据。我们的方法鼓励单语语言的输出标记嵌入的分布是相似的,因此,促进ASR模型,以方便语言之间的代码切换。具体来说,我们建议使用基于詹森-香农发散和余弦距离的约束。前者将强制单语语言的输出嵌入具有相似的分布,而后者只是使两个分布的质心彼此接近。实验结果表明,该方法具有很高的有效性,产生高达4.5%的绝对混合出错率的改善汉语-英语码转换ASR任务。
2019-07-31 cs.CL
Enriching Rare Word Representations in Neural Language Models by Embedding Matrix Augmentation
Nanyang Technological University(南洋理工大学)
神经语言模型(NLM)通过学习词的密集表示并利用它们来估计概率分布函数,从而获得很强的泛化能力。然而,学习稀有词的表示是一个具有挑战性的问题,导致NLM产生不可靠的概率估计。为了解决这个问题,我们提出了一种方法来丰富预训练的NLM中稀有词的表示,从而提高其概率估计性能。该方法在保持其他参数不变的情况下,增加了预训练NLM的词嵌入矩阵。具体来说,我们的方法更新的嵌入向量的罕见的话,使用嵌入向量的其他语义和语法相似的话。为了评估所提出的方法,我们丰富了罕见的街道名称在预先训练的NLM和使用它rescore 100最好的假设输出从新加坡英语语音识别系统。与基线NLM相比,丰富的NLM将单词出错率相对降低了6%,并且将稀有单词的识别准确性绝对提高了16%。
2019-07-31 cs.CL
Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation
University of Bucharest(布加勒斯特大学)
在本文中,我们提出了一种新的表示文本文档的基础上聚合词嵌入向量到文档嵌入。我们的方法的灵感来自于用于图像表示的局部聚集描述符向量,它的工作原理如下。首先,从文档集合中收集的词嵌入通过k均值聚类,以学习语义相关的词嵌入的码本。然后,每个词嵌入与其最近的聚类质心(码字)相关联。然后,通过累加每个码字向量和与相应码字相关联的每个词向量(来自文档)之间的差来计算文档的局部聚集词嵌入向量(VLAWE)表示。我们将以无监督方式学习的VLAWE表示插入到分类器中,并表明它对各种文本分类任务都很有用。我们将我们的方法与最近广泛的最先进的方法进行比较,证明了我们方法的有效性。此外,我们在Movie Review数据集上获得了相当大的改进,报告的准确率为93.3%,比最先进的方法绝对提高了10%。我们的代码可在https://github.com/raduionescu/vlawe-boswe/上获得。
2019-05-06 cs.CL
Lightweight Adaptation of Neural Language Models via Subspace Embedding
University of Surrey(萨里大学);University of Southampton(南安普顿大学)
本文提出一种基于子空间嵌入与 token 上下文分配的紧凑嵌入结构,可将预训练语言模型嵌入压缩超过99.8%,且绝对准确率损失不超过4%。
2023-08-16 cs.AI cs.CL
Convolutions and Self-Attention: Re-interpreting Relative Positions in Pre-trained Language Models
University of California San Diego(加州大学圣地亚哥分校)
本文详细讨论了自然语言任务中卷积和自我注意之间的关系。我们证明了自注意层中的相对位置嵌入等价于最近提出的动态轻量级卷积,并且我们考虑了将卷积集成到Transformer自注意中的多种新方法。具体来说,我们提出了复合注意力,它将以前的相对位置嵌入方法结合在卷积框架下。我们通过用复合注意力训练BERT来进行实验,发现卷积一致地提高了多个下游任务的性能,取代了绝对位置嵌入。为了通知未来的工作,我们提出了比较轻量级卷积,动态卷积和深度可分离卷积在语言模型预训练中的结果,考虑到自我注意层中卷积的多个注入点。
2021-06-10 cs.CL
P-Adapters: Robustly Extracting Factual Information from Language Models with Diverse Prompts
Stanford University(斯坦福大学);Salesforce Research(Salesforce研究院)
最近的工作(例如LAMA(Petroni等人,2019))发现,从大语言模型(LLM)中提取的事实信息的质量取决于用于查询它们的提示。这种不一致性是有问题的,因为不同的用户将使用不同的措辞查询LLM以获得相同的信息,但无论如何都应该收到相同的准确响应。在这项工作中,我们的目标是通过引入P-Adapters来解决这个缺点:轻量级模型位于LLM的嵌入层和第一个注意层之间。它们将LLM嵌入作为输入,并输出用于查询LLM的连续提示。此外,我们研究混合专家(MoE)模型,学习一组连续提示("专家"),并选择一个查询LLM。它们需要一个单独的分类器来训练人类注释的数据,以将自然语言提示映射到连续的提示。P-Adapters在从BERT和RoBERTa中提取事实信息时执行对更复杂的MoE模型的验证,同时消除了对额外注释的需要。与仅使用自然语言查询的基线相比,P适配器显示出12 - 26%的精确度绝对提高和36 - 50%的一致性绝对提高。最后,我们调查是什么使P-适配器成功,并得出结论,一个重要的因素是访问LLM的嵌入的原始自然语言提示,特别是被查询的实体对的主题。
2022-04-19 cs.CL
Analyzing autoencoder-based acoustic word embeddings
University of Edinburgh(爱丁堡大学);Stellenbosch University(斯泰伦博斯大学)
最近的研究介绍了学习声学词嵌入(AWE)的方法--固定大小的矢量表示的单词编码其声学特征。尽管AWE在语音处理研究中被广泛使用,但它们仅在区分整个单词标记的能力方面进行了定量评估。为了更好地理解AWE在各种下游任务和认知建模中的应用,我们需要分析AWE的表示空间。在这里,我们分析了AWE空间的基本属性学习序列到序列编码器-解码器模型在六个类型不同的语言。我们首先表明,这些AWE保留了一些关于单词的绝对持续时间和扬声器的信息。同时,这些AWE的表示空间被组织成使得词的嵌入之间的距离随着那些词的语音相异性而增加。最后,AWE表现出一个词的起始偏差,类似于人类语音处理和词汇访问的各种研究中报道的模式。我们认为,这是一个有前途的结果,并鼓励进一步评估AWE作为一个潜在的有用的工具,在认知科学,它可以提供语音处理和词汇记忆之间的联系。
2020-04-03 cs.CL
Timestamped Embedding-Matching Acoustic-to-Word CTC ASR
Apple(苹果公司)
提出一种嵌入匹配词级CTC ASR训练方法,直接输出词时间戳,分段精度与DNN-HMM相当,误差小于3ms,词错误率相对增加小于5%。
2023-06-20 cs.CL eess.AS
The Harder Text Embedding Benchmark (HTEB): Beyond One-dimensional Static Robustness
Department of Computer Science Munster Technological University(计算机科学系穆斯特技术大学)
提出HTEB动态评估框架,通过LLM随机变换输入,从词汇/风格、长度和语言三个维度挑战文本嵌入模型的鲁棒性,发现模型具有特定且部分解耦的鲁棒性轮廓,规模提升绝对分数但未缩小原始与变换评估差距,且英语数据集对变换更敏感。
2026-09-22 cs.CL
Encoding word order in complex embeddings
University of Padua(帕多瓦大学);Tianjin University(天津大学);University of Copenhagen(哥本哈根大学)
在处理文本时,连续的词序很重要。目前,神经网络(NN)通过使用位置嵌入对单词位置进行建模来解决这个问题。问题是位置嵌入捕获单个单词的位置,但不是有序关系(例如,相邻或优先)。我们提出了一种新颖的和原则性的解决方案,建模的全球绝对位置的话,他们的顺序关系。我们的解决方案将先前定义为独立向量的词嵌入推广到变量(位置)上的连续词函数。连续函数在可变位置上的好处是,单词表示随着位置的增加而平滑地移动。因此,不同位置的单词表示可以在连续函数中彼此相关。这些函数的通解被推广到复值域,由于更丰富的表示。我们将CNN,RNN和Transformer NN扩展到复值版本,以纳入我们的复杂嵌入(我们提供所有代码)。在文本分类、机器翻译和语言建模上的实验表明,与经典的词嵌入和位置丰富的词嵌入相比,该方法具有更好的性能。据我们所知,这是NLP中第一个将复值表示中的虚数与具体含义联系起来的工作(即,词序)。
2020-06-28 cs.CL cs.IR
Multi-lingual Common Semantic Space Construction via Cluster-consistent Word Embedding
Rensselaer Polytechnic Institute(伦斯勒理工学院);New York University(纽约大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
我们构建了一个基于分布式语义的多语言公共语义空间,其中来自多种语言的单词被投射到一个共享空间中,以实现跨语言的知识和资源转移。除了单词对齐之外,我们还引入了多个聚类级别的对齐,并强制单词聚类在多种语言中保持一致。我们利用三个信号进行聚类:(1)单语词嵌入空间中的相邻词;(2)字符级信息;以及(3)语言属性(例如,同位词、方位后缀),来源于可用于数千种语言的语言结构知识库。我们引入了一种新的聚类一致性相关神经网络,通过对齐词和聚类来构建公共语义空间。对单语和多语言QVEC任务的内在评价表明,我们的方法与语言特征的相关性明显高于最先进的多语言嵌入学习方法。使用低资源的语言名称标记作为外部评估的案例研究,我们的方法实现了高达24.5%的绝对F分数增益超过最先进的。
2018-04-21 cs.AI cs.CL
Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
AI Center, Samsung Cambridge, UK(三星人工智能中心,英国坎特伯雷)
本研究针对自动语音识别领域中相对位置嵌入复杂度高、适配性差的问题,评估了旋转位置嵌入(RoPE)在多场景多数据规模下的表现,证明其效果更优且训练速度更快。
2025-06-15 cs.AI cs.CL eess.AS
VN-MTEB: Vietnamese Massive Text Embedding Benchmark
GreenNode AI, Singapore(新加坡GreenNode AI);School of Electrical Engineering, International University, VNU-HCMC, Vietnam(越南国际大学电气工程学院)
针对越南语缺乏大规模文本嵌入评估基准的问题,研究团队通过自动化翻译筛选框架构建了含41个数据集、6类任务的VN-MTEB基准,并发现旋转位置嵌入模型在相关任务中表现更优。
2025-07-29 cs.AI cs.CL
Demographic Attributes Prediction from Speech Using WavLM Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种基于 WavLM 嵌入的语音人口统计属性预测框架,在年龄和性别等任务上显著提升准确率与误差表现。
2025-02-17 cs.AI cs.CL
End-to-end spoken language understanding using joint CTC loss and self-supervised, pretrained acoustic encoders
Amazon Alexa AI(亚马逊Alexa人工智能部门)
提出以 CTC 微调的自监督声学编码器提取文本嵌入,并用 CTC 与 SLU 联合损失训练端到端 SLU 模型,在 DSTC2 和 SLURP 上分别超过 SOTA 4% 和 1.3%。
2023-06-02 cs.CL cs.SD eess.AS