Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Linear Cross-Lingual Mapping of Sentence Embeddings
Primer Technologies Inc.（普里默技术公司）
本文假设句子语义在翻译中应更好保留，提出利用简单的线性跨语言映射改进多语言句子嵌入，并将偏离正交条件的程度作为嵌入缺陷的度量。
2024-06-27 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University（罗格斯大学）
虽然词向量表征的重要性质已被广泛研究，但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中，我们调查在何种程度上常用的句子向量表示空间，以及反映某些类型的语义。我们提出了一些计划，以诱导评估数据，词汇类比数据的基础上，以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法，包括基于BERT风格的上下文嵌入。我们发现，不同的模型有很大的不同，在他们的能力，以反映这种不确定性。
2020-03-09 cs.CL
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本文提出语义结构探测方法研究Transformer句子嵌入，发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Pitfalls in the Evaluation of Sentence Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）
深度学习模型在不同的NLP任务中不断打破新的记录。与此同时，他们的成功暴露了模型评估的弱点。在这里，我们汇编了评估句子嵌入的几个关键陷阱，这是目前非常流行的NLP范式。这些陷阱包括不同大小的嵌入的比较，嵌入的规范化，以及传输和探测任务之间的低（和发散）相关性。我们的动机是挑战目前的评价句子嵌入，并提供一个易于访问的参考，为未来的研究。基于我们的见解，我们还推荐了更好的实践，以便将来更好地评估句子嵌入。
2019-06-04 cs.CL
A Critique of the Smooth Inverse Frequency Sentence Embeddings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nazarbayev University（纳扎尔巴耶夫大学）
我们批判性地回顾了Arora，Liang和Ma（2017）的平滑逆频率句子嵌入方法，并在其设置，推导和评估中表现出不一致性。
2019-09-30 cs.CL
One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Toshiba Corporation（东芝公司）
DualCSE通过对比学习为句子生成显式和隐式语义嵌入，提升信息检索和文本分类任务性能。
2026-01-15 cs.CL
CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
CASE通过条件感知嵌入方法提升基于LLM的文本在条件语义相似性任务中的表现。
2026-02-02 cs.CL
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool（利物浦大学）
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题，评估无监督降维方法，发现PCA等能降低近50%维度且不损失性能，甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个简单而有效的方法来扩展现有的句子嵌入模型到新的语言。这允许从以前的单语模型创建多语言版本。训练基于这样的想法，即翻译的句子应该映射到向量空间中与原始句子相同的位置。我们使用原始的（单语）模型来生成源语言的句子嵌入，然后在翻译的句子上训练一个新的系统来模仿原始模型。与其他训练多语言句子嵌入的方法相比，这种方法有几个优点：很容易将现有的模型与相对较少的样本扩展到新的语言，更容易确保向量空间的期望属性，并且训练的硬件要求较低。我们证明了我们的方法对来自不同语系的50多种语言的有效性。将句子嵌入模型扩展到400多种语言的代码是公开的。
2020-10-05 cs.CL
In Search for Linear Relations in Sentence Embedding Spaces
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个介绍性的调查连续空间向量表示的句子。我们获得对非常相似的句子不同，只有一个小的变化（如改变一个名词，添加一个形容词，名词或标点符号）从数据集自然语言推理使用一个简单的模式方法。我们研究如何在句子文本中这样一个小的变化会影响其在连续空间中的表示，以及如何通过一些流行的句子嵌入模型来反映这种变化。我们发现，一些嵌入的向量差异实际上反映了句子中的微小变化。
2019-10-08 cs.CL
Relational Sentence Embedding for Flexible Semantic Matching
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对现有句子嵌入难以捕捉句子间多种语义关系的问题，提出关系型句子嵌入RSE范式，通过关系转换操作与孪生编码器学习关系嵌入，在19个数据集上优于现有先进方法。
2023-06-08 cs.CL
DefSent: Sentence Embeddings using Definition Sentences
Nagoya University（名古屋大学）
使用自然语言推理（NLI）数据集的句子嵌入方法已经成功地应用于各种任务。然而，由于严重依赖于大型NLI数据集，这些方法仅适用于有限的语言。在本文中，我们提出了DefSent，一个句子嵌入的方法，使用定义句子从一个单词字典，它执行无监督语义文本相似性（STS）的任务和SentEval任务略好于传统的方法。由于字典可用于许多语言，因此DefSent比使用NLI数据集的方法更广泛地适用，而无需构建额外的数据集。我们证明了DefSent在无监督的语义文本相似性（STS）任务上执行的性能优于使用大型NLI数据集的方法，并且在SentEval任务上稍好。我们的代码可在https://github.com/hpprc/defsent上公开获取。
2021-06-09 cs.CL
Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models
Google Research（谷歌研究院）
我们提供了文本到文本Transformers（T5）的句子嵌入的第一次探索。句子嵌入在语言处理任务中有着广泛的应用。虽然T5在序列到序列映射问题的语言任务上取得了令人印象深刻的性能，但目前还不清楚如何从编码器-解码器模型中生成句子嵌入。我们研究了三种提取T5句子嵌入的方法：两种只利用T5编码器，一种使用完整的T5编码器-解码器模型。为了支持我们的调查，我们建立了一个新的句子表示转移基准，SentGLUE，它扩展了SentEval工具包从GLUE基准的九个任务。我们的仅编码器模型在SentEval和SentGLUE传输任务上的性能优于Sentence-BERT和SimCSE句子嵌入，包括语义文本相似性（STS）。发现将T5从数百万个参数放大到数十亿个参数可以产生一致的进一步改进。最后，我们的编码器-解码器方法实现了一个新的国家的最先进的STS时，使用句子嵌入。我们的模型发布在https://tfhub.dev/google/collections/sentence-t5/1。
2021-12-14 cs.CL
Learning sentence embeddings using Recursive Networks
学习概括性好的句子向量是一项具有挑战性的任务。在本文中，我们比较了三种学习短语嵌入的方法：1）使用LSTM，2）使用递归网络，3）使用短语的POS信息的方法2的变体。我们对单词的字典定义进行训练，以获得类似于Felix等人的反向字典应用程序。为了看看我们的嵌入是否可以转移到一个新的任务中，我们还在烂番茄数据集上进行了训练和测试[2]。我们进行训练，保持句子嵌入固定以及微调。
2018-05-22 cs.CL
Parameter-free Sentence Embedding via Orthogonal Basis
Stanford University（斯坦福大学）；Microsoft（微软）
我们提出了一个简单而强大的非参数化的方法来建立句子表示。受几何理论中Gram-Schmidt过程的启发，我们构造了一个词与其周围语境在句子中所构成的子空间的正交基。我们基于两个方面对句子中的词的语义进行建模。一个是它与已经被它的上下文词所覆盖的词向量子空间的相关性。另一个是这个词的新的语义，这将被引入作为一个新的基向量垂直于这个现有的子空间。基于这个动机，我们开发了一种基于正交基的创新方法，将预训练的词嵌入组合成句子表示。这种方法需要零参数，以及高效的推理性能。我们在11个下游NLP任务上评估了我们的方法。与非参数化的替代方案相比，我们的模型显示出优越的性能，并且与依赖于大量标记数据或延长训练时间的其他方法相比具有竞争力。
2019-12-06 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
过去在句子嵌入模型中探索组合性的工作面临着确定隐式语法表示的因果影响的问题。给定一个句子，我们构造一个神经模块网络的基础上，其语法分析和训练它端到端近似句子的嵌入生成的Transformer模型。然后，Transformer到句法神经元模块网（SynNaMoN）的可转换性捕获句法是否是其组合能力的强因果模型。此外，我们通过指定各个SynNaMoN模块的内部架构和线性来解决语义组合的几何问题。我们发现各种句子嵌入模型的可扩展性与其性能广泛相关，但观察到可扩展性不会因模型大小而发生很大变化。我们还提出了初步的证据表明，在句子嵌入模型的语法指导的组成是线性的，非线性可能主要用于处理非成分短语。
2023-02-08 cs.CL
Testing the assumptions about the geometry of sentence embedding spaces: the cosine measure need not apply
Idiap Research Institute（Idiap研究机构）；University of Geneva（日内瓦大学）
本研究通过三种方式生成句子嵌入并开展实验，发现句子嵌入空间的几何结构（如余弦相似度）无法预测其任务表现，语言信息实际编码在维度加权组合中，打破了嵌入邻近性对应语义相似的默认假设。
2025-09-01 cs.CL
Sentence transition matrix: An efficient approach that preserves sentence semantics
Korea University（高丽大学）
句子嵌入是自然语言处理领域的一个重要研究课题。生成反映句子内在含义的句子嵌入向量是提高句子分类和文档摘要等各种NLP任务性能的关键因素。因此，在关于词的分布式表示的研究出现之后，已经提出了基于监督学习和无监督学习的各种句子嵌入模型。通过语义文本相似性（STS）任务对它们进行评估，STS任务衡量句子的语义保留程度，基于神经网络的监督嵌入模型通常具有最先进的性能。然而，这些模型的局限性在于它们有多个参数要更新，从而需要大量的标记训练数据。在这项研究中，我们提出了一种有效的方法，学习一个转换矩阵，细化句子嵌入向量，以反映潜在的语义意义的句子。所提出的方法有两个实际的优点：（1）它可以应用于任何句子嵌入方法，（2）它可以实现强大的性能STS任务的训练样本的数量无关。
2019-01-16 cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
BeLLM: Backward Dependency Enhanced Large Language Model for Sentence Embeddings
The Hong Kong Polytechnic University（香港理工大学）
提出BeLLM模型，通过将特定注意力层从单向转为双向来增强自回归LLM的向后依赖，从而提升句子嵌入的语义相似度测量性能，并在多个STS任务和下游应用中达到最先进水平。
2024-03-14 cs.CL
LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation
Google Research（谷歌研究院）；Kyoto University（京都大学）
本研究提出LEALLA，通过知识蒸馏和薄深编码器，在109种语言上构建轻量级语言无关句子嵌入，在多个基准上验证了其有效性。
2023-12-26 cs.CL
Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals
Nagoya University（名古屋大学）
句子嵌入方法已经有许多成功的应用。然而，还没有很好地理解根据监督信号在所得到的句子嵌入中捕获什么属性。本文重点研究了两种具有相似架构和任务的句子嵌入方法：一种是在自然语言推理任务中微调预训练的语言模型，另一种是在定义句子的单词预测任务中微调预训练的语言模型，并研究它们的性质。具体来说，我们比较了他们的表现上的语义文本相似性（STS）任务使用STS数据集划分从两个角度：1）句子源和2）表面相似的句子对，并比较他们的表现在下游和探测任务。此外，我们试图将这两种方法相结合，并证明这两种方法相结合，在无监督STS任务和下游任务上产生比各自方法更好的性能。
2022-06-10 cs.CL
Translation Aligned Sentence Embeddings for Turkish Language
Datategy SAS（达塔泰基公司）；MATYZ Institute of Mathematics and Artificial Intelligence（MATYZ数学与人工智能研究所）
针对土耳其语高质量句子嵌入数据稀缺的问题，提出两阶段微调预训练编码器-解码器模型的方法，通过翻译对对齐嵌入空间，实现有限数据下的高效高精度句子嵌入。
2023-11-16 cs.CL
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Technische Universität Darmstadt（达姆施塔特工业大学）
BERT（Devlin等人，2018）和RoBERTa（Liu等人，2019）在语义文本相似性（STS）等双对回归任务上设置了新的最先进的性能。然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在10，000个句子的集合中找到最相似的一对需要大约5000万次推理计算（约65小时），使用BERT。BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。在这篇文章中，我们提出了句子-BERT（SBERT），这是对预训练的BERT网络的修改，它使用连体和三元网络结构来导出语义上有意义的句子嵌入，可以使用余弦相似度进行比较。这将寻找最相似对的努力从使用BERT / RoBERTa的65小时减少到使用SBERT的大约5秒，同时保持BERT的准确性。我们在常见的STS任务和迁移学习任务上评估SBERT和SRoBERTA，它优于其他最先进的句子嵌入方法。
2019-08-27 cs.CL
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Integrated Eojeol Embedding for Erroneous Sentence Classification in Korean Chatbots
Kakao Enterprise（Kakao企业）；Sungkyunkwan University（成均馆大学）
本文试图分析一个聊天机器人的韩语句子分类系统。句子分类是基于预定义的类别对输入句子进行分类的任务。然而，输入句子中包含的拼写或空格错误会导致词法分析和标记化的问题。本文提出了一种新的方法集成Eojeol（韩语句法词分隔空间）嵌入，以减少分析不良的语素可能对句子分类的影响。它还提出了两种噪声插入方法，进一步提高分类性能。我们的评估结果表明，所提出的系统分类错误的句子比基线系统更准确17%p.0
2020-04-13 cs.CL
What you can cram into a single vector: Probing sentence embeddings for linguistic properties
Facebook AI Research（脸书人工智能研究院）；Université Le Mans（勒芒大学）；Sorbonne Universités（索邦大学）
尽管最近已经投入了大量的精力来训练高质量的句子嵌入，但我们仍然对它们所捕获的内容缺乏了解。“下游”任务通常基于句子分类，通常用于评估句子表征的质量。然而，任务的复杂性使得很难推断出表征中存在什么样的信息。我们在这里介绍了10个探测任务，旨在捕捉句子的简单语言特征，我们用它们来研究由三种不同的编码器生成的嵌入，这些编码器以八种不同的方式训练，揭示了编码器和训练方法的有趣特性。
2018-07-08 cs.CL
Disentangling Semantics and Syntax in Sentence Embeddings with Pre-trained Language Models
University of California, Los Angeles（加州大学洛杉矶分校）
预训练的语言模型在广泛的NLP任务中取得了巨大的成功。然而，来自预训练模型的上下文表示包含纠缠的语义和句法信息，因此不能直接用于为某些任务导出有用的语义句子嵌入。释义对提供了一种学习语义和句法之间区别的有效方法，因为它们自然地共享语义并且经常在句法上变化。在这项工作中，我们提出了ParaBART，一个语义句子嵌入模型，学习解开语义和语法在句子嵌入预训练的语言模型。ParaBART被训练为基于与目标释义共享语义的源句子和指定目标语法的解析树来执行语法引导的释义。通过这种方式，ParaBART使用单独的编码器从各自的输入中学习解纠缠的语义和语法表示。英语实验表明，ParaBART在无监督语义相似性任务上优于最先进的句子嵌入模型。此外，我们表明，我们的方法可以有效地删除语义句子嵌入的句法信息，从而更好地抵御下游语义任务的句法变化的鲁棒性。
2021-04-11 cs.CL
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
Sentence Representations via Gaussian Embedding
Graduate School of Informatics, Nagoya University（名古屋大学情报学研究科）
本文提出基于高斯分布的对比学习框架 GaussCSE，用分布表示句子以建模非对称关系，并设计包含关系相似度度量，在自然语言推理中可估计蕴含方向且性能不下降。
2024-02-20 cs.CL
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University（北京航空航天大学）；Microsoft（微软）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
我们提出了一种新的对比学习方法，用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足，发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法，并讨论了两种提示表示方法和三种提示搜索方法，使BERT能够实现更好的句子嵌入。此外，我们提出了一种新的无监督训练目标的模板去噪技术，这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比，在无监督设置下，基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
对比学习在句子嵌入学习中得到了广泛的研究，它假设同一个句子的不同观点的嵌入更接近。这个假设带来的约束是弱的，一个好的句子表示还应该能够重构原始的句子片段。因此，本文提出了一个信息聚合的对比学习框架学习无监督句子嵌入，称为InfoCSE。InfoCSE通过引入额外的Masked语言模型任务和精心设计的网络，强制[CLS]位置的表示聚合更密集的句子信息。我们在几个基准数据集上评估了所提出的InfoCSE的语义文本相似性（STS）任务。实验结果表明，InfoCSE在BERT-base和BERT-large上的平均Spearman相关性分别为2.60%和1.77%，优于SimCSE，在无监督语句表示学习方法中取得了最好的效果.我们的代码可从https://github.com/caskcsg/sentemb/tree/main/InfoCSE获得。
2022-10-14 cs.CL
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst（马萨诸塞大学阿默斯特分校）
在这份技术报告中，我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说，我们尝试了几种类型的噪声干扰输入词嵌入，如高斯噪声，伯努利噪声，对抗噪声等，我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法，基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
Evaluation of sentence embeddings in downstream and linguistic probing tasks
尽管新的句子嵌入方法发展迅速，但要找到这些不同技术的综合评价仍然具有挑战性。在过去的几年里，我们看到了句子嵌入领域的显著进步，特别是在开发通用句子编码器方面，它可以为各种下游任务提供归纳传输。在这项工作中，我们使用各种各样的下游和语言特征探测任务对最近的方法进行了全面评估。我们证明了一种简单的方法，使用词袋与最近引入的深度上下文相关的词嵌入的语言模型，与在蕴涵数据集上训练的句子编码器相比，在许多任务中都能产生更好的结果。然而，我们也表明，我们仍然远离一个通用的编码器，可以在几个下游任务中一致地执行。
2018-06-16 cs.CL
Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
本研究通过定向稀疏化方法，探究了基于Transformer的句子嵌入中语言信息的分布情况，发现语法数和语义角色等信息并非均匀分布，而是集中在特定区域，有助于理解和构建可解释的神经模型。
2024-07-25 cs.CL
MCSE: Multimodal Contrastive Learning of Sentence Embeddings
Saarland University（萨尔大学）
学习语义有意义的句子嵌入是自然语言处理中的一个开放性问题。在这项工作中，我们提出了一个句子嵌入学习方法，利用视觉和文本信息，通过多模态对比目标。通过对各种语义文本相似性任务的实验，我们证明了我们的方法在各种数据集和预先训练的编码器中始终提高了性能。特别是，结合少量的多模态数据与一个大的纯文本语料库，我们提高了国家的最先进的平均斯皮尔曼的相关性1.7%。通过分析文本嵌入空间的属性，我们表明，我们的模型擅长对齐语义相似的句子，提供了一个解释其性能的提高。
2022-04-22 cs.CL
Verb Argument Structure Alternations in Word and Sentence Embeddings
New York University（纽约大学）
动词出现在不同的句法环境或框架中。我们调查是否人工神经网络编码语法的区别推断动词的特质框架选择属性。我们介绍了五个数据集，统称为FAVA，包含在聚合近10K的句子标记为语法的可接受性，说明不同的口头论点结构的交替。然后，我们测试模型是否可以区分可接受的英语动词框架组合从不可接受的单独使用句子嵌入。为了获得收敛的证据，我们进一步构建了相应的词级数据集LaVA，并研究是否可以从词嵌入中提取相同的句法特征。我们的模型对某些语言变化进行了可靠的分类，但对其他语言变化则没有，这表明虽然这些表示确实编码了细粒度的词汇信息，但它是不完整的，或者很难提取。此外，词级模型和句子级模型之间的差异表明，词嵌入中存在的一些信息不会传递给下游的句子嵌入。
2018-11-27 cs.CL
Effective Parallel Corpus Mining using Bilingual Sentence Embeddings
Google AI（谷歌人工智能）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于双语句子嵌入的并行语料挖掘方法。我们的嵌入模型经过训练，专门为相互翻译的双语句子对生成类似的表示。这是使用一种新的训练方法来实现的，该方法引入了由不是翻译但具有一定程度语义相似性的句子组成的硬否定。通过并行语料库重建和评估在黄金句子对与挖掘句子对上训练的机器翻译系统来评估所得到的嵌入的质量。我们发现，句子嵌入可以用来重建联合国平行语料库在句子层面上的准确率为48.9%的en-fr和54.9%的en-es。当适应文档级匹配时，我们实现了与[Jakob 2010]的计算密集型方法相当的并行文档匹配精度。使用重建的并行数据，我们能够训练NMT模型，这些模型的性能几乎与在原始数据上训练的模型一样好（在1-2 BLEU内）。
2018-08-02 cs.CL
DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings
Massachusetts Institute of Technology（麻省理工学院）；Meta AI；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们提出了DiffCSE，一个无监督的对比学习框架学习句子嵌入。DiffCSE学习对原始句子和编辑句子之间的差异敏感的句子嵌入，其中编辑句子是通过随机掩蔽原始句子然后从掩蔽的语言模型采样而获得的。我们证明了DiffSCE是等变对比学习的一个实例（Dangovski等人，2021），其概括了对比学习并学习对某些类型的增强不敏感而对其他“有害”类型的增强敏感的表示。我们的实验表明，DiffCSE在无监督句子表示学习方法中取得了最先进的结果，在语义文本相似性任务上比无监督SimCSE高出2.3个绝对点。
2022-04-21 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学技术学院（JAIST））；Toshiba Research & Development Center, Japan（日本东芝研发中心）
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型（M-MaxLSTM-CNN），用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词，从而生成新颖的句子嵌入。然后，我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能（即，测量文本相似性、识别释义、识别文本蕴涵）。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果，M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能（例如，对齐特征、Ngram重叠、依赖性特征），并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际 Graduate School）；Zhejiang University（浙江大学）
本文提出在潜在空间中控制大语言模型生成方向以产生带排序信息的句对，并融合排序与语义信息精炼句嵌入模型，在多个基准上以较低成本取得最优性能。
2025-06-04 cs.CL
Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts
CPqD
本文的动机是自动化的神经心理学测试，涉及话语分析的复述叙述的患者有潜在的认知障碍。在这种情况下，语音转录中的句子边界检测的任务是重要的，因为话语分析涉及自然语言处理工具的应用，例如标记器和解析器，其依赖于句子作为处理单元。在本文中，我们的目的是验证嵌入感应方法最适合句子边界检测任务，特别是它是否是那些被提出来捕捉语义，句法或形态相似性。
2017-08-15 cs.CL
WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）；Peking University（北京大学）；Microsoft STC Asia（微软亚太研发集团）
以无监督的方式产生句子的嵌入对于自然语言匹配和检索问题在实践中是有价值的。在这项工作中，我们对基于预训练模型的无监督句子嵌入进行了彻底的检查。我们研究了四个预训练模型，并在七个关于句子语义的数据集上进行了大量实验。我们有主要的发现。首先，平均所有令牌比只使用[CLS]向量更好。第二，将顶层和底层结合起来比只使用顶层要好。最后，一个简单的基于白化的向量归一化策略，不到10行代码，始终提高了性能。
2021-04-09 cs.CL
UNSEE: Unsupervised Non-contrastive Sentence Embeddings
Koç University（科克大学）
针对非对比目标下的句子表征崩塌问题，研究提出带目标网络的UNSEE无监督非对比式句子嵌入方法，经微调优化在Massive Text Embedding基准上超越SimCSE，达非对比句子嵌入最优性能。
2024-02-02 cs.CL
Contrastive Learning of Sentence Embeddings from Scratch
Zhejiang University（浙江大学）；Westlake University（西湖大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出SynCSE框架，利用大语言模型合成数据（含部分标注与从零生成）进行对比学习训练句子嵌入，在相似性和重排序任务中大幅超越无监督基线，部分设置下媲美监督模型。
2023-10-24 cs.CL
S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding
Westlake University（西湖大学）
为了提高句子嵌入的学习性能，人们研究了对比学习。目前最先进的方法是SimCSE，它采用dropout作为数据增强方法，并向预训练的Transformer编码器提供相同的输入语句两次。相应的输出，即从具有不同丢弃掩码的相同句子导出的两个句子嵌入，可以用于构建正对。一个带有丢弃掩码的网络可以看作是它自身的一个子网络，其期望规模由丢弃率决定。在本文中，我们推动具有不同预期尺度的子网络学习相同句子的相似嵌入。SimCSE未能做到这一点，因为他们将辍学率固定为一个调优的超参数。我们实现这一点的抽样辍学率从一个分布eatch前进的过程。由于这种方法可能会使优化变得更加困难，我们还提出了一个简单的逐行掩码策略来采样更多的子网络。我们在几个流行的语义文本相似度数据集上评估了所提出的S-SimCSE。实验结果表明，S-SimCSE在BERT $_{base}$上的性能优于$1\%$
2021-11-24 cs.CL
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo（东京大学）；Microsoft Corporation（微软公司）
在自然语言处理中，以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合，其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而，现有的方法通常依赖于一个单一的增强策略，这导致学习捷径的增强偏见，从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素，而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习，但在文本字段中具有不均匀的增强质量。作为一个答案，我们提出了一种新的同行对比学习（PCL）与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作，这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding
The University of Tokyo（东京大学）
针对多语言句子嵌入学习，本研究提出MPCL方法，通过利用多个多语言正例的跨语言优势与传递相似性改进对比学习，在多类任务及未见过语言的跨语言迁移上均优于传统单正例对比学习。
2024-01-31 cs.CL
Beyond Fine-tuning: Few-Sample Sentence Embedding Transfer
Amazon Alexa AI Search（亚马逊Alexa人工智能搜索）；Microsoft（微软）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在小数据集上微调（FT）预训练的句子嵌入模型已被证明具有局限性。在本文中，我们表明，将来自预训练模型的嵌入与来自仅在目标数据上训练的简单句子嵌入模型的嵌入相连接，可以提高FT在少样本任务中的性能。为此，通过冻结嵌入模型权重或端到端地训练分类器和嵌入模型，在组合的嵌入上训练线性分类器。我们对来自NLP任务的七个小数据集进行了评估，并表明我们的端到端训练方法在计算开销可以忽略不计的情况下优于FT。此外，我们还表明，复杂的组合技术，如CCA和KCCA不工作，以及在实践中串联。我们提供理论分析来解释这一经验观察结果。
2020-10-05 cs.CL
Learning Paraphrastic Sentence Embeddings from Back-Translated Bitext
Toyota Technological Institute at Chicago（芝加哥丰田工业研究所）；University of Edinburgh（爱丁堡大学）
我们考虑在Wieting et al.（2016 b）的背景下学习通用的、释义的句子嵌入的问题。我们使用神经机器翻译通过回译双语句子对来生成原始释义。我们评估的释义对他们的能力，作为学习释义句子嵌入的训练数据。我们发现，数据质量比以前的工作更强，基于bitext和手动编写的英语释义对，与我们的方法可以扩展到许多语言和领域生成大型训练集的优势。我们尝试了几种语言对和数据源，并开发了各种数据过滤技术。在这个过程中，我们探索了神经机器翻译输出与人类书写的句子的不同之处，发现了长度，重复量和罕见单词的使用方面的明显差异。
2017-06-06 cs.CL
