On the Dimensionality of Sentence Embeddings
Tencent AI Lab（腾讯人工智能实验室）
针对句子嵌入维度探索不足的问题，提出分离优化编码器与池化器的两步训练方法，显著提升了低维句子嵌入在多项任务上的性能。
2023-10-23 cs.CL
Vec2Sent: Probing Sentence Embeddings with Natural Language Generation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们反思黑盒句子嵌入，有条件地从他们的目标是检索潜在的离散句子。我们认为这是一个新的无监督探测任务，并表明它与下游任务的性能相关。我们还说明了从不同编码器生成的语言是如何不同的。我们应用我们的方法从句子嵌入生成句子类比。
2020-11-01 cs.CL
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA（Iprova股份公司）；EPFL（洛桑联邦理工学院）
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题，即是否也可以导出类似的方法来改进词序列的嵌入（即语义表示）。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型，突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
Siamese CBOW: Optimizing Word Embeddings for Sentence Representations
University of Amsterdam（阿姆斯特丹大学）；Yandex（扬德克斯）
我们提出了一种用于高质量句子嵌入的有效估计的神经网络--连体连续词袋（Siamese CBOW）模型。对句子中的单词嵌入求平均已被证明是获得句子嵌入的令人惊讶的成功和有效的方法。然而，用当前可用的方法训练的词嵌入对于句子表示的任务不是最优化的，并且因此可能是次优的。Siamese CBOW通过直接训练词嵌入来处理这个问题，以达到平均的目的。底层神经网络通过从句子表示预测其周围的句子来学习词嵌入。我们通过对来自各种来源的20个数据集进行评估，展示了Siamese CBOW模型的鲁棒性。
2016-06-15 cs.CL
Paraphrase Thought: Sentence Embedding Module Imitating Human Language Recognition
Korea University（高丽大学）
句子嵌入是自然语言处理中的一个重要研究课题。为了提高各种自然语言处理任务（如机器翻译和文档分类）的性能，必须生成一个能够充分反映句子语义的嵌入向量。到目前为止，已经提出了各种句子嵌入模型，并且它们的可行性已经通过在嵌入之后的任务（诸如情感分析和句子分类）上的良好性能而被证明。然而，因为句子分类和情感分析的性能可以通过使用简单的句子表示方法来增强，所以基于这些任务的良好性能，声称这些模型完全反映了句子的含义是不够的。本文受人类语言识别的启发，提出了语义连贯性的概念，一个好的句子嵌入方法应该满足这一概念：相似的句子应该在嵌入空间中相互靠近。然后，我们提出了释义-思维（P-thought）模型，以尽可能地追求语义连贯。在MS COCO和STS benchmark两个数据集上的实验结果表明，P-thought模型的性能优于基准句子嵌入方法。
2018-10-15 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Linear Cross-Lingual Mapping of Sentence Embeddings
Primer Technologies Inc.（普里默技术公司）
本文假设句子语义在翻译中应更好保留，提出利用简单的线性跨语言映射改进多语言句子嵌入，并将偏离正交条件的程度作为嵌入缺陷的度量。
2024-06-27 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University（罗格斯大学）
虽然词向量表征的重要性质已被广泛研究，但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中，我们调查在何种程度上常用的句子向量表示空间，以及反映某些类型的语义。我们提出了一些计划，以诱导评估数据，词汇类比数据的基础上，以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法，包括基于BERT风格的上下文嵌入。我们发现，不同的模型有很大的不同，在他们的能力，以反映这种不确定性。
2020-03-09 cs.CL
Dual-View Distilled BERT for Sentence Embedding
Ant Group（蚂蚁集团）
最近，BERT通过词级跨句注意实现了句子匹配的重大进展。然而，性能显着下降时，使用siamese BERT网络来获得两个句子嵌入，这是不够的，在捕捉全局语义，因为两个句子之间的词级注意是缺席。本文提出了一种双视图提取的BERT~（Dv BERT）算法，用于句子嵌入的句子匹配。我们的方法从两个不同的角度处理一个句子对，即，Siamese View和Interaction View。连体视图是生成句子嵌入的主干。交互观将跨句交互整合为多个教师，以提高句子嵌入的表征能力。六个STS任务的实验表明，我们的方法优于国家的最先进的句子嵌入方法显着。
2021-04-18 cs.AI cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Pitfalls in the Evaluation of Sentence Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）
深度学习模型在不同的NLP任务中不断打破新的记录。与此同时，他们的成功暴露了模型评估的弱点。在这里，我们汇编了评估句子嵌入的几个关键陷阱，这是目前非常流行的NLP范式。这些陷阱包括不同大小的嵌入的比较，嵌入的规范化，以及传输和探测任务之间的低（和发散）相关性。我们的动机是挑战目前的评价句子嵌入，并提供一个易于访问的参考，为未来的研究。基于我们的见解，我们还推荐了更好的实践，以便将来更好地评估句子嵌入。
2019-06-04 cs.CL
A Critique of the Smooth Inverse Frequency Sentence Embeddings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nazarbayev University（纳扎尔巴耶夫大学）
我们批判性地回顾了Arora，Liang和Ma（2017）的平滑逆频率句子嵌入方法，并在其设置，推导和评估中表现出不一致性。
2019-09-30 cs.CL
One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Toshiba Corporation（东芝公司）
DualCSE通过对比学习为句子生成显式和隐式语义嵌入，提升信息检索和文本分类任务性能。
2026-01-15 cs.CL
CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
CASE通过条件感知嵌入方法提升基于LLM的文本在条件语义相似性任务中的表现。
2026-02-02 cs.CL
SetCSE: Set Operations using Contrastive Learning of Sentence Embeddings
受集合论启发提出SetCSE信息检索框架，通过集合间对比学习目标增强句子嵌入模型对复杂语义的理解，并提供交集、差分等集合操作，显著提升模型判别能力，支持现有方法无法实现的复杂提示检索任务。
2024-04-25 cs.CL cs.IR cs.LG
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool（利物浦大学）
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题，评估无监督降维方法，发现PCA等能降低近50%维度且不损失性能，甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
Hamming Sentence Embeddings for Information Retrieval
在检索应用中，二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构，这是通过最小化重建误差训练。而不是采用原来的实值嵌入，我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中，我们表明，我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入（Sent 2 Vec，InferSent，手套-BoW），在压缩比高达256：1。我们进一步证明了我们的模型强烈地去相关输入特征，并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个简单而有效的方法来扩展现有的句子嵌入模型到新的语言。这允许从以前的单语模型创建多语言版本。训练基于这样的想法，即翻译的句子应该映射到向量空间中与原始句子相同的位置。我们使用原始的（单语）模型来生成源语言的句子嵌入，然后在翻译的句子上训练一个新的系统来模仿原始模型。与其他训练多语言句子嵌入的方法相比，这种方法有几个优点：很容易将现有的模型与相对较少的样本扩展到新的语言，更容易确保向量空间的期望属性，并且训练的硬件要求较低。我们证明了我们的方法对来自不同语系的50多种语言的有效性。将句子嵌入模型扩展到400多种语言的代码是公开的。
2020-10-05 cs.CL
Sentence Compression as Deletion with Contextual Embeddings
CINNAMON LAB（肉桂实验室）；Hung Yen University of Technology and Education（兴安技术教育大学）；The University of Queensland（昆士兰大学）
句子压缩是在保留重要信息的同时创建输入句子的较短版本的任务。在本文中，我们扩展的任务压缩删除使用上下文嵌入。不同于以前的工作通常使用非上下文嵌入（手套或Word2Vec），我们利用上下文嵌入，使我们的模型捕捉输入的上下文。更准确地说，我们利用由双向长短期记忆和条件随机场堆叠的上下文嵌入来处理序列标记。在基准Google数据集上的实验结果表明，通过利用上下文嵌入，我们的模型实现了一个新的最先进的F分数相比，强大的方法报告的领导者板。
2020-06-05 cs.CL cs.IR cs.LG
In Search for Linear Relations in Sentence Embedding Spaces
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个介绍性的调查连续空间向量表示的句子。我们获得对非常相似的句子不同，只有一个小的变化（如改变一个名词，添加一个形容词，名词或标点符号）从数据集自然语言推理使用一个简单的模式方法。我们研究如何在句子文本中这样一个小的变化会影响其在连续空间中的表示，以及如何通过一些流行的句子嵌入模型来反映这种变化。我们发现，一些嵌入的向量差异实际上反映了句子中的微小变化。
2019-10-08 cs.CL
Relational Sentence Embedding for Flexible Semantic Matching
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对现有句子嵌入难以捕捉句子间多种语义关系的问题，提出关系型句子嵌入RSE范式，通过关系转换操作与孪生编码器学习关系嵌入，在19个数据集上优于现有先进方法。
2023-06-08 cs.CL
DefSent: Sentence Embeddings using Definition Sentences
Nagoya University（名古屋大学）
使用自然语言推理（NLI）数据集的句子嵌入方法已经成功地应用于各种任务。然而，由于严重依赖于大型NLI数据集，这些方法仅适用于有限的语言。在本文中，我们提出了DefSent，一个句子嵌入的方法，使用定义句子从一个单词字典，它执行无监督语义文本相似性（STS）的任务和SentEval任务略好于传统的方法。由于字典可用于许多语言，因此DefSent比使用NLI数据集的方法更广泛地适用，而无需构建额外的数据集。我们证明了DefSent在无监督的语义文本相似性（STS）任务上执行的性能优于使用大型NLI数据集的方法，并且在SentEval任务上稍好。我们的代码可在https://github.com/hpprc/defsent上公开获取。
2021-06-09 cs.CL
STRASS: A Light and Effective Method for Extractive Summarization Based on Sentence Embeddings
EURA NOVA
本文介绍了STRASS：通过变换选择和评分进行的摘要。它是一种利用现有句子嵌入空间中的语义信息的提取文本摘要方法。我们的方法通过选择具有与文档嵌入最接近的嵌入的句子来创建提取摘要。该模型学习文档嵌入的变换，以最小化提取摘要和地面实况摘要之间的相似性。由于转换仅由密集层组成，因此可以在CPU上进行训练，因此成本低廉。此外，推理时间短，根据句子的数量线性。作为第二个贡献，我们介绍了法国CASS数据集，由法国最高上诉法院的判决及其相应的摘要。在这个数据集上，我们的结果表明，我们的方法与最先进的提取方法具有相似的性能，并且具有有效的训练和推断时间。
2019-07-16 cs.CL cs.IR cs.LG
Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models
Google Research（谷歌研究院）
我们提供了文本到文本Transformers（T5）的句子嵌入的第一次探索。句子嵌入在语言处理任务中有着广泛的应用。虽然T5在序列到序列映射问题的语言任务上取得了令人印象深刻的性能，但目前还不清楚如何从编码器-解码器模型中生成句子嵌入。我们研究了三种提取T5句子嵌入的方法：两种只利用T5编码器，一种使用完整的T5编码器-解码器模型。为了支持我们的调查，我们建立了一个新的句子表示转移基准，SentGLUE，它扩展了SentEval工具包从GLUE基准的九个任务。我们的仅编码器模型在SentEval和SentGLUE传输任务上的性能优于Sentence-BERT和SimCSE句子嵌入，包括语义文本相似性（STS）。发现将T5从数百万个参数放大到数十亿个参数可以产生一致的进一步改进。最后，我们的编码器-解码器方法实现了一个新的国家的最先进的STS时，使用句子嵌入。我们的模型发布在https://tfhub.dev/google/collections/sentence-t5/1。
2021-12-14 cs.CL
Learning sentence embeddings using Recursive Networks
学习概括性好的句子向量是一项具有挑战性的任务。在本文中，我们比较了三种学习短语嵌入的方法：1）使用LSTM，2）使用递归网络，3）使用短语的POS信息的方法2的变体。我们对单词的字典定义进行训练，以获得类似于Felix等人的反向字典应用程序。为了看看我们的嵌入是否可以转移到一个新的任务中，我们还在烂番茄数据集上进行了训练和测试[2]。我们进行训练，保持句子嵌入固定以及微调。
2018-05-22 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
过去在句子嵌入模型中探索组合性的工作面临着确定隐式语法表示的因果影响的问题。给定一个句子，我们构造一个神经模块网络的基础上，其语法分析和训练它端到端近似句子的嵌入生成的Transformer模型。然后，Transformer到句法神经元模块网（SynNaMoN）的可转换性捕获句法是否是其组合能力的强因果模型。此外，我们通过指定各个SynNaMoN模块的内部架构和线性来解决语义组合的几何问题。我们发现各种句子嵌入模型的可扩展性与其性能广泛相关，但观察到可扩展性不会因模型大小而发生很大变化。我们还提出了初步的证据表明，在句子嵌入模型的语法指导的组成是线性的，非线性可能主要用于处理非成分短语。
2023-02-08 cs.CL
Testing the assumptions about the geometry of sentence embedding spaces: the cosine measure need not apply
Idiap Research Institute（Idiap研究机构）；University of Geneva（日内瓦大学）
本研究通过三种方式生成句子嵌入并开展实验，发现句子嵌入空间的几何结构（如余弦相似度）无法预测其任务表现，语言信息实际编码在维度加权组合中，打破了嵌入邻近性对应语义相似的默认假设。
2025-09-01 cs.CL
Sentence transition matrix: An efficient approach that preserves sentence semantics
Korea University（高丽大学）
句子嵌入是自然语言处理领域的一个重要研究课题。生成反映句子内在含义的句子嵌入向量是提高句子分类和文档摘要等各种NLP任务性能的关键因素。因此，在关于词的分布式表示的研究出现之后，已经提出了基于监督学习和无监督学习的各种句子嵌入模型。通过语义文本相似性（STS）任务对它们进行评估，STS任务衡量句子的语义保留程度，基于神经网络的监督嵌入模型通常具有最先进的性能。然而，这些模型的局限性在于它们有多个参数要更新，从而需要大量的标记训练数据。在这项研究中，我们提出了一种有效的方法，学习一个转换矩阵，细化句子嵌入向量，以反映潜在的语义意义的句子。所提出的方法有两个实际的优点：（1）它可以应用于任何句子嵌入方法，（2）它可以实现强大的性能STS任务的训练样本的数量无关。
2019-01-16 cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
BeLLM: Backward Dependency Enhanced Large Language Model for Sentence Embeddings
The Hong Kong Polytechnic University（香港理工大学）
提出BeLLM模型，通过将特定注意力层从单向转为双向来增强自回归LLM的向后依赖，从而提升句子嵌入的语义相似度测量性能，并在多个STS任务和下游应用中达到最先进水平。
2024-03-14 cs.CL
LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation
Google Research（谷歌研究院）；Kyoto University（京都大学）
本研究提出LEALLA，通过知识蒸馏和薄深编码器，在109种语言上构建轻量级语言无关句子嵌入，在多个基准上验证了其有效性。
2023-12-26 cs.CL
Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
Osaka University（大阪大学）；Megagon Labs（Megagon实验室）
我们提出了Emu，语义增强多语言句子嵌入的系统。我们的框架使用两个主要组件微调预训练的多语言句子嵌入：语义分类器和语言分类器。语义分类器提高了相关句子的语义相似性，而语言分类器通过多语言对抗训练增强了嵌入的多语言性。我们基于几种语言对的实验结果表明，我们的专业嵌入优于国家的最先进的多语言句子嵌入模型的跨语言意图分类任务，仅使用单语标记数据。
2019-11-24 cs.CL cs.LG
Sentence Embedding Leaks More Information than You Expect: Generative Embedding Inversion Attack to Recover the Whole Sentence
Hong Kong University of Science and Technology（香港科技大学）
本研究针对大语言模型句子嵌入的信息泄露问题，提出生成式嵌入反转攻击GEIA，通过将嵌入作为初始词元表示训练解码器，在黑盒条件下即可从句子嵌入还原完整句子，性能优于现有方法。
2023-05-04 cs.CL cs.CR
Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals
Nagoya University（名古屋大学）
句子嵌入方法已经有许多成功的应用。然而，还没有很好地理解根据监督信号在所得到的句子嵌入中捕获什么属性。本文重点研究了两种具有相似架构和任务的句子嵌入方法：一种是在自然语言推理任务中微调预训练的语言模型，另一种是在定义句子的单词预测任务中微调预训练的语言模型，并研究它们的性质。具体来说，我们比较了他们的表现上的语义文本相似性（STS）任务使用STS数据集划分从两个角度：1）句子源和2）表面相似的句子对，并比较他们的表现在下游和探测任务。此外，我们试图将这两种方法相结合，并证明这两种方法相结合，在无监督STS任务和下游任务上产生比各自方法更好的性能。
2022-06-10 cs.CL
Translation Aligned Sentence Embeddings for Turkish Language
Datategy SAS（达塔泰基公司）；MATYZ Institute of Mathematics and Artificial Intelligence（MATYZ数学与人工智能研究所）
针对土耳其语高质量句子嵌入数据稀缺的问题，提出两阶段微调预训练编码器-解码器模型的方法，通过翻译对对齐嵌入空间，实现有限数据下的高效高精度句子嵌入。
2023-11-16 cs.CL
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Technische Universität Darmstadt（达姆施塔特工业大学）
BERT（Devlin等人，2018）和RoBERTa（Liu等人，2019）在语义文本相似性（STS）等双对回归任务上设置了新的最先进的性能。然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在10，000个句子的集合中找到最相似的一对需要大约5000万次推理计算（约65小时），使用BERT。BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。在这篇文章中，我们提出了句子-BERT（SBERT），这是对预训练的BERT网络的修改，它使用连体和三元网络结构来导出语义上有意义的句子嵌入，可以使用余弦相似度进行比较。这将寻找最相似对的努力从使用BERT / RoBERTa的65小时减少到使用SBERT的大约5秒，同时保持BERT的准确性。我们在常见的STS任务和迁移学习任务上评估SBERT和SRoBERTA，它优于其他最先进的句子嵌入方法。
2019-08-27 cs.CL
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Integrated Eojeol Embedding for Erroneous Sentence Classification in Korean Chatbots
Kakao Enterprise（Kakao企业）；Sungkyunkwan University（成均馆大学）
本文试图分析一个聊天机器人的韩语句子分类系统。句子分类是基于预定义的类别对输入句子进行分类的任务。然而，输入句子中包含的拼写或空格错误会导致词法分析和标记化的问题。本文提出了一种新的方法集成Eojeol（韩语句法词分隔空间）嵌入，以减少分析不良的语素可能对句子分类的影响。它还提出了两种噪声插入方法，进一步提高分类性能。我们的评估结果表明，所提出的系统分类错误的句子比基线系统更准确17%p.0
2020-04-13 cs.CL
What you can cram into a single vector: Probing sentence embeddings for linguistic properties
Facebook AI Research（脸书人工智能研究院）；Université Le Mans（勒芒大学）；Sorbonne Universités（索邦大学）
尽管最近已经投入了大量的精力来训练高质量的句子嵌入，但我们仍然对它们所捕获的内容缺乏了解。“下游”任务通常基于句子分类，通常用于评估句子表征的质量。然而，任务的复杂性使得很难推断出表征中存在什么样的信息。我们在这里介绍了10个探测任务，旨在捕捉句子的简单语言特征，我们用它们来研究由三种不同的编码器生成的嵌入，这些编码器以八种不同的方式训练，揭示了编码器和训练方法的有趣特性。
2018-07-08 cs.CL
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中，我们提出了mSimCSE，它扩展SimCSE到多语言设置，并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入，而无需任何并行数据。在无监督和弱监督的设置，mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面，无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时，性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
Disentangling Semantics and Syntax in Sentence Embeddings with Pre-trained Language Models
University of California, Los Angeles（加州大学洛杉矶分校）
预训练的语言模型在广泛的NLP任务中取得了巨大的成功。然而，来自预训练模型的上下文表示包含纠缠的语义和句法信息，因此不能直接用于为某些任务导出有用的语义句子嵌入。释义对提供了一种学习语义和句法之间区别的有效方法，因为它们自然地共享语义并且经常在句法上变化。在这项工作中，我们提出了ParaBART，一个语义句子嵌入模型，学习解开语义和语法在句子嵌入预训练的语言模型。ParaBART被训练为基于与目标释义共享语义的源句子和指定目标语法的解析树来执行语法引导的释义。通过这种方式，ParaBART使用单独的编码器从各自的输入中学习解纠缠的语义和语法表示。英语实验表明，ParaBART在无监督语义相似性任务上优于最先进的句子嵌入模型。此外，我们表明，我们的方法可以有效地删除语义句子嵌入的句法信息，从而更好地抵御下游语义任务的句法变化的鲁棒性。
2021-04-11 cs.CL
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
Sentence Representations via Gaussian Embedding
Graduate School of Informatics, Nagoya University（名古屋大学情报学研究科）
本文提出基于高斯分布的对比学习框架 GaussCSE，用分布表示句子以建模非对称关系，并设计包含关系相似度度量，在自然语言推理中可估计蕴含方向且性能不下降。
2024-02-20 cs.CL
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University（北京航空航天大学）；Microsoft（微软）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
我们提出了一种新的对比学习方法，用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足，发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法，并讨论了两种提示表示方法和三种提示搜索方法，使BERT能够实现更好的句子嵌入。此外，我们提出了一种新的无监督训练目标的模板去噪技术，这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比，在无监督设置下，基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
Entity-Assisted Language Models for Identifying Check-worthy Sentences
University of Glasgow（格拉斯哥大学）
我们提出了一个新的统一的文本分类和排名的框架，可以自动化的过程中确定检查值得的句子在政治辩论和演讲稿。我们的框架结合了句子的语义分析，通过句子内的识别实体获得额外的实体嵌入。特别是，我们使用最先进的神经语言模型（如BERT、ALBERT和RoBERTa）分析每个句子的语义，而实体的嵌入是从知识图谱（KG）嵌入模型中获得的。具体来说，我们实例化我们的框架使用五种不同的语言模型，从六个不同的KG嵌入模型获得的实体嵌入，以及两种组合方法，导致几个自动辅助神经语言模型。我们使用来自CLEF' 2019和2020 CheckThat的两个公开数据集广泛评估了我们框架的有效性！Labs.我们的结果表明，神经语言模型显著优于传统的TF、IDF和LSTM方法。此外，我们表明，ALBERT模型始终是所有测试的神经语言模型中最有效的模型。当与KG嵌入一起使用时，我们的实体嵌入显着优于文献中基于句子中实体之间的相似性和相关性得分的其他现有方法。
2022-11-19 cs.CL cs.IR cs.LG
InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
对比学习在句子嵌入学习中得到了广泛的研究，它假设同一个句子的不同观点的嵌入更接近。这个假设带来的约束是弱的，一个好的句子表示还应该能够重构原始的句子片段。因此，本文提出了一个信息聚合的对比学习框架学习无监督句子嵌入，称为InfoCSE。InfoCSE通过引入额外的Masked语言模型任务和精心设计的网络，强制[CLS]位置的表示聚合更密集的句子信息。我们在几个基准数据集上评估了所提出的InfoCSE的语义文本相似性（STS）任务。实验结果表明，InfoCSE在BERT-base和BERT-large上的平均Spearman相关性分别为2.60%和1.77%，优于SimCSE，在无监督语句表示学习方法中取得了最好的效果.我们的代码可从https://github.com/caskcsg/sentemb/tree/main/InfoCSE获得。
2022-10-14 cs.CL
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst（马萨诸塞大学阿默斯特分校）
在这份技术报告中，我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说，我们尝试了几种类型的噪声干扰输入词嵌入，如高斯噪声，伯努利噪声，对抗噪声等，我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法，基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
Evaluation of sentence embeddings in downstream and linguistic probing tasks
尽管新的句子嵌入方法发展迅速，但要找到这些不同技术的综合评价仍然具有挑战性。在过去的几年里，我们看到了句子嵌入领域的显著进步，特别是在开发通用句子编码器方面，它可以为各种下游任务提供归纳传输。在这项工作中，我们使用各种各样的下游和语言特征探测任务对最近的方法进行了全面评估。我们证明了一种简单的方法，使用词袋与最近引入的深度上下文相关的词嵌入的语言模型，与在蕴涵数据集上训练的句子编码器相比，在许多任务中都能产生更好的结果。然而，我们也表明，我们仍然远离一个通用的编码器，可以在几个下游任务中一致地执行。
2018-06-16 cs.CL
Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
本研究通过定向稀疏化方法，探究了基于Transformer的句子嵌入中语言信息的分布情况，发现语法数和语义角色等信息并非均匀分布，而是集中在特定区域，有助于理解和构建可解释的神经模型。
2024-07-25 cs.CL
Neural Sentence Embedding using Only In-domain Sentences for Out-of-domain Sentence Detection in Dialog Systems
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Institute for Infocomm Research (I2R)（资讯通信研究所）
为了确保令人满意的用户体验，对话系统必须能够确定输入句子是域内（ID）还是域外（OOD）。我们假设只有ID句子可用作训练数据，因为以无偏的方式收集足够的OOD句子是一项费力且耗时的工作。本文提出了一种新的神经句子嵌入方法，该方法在低维连续向量空间中表示句子，强调区分ID案例和OOD案例的方面。我们首先使用了大量未标记的文本来预训练用于初始化神经句子嵌入的单词表示。然后，我们使用领域类别分析作为一个辅助任务，训练神经句子嵌入的OOD句子检测。在学习了句子表示之后，我们用它们来训练一个针对OOD句子检测的自动编码器。我们评估我们的方法，通过实验比较它的国家的最先进的方法在八域对话系统，我们提出的方法在所有测试中达到了最高的精度。
2018-07-27 cs.AI cs.CL
MCSE: Multimodal Contrastive Learning of Sentence Embeddings
Saarland University（萨尔大学）
学习语义有意义的句子嵌入是自然语言处理中的一个开放性问题。在这项工作中，我们提出了一个句子嵌入学习方法，利用视觉和文本信息，通过多模态对比目标。通过对各种语义文本相似性任务的实验，我们证明了我们的方法在各种数据集和预先训练的编码器中始终提高了性能。特别是，结合少量的多模态数据与一个大的纯文本语料库，我们提高了国家的最先进的平均斯皮尔曼的相关性1.7%。通过分析文本嵌入空间的属性，我们表明，我们的模型擅长对齐语义相似的句子，提供了一个解释其性能的提高。
2022-04-22 cs.CL
