Exploring Italian sentence embeddings properties through multi-tasking
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
该研究在多任务设置下探究现有大型语言模型对意大利语句向量中抽象语言信息的编码程度，利用意大利语黑鸟语言矩阵合成数据，通过两级架构分析句法语义编码特性，发现不同任务线索编码方式存在差异。
2024-11-29 cs.CL
Distance-to-Distance Ratio: A Similarity Measure for Sentences Based on Rate of Change in LLM Embeddings
DataKnife；Roosevelt University（罗思希尔大学）
本文提出距离比（DDR）作为衡量句子相似性的新方法，通过分析LLM嵌入变化率来评估上下文对语义的影响，实验表明其在区分语义相似与不相似文本方面表现更优。
2026-01-25 cs.CL
Ditto: A Simple and Efficient Approach to Improve Sentence Embeddings
Alibaba Group（阿里巴巴集团）
针对BERT句子嵌入对无信息词偏置导致的各向异性问题，提出无监督的对角注意力池化方法Ditto，通过加权词表示生成嵌入，无需参数与学习即可提升STS任务性能。
2023-10-23 cs.CL
Sentence Embedding Leaks More Information than You Expect: Generative Embedding Inversion Attack to Recover the Whole Sentence
Hong Kong University of Science and Technology（香港科技大学）
本研究针对大语言模型句子嵌入的信息泄露问题，提出生成式嵌入反转攻击GEIA，通过将嵌入作为初始词元表示训练解码器，在黑盒条件下即可从句子嵌入还原完整句子，性能优于现有方法。
2023-05-04 cs.CL cs.CR
On the Sentence Embeddings from Pre-trained Language Models
ByteDance AI Lab（字节跳动人工智能实验室）；Carnegie Mellon University（卡内基梅隆大学）
像BERT这样的预先训练的上下文表示在自然语言处理中取得了巨大的成功。然而，已经发现来自未经微调的预训练的语言模型的句子嵌入难以捕获句子的语义含义。在本文中，我们认为，在BERT嵌入的语义信息没有得到充分利用。首先从理论上揭示了掩蔽语言模型预训练目标与语义相似度任务之间的理论联系，然后对BERT句子嵌入进行了实证分析。我们发现，BERT总是导致一个非光滑的各向异性的句子语义空间，这损害了它的语义相似度的性能。为了解决这个问题，我们建议将各向异性的句子嵌入分布转换为平滑和各向同性的高斯分布，通过规范化流，学习与无监督的目标。实验结果表明，我们提出的BERT流方法获得了显着的性能增益比国家的最先进的句子嵌入在各种语义文本相似性任务。该代码可在https://github.com/bohanli/BERT-flow上获得。
2020-11-02 cs.CL cs.LG
Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
本文提出免训练的Token Prepending技术，通过将各层解码的句子嵌入前置到下一层输入开头，缓解因果注意力导致的前序token信息偏差，从而在多种LLMs和任务上显著提升基于提示的句子嵌入性能。
2025-07-03 cs.AI cs.CL
GenEOL: Harnessing the Generative Power of LLMs for Training-Free Sentence Embeddings
Duke University（杜克大学）
针对免训练句嵌入忽视LLM生成能力的问题，提出GenEOL方法，通过生成句子的语义保留变换并聚合其嵌入，在STS基准上平均提升2.85个百分点，在MTEB任务中表现优异且鲁棒性强。
2025-02-09 cs.AI cs.CL
Sen2Pro: A Probabilistic Perspective to Sentence Embedding from Pre-trained Language Model
Tencent AI Lab（腾讯人工智能实验室）
本文提出Sen2Pro框架，将PLM生成的句子由点向量改为概率分布以建模模型与数据不确定性，无需重训且可即插即用，并从理论和多任务实验验证其优于Sen2Vec。
2023-06-04 cs.AI cs.CL
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology（华南理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题，提出SARCSE框架，通过自编码器重构全部词元并引入自适应重构损失，在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable Semantic Features
Heidelberg University（海德堡大学）
本研究提出S$^3$BERT，通过逼近AMR图度量将SBERT句子嵌入分解为可解释的语义子嵌入，同时保持原嵌入的相似度性能，兼顾可解释性与效率。
2022-10-28 cs.AI cs.CL
Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives
Alibaba Group（阿里巴巴集团）
继SimCSE之后，基于对比学习的方法在学习句子嵌入方面取得了最先进的（SOTA）性能。然而，无监督的对比学习方法仍然远远落后于有监督的同类方法。我们将此归因于阳性和阴性样本的质量，并旨在改善两者。具体来说，对于阳性样本，我们提出了开关情况下的增强翻转的情况下，随机选择的单词在一个句子中的第一个字母。这是为了抵消预先训练的标记嵌入对频率、词格和子词的固有偏见。对于阴性样本，我们基于预训练的语言模型从整个数据集中抽取硬阴性样本。将上述两种方法与SimCSE相结合，我们提出的对比学习与增强和检索数据的句子嵌入（Sentence embedding）方法显着优于当前的SOTA在STS基准在无监督设置。
2022-06-06 cs.CL cs.IR
Latent Reasoning via Sentence Embedding Prediction
KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；University College London（伦敦大学学院）；LG AI Research（LG人工智能研究）
本研究提出一种通过自回归预测下一句连续嵌入使预训练语言模型在句子空间进行潜在推理的框架，实验表明连续推理下的上下文嵌入性能媲美CoT且推理时FLOPs减半。
2025-10-11 cs.AI cs.CL
DoubleCCA: Improving Foundation Model Group Robustness with Random Sentence Embeddings
Osaka University（大阪大学）；Sichuan University（四川大学）
本文提出 DoubleCCA 方法，通过随机句子增强和双重典型相关分析对齐文本嵌入，以简单有效的方式提升基础模型对群体偏见的鲁棒性，并在多个任务上优于现有方法。
2024-11-25 cs.CL cs.CV
D2CSE: Difference-aware Deep continuous prompts for Contrastive Sentence Embeddings
Samsung SDS（三星SDS）
D2CSE 通过自引导的对比学习和条件替换词元检测优化单个 PLM 上的连续提示，以约 1% 的训练参数在七个 STS 基准上提升句嵌入质量并有效区分细微语义差异。
2023-04-18 cs.AI cs.CL
SGPT: GPT Sentence Embeddings for Semantic Search
Peking University（北京大学）
解码器Transformers的规模不断增加，达到数千亿个参数。由于它们的规模，相同的解码器通过提示或微调在各种语言任务上设置最先进的结果。然而，这些大的基础模型仍然无法用于语义搜索和句子嵌入的相关领域。这可能会阻止新的最先进的结果，并迫使组织训练和维护单独的模型。为此，我们建议SGPT使用解码器的句子嵌入和语义搜索通过提示或微调。在58亿个参数上，SGPT比以前最好的句子嵌入提高了7%，并且在BEIR搜索基准上测量时优于具有1750亿个参数的并发方法。代码、模型和结果文件可在https://github.com/Muennighoff/sgpt上免费获得。
2022-08-05 cs.AI cs.CL cs.IR
Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences
Drexel University（德雷塞尔大学）；Metadata Research Center（元数据研究中心）；College of Computing and Informatics（计算与信息学院）
句子嵌入方法为处理短文本结构或单词序列提供了一种强大的方法。通过将句子表示为密集的数值向量，许多自然语言处理（NLP）应用程序已经提高了它们的性能。然而，人们对句子嵌入的潜在结构却知之甚少。具体而言，研究没有涉及句子的长度和结构是否影响句子嵌入空间和拓扑。本文研究了一套针对句子和子句子嵌入空间的综合聚类和网络分析方法。结果表明，一种方法产生的最聚类嵌入。一般来说，跨度子句的嵌入比原始句子具有更好的聚类特性。研究结果对未来的句子嵌入模型和应用具有指导意义。
2021-10-02 cs.CL
On the Dimensionality of Sentence Embeddings
Tencent AI Lab（腾讯人工智能实验室）
针对句子嵌入维度探索不足的问题，提出分离优化编码器与池化器的两步训练方法，显著提升了低维句子嵌入在多项任务上的性能。
2023-10-23 cs.CL
Vec2Sent: Probing Sentence Embeddings with Natural Language Generation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们反思黑盒句子嵌入，有条件地从他们的目标是检索潜在的离散句子。我们认为这是一个新的无监督探测任务，并表明它与下游任务的性能相关。我们还说明了从不同编码器生成的语言是如何不同的。我们应用我们的方法从句子嵌入生成句子类比。
2020-11-01 cs.CL
Siamese CBOW: Optimizing Word Embeddings for Sentence Representations
University of Amsterdam（阿姆斯特丹大学）；Yandex（扬德克斯）
我们提出了一种用于高质量句子嵌入的有效估计的神经网络--连体连续词袋（Siamese CBOW）模型。对句子中的单词嵌入求平均已被证明是获得句子嵌入的令人惊讶的成功和有效的方法。然而，用当前可用的方法训练的词嵌入对于句子表示的任务不是最优化的，并且因此可能是次优的。Siamese CBOW通过直接训练词嵌入来处理这个问题，以达到平均的目的。底层神经网络通过从句子表示预测其周围的句子来学习词嵌入。我们通过对来自各种来源的20个数据集进行评估，展示了Siamese CBOW模型的鲁棒性。
2016-06-15 cs.CL
Paraphrase Thought: Sentence Embedding Module Imitating Human Language Recognition
Korea University（高丽大学）
句子嵌入是自然语言处理中的一个重要研究课题。为了提高各种自然语言处理任务（如机器翻译和文档分类）的性能，必须生成一个能够充分反映句子语义的嵌入向量。到目前为止，已经提出了各种句子嵌入模型，并且它们的可行性已经通过在嵌入之后的任务（诸如情感分析和句子分类）上的良好性能而被证明。然而，因为句子分类和情感分析的性能可以通过使用简单的句子表示方法来增强，所以基于这些任务的良好性能，声称这些模型完全反映了句子的含义是不够的。本文受人类语言识别的启发，提出了语义连贯性的概念，一个好的句子嵌入方法应该满足这一概念：相似的句子应该在嵌入空间中相互靠近。然后，我们提出了释义-思维（P-thought）模型，以尽可能地追求语义连贯。在MS COCO和STS benchmark两个数据集上的实验结果表明，P-thought模型的性能优于基准句子嵌入方法。
2018-10-15 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Linear Cross-Lingual Mapping of Sentence Embeddings
Primer Technologies Inc.（普里默技术公司）
本文假设句子语义在翻译中应更好保留，提出利用简单的线性跨语言映射改进多语言句子嵌入，并将偏离正交条件的程度作为嵌入缺陷的度量。
2024-06-27 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University（罗格斯大学）
虽然词向量表征的重要性质已被广泛研究，但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中，我们调查在何种程度上常用的句子向量表示空间，以及反映某些类型的语义。我们提出了一些计划，以诱导评估数据，词汇类比数据的基础上，以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法，包括基于BERT风格的上下文嵌入。我们发现，不同的模型有很大的不同，在他们的能力，以反映这种不确定性。
2020-03-09 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Pitfalls in the Evaluation of Sentence Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）
深度学习模型在不同的NLP任务中不断打破新的记录。与此同时，他们的成功暴露了模型评估的弱点。在这里，我们汇编了评估句子嵌入的几个关键陷阱，这是目前非常流行的NLP范式。这些陷阱包括不同大小的嵌入的比较，嵌入的规范化，以及传输和探测任务之间的低（和发散）相关性。我们的动机是挑战目前的评价句子嵌入，并提供一个易于访问的参考，为未来的研究。基于我们的见解，我们还推荐了更好的实践，以便将来更好地评估句子嵌入。
2019-06-04 cs.CL
A Critique of the Smooth Inverse Frequency Sentence Embeddings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nazarbayev University（纳扎尔巴耶夫大学）
我们批判性地回顾了Arora，Liang和Ma（2017）的平滑逆频率句子嵌入方法，并在其设置，推导和评估中表现出不一致性。
2019-09-30 cs.CL
One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Toshiba Corporation（东芝公司）
DualCSE通过对比学习为句子生成显式和隐式语义嵌入，提升信息检索和文本分类任务性能。
2026-01-15 cs.CL
CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
CASE通过条件感知嵌入方法提升基于LLM的文本在条件语义相似性任务中的表现。
2026-02-02 cs.CL
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个简单而有效的方法来扩展现有的句子嵌入模型到新的语言。这允许从以前的单语模型创建多语言版本。训练基于这样的想法，即翻译的句子应该映射到向量空间中与原始句子相同的位置。我们使用原始的（单语）模型来生成源语言的句子嵌入，然后在翻译的句子上训练一个新的系统来模仿原始模型。与其他训练多语言句子嵌入的方法相比，这种方法有几个优点：很容易将现有的模型与相对较少的样本扩展到新的语言，更容易确保向量空间的期望属性，并且训练的硬件要求较低。我们证明了我们的方法对来自不同语系的50多种语言的有效性。将句子嵌入模型扩展到400多种语言的代码是公开的。
2020-10-05 cs.CL
In Search for Linear Relations in Sentence Embedding Spaces
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个介绍性的调查连续空间向量表示的句子。我们获得对非常相似的句子不同，只有一个小的变化（如改变一个名词，添加一个形容词，名词或标点符号）从数据集自然语言推理使用一个简单的模式方法。我们研究如何在句子文本中这样一个小的变化会影响其在连续空间中的表示，以及如何通过一些流行的句子嵌入模型来反映这种变化。我们发现，一些嵌入的向量差异实际上反映了句子中的微小变化。
2019-10-08 cs.CL
Relational Sentence Embedding for Flexible Semantic Matching
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对现有句子嵌入难以捕捉句子间多种语义关系的问题，提出关系型句子嵌入RSE范式，通过关系转换操作与孪生编码器学习关系嵌入，在19个数据集上优于现有先进方法。
2023-06-08 cs.CL
DefSent: Sentence Embeddings using Definition Sentences
Nagoya University（名古屋大学）
使用自然语言推理（NLI）数据集的句子嵌入方法已经成功地应用于各种任务。然而，由于严重依赖于大型NLI数据集，这些方法仅适用于有限的语言。在本文中，我们提出了DefSent，一个句子嵌入的方法，使用定义句子从一个单词字典，它执行无监督语义文本相似性（STS）的任务和SentEval任务略好于传统的方法。由于字典可用于许多语言，因此DefSent比使用NLI数据集的方法更广泛地适用，而无需构建额外的数据集。我们证明了DefSent在无监督的语义文本相似性（STS）任务上执行的性能优于使用大型NLI数据集的方法，并且在SentEval任务上稍好。我们的代码可在https://github.com/hpprc/defsent上公开获取。
2021-06-09 cs.CL
Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models
Google Research（谷歌研究院）
我们提供了文本到文本Transformers（T5）的句子嵌入的第一次探索。句子嵌入在语言处理任务中有着广泛的应用。虽然T5在序列到序列映射问题的语言任务上取得了令人印象深刻的性能，但目前还不清楚如何从编码器-解码器模型中生成句子嵌入。我们研究了三种提取T5句子嵌入的方法：两种只利用T5编码器，一种使用完整的T5编码器-解码器模型。为了支持我们的调查，我们建立了一个新的句子表示转移基准，SentGLUE，它扩展了SentEval工具包从GLUE基准的九个任务。我们的仅编码器模型在SentEval和SentGLUE传输任务上的性能优于Sentence-BERT和SimCSE句子嵌入，包括语义文本相似性（STS）。发现将T5从数百万个参数放大到数十亿个参数可以产生一致的进一步改进。最后，我们的编码器-解码器方法实现了一个新的国家的最先进的STS时，使用句子嵌入。我们的模型发布在https://tfhub.dev/google/collections/sentence-t5/1。
2021-12-14 cs.CL
Learning sentence embeddings using Recursive Networks
学习概括性好的句子向量是一项具有挑战性的任务。在本文中，我们比较了三种学习短语嵌入的方法：1）使用LSTM，2）使用递归网络，3）使用短语的POS信息的方法2的变体。我们对单词的字典定义进行训练，以获得类似于Felix等人的反向字典应用程序。为了看看我们的嵌入是否可以转移到一个新的任务中，我们还在烂番茄数据集上进行了训练和测试[2]。我们进行训练，保持句子嵌入固定以及微调。
2018-05-22 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
过去在句子嵌入模型中探索组合性的工作面临着确定隐式语法表示的因果影响的问题。给定一个句子，我们构造一个神经模块网络的基础上，其语法分析和训练它端到端近似句子的嵌入生成的Transformer模型。然后，Transformer到句法神经元模块网（SynNaMoN）的可转换性捕获句法是否是其组合能力的强因果模型。此外，我们通过指定各个SynNaMoN模块的内部架构和线性来解决语义组合的几何问题。我们发现各种句子嵌入模型的可扩展性与其性能广泛相关，但观察到可扩展性不会因模型大小而发生很大变化。我们还提出了初步的证据表明，在句子嵌入模型的语法指导的组成是线性的，非线性可能主要用于处理非成分短语。
2023-02-08 cs.CL
Testing the assumptions about the geometry of sentence embedding spaces: the cosine measure need not apply
Idiap Research Institute（Idiap研究机构）；University of Geneva（日内瓦大学）
本研究通过三种方式生成句子嵌入并开展实验，发现句子嵌入空间的几何结构（如余弦相似度）无法预测其任务表现，语言信息实际编码在维度加权组合中，打破了嵌入邻近性对应语义相似的默认假设。
2025-09-01 cs.CL
Sentence transition matrix: An efficient approach that preserves sentence semantics
Korea University（高丽大学）
句子嵌入是自然语言处理领域的一个重要研究课题。生成反映句子内在含义的句子嵌入向量是提高句子分类和文档摘要等各种NLP任务性能的关键因素。因此，在关于词的分布式表示的研究出现之后，已经提出了基于监督学习和无监督学习的各种句子嵌入模型。通过语义文本相似性（STS）任务对它们进行评估，STS任务衡量句子的语义保留程度，基于神经网络的监督嵌入模型通常具有最先进的性能。然而，这些模型的局限性在于它们有多个参数要更新，从而需要大量的标记训练数据。在这项研究中，我们提出了一种有效的方法，学习一个转换矩阵，细化句子嵌入向量，以反映潜在的语义意义的句子。所提出的方法有两个实际的优点：（1）它可以应用于任何句子嵌入方法，（2）它可以实现强大的性能STS任务的训练样本的数量无关。
2019-01-16 cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation
Google Research（谷歌研究院）；Kyoto University（京都大学）
本研究提出LEALLA，通过知识蒸馏和薄深编码器，在109种语言上构建轻量级语言无关句子嵌入，在多个基准上验证了其有效性。
2023-12-26 cs.CL
Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals
Nagoya University（名古屋大学）
句子嵌入方法已经有许多成功的应用。然而，还没有很好地理解根据监督信号在所得到的句子嵌入中捕获什么属性。本文重点研究了两种具有相似架构和任务的句子嵌入方法：一种是在自然语言推理任务中微调预训练的语言模型，另一种是在定义句子的单词预测任务中微调预训练的语言模型，并研究它们的性质。具体来说，我们比较了他们的表现上的语义文本相似性（STS）任务使用STS数据集划分从两个角度：1）句子源和2）表面相似的句子对，并比较他们的表现在下游和探测任务。此外，我们试图将这两种方法相结合，并证明这两种方法相结合，在无监督STS任务和下游任务上产生比各自方法更好的性能。
2022-06-10 cs.CL
Translation Aligned Sentence Embeddings for Turkish Language
Datategy SAS（达塔泰基公司）；MATYZ Institute of Mathematics and Artificial Intelligence（MATYZ数学与人工智能研究所）
针对土耳其语高质量句子嵌入数据稀缺的问题，提出两阶段微调预训练编码器-解码器模型的方法，通过翻译对对齐嵌入空间，实现有限数据下的高效高精度句子嵌入。
2023-11-16 cs.CL
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Technische Universität Darmstadt（达姆施塔特工业大学）
BERT（Devlin等人，2018）和RoBERTa（Liu等人，2019）在语义文本相似性（STS）等双对回归任务上设置了新的最先进的性能。然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在10，000个句子的集合中找到最相似的一对需要大约5000万次推理计算（约65小时），使用BERT。BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。在这篇文章中，我们提出了句子-BERT（SBERT），这是对预训练的BERT网络的修改，它使用连体和三元网络结构来导出语义上有意义的句子嵌入，可以使用余弦相似度进行比较。这将寻找最相似对的努力从使用BERT / RoBERTa的65小时减少到使用SBERT的大约5秒，同时保持BERT的准确性。我们在常见的STS任务和迁移学习任务上评估SBERT和SRoBERTA，它优于其他最先进的句子嵌入方法。
2019-08-27 cs.CL
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Integrated Eojeol Embedding for Erroneous Sentence Classification in Korean Chatbots
Kakao Enterprise（Kakao企业）；Sungkyunkwan University（成均馆大学）
本文试图分析一个聊天机器人的韩语句子分类系统。句子分类是基于预定义的类别对输入句子进行分类的任务。然而，输入句子中包含的拼写或空格错误会导致词法分析和标记化的问题。本文提出了一种新的方法集成Eojeol（韩语句法词分隔空间）嵌入，以减少分析不良的语素可能对句子分类的影响。它还提出了两种噪声插入方法，进一步提高分类性能。我们的评估结果表明，所提出的系统分类错误的句子比基线系统更准确17%p.0
2020-04-13 cs.CL
What you can cram into a single vector: Probing sentence embeddings for linguistic properties
Facebook AI Research（脸书人工智能研究院）；Université Le Mans（勒芒大学）；Sorbonne Universités（索邦大学）
尽管最近已经投入了大量的精力来训练高质量的句子嵌入，但我们仍然对它们所捕获的内容缺乏了解。“下游”任务通常基于句子分类，通常用于评估句子表征的质量。然而，任务的复杂性使得很难推断出表征中存在什么样的信息。我们在这里介绍了10个探测任务，旨在捕捉句子的简单语言特征，我们用它们来研究由三种不同的编码器生成的嵌入，这些编码器以八种不同的方式训练，揭示了编码器和训练方法的有趣特性。
2018-07-08 cs.CL
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
Sentence Representations via Gaussian Embedding
Graduate School of Informatics, Nagoya University（名古屋大学情报学研究科）
本文提出基于高斯分布的对比学习框架 GaussCSE，用分布表示句子以建模非对称关系，并设计包含关系相似度度量，在自然语言推理中可估计蕴含方向且性能不下降。
2024-02-20 cs.CL
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University（北京航空航天大学）；Microsoft（微软）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
我们提出了一种新的对比学习方法，用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足，发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法，并讨论了两种提示表示方法和三种提示搜索方法，使BERT能够实现更好的句子嵌入。此外，我们提出了一种新的无监督训练目标的模板去噪技术，这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比，在无监督设置下，基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
对比学习在句子嵌入学习中得到了广泛的研究，它假设同一个句子的不同观点的嵌入更接近。这个假设带来的约束是弱的，一个好的句子表示还应该能够重构原始的句子片段。因此，本文提出了一个信息聚合的对比学习框架学习无监督句子嵌入，称为InfoCSE。InfoCSE通过引入额外的Masked语言模型任务和精心设计的网络，强制[CLS]位置的表示聚合更密集的句子信息。我们在几个基准数据集上评估了所提出的InfoCSE的语义文本相似性（STS）任务。实验结果表明，InfoCSE在BERT-base和BERT-large上的平均Spearman相关性分别为2.60%和1.77%，优于SimCSE，在无监督语句表示学习方法中取得了最好的效果.我们的代码可从https://github.com/caskcsg/sentemb/tree/main/InfoCSE获得。
2022-10-14 cs.CL
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst（马萨诸塞大学阿默斯特分校）
在这份技术报告中，我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说，我们尝试了几种类型的噪声干扰输入词嵌入，如高斯噪声，伯努利噪声，对抗噪声等，我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法，基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
Evaluation of sentence embeddings in downstream and linguistic probing tasks
尽管新的句子嵌入方法发展迅速，但要找到这些不同技术的综合评价仍然具有挑战性。在过去的几年里，我们看到了句子嵌入领域的显著进步，特别是在开发通用句子编码器方面，它可以为各种下游任务提供归纳传输。在这项工作中，我们使用各种各样的下游和语言特征探测任务对最近的方法进行了全面评估。我们证明了一种简单的方法，使用词袋与最近引入的深度上下文相关的词嵌入的语言模型，与在蕴涵数据集上训练的句子编码器相比，在许多任务中都能产生更好的结果。然而，我们也表明，我们仍然远离一个通用的编码器，可以在几个下游任务中一致地执行。
2018-06-16 cs.CL
Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
本研究通过定向稀疏化方法，探究了基于Transformer的句子嵌入中语言信息的分布情况，发现语法数和语义角色等信息并非均匀分布，而是集中在特定区域，有助于理解和构建可解释的神经模型。
2024-07-25 cs.CL
