Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Distance-to-Distance Ratio: A Similarity Measure for Sentences Based on Rate of Change in LLM Embeddings
DataKnife；Roosevelt University（罗思希尔大学）
本文提出距离比（DDR）作为衡量句子相似性的新方法，通过分析LLM嵌入变化率来评估上下文对语义的影响，实验表明其在区分语义相似与不相似文本方面表现更优。
2026-01-25 cs.CL
Word Usage Similarity Estimation with Sentence Representations and Automatic Substitutes
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；Univ. Paris Sud（巴黎第十一大学）；Université Paris-Saclay（巴黎-萨克雷大学）；LLF, CNRS（法国国家科学研究中心语言形式实验室）；Univ. Paris Diderot（巴黎狄德罗大学）
使用相似度估计解决了不同上下文中单词实例的语义接近度。我们将上下文化（ELMo和BERT）的单词和句子嵌入应用于此任务，并提出了利用这些表示进行预测的监督模型。我们的模型还得到了由context2vec自动分配给单词实例的词汇替代注释的帮助，context2vec是一种依赖于双向LSTM的神经模型。我们对现有的单词和句子表示在基准数据集上进行了广泛的比较，以解决分级和二进制相似性问题。性能最好的模型在这两种情况下都优于以前的方法。
2019-05-20 cs.CL
Sentence Similarity Learning by Lexical Decomposition and Composition
IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
传统的句子相似度方法大多只关注两个输入句子中相似的部分，而忽略了不相似的部分，这些部分通常会给我们一些关于句子的线索和语义意义。在这项工作中，我们提出了一个模型，以考虑到的相似性和不同之处，通过分解和组成句子的词汇语义。该模型将每个单词表示为一个向量，并根据另一个句子中的所有单词为每个单词计算语义匹配向量。然后，每个词向量被分解为一个相似的组件和一个不相似的组件的基础上的语义匹配向量。在此之后，一个双通道CNN模型被用来捕捉特征，通过组成的相似和不相似的组件。最后，在组合特征向量上估计相似性得分。实验结果表明，该模型在回答句选择任务上取得了最好的性能，在释义识别任务上也取得了相当的效果。
2017-07-14 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学技术学院（JAIST））；Toshiba Research & Development Center, Japan（日本东芝研发中心）
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型（M-MaxLSTM-CNN），用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词，从而生成新颖的句子嵌入。然后，我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能（即，测量文本相似性、识别释义、识别文本蕴涵）。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果，M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能（例如，对齐特征、Ngram重叠、依赖性特征），并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Latte-Mix: Measuring Sentence Semantic Similarity with Latent Categorical Mixtures
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
使用预先训练的语言模型（如BERT）测量句子语义相似性通常会产生令人不满意的zero-shot性能，一个主要原因是无效的令牌聚合方法（如均值池）。在本文中，我们证明了贝叶斯框架下，原始的统计数据，如平均值的词嵌入之间的距离从根本上是有缺陷的，用于捕获的水平语义相似性。为了解决这个问题，我们建议学习一个分类变分自编码器（VAE）的基础上现成的预训练语言模型。从理论上证明了测量潜在类别混合体之间的距离，即Latte-Mix，可以更好地反映真实的句子语义相似度。此外，我们的贝叶斯框架提供了解释，为什么模型微调标记的句子对有更好的zero-shot性能。我们还通过经验证明，这些微调模型可以通过Latte-Mix进一步改进。我们的方法不仅在语义相似性数据集（如STS）上产生了最先进的zero-shot性能，而且还具有快速训练和内存占用小的优点。
2020-10-21 cs.CL
SynWMD: Syntax-aware Word Mover's Distance for Sentence Similarity Evaluation
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
词移动器距离（WMD）计算词之间的距离，并以两个文本序列中词之间的移动代价来建模文本相似度。然而，它并没有提供良好的性能在句子相似性评估，因为它不包括单词的重要性，并没有考虑到句子中固有的上下文和结构信息。一种改进的WMD方法使用的语法分析树，称为语法感知的词移动器的距离（SynWMD），提出了解决这两个缺点，在这项工作中。首先，从句子的句法分析树中提取词的共现统计信息，并在此基础上构建一个加权图。每个词的重要性是从图的连通性推断出来的。其次，在计算词与词之间的距离时考虑词的局部句法分析结构。为了证明所提出的SynWMD的有效性，我们进行了6个文本语义相似性（STS）数据集和4个句子分类数据集的实验。实验结果表明，SynWMD在STS任务上达到了最先进的性能。它在句子分类任务上也优于其他基于WMD的方法。
2022-06-20 cs.CL
Testing the limits of unsupervised learning for semantic similarity
Paralleldots, Inc.（Paralleldots 公司）
两个句子之间的语义相似度可以被定义为确定两个句子之间的相关或不相关程度的一种方法。语义相似度在分布式表示方面的任务可以被认为是生成句子嵌入（密集向量），其中考虑了句子的上下文和含义。这种嵌入可以通过多种方法产生，在本文中，我们尝试评估LSTM自动编码器来生成这些嵌入。无监督算法（具体来说是自动编码器）只是试图重新创建它们的输入，但它们可以通过创建适当的瓶颈来被迫学习顺序（以及某种程度上的内在含义）。我们试图评估仅仅在简单的英语句子上训练的算法如何正确地学习计算语义相似性，而不给它们任何句子的含义。
2017-10-23 cs.CL
Leveraging Sentence Similarity in Natural Language Generation: Improving Beam Search using Range Voting
DeepMind（深度思维）；University of Cambridge（剑桥大学）
我们提出了一种自然语言生成的方法，选择最有代表性的输出，而不是最可能的输出。通过从投票理论的角度观察语言生成过程，我们使用范围投票和相似性度量来定义代表性。所提出的方法可以应用于从任何概率语言模型生成时，包括n-gram模型和神经网络模型。我们评估不同的相似性措施的图像描述任务和机器翻译任务，并表明我们的方法生成更长，更多样化的句子，提供了一个解决方案的常见问题的短输出更长，更丰富的信息。生成的句子获得更高的BLEU分数，特别是当波束大小很大时。我们还对这两项任务进行了人工评估，发现使用我们的方法生成的输出评分更高。
2020-05-25 cs.CL
On-Device Sentence Similarity for SMS Dataset
Samsung R & D Institute（三星研发研究院）
确定短消息服务（SMS）文本/句子之间的句子相似度在移动终端行业中起着重要作用。因此，衡量短信数据之间的相似性是必要的各种应用程序，如增强搜索和导航，棍棒在一起的短信类似类型的自定义标签或标签时，由用户提供，而不管他们的发件人等的问题，面临的短信数据是其不完整的结构和语法不一致。在本文中，我们提出了一个独特的管道来评估短信文本之间的文本相似性。我们使用词性（POS）模型的关键字提取利用嵌入在短信文本的部分结构和相似性比较进行统计方法。所提出的管道处理跨SMS数据的主要语义变化，以及使其有效的设备上的应用程序（移动电话）。为了展示我们工作的能力，我们的管道设计倾向于以下部分之一讨论的SMS文本相似性的可能应用之一，但仍然保证其他应用程序的可扩展性。
2020-12-04 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics
HKUST（香港科技大学）；Tsinghua University（清华大学）
句子文本相似性度量（STS）是一个经典的任务，可以应用于许多下游NLP应用，如文本生成和检索。在本文中，我们专注于无监督STS工作在不同的领域，但只需要最少的数据和计算资源。在理论上，我们提出了一个轻加权的期望校正（EC）制定STS计算。EC公式化统一了无监督STS方法，包括附加成分（AC）句子嵌入，最优传输（OT）和树核（TK）的余弦相似性。此外，我们提出了递归最优传输相似度（ROTS）算法来捕捉组成短语的语义组成多个递归EC配方。ROTS在线性时间内完成，比它的前辈更快。ROTS在经验上比以前的方法更有效和可扩展。在各种设置下的29个STS任务上的广泛实验表明，ROTS比现有的方法具有明显的优势。详细的消融研究证明了我们方法的有效性。
2022-10-05 cs.CL
CORD19STS: COVID-19 Semantic Textual Similarity Dataset
USC Information Sciences Institute（南加州大学信息科学研究所）
为了对抗COVID-19大流行，社会可以从各种自然语言处理应用中受益，例如对话医疗诊断系统和专门针对COVID-19校准的信息检索引擎。这些应用程序依赖于测量语义文本相似性（STS）的能力，使得STS成为一项基本任务，可以使几个下游应用程序受益。然而，现有的STS数据集和模型无法将其性能转化为特定领域的环境，如COVID-19。为了克服这一差距，我们引入了CORD 19 STS数据集，其中包括从COVID-19开放研究数据集（CORD-19）挑战中收集的13，710个注释句子对。具体来说，我们使用不同的采样策略生成了100万个句子对。然后，我们使用了一个微调的BERT类语言模型，我们称之为Sen-SCI-CORD 19-BERT，来计算句子对之间的相似性得分，以提供一个关于不同语义相似性水平的平衡数据集，这给了我们总共32 K个句子对。每个句子对都由五个Amazon Mechanical Turk（AMT）人群工作人员进行注释，其中标签表示句子对之间不同的语义相似性级别（即相关，有点相关和不相关）。在采用严格的资格任务来验证收集的注释后，我们最终的CORD 19 STS数据集包括13，710个句子对。
2020-11-02 cs.CL
CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
CASE通过条件感知嵌入方法提升基于LLM的文本在条件语义相似性任务中的表现。
2026-02-02 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Neural sentence embedding models for semantic similarity estimation in the biomedical domain
Medical University of Vienna（维也纳医科大学）
背景技术背景：在这项研究中，我们调查了目前最先进的神经句子嵌入模型的有效性，从生物医学文献的句子的语义相似性估计。我们在PubMed开放获取数据集中的170万篇文章上训练了不同的神经嵌入模型，并基于生物医学基准集对它们进行了评估，该基准集包含由人类专家注释的100个句子对和来自原始基准集的较小矛盾子集。研究结果：Pearson相关系数为0.819，我们基于Paragraph Vector Distributed Memory算法的最佳无监督模型的性能优于BIOSSES生物医学基准集上先前获得的最新结果。此外，我们提出的监督模型，结合不同的字符串为基础的相似性度量与神经嵌入模型超越了以前的本体依赖的监督国家的最先进的方法在皮尔逊的r（r=0.871）的生物医学基准集。与原始基准测试的有希望的结果相反，我们发现我们最好的模型在较小的矛盾子集上的性能很差。结论：在这项研究中，我们强调了基于神经网络的模型在生物医学领域的语义相似性估计的价值，表明它们可以跟上，甚至超过以前的最先进的方法，语义相似性估计依赖于在生物医学基准集上进行评估时，精心策划的本体的可用性。然而，捕捉生物医学句子中的矛盾和否定成为进一步工作的一个重要领域。
2021-10-01 cs.CL
Reweighting Strategy based on Synthetic Data Identification for Sentence Similarity
KAIST AI（韩国科学技术院人工智能学院）；Letsur
语义上有意义的句子嵌入对于自然语言处理中的许多任务都很重要。为了获得这样的嵌入，最近的研究探索了利用从预训练的语言模型（PLM）作为训练语料库的综合生成的数据的想法。然而，PLM生成的句子往往与人写的句子大不相同。我们假设，在训练深度神经网络时，平等地对待所有这些合成示例可能会对学习语义上有意义的嵌入产生不利影响。为了分析这一点，我们首先训练一个识别机器写的句子的分类器，并观察到被识别为机器写的句子的语言特征与人类写的句子的语言特征显著不同。基于此，我们提出了一种新的方法，首先训练分类器来衡量每个句子的重要性。然后，从分类器提取的信息用于训练可靠的句子嵌入模型。通过对四个真实世界数据集的广泛评估，我们证明了我们在合成数据上训练的模型具有良好的泛化能力，并且优于现有的基线。我们的实现可以在https://github.com/ddehun/coling2022_reweighting_sts上公开获得。
2022-08-30 cs.CL
Measuring Sentences Similarity: A Survey
Assiut University（艾斯尤特大学）
本文对句子相似度的测量方法进行了综述。自然语言句子之间的相似性度量对于诸如文本分类、信息检索、问答和剽窃检测等许多自然语言处理应用是至关重要的任务。本文将基于所采用方法的句子相似度计算方法分为三类。基于词对词、基于结构和基于向量的方法是最常用的句子相似度计算方法。每种方法都基于特定的视角来衡量短文本之间的相关性。此外，数据集，主要是用来作为基准评估技术在这一领域的介绍，以提供一个完整的视图在这个问题上。结合一个以上视角的方法会产生更好的结果。此外，基于结构的相似度，衡量句子结构之间的相似性需要更多的研究。
2019-10-06 cs.CL cs.IR
Metric Learning in Multilingual Sentence Similarity Measurement for Document Alignment
University of Moratuwa（莫拉图瓦大学）
基于多语言句子表示的文档对齐技术最近已经显示出最先进的结果。然而，这些技术依赖于无监督的距离测量技术，无法根据手头的任务进行微调。在本文中，我们采用度量学习来获得特定于任务的距离测量，而不是这些无监督的距离测量技术。这些测量是有监督的，这意味着距离测量度量是使用并行数据集训练的。使用属于英语，僧伽罗语，泰米尔语，这属于三个不同的语言家族的数据集，我们表明，这些特定任务的监督远程学习指标优于他们的无监督同行，文档对齐。
2021-08-21 cs.CL
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Technische Universität Darmstadt（达姆施塔特工业大学）
BERT（Devlin等人，2018）和RoBERTa（Liu等人，2019）在语义文本相似性（STS）等双对回归任务上设置了新的最先进的性能。然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在10，000个句子的集合中找到最相似的一对需要大约5000万次推理计算（约65小时），使用BERT。BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。在这篇文章中，我们提出了句子-BERT（SBERT），这是对预训练的BERT网络的修改，它使用连体和三元网络结构来导出语义上有意义的句子嵌入，可以使用余弦相似度进行比较。这将寻找最相似对的努力从使用BERT / RoBERTa的65小时减少到使用SBERT的大约5秒，同时保持BERT的准确性。我们在常见的STS任务和迁移学习任务上评估SBERT和SRoBERTA，它优于其他最先进的句子嵌入方法。
2019-08-27 cs.CL
A Novel Word Pair-based Gaussian Sentence Similarity Algorithm For Bengali Extractive Text Summarization
Institute of Information Technology（信息技术研究所）；University of Dhaka（达卡大学）；Centre for Advanced Research in Science（高级科学研究中心）
针对孟加拉语抽取式文本摘要现有方法语义关系表达不足的问题，提出基于词对的高斯句相似度（WGSS）算法，结合谱聚类与TF-IDF排序，在多个数据集上平均ROUGE分数优于现有模型43.2%，还构建新数据集并可扩展至其他低资源语言。
2024-11-27 cs.CL
Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset
UPV/EHU University of the Basque Country（巴斯克大学）
在本文中，我们介绍了vSTS，一个新的数据集测量文本相似性的句子使用多模态信息。数据集由图像及其相应的文本标题组成。我们描述的数据集定量和定性，并声称它是一个有效的金标准，用于测量自动多模态文本相似性系统。我们还描述了初始实验结合多模态信息。
2018-09-11 cs.AI cs.CL
Are ELECTRA's Sentence Embeddings Beyond Repair? The Case of Semantic Textual Similarity
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算机学院）；TakeLab
针对ELECTRA句嵌入质量差、学界已默认不将其用于语义文本相似度任务的问题，本文提出截断模型微调（TMFT）方法修复嵌入，显著提升了STS基准性能，还发现ELECTRA生成器模型效果堪比BERT且参数效率更高。
2024-10-03 cs.CL
Improving Multilingual Semantic Textual Similarity with Shared Sentence Encoder for Low-resource Languages
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）
测量两个句子之间的语义相似性（或语义文本相似性- STS）是许多NLP应用程序的基础。尽管在有足够标签的监督环境中取得了显着的成果，但在标签不足的低资源语言中，很少有人注意到这一任务。现有的方法大多利用机器翻译技术将句子翻译成资源丰富的语言。这些方法要么会产生语言偏见，要么在口语场景更频繁且要求严格效率的工业应用中不切实际。在这项工作中，我们提出了一个多语言的框架，以解决STS任务在一个低资源的语言，如西班牙语，阿拉伯语，印度尼西亚语和泰语，通过利用丰富的注释数据在一个丰富的资源语言，如英语。我们的方法是从一个基本的单语STS框架扩展到一个共享的多语言编码器预训练的翻译任务，将丰富的资源语言数据。通过利用共享的多语言编码器的性质，一个句子可以具有针对不同目标翻译语言的多个表示，这些表示用于集成模型以提高相似性评估。我们证明了我们的方法优于其他国家的最先进的方法对SemEval STS任务的显着改善非MT方法，以及在线工业产品，其中MT方法未能击败基线，而我们的方法仍然有一贯的改进。
2018-10-30 cs.CL
MNet-Sim: A Multi-layered Semantic Similarity Network to Evaluate Sentence Similarity
Sri Lanka Institute of Information Technology（斯里兰卡信息技术学院）
相似性是一种比较主观的衡量标准，随所考虑的领域而变化。在几个NLP应用中，例如文档分类、模式识别、聊天机器人问答、情感分析等，识别句子对的准确相似性分数已经成为研究的关键领域。在现有的模型，评估相似性，有效地计算这种相似性的限制，由于中心理论的本地化，以及缺乏非语义文本比较的上下文比较已被证明是缺点。因此，本文提出了一种多层语义相似性网络模型，建立在多个相似性措施，使整体句子相似性得分的基础上的原则，网络科学，相邻加权关系边，并提出了一个扩展的节点相似性计算公式。所提出的多层网络模型进行了评估和测试，对已建立的国家的最先进的模型，并显示出更好的性能分数，在评估句子相似性。
2021-11-09 cs.CL cs.LG
BeLLM: Backward Dependency Enhanced Large Language Model for Sentence Embeddings
The Hong Kong Polytechnic University（香港理工大学）
提出BeLLM模型，通过将特定注意力层从单向转为双向来增强自回归LLM的向后依赖，从而提升句子嵌入的语义相似度测量性能，并在多个STS任务和下游应用中达到最先进水平。
2024-03-14 cs.CL
Semantic sentence similarity: size does not always matter
Radboud University（拉德堡德大学）
这项研究解决了这个问题是否视觉接地语音识别（VGS）模型学习捕捉句子语义，而无需访问任何先前的语言知识。我们生产的合成和自然口语版本的一个著名的语义文本相似性数据库，并表明我们的VGS模型产生的嵌入，以及与人类的语义相似性判断。我们的研究结果表明，在小型图像标题数据库上训练的模型优于在更大数据库上训练的两个模型，这表明数据库大小并不是唯一重要的。我们还研究了每张图像有多个字幕的重要性，并发现即使图像的总数较低，这确实是有帮助的，这表明释义是一个有价值的学习信号。虽然该领域的总趋势是创建越来越大的数据集来训练模型，但我们的研究结果表明，数据库的其他特征也同样重要。
2021-06-16 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
A Comprehensive Comparative Study of Word and Sentence Similarity Measures
句子相似度是信息检索、问答和文本摘要等自然语言处理任务的基础。对比文本片段之间的语义是基于词语的语义特征及其相互关系。本文回顾了一组单词和句子相似性度量，并在基准数据集上进行了比较。在所研究的数据集上，结果表明，混合语义度量的性能优于基于知识和语料库的度量。
2016-02-17 cs.CL cs.IR
Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention
University of Michigan（密歇根大学）
我们提出了一种新的解释，基于相似性的干扰效应在主谓和反身代词一致性处理，接地在从预训练的大规模Transformer模型，GPT-2计算的crossal值。具体而言，我们表明，动词或反身代词的替代预测促进干扰效果在不合语法的句子，在那里一个干扰名词，在数量上与动词或代词匹配导致更快的阅读时间，尽管干扰不参与协议关系。我们回顾了人类的经验证据，包括最近的荟萃分析和大规模的研究。我们还表明，注意模式（索引熵和其他措施）在Transformer显示模式的分散注意力在存在类似的干扰，符合基于线索的检索模型的解析。但与这些模型相反，注意力线索和记忆表征完全是从预测下一个单词的简单自我监督任务中学习的。
2021-04-26 cs.CL
DefSent: Sentence Embeddings using Definition Sentences
Nagoya University（名古屋大学）
使用自然语言推理（NLI）数据集的句子嵌入方法已经成功地应用于各种任务。然而，由于严重依赖于大型NLI数据集，这些方法仅适用于有限的语言。在本文中，我们提出了DefSent，一个句子嵌入的方法，使用定义句子从一个单词字典，它执行无监督语义文本相似性（STS）的任务和SentEval任务略好于传统的方法。由于字典可用于许多语言，因此DefSent比使用NLI数据集的方法更广泛地适用，而无需构建额外的数据集。我们证明了DefSent在无监督的语义文本相似性（STS）任务上执行的性能优于使用大型NLI数据集的方法，并且在SentEval任务上稍好。我们的代码可在https://github.com/hpprc/defsent上公开获取。
2021-06-09 cs.CL
SentiCSE: A Sentiment-aware Contrastive Sentence Embedding Framework with Sentiment-guided Textual Similarity
Hanyang University（汉阳大学）；LG Electronics（LG电子）；BHSN
本文针对情感感知预训练语言模型忽视表示质量评估的问题，提出情感引导文本相似度指标SgTS和情感感知对比句嵌入框架SentiCSE，通过词级与句子级联合目标构建高质量情感表示，并在定性与定量比较中展现出优越性。
2024-04-01 cs.CL
Monolingual sentence matching for text simplification
Harbin University（哈尔滨学院）；University of Washington（华盛顿大学）
这项工作改进了单语句子对齐的文本简化，特别是在标准和简单的维基百科的文本。我们引入了一个卷积神经网络结构来模拟两个句子之间的相似性。由于现有并行语料库的限制，该模型采用基于知识的高性能对齐系统的输出，以半监督的方式进行训练。我们将得到的相似性得分应用于基于知识的输出，并通过一个小型手动对齐数据集来调整模型。实验表明，重评分和自适应都提高了基于知识的方法的性能。
2018-09-19 cs.CL
A Distribution-Based Threshold for Determining Sentence Similarity
ATS Relab
本文提出基于孪生神经网络的分布方法，通过构建相似与不相似句对的距离分布来确定判定阈值，并结合分布特征与距离函数改进预测评分，在STS基准数据集上验证了方法的可迁移性。
2023-11-28 cs.CL
Relational Sentence Embedding for Flexible Semantic Matching
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对现有句子嵌入难以捕捉句子间多种语义关系的问题，提出关系型句子嵌入RSE范式，通过关系转换操作与孪生编码器学习关系嵌入，在19个数据集上优于现有先进方法。
2023-06-08 cs.CL
Determining Semantic Textual Similarity using Natural Deduction Proofs
The University of Tokyo（东京大学）；Ochanomizu University（御茶水女子大学）；Artificial Intelligence Research Center, AIST（产业技术综合研究所人工智能研究中心）
确定语义文本相似度是自然语言处理的核心研究课题。由于用于句子表示的基于向量的模型通常使用浅层信息，因此难以捕获准确的语义。相比之下，逻辑语义表示捕捉更深层次的句子语义，但它们的符号性质不提供文本相似性的分级概念。我们提出了一种方法来确定语义文本相似度相结合的浅层特征提取的自然演绎证明的句子对之间的双向蕴涵关系的特征。对于自然演绎证明，我们使用ccg2lambda，一个高阶自动推理系统，它将组合范畴语法（CCG）派生树转换为语义表示，并进行自然演绎证明。实验表明，我们的系统是能够优于其他基于逻辑的系统，从证明的特征是有效的学习文本相似性。
2017-07-27 cs.CL
Comparative analysis of word embeddings in assessing semantic similarity of complex sentences
Lakehead University（湖首大学）
语义文本相似性是自然语言处理领域的一个开放性研究课题。在这一领域已经进行了广泛的研究，最近基于transformer的模型在现有的基准数据集（如STS数据集和SICK数据集）中取得了近乎完美的结果。在本文中，我们研究了这些数据集中的句子，并分析了各种词嵌入相对于句子复杂度的敏感性。我们建立了一个复杂的句子数据集，由50个句子对与15个人类注释器提供的相关语义相似度值。可读性分析是为了突出现有基准数据集和建议数据集中句子复杂度的增加。此外，我们对现有基准数据集和建议数据集上的各种词嵌入和语言模型的性能进行了比较分析。结果表明，句子复杂度的增加对嵌入模型的性能有显着影响，导致Pearson和Spearman相关性降低10-20%。
2021-07-09 cs.CL cs.IR
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology（国防科技大学）；SenseTime（商汤科技）；The University of Hong Kong（香港大学）
无监督句子嵌入的目的是为句子获得最合适的嵌入，以反映其语义。对比学习正受到越来越多的关注。对于一个句子，当前的模型利用不同的数据增强方法来生成正样本，而将其他独立的句子视为负样本。然后，他们采用InfoNCE损失来拉动聚集的正对的嵌入，并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展，但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且，他们可能高估任何具有相似文本的对的语义相似性，而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制，我们提出了对比学习的无监督句子嵌入与软负样本（SNCSE）。软否定样本与原始样本具有高度相似的文本，但具有明显不同的语义。具体地说，我们将原句的否定作为软否定样本，提出双向边际损失（BML）将其引入传统的对比学习框架，只涉及正样本和负样本。实验结果表明，SNCSE在语义文本相似性（STS）任务上的平均Spearman相关系数在BERTbase上为78.97%，在RoBERTbase上为79.23%。此外，我们还采用基于秩的误差分析方法来发现SNCSE的不足之处，为后续的研究提供参考。
2022-03-02 cs.CL
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge
Technical University of Munich（慕尼黑工业大学）；DFKI GmbH（德国人工智能研究中心）
本文提出AspectCSE方法，利用对比学习和Wikidata知识图谱属性训练基于方面的句子嵌入，在信息检索任务上平均提升3.97%，并证明多方面嵌入优于单方面嵌入。
2023-09-24 cs.AI cs.CL
Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders
University of Sussex（萨塞克斯大学）
以前的工作已经证明了利用预先训练的句子编码器的有效性，基于他们的句子表示的意义比较任务。虽然这种表示被证明捕捉隐藏的句法结构，它们之间的直接相似性比较表现出弱的敏感性，在给定的句子中的词序和结构差异。单一的相似性分数进一步使得比较过程难以解释。因此，我们在这里建议将句子编码器与对齐组件相结合，将每个句子表示为谓词-参数跨度的列表（其中它们的跨度表示来自句子编码器），并将句子级别的意义比较分解为它们的跨度之间的对齐，以进行释义识别任务。实验结果表明，对齐组件带来了改进的性能和可解释性的各种句子编码器。经过仔细的调查，该方法表明，增加了敏感性的结构差异和增强的能力，以区分非释义高词汇重叠。
2022-10-11 cs.CL
Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better
Meta AI
虽然神经机器翻译中的幻觉问题早已被认识到，但到目前为止，其缓解进展甚微。事实上，最近的事实证明，如果没有人为地鼓励模型产生幻觉，以前现有的方法就不够了，甚至标准的序列对数概率也更有信息量。这意味着模型内部的特征可以提供比我们预期的更多的信息，在使用外部模型和度量之前，我们首先需要问：如果我们只使用翻译模型本身，我们能走多远？我们建议使用一种方法来评估源贡献对生成的翻译的百分比。直觉上，幻觉是与源“分离”的翻译，因此它们可以通过低源贡献来识别。该方法将最严重幻觉的检测准确性提高了2倍，并且能够在测试时减轻幻觉，与依赖于外部模型的先前最佳方法相当。接下来，如果我们远离内部模型特征并允许外部工具，我们表明使用跨语言嵌入的句子相似性进一步改善了这些结果。
2022-12-20 cs.CL
Similarity of Sentence Representations in Multilingual LMs: Resolving Conflicting Literature and Case Study of Baltic Languages
University of Tartu（塔尔图大学）
低资源语言，如波罗的语言，受益于大型多语言模型（LM），拥有显着的跨语言迁移性能能力。本文是对多语种语言标记语跨语言表征的解释和分析研究。以前的作品假设，这些LM内部项目表示不同的语言到一个共享的跨语言空间。然而，文献得出了相互矛盾的结果。在本文中，我们回顾了先前的工作，声称“BERT是不是一个中间语言”，并表明，不同的语言收敛到一个共享的空间，在这样的语言模型与另一种选择的池化策略或相似性指数。然后，我们进行跨语言的代表性分析的两个最流行的多语言LM采用378成对的语言比较。我们发现，虽然大多数语言共享联合跨语言的空间，有些没有。然而，我们注意到，波罗的海语言确实属于这一共享空间。该代码可在https://github.com/TartuNLP/xsim上获得。
2022-08-14 cs.CL
Sentence Similarity Measures for Fine-Grained Estimation of Topical Relevance in Learner Essays
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了在学习者作文中评估水平提示关联的任务。使用词重叠，神经嵌入和神经组成模型的各种系统进行评估的两个数据集的学习者写作。我们提出了一种新的词汇级相似度计算方法，该方法学习调整特定任务的预训练词嵌入的权重，与其他相关基线相比，实现了更高的准确性。
2016-06-09 cs.CL cs.LG cs.NE
Sentence Representations via Gaussian Embedding
Graduate School of Informatics, Nagoya University（名古屋大学情报学研究科）
本文提出基于高斯分布的对比学习框架 GaussCSE，用分布表示句子以建模非对称关系，并设计包含关系相似度度量，在自然语言推理中可估计蕴含方向且性能不下降。
2024-02-20 cs.CL
Bootstrapping Structure using Similarity
在本文中，一个新的基于相似性的学习算法，灵感来自字符串编辑距离（瓦格纳和菲舍尔，1974年），适用于从头开始的自举结构的问题。该算法以未注释的句子语料库作为输入，并返回括号内的句子语料库。该方法适用于成对的非结构化句子或由算法部分包围的句子，这些句子具有一个或多个共同的单词。它找到句子中可互换的部分（即两个句子中不同的部分）。这些部分被视为同一类型的可能成分。虽然这对应于算法的基本自举步骤，但是可以通过与其他（类似）句子的比较来学习进一步的结构。我们使用这种方法从Penn Treebank ATIS语料库的平面句子中引导结构，并将得到的结构化句子与ATIS语料库中的结构化句子进行比较。同样，该算法在OVIS语料库上进行了测试。在ATIS和OVIS语料库上的无交叉括号准确率分别为86.04%和89.39%。
2001-04-03 cs.CL cs.LG
Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals
Nagoya University（名古屋大学）
句子嵌入方法已经有许多成功的应用。然而，还没有很好地理解根据监督信号在所得到的句子嵌入中捕获什么属性。本文重点研究了两种具有相似架构和任务的句子嵌入方法：一种是在自然语言推理任务中微调预训练的语言模型，另一种是在定义句子的单词预测任务中微调预训练的语言模型，并研究它们的性质。具体来说，我们比较了他们的表现上的语义文本相似性（STS）任务使用STS数据集划分从两个角度：1）句子源和2）表面相似的句子对，并比较他们的表现在下游和探测任务。此外，我们试图将这两种方法相结合，并证明这两种方法相结合，在无监督STS任务和下游任务上产生比各自方法更好的性能。
2022-06-10 cs.CL
A Multi-Task Approach for Disentangling Syntax and Semantics in Sentence Representations
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提出了一个生成模型的句子，使用两个潜在的变量，一个旨在代表句子的语法和其他代表其语义。我们表明，我们可以通过使用多个损失进行训练，包括利用对齐的释义句子和词序信息的损失，来实现语义和句法表示之间的更好的分离。我们还研究了从词袋移动到递归神经网络模块的效果。我们评估了我们的模型以及标准语义相似性任务和新型句法相似性任务上的几个流行的预训练嵌入。从经验上讲，我们发现，最好的句法和语义表示的模型也产生了最解开的表示。
2019-04-02 cs.CL
L3Cube-MahaSTS: A Marathi Sentence Similarity Dataset and Models
Pune Institute of Computer Technology（普那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；MKSSS’ Cummins College of Engineering for Women（MKSSS’ 女子工程学院）；L3Cube Labs（L3Cube实验室）
本文构建含16,860对句子、0-5连续分数且六区间均衡的马拉地语STS数据集MahaSTS，并微调MahaSBERT-STS-v2，验证其在低资源句子相似度任务中的优势。
2025-08-29 cs.CL cs.LG
Intrinsic vs. Extrinsic Evaluation of Czech Sentence Embeddings: Semantic Relevance Doesn't Help with MT Evaluation
Charles University Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics（查尔斯大学数学与物理系形式与应用语言学研究所）
本文通过内在和外在评估比较捷克语和多语言句子嵌入模型，发现在语义相似性测试中表现优异的模型未必在下游机器翻译评估任务中表现更好，揭示了语义属性与下游任务间的复杂关系。
2025-06-25 cs.CL
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Improving Multi-lingual Alignment Through Soft Contrastive Learning
Yonsei University（延世大学）；Linq
提出软对比学习改进多语言句子对齐，利用单语言模型相似性作为软标签，在双语挖掘和STS任务上超越硬标签方法及LaBSE。
2024-05-28 cs.CL
Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Centre for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）
本文研究多语言预训练模型的离群维度与各向异性，通过移除离群维、聚类增强和 ZCA 白化等无微调嵌入变换，评估其对跨语言句子相似度的改进。
2023-06-07 cs.CL
A reproducible experimental survey on biomedical sentence similarity: a string-based method sets the state of the art
Universidad Nacional de Educación a Distancia (UNED)（西班牙国立远程教育大学）
本报告介绍了最大规模的、首次可重复的生物医学句子相似性实验调查，其目的如下：（1）阐明问题的最新进展;（2）解决一些阻碍评价大多数现有方法的可重复性问题;（3）评价几种未开发的句子相似性方法;（4）评价一个尚未开发的基准，称为语料库转录调节（Corpus-Transcriptional-Regulation）：（5）研究预处理阶段和命名实体识别（NER）工具对句子相似度方法性能的影响;最后，（6）弥补这一研究领域方法和实验重复性资源的缺乏。我们的实验调查基于一个单一的软件平台，该平台提供了详细的再现性协议和数据集作为补充材料，以允许精确复制我们所有的实验。此外，我们还介绍了一种新的基于聚合字符串的句子相似性方法，称为LiBlock，以及当前基于本体的方法的八种变体和一种新的预训练词嵌入模型，该模型在PMC-BioC语料库中的全文文章上进行训练。我们的实验表明，我们的新的字符串为基础的措施集在生物医学领域的句子相似性任务的最新技术水平，并显着优于所有的方法在此评估，除了一个基于本体的方法。同样，我们的实验证实，预处理阶段，和选择的NER工具，有显着影响的句子相似性方法的性能。我们还详细介绍了目前的方法的一些缺点和局限性，并警告需要完善目前的基准。最后，一个值得注意的发现是，我们的新的基于字符串的方法显着优于本文评估的所有最先进的机器学习模型。
2022-05-18 cs.AI cs.CL
Semantic Similarity Computing Model Based on Multi Model Fine-Grained Nonlinear Fusion
China University of Petroleum (East China)（中国石油大学（华东））；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua Space Center（清华大学航天航空学院航天中心）；Linyi University（临沂大学）
自然语言处理（NLP）任务在语义理解、自动摘要、图像识别等多个领域都取得了优异的性能，但大多数用于NLP的神经网络模型都是以细粒度的方式提取文本，不利于从全局的角度把握文本的含义。针对这一问题，提出了传统统计方法与深度学习模型相结合的方法，以及一种基于多模型非线性融合的模型。该模型分别采用基于词性的Jaccard系数、词频-逆文档频率（TF-IDF）和word 2 vec-CNN算法来度量句子的相似度。根据各模型的计算精度，求出归一化权系数，并对计算结果进行比较。将加权向量输入到全连接神经网络中，给出最终的分类结果。结果表明，统计的句子相似度评价算法降低了特征提取的粒度，从而能够全局地把握句子特征。实验结果表明，基于多模型非线性融合的句子相似度计算方法的匹配率为84%，模型的F1值为75%。
2022-02-05 cs.CL
