BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching
Part AI Research Center（Part人工智能研究中心）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出了一种用于自然语言句子匹配（NLSM）的深度神经架构，通过向BERT添加深度递归编码器，即具有深度递归编码器的BERT（BERT-DRE）。我们对模型行为的分析表明，BERT仍然不能捕获文本的全部复杂性，因此在BERT之上应用了深度递归编码器。使用三个具有剩余连接的Bi-LSTM层来设计递归编码器，并在该编码器的顶部使用注意模块。为了获得最终向量，使用由平均池化和最大池化组成的池化层。我们在四个基准测试上实验了我们的模型，SNLI，FarsTail，MultiNLI，SciTail和一个新的波斯宗教问题数据集。本文主要研究如何改进NLSM任务中的BERT结果。在这方面，BERT-DRE和BERT之间的比较进行，它表明，在所有情况下，BERT-DRE优于BERT。宗教数据集上的BERT算法达到了89.70%的准确率，使用相同的数据集，BERT-DRE架构提高到90.29%。
2021-11-04 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Sentence Similarity Measures for Fine-Grained Estimation of Topical Relevance in Learner Essays
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了在学习者作文中评估水平提示关联的任务。使用词重叠，神经嵌入和神经组成模型的各种系统进行评估的两个数据集的学习者写作。我们提出了一种新的词汇级相似度计算方法，该方法学习调整特定任务的预训练词嵌入的权重，与其他相关基线相比，实现了更高的准确性。
2016-06-09 cs.CL cs.LG cs.NE
Bootstrapping Structure using Similarity
在本文中，一个新的基于相似性的学习算法，灵感来自字符串编辑距离（瓦格纳和菲舍尔，1974年），适用于从头开始的自举结构的问题。该算法以未注释的句子语料库作为输入，并返回括号内的句子语料库。该方法适用于成对的非结构化句子或由算法部分包围的句子，这些句子具有一个或多个共同的单词。它找到句子中可互换的部分（即两个句子中不同的部分）。这些部分被视为同一类型的可能成分。虽然这对应于算法的基本自举步骤，但是可以通过与其他（类似）句子的比较来学习进一步的结构。我们使用这种方法从Penn Treebank ATIS语料库的平面句子中引导结构，并将得到的结构化句子与ATIS语料库中的结构化句子进行比较。同样，该算法在OVIS语料库上进行了测试。在ATIS和OVIS语料库上的无交叉括号准确率分别为86.04%和89.39%。
2001-04-03 cs.CL cs.LG
Exploring Dowker Homology for Sentence Similarity
University of Zürich（苏黎世大学）
本研究将句子对的词元嵌入视为Transformer潜空间的点云，探究Dowker同调捕捉句子相似度的能力，发现其可用于相似度评估与可视化，推导的单值摘要表现尚可但未优于标准度量。
2026-08-25 cs.CL
Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University（湖首大学）
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中，我们提出了一种方法，处理这个问题，将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度，所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时，它为单词和句子相似度提供了最高的相关值，优于其他类似的模型。对于单词相似度，我们得到的皮尔逊相关系数为0.8753，对于句子相似度，得到的相关系数为0.8794。
2018-02-20 cs.CL
L3Cube-MahaSTS: A Marathi Sentence Similarity Dataset and Models
Pune Institute of Computer Technology（普那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；MKSSS’ Cummins College of Engineering for Women（MKSSS’ 女子工程学院）；L3Cube Labs（L3Cube实验室）
本文构建含16,860对句子、0-5连续分数且六区间均衡的马拉地语STS数据集MahaSTS，并微调MahaSBERT-STS-v2，验证其在低资源句子相似度任务中的优势。
2025-08-29 cs.CL cs.LG
Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencoders
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们引入了深度内外递归自编码器（DIORA），这是一种完全无监督的方法，用于发现语法，同时学习诱导树内成分的表示。我们的方法预测每个词在一个输入句子的其余部分的条件，并使用内外动态规划，以考虑所有可能的二叉树的句子。在测试时，CKY算法提取得分最高的解析。DIORA在两个基准数据集WSJ和MultiNLI中实现了无监督二进制选区解析（无标签）的最新F1。
2019-04-04 cs.CL
Neobility at SemEval-2017 Task 1: An Attention-based Sentence Similarity Model
Shan-Si Elementary School（山寺小学）；University of Washington（华盛顿大学）
本文描述了一种神经网络模型，该模型在SemEval 2017跨语言语义文本相似性（STS）任务中表现出色（前6名）。我们的系统采用了基于注意力的递归神经网络模型，优化了句子相似度。在本文中，我们描述了我们参与的多语言STS任务，跨英语，西班牙语和阿拉伯语的相似性措施。
2017-03-16 cs.CL
Measuring Sentences Similarity: A Survey
Assiut University（艾斯尤特大学）
本文对句子相似度的测量方法进行了综述。自然语言句子之间的相似性度量对于诸如文本分类、信息检索、问答和剽窃检测等许多自然语言处理应用是至关重要的任务。本文将基于所采用方法的句子相似度计算方法分为三类。基于词对词、基于结构和基于向量的方法是最常用的句子相似度计算方法。每种方法都基于特定的视角来衡量短文本之间的相关性。此外，数据集，主要是用来作为基准评估技术在这一领域的介绍，以提供一个完整的视图在这个问题上。结合一个以上视角的方法会产生更好的结果。此外，基于结构的相似度，衡量句子结构之间的相似性需要更多的研究。
2019-10-06 cs.CL cs.IR
Direct Network Transfer: Transfer Learning of Sentence Embeddings for Semantic Similarity
University of Michigan（密歇根大学）
句子编码器使用神经网络产生句子嵌入，通常通过它们如何很好地传输到下游任务来评估。这包括语义相似性，这是自然语言理解中的一项重要任务。尽管已经有很多工作致力于构建句子编码器，但伴随的迁移学习技术却相对较少受到关注。在本文中，我们提出了一个专门用于语义相似性的迁移学习设置，我们称之为直接网络迁移。通过在几个标准文本相似性数据集上的实验，我们表明，将直接网络传输应用于现有编码器可以获得最先进的性能。此外，我们比较了几种将句子编码器转移到语义相似性任务的方法，表明迁移学习设置的选择在许多情况下会极大地影响性能，并且因编码器和数据集而异。
2018-10-31 cs.CL
Chinese Sentences Similarity via Cross-Attention Based Siamese Network
Delft University of Technology（代尔夫特理工大学）
测量句子相似性是当今的一个关键研究领域，因为它可以让机器更好地理解人类语言。本文提出了一种交叉注意连体网络（CATsNet）来完成汉语句子语义学习和句子相似度比较的任务。这种新的模型能够捕捉非局部特征。此外，我们还尝试在模型中应用长短期记忆（LSTM）网络来提高其性能。在LCQMC数据集上进行了实验，结果表明，我们的模型可以达到更高的精度比以前的工作。
2021-05-06 cs.CL
Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset
UPV/EHU University of the Basque Country（巴斯克大学）
在本文中，我们介绍了vSTS，一个新的数据集测量文本相似性的句子使用多模态信息。数据集由图像及其相应的文本标题组成。我们描述的数据集定量和定性，并声称它是一个有效的金标准，用于测量自动多模态文本相似性系统。我们还描述了初始实验结合多模态信息。
2018-09-11 cs.AI cs.CL
MaskParse@Deskin at SemEval-2019 Task 1: Cross-lingual UCCA Semantic Parsing using Recursive Masked Sequence Tagging
Orange Labs（奥兰治实验室）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统科学实验室）
本文描述了我们的SemEval-2019 \textit{ Task 1: Cross-lingual Semantic Parsing with UCCA}递归系统。每个递归步骤由两部分组成。我们首先执行语义解析使用序列标签估计的概率的UCCA类别的句子。然后，我们应用解码策略来解释这些概率并构建图节点。解析是递归进行的，我们对句子进行第一次推理以提取主要场景和链接，然后使用反映先前步骤中所做决定的掩蔽功能递归地将模型应用于句子。过程继续，直到到达终端节点。我们选择了一个标准的神经标记器，我们专注于我们的递归解析策略和跨语言迁移问题，开发一个强大的模型，为法语，只使用很少的训练样本。
2019-10-07 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Self-Adaptive Hierarchical Sentence Model
University of Waterloo（滑铁卢大学）；Huawei Technologies（华为技术有限公司）
在不同阶段准确建模句子的能力（例如，词-短语-句子）在自然语言处理中起着中心作用。为了实现这一目标，我们提出了一个自适应层次句子模型（AdaSent）。AdaSent通过相邻段的递归门控局部组合有效地形成了从单词到短语再到句子的表示层次。我们设计了一个竞争机制（通过门控网络），允许同一个句子的表征参与特定的学习任务（例如，分类），因此有效地减轻了在其他递归模型中持续存在的梯度消失问题。定性和定量分析都表明，AdaSent可以在训练过程中自动形成和选择适合手头任务的表示，在5个基准数据集上产生优于竞争对手模型的分类性能。
2015-04-27 cs.CL cs.LG cs.NE
Distance-to-Distance Ratio: A Similarity Measure for Sentences Based on Rate of Change in LLM Embeddings
DataKnife；Roosevelt University（罗思希尔大学）
本文提出距离比（DDR）作为衡量句子相似性的新方法，通过分析LLM嵌入变化率来评估上下文对语义的影响，实验表明其在区分语义相似与不相似文本方面表现更优。
2026-01-25 cs.CL
A Comprehensive Comparative Study of Word and Sentence Similarity Measures
句子相似度是信息检索、问答和文本摘要等自然语言处理任务的基础。对比文本片段之间的语义是基于词语的语义特征及其相互关系。本文回顾了一组单词和句子相似性度量，并在基准数据集上进行了比较。在所研究的数据集上，结果表明，混合语义度量的性能优于基于知识和语料库的度量。
2016-02-17 cs.CL cs.IR
Word Usage Similarity Estimation with Sentence Representations and Automatic Substitutes
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；Univ. Paris Sud（巴黎第十一大学）；Université Paris-Saclay（巴黎-萨克雷大学）；LLF, CNRS（法国国家科学研究中心语言形式实验室）；Univ. Paris Diderot（巴黎狄德罗大学）
使用相似度估计解决了不同上下文中单词实例的语义接近度。我们将上下文化（ELMo和BERT）的单词和句子嵌入应用于此任务，并提出了利用这些表示进行预测的监督模型。我们的模型还得到了由context2vec自动分配给单词实例的词汇替代注释的帮助，context2vec是一种依赖于双向LSTM的神经模型。我们对现有的单词和句子表示在基准数据集上进行了广泛的比较，以解决分级和二进制相似性问题。性能最好的模型在这两种情况下都优于以前的方法。
2019-05-20 cs.CL
Sentence Similarity Based on Contexts
Chinese Academy of Sciences（中国科学院）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；ICT（中国科学院计算技术研究所）
现有的句子相似性度量方法面临两个挑战：（1）标记数据集通常大小有限，不足以训练监督神经模型;（2）基于无监督语言建模（LM）的模型计算句子之间的语义得分存在训练-测试差距，因为句子级别的语义在训练时没有显式建模。这导致在该任务中的较差性能。在这项工作中，我们提出了一个新的框架来解决这两个问题。所提出的框架是基于这样的核心思想，即一个句子的意义应该由它的上下文来定义，并且句子相似性可以通过比较给定相同上下文的两个句子的生成概率来测量。所提出的框架能够以无监督的方式生成高质量的大规模数据集，其中两个句子之间的语义相似度得分，可以在很大程度上弥合训练测试差距。大量的实验表明，该框架实现了显着的性能提升超过现有的基线下的监督和无监督设置在不同的数据集。
2022-01-29 cs.CL
Sentence Similarity Learning by Lexical Decomposition and Composition
IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
传统的句子相似度方法大多只关注两个输入句子中相似的部分，而忽略了不相似的部分，这些部分通常会给我们一些关于句子的线索和语义意义。在这项工作中，我们提出了一个模型，以考虑到的相似性和不同之处，通过分解和组成句子的词汇语义。该模型将每个单词表示为一个向量，并根据另一个句子中的所有单词为每个单词计算语义匹配向量。然后，每个词向量被分解为一个相似的组件和一个不相似的组件的基础上的语义匹配向量。在此之后，一个双通道CNN模型被用来捕捉特征，通过组成的相似和不相似的组件。最后，在组合特征向量上估计相似性得分。实验结果表明，该模型在回答句选择任务上取得了最好的性能，在释义识别任务上也取得了相当的效果。
2017-07-14 cs.CL
Contextual Lensing of Universal Sentence Representations
Google Research（谷歌研究院）
是什么让一个通用的句子编码器通用？文本的通用编码器的概念似乎与动态世界中语言使用的固有语境化和非永久性不一致。然而，将句子映射成通用的固定长度向量以用于下游相似性和检索任务已经是富有成效的，特别是对于多语言应用。我们如何处理这一困境？在这项工作中，我们提出了上下文透镜，诱导面向上下文的通用句子向量的方法。我们打破了通用句子向量的建设成一个核心，可变长度，句子矩阵表示配备了一个适应性强的“镜头”，固定长度的向量可以诱导作为镜头上下文的功能。我们表明，它是可能的语言相似性的概念集中到一个小数目的镜头参数的核心通用矩阵表示。例如，我们展示了将几种语言中句子的翻译相似性编码为单个权重矩阵的能力，即使核心编码器没有看到并行数据。
2020-02-20 cs.CL cs.LG
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学技术学院（JAIST））；Toshiba Research & Development Center, Japan（日本东芝研发中心）
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型（M-MaxLSTM-CNN），用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词，从而生成新颖的句子嵌入。然后，我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能（即，测量文本相似性、识别释义、识别文本蕴涵）。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果，M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能（例如，对齐特征、Ngram重叠、依赖性特征），并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Latte-Mix: Measuring Sentence Semantic Similarity with Latent Categorical Mixtures
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
使用预先训练的语言模型（如BERT）测量句子语义相似性通常会产生令人不满意的zero-shot性能，一个主要原因是无效的令牌聚合方法（如均值池）。在本文中，我们证明了贝叶斯框架下，原始的统计数据，如平均值的词嵌入之间的距离从根本上是有缺陷的，用于捕获的水平语义相似性。为了解决这个问题，我们建议学习一个分类变分自编码器（VAE）的基础上现成的预训练语言模型。从理论上证明了测量潜在类别混合体之间的距离，即Latte-Mix，可以更好地反映真实的句子语义相似度。此外，我们的贝叶斯框架提供了解释，为什么模型微调标记的句子对有更好的zero-shot性能。我们还通过经验证明，这些微调模型可以通过Latte-Mix进一步改进。我们的方法不仅在语义相似性数据集（如STS）上产生了最先进的zero-shot性能，而且还具有快速训练和内存占用小的优点。
2020-10-21 cs.CL
Sentence Embeddings and High-speed Similarity Search for Fast Computer Assisted Annotation of Legal Documents
Université de Montréal（蒙特利尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Hofstra University（霍夫斯特拉大学）；University of Pittsburgh（匹兹堡大学）
对法律文档中的句子进行人工注释是许多基于机器学习的系统支持法律任务的重要前提。通常，注释是逐句顺序完成的，这通常是耗时的，因此是昂贵的。在本文中，我们介绍了一个概念证明系统，用于注释句子的横向。“这种方法是基于这样一种观察，即意义相似的句子在特定的类型系统中通常具有相同的标签。我们使用这种观察，允许注释者快速查看和注释句子，语义上类似于一个给定的句子，在整个语料库的文件。在这里，我们提出了系统的接口和经验评估的方法。实验表明，横向标注有可能使标注过程更快，更一致。
2021-12-21 cs.AI cs.CL cs.LG
SynWMD: Syntax-aware Word Mover's Distance for Sentence Similarity Evaluation
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
词移动器距离（WMD）计算词之间的距离，并以两个文本序列中词之间的移动代价来建模文本相似度。然而，它并没有提供良好的性能在句子相似性评估，因为它不包括单词的重要性，并没有考虑到句子中固有的上下文和结构信息。一种改进的WMD方法使用的语法分析树，称为语法感知的词移动器的距离（SynWMD），提出了解决这两个缺点，在这项工作中。首先，从句子的句法分析树中提取词的共现统计信息，并在此基础上构建一个加权图。每个词的重要性是从图的连通性推断出来的。其次，在计算词与词之间的距离时考虑词的局部句法分析结构。为了证明所提出的SynWMD的有效性，我们进行了6个文本语义相似性（STS）数据集和4个句子分类数据集的实验。实验结果表明，SynWMD在STS任务上达到了最先进的性能。它在句子分类任务上也优于其他基于WMD的方法。
2022-06-20 cs.CL
Testing the limits of unsupervised learning for semantic similarity
Paralleldots, Inc.（Paralleldots 公司）
两个句子之间的语义相似度可以被定义为确定两个句子之间的相关或不相关程度的一种方法。语义相似度在分布式表示方面的任务可以被认为是生成句子嵌入（密集向量），其中考虑了句子的上下文和含义。这种嵌入可以通过多种方法产生，在本文中，我们尝试评估LSTM自动编码器来生成这些嵌入。无监督算法（具体来说是自动编码器）只是试图重新创建它们的输入，但它们可以通过创建适当的瓶颈来被迫学习顺序（以及某种程度上的内在含义）。我们试图评估仅仅在简单的英语句子上训练的算法如何正确地学习计算语义相似性，而不给它们任何句子的含义。
2017-10-23 cs.CL
Interpretable Semantic Textual Similarity: Finding and explaining differences between sentences
UPV/EHU（巴斯克大学）
用户对人工智能代理的接受程度可能取决于它们解释其推理的能力，这需要添加一个可解释性层，以便于用户理解其行为。本文着重于在语义文本相似度（STS）之上增加一个可解释层，它衡量两个句子之间的语义等价程度。可解释性层被形式化为跨两个句子的片段对之间的对齐，其中片段之间的关系被标记有关系类型和相似性得分。我们提出了一个公开的数据集的句子对注释后的形式化。然后，我们开发了一个在这个数据集上训练的系统，给定一个句子对，以分级和类型化片段对齐的形式解释什么是相似的和不同的。当在数据集上进行评估时，系统的性能优于知情的基线，表明数据集和任务是定义良好且可行的。最重要的是，两个用户研究显示了系统输出如何用于自动生成自然语言的解释。用户在访问解释时表现更好，提供了初步证据，证明我们的数据集和自动生成解释的方法在实际应用中是有用的。
2016-12-14 cs.AI cs.CL cs.LG
SimMark: A Robust Sentence-Level Similarity-Based Watermarking Algorithm for Large Language Models
Department of ECE, University of British Columbia（电子工程系，不列颠哥伦比亚大学）
SimMark是一种无需访问模型内部的句级水印算法，利用语义相似性与拒绝采样嵌入统计模式，实现对释义攻击的鲁棒性，并在鲁棒性、效率和适用性上超越现有技术。
2025-09-11 cs.CL cs.CR cs.CY
On the Sentence Embeddings from Pre-trained Language Models
ByteDance AI Lab（字节跳动人工智能实验室）；Carnegie Mellon University（卡内基梅隆大学）
像BERT这样的预先训练的上下文表示在自然语言处理中取得了巨大的成功。然而，已经发现来自未经微调的预训练的语言模型的句子嵌入难以捕获句子的语义含义。在本文中，我们认为，在BERT嵌入的语义信息没有得到充分利用。首先从理论上揭示了掩蔽语言模型预训练目标与语义相似度任务之间的理论联系，然后对BERT句子嵌入进行了实证分析。我们发现，BERT总是导致一个非光滑的各向异性的句子语义空间，这损害了它的语义相似度的性能。为了解决这个问题，我们建议将各向异性的句子嵌入分布转换为平滑和各向同性的高斯分布，通过规范化流，学习与无监督的目标。实验结果表明，我们提出的BERT流方法获得了显着的性能增益比国家的最先进的句子嵌入在各种语义文本相似性任务。该代码可在https://github.com/bohanli/BERT-flow上获得。
2020-11-02 cs.CL cs.LG
Leveraging Sentence Similarity in Natural Language Generation: Improving Beam Search using Range Voting
DeepMind（深度思维）；University of Cambridge（剑桥大学）
我们提出了一种自然语言生成的方法，选择最有代表性的输出，而不是最可能的输出。通过从投票理论的角度观察语言生成过程，我们使用范围投票和相似性度量来定义代表性。所提出的方法可以应用于从任何概率语言模型生成时，包括n-gram模型和神经网络模型。我们评估不同的相似性措施的图像描述任务和机器翻译任务，并表明我们的方法生成更长，更多样化的句子，提供了一个解决方案的常见问题的短输出更长，更丰富的信息。生成的句子获得更高的BLEU分数，特别是当波束大小很大时。我们还对这两项任务进行了人工评估，发现使用我们的方法生成的输出评分更高。
2020-05-25 cs.CL
Combining Convolution and Recursive Neural Networks for Sentiment Analysis
VNUHCM - University of Sciences（越南胡志明市国家大学下属科学大学）
本文讨论了层次情感分析问题。近年来，卷积和递归神经网络已被证明是一种有效的网络结构，用于情感层次的情感分析。然而，它们中的每一个都有自己的潜在缺点。为了克服它们的缺点，我们将卷积和递归神经网络结合成一种新的网络结构。此外，我们采用了迁移学习从一个大型的文档级标记的情感数据集，以改善词嵌入在我们的模型。由此产生的模型优于所有最近的卷积和递归神经网络。除此之外，我们的模型实现了与斯坦福情绪树库上最先进的系统相当的性能。
2018-01-27 cs.CL
On-Device Sentence Similarity for SMS Dataset
Samsung R & D Institute（三星研发研究院）
确定短消息服务（SMS）文本/句子之间的句子相似度在移动终端行业中起着重要作用。因此，衡量短信数据之间的相似性是必要的各种应用程序，如增强搜索和导航，棍棒在一起的短信类似类型的自定义标签或标签时，由用户提供，而不管他们的发件人等的问题，面临的短信数据是其不完整的结构和语法不一致。在本文中，我们提出了一个独特的管道来评估短信文本之间的文本相似性。我们使用词性（POS）模型的关键字提取利用嵌入在短信文本的部分结构和相似性比较进行统计方法。所提出的管道处理跨SMS数据的主要语义变化，以及使其有效的设备上的应用程序（移动电话）。为了展示我们工作的能力，我们的管道设计倾向于以下部分之一讨论的SMS文本相似性的可能应用之一，但仍然保证其他应用程序的可扩展性。
2020-12-04 cs.CL
Comparative analysis of word embeddings in assessing semantic similarity of complex sentences
Lakehead University（湖首大学）
语义文本相似性是自然语言处理领域的一个开放性研究课题。在这一领域已经进行了广泛的研究，最近基于transformer的模型在现有的基准数据集（如STS数据集和SICK数据集）中取得了近乎完美的结果。在本文中，我们研究了这些数据集中的句子，并分析了各种词嵌入相对于句子复杂度的敏感性。我们建立了一个复杂的句子数据集，由50个句子对与15个人类注释器提供的相关语义相似度值。可读性分析是为了突出现有基准数据集和建议数据集中句子复杂度的增加。此外，我们对现有基准数据集和建议数据集上的各种词嵌入和语言模型的性能进行了比较分析。结果表明，句子复杂度的增加对嵌入模型的性能有显着影响，导致Pearson和Spearman相关性降低10-20%。
2021-07-09 cs.CL cs.IR
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge
Technical University of Munich（慕尼黑工业大学）；DFKI GmbH（德国人工智能研究中心）
本文提出AspectCSE方法，利用对比学习和Wikidata知识图谱属性训练基于方面的句子嵌入，在信息检索任务上平均提升3.97%，并证明多方面嵌入优于单方面嵌入。
2023-09-24 cs.AI cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics
HKUST（香港科技大学）；Tsinghua University（清华大学）
句子文本相似性度量（STS）是一个经典的任务，可以应用于许多下游NLP应用，如文本生成和检索。在本文中，我们专注于无监督STS工作在不同的领域，但只需要最少的数据和计算资源。在理论上，我们提出了一个轻加权的期望校正（EC）制定STS计算。EC公式化统一了无监督STS方法，包括附加成分（AC）句子嵌入，最优传输（OT）和树核（TK）的余弦相似性。此外，我们提出了递归最优传输相似度（ROTS）算法来捕捉组成短语的语义组成多个递归EC配方。ROTS在线性时间内完成，比它的前辈更快。ROTS在经验上比以前的方法更有效和可扩展。在各种设置下的29个STS任务上的广泛实验表明，ROTS比现有的方法具有明显的优势。详细的消融研究证明了我们方法的有效性。
2022-10-05 cs.CL
CORD19STS: COVID-19 Semantic Textual Similarity Dataset
USC Information Sciences Institute（南加州大学信息科学研究所）
为了对抗COVID-19大流行，社会可以从各种自然语言处理应用中受益，例如对话医疗诊断系统和专门针对COVID-19校准的信息检索引擎。这些应用程序依赖于测量语义文本相似性（STS）的能力，使得STS成为一项基本任务，可以使几个下游应用程序受益。然而，现有的STS数据集和模型无法将其性能转化为特定领域的环境，如COVID-19。为了克服这一差距，我们引入了CORD 19 STS数据集，其中包括从COVID-19开放研究数据集（CORD-19）挑战中收集的13，710个注释句子对。具体来说，我们使用不同的采样策略生成了100万个句子对。然后，我们使用了一个微调的BERT类语言模型，我们称之为Sen-SCI-CORD 19-BERT，来计算句子对之间的相似性得分，以提供一个关于不同语义相似性水平的平衡数据集，这给了我们总共32 K个句子对。每个句子对都由五个Amazon Mechanical Turk（AMT）人群工作人员进行注释，其中标签表示句子对之间不同的语义相似性级别（即相关，有点相关和不相关）。在采用严格的资格任务来验证收集的注释后，我们最终的CORD 19 STS数据集包括13，710个句子对。
2020-11-02 cs.CL
CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
CASE通过条件感知嵌入方法提升基于LLM的文本在条件语义相似性任务中的表现。
2026-02-02 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出了Charagram嵌入，一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示，然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估：单词相似性，句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构，在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Towards Universal Paraphrastic Sentence Embeddings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们考虑基于来自释义数据库的监督来学习通用的释义句子嵌入的问题（Ganitkevitch等人，2013年）的报告。我们比较了六个组成架构，评估他们的注释文本相似性数据集从相同的分布作为训练数据和广泛的其他领域。我们发现，最复杂的架构，如长短期记忆（LSTM）递归神经网络，在域内数据上表现最好。然而，在域外场景中，诸如字平均之类的简单架构大大优于LSTM。我们最简单的平均模型甚至可以与针对特定任务调整的系统竞争，同时也非常高效且易于使用。为了更好地理解这些架构的比较，我们对三个有监督的NLP任务进行了进一步的实验：句子相似性，蕴涵和情感分类。我们再次发现，单词平均模型在句子相似性和蕴涵方面表现良好，优于LSTM。然而，在情感分类方面，我们发现LSTM表现非常强劲，甚至在斯坦福情感树库上记录了最新的最先进的性能。然后，我们演示了如何将预训练的句子嵌入与这些监督任务相结合，将它们用作先验和黑盒特征提取器。这导致性能媲美的疾病相似性和蕴涵任务的最新技术水平。我们将所有的资源发布给研究社区，希望它们可以作为进一步研究通用句子嵌入的新基线。
2016-03-04 cs.CL cs.LG
Logic Constrained Pointer Networks for Interpretable Textual Similarity
Amazon（亚马逊）；Flipkart（弗利普卡特）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
系统地发现文本中的语义关系是自然语言处理中一个重要且广泛研究的领域，具有各种任务，例如蕴涵，语义相似性等。通过子序列比对的可分解性已经被提出作为使模型更具可解释性的一种方式。我们研究的问题，对齐组件的句子导致一个可解释的模型，语义文本相似性。在本文中，我们介绍了一种新的指针网络为基础的模型与哨兵门控功能，以调整组成块，这是表示使用BERT。我们用一个损失函数改进了这个基础模型，以同等地惩罚两个句子中的不对齐，确保对齐是双向的。最后，为了用结构化的外部知识来指导网络，我们引入了基于ConceptNet和语法知识的一阶逻辑约束。该模型在SemEval基准数据集上的F1得分分别为97.73和96.32，与现有解决方案相比有很大的改进。源代码可在https://github.com/manishb89/interpretable_sentence_similarity上获得
2020-07-15 cs.CL cs.LG
Neural sentence embedding models for semantic similarity estimation in the biomedical domain
Medical University of Vienna（维也纳医科大学）
背景技术背景：在这项研究中，我们调查了目前最先进的神经句子嵌入模型的有效性，从生物医学文献的句子的语义相似性估计。我们在PubMed开放获取数据集中的170万篇文章上训练了不同的神经嵌入模型，并基于生物医学基准集对它们进行了评估，该基准集包含由人类专家注释的100个句子对和来自原始基准集的较小矛盾子集。研究结果：Pearson相关系数为0.819，我们基于Paragraph Vector Distributed Memory算法的最佳无监督模型的性能优于BIOSSES生物医学基准集上先前获得的最新结果。此外，我们提出的监督模型，结合不同的字符串为基础的相似性度量与神经嵌入模型超越了以前的本体依赖的监督国家的最先进的方法在皮尔逊的r（r=0.871）的生物医学基准集。与原始基准测试的有希望的结果相反，我们发现我们最好的模型在较小的矛盾子集上的性能很差。结论：在这项研究中，我们强调了基于神经网络的模型在生物医学领域的语义相似性估计的价值，表明它们可以跟上，甚至超过以前的最先进的方法，语义相似性估计依赖于在生物医学基准集上进行评估时，精心策划的本体的可用性。然而，捕捉生物医学句子中的矛盾和否定成为进一步工作的一个重要领域。
2021-10-01 cs.CL
Unsupervised Extractive Summarization using Pointwise Mutual Information
New York University（纽约大学）
提取摘要的无监督方法通常依赖于由句子和文档之间的语义相似性定义的句子重要性的概念。我们提出了新的度量相关性和冗余使用逐点互信息（PMI）之间的句子，这可以很容易地计算出一个预先训练的语言模型。直觉上，一个相关的句子允许读者推断文档内容（高PMI的文档），而一个冗余的句子可以从摘要中推断出来（高PMI的摘要）。然后，我们开发了一个贪婪的句子选择算法，以最大限度地提高相关性和最小化冗余提取的句子。我们表明，我们的方法优于基于相似性的方法在一系列领域的数据集，包括新闻，医学期刊文章和个人轶事。
2021-03-22 cs.CL cs.LG
Reweighting Strategy based on Synthetic Data Identification for Sentence Similarity
KAIST AI（韩国科学技术院人工智能学院）；Letsur
语义上有意义的句子嵌入对于自然语言处理中的许多任务都很重要。为了获得这样的嵌入，最近的研究探索了利用从预训练的语言模型（PLM）作为训练语料库的综合生成的数据的想法。然而，PLM生成的句子往往与人写的句子大不相同。我们假设，在训练深度神经网络时，平等地对待所有这些合成示例可能会对学习语义上有意义的嵌入产生不利影响。为了分析这一点，我们首先训练一个识别机器写的句子的分类器，并观察到被识别为机器写的句子的语言特征与人类写的句子的语言特征显著不同。基于此，我们提出了一种新的方法，首先训练分类器来衡量每个句子的重要性。然后，从分类器提取的信息用于训练可靠的句子嵌入模型。通过对四个真实世界数据集的广泛评估，我们证明了我们在合成数据上训练的模型具有良好的泛化能力，并且优于现有的基线。我们的实现可以在https://github.com/ddehun/coling2022_reweighting_sts上公开获得。
2022-08-30 cs.CL
Metric Learning in Multilingual Sentence Similarity Measurement for Document Alignment
University of Moratuwa（莫拉图瓦大学）
基于多语言句子表示的文档对齐技术最近已经显示出最先进的结果。然而，这些技术依赖于无监督的距离测量技术，无法根据手头的任务进行微调。在本文中，我们采用度量学习来获得特定于任务的距离测量，而不是这些无监督的距离测量技术。这些测量是有监督的，这意味着距离测量度量是使用并行数据集训练的。使用属于英语，僧伽罗语，泰米尔语，这属于三个不同的语言家族的数据集，我们表明，这些特定任务的监督远程学习指标优于他们的无监督同行，文档对齐。
2021-08-21 cs.CL
A reproducible experimental survey on biomedical sentence similarity: a string-based method sets the state of the art
Universidad Nacional de Educación a Distancia (UNED)（西班牙国立远程教育大学）
本报告介绍了最大规模的、首次可重复的生物医学句子相似性实验调查，其目的如下：（1）阐明问题的最新进展;（2）解决一些阻碍评价大多数现有方法的可重复性问题;（3）评价几种未开发的句子相似性方法;（4）评价一个尚未开发的基准，称为语料库转录调节（Corpus-Transcriptional-Regulation）：（5）研究预处理阶段和命名实体识别（NER）工具对句子相似度方法性能的影响;最后，（6）弥补这一研究领域方法和实验重复性资源的缺乏。我们的实验调查基于一个单一的软件平台，该平台提供了详细的再现性协议和数据集作为补充材料，以允许精确复制我们所有的实验。此外，我们还介绍了一种新的基于聚合字符串的句子相似性方法，称为LiBlock，以及当前基于本体的方法的八种变体和一种新的预训练词嵌入模型，该模型在PMC-BioC语料库中的全文文章上进行训练。我们的实验表明，我们的新的字符串为基础的措施集在生物医学领域的句子相似性任务的最新技术水平，并显着优于所有的方法在此评估，除了一个基于本体的方法。同样，我们的实验证实，预处理阶段，和选择的NER工具，有显着影响的句子相似性方法的性能。我们还详细介绍了目前的方法的一些缺点和局限性，并警告需要完善目前的基准。最后，一个值得注意的发现是，我们的新的基于字符串的方法显着优于本文评估的所有最先进的机器学习模型。
2022-05-18 cs.AI cs.CL
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Technische Universität Darmstadt（达姆施塔特工业大学）
BERT（Devlin等人，2018）和RoBERTa（Liu等人，2019）在语义文本相似性（STS）等双对回归任务上设置了新的最先进的性能。然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在10，000个句子的集合中找到最相似的一对需要大约5000万次推理计算（约65小时），使用BERT。BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。在这篇文章中，我们提出了句子-BERT（SBERT），这是对预训练的BERT网络的修改，它使用连体和三元网络结构来导出语义上有意义的句子嵌入，可以使用余弦相似度进行比较。这将寻找最相似对的努力从使用BERT / RoBERTa的65小时减少到使用SBERT的大约5秒，同时保持BERT的准确性。我们在常见的STS任务和迁移学习任务上评估SBERT和SRoBERTA，它优于其他最先进的句子嵌入方法。
2019-08-27 cs.CL
A Novel Word Pair-based Gaussian Sentence Similarity Algorithm For Bengali Extractive Text Summarization
Institute of Information Technology（信息技术研究所）；University of Dhaka（达卡大学）；Centre for Advanced Research in Science（高级科学研究中心）
针对孟加拉语抽取式文本摘要现有方法语义关系表达不足的问题，提出基于词对的高斯句相似度（WGSS）算法，结合谱聚类与TF-IDF排序，在多个数据集上平均ROUGE分数优于现有模型43.2%，还构建新数据集并可扩展至其他低资源语言。
2024-11-27 cs.CL
Are ELECTRA's Sentence Embeddings Beyond Repair? The Case of Semantic Textual Similarity
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算机学院）；TakeLab
针对ELECTRA句嵌入质量差、学界已默认不将其用于语义文本相似度任务的问题，本文提出截断模型微调（TMFT）方法修复嵌入，显著提升了STS基准性能，还发现ELECTRA生成器模型效果堪比BERT且参数效率更高。
2024-10-03 cs.CL
Improving Multilingual Semantic Textual Similarity with Shared Sentence Encoder for Low-resource Languages
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）
测量两个句子之间的语义相似性（或语义文本相似性- STS）是许多NLP应用程序的基础。尽管在有足够标签的监督环境中取得了显着的成果，但在标签不足的低资源语言中，很少有人注意到这一任务。现有的方法大多利用机器翻译技术将句子翻译成资源丰富的语言。这些方法要么会产生语言偏见，要么在口语场景更频繁且要求严格效率的工业应用中不切实际。在这项工作中，我们提出了一个多语言的框架，以解决STS任务在一个低资源的语言，如西班牙语，阿拉伯语，印度尼西亚语和泰语，通过利用丰富的注释数据在一个丰富的资源语言，如英语。我们的方法是从一个基本的单语STS框架扩展到一个共享的多语言编码器预训练的翻译任务，将丰富的资源语言数据。通过利用共享的多语言编码器的性质，一个句子可以具有针对不同目标翻译语言的多个表示，这些表示用于集成模型以提高相似性评估。我们证明了我们的方法优于其他国家的最先进的方法对SemEval STS任务的显着改善非MT方法，以及在线工业产品，其中MT方法未能击败基线，而我们的方法仍然有一贯的改进。
2018-10-30 cs.CL
Correcting the Common Discourse Bias in Linear Representation of Sentences using Conceptors
Jacobs University Bremen（不来梅雅各布大学）；University of Pennsylvania（宾夕法尼亚大学）
单词的分布式表示，更好地称为词嵌入，已经成为自然语言处理任务的重要构建块。许多研究致力于将无监督词嵌入的成功转移到句子嵌入。在本文中，我们介绍了一个简单的表示的句子中，一个句子嵌入表示为加权平均的词向量，其次是一个软投影。我们证明了该方法在BioCreative/OHNLP Challenge 2018的临床语义文本相似性任务上的有效性。
2018-11-17 cs.CL cs.LG stat.ML
Learning Analogy-Preserving Sentence Embeddings for Answer Selection
Technische Universität Darmstadt（达姆施塔特工业大学）
答案选择旨在从一组可能正确的答案中识别给定问题的正确答案。与以前的作品，通常集中在一个问题和它的答案之间的语义相似性，我们的假设是，问答对往往是在类比关系。使用类比推理作为我们的用例，我们提出了一个框架和一个神经网络架构，用于学习专用的句子嵌入，保留语义空间中的类比属性。我们评估了所提出的方法在基准数据集的答案选择，并证明我们的句子嵌入确实捕捉类比属性比传统的嵌入，类比为基础的问答优于可比的相似性为基础的技术。
2019-10-11 cs.CL cs.LG
BeLLM: Backward Dependency Enhanced Large Language Model for Sentence Embeddings
The Hong Kong Polytechnic University（香港理工大学）
提出BeLLM模型，通过将特定注意力层从单向转为双向来增强自回归LLM的向后依赖，从而提升句子嵌入的语义相似度测量性能，并在多个STS任务和下游应用中达到最先进水平。
2024-03-14 cs.CL
