A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research(IBM研究);IBM Watson
用于(基于嵌入的)无监督语义搜索的现有技术方法利用(查询和段落的)组成相似性或(来自查询和段落的)成对词(或术语)相似性。通过设计,基于单词的方法不包含更大上下文(查询/段落)中的相似性,而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中,我们提出了一种新的成分相似性为基础的方法,称为可变质心向量(VCVB),试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法,利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
Style-transfer and Paraphrase: Looking for a Sensible Semantic Similarity Metric
Ural Federal University(乌拉尔联邦大学);Yandex(扬德克斯)
风格转换、释义和机器翻译等自然语言处理任务的快速发展经常需要使用语义相似性度量。近年来,人们提出了许多度量两个短文本语义相似度的方法。本文对十几种这样的方法进行了综合分析。使用一个新的数据集的14000句对人类标记根据其语义相似性,我们证明,没有一个广泛使用的指标在文献中是足够接近人类的判断在这些任务。最近提出的一些指标提供了可比的结果,但词移动距离被证明是最合理的解决方案,以衡量语义相似性在重构文本的时刻。
2020-12-03 cs.CL cs.IR cs.LG
A Comparison of Semantic Similarity Methods for Maximum Human Interpretability
Tribhuwan University(特里布万大学)
在任何相似性度量中包含语义信息提高了相似性度量的效率,并提供了人类可解释的结果以供进一步分析。仅关注与文本的词相关的特征的相似度计算方法将给出不太准确的结果。本文提出了三种不同的方法,不仅关注文本的词,但也纳入文本的语义信息在其特征向量和计算语义相似度。这些方法是基于语料库和基于知识的方法,这是:余弦相似度使用tf-idf向量,余弦相似度使用词嵌入和软余弦相似度使用词嵌入。在这三种方法中,使用tf-idf向量的余弦相似度在发现短新闻文本之间的相似性方面表现最好。该方法给出的相似文本易于理解,可直接用于其他信息检索应用。
2019-10-31 cs.CL cs.IR cs.LG
Synergistic Union of Word2Vec and Lexicon for Domain Specific Semantic Similarity
University of Moratuwa(莫拉图瓦大学);University of London(伦敦大学)
语义相似性度量是自然语言处理任务中的重要组成部分。然而,语义相似性的措施,建立了一般使用不执行特定领域内。因此,在这项研究中,我们引入了一个特定领域的语义相似性的措施,创建的协同联盟的word2vec,一个词嵌入方法,用于语义相似性计算和基于词典(词汇)的语义相似性方法。我们证明了该方法的性能优于在通用语料库上训练的词嵌入方法和在特定领域语料库上训练的方法,但不使用词汇语义相似度方法来增强结果。此外,我们证明了文本词形化可以提高词嵌入方法的性能。
2017-06-09 cs.CL
An evaluative baseline for geo-semantic relatedness and similarity
University of North Carolina, Charlotte(北卡罗来纳大学夏洛特分校);University College Dublin(都柏林大学学院)
在地理信息科学和语义学中,语义相似度的计算被广泛认为是支持大量信息集成和检索任务的关键。相比之下,地理语义相关性的作用在很大程度上被忽视了。在自然语言处理中,语义相关性经常与更具体的语义相似性混淆。在这篇文章中,我们讨论了一个概念的地理语义相关性的基础上莱勒的语义场,我们比较它与地理语义相似性。然后,我们描述和验证地理相关性和相似性数据集(GeReSiD),一个新的开放数据集,旨在评估地理语义相关性和相似性的计算措施。该数据集比现有的此类数据集更大,包括97个地理术语,由203名人类受试者组成50个术语对。GeReSiD可在线获得,并可用作评估基线,以凭经验确定给定计算模型在多大程度上近似地理语义相关性和相似性。
2014-02-14 cs.CL
A Comprehensive Comparative Study of Word and Sentence Similarity Measures
句子相似度是信息检索、问答和文本摘要等自然语言处理任务的基础。对比文本片段之间的语义是基于词语的语义特征及其相互关系。本文回顾了一组单词和句子相似性度量,并在基准数据集上进行了比较。在所研究的数据集上,结果表明,混合语义度量的性能优于基于知识和语料库的度量。
2016-02-17 cs.CL cs.IR
Description and Evaluation of Semantic Similarity Measures Approaches
Taif University(塔伊夫大学)
近年来,语义相似性度量在语义Web和自然语言处理(NLP)领域引起了广泛的关注。几个相似性的措施已经制定,被给予存在的结构化的知识表示提供的本体和语料库,使语义解释的条款。语义相似性度量计算知识源中包括的概念/术语之间的相似性,以便执行估计。本文讨论了现有的基于结构、信息量和特征的语义相似度方法。此外,我们提出了一个关键的几个类别的语义相似性的方法的基础上两个标准的基准评估。本文的目的是给所有这些措施,帮助研究人员和从业人员选择最适合他们的要求的措施,有效的评估。
2013-10-30 cs.CL
Semantic similarity prediction is better than other semantic similarity measures
University of Passau(帕绍大学)
本文提出 STSScore,通过在 GLUE 的 STS-B 任务上微调模型直接预测语义相似度,证明其比 BLEU、BERTScore 和 S-BERT 等度量更符合鲁棒相似度预期。
2024-01-17 cs.CL cs.LG
SemanticZ at SemEval-2016 Task 3: Ranking Relevant Answers in Community Question Answering Using Semantic Similarity Based on Fine-tuned Word Embeddings
Research Training Group AIPHES(AIPHES研究培训组);Institute for Computational Linguistics(计算语言学研究所);Heidelberg University(海德堡大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们描述了我们在社区论坛中寻找好答案的系统,如SemEval-2016,关于社区问答的任务3中所定义的。我们的方法依赖于几个语义相似性特征的基础上微调词嵌入和主题的相似性。在主要的子任务C中,我们的主要提交排名第三,MAP为51.68,准确率为69.94。在子任务A中,我们的主要提交也是第三名,MAP为77.58,准确率为73.39。
2019-11-20 cs.AI cs.CL cs.IR
Paraphrasing, textual entailment, and semantic similarity above word level
Universidad de Barcelona(巴塞罗那大学)
本论文探讨了两个或多个复杂的语言表达(短语,从句,句子,段落)之间的意义关系的语言和计算方面。特别是,它侧重于释义,文本蕴涵,矛盾和语义相似性。第一部分:在"词语层面的相似性"一文中,笔者研究了分布假设,并探讨了几种不同的方法来量化词语和短语层面的语义相似性。第二部分:在“释义类型与释义识别”一章中,我重点讨论了释义的意义关系和释义自动识别的实验任务。第三部分:"释义、语篇蕴涵和语义相似"是本文在对释义、语篇蕴涵、矛盾和语义相似进行联合研究的基础上提出的一个新的语篇意义关系研究方向。
2022-08-10 cs.CL
Exploiting Non-Taxonomic Relations for Measuring Semantic Similarity and Relatedness in WordNet
Lakehead University(湖首大学);Université Laval(拉瓦尔大学)
计算语言学和人工智能领域中的各种应用采用语义相似性来解决具有挑战性的任务,诸如词义消歧、文本分类、信息检索、机器翻译和文档聚类。以前的工作语义相似性遵循单关系的方法,主要使用分类关系“ISA”。本文探讨了在大型链接数据(例如WordNet知识图谱)中使用所有类型的非分类关系来增强现有语义相似性和相关性度量的好处。我们提出了一个整体的多关系的方法,基于一个新的关系为基础的信息内容和非分类为基础的加权路径设计一个全面的语义相似性和相关性的措施。为了证明在知识图谱中利用非分类关系的好处,我们使用了三种策略来在不同的粒度级别部署非分类关系。我们在四个著名的金标准数据集上进行了实验,结果表明,所提出的语义相似性和相关性度量的鲁棒性和可扩展性,这显着改善了现有的相似性度量。
2020-06-22 cs.CL
Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis
BITS Pilani, K. K. Birla Goa Campus(贝拉理工学院(BITS Pilani)K.K.比拉拉果阿校区)
表征相似性分析是认知神经科学的一种方法,它有助于比较来自两个不同数据源的表征。在本文中,我们提出使用表征相似性分析来探测代码的语言模型的语义基础。我们通过使用IBM CodeNet数据集的数据来探测CodeBERT模型的语义基础表示。通过我们的实验,我们表明,目前的预训练方法不会在代码的语言模型中引入语义基础,而是专注于优化基于形式的模式。我们还表明,即使是少量的微调语义相关的任务增加了语义基础CodeBERT显着。我们对CodeBERT模型的输入模态的消融表明,使用双峰输入(代码和自然语言)而不是单峰输入(仅代码)在语义微调期间提供了更好的语义基础和样本效率。最后,我们对代码中语义扰动的实验表明,CodeBERT能够鲁棒地区分语义正确和不正确的代码。
2022-07-15 cs.CL cs.IR cs.PL
Evaluation of taxonomic and neural embedding methods for calculating semantic similarity
Shandong Jianzhu University(山东建筑大学)
语义相似度建模在词汇语义应用中起着基础性作用。计算语义相似度的一种自然方法是访问手工制作的语义网络,但相似度预测也可以在分布式向量空间中进行。相似度计算仍然是一项具有挑战性的任务,即使在深度神经语言模型方面取得了最新突破。我们首先研究了流行的方法在测量分类相似性,包括边计数,只采用语义关系的分类,以及复杂的方法,估计概念的特异性。我们进一步外推三个加权因子在建模分类相似性。为了研究分类相似性度量和分布相似性度量之间的不同机制,我们从词频、多义度和相似性强度的角度将每种度量与人类相似性判断进行了头对头比较。我们的研究结果表明,分类相似性度量方法可以在不对均匀距离进行微调的情况下,以最短路径长度作为预测语义相似性的主要因素;与分布语义学相比,边计数方法在使用中不受意义分布的影响,可以同时从字面和隐喻两个方面来度量词的相似性;在相似性预测中利用概念关系来改进神经嵌入的协同作用可以指示在迁移学习上利用知识库的新趋势。不同的词频、多义度和相似度范围在计算语义相似度方面还存在很大的差距。
2022-09-30 cs.AI cs.CL
Determining Semantic Textual Similarity using Natural Deduction Proofs
The University of Tokyo(东京大学);Ochanomizu University(御茶水女子大学);Artificial Intelligence Research Center, AIST(产业技术综合研究所人工智能研究中心)
确定语义文本相似度是自然语言处理的核心研究课题。由于用于句子表示的基于向量的模型通常使用浅层信息,因此难以捕获准确的语义。相比之下,逻辑语义表示捕捉更深层次的句子语义,但它们的符号性质不提供文本相似性的分级概念。我们提出了一种方法来确定语义文本相似度相结合的浅层特征提取的自然演绎证明的句子对之间的双向蕴涵关系的特征。对于自然演绎证明,我们使用ccg2lambda,一个高阶自动推理系统,它将组合范畴语法(CCG)派生树转换为语义表示,并进行自然演绎证明。实验表明,我们的系统是能够优于其他基于逻辑的系统,从证明的特征是有效的学习文本相似性。
2017-07-27 cs.CL
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo(滑铁卢大学)
在英语语义相似性任务中,经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念,而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中,我们假设,引入一个明确的,受约束的成对词的相互作用机制,预训练的语言模型,提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设,在语义文本相似性和答案句子选择。我们表现出一致的质量改进,通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
DySem: Uncovering Dynamic Semantic Components of Large Language Models for Calculating Semantic Textual Similarity
College of Computer Science and Software Engineering(计算机科学与软件工程学院)
提出DySem框架,通过多语言共识提取大语言模型中与语义更相关的内部组件,并构建文本相关的联合语义集实现动态维度相似度计算,无需训练且性能优于基线。
2026-09-29 cs.CL
CompiLIG at SemEval-2017 Task 1: Cross-Language Plagiarism Detection Methods for Semantic Textual Similarity
Compilatio;Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
我们在SemEval-2017上展示了我们提交的语义文本相似性(STS)Track 4系统。给定一对西班牙语-英语句子,每个系统必须通过0到5之间的分数来估计它们的语义相似性。在我们的提交中,我们使用基于语法,基于字典,基于上下文和基于MT的方法。我们还将这些方法以无监督和有监督的方式结合起来。我们的最佳运行在轨道4a上排名第一,与人类注释的相关性为83.02%。
2017-04-05 cs.CL
Introducing two Vietnamese Datasets for Evaluating Semantic Models of (Dis-)Similarity and Relatedness
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
我们为低资源语言越南语提出了两个新的数据集,以评估语义相似性模型:ViCon包括跨词类的同义词和反义词对,从而提供区分相似性和不相似性的数据。ViSim-400提供了五种语义关系的相似度,由人类法官评定。这两个数据集通过标准的共现和神经网络模型进行了验证,显示出与相应的英语数据集相当的结果。
2018-04-19 cs.CL
Direct Network Transfer: Transfer Learning of Sentence Embeddings for Semantic Similarity
University of Michigan(密歇根大学)
句子编码器使用神经网络产生句子嵌入,通常通过它们如何很好地传输到下游任务来评估。这包括语义相似性,这是自然语言理解中的一项重要任务。尽管已经有很多工作致力于构建句子编码器,但伴随的迁移学习技术却相对较少受到关注。在本文中,我们提出了一个专门用于语义相似性的迁移学习设置,我们称之为直接网络迁移。通过在几个标准文本相似性数据集上的实验,我们表明,将直接网络传输应用于现有编码器可以获得最先进的性能。此外,我们比较了几种将句子编码器转移到语义相似性任务的方法,表明迁移学习设置的选择在许多情况下会极大地影响性能,并且因编码器和数据集而异。
2018-10-31 cs.CL
Improving Correlation with Human Judgments by Integrating Semantic Similarity with Second--Order Vectors
Virginia Commonwealth University(弗吉尼亚联邦大学);University of Minnesota(明尼苏达大学)
向量空间方法,测量语义相似性和相关性往往依赖于分布信息,如同现频率或统计措施的关联加权的重要性,特别是同现。在本文中,我们扩展这些方法,将一个衡量的语义相似性的基础上,人类策划的分类到一个二阶向量表示。这导致在一个语义相关性的措施,结合了上下文信息,在一个基于语料库的向量空间表示与语义知识中发现的生物医学本体。我们的研究结果表明,将语义相似性纳入二阶共现矩阵提高了与人类判断的相似性和相关性的相关性,并且我们的方法与最近在我们使用的相同参考标准上进行评估的各种不同的词嵌入方法相比毫不逊色。
2017-05-27 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);Universidade Federal do Ceará(塞阿拉联邦大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文,使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息,并改进句子之间相似度的计算。我们的模型已经取得了良好的效果,是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
A Novel Comprehensive Approach for Estimating Concept Semantic Similarity in WordNet
Zhejiang University(浙江大学);Tarim University(塔里木大学);Princeton University(普林斯顿大学)
概念间语义相似度的计算是许多研究工作的重要基础。本文重点研究了概念相似度计算方法和概念相似度度量,即利用分类法的拓扑参数来估计概念之间的语义相似度。在分析了典型的语义相似度计算方法和典型的语义相似度度量方法的基础上,提出了一种新的混合语义相似度计算方法。通过引入参数dhyp和lch,利用新的概念间相似度计算方法,提出了一种新的概念间语义相似度的综合度量方法。基于WordNet“is a”分类法,在基准数据集R&G上进行了实验,结果表明该方法能明显提高相似度的准确性。我们评估所提出的方法,通过比较五个措施和人工数据之间的相关系数。结果表明,我们的建议优于以前的措施。
2017-03-06 cs.CL
Measuring Semantic Similarity by Latent Relational Analysis
本文介绍了潜在关系分析(LRA),一种测量语义相似度的方法。LRA度量两对词之间语义关系的相似性。当两对具有高度的关系相似性时,它们是相似的。例如,对cat:meow类似于对dog:bark。认知科学有证据表明,关系相似性是许多认知和语言任务的基础(例如,类比推理)。在向量空间模型(VSM)方法来测量关系的相似性,两对之间的相似性是由代表两对向量之间的夹角的余弦计算。向量中的元素基于大型语料库中手动构建的模式的频率。LRA以三种方式扩展了VSM方法:(1)模式自动从语料库中导出,(2)奇异值分解用于平滑频率数据,以及(3)同义词用于重新表达单词对。本文介绍了LRA算法和实验比较LRA VSM两个任务,回答大学水平的多项选择词类比问题和分类名词修饰语表达的语义关系。LRA实现了最先进的结果,在类比问题上达到了人类水平的表现,并且在两项任务上都大大超过了VSM的表现。
2005-08-10 cs.CL cs.IR cs.LG
Testing the limits of unsupervised learning for semantic similarity
Paralleldots, Inc.(Paralleldots 公司)
两个句子之间的语义相似度可以被定义为确定两个句子之间的相关或不相关程度的一种方法。语义相似度在分布式表示方面的任务可以被认为是生成句子嵌入(密集向量),其中考虑了句子的上下文和含义。这种嵌入可以通过多种方法产生,在本文中,我们尝试评估LSTM自动编码器来生成这些嵌入。无监督算法(具体来说是自动编码器)只是试图重新创建它们的输入,但它们可以通过创建适当的瓶颈来被迫学习顺序(以及某种程度上的内在含义)。我们试图评估仅仅在简单的英语句子上训练的算法如何正确地学习计算语义相似性,而不给它们任何句子的含义。
2017-10-23 cs.CL
RIMAX: Ranking Semantic Rhymes by calculating Definition Similarity
El Colegio de México(墨西哥学院);Polytechnique Montréal(蒙特利尔高等理工学院);Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室)
本文介绍了RIMAX,一个新的系统,用于检测语义押韵,使用墨西哥西班牙语综合词典(DEM)和押韵词典(REM)。我们使用向量空间模型来计算一个查询的定义与对应于查询的辅音和辅音韵的定义的相似度。使用人工评估的初步结果非常令人鼓舞。
2019-12-25 cs.CL
Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University(湖首大学)
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中,我们提出了一种方法,处理这个问题,将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度,所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时,它为单词和句子相似度提供了最高的相关值,优于其他类似的模型。对于单词相似度,我们得到的皮尔逊相关系数为0.8753,对于句子相似度,得到的相关系数为0.8794。
2018-02-20 cs.CL
Rethinking Crowd Sourcing for Semantic Similarity
Y-Data;Yandex;Higher School of Economics(高等经济学院)
语义相似度的估计对于各种自然语言处理(NLP)任务是至关重要的。在缺乏语义信息的一般理论的情况下,许多论文依赖于人类注释者作为语义相似性估计的基础事实的来源。本文研究了众包语义标注中固有的歧义。它表明,将语义相似性视为二元类别(两个句子相似或不相似,没有中间立场)的注释者在标注中起着最重要的作用。本文提供了过滤不可靠的注释者,并激发进一步讨论人类感知的语义相似性。
2021-09-24 cs.AI cs.CL cs.HC
Gibberish Semantics: How Good is Russian Twitter in Word Semantic Similarity Task?
SpazioDati S.r.l(SpazioDati 有限公司)
研究最多和最成功的语言模型主要是为英语和其他接近欧洲的语言,如法语,德语等开发和评估。重要的是要研究这些模型的适用性,以其他语言。最近研究了多个语料库(如Wikipedia,RuWac,lib.ru)中俄语向量空间模型的使用。这些模型进行了评价,对词的语义相似性任务。据我们所知,Twitter并没有被认为是这项任务的语料库,这项工作填补了这一空白。在Twitter语料库上训练的向量的结果与其他单语料库训练模型的准确性相当,尽管目前最好的性能是通过组合多个语料库来实现的。
2016-02-28 cs.CL
Siamese Networks for Semantic Pattern Similarity
Symanto(Symanto公司);Mainiway(Mainiway公司);Elemental Cognition(Elemental Cognition公司)
语义模式相似性是一个有趣的,但不经常遇到的NLP任务,其中两个句子不是通过它们的具体含义进行比较,而是通过它们更抽象的语义模式(例如,介词或框架)。我们利用暹罗网络模型的任务,并显示其有用性,在确定SQL模式看不见的问题,在数据库支持的问答的情况下。我们的方法实现了高精度,并包含一个内置的代理的信心,它可以用来保持精度任意高。
2018-12-17 cs.CL
Linear Transformations for Cross-lingual Semantic Textual Similarity
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术);Faculty of Applied Sciences, University of West Bohemia(西波希米亚大学应用科学学院)
跨语言语义文本相似度系统估计两个句子之间的意义相似度,每个句子都是不同的语言。最先进的算法通常采用机器翻译并结合大量的特征,使得该方法具有强监督性,资源丰富,并且难以用于资源贫乏的语言。在本文中,我们研究的线性变换,这项目单语语义空间到一个共享的空间,使用双语词典。我们提出了一种新颖的转换,它建立在以前作品的最佳想法的基础上。我们的实验与无监督技术的句子相似性的基础上,只有语义空间,我们表明,他们可以显着提高字加权。我们的转换优于其他方法,并且与单词加权一起在不同语言的多个数据集上产生了非常有希望的结果。
2018-07-11 cs.CL
The semantic similarity ensemble
University College Dublin(都柏林大学学院);University of North Carolina(北卡罗来纳大学)
地理术语之间语义相似性的计算度量为地理信息检索、数据采掘和信息集成提供了有价值的支持。迄今为止,已经设计了多种地理语义相似性方法。对相似性的判断本质上并不是对或错的,而是获得了一定程度的认知可接受性,这取决于它模仿人类行为的程度。因此,为特定任务选择最合适的衡量标准是一项重大挑战。为了解决这个问题,我们在计算相似性度量和征求领域专家意见之间进行类比,其中包含一组主观的信念、看法、假设和认识偏见。按照这种类比,我们定义的语义相似性集成(SSE)作为一个组成的不同的相似性措施,作为一个专家小组必须达成一个决定的一组地理术语的语义相似性。该方法进行评估比较,人类的判断,结果表明,SSE表现优于其部分的平均值。虽然最好的成员往往表现优于合奏,所有合奏表现优于每个合奏成员的平均表现。因此,在最好的措施是未知的情况下,合奏提供了一个更合理的认知方法。
2014-01-11 cs.CL
Learning Semantic Textual Similarity from Conversations
Google Research(谷歌研究院);Google(谷歌)
我们提出了一种新的方法来学习表示使用会话数据的会话级语义相似性。我们的方法训练一个无监督模型来预测会话输入-响应对。由此产生的句子嵌入在语义文本相似性(STS)基准和SemEval 2017的社区问答(CQA)问题相似性子任务上表现良好。通过引入结合会话输入-响应预测任务和自然语言推理任务的多任务训练,性能得到进一步提高。大量的实验表明,该模型在STS基准测试中的所有神经模型中实现了最佳性能,并且在这两项任务中与最先进的特征工程和混合系统具有竞争力。
2018-04-20 cs.CL
A Comparison of WordNet and Roget's Taxonomy for Measuring Semantic Similarity
本文介绍了使用Roget的国际主题词表作为语义相似性测量任务中的分类的结果。四个相似性度量从文献中提取并应用于Roget的实验评估表明,传统的边缘计数方法做得令人惊讶地好(与人类相似性判断的基准集的相关性为r=0.88,对于执行相同任务的人类受试者的上限为r=0.90)。
1998-09-14 cmp-lg cs.CL
MNet-Sim: A Multi-layered Semantic Similarity Network to Evaluate Sentence Similarity
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院)
相似性是一种比较主观的衡量标准,随所考虑的领域而变化。在几个NLP应用中,例如文档分类、模式识别、聊天机器人问答、情感分析等,识别句子对的准确相似性分数已经成为研究的关键领域。在现有的模型,评估相似性,有效地计算这种相似性的限制,由于中心理论的本地化,以及缺乏非语义文本比较的上下文比较已被证明是缺点。因此,本文提出了一种多层语义相似性网络模型,建立在多个相似性措施,使整体句子相似性得分的基础上的原则,网络科学,相邻加权关系边,并提出了一个扩展的节点相似性计算公式。所提出的多层网络模型进行了评估和测试,对已建立的国家的最先进的模型,并显示出更好的性能分数,在评估句子相似性。
2021-11-09 cs.CL cs.LG
Latte-Mix: Measuring Sentence Semantic Similarity with Latent Categorical Mixtures
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
使用预先训练的语言模型(如BERT)测量句子语义相似性通常会产生令人不满意的zero-shot性能,一个主要原因是无效的令牌聚合方法(如均值池)。在本文中,我们证明了贝叶斯框架下,原始的统计数据,如平均值的词嵌入之间的距离从根本上是有缺陷的,用于捕获的水平语义相似性。为了解决这个问题,我们建议学习一个分类变分自编码器(VAE)的基础上现成的预训练语言模型。从理论上证明了测量潜在类别混合体之间的距离,即Latte-Mix,可以更好地反映真实的句子语义相似度。此外,我们的贝叶斯框架提供了解释,为什么模型微调标记的句子对有更好的zero-shot性能。我们还通过经验证明,这些微调模型可以通过Latte-Mix进一步改进。我们的方法不仅在语义相似性数据集(如STS)上产生了最先进的zero-shot性能,而且还具有快速训练和内存占用小的优点。
2020-10-21 cs.CL
SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language
Urgench State University(乌尔根奇国立大学);CITIC
词与词之间的语义相关性是自然语言处理的核心概念之一,因此语义评价是一项重要的任务。在本文中,我们提出了一个语义模型评估数据集:SimRelUz -低资源乌兹别克语的词对的相似性和相关性得分的集合。该数据集由一千多对词组成,这些词是根据其形态特征、出现频率、语义关系精心挑选的,并由来自不同年龄组和性别的11位乌兹别克语母语者注释。我们还关注了处理稀有词和词汇表外词的问题,以全面评估语义模型的鲁棒性。
2022-05-12 cs.CL
The Inception Team at NSURL-2019 Task 8: Semantic Question Similarity in Arabic
Jordan University of Science and Technology(约旦科技大学)
本文介绍了我们的方法,在阿拉伯语的语义问题相似性的任务在研讨会上的NLP解决方案资源不足的语言(NSURL)。其目的是建立一个模型,能够检测所提供的数据集的阿拉伯语类似的语义问题。在这项工作中,不同的方法来确定问题的相似性进行了探讨。所提出的模型取得了较高的F1分数,范围从(88%至96%)。我们的官方最佳结果是从使用预训练的多语言BERT模型的集成模型中产生的,该模型具有不同的随机种子,F1分数为95.924%,在9个参与团队中排名第一。
2020-04-24 cs.CL
PESTS: Persian_English Cross Lingual Corpus for Semantic Textual Similarity
Iran University of Science and Technology(伊朗科技大学)
本文首次构建波斯语-英语语义文本相似度语料库 PESTS(含5375个句子对),并微调多种 transformer 模型,使 XLM ROBERTa 的 Pearson 相关系数从 85.87% 提升至 95.62%。
2024-09-05 cs.AI cs.CL
GATE: General Arabic Text Embedding for Enhanced Semantic Textual Similarity with Matryoshka Representation Learning and Hybrid Loss Training
Prince Sultan University(普森大学);Alfaisal University(阿尔法赛尔大学)
本文提出通用阿拉伯语文本嵌入模型GATE,结合Matryoshka表示学习与混合损失训练,在MTEB基准STS任务上超越OpenAI等大模型,性能提升20-25%。
2025-05-30 cs.CL
Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices
Tokyo Metropolitan University(东京都立大学);Hitotsubashi University(一桥大学);National Institute for Japanese Language and Linguistics(日本语学研究所);National Institute of Advanced Industrial Science and Technology(独立行政法人产业技术综合研究所);The Institute of Statistical Mathematics(统计数理研究所)
针对相邻时间段变化点检测不足与BERT类方法计算成本高的问题,本研究提出基于历时词相似矩阵的轻量框架,可深入分析多时段连续语义偏移,并能无监督聚类语义偏移行为相似的词语。
2025-01-17 cs.CL
Boosting the Performance of Transformer Architectures for Semantic Textual Similarity
Faculty of Electrical Engineering and Computing(电气工程与计算学院)
本文研究语义文本相似度任务,通过部分及端到端微调 BERT、RoBERTa、DeBERTaV3 cross-encoders,并融合模型输出与手工特征进行 boosting,同时分析数据集划分和预测边界误差。
2023-06-01 cs.CL
Using Single-Trial Representational Similarity Analysis with EEG to track semantic similarity in emotional word processing
Tufts University(塔夫茨大学)
脑电图(EEG)是一种功能强大的非侵入性脑成像技术,具有高时间分辨率,已广泛应用于认知科学研究的多个领域。本文将代表性相似性分析(RSA)应用于单次试验脑电数据集,并将其原理介绍给不熟悉多变量分析的脑电研究者。我们有两个不同的目标:1。我们想探索单次试验RSA在EEG数据集上的有效性; 2.我们希望利用单次试验RSA和计算语义模型来研究语义在情感词处理中的作用。我们报告两个主要的发现:1。在大量试验和受试者的情况下,EEG数据集上的单次试验RSA可以产生有意义和可解释的结果; 2.单次试验RSA揭示了在500- 800 ms时间窗口内的情绪处理与附加的语义分析相关联。
2021-10-04 cs.CL q-bio.NC
Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset
UPV/EHU University of the Basque Country(巴斯克大学)
在本文中,我们介绍了vSTS,一个新的数据集测量文本相似性的句子使用多模态信息。数据集由图像及其相应的文本标题组成。我们描述的数据集定量和定性,并声称它是一个有效的金标准,用于测量自动多模态文本相似性系统。我们还描述了初始实验结合多模态信息。
2018-09-11 cs.AI cs.CL
Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables
Jilin University(吉林大学);Monash University(莫纳什大学)
最近,离散潜变量模型在自然语言处理(NLP)和计算机视觉(CV)中受到了极大的关注,这归因于它们在表示学习中与连续对应物相当的性能,同时在预测中更具可解释性。在本文中,我们开发了一个主题知情的离散潜在变量模型的语义文本相似性,学习一个共享的潜在空间,通过矢量量化的双对表示。与以往局限于局部语义上下文的模型相比,我们的模型可以通过主题建模来挖掘更丰富的语义信息。我们进一步提高了语义相似性的性能,通过注入量化表示到一个基于transformer的语言模型与一个精心设计的语义驱动的注意力机制。我们通过在各种英语语言数据集上的广泛实验证明,我们的模型能够在语义文本相似性任务中超越几个强大的神经基线。
2022-11-07 cs.AI cs.CL
Similarity between Learning Outcomes from Course Objectives using Semantic Analysis, Blooms taxonomy and Corpus statistics
Lakehead University(湖首大学)
讲师提供的课程描述是一个重要的信息,因为它定义了对讲师的期望以及他/她在特定课程中将要提供的内容。课程描述的关键组成部分之一是学习目标部分。本节的内容由项目经理使用,他们的任务是在不同机构之间的转让协议的发展过程中比较和匹配两个不同的课程。本研究介绍了语义相似度算法的发展,以计算相同领域的两个学习目标之间的相似度。我们提出了一种新的方法,它处理的语义相似性,通过使用先前建立的算法,并将其与领域语料库利用域统计。消除歧义的域作为该算法的监督学习数据。我们还引入了Bloom指数来计算学习目标中动作动词之间的相似度,参考Bloom分类法。
2018-04-17 cs.CL
Why Not Simply Translate? A First Swedish Evaluation Benchmark for Semantic Similarity
Peltarion;RISE
本文提出了第一个瑞典语文本语义相似度的评价基准。通过Google机器翻译API简单地运行英语STS-B数据集即可编译基准。本文讨论了使用这种简单的方法来编制瑞典语评估基准的潜在问题,包括翻译错误,词汇变化和生产复合。尽管产生的数据集存在一些明显的问题,但我们使用基准测试来比较大多数现有的瑞典语文本表示,证明本地模型优于多语言模型,并且简单的单词袋表现非常好。
2020-11-29 cs.CL
Fusing Semantic, Lexical, and Domain Perspectives for Recipe Similarity Estimation
Jožef Stefan Institute(乔塞夫·斯塔芬研究所);S.Cyril and Methodius University(斯·西里尔和梅多蒂乌大学);Biotechnical Faculty(生物技术系)
本研究通过融合语义、词汇和领域视角,提出了一种食谱相似性估计方法,并通过专家评估验证了不同相似性因素的影响。
2026-03-11 cs.CL
Using Information Content to Evaluate Semantic Similarity in a Taxonomy
本文提出了一种新的衡量语义相似性的IS-A分类,信息内容的概念的基础上。实验评估表明,该指标的表现令人鼓舞(与人类相似性判断基准集的相关性为r = 0.79,执行相同任务的人类受试者的上限为r = 0.90),并且显着优于传统的边缘计数方法(r = 0.66)。
1995-11-29 cmp-lg cs.CL
Enhancing Semantic Similarity Understanding in Arabic NLP with Nested Embedding Learning
Prince Sultan University(苏丹王子大学)
本文提出基于Matryoshka嵌入学习的阿拉伯语嵌套嵌入训练框架,通过翻译构建多数据集评估体系,实验表明其语义相似度性能较传统模型提升20-25%。
2024-08-01 cs.CL
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut(贝鲁特美国大学)
该研究提出增强版AraBERT(SAraBERT)及语义连体相似度评估指标,通过BLEU、ROUGE等验证,证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Similarity of Semantic Relations
至少有两种相似之处。关系相似性是关系之间的对应关系,而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时,我们称之为同义词。当两对词具有高度的关系相似性时,我们说它们的关系是相似的。例如,单词对mason:stone类似于单词对carpenter:wood。本文介绍了潜在关系分析(LRA),一种测量关系相似性的方法。LRA在信息抽取、词义消歧、信息检索等领域有着广泛的应用前景。最近的向量空间模型(VSM)的信息检索已被用来衡量关系的相似性,取得了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中,一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法:(1)从语料库自动导出模式,(2)使用奇异值分解(SVD)来平滑频率数据,以及(3)自动生成的同义词用于探索单词对的变化。LRA在374个类比问题上的得分为56%,在统计学上相当于人类的平均得分57%。在分类语义关系的相关问题上,LRA比VSM获得了类似的收益。
2006-08-25 cs.CL cs.IR cs.LG
Bridging Natural Language Processing and Psycholinguistics: computationally grounded semantic similarity datasets for Basque and Spanish
本文构建了融合语料库与知识库的巴斯克语及欧洲西班牙语言语相似性数据集,通过心理语言学特征控制名词对并提供文本、Wordnet和混合嵌入三类相似性度量。
2023-04-20 cs.CL
Syntax is from Mars while Semantics from Venus! Insights from Spectral Analysis of Distributional Similarity Networks
Microsoft/Powerset(微软/Powerset);Microsoft Research Lab India(微软印度研究院);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本文利用谱分析技术研究了英语句法语义分布相似性网络的全局拓扑结构。我们观察到,虽然句法网络有一个层次结构与强大的社区和他们的混合物,语义网络有几个紧密结合的社区随着一个大的核心,没有任何这样的定义明确的社区结构。
2009-06-08 cs.CL physics.data-an
Multi-Label Transfer Learning for Multi-Relational Semantic Similarity
University of Michigan(密歇根大学)
多关系语义相似度数据集以多种方式定义两个短文本之间的语义关系,例如,相似性、相关性等等。然而,迄今为止,所有旨在捕捉这些关系的系统每次都只针对一个关系。我们提出了一种基于LSTM的多标签迁移学习方法,可以同时对多个关系进行预测,并汇总损失以更新参数。这种多标签回归方法联合学习多个关系提供的信息,而不是将它们视为单独的任务。这种方法不仅优于单任务方法和传统的多任务学习方法,而且在人类活动短语数据集的所有关系上都达到了最先进的性能。
2019-04-10 cs.CL