DySem: Uncovering Dynamic Semantic Components of Large Language Models for Calculating Semantic Textual Similarity
College of Computer Science and Software Engineering(计算机科学与软件工程学院)
提出DySem框架,通过多语言共识提取大语言模型中与语义更相关的内部组件,并构建文本相关的联合语义集实现动态维度相似度计算,无需训练且性能优于基线。
2026-09-29 cs.CL
CompiLIG at SemEval-2017 Task 1: Cross-Language Plagiarism Detection Methods for Semantic Textual Similarity
Compilatio;Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
我们在SemEval-2017上展示了我们提交的语义文本相似性(STS)Track 4系统。给定一对西班牙语-英语句子,每个系统必须通过0到5之间的分数来估计它们的语义相似性。在我们的提交中,我们使用基于语法,基于字典,基于上下文和基于MT的方法。我们还将这些方法以无监督和有监督的方式结合起来。我们的最佳运行在轨道4a上排名第一,与人类注释的相关性为83.02%。
2017-04-05 cs.CL
Introducing two Vietnamese Datasets for Evaluating Semantic Models of (Dis-)Similarity and Relatedness
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
我们为低资源语言越南语提出了两个新的数据集,以评估语义相似性模型:ViCon包括跨词类的同义词和反义词对,从而提供区分相似性和不相似性的数据。ViSim-400提供了五种语义关系的相似度,由人类法官评定。这两个数据集通过标准的共现和神经网络模型进行了验证,显示出与相应的英语数据集相当的结果。
2018-04-19 cs.CL
Direct Network Transfer: Transfer Learning of Sentence Embeddings for Semantic Similarity
University of Michigan(密歇根大学)
句子编码器使用神经网络产生句子嵌入,通常通过它们如何很好地传输到下游任务来评估。这包括语义相似性,这是自然语言理解中的一项重要任务。尽管已经有很多工作致力于构建句子编码器,但伴随的迁移学习技术却相对较少受到关注。在本文中,我们提出了一个专门用于语义相似性的迁移学习设置,我们称之为直接网络迁移。通过在几个标准文本相似性数据集上的实验,我们表明,将直接网络传输应用于现有编码器可以获得最先进的性能。此外,我们比较了几种将句子编码器转移到语义相似性任务的方法,表明迁移学习设置的选择在许多情况下会极大地影响性能,并且因编码器和数据集而异。
2018-10-31 cs.CL
Improving Correlation with Human Judgments by Integrating Semantic Similarity with Second--Order Vectors
Virginia Commonwealth University(弗吉尼亚联邦大学);University of Minnesota(明尼苏达大学)
向量空间方法,测量语义相似性和相关性往往依赖于分布信息,如同现频率或统计措施的关联加权的重要性,特别是同现。在本文中,我们扩展这些方法,将一个衡量的语义相似性的基础上,人类策划的分类到一个二阶向量表示。这导致在一个语义相关性的措施,结合了上下文信息,在一个基于语料库的向量空间表示与语义知识中发现的生物医学本体。我们的研究结果表明,将语义相似性纳入二阶共现矩阵提高了与人类判断的相似性和相关性的相关性,并且我们的方法与最近在我们使用的相同参考标准上进行评估的各种不同的词嵌入方法相比毫不逊色。
2017-05-27 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);Universidade Federal do Ceará(塞阿拉联邦大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文,使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息,并改进句子之间相似度的计算。我们的模型已经取得了良好的效果,是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
A Novel Comprehensive Approach for Estimating Concept Semantic Similarity in WordNet
Zhejiang University(浙江大学);Tarim University(塔里木大学);Princeton University(普林斯顿大学)
概念间语义相似度的计算是许多研究工作的重要基础。本文重点研究了概念相似度计算方法和概念相似度度量,即利用分类法的拓扑参数来估计概念之间的语义相似度。在分析了典型的语义相似度计算方法和典型的语义相似度度量方法的基础上,提出了一种新的混合语义相似度计算方法。通过引入参数dhyp和lch,利用新的概念间相似度计算方法,提出了一种新的概念间语义相似度的综合度量方法。基于WordNet“is a”分类法,在基准数据集R&G上进行了实验,结果表明该方法能明显提高相似度的准确性。我们评估所提出的方法,通过比较五个措施和人工数据之间的相关系数。结果表明,我们的建议优于以前的措施。
2017-03-06 cs.CL
Testing the limits of unsupervised learning for semantic similarity
Paralleldots, Inc.(Paralleldots 公司)
两个句子之间的语义相似度可以被定义为确定两个句子之间的相关或不相关程度的一种方法。语义相似度在分布式表示方面的任务可以被认为是生成句子嵌入(密集向量),其中考虑了句子的上下文和含义。这种嵌入可以通过多种方法产生,在本文中,我们尝试评估LSTM自动编码器来生成这些嵌入。无监督算法(具体来说是自动编码器)只是试图重新创建它们的输入,但它们可以通过创建适当的瓶颈来被迫学习顺序(以及某种程度上的内在含义)。我们试图评估仅仅在简单的英语句子上训练的算法如何正确地学习计算语义相似性,而不给它们任何句子的含义。
2017-10-23 cs.CL
RIMAX: Ranking Semantic Rhymes by calculating Definition Similarity
El Colegio de México(墨西哥学院);Polytechnique Montréal(蒙特利尔高等理工学院);Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室)
本文介绍了RIMAX,一个新的系统,用于检测语义押韵,使用墨西哥西班牙语综合词典(DEM)和押韵词典(REM)。我们使用向量空间模型来计算一个查询的定义与对应于查询的辅音和辅音韵的定义的相似度。使用人工评估的初步结果非常令人鼓舞。
2019-12-25 cs.CL
Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University(湖首大学)
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中,我们提出了一种方法,处理这个问题,将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度,所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时,它为单词和句子相似度提供了最高的相关值,优于其他类似的模型。对于单词相似度,我们得到的皮尔逊相关系数为0.8753,对于句子相似度,得到的相关系数为0.8794。
2018-02-20 cs.CL
Gibberish Semantics: How Good is Russian Twitter in Word Semantic Similarity Task?
SpazioDati S.r.l(SpazioDati 有限公司)
研究最多和最成功的语言模型主要是为英语和其他接近欧洲的语言,如法语,德语等开发和评估。重要的是要研究这些模型的适用性,以其他语言。最近研究了多个语料库(如Wikipedia,RuWac,lib.ru)中俄语向量空间模型的使用。这些模型进行了评价,对词的语义相似性任务。据我们所知,Twitter并没有被认为是这项任务的语料库,这项工作填补了这一空白。在Twitter语料库上训练的向量的结果与其他单语料库训练模型的准确性相当,尽管目前最好的性能是通过组合多个语料库来实现的。
2016-02-28 cs.CL
Siamese Networks for Semantic Pattern Similarity
Symanto(Symanto公司);Mainiway(Mainiway公司);Elemental Cognition(Elemental Cognition公司)
语义模式相似性是一个有趣的,但不经常遇到的NLP任务,其中两个句子不是通过它们的具体含义进行比较,而是通过它们更抽象的语义模式(例如,介词或框架)。我们利用暹罗网络模型的任务,并显示其有用性,在确定SQL模式看不见的问题,在数据库支持的问答的情况下。我们的方法实现了高精度,并包含一个内置的代理的信心,它可以用来保持精度任意高。
2018-12-17 cs.CL
Linear Transformations for Cross-lingual Semantic Textual Similarity
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术);Faculty of Applied Sciences, University of West Bohemia(西波希米亚大学应用科学学院)
跨语言语义文本相似度系统估计两个句子之间的意义相似度,每个句子都是不同的语言。最先进的算法通常采用机器翻译并结合大量的特征,使得该方法具有强监督性,资源丰富,并且难以用于资源贫乏的语言。在本文中,我们研究的线性变换,这项目单语语义空间到一个共享的空间,使用双语词典。我们提出了一种新颖的转换,它建立在以前作品的最佳想法的基础上。我们的实验与无监督技术的句子相似性的基础上,只有语义空间,我们表明,他们可以显着提高字加权。我们的转换优于其他方法,并且与单词加权一起在不同语言的多个数据集上产生了非常有希望的结果。
2018-07-11 cs.CL
The semantic similarity ensemble
University College Dublin(都柏林大学学院);University of North Carolina(北卡罗来纳大学)
地理术语之间语义相似性的计算度量为地理信息检索、数据采掘和信息集成提供了有价值的支持。迄今为止,已经设计了多种地理语义相似性方法。对相似性的判断本质上并不是对或错的,而是获得了一定程度的认知可接受性,这取决于它模仿人类行为的程度。因此,为特定任务选择最合适的衡量标准是一项重大挑战。为了解决这个问题,我们在计算相似性度量和征求领域专家意见之间进行类比,其中包含一组主观的信念、看法、假设和认识偏见。按照这种类比,我们定义的语义相似性集成(SSE)作为一个组成的不同的相似性措施,作为一个专家小组必须达成一个决定的一组地理术语的语义相似性。该方法进行评估比较,人类的判断,结果表明,SSE表现优于其部分的平均值。虽然最好的成员往往表现优于合奏,所有合奏表现优于每个合奏成员的平均表现。因此,在最好的措施是未知的情况下,合奏提供了一个更合理的认知方法。
2014-01-11 cs.CL
Learning Semantic Textual Similarity from Conversations
Google Research(谷歌研究院);Google(谷歌)
我们提出了一种新的方法来学习表示使用会话数据的会话级语义相似性。我们的方法训练一个无监督模型来预测会话输入-响应对。由此产生的句子嵌入在语义文本相似性(STS)基准和SemEval 2017的社区问答(CQA)问题相似性子任务上表现良好。通过引入结合会话输入-响应预测任务和自然语言推理任务的多任务训练,性能得到进一步提高。大量的实验表明,该模型在STS基准测试中的所有神经模型中实现了最佳性能,并且在这两项任务中与最先进的特征工程和混合系统具有竞争力。
2018-04-20 cs.CL
Latte-Mix: Measuring Sentence Semantic Similarity with Latent Categorical Mixtures
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
使用预先训练的语言模型(如BERT)测量句子语义相似性通常会产生令人不满意的zero-shot性能,一个主要原因是无效的令牌聚合方法(如均值池)。在本文中,我们证明了贝叶斯框架下,原始的统计数据,如平均值的词嵌入之间的距离从根本上是有缺陷的,用于捕获的水平语义相似性。为了解决这个问题,我们建议学习一个分类变分自编码器(VAE)的基础上现成的预训练语言模型。从理论上证明了测量潜在类别混合体之间的距离,即Latte-Mix,可以更好地反映真实的句子语义相似度。此外,我们的贝叶斯框架提供了解释,为什么模型微调标记的句子对有更好的zero-shot性能。我们还通过经验证明,这些微调模型可以通过Latte-Mix进一步改进。我们的方法不仅在语义相似性数据集(如STS)上产生了最先进的zero-shot性能,而且还具有快速训练和内存占用小的优点。
2020-10-21 cs.CL
SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language
Urgench State University(乌尔根奇国立大学);CITIC
词与词之间的语义相关性是自然语言处理的核心概念之一,因此语义评价是一项重要的任务。在本文中,我们提出了一个语义模型评估数据集:SimRelUz -低资源乌兹别克语的词对的相似性和相关性得分的集合。该数据集由一千多对词组成,这些词是根据其形态特征、出现频率、语义关系精心挑选的,并由来自不同年龄组和性别的11位乌兹别克语母语者注释。我们还关注了处理稀有词和词汇表外词的问题,以全面评估语义模型的鲁棒性。
2022-05-12 cs.CL
The Inception Team at NSURL-2019 Task 8: Semantic Question Similarity in Arabic
Jordan University of Science and Technology(约旦科技大学)
本文介绍了我们的方法,在阿拉伯语的语义问题相似性的任务在研讨会上的NLP解决方案资源不足的语言(NSURL)。其目的是建立一个模型,能够检测所提供的数据集的阿拉伯语类似的语义问题。在这项工作中,不同的方法来确定问题的相似性进行了探讨。所提出的模型取得了较高的F1分数,范围从(88%至96%)。我们的官方最佳结果是从使用预训练的多语言BERT模型的集成模型中产生的,该模型具有不同的随机种子,F1分数为95.924%,在9个参与团队中排名第一。
2020-04-24 cs.CL
GATE: General Arabic Text Embedding for Enhanced Semantic Textual Similarity with Matryoshka Representation Learning and Hybrid Loss Training
Prince Sultan University(普森大学);Alfaisal University(阿尔法赛尔大学)
本文提出通用阿拉伯语文本嵌入模型GATE,结合Matryoshka表示学习与混合损失训练,在MTEB基准STS任务上超越OpenAI等大模型,性能提升20-25%。
2025-05-30 cs.CL
Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices
Tokyo Metropolitan University(东京都立大学);Hitotsubashi University(一桥大学);National Institute for Japanese Language and Linguistics(日本语学研究所);National Institute of Advanced Industrial Science and Technology(独立行政法人产业技术综合研究所);The Institute of Statistical Mathematics(统计数理研究所)
针对相邻时间段变化点检测不足与BERT类方法计算成本高的问题,本研究提出基于历时词相似矩阵的轻量框架,可深入分析多时段连续语义偏移,并能无监督聚类语义偏移行为相似的词语。
2025-01-17 cs.CL
Boosting the Performance of Transformer Architectures for Semantic Textual Similarity
Faculty of Electrical Engineering and Computing(电气工程与计算学院)
本文研究语义文本相似度任务,通过部分及端到端微调 BERT、RoBERTa、DeBERTaV3 cross-encoders,并融合模型输出与手工特征进行 boosting,同时分析数据集划分和预测边界误差。
2023-06-01 cs.CL
Similarity between Learning Outcomes from Course Objectives using Semantic Analysis, Blooms taxonomy and Corpus statistics
Lakehead University(湖首大学)
讲师提供的课程描述是一个重要的信息,因为它定义了对讲师的期望以及他/她在特定课程中将要提供的内容。课程描述的关键组成部分之一是学习目标部分。本节的内容由项目经理使用,他们的任务是在不同机构之间的转让协议的发展过程中比较和匹配两个不同的课程。本研究介绍了语义相似度算法的发展,以计算相同领域的两个学习目标之间的相似度。我们提出了一种新的方法,它处理的语义相似性,通过使用先前建立的算法,并将其与领域语料库利用域统计。消除歧义的域作为该算法的监督学习数据。我们还引入了Bloom指数来计算学习目标中动作动词之间的相似度,参考Bloom分类法。
2018-04-17 cs.CL
Why Not Simply Translate? A First Swedish Evaluation Benchmark for Semantic Similarity
Peltarion;RISE
本文提出了第一个瑞典语文本语义相似度的评价基准。通过Google机器翻译API简单地运行英语STS-B数据集即可编译基准。本文讨论了使用这种简单的方法来编制瑞典语评估基准的潜在问题,包括翻译错误,词汇变化和生产复合。尽管产生的数据集存在一些明显的问题,但我们使用基准测试来比较大多数现有的瑞典语文本表示,证明本地模型优于多语言模型,并且简单的单词袋表现非常好。
2020-11-29 cs.CL
Fusing Semantic, Lexical, and Domain Perspectives for Recipe Similarity Estimation
Jožef Stefan Institute(乔塞夫·斯塔芬研究所);S.Cyril and Methodius University(斯·西里尔和梅多蒂乌大学);Biotechnical Faculty(生物技术系)
本研究通过融合语义、词汇和领域视角,提出了一种食谱相似性估计方法,并通过专家评估验证了不同相似性因素的影响。
2026-03-11 cs.CL
Semantic similarity prediction is better than other semantic similarity measures
University of Passau(帕绍大学)
本文提出 STSScore,通过在 GLUE 的 STS-B 任务上微调模型直接预测语义相似度,证明其比 BLEU、BERTScore 和 S-BERT 等度量更符合鲁棒相似度预期。
2024-01-17 cs.CL cs.LG
Enhancing Semantic Similarity Understanding in Arabic NLP with Nested Embedding Learning
Prince Sultan University(苏丹王子大学)
本文提出基于Matryoshka嵌入学习的阿拉伯语嵌套嵌入训练框架,通过翻译构建多数据集评估体系,实验表明其语义相似度性能较传统模型提升20-25%。
2024-08-01 cs.CL
Bridging Natural Language Processing and Psycholinguistics: computationally grounded semantic similarity datasets for Basque and Spanish
本文构建了融合语料库与知识库的巴斯克语及欧洲西班牙语言语相似性数据集,通过心理语言学特征控制名词对并提供文本、Wordnet和混合嵌入三类相似性度量。
2023-04-20 cs.CL
Multi-Label Transfer Learning for Multi-Relational Semantic Similarity
University of Michigan(密歇根大学)
多关系语义相似度数据集以多种方式定义两个短文本之间的语义关系,例如,相似性、相关性等等。然而,迄今为止,所有旨在捕捉这些关系的系统每次都只针对一个关系。我们提出了一种基于LSTM的多标签迁移学习方法,可以同时对多个关系进行预测,并汇总损失以更新参数。这种多标签回归方法联合学习多个关系提供的信息,而不是将它们视为单独的任务。这种方法不仅优于单任务方法和传统的多任务学习方法,而且在人类活动短语数据集的所有关系上都达到了最先进的性能。
2019-04-10 cs.CL
Unsupervised discovery of morphologically related words based on orthographic and semantic similarity
我们提出了一个算法,以一个未注释的语料库作为输入,并返回一个排名列表的可能形态相关的对作为其输出。该算法试图发现形态相关的对,通过寻找对都是正字法和语义相似,其中正字法的相似性是衡量的最小编辑距离,和语义相似性是衡量的互信息。该过程不依赖于词素连接模型,也不依赖于单词子串的分布特性(如词缀频率)。德语和英语输入的实验给出了令人鼓舞的结果,无论是在精度方面(在不同的截止点的排名列表中发现的好对的比例),并在定性分析的算法发现的形态模式的类型。
2002-05-08 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Siemens AG(西门子股份公司)
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性(STS)的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法,包括降维(Yin和Schütze,2016)、广义典型相关分析(Rastogi等人,2015)和交叉视图自动编码器(Bollegala和Bao,2018)。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平(SoTA),与单源系统相比,Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Lexical semantics enhanced neural word embeddings
Shandong Jianzhu University(山东建筑大学)
当前自然语言处理的突破极大地受益于神经语言模型,通过该模型,分布式语义可以利用神经数据表示来促进下游应用。由于神经嵌入使用上下文预测来产生密集向量,因此它们不可避免地倾向于捕获比语义相似性更多的语义关联。为了改进向量空间模型在推导语义相似度方面的性能,我们通过深度度量学习对神经词嵌入进行后处理,通过深度度量学习,我们可以将包括同义/反义和上下义关系在内的词汇语义关系注入到分布空间中。我们引入层次拟合,一种新的语义专业化的方法来建模语义相似性的细微差别固有地存储在IS-A层次结构。层次拟合在常用词和稀有词基准数据集上获得了最先进的结果,用于从神经词嵌入中获得语义相似性。它还采用了一个不对称的距离函数来明确地专门化上位词的方向性,通过它显着提高香草嵌入在多个评价任务中检测上位词和方向性,而不会对语义相似性判断产生负面影响。结果表明,层次拟合在后期融合中专门化具有语义关系的神经嵌入的有效性,潜在地扩展了其适用性,以聚合异构数据和各种知识资源,用于学习多模态语义空间。
2022-10-03 cs.CL
CORD19STS: COVID-19 Semantic Textual Similarity Dataset
USC Information Sciences Institute(南加州大学信息科学研究所)
为了对抗COVID-19大流行,社会可以从各种自然语言处理应用中受益,例如对话医疗诊断系统和专门针对COVID-19校准的信息检索引擎。这些应用程序依赖于测量语义文本相似性(STS)的能力,使得STS成为一项基本任务,可以使几个下游应用程序受益。然而,现有的STS数据集和模型无法将其性能转化为特定领域的环境,如COVID-19。为了克服这一差距,我们引入了CORD 19 STS数据集,其中包括从COVID-19开放研究数据集(CORD-19)挑战中收集的13,710个注释句子对。具体来说,我们使用不同的采样策略生成了100万个句子对。然后,我们使用了一个微调的BERT类语言模型,我们称之为Sen-SCI-CORD 19-BERT,来计算句子对之间的相似性得分,以提供一个关于不同语义相似性水平的平衡数据集,这给了我们总共32 K个句子对。每个句子对都由五个Amazon Mechanical Turk(AMT)人群工作人员进行注释,其中标签表示句子对之间不同的语义相似性级别(即相关,有点相关和不相关)。在采用严格的资格任务来验证收集的注释后,我们最终的CORD 19 STS数据集包括13,710个句子对。
2020-11-02 cs.CL
Specializing Unsupervised Pretraining Models for Word-Level Semantic Similarity
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
无监督预训练模型已被证明可以促进广泛的下游NLP应用。然而,这些模型保留了传统静态词嵌入的一些局限性。特别是,它们只编码原始文本语料库中可用的分布知识,通过语言建模目标合并。在这项工作中,我们补充这样的分布知识与外部词汇知识,也就是说,我们集成的离散知识词级语义相似度的预训练。为此,我们将标准的BERT模型推广到多任务学习环境中,在该环境中,我们将BERT的掩蔽语言建模和下一个句子预测目标与二进制词关系分类的辅助任务相结合。我们的实验表明,我们的“词汇知情”BERT(LIBERT),专门为词级语义相似性,产生更好的性能比词汇盲“香草”BERT在几个语言理解任务。具体地说,LIBERT在GLUE基准测试的10个任务中有9个优于BERT,在剩下的一个任务中与BERT不相上下。此外,我们在词汇简化的3个基准上显示出一致的收益,这是一项关于单词级语义相似性的知识至关重要的任务。
2020-04-20 cs.CL
Effects of High-Order Co-occurrences on Word Semantic Similarities
Laboratoire Leibniz-IMAG(莱布尼茨-IMAG实验室);CNRS(法国国家科学研究中心);L.P.C(语言与沟通实验室);Université de Provence(普罗旺斯大学)
建立了一个通过文本构建词义的计算模型,内置的逐段模拟共现值对词义相似度的影响。语义相似性在这里被视为关联。结果表明,两个词W1和W2之间的相似性随着同现而强烈增加,随着W1没有W2或W2没有W1的出现而降低,并且随着高阶同现而略微增加。因此,将相似性操作化为共现频率可能会引入偏差:首先,有些情况下存在相似性而没有共现,其次,共现频率高估了相似性。
2008-04-01 cs.CL
Evaluation of taxonomic and neural embedding methods for calculating semantic similarity
Shandong Jianzhu University(山东建筑大学)
语义相似度建模在词汇语义应用中起着基础性作用。计算语义相似度的一种自然方法是访问手工制作的语义网络,但相似度预测也可以在分布式向量空间中进行。相似度计算仍然是一项具有挑战性的任务,即使在深度神经语言模型方面取得了最新突破。我们首先研究了流行的方法在测量分类相似性,包括边计数,只采用语义关系的分类,以及复杂的方法,估计概念的特异性。我们进一步外推三个加权因子在建模分类相似性。为了研究分类相似性度量和分布相似性度量之间的不同机制,我们从词频、多义度和相似性强度的角度将每种度量与人类相似性判断进行了头对头比较。我们的研究结果表明,分类相似性度量方法可以在不对均匀距离进行微调的情况下,以最短路径长度作为预测语义相似性的主要因素;与分布语义学相比,边计数方法在使用中不受意义分布的影响,可以同时从字面和隐喻两个方面来度量词的相似性;在相似性预测中利用概念关系来改进神经嵌入的协同作用可以指示在迁移学习上利用知识库的新趋势。不同的词频、多义度和相似度范围在计算语义相似度方面还存在很大的差距。
2022-09-30 cs.AI cs.CL
Semantic sentence similarity: size does not always matter
Radboud University(拉德堡德大学)
这项研究解决了这个问题是否视觉接地语音识别(VGS)模型学习捕捉句子语义,而无需访问任何先前的语言知识。我们生产的合成和自然口语版本的一个著名的语义文本相似性数据库,并表明我们的VGS模型产生的嵌入,以及与人类的语义相似性判断。我们的研究结果表明,在小型图像标题数据库上训练的模型优于在更大数据库上训练的两个模型,这表明数据库大小并不是唯一重要的。我们还研究了每张图像有多个字幕的重要性,并发现即使图像的总数较低,这确实是有帮助的,这表明释义是一个有价值的学习信号。虽然该领域的总趋势是创建越来越大的数据集来训练模型,但我们的研究结果表明,数据库的其他特征也同样重要。
2021-06-16 cs.CL
SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation
Google Research(谷歌研究院);George Washington University(乔治华盛顿大学);University of the Basque Country(巴斯克大学);University of Sheffield(谢菲尔德大学)
语义文本相似度(STS)是衡量句子之间的语义相似度的指标。应用包括机器翻译(MT)、摘要、生成、问答(QA)、简短回答分级、语义搜索、对话和会话系统。STS共享任务是评估当前最先进技术的场所。2017年的任务侧重于多语言和跨语言对,其中一个子轨道探索MT质量估计(MTQE)数据。这项任务得到了31个小组的大力参与,其中17个小组参加了所有语文轨道。我们总结性能和审查的选择表现良好的方法。分析突出了常见的错误,深入了解现有模型的局限性。为了支持正在进行的语义表示工作,STS基准被引入作为一个新的共享训练和评估集,该集是从英语STS共享任务数据(2012-2017)的语料库中精心挑选出来的。
2017-07-31 cs.CL
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University(卡内基梅隆大学)
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务,但尚未得到充分探讨,主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据,但是这样的流水线方法遭受错误传播。在这项工作中,我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外,我们发现,以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
Texts in, meaning out: neural language models in semantic similarity task for Russian
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学);Mail.ru Group(Mail.ru集团)
自然语言词汇的分布式向量表示在当代计算语言学中得到了广泛的关注。本文总结了将神经网络语言模型应用于俄语语义相似度计算的经验。实验是在俄语语义相似度评估轨道的过程中进行的,根据任务的不同,我们的模型从第二位到第五位。我们介绍所使用的工具和语料库,评论的性质的共享任务,并描述所取得的成果。研究发现,以前成功应用于英语材料的连续跳跃语法和连续词袋模型也可以用于俄语的语义建模。此外,我们表明,在俄罗斯国家语料库(RNC)的文本提供了一个很好的培训材料,这种模式,优于其他更大的语料库。对于语义相关性任务尤其如此(尽管在RNC模型之上堆叠在较大语料库上训练的模型可以更好地提高性能)。以这种方式学习的高质量语义向量可以用于各种语言任务,并为进一步研究提供了一个令人兴奋的领域。
2015-04-30 cs.CL
Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
虽然大多数神经机器翻译(NMT)系统仍然使用最大似然估计进行训练,但最近的工作表明,优化系统以直接改善BLEU等评估指标可以大大提高最终的翻译准确性。然而,使用BLEU进行训练有一些局限性:它不分配部分信用,它的输出值范围有限,并且如果它们在词汇上与参考不同,它可能会惩罚语义正确的假设。在本文中,我们介绍了一种替代的奖励函数优化NMT系统,是基于最近的工作,语义相似性。我们对翻译成英语的四种不同语言进行了评估,发现使用我们提出的指标进行训练可以获得更好的翻译,如BLEU,语义相似性和人类评估,并且优化过程收敛得更快。分析表明,这是因为所提出的指标更有利于优化,分配部分信用,并提供更多的分数比BLEU的多样性。
2019-09-14 cs.CL
A Resource-Light Method for Cross-Lingual Semantic Textual Similarity
University of Mannheim(曼海姆大学);Symanto Research;Universitat Politècnica de València(瓦伦西亚理工大学)
识别跨语言语义相似的句子或段落对于许多任务都是有益的,从跨语言信息检索和剽窃检测到机器翻译。然而,最近提出的用于预测短文本的跨语言语义相似性的方法利用工具和资源(例如,机器翻译系统、句法分析器或命名实体识别),这些对于许多语言(或语言对)来说是不存在的。相比之下,我们提出了一个无监督的和一个非常资源轻的方法来测量不同语言的文本之间的语义相似性。为了在双语(或多语言)空间中操作,我们投影连续的词向量(即,词嵌入)经由线性翻译模型从一种语言到另一种语言的向量空间。然后,我们根据双语嵌入空间中的向量的相似性对齐单词,并研究利用双语嵌入和单词对齐的语义相似性的不同无监督措施。只需要一个有限大小的一组语言之间的单词翻译对,所提出的方法是适用于几乎任何一对语言,其中存在一个足够大的语料库,需要学习单语词嵌入。在三个不同的数据集上测量语义文本相似性的实验结果表明,我们简单的资源轻方法达到了接近监督和资源密集型方法的性能,在不同的语言对中显示出稳定性。此外,我们评估所提出的方法上的两个外在的任务,即从可比语料库和跨语言剽窃检测平行句子的提取,并表明它产生的性能相媲美的复杂的资源密集型国家的最先进的模型为各自的任务。
2018-01-19 cs.CL
NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom
Universidade Federal de Sergipe - UFS(塞尔希培联邦大学)
本研究针对大规模完形填空测试的实施挑战,提出利用NLP中的词嵌入模型评估答案语义相似度的自动纠正方法,发现GloVe模型与人工评委评估相关性最高,为教育评估提供了更高效的阅读能力评估途径。
2024-11-02 cs.CL
Evaluating Multimodal Representations on Visual Semantic Textual Similarity
University of the Basque Country(巴斯克大学)
视觉和文本表示的组合在诸如图像描述和视觉问答等任务中产生了出色的结果,但多模态表示的推理能力在很大程度上未经测试。在文本表示的情况下,推理任务,如文本蕴涵和语义文本相似性经常被用来衡量文本表示的质量。我们研究的长期目标是设计多模态表示技术,提高当前的推理能力。因此,我们提出了一个新的任务,视觉语义文本相似性(vSTS),这样的推理能力可以直接测试。给定两个项目,每个项目由一个图像及其附带的标题组成,vSTS系统需要评估上下文中的标题在语义上彼此等同的程度。我们使用简单的多模态表示的实验表明,除了图像表示产生更好的推理,相比纯文本表示。当直接计算两个项目的表示之间的相似性时,以及当学习基于vSTS训练数据的连体网络时,都观察到改进。我们的工作表明,第一次,成功的视觉信息的文本推理的贡献,有足够的空间基准更复杂的多模态表示选项。
2020-04-04 cs.CL
Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics
HKUST(香港科技大学);Tsinghua University(清华大学)
句子文本相似性度量(STS)是一个经典的任务,可以应用于许多下游NLP应用,如文本生成和检索。在本文中,我们专注于无监督STS工作在不同的领域,但只需要最少的数据和计算资源。在理论上,我们提出了一个轻加权的期望校正(EC)制定STS计算。EC公式化统一了无监督STS方法,包括附加成分(AC)句子嵌入,最优传输(OT)和树核(TK)的余弦相似性。此外,我们提出了递归最优传输相似度(ROTS)算法来捕捉组成短语的语义组成多个递归EC配方。ROTS在线性时间内完成,比它的前辈更快。ROTS在经验上比以前的方法更有效和可扩展。在各种设置下的29个STS任务上的广泛实验表明,ROTS比现有的方法具有明显的优势。详细的消融研究证明了我们方法的有效性。
2022-10-05 cs.CL
'Tis but Thy Name: Semantic Question Answering Evaluation with 11M Names for 1M Entities
The Nueva School(努埃瓦学校)
经典的基于词汇匹配的QA指标正在慢慢地被淘汰,因为它们惩罚简洁或信息丰富的输出,只是因为这些答案没有作为基础事实提供。最近提出的神经指标可以评估语义相似性,但训练的小文本相似性数据集嫁接从外国领域。我们介绍维基实体相似性(WES)数据集,一个11M的例子,领域为目标,语义实体相似性数据集,是从维基百科中的链接文本生成的。WES是为QA评估量身定制的:示例是实体和短语,并被分组为语义集群以模拟多个地面实况标签。人类注释者一致同意WES标签,并且基本的交叉编码器度量在预测人类正确性判断方面优于四个经典度量。
2022-02-28 cs.CL
Semantically-informed distance and similarity measures for paraphrase plagiarism identification
Instituto Nacional de Astrofísica, Óptica y Electrónica(国家天体物理、光学与电子研究所);Symanto Research(Symanto研究中心);Universidad Autónoma Metropolitana Unidad Cuajimalpa(墨西哥自治都市大学夸希马尔帕校区);PRHLT Research Center Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心)
由于剽窃文本是通过几种改写技术故意修改的,因此释义剽窃识别是一项非常复杂的任务。因此,本文介绍了两个新的措施来评估两个给定的文本的相关性:语义知情的相似性度量和语义知情的编辑距离。这两种措施都能够从外部资源或单词的分布式表示中提取语义信息,从而产生用于训练用于检测释义剽窃的监督分类器的信息特征。实验结果表明,所提出的度量方法在检测不同类型的释义剽窃方面效果良好。此外,结果是非常有竞争力的国家的最先进的方法,具有代表一个更简单,但同样有效的解决方案的优势。
2018-05-29 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术学院(JAIST));Toshiba Research & Development Center, Japan(日本东芝研发中心)
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型(M-MaxLSTM-CNN),用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词,从而生成新颖的句子嵌入。然后,我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能(即,测量文本相似性、识别释义、识别文本蕴涵)。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果,M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能(例如,对齐特征、Ngram重叠、依赖性特征),并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Retrofitting Concept Vector Representations of Medical Concepts to Improve Estimates of Semantic Similarity and Relatedness
The University of Texas School of Biomedical Informatics at Houston(德克萨斯大学休斯顿生物医学信息学院);College of Computer and Information Science, Northeastern University(东北大学计算机与信息科学学院)
生物医学概念之间的语义相似性和相关性的估计对于许多信息学应用具有实用性。自动化方法分为两类:基于从文本语料库中提取的分布统计数据的方法,以及使用现有知识资源结构的方法。前一类的方法不考虑分类结构,而后者的方法不考虑语义相关的经验信息。在本文中,我们提出了一种使用UMLS元词典中的结构信息来改造生物医学概念的分布式上下文向量表示的方法,以便增强链接概念的向量表示之间的相似性。我们在UMNSRS基准上对其进行了评估。我们的研究结果表明,概念向量表示的改造导致更好的相关性与人类评分的相似性和相关性,超过了迄今为止报道的最佳结果。他们还证明了一个明显的改进性能的参考标准,改造矢量表示,相比那些没有改造。
2017-09-21 cs.CL
Explainable Semantic Textual Similarity via Dissimilar Span Detection
School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出不相似跨度检测任务,旨在识别文本对中语义不同的跨度,以提高语义文本相似性任务的可解释性,并通过新数据集和基线方法评估,显示其在同义词检测中的提升效果。
2026-03-22 cs.CL
A Comparison of WordNet and Roget's Taxonomy for Measuring Semantic Similarity
本文介绍了使用Roget的国际主题词表作为语义相似性测量任务中的分类的结果。四个相似性度量从文献中提取并应用于Roget的实验评估表明,传统的边缘计数方法做得令人惊讶地好(与人类相似性判断的基准集的相关性为r=0.88,对于执行相同任务的人类受试者的上限为r=0.90)。
1998-09-14 cmp-lg cs.CL
MNet-Sim: A Multi-layered Semantic Similarity Network to Evaluate Sentence Similarity
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院)
相似性是一种比较主观的衡量标准,随所考虑的领域而变化。在几个NLP应用中,例如文档分类、模式识别、聊天机器人问答、情感分析等,识别句子对的准确相似性分数已经成为研究的关键领域。在现有的模型,评估相似性,有效地计算这种相似性的限制,由于中心理论的本地化,以及缺乏非语义文本比较的上下文比较已被证明是缺点。因此,本文提出了一种多层语义相似性网络模型,建立在多个相似性措施,使整体句子相似性得分的基础上的原则,网络科学,相邻加权关系边,并提出了一个扩展的节点相似性计算公式。所提出的多层网络模型进行了评估和测试,对已建立的国家的最先进的模型,并显示出更好的性能分数,在评估句子相似性。
2021-11-09 cs.CL cs.LG
Evolution of Semantic Similarity -- A Survey
Lakehead University(湖首大学)
文本数据之间的语义相似度估计是自然语言处理领域的一个具有挑战性和开放性的研究课题。自然语言的通用性使得难以定义用于确定语义相似性度量的基于规则的方法。为了解决这个问题,多年来已经提出了各种语义相似度方法。这篇调查文章追溯了这些方法的演变,根据其基本原理将其分类为基于知识的方法、基于语料库的方法、基于深度神经网络的方法和混合方法。讨论每种方法的优点和缺点,本调查提供了现有系统的全面视图,供新的研究人员实验和开发创新的想法来解决语义相似性问题。
2021-01-30 cs.CL cs.IR
PESTS: Persian_English Cross Lingual Corpus for Semantic Textual Similarity
Iran University of Science and Technology(伊朗科技大学)
本文首次构建波斯语-英语语义文本相似度语料库 PESTS(含5375个句子对),并微调多种 transformer 模型,使 XLM ROBERTa 的 Pearson 相关系数从 85.87% 提升至 95.62%。
2024-09-05 cs.AI cs.CL
Using Single-Trial Representational Similarity Analysis with EEG to track semantic similarity in emotional word processing
Tufts University(塔夫茨大学)
脑电图(EEG)是一种功能强大的非侵入性脑成像技术,具有高时间分辨率,已广泛应用于认知科学研究的多个领域。本文将代表性相似性分析(RSA)应用于单次试验脑电数据集,并将其原理介绍给不熟悉多变量分析的脑电研究者。我们有两个不同的目标:1。我们想探索单次试验RSA在EEG数据集上的有效性; 2.我们希望利用单次试验RSA和计算语义模型来研究语义在情感词处理中的作用。我们报告两个主要的发现:1。在大量试验和受试者的情况下,EEG数据集上的单次试验RSA可以产生有意义和可解释的结果; 2.单次试验RSA揭示了在500- 800 ms时间窗口内的情绪处理与附加的语义分析相关联。
2021-10-04 cs.CL q-bio.NC