How to Do Things without Words: Modeling Semantic Drift of Emoji
Ben Gurion University of the Negev（内盖夫本-古里安大学）
汉字已经成为我们非正式文本交流的重要组成部分。以前的工作解决表情符号的社会和语言功能忽略了符号的演变意义。这种演变可以通过语义漂移的框架来解决。本文对表情符号的语义漂移进行了建模和分析，并讨论了可能导致漂移的特征，其中一些是表情符号独有的，一些是更普遍的。
2022-10-13 cs.CL
Cross-Cultural Transfer of Emoji Semantics and Sentiment in Financial Social Media
King Abdullah University of Science and Technology（卡塔尔国王阿卜杜勒阿齐兹大学科学与技术学院）
研究探讨了emoji在不同金融社区中的语义和情感稳定性，发现emoji能提供跨语言的通用情感线索，提升模型泛化能力。
2026-05-10 cs.CL
"When Words Fail, Emojis Prevail": Generating Sarcastic Utterances with Emoji Using Valence Reversal and Semantic Incongruity
Islamic University of Technology（伊斯兰科技大学）
针对反讽生成多局限于文本的现状，提出将任务拆分为文本反讽生成（融入效价反转、语义不一致要素）和关联emoji收集两部分的新架构，经人工评估验证效果，代码数据已公开。
2023-06-16 cs.CL
Exploring Emoji Usage and Prediction Through a Temporal Variation Lens
UPF（庞培法布拉大学）；Snap Inc.（Snap公司）
在社交媒体平台上频繁使用的即时通讯创造了一种新的多模态社交互动形式。开发用于表情符号语义的研究和表示的方法有助于改善未来的多模态通信系统。在本文中，我们探索了表情符号的使用和语义随着时间的推移。我们比较了在不同季节的语料库上训练的emoji嵌入，并显示了一些emoji的使用方式取决于一年中的时间。此外，我们提出了一种方法来考虑表情符号预测系统的时间信息，优于最先进的系统。我们表明，使用时间信息，可以显着提高某些表情符号的准确性。
2018-05-02 cs.CL
Emoji-based Co-attention Network for Microblog Sentiment Analysis
在线社交网络中广泛使用缩略语来表达情感、态度和观点。表情符号作为面向情感的字符，可以被建模为对接收者或主题的情感的重要特征，用于情感分析。然而，现有的方法主要采用表情符号作为启发式信息，无法解决模糊噪声问题。最近的研究利用表情符号作为一个独立的输入来分类文本情感，但他们忽略了文本和表情符号之间的交互的情感影响。这导致表情符号的情感语义无法被充分挖掘。本文提出了一种基于表情符号的协同注意力网络，用于学习微博上文本和表情符号之间的相互情感语义。我们的模型采用基于双向长短期记忆的共同注意力机制，将文本和表情符号结合起来，并在卷积神经网络分类器中集成了挤压和激励块，以增加其对情感语义特征的敏感性。实验结果表明，该方法可以显着优于几个基线的情感分析短文本的社会媒体。
2022-01-14 cs.AI cs.CL
Pay attention to emoji: Feature Fusion Network with EmoGraph2vec Model for Sentiment Analysis
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
随着社交媒体的爆炸性增长，带有表情符号的固执己见的帖子也爆炸性地增加。许多表情符号被用来表达情绪、态度和观点。表情符号表示学习有助于提高表情符号相关的自然语言处理任务的性能，特别是在文本情感分析中。然而，大多数研究只使用Unicode联盟提供的固定描述，而没有考虑实际的使用场景。至于情感分析任务，许多研究人员忽略了文本和表情符号之间交互的情感影响。这导致表情符号的情感语义无法被充分挖掘。在这项工作中，我们提出了一种名为mosaGraph2vec的方法，通过从社交数据中构建共现图网络来学习emoji表示，并基于外部知识库mosajiNet来丰富语义信息以嵌入emoji节点。本文基于Graph2vec模型，设计了一种新的神经网络，将文本和emoji信息融合到情感分析中，该网络使用混合注意力模块和基于TextCNN的分类器来提高性能。实验结果表明，该模型可以优于基准数据集上的情感分析的几个基线。此外，我们进行了一系列的消融和比较实验，以调查我们的模型的有效性和可解释性。
2022-05-23 cs.CL
Introducing two Vietnamese Datasets for Evaluating Semantic Models of (Dis-)Similarity and Relatedness
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们为低资源语言越南语提出了两个新的数据集，以评估语义相似性模型：ViCon包括跨词类的同义词和反义词对，从而提供区分相似性和不相似性的数据。ViSim-400提供了五种语义关系的相似度，由人类法官评定。这两个数据集通过标准的共现和神经网络模型进行了验证，显示出与相应的英语数据集相当的结果。
2018-04-19 cs.CL
Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University（湖首大学）
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中，我们提出了一种方法，处理这个问题，将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度，所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时，它为单词和句子相似度提供了最高的相关值，优于其他类似的模型。对于单词相似度，我们得到的皮尔逊相关系数为0.8753，对于句子相似度，得到的相关系数为0.8794。
2018-02-20 cs.CL
SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language
Urgench State University（乌尔根奇国立大学）；CITIC
词与词之间的语义相关性是自然语言处理的核心概念之一，因此语义评价是一项重要的任务。在本文中，我们提出了一个语义模型评估数据集：SimRelUz -低资源乌兹别克语的词对的相似性和相关性得分的集合。该数据集由一千多对词组成，这些词是根据其形态特征、出现频率、语义关系精心挑选的，并由来自不同年龄组和性别的11位乌兹别克语母语者注释。我们还关注了处理稀有词和词汇表外词的问题，以全面评估语义模型的鲁棒性。
2022-05-12 cs.CL
Similarity between Learning Outcomes from Course Objectives using Semantic Analysis, Blooms taxonomy and Corpus statistics
Lakehead University（湖首大学）
讲师提供的课程描述是一个重要的信息，因为它定义了对讲师的期望以及他/她在特定课程中将要提供的内容。课程描述的关键组成部分之一是学习目标部分。本节的内容由项目经理使用，他们的任务是在不同机构之间的转让协议的发展过程中比较和匹配两个不同的课程。本研究介绍了语义相似度算法的发展，以计算相同领域的两个学习目标之间的相似度。我们提出了一种新的方法，它处理的语义相似性，通过使用先前建立的算法，并将其与领域语料库利用域统计。消除歧义的域作为该算法的监督学习数据。我们还引入了Bloom指数来计算学习目标中动作动词之间的相似度，参考Bloom分类法。
2018-04-17 cs.CL
Why Not Simply Translate? A First Swedish Evaluation Benchmark for Semantic Similarity
Peltarion；RISE
本文提出了第一个瑞典语文本语义相似度的评价基准。通过Google机器翻译API简单地运行英语STS-B数据集即可编译基准。本文讨论了使用这种简单的方法来编制瑞典语评估基准的潜在问题，包括翻译错误，词汇变化和生产复合。尽管产生的数据集存在一些明显的问题，但我们使用基准测试来比较大多数现有的瑞典语文本表示，证明本地模型优于多语言模型，并且简单的单词袋表现非常好。
2020-11-29 cs.CL
Bridging Natural Language Processing and Psycholinguistics: computationally grounded semantic similarity datasets for Basque and Spanish
本文构建了融合语料库与知识库的巴斯克语及欧洲西班牙语言语相似性数据集，通过心理语言学特征控制名词对并提供文本、Wordnet和混合嵌入三类相似性度量。
2023-04-20 cs.CL
Texts in, meaning out: neural language models in semantic similarity task for Russian
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Mail.ru Group（Mail.ru集团）
自然语言词汇的分布式向量表示在当代计算语言学中得到了广泛的关注。本文总结了将神经网络语言模型应用于俄语语义相似度计算的经验。实验是在俄语语义相似度评估轨道的过程中进行的，根据任务的不同，我们的模型从第二位到第五位。我们介绍所使用的工具和语料库，评论的性质的共享任务，并描述所取得的成果。研究发现，以前成功应用于英语材料的连续跳跃语法和连续词袋模型也可以用于俄语的语义建模。此外，我们表明，在俄罗斯国家语料库（RNC）的文本提供了一个很好的培训材料，这种模式，优于其他更大的语料库。对于语义相关性任务尤其如此（尽管在RNC模型之上堆叠在较大语料库上训练的模型可以更好地提高性能）。以这种方式学习的高质量语义向量可以用于各种语言任务，并为进一步研究提供了一个令人兴奋的领域。
2015-04-30 cs.CL
Emojis Decoded: Leveraging ChatGPT for Enhanced Understanding in Social Media Communications
University of Maryland（马里兰大学）；University of Arizona（亚利桑那大学）
本文评估ChatGPT在表情符号标注与语义解释任务中的表现，验证其可替代人工标注并提升在线沟通清晰度。
2025-04-07 cs.AI cs.CL
MedSim: A Novel Semantic Similarity Measure in Bio-medical Knowledge Graphs
Peking University Shenzhen Graduate School（北京大学深圳研究生院）
提出了一种基于公共的生物医学知识图谱（KG）和大规模语料库的语义相似性方法MedSim，用于研究抗生素的治疗替代。除了知识库的层次结构和语料库之外，MedSim还通过构建多维药物特征向量来进一步解释药物特征。由医生评分的528个抗生素对的数据集被应用于评估，MedSim比其他语义相似性方法产生了统计学上显著的改进。最后，通过案例分析，介绍了MedSim在药物替代和预防药物滥用方面的应用前景。
2018-12-05 cs.CL cs.IR
Semantic Similarity Based on Corpus Statistics and Lexical Taxonomy
本文提出了一种新的方法来衡量词和概念之间的语义相似性/距离。它结合了词汇分类结构和语料库统计信息，使得分类法构建的语义空间中节点之间的语义距离可以更好地量化与来自语料库数据的分布分析的计算证据。具体而言，所提出的措施是一种组合的方法，继承了基于边缘的方法的边缘计数方案，然后增强了基于节点的方法的信息内容计算。当测试一个共同的数据集上的词对相似性评级，所提出的方法优于其他计算模型。它给出了最高的相关值（r = 0.828）与基准的基础上人类相似性判断，而上限（r = 0.885）时，观察到人类受试者复制相同的任务。
1997-09-20 cmp-lg cs.CL
Automatic Design of Semantic Similarity Ensembles Using Grammatical Evolution
Software Competence Center Hagenberg GmbH（哈根贝格软件能力中心有限公司）
本文提出基于语法演化的自动化方法构建语义相似性集成，通过演化聚合函数最大化与人工评分的相关性，在基准数据集上优于现有集成技术。
2025-04-25 cs.AI cs.CL
Contextualizing the Limits of Model & Evaluation Dataset Curation on Semantic Similarity Classification Tasks
Google（谷歌）
该研究针对二分类语义相似度分类任务，分析预训练模型及公开评估数据集的局限性，验证了不同数据集、嵌入技术和距离度量下的性能差异，强调了理解数据构建流程的重要性。
2023-11-03 cs.CL cs.LG
A Massive Scale Semantic Similarity Dataset of Historical English
Harvard University（哈佛大学）；National Bureau of Economic Research（美国国家经济研究局）
本研究利用美国已过版权期地方报纸的数字化文章，通过文档布局、语言理解及深度神经方法匹配同源转载文章的标题，构建了横跨70年、含近4亿正例的大规模历史英语语义相似度数据集HEADLINES，助力相关任务与语义变化研究。
2023-08-24 cs.CL econ.GN q-fin.EC
NSURL-2019 Shared Task 8: Semantic Question Similarity in Arabic
Mawdoo3 Ltd（Mawdoo3公司）
问题语义相似度（Q2Q）是一个具有挑战性的任务，在许多NLP应用中非常有用，例如检测重复问题和问答系统。在本文中，我们提出了共享任务（阿拉伯语语义问题相似性）的结果和发现。该任务是作为第一次资源不足语言NLP解决方案研讨会（NSURL 2019）的一部分组织的，该任务的目标是预测两个问题在语义上是否相似，即使它们的措辞不同。共有9支队伍参加了此次任务。为这项任务创建的数据集公开提供，以支持对阿拉伯语Q2Q的进一步研究。
2019-09-12 cs.CL cs.LG stat.ML
A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research（IBM研究）；IBM Watson
用于（基于嵌入的）无监督语义搜索的现有技术方法利用（查询和段落的）组成相似性或（来自查询和段落的）成对词（或术语）相似性。通过设计，基于单词的方法不包含更大上下文（查询/段落）中的相似性，而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中，我们提出了一种新的成分相似性为基础的方法，称为可变质心向量（VCVB），试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法，利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
Digital Skin, Digital Bias: Uncovering Tone-Based Biases in LLMs and Emoji Embeddings
University of North Texas（北德克萨斯大学）；International Center for Artificial Intelligence Research and Ethics（国际人工智能研究与伦理中心）；Southern Methodist University（南卫理公会大学）；The University of Arizona（亚利桑那大学）；The University of Alabama（阿拉巴马大学）
本文研究了LLM和表情符号嵌入模型中基于肤色的偏见，发现表情符号模型在肤色表示上存在严重缺陷，揭示了潜在的偏见问题，呼吁开发者和平台进行审计和缓解。
2026-04-08 cs.AI cs.CL cs.HC
Measuring Semantic Similarity by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量语义相似度的方法。LRA度量两对词之间语义关系的相似性。当两对具有高度的关系相似性时，它们是相似的。例如，对cat：meow类似于对dog：bark。认知科学有证据表明，关系相似性是许多认知和语言任务的基础（例如，类比推理）。在向量空间模型（VSM）方法来测量关系的相似性，两对之间的相似性是由代表两对向量之间的夹角的余弦计算。向量中的元素基于大型语料库中手动构建的模式的频率。LRA以三种方式扩展了VSM方法：（1）模式自动从语料库中导出，（2）奇异值分解用于平滑频率数据，以及（3）同义词用于重新表达单词对。本文介绍了LRA算法和实验比较LRA VSM两个任务，回答大学水平的多项选择词类比问题和分类名词修饰语表达的语义关系。LRA实现了最先进的结果，在类比问题上达到了人类水平的表现，并且在两项任务上都大大超过了VSM的表现。
2005-08-10 cs.CL cs.IR cs.LG
Twitter Sentiment Analysis via Bi-sense Emoji Embedding and Attention-based LSTM
University of Rochester（罗切斯特大学）；Microsoft Research AI（微软研究院AI）
大规模社交媒体数据的情感分析对于弥合政治选举预测、个人和公众情绪状态监测和分析等社交媒体内容与现实世界活动之间的差距非常重要。虽然基于Twitter和Instagram等平台的文本情感分析已经得到了很好的研究，但对广泛使用的表情符号在情感分析中的作用的分析仍然很轻。在本文中，我们提出了一个新的计划，Twitter的情感分析与表情符号的额外关注。我们首先分别学习积极和消极情感推文下的双义表情符号嵌入，然后通过使用基于注意力的长短期记忆网络（LSTM）关注这些双义表情符号嵌入来训练情感分类器。我们的实验表明，双意义嵌入是有效的情感感知的表情符号的嵌入提取和性能优于最先进的模型。我们还将注意力可视化，以表明双义表情符号嵌入为注意力机制提供了更好的指导，以获得对语义和情感的更强大的理解。
2018-08-07 cs.CL cs.MM
EMODIS: A Benchmark for Context-Dependent Emoji Disambiguation in Large Language Models
本文提出EMODIS基准，通过最小对比文本上下文评估大语言模型对歧义表情符号的消歧能力，发现最强模型仍存在系统性偏见和语用敏感性不足，揭示了人机语义推理差距。
2025-11-10 cs.CL
Using Semantic Similarity and Text Embedding to Measure the Social Media Echo of Strategic Communications
University of Exeter（埃克塞特大学）
在线话语涵盖广泛的主题，许多行为者通过精心制作的信息和有针对性的运动调整其内容，以影响在线讨论。然而，在线媒体内容的规模和多样性使得难以评估特定信息的影响。在本文中，我们提出了一种新的技术，利用语义相似性来量化特定消息发布后讨论中的变化。我们使用一组新闻稿从环境组织和推文从气候变化的辩论表明，我们的新方法揭示了一个重尾分布的响应在网上话语的战略沟通。
2023-03-29 cs.CL cs.SI
Synergistic Union of Word2Vec and Lexicon for Domain Specific Semantic Similarity
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
语义相似性度量是自然语言处理任务中的重要组成部分。然而，语义相似性的措施，建立了一般使用不执行特定领域内。因此，在这项研究中，我们引入了一个特定领域的语义相似性的措施，创建的协同联盟的word2vec，一个词嵌入方法，用于语义相似性计算和基于词典（词汇）的语义相似性方法。我们证明了该方法的性能优于在通用语料库上训练的词嵌入方法和在特定领域语料库上训练的方法，但不使用词汇语义相似度方法来增强结果。此外，我们证明了文本词形化可以提高词嵌入方法的性能。
2017-06-09 cs.CL
An evaluative baseline for geo-semantic relatedness and similarity
University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校）；University College Dublin（都柏林大学学院）
在地理信息科学和语义学中，语义相似度的计算被广泛认为是支持大量信息集成和检索任务的关键。相比之下，地理语义相关性的作用在很大程度上被忽视了。在自然语言处理中，语义相关性经常与更具体的语义相似性混淆。在这篇文章中，我们讨论了一个概念的地理语义相关性的基础上莱勒的语义场，我们比较它与地理语义相似性。然后，我们描述和验证地理相关性和相似性数据集（GeReSiD），一个新的开放数据集，旨在评估地理语义相关性和相似性的计算措施。该数据集比现有的此类数据集更大，包括97个地理术语，由203名人类受试者组成50个术语对。GeReSiD可在线获得，并可用作评估基线，以凭经验确定给定计算模型在多大程度上近似地理语义相关性和相似性。
2014-02-14 cs.CL
Description and Evaluation of Semantic Similarity Measures Approaches
Taif University（塔伊夫大学）
近年来，语义相似性度量在语义Web和自然语言处理（NLP）领域引起了广泛的关注。几个相似性的措施已经制定，被给予存在的结构化的知识表示提供的本体和语料库，使语义解释的条款。语义相似性度量计算知识源中包括的概念/术语之间的相似性，以便执行估计。本文讨论了现有的基于结构、信息量和特征的语义相似度方法。此外，我们提出了一个关键的几个类别的语义相似性的方法的基础上两个标准的基准评估。本文的目的是给所有这些措施，帮助研究人员和从业人员选择最适合他们的要求的措施，有效的评估。
2013-10-30 cs.CL
Paraphrasing, textual entailment, and semantic similarity above word level
Universidad de Barcelona（巴塞罗那大学）
本论文探讨了两个或多个复杂的语言表达（短语，从句，句子，段落）之间的意义关系的语言和计算方面。特别是，它侧重于释义，文本蕴涵，矛盾和语义相似性。第一部分：在"词语层面的相似性"一文中，笔者研究了分布假设，并探讨了几种不同的方法来量化词语和短语层面的语义相似性。第二部分：在“释义类型与释义识别”一章中，我重点讨论了释义的意义关系和释义自动识别的实验任务。第三部分："释义、语篇蕴涵和语义相似"是本文在对释义、语篇蕴涵、矛盾和语义相似进行联合研究的基础上提出的一个新的语篇意义关系研究方向。
2022-08-10 cs.CL
Exploiting Non-Taxonomic Relations for Measuring Semantic Similarity and Relatedness in WordNet
Lakehead University（湖首大学）；Université Laval（拉瓦尔大学）
计算语言学和人工智能领域中的各种应用采用语义相似性来解决具有挑战性的任务，诸如词义消歧、文本分类、信息检索、机器翻译和文档聚类。以前的工作语义相似性遵循单关系的方法，主要使用分类关系“ISA”。本文探讨了在大型链接数据（例如WordNet知识图谱）中使用所有类型的非分类关系来增强现有语义相似性和相关性度量的好处。我们提出了一个整体的多关系的方法，基于一个新的关系为基础的信息内容和非分类为基础的加权路径设计一个全面的语义相似性和相关性的措施。为了证明在知识图谱中利用非分类关系的好处，我们使用了三种策略来在不同的粒度级别部署非分类关系。我们在四个著名的金标准数据集上进行了实验，结果表明，所提出的语义相似性和相关性度量的鲁棒性和可扩展性，这显着改善了现有的相似性度量。
2020-06-22 cs.CL
Determining Semantic Textual Similarity using Natural Deduction Proofs
The University of Tokyo（东京大学）；Ochanomizu University（御茶水女子大学）；Artificial Intelligence Research Center, AIST（产业技术综合研究所人工智能研究中心）
确定语义文本相似度是自然语言处理的核心研究课题。由于用于句子表示的基于向量的模型通常使用浅层信息，因此难以捕获准确的语义。相比之下，逻辑语义表示捕捉更深层次的句子语义，但它们的符号性质不提供文本相似性的分级概念。我们提出了一种方法来确定语义文本相似度相结合的浅层特征提取的自然演绎证明的句子对之间的双向蕴涵关系的特征。对于自然演绎证明，我们使用ccg2lambda，一个高阶自动推理系统，它将组合范畴语法（CCG）派生树转换为语义表示，并进行自然演绎证明。实验表明，我们的系统是能够优于其他基于逻辑的系统，从证明的特征是有效的学习文本相似性。
2017-07-27 cs.CL
Semantic similarity prediction is better than other semantic similarity measures
University of Passau（帕绍大学）
本文提出 STSScore，通过在 GLUE 的 STS-B 任务上微调模型直接预测语义相似度，证明其比 BLEU、BERTScore 和 S-BERT 等度量更符合鲁棒相似度预期。
2024-01-17 cs.CL cs.LG
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
DySem: Uncovering Dynamic Semantic Components of Large Language Models for Calculating Semantic Textual Similarity
College of Computer Science and Software Engineering（计算机科学与软件工程学院）
提出DySem框架，通过多语言共识提取大语言模型中与语义更相关的内部组件，并构建文本相关的联合语义集实现动态维度相似度计算，无需训练且性能优于基线。
2026-09-29 cs.CL
CompiLIG at SemEval-2017 Task 1: Cross-Language Plagiarism Detection Methods for Semantic Textual Similarity
Compilatio；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
我们在SemEval-2017上展示了我们提交的语义文本相似性（STS）Track 4系统。给定一对西班牙语-英语句子，每个系统必须通过0到5之间的分数来估计它们的语义相似性。在我们的提交中，我们使用基于语法，基于字典，基于上下文和基于MT的方法。我们还将这些方法以无监督和有监督的方式结合起来。我们的最佳运行在轨道4a上排名第一，与人类注释的相关性为83.02%。
2017-04-05 cs.CL
Direct Network Transfer: Transfer Learning of Sentence Embeddings for Semantic Similarity
University of Michigan（密歇根大学）
句子编码器使用神经网络产生句子嵌入，通常通过它们如何很好地传输到下游任务来评估。这包括语义相似性，这是自然语言理解中的一项重要任务。尽管已经有很多工作致力于构建句子编码器，但伴随的迁移学习技术却相对较少受到关注。在本文中，我们提出了一个专门用于语义相似性的迁移学习设置，我们称之为直接网络迁移。通过在几个标准文本相似性数据集上的实验，我们表明，将直接网络传输应用于现有编码器可以获得最先进的性能。此外，我们比较了几种将句子编码器转移到语义相似性任务的方法，表明迁移学习设置的选择在许多情况下会极大地影响性能，并且因编码器和数据集而异。
2018-10-31 cs.CL
On a Possible Similarity between Gene and Semantic Networks
在语言学、分子生物学和社会科学等领域，用单个单元建模很难很好地定义整体效应，但越来越多的研究倾向于借助社交网络、系统生物学和语义网等领域有意义和有用的关联来理解宏观结构。随机多智能体系统提供了精确的理论框架和操作计算实现来建模大规模的关联，它们的动态和模式提取。我们发现，在一组关联的对象证明了一些相似性，在特定的数据和两个案例研究的基因-基因和术语-术语的关系，导致一个共同的组织原则的认知随机和确定性的影响。
2015-04-27 cs.CE cs.CL cs.SI
Improving Correlation with Human Judgments by Integrating Semantic Similarity with Second--Order Vectors
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of Minnesota（明尼苏达大学）
向量空间方法，测量语义相似性和相关性往往依赖于分布信息，如同现频率或统计措施的关联加权的重要性，特别是同现。在本文中，我们扩展这些方法，将一个衡量的语义相似性的基础上，人类策划的分类到一个二阶向量表示。这导致在一个语义相关性的措施，结合了上下文信息，在一个基于语料库的向量空间表示与语义知识中发现的生物医学本体。我们的研究结果表明，将语义相似性纳入二阶共现矩阵提高了与人类判断的相似性和相关性的相关性，并且我们的方法与最近在我们使用的相同参考标准上进行评估的各种不同的词嵌入方法相比毫不逊色。
2017-05-27 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
A Novel Comprehensive Approach for Estimating Concept Semantic Similarity in WordNet
Zhejiang University（浙江大学）；Tarim University（塔里木大学）；Princeton University（普林斯顿大学）
概念间语义相似度的计算是许多研究工作的重要基础。本文重点研究了概念相似度计算方法和概念相似度度量，即利用分类法的拓扑参数来估计概念之间的语义相似度。在分析了典型的语义相似度计算方法和典型的语义相似度度量方法的基础上，提出了一种新的混合语义相似度计算方法。通过引入参数dhyp和lch，利用新的概念间相似度计算方法，提出了一种新的概念间语义相似度的综合度量方法。基于WordNet“is a”分类法，在基准数据集R&G上进行了实验，结果表明该方法能明显提高相似度的准确性。我们评估所提出的方法，通过比较五个措施和人工数据之间的相关系数。结果表明，我们的建议优于以前的措施。
2017-03-06 cs.CL
Evaluation of taxonomic and neural embedding methods for calculating semantic similarity
Shandong Jianzhu University（山东建筑大学）
语义相似度建模在词汇语义应用中起着基础性作用。计算语义相似度的一种自然方法是访问手工制作的语义网络，但相似度预测也可以在分布式向量空间中进行。相似度计算仍然是一项具有挑战性的任务，即使在深度神经语言模型方面取得了最新突破。我们首先研究了流行的方法在测量分类相似性，包括边计数，只采用语义关系的分类，以及复杂的方法，估计概念的特异性。我们进一步外推三个加权因子在建模分类相似性。为了研究分类相似性度量和分布相似性度量之间的不同机制，我们从词频、多义度和相似性强度的角度将每种度量与人类相似性判断进行了头对头比较。我们的研究结果表明，分类相似性度量方法可以在不对均匀距离进行微调的情况下，以最短路径长度作为预测语义相似性的主要因素;与分布语义学相比，边计数方法在使用中不受意义分布的影响，可以同时从字面和隐喻两个方面来度量词的相似性;在相似性预测中利用概念关系来改进神经嵌入的协同作用可以指示在迁移学习上利用知识库的新趋势。不同的词频、多义度和相似度范围在计算语义相似度方面还存在很大的差距。
2022-09-30 cs.AI cs.CL
Testing the limits of unsupervised learning for semantic similarity
Paralleldots, Inc.（Paralleldots 公司）
两个句子之间的语义相似度可以被定义为确定两个句子之间的相关或不相关程度的一种方法。语义相似度在分布式表示方面的任务可以被认为是生成句子嵌入（密集向量），其中考虑了句子的上下文和含义。这种嵌入可以通过多种方法产生，在本文中，我们尝试评估LSTM自动编码器来生成这些嵌入。无监督算法（具体来说是自动编码器）只是试图重新创建它们的输入，但它们可以通过创建适当的瓶颈来被迫学习顺序（以及某种程度上的内在含义）。我们试图评估仅仅在简单的英语句子上训练的算法如何正确地学习计算语义相似性，而不给它们任何句子的含义。
2017-10-23 cs.CL
RIMAX: Ranking Semantic Rhymes by calculating Definition Similarity
El Colegio de México（墨西哥学院）；Polytechnique Montréal（蒙特利尔高等理工学院）；Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）
本文介绍了RIMAX，一个新的系统，用于检测语义押韵，使用墨西哥西班牙语综合词典（DEM）和押韵词典（REM）。我们使用向量空间模型来计算一个查询的定义与对应于查询的辅音和辅音韵的定义的相似度。使用人工评估的初步结果非常令人鼓舞。
2019-12-25 cs.CL
Gibberish Semantics: How Good is Russian Twitter in Word Semantic Similarity Task?
SpazioDati S.r.l（SpazioDati 有限公司）
研究最多和最成功的语言模型主要是为英语和其他接近欧洲的语言，如法语，德语等开发和评估。重要的是要研究这些模型的适用性，以其他语言。最近研究了多个语料库（如Wikipedia，RuWac，lib.ru）中俄语向量空间模型的使用。这些模型进行了评价，对词的语义相似性任务。据我们所知，Twitter并没有被认为是这项任务的语料库，这项工作填补了这一空白。在Twitter语料库上训练的向量的结果与其他单语料库训练模型的准确性相当，尽管目前最好的性能是通过组合多个语料库来实现的。
2016-02-28 cs.CL
Siamese Networks for Semantic Pattern Similarity
Symanto（Symanto公司）；Mainiway（Mainiway公司）；Elemental Cognition（Elemental Cognition公司）
语义模式相似性是一个有趣的，但不经常遇到的NLP任务，其中两个句子不是通过它们的具体含义进行比较，而是通过它们更抽象的语义模式（例如，介词或框架）。我们利用暹罗网络模型的任务，并显示其有用性，在确定SQL模式看不见的问题，在数据库支持的问答的情况下。我们的方法实现了高精度，并包含一个内置的代理的信心，它可以用来保持精度任意高。
2018-12-17 cs.CL
Linear Transformations for Cross-lingual Semantic Textual Similarity
NTIS – New Technologies for the Information Society（NTIS——信息社会新技术）；Faculty of Applied Sciences, University of West Bohemia（西波希米亚大学应用科学学院）
跨语言语义文本相似度系统估计两个句子之间的意义相似度，每个句子都是不同的语言。最先进的算法通常采用机器翻译并结合大量的特征，使得该方法具有强监督性，资源丰富，并且难以用于资源贫乏的语言。在本文中，我们研究的线性变换，这项目单语语义空间到一个共享的空间，使用双语词典。我们提出了一种新颖的转换，它建立在以前作品的最佳想法的基础上。我们的实验与无监督技术的句子相似性的基础上，只有语义空间，我们表明，他们可以显着提高字加权。我们的转换优于其他方法，并且与单词加权一起在不同语言的多个数据集上产生了非常有希望的结果。
2018-07-11 cs.CL
The semantic similarity ensemble
University College Dublin（都柏林大学学院）；University of North Carolina（北卡罗来纳大学）
地理术语之间语义相似性的计算度量为地理信息检索、数据采掘和信息集成提供了有价值的支持。迄今为止，已经设计了多种地理语义相似性方法。对相似性的判断本质上并不是对或错的，而是获得了一定程度的认知可接受性，这取决于它模仿人类行为的程度。因此，为特定任务选择最合适的衡量标准是一项重大挑战。为了解决这个问题，我们在计算相似性度量和征求领域专家意见之间进行类比，其中包含一组主观的信念、看法、假设和认识偏见。按照这种类比，我们定义的语义相似性集成（SSE）作为一个组成的不同的相似性措施，作为一个专家小组必须达成一个决定的一组地理术语的语义相似性。该方法进行评估比较，人类的判断，结果表明，SSE表现优于其部分的平均值。虽然最好的成员往往表现优于合奏，所有合奏表现优于每个合奏成员的平均表现。因此，在最好的措施是未知的情况下，合奏提供了一个更合理的认知方法。
2014-01-11 cs.CL
Learning Semantic Textual Similarity from Conversations
Google Research（谷歌研究院）；Google（谷歌）
我们提出了一种新的方法来学习表示使用会话数据的会话级语义相似性。我们的方法训练一个无监督模型来预测会话输入-响应对。由此产生的句子嵌入在语义文本相似性（STS）基准和SemEval 2017的社区问答（CQA）问题相似性子任务上表现良好。通过引入结合会话输入-响应预测任务和自然语言推理任务的多任务训练，性能得到进一步提高。大量的实验表明，该模型在STS基准测试中的所有神经模型中实现了最佳性能，并且在这两项任务中与最先进的特征工程和混合系统具有竞争力。
2018-04-20 cs.CL
Latte-Mix: Measuring Sentence Semantic Similarity with Latent Categorical Mixtures
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
使用预先训练的语言模型（如BERT）测量句子语义相似性通常会产生令人不满意的zero-shot性能，一个主要原因是无效的令牌聚合方法（如均值池）。在本文中，我们证明了贝叶斯框架下，原始的统计数据，如平均值的词嵌入之间的距离从根本上是有缺陷的，用于捕获的水平语义相似性。为了解决这个问题，我们建议学习一个分类变分自编码器（VAE）的基础上现成的预训练语言模型。从理论上证明了测量潜在类别混合体之间的距离，即Latte-Mix，可以更好地反映真实的句子语义相似度。此外，我们的贝叶斯框架提供了解释，为什么模型微调标记的句子对有更好的zero-shot性能。我们还通过经验证明，这些微调模型可以通过Latte-Mix进一步改进。我们的方法不仅在语义相似性数据集（如STS）上产生了最先进的zero-shot性能，而且还具有快速训练和内存占用小的优点。
2020-10-21 cs.CL
The Inception Team at NSURL-2019 Task 8: Semantic Question Similarity in Arabic
Jordan University of Science and Technology（约旦科技大学）
本文介绍了我们的方法，在阿拉伯语的语义问题相似性的任务在研讨会上的NLP解决方案资源不足的语言（NSURL）。其目的是建立一个模型，能够检测所提供的数据集的阿拉伯语类似的语义问题。在这项工作中，不同的方法来确定问题的相似性进行了探讨。所提出的模型取得了较高的F1分数，范围从（88%至96%）。我们的官方最佳结果是从使用预训练的多语言BERT模型的集成模型中产生的，该模型具有不同的随机种子，F1分数为95.924%，在9个参与团队中排名第一。
2020-04-24 cs.CL
GATE: General Arabic Text Embedding for Enhanced Semantic Textual Similarity with Matryoshka Representation Learning and Hybrid Loss Training
Prince Sultan University（普森大学）；Alfaisal University（阿尔法赛尔大学）
本文提出通用阿拉伯语文本嵌入模型GATE，结合Matryoshka表示学习与混合损失训练，在MTEB基准STS任务上超越OpenAI等大模型，性能提升20-25%。
2025-05-30 cs.CL
Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices
Tokyo Metropolitan University（东京都立大学）；Hitotsubashi University（一桥大学）；National Institute for Japanese Language and Linguistics（日本语学研究所）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；The Institute of Statistical Mathematics（统计数理研究所）
针对相邻时间段变化点检测不足与BERT类方法计算成本高的问题，本研究提出基于历时词相似矩阵的轻量框架，可深入分析多时段连续语义偏移，并能无监督聚类语义偏移行为相似的词语。
2025-01-17 cs.CL
Boosting the Performance of Transformer Architectures for Semantic Textual Similarity
Faculty of Electrical Engineering and Computing（电气工程与计算学院）
本文研究语义文本相似度任务，通过部分及端到端微调 BERT、RoBERTa、DeBERTaV3 cross-encoders，并融合模型输出与手工特征进行 boosting，同时分析数据集划分和预测边界误差。
2023-06-01 cs.CL
