Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);Universidade Federal do Ceará(塞阿拉联邦大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文,使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息,并改进句子之间相似度的计算。我们的模型已经取得了良好的效果,是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
Boosting the Performance of Transformer Architectures for Semantic Textual Similarity
Faculty of Electrical Engineering and Computing(电气工程与计算学院)
本文研究语义文本相似度任务,通过部分及端到端微调 BERT、RoBERTa、DeBERTaV3 cross-encoders,并融合模型输出与手工特征进行 boosting,同时分析数据集划分和预测边界误差。
2023-06-01 cs.CL
GATE: General Arabic Text Embedding for Enhanced Semantic Textual Similarity with Matryoshka Representation Learning and Hybrid Loss Training
Prince Sultan University(普森大学);Alfaisal University(阿尔法赛尔大学)
本文提出通用阿拉伯语文本嵌入模型GATE,结合Matryoshka表示学习与混合损失训练,在MTEB基准STS任务上超越OpenAI等大模型,性能提升20-25%。
2025-05-30 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Siemens AG(西门子股份公司)
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性(STS)的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法,包括降维(Yin和Schütze,2016)、广义典型相关分析(Rastogi等人,2015)和交叉视图自动编码器(Bollegala和Bao,2018)。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平(SoTA),与单源系统相比,Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Learning Semantic Textual Similarity from Conversations
Google Research(谷歌研究院);Google(谷歌)
我们提出了一种新的方法来学习表示使用会话数据的会话级语义相似性。我们的方法训练一个无监督模型来预测会话输入-响应对。由此产生的句子嵌入在语义文本相似性(STS)基准和SemEval 2017的社区问答(CQA)问题相似性子任务上表现良好。通过引入结合会话输入-响应预测任务和自然语言推理任务的多任务训练,性能得到进一步提高。大量的实验表明,该模型在STS基准测试中的所有神经模型中实现了最佳性能,并且在这两项任务中与最先进的特征工程和混合系统具有竞争力。
2018-04-20 cs.CL
Linear Transformations for Cross-lingual Semantic Textual Similarity
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术);Faculty of Applied Sciences, University of West Bohemia(西波希米亚大学应用科学学院)
跨语言语义文本相似度系统估计两个句子之间的意义相似度,每个句子都是不同的语言。最先进的算法通常采用机器翻译并结合大量的特征,使得该方法具有强监督性,资源丰富,并且难以用于资源贫乏的语言。在本文中,我们研究的线性变换,这项目单语语义空间到一个共享的空间,使用双语词典。我们提出了一种新颖的转换,它建立在以前作品的最佳想法的基础上。我们的实验与无监督技术的句子相似性的基础上,只有语义空间,我们表明,他们可以显着提高字加权。我们的转换优于其他方法,并且与单词加权一起在不同语言的多个数据集上产生了非常有希望的结果。
2018-07-11 cs.CL
DySem: Uncovering Dynamic Semantic Components of Large Language Models for Calculating Semantic Textual Similarity
College of Computer Science and Software Engineering(计算机科学与软件工程学院)
提出DySem框架,通过多语言共识提取大语言模型中与语义更相关的内部组件,并构建文本相关的联合语义集实现动态维度相似度计算,无需训练且性能优于基线。
2026-09-29 cs.CL
KNNs of Semantic Encodings for Rating Prediction
Institut Polytechnique de Paris(巴黎理工学院);EPFL(洛桑联邦理工学院);Google(谷歌);Télécom Paris(巴黎电信学院)
本文探讨了一种新的应用文本语义相似度的用户偏好表示的收视率预测。该方法将用户的偏好表示为来自评论文本的文本片段的图,其中边缘由语义相似性定义。这种基于文本、记忆的评级预测方法可以为推荐提供基于评论的解释。该方法进行了定量评估,强调以这种方式利用文本优于强大的基于内存和基于模型的协同过滤基线。
2023-03-28 cs.CL
SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation
Google Research(谷歌研究院);George Washington University(乔治华盛顿大学);University of the Basque Country(巴斯克大学);University of Sheffield(谢菲尔德大学)
语义文本相似度(STS)是衡量句子之间的语义相似度的指标。应用包括机器翻译(MT)、摘要、生成、问答(QA)、简短回答分级、语义搜索、对话和会话系统。STS共享任务是评估当前最先进技术的场所。2017年的任务侧重于多语言和跨语言对,其中一个子轨道探索MT质量估计(MTQE)数据。这项任务得到了31个小组的大力参与,其中17个小组参加了所有语文轨道。我们总结性能和审查的选择表现良好的方法。分析突出了常见的错误,深入了解现有模型的局限性。为了支持正在进行的语义表示工作,STS基准被引入作为一个新的共享训练和评估集,该集是从英语STS共享任务数据(2012-2017)的语料库中精心挑选出来的。
2017-07-31 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术学院(JAIST));Toshiba Research & Development Center, Japan(日本东芝研发中心)
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型(M-MaxLSTM-CNN),用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词,从而生成新颖的句子嵌入。然后,我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能(即,测量文本相似性、识别释义、识别文本蕴涵)。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果,M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能(例如,对齐特征、Ngram重叠、依赖性特征),并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering
Ohio State University(俄亥俄州立大学)
在本文中,我们分析了几种用于句子对建模的神经网络设计(及其变体),并在八个数据集上广泛比较了它们的性能,包括释义识别,语义文本相似性,自然语言推理和问答任务。尽管这些模型中的大多数都声称具有最先进的性能,但原始论文通常只报告一两个选定的数据集。我们提供了一个系统的研究,并表明(i)通过LSTM编码上下文信息和句子间交互是至关重要的,(ii)Tree-LSTM并没有像之前声称的那样有帮助,但令人惊讶地提高了Twitter数据集的性能,(iii)增强型顺序推理模型是迄今为止最适合较大数据集的模型,而成对词交互模型在可用数据较少时实现了最佳性能。我们将我们的实现作为开源工具包发布。
2018-08-23 cs.CL
What Makes Sentences Semantically Related: A Textual Relatedness Dataset and Empirical Study
Institute for Better Health(健康改善研究所);University of Toronto(多伦多大学);National Research Council Canada(加拿大国家研究委员会)
两个语言单位的语义相关程度一直被认为是理解意义的基础。此外,自动确定相关性具有许多应用,例如问答和摘要。然而,由于缺乏相关性数据集,以前的NLP工作主要集中在语义相似性上,这是相关性的一个子集。在本文中,我们介绍了一个语义文本相关性数据集STR-2022,该数据集使用比较注释框架手动注释了5,500个英语句子对,从而得到细粒度的分数。我们表明,人类的直觉,句子对的相关性是高度可靠的,重复注释的相关性为0.84。我们使用数据集来探索是什么使句子语义相关的问题。我们还展示了STR-2022用于评估句子表示的自动方法和各种下游NLP任务的实用性。我们的数据集、数据声明和注释问卷可以在以下网站找到:https://doi.org/10.5281/zenodo.7599667
2023-03-20 cs.CL
Node-to-Neighborhood Semantic Consistency: Text-Topology Alignment for TAGs Anomaly Detection
School of Data Science and Engineering, East China Normal University(东华大学数据科学与工程学院);WeChat, Tencent(微信、腾讯)
针对文本属性图异常检测中文本语义与拓扑关系不对齐的问题,提出N2NSC框架,通过双融合路径捕获节点与邻域的语义一致性,在八个数据集上超越现有方法。
2026-06-29 cs.CL
AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness
Saarland University(萨尔大学);Bosch Center for AI(博世人工智能中心);LMU Munich(慕尼黑大学)
本文提出 AAdaM 系统,通过机器翻译数据增强和任务自适应预训练解决低资源语言语义相关性任务,并采用适配器框架实现零样本跨语言迁移,在 SemEval-2024 任务 1 的两个子任务中均取得第一名。
2024-06-07 cs.CL
Disambiguating Reference in Visually Grounded Dialogues through Joint Modeling of Textual and Multimodal Semantic Structures
Nara Institute of Science and Technology(奈良科学技術研究所);Guardian Robot Project(守護機器人計劃);RIKEN(理化学研究所);Kyoto University(京都大學);Institute of Science Tokyo(東京科學研究院)
本文提出一个统一文本和多模态指代消解的框架,通过将提及嵌入映射到对象嵌入并基于相似性进行选择,实验证明结合共指消解等文本指代关系能有效提升多模态指代消解性能,减少视觉基础对话中的歧义。
2025-06-01 cs.CL
SemAttack: Natural Textual Attacks via Different Semantic Spaces
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Alibaba Group(阿里巴巴集团);Microsoft Research(微软研究院)
最近的研究表明,预先训练的语言模型(LM)容易受到文本对抗攻击。然而,现有的攻击方法要么遭受低攻击成功率或未能有效地搜索在指数大扰动空间。我们提出了一个高效和有效的框架SemAttack通过构建不同的语义扰动函数来生成自然的对抗文本。特别地,SemAttack优化了约束在通用语义空间上的所生成的扰动,所述通用语义空间包括错别字空间、知识空间(例如,WordNet)、上下文化语义空间(例如,BERT聚类的嵌入空间)或这些空间的组合。因此,生成的对抗性文本在语义上更接近原始输入。大量的实验表明,最先进的(SOTA)大规模LM(例如,DeBERTa-v2)和防御策略(例如,FreeLB)仍然容易受到SemAttack的攻击。我们进一步证明了SemAttack是通用的,并且能够为不同的语言生成自然的对抗文本(例如,英语和汉语),攻击成功率高。人类的评估也证实了我们生成的对抗性文本是自然的,几乎不会影响人类的表现。我们的代码可在https://github.com/AI-secure/SemAttack上公开获取。
2022-06-11 cs.CL
Collective Human Opinions in Semantic Textual Similarity
The University of Melbourne(墨尔本大学);Huawei TSC(华为技术服务有限公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);RMIT University(皇家墨尔本理工大学)
本文提出首个不确定性感知的中文STS数据集USTS,揭示现有模型无法捕捉人类标注分歧带来的方差,只能反映聚合数据上的预测置信度。
2023-08-08 cs.CL
Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics
HKUST(香港科技大学);Tsinghua University(清华大学)
句子文本相似性度量(STS)是一个经典的任务,可以应用于许多下游NLP应用,如文本生成和检索。在本文中,我们专注于无监督STS工作在不同的领域,但只需要最少的数据和计算资源。在理论上,我们提出了一个轻加权的期望校正(EC)制定STS计算。EC公式化统一了无监督STS方法,包括附加成分(AC)句子嵌入,最优传输(OT)和树核(TK)的余弦相似性。此外,我们提出了递归最优传输相似度(ROTS)算法来捕捉组成短语的语义组成多个递归EC配方。ROTS在线性时间内完成,比它的前辈更快。ROTS在经验上比以前的方法更有效和可扩展。在各种设置下的29个STS任务上的广泛实验表明,ROTS比现有的方法具有明显的优势。详细的消融研究证明了我们方法的有效性。
2022-10-05 cs.CL
Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset
UPV/EHU University of the Basque Country(巴斯克大学)
在本文中,我们介绍了vSTS,一个新的数据集测量文本相似性的句子使用多模态信息。数据集由图像及其相应的文本标题组成。我们描述的数据集定量和定性,并声称它是一个有效的金标准,用于测量自动多模态文本相似性系统。我们还描述了初始实验结合多模态信息。
2018-09-11 cs.AI cs.CL
CORD19STS: COVID-19 Semantic Textual Similarity Dataset
USC Information Sciences Institute(南加州大学信息科学研究所)
为了对抗COVID-19大流行,社会可以从各种自然语言处理应用中受益,例如对话医疗诊断系统和专门针对COVID-19校准的信息检索引擎。这些应用程序依赖于测量语义文本相似性(STS)的能力,使得STS成为一项基本任务,可以使几个下游应用程序受益。然而,现有的STS数据集和模型无法将其性能转化为特定领域的环境,如COVID-19。为了克服这一差距,我们引入了CORD 19 STS数据集,其中包括从COVID-19开放研究数据集(CORD-19)挑战中收集的13,710个注释句子对。具体来说,我们使用不同的采样策略生成了100万个句子对。然后,我们使用了一个微调的BERT类语言模型,我们称之为Sen-SCI-CORD 19-BERT,来计算句子对之间的相似性得分,以提供一个关于不同语义相似性水平的平衡数据集,这给了我们总共32 K个句子对。每个句子对都由五个Amazon Mechanical Turk(AMT)人群工作人员进行注释,其中标签表示句子对之间不同的语义相似性级别(即相关,有点相关和不相关)。在采用严格的资格任务来验证收集的注释后,我们最终的CORD 19 STS数据集包括13,710个句子对。
2020-11-02 cs.CL
Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables
Jilin University(吉林大学);Monash University(莫纳什大学)
最近,离散潜变量模型在自然语言处理(NLP)和计算机视觉(CV)中受到了极大的关注,这归因于它们在表示学习中与连续对应物相当的性能,同时在预测中更具可解释性。在本文中,我们开发了一个主题知情的离散潜在变量模型的语义文本相似性,学习一个共享的潜在空间,通过矢量量化的双对表示。与以往局限于局部语义上下文的模型相比,我们的模型可以通过主题建模来挖掘更丰富的语义信息。我们进一步提高了语义相似性的性能,通过注入量化表示到一个基于transformer的语言模型与一个精心设计的语义驱动的注意力机制。我们通过在各种英语语言数据集上的广泛实验证明,我们的模型能够在语义文本相似性任务中超越几个强大的神经基线。
2022-11-07 cs.AI cs.CL
Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss
School of Software, Tsinghua University(清华大学软件学院)
针对对比学习处理STS任务存在的细粒度信息利用不足、需大批次以及分类视角忽略语义渐进性的问题,本文提出带Translated ReLU与Smooth K2损失的回归框架,在7个STS基准上取得优异表现。
2024-10-06 cs.CL
Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection by Distorting Task-Agnostic Features
Peking University(北京大学)
检测分发外(OOD)输入对于自然语言处理(NLP)模型的安全部署至关重要。虽然现有的方法,特别是那些基于微调预训练语言模型(PLM)的特征空间中的统计数据的方法,被认为是有效的,但它们对不同类型的分布偏移的有效性仍然有待探索。在这项工作中,我们采取的第一步,全面评估主流的文本OOD检测方法检测语义和非语义的变化。我们发现:(1)没有现有的方法在这两种情况下表现良好;(2)在分布数据上微调PLM有利于检测语义变化,但严重恶化了检测非语义变化,这可以归因于任务不可知特征的扭曲。为了缓解这个问题,我们提出了一个简单而有效的通用OOD得分命名为GNOME,集成了来自任务不可知和特定于任务的表示的置信度得分。实验结果表明,GNOME在语义和非语义迁移场景下都能很好地工作,并在两个跨任务基准测试中两种迁移同时发生的情况下进一步带来了显著的改进。我们的代码可在https://github.com/lancopku/GNOME上获得。
2023-01-30 cs.CL
SemScore: Automated Evaluation of Instruction-Tuned LLMs based on Semantic Textual Similarity
Humboldt-Universität zu Berlin(柏林洪堡大学)
提出SemScore指标,利用语义文本相似性直接比较模型输出与目标响应,在12个指令微调LLMs上优于8种现有评估指标,与人工评估相关性最高。
2024-02-05 cs.CL
The Best Defense is Attack: Repairing Semantics in Textual Adversarial Examples
University of Exeter(埃克塞特大学)
本文提出 Rapid 方法,通过对抗检测器识别虚假标签并利用对抗攻击器修复文本对抗样本中的语义,在四个公开数据集上验证了其有效性。
2024-04-01 cs.CL
Approaches to Semantic Textual Similarity in Slovak Language: From Algorithms to Transformers
Department of Applied Informatics(应用信息系);Faculty of Mathematics, Physics and Informatics(数学、物理与信息学系);Comenius University(科梅尼乌斯大学)
本文探讨了斯洛伐克语语义文本相似性方法,比较了传统算法、机器学习模型和第三方工具,揭示了不同方法的优劣权衡。
2026-02-04 cs.CL
A Sentiment-and-Semantics-Based Approach for Emotion Detection in Textual Conversations
Microsoft(微软);IIT Kgp(印度理工学院克勒格布尔分校)
情绪是人类对内部或外部事件的反应而产生的生理状态。它们是复杂的,并在包括计算机科学在内的众多领域进行研究。作为人类,在阅读“你为什么不给我发短信!“我们可以将其解释为悲伤或愤怒的情绪,机器也存在同样的模糊性。由于缺乏面部表情和语音调制,从文本中检测情感是一个具有挑战性的问题。然而,随着人类越来越多地使用文本消息应用程序进行通信,并且数字代理在我们的社会中越来越受欢迎,这些数字代理必须具有情感意识,并相应地做出响应。在本文中,我们提出了一种新的方法,使用基于LSTM的深度学习模型来检测文本对话中的快乐,悲伤或愤怒等情绪。我们的方法包括半自动化的技术来收集我们的模型的训练数据。我们利用基于语义和情感的嵌入的优势,并提出了一种结合两者的解决方案。我们的工作是在真实世界的对话中进行评估的,并且显著优于传统的机器学习基线以及其他现成的深度学习模型。
2018-03-30 cs.CL
Leveraging Semantic Representations Combined with Contextual Word Representations for Recognizing Textual Entailment in Vietnamese
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
RTE是一个重要的问题,是一个相当活跃的研究社区。针对这一问题提出的研究工作是相当多样化的,有许多不同的方向。对于越南语来说,RTE问题是一个比较新的问题,但这个问题在自然语言理解系统中起着至关重要的作用。目前,基于上下文词表示学习模型的方法在解决这一问题上取得了显著的效果。然而,越南语是一种语义丰富的语言。因此,在本文中,我们想提出一个实验结合语义词表征通过SRL任务与上下文表征的BERT相关模型的RTE问题。实验结果表明语义表征对越南语自然语言理解的影响和作用。实验结果表明,语义感知的上下文表示模型的性能比没有加入语义表示的模型提高了约1%。此外,越南语对数据域的影响也高于英语。这一结果也显示了自主学习对越南语RTE问题的积极影响。
2023-01-01 cs.CL
NLU-STR at SemEval-2024 Task 1: Generative-based Augmentation and Encoder-based Scoring for Semantic Textual Relatedness
Birzeit University(比尔宰特大学)
本文提出结合生成式数据增强与基于 BERT 的回归评分和余弦相似度方法,在 SemRel-2024 语义文本相关性任务中处理阿拉伯语及方言,并在现代标准阿拉伯语赛道取得第一名。
2024-05-01 cs.CL
Multimodal Logical Inference System for Visual-Textual Entailment
Ochanomizu University(御茶水女子大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
近年来,大量关于跨文本和视觉的多模态推理的研究已经发展到获得基于视觉的单词和句子表示。在本文中,我们使用基于逻辑的表示作为文本和图像的统一意义表示,并提出了一个无监督的多模态逻辑推理系统,可以有效地证明它们之间的蕴涵关系。我们表明,通过结合语义解析和定理证明,该系统可以处理语义复杂的句子的视觉-文本推理。
2019-06-10 cs.CL
Explainable Semantic Textual Similarity via Dissimilar Span Detection
School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出不相似跨度检测任务,旨在识别文本对中语义不同的跨度,以提高语义文本相似性任务的可解释性,并通过新数据集和基线方法评估,显示其在同义词检测中的提升效果。
2026-03-22 cs.CL
Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity
School of Software, Tsinghua University(清华大学软件学院)
针对语义文本相似性任务中对比学习遭遇性能瓶颈的问题,提出以皮尔逊相关系数为损失函数的Pcc-tuning方法,仅用少量细粒度标注样本即可显著超越现有最优水平。
2024-10-06 cs.CL
Text Encoders Lack Knowledge: Leveraging Generative LLMs for Domain-Specific Semantic Textual Similarity
Dartmouth College(达特茅斯学院)
本研究将语义文本相似度(STS)转化为文本生成问题,发现在依赖世界知识的复杂领域特定STS任务中,生成式LLM结合特定提示策略显著优于编码器基线,平均提升22.3%。
2023-09-12 cs.CL
CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement
University of Liverpool(利物浦大学);Cardiff University(卡迪夫大学);Amazon(亚马逊)
CASE通过条件感知嵌入方法提升基于LLM的文本在条件语义相似性任务中的表现。
2026-02-02 cs.CL
MasonTigers at SemEval-2024 Task 1: An Ensemble Approach for Semantic Textual Relatedness
George Mason University(乔治梅森大学)
本文提出 MasonTigers 参加 SemEval-2024 任务 1 的集成方法,结合统计机器学习、语言特定 BERT 模型和句子 Transformer,在 14 种语言、三个赛道中取得靠前排名。
2024-04-06 cs.CL
Textual Economy through Close Coupling of Syntax and Semantics
我们专注于生产的对象,动作和事件的有效描述。我们定义了一种类型的效率,文本经济,利用听话人的推理链接到一个句子内的其他地方的材料的认可。文本经济导致有效的描述,因为支持这种推理的材料已经被包括在内,以满足独立的交际目标,因此在波拉克的意义上是超载的。我们认为,实现文本的经济性提出了强烈的要求,在生成句子的表示和推理。表示必须支持生成器同时考虑语法和语义。推理必须使生成者能够在任何阶段快速可靠地评估听话者将如何解释当前句子及其(不完整的)句法和语义。我们表明,这些代表性和推理的要求,满足在SPUD系统的句子规划和实现。
1998-06-29 cmp-lg cs.CL
Multilingual Evaluation of Semantic Textual Relatedness
Pune Institute of Computer Technology(浦那计算机技术学院)
针对现有NLP研究多聚焦英语、多语言语义文本相关性(STR)研究不足的问题,本文依托SemEval-2024共享任务,在三种学习范式下探究多语言模型在四种语言STR任务上的表现,取得可观结果,为低资源语言相关研究提供启发。
2024-04-13 cs.CL
S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);University of Electronic Science and Technology of China, Shenzhen Campus(电子科技大学深圳校区)
研究针对现有多模态对话检索方法无法捕捉对话全局语义与风格一致性的问题,提出S2Dialog框架,结合对话级文本与声学检索器及对比学习,在DailyTalk数据集上实现出色检索性能。
2026-08-17 cs.CL
Sememe Prediction: Learning Semantic Knowledge from Unstructured Textual Wiki Descriptions
Peking University(北京大学)
每天都有大量的新单词出现,这就需要用NLP系统可以理解的语义来表示它们。义位是人类语言的最小语义单位,它们的组合可以代表一个词的意义。手工构建基于义素的知识库既耗时又费力。幸运的是,社区致力于编写wiki网站中的单词描述。在本文中,我们探索自动预测的基础上,维基网站中的词的描述的词汇义位。我们认为这个问题是一个弱有序的多标签任务,并提出了一个标签分布式seq 2seq模型(LD-seq 2seq)与一个新的软损失函数来解决这个问题。在实验中,我们采用了真实世界的义素知识库知网和百度Wiki中相应的词的描述进行训练和评价。结果表明,我们的LD-seq 2seq模型不仅在测试集上显著击败了所有基线,而且在测试集的随机子集中也优于业余人类注释者。
2018-08-16 cs.CL
SemEval-2024 Task 1: Semantic Textual Relatedness for African and Asian Languages
Cardiff University(卡迪夫大学);University of Pretoria(比勒陀利亚大学);Northeastern University(东北大学);BITS Pilani(pilani bits 学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);KU Leuven(鲁汶大学);Uppsala University(乌普萨拉大学);IIIT Hyderabad(海德拉巴印度信息技术学院);University of Toronto(多伦多大学);Universität Hamburg(汉堡大学);National Research Council Canada(加拿大国家研究委员会);Imperial College London(伦敦帝国学院)
本文介绍SemEval-2024首个语义文本相关性共享任务,针对亚非14种低资源语言设置三类赛道,吸引众多团队参与,并总结了各赛道的最优系统与有效方法。
2024-04-17 cs.CL
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex;Facebook AI;Johns Hopkins University(约翰斯·霍普金斯大学)
跨语言命名实体词典是多语言NLP任务(如机器翻译和跨语言维基化)的重要资源。虽然知识库包含大量高资源语言(如英语和法语)的实体,但低资源语言的相应实体往往缺失。为了解决这个问题,我们提出了词汇-语义-语音对齐(LSP-Align),一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线,并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布,作为NLP社区的资源。
2021-09-10 cs.CL
Probing Cross-modal Semantics Alignment Capability from the Textual Perspective
Nanjing University(南京大学)
近年来,视觉和语言预训练(VLP)模型在各种跨模态下游任务中取得了最先进的成果。对齐跨模态语义被认为是VLP模型的基本功能之一。然而,VLP模型中对齐的内在工作机制仍不清楚。在本文中,我们提出了一种新的探测方法,是基于图像描述首次实证研究跨模态语义对齐的VLP模型。我们的探测方法是建立在这样一个事实上,即给定一个图像-标题对,VLP模型将给出一个分数,表明两个模态的对齐程度;最大化这些分数将生成VLP模型认为对齐良好的句子。因此,分析这些句子将揭示不同的模态是如何对齐的,以及这些对齐在VLP模型中的效果如何。我们将我们的探测方法应用于五种流行的VLP模型,包括UNITER,ROSITA,ViLBERT,CLIP和LXMERT,并对这些模型指导下生成的字幕进行了全面的分析。我们的研究结果表明,VLP模型(1)更注重将对象与视觉词对齐,而忽略全局语义;(2)更喜欢固定的句型,从而忽略更重要的文本信息,包括流畅性和语法;(3)认为具有更多视觉词的标题与图像更好地对齐。这些发现表明,VLP模型在跨模态语义对齐方面仍然存在弱点,我们希望这项工作能够引起研究人员在设计新的VLP模型时对这些问题的关注。
2022-10-18 cs.CL
A Resource-Light Method for Cross-Lingual Semantic Textual Similarity
University of Mannheim(曼海姆大学);Symanto Research;Universitat Politècnica de València(瓦伦西亚理工大学)
识别跨语言语义相似的句子或段落对于许多任务都是有益的,从跨语言信息检索和剽窃检测到机器翻译。然而,最近提出的用于预测短文本的跨语言语义相似性的方法利用工具和资源(例如,机器翻译系统、句法分析器或命名实体识别),这些对于许多语言(或语言对)来说是不存在的。相比之下,我们提出了一个无监督的和一个非常资源轻的方法来测量不同语言的文本之间的语义相似性。为了在双语(或多语言)空间中操作,我们投影连续的词向量(即,词嵌入)经由线性翻译模型从一种语言到另一种语言的向量空间。然后,我们根据双语嵌入空间中的向量的相似性对齐单词,并研究利用双语嵌入和单词对齐的语义相似性的不同无监督措施。只需要一个有限大小的一组语言之间的单词翻译对,所提出的方法是适用于几乎任何一对语言,其中存在一个足够大的语料库,需要学习单语词嵌入。在三个不同的数据集上测量语义文本相似性的实验结果表明,我们简单的资源轻方法达到了接近监督和资源密集型方法的性能,在不同的语言对中显示出稳定性。此外,我们评估所提出的方法上的两个外在的任务,即从可比语料库和跨语言剽窃检测平行句子的提取,并表明它产生的性能相媲美的复杂的资源密集型国家的最先进的模型为各自的任务。
2018-01-19 cs.CL
Are ELECTRA's Sentence Embeddings Beyond Repair? The Case of Semantic Textual Similarity
University of Zagreb(萨格勒布大学);Faculty of Electrical Engineering and Computing(电气工程与计算机学院);TakeLab
针对ELECTRA句嵌入质量差、学界已默认不将其用于语义文本相似度任务的问题,本文提出截断模型微调(TMFT)方法修复嵌入,显著提升了STS基准性能,还发现ELECTRA生成器模型效果堪比BERT且参数效率更高。
2024-10-03 cs.CL
Improving Multilingual Semantic Textual Similarity with Shared Sentence Encoder for Low-resource Languages
Alibaba Group(阿里巴巴集团);Carnegie Mellon University(卡内基梅隆大学)
测量两个句子之间的语义相似性(或语义文本相似性- STS)是许多NLP应用程序的基础。尽管在有足够标签的监督环境中取得了显着的成果,但在标签不足的低资源语言中,很少有人注意到这一任务。现有的方法大多利用机器翻译技术将句子翻译成资源丰富的语言。这些方法要么会产生语言偏见,要么在口语场景更频繁且要求严格效率的工业应用中不切实际。在这项工作中,我们提出了一个多语言的框架,以解决STS任务在一个低资源的语言,如西班牙语,阿拉伯语,印度尼西亚语和泰语,通过利用丰富的注释数据在一个丰富的资源语言,如英语。我们的方法是从一个基本的单语STS框架扩展到一个共享的多语言编码器预训练的翻译任务,将丰富的资源语言数据。通过利用共享的多语言编码器的性质,一个句子可以具有针对不同目标翻译语言的多个表示,这些表示用于集成模型以提高相似性评估。我们证明了我们的方法优于其他国家的最先进的方法对SemEval STS任务的显着改善非MT方法,以及在线工业产品,其中MT方法未能击败基线,而我们的方法仍然有一贯的改进。
2018-10-30 cs.CL
Transformer-based Joint Source Channel Coding for Textual Semantic Communication
Beijing Institute of Technology(北京理工大学);University of Surrey(萨里大学);China Mobile (Chengdu) Institute of Research and Development(中国移动(成都)研究院)
针对空天地海一体化网络抗干扰传输需求,提出基于Transformer的文本语义传输框架,通过词元化、编码量化、多信道传输与解码重建实现可靠通信,仿真验证其在语义传输性能上的优势。
2023-07-23 cs.CL eess.SP
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent(赛博代理)
针对非英语单语语义文本相似度性能落后的问题,对比跨语言迁移与机器翻译两种数据增强技术,发现二者性能相当,且维基百科领域数据优于NLI领域数据,结合后可提升单语STS性能。
2024-03-08 cs.CL
On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明,即使没有任何文本监督,与图像配对的语音也可以用于学习语义上有意义的语音表示。然而,在现实世界的低资源环境中,我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的,在存在不同数量的文本监督。特别是,我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务,其中模型在带有语音字幕的图像上进行训练,并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法,以利用视觉和文本形式,与视觉监督的关键字概率从外部标记的形式。我们发现,视觉接地是有帮助的,即使在存在的文字监督,我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音,当还使用视觉监督时,我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS
PESTS: Persian_English Cross Lingual Corpus for Semantic Textual Similarity
Iran University of Science and Technology(伊朗科技大学)
本文首次构建波斯语-英语语义文本相似度语料库 PESTS(含5375个句子对),并微调多种 transformer 模型,使 XLM ROBERTa 的 Pearson 相关系数从 85.87% 提升至 95.62%。
2024-09-05 cs.AI cs.CL
Annotating Training Data for Conditional Semantic Textual Similarity Measurement using Large Language Models
University of Liverpool(利弗池大学);Cardiff University(卡迪夫大学)
本文利用大型语言模型修正并大规模重新标注C-STS数据集,以最少人工工作量解决标注质量问题,使有监督C-STS模型的Spearman相关性显著提升5.4%。
2025-09-17 cs.CL
KurdSTS: The Kurdish Semantic Textual Similarity
Artificial Intelligence and Innovation Centre, University of Kurdistan Hewler(库尔德斯坦赫勒大学人工智能与创新中心);Soran University(索兰大学);University of Tehran(德黑兰大学)
本文提出了首个库尔德语语义文本相似性数据集,并评估了多种基线模型,揭示了库尔德语在形态学、正字法和代码混合方面的挑战。
2025-11-27 cs.AI cs.CL
Path-based knowledge reasoning with textual semantic information for medical knowledge graph completion
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Unisound Information Technology Co., Ltd(北京云知声信息技术有限公司)
背景知识图(Knowledge Graph,KG),尤其是医学知识图,往往是不完整的,因此需要医学知识图谱的完备性(MedKGC)。MedKGC可以根据KG中已有的知识发现新的事实。基于路径的知识推理算法是解决这一问题的重要途径之一。这种类型的方法由于其高性能和可解释性,近年来受到了极大的关注。实际上,传统的方法如路径排序算法(PRA)将实体对之间的路径作为原子特征。然而,医疗KG是非常稀疏的,这使得它很难建模有效的语义表示极其稀疏的路径特征。医学知识库的稀疏性主要体现在实体和路径的长尾分布上。以往的方法只考虑了知识图谱路径中的上下文结构,而忽略了路径中符号的文本语义,因此在实体稀疏性和路径稀疏性两个方面无法进一步提高性能。针对上述问题,本文提出了两种新的基于路径的推理方法,分别解决实体和路径的稀疏性问题。通过使用预训练的模型BERT,结合实体和关系的文本语义表示,我们将医学KG中的符号推理任务建模为文本语义表示中的数值计算问题。
2021-05-28 cs.AI cs.CL
Incorporating Visual Semantics into Sentence Representations within a Grounded Space
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);Criteo AI Lab(Criteo人工智能实验室)
语言背景是一个活跃的领域,旨在丰富文本表征与视觉信息。通常,文本和视觉元素嵌入在同一个表示空间中,这隐含地假设了模态之间的一一对应关系。这个假设并不成立时,代表的话,并成为问题时,用于学习句子表征-本文的重点-作为一个视觉场景可以描述各种各样的句子。为了克服这一限制,我们建议通过学习一个中间表示空间:接地空间将视觉信息转换为文本表示。我们进一步提出了两个新的互补目标,确保(1)与相同的视觉内容相关联的句子在接地空间中是接近的,(2)相关元素之间的相似性被保留在不同的模态。我们表明,该模型优于以前的国家的最先进的分类和语义相关的任务。
2020-02-07 cs.CL
SenTag: a Web-based Tool for Semantic Annotation of Textual Documents
European University Institute(欧洲大学学院);University of Padova(帕多瓦大学)
在这项工作中,我们提出了SenTag,一个轻量级的基于Web的工具,专注于文本文档的语义注释。该平台允许多个用户处理文档语料库。该工具能够通过采用可扩展置标语言(XML)作为输出格式的直观和易于使用的用户界面来标记文档语料库。该应用程序的主要目标是双重的:促进标记过程,减少或避免输出文档中的错误。此外,它允许识别用于构建参数图的参数和其他实体。也可以评估在文本语料库上工作的注释者的一致性水平。
2021-09-16 cs.CL cs.DL