A reproducible experimental survey on biomedical sentence similarity: a string-based method sets the state of the art
Universidad Nacional de Educación a Distancia (UNED)(西班牙国立远程教育大学)
本报告介绍了最大规模的、首次可重复的生物医学句子相似性实验调查,其目的如下:(1)阐明问题的最新进展;(2)解决一些阻碍评价大多数现有方法的可重复性问题;(3)评价几种未开发的句子相似性方法;(4)评价一个尚未开发的基准,称为语料库转录调节(Corpus-Transcriptional-Regulation):(5)研究预处理阶段和命名实体识别(NER)工具对句子相似度方法性能的影响;最后,(6)弥补这一研究领域方法和实验重复性资源的缺乏。我们的实验调查基于一个单一的软件平台,该平台提供了详细的再现性协议和数据集作为补充材料,以允许精确复制我们所有的实验。此外,我们还介绍了一种新的基于聚合字符串的句子相似性方法,称为LiBlock,以及当前基于本体的方法的八种变体和一种新的预训练词嵌入模型,该模型在PMC-BioC语料库中的全文文章上进行训练。我们的实验表明,我们的新的字符串为基础的措施集在生物医学领域的句子相似性任务的最新技术水平,并显着优于所有的方法在此评估,除了一个基于本体的方法。同样,我们的实验证实,预处理阶段,和选择的NER工具,有显着影响的句子相似性方法的性能。我们还详细介绍了目前的方法的一些缺点和局限性,并警告需要完善目前的基准。最后,一个值得注意的发现是,我们的新的基于字符串的方法显着优于本文评估的所有最先进的机器学习模型。
2022-05-18 cs.AI cs.CL
Sentence Embeddings and High-speed Similarity Search for Fast Computer Assisted Annotation of Legal Documents
Université de Montréal(蒙特利尔大学);Carnegie Mellon University(卡内基梅隆大学);Hofstra University(霍夫斯特拉大学);University of Pittsburgh(匹兹堡大学)
对法律文档中的句子进行人工注释是许多基于机器学习的系统支持法律任务的重要前提。通常,注释是逐句顺序完成的,这通常是耗时的,因此是昂贵的。在本文中,我们介绍了一个概念证明系统,用于注释句子的横向。“这种方法是基于这样一种观察,即意义相似的句子在特定的类型系统中通常具有相同的标签。我们使用这种观察,允许注释者快速查看和注释句子,语义上类似于一个给定的句子,在整个语料库的文件。在这里,我们提出了系统的接口和经验评估的方法。实验表明,横向标注有可能使标注过程更快,更一致。
2021-12-21 cs.AI cs.CL cs.LG
Interpretable Semantic Textual Similarity: Finding and explaining differences between sentences
UPV/EHU(巴斯克大学)
用户对人工智能代理的接受程度可能取决于它们解释其推理的能力,这需要添加一个可解释性层,以便于用户理解其行为。本文着重于在语义文本相似度(STS)之上增加一个可解释层,它衡量两个句子之间的语义等价程度。可解释性层被形式化为跨两个句子的片段对之间的对齐,其中片段之间的关系被标记有关系类型和相似性得分。我们提出了一个公开的数据集的句子对注释后的形式化。然后,我们开发了一个在这个数据集上训练的系统,给定一个句子对,以分级和类型化片段对齐的形式解释什么是相似的和不同的。当在数据集上进行评估时,系统的性能优于知情的基线,表明数据集和任务是定义良好且可行的。最重要的是,两个用户研究显示了系统输出如何用于自动生成自然语言的解释。用户在访问解释时表现更好,提供了初步证据,证明我们的数据集和自动生成解释的方法在实际应用中是有用的。
2016-12-14 cs.AI cs.CL cs.LG
Exploring RWKV for Sentence Embeddings: Layer-wise Analysis and Baseline Comparison for Semantic Similarity
本文逐层评估预训练 RWKV 在零样本语义相似度句子嵌入上的表现,并与 GloVe 基线比较,发现其 Spearman 相关性较弱且存在计算权衡。
2025-02-20 cs.AI cs.CL
Cross-Dialect Sentence Transformation: A Comparative Analysis of Language Models for Adapting Sentences to British English
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
本研究比较了不同语言模型将美式、印度和爱尔兰英语方言转换为英式英语的能力,发现印度和爱尔兰英语翻译与英式英语相似度较高,而美式英语略低;Llama-2-70b表现最佳,强调了模型选择对翻译质量的关键作用。
2023-11-05 cs.AI cs.CL
A Comparative Study of Sentence Embedding Models for Assessing Semantic Variation
University of Cincinnati(辛辛那提大学)
本文通过分析多部文学书籍中连续句子相似度时间序列和成对相似度矩阵,在真实场景下比较多种句子嵌入方法,发现它们能推断出高度相关的语义变化模式,但存在有趣差异。
2023-08-08 cs.AI cs.CL
LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias
NielsenIQ Innovation(尼尔森IQ创新部)
本文提出词汇感知注意力模块 LEA,通过融合句子间词语的原始文本相似度来缓解拼写错误引起的词元分布偏移,从而提升交叉编码器在句子相似度任务中的鲁棒性,并在多个数据集上验证了其有效性。
2023-07-06 cs.AI cs.CL
Logic Against Bias: Textual Entailment Mitigates Stereotypical Sentence Reasoning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
由于其基于相似性的学习目标,预先训练的句子编码器经常内化反映其训练语料库中存在的社会偏见的刻板假设。在本文中,我们描述了流行的句子表示模型中存在的关于不同社区的几种刻板印象,包括预训练的下一句预测和对比句子表示模型。我们比较这样的模型文本蕴涵模型,学习语言逻辑的各种下游语言理解任务。通过比较基于文本相似度的强预训练模型和文本蕴涵学习,我们得出结论,具有文本蕴涵的显式逻辑学习可以显著减少偏见,提高社会社区的识别,而无需显式的去偏见过程
2023-03-10 cs.AI cs.CL cs.CY
Skeleton-based Coherence Modeling in Narratives
本文研究骨架在后续句子中的一致性作为连贯性度量的可行性,提出SSN模型优于基线方法,表明当前连贯性建模技术通过处理句子而非子部分是正确的方向。
2026-04-02 cs.AI cs.CL
Retrofitting Multilingual Sentence Embeddings with Abstract Meaning Representation
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出了一种新的基于抽象意义表示的多语言句子嵌入方法。与原始文本输入相比,AMR是一种结构化的语义表示,它明确无误地表示了句子中的核心概念和关系。它还有助于减少不同表达和语言之间的表面变化。与大多数先前的工作,只评估语义相似性的测量能力,我们提出了一个彻底的评估现有的多语言句子嵌入和我们的改进版本,其中包括一个集合的五个传输任务,在不同的下游应用程序。实验结果表明,利用AMR改进多语言句子嵌入,在语义文本相似度和迁移任务上都有更好的表现。我们的代码库和评估脚本可以在\url{https://github.com/jcyk/MSE-AMR}上找到。
2022-10-18 cs.AI cs.CL
Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本研究提出支持220余种语言的通用多语言句子表示模型MuSR,结合CrossConST跨语言一致性正则化技术训练模型,在多语言相似度搜索和双语文本挖掘任务上性能优于由148个独立编码器构成的LASER3。
2023-06-12 cs.AI cs.CL
SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable Semantic Features
Heidelberg University(海德堡大学)
本研究提出S$^3$BERT,通过逼近AMR图度量将SBERT句子嵌入分解为可解释的语义子嵌入,同时保持原嵌入的相似度性能,兼顾可解释性与效率。
2022-10-28 cs.AI cs.CL
A Case Study to Reveal if an Area of Interest has a Trend in Ongoing Tweets Using Word and Sentence Embeddings
在自然语言处理领域,从文本中提取信息抽取一直是众多研究者的目标。许多不同的技术已经被应用,以揭示一条推文可能有的观点,从而了解多达280个字符的小文字的情绪。除了弄清楚推文的情绪之外,研究还可以专注于发现推文与特定兴趣领域的相关性,这构成了本研究的目的。为了揭示一个感兴趣的领域在正在进行的推文中是否有趋势,我们提出了一种易于应用的自动化方法,其中显示每日推文语料库与代表我们感兴趣领域的目标词之间相似性的每日平均相似性得分是通过使用基于朴素相关性的技术来计算的,而无需训练任何机器学习模型。每日平均相似度得分主要基于余弦相似度和多语言通用句子编码器计算的词/句子嵌入,并显示了关于某个感兴趣领域的推文的主要意见流,这证明了通过使用本研究中提出的方法可以很容易地几乎实时的捕获Twitter上特定主题的持续趋势。我们还比较了使用词与句子嵌入的有效性,同时应用我们的方法,并意识到,两者给出几乎相同的结果,而使用词嵌入需要更少的计算时间比句子嵌入,因此更有效。本文将首先介绍有关基础知识的背景信息,然后继续解释拟议的方法,最后解释结果并总结调查结果。
2021-10-02 cs.AI cs.CL
Just Rank: Rethinking Evaluation with Word and Sentence Similarities
National University of Singapore(新加坡国立大学);University of Southern California(南加州大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI(科通智能)
在自然语言处理中,词和句子嵌入是非常有用的特征表示。然而,嵌入的内在评估远远落后,自过去十年以来一直没有重大更新。词语和句子相似性任务已经成为事实上的评价方法。它导致模型过度拟合这些评估,对嵌入模型的开发产生负面影响。本文首先指出了使用语义相似度作为词和句子嵌入评价的金标准存在的问题。此外,我们提出了一种新的内在评估方法,称为EvalRank,它与下游任务的相关性要强得多。基于60多个模型和流行的数据集进行了广泛的实验,以证明我们的判断。最后,发布了实用评价工具包,以供今后制定基准之用。
2022-03-21 cs.AI cs.CL
Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations
University of Cambridge(剑桥大学);Amazon(亚马逊)
在NLP中,大量的任务涉及两个序列之间的成对比较(例如句子相似性和释义识别)。主要地,两种公式用于双编码对任务:双编码器和交叉编码器。双编码器产生固定维度的句子表示,并且计算效率高,但是,它们通常不如交叉编码器。交叉编码器可以利用他们的注意力头来利用句子间的交互来获得更好的性能,但它们需要任务微调,并且计算成本更高。在本文中,我们提出了一个完全无监督的句子表示模型,称为Trans-Encoder,它将两种学习范式结合到一个迭代的联合框架中,同时学习增强的双向和交叉编码器。具体来说,在预训练的语言模型(PLM)之上,我们首先将其转换为无监督的双向编码器,然后在双向和交叉编码器任务公式之间交替。在每个交替中,一个任务制定将产生伪标签,其用作另一任务制定的学习信号。然后,我们提出了一个扩展,进行这种自蒸馏的方法在多个PLM并行,并使用其伪标签的平均相互蒸馏。据我们所知,Trans-Encoder创建了第一个完全无监督的交叉编码器,也是最先进的无监督双编码器,用于句子相似性。Trans-Encoder的双向编码器和交叉编码器公式在句子相似度基准上都优于最近提出的最先进的无监督句子编码器,如BERN-BERT和SimCSE,最高可达5%。
2022-03-13 cs.AI cs.CL cs.LG
A Neural-Symbolic Approach Towards Identifying Grammatically Correct Sentences
Computational Cognition Lab, Cyprus(塞浦路斯计算认知实验室)
本文提出融合语法句法规则与语言模型的神经符号方法,用于判断英语句子是否语法正确,并在COLA任务上验证其有效性。
2023-07-16 cs.AI cs.CL
Textual Similarity as a Key Metric in Machine Translation Quality Estimation
University of Tübingen(蒂宾根大学);Stuttgart University(斯图加特大学)
本文提出以文本相似性作为机器翻译质量评估新指标,利用句子变换器与余弦相似度,并在MLQE-PE数据集上证明其预测人工评分优于hter等传统指标。
2024-07-01 cs.AI cs.CL
C-STS: Conditional Semantic Textual Similarity
The Allen Institute for AI(艾伦人工智能研究所);Princeton University(普林斯顿大学);Georgia Tech(佐治亚理工学院)
本研究提出条件语义文本相似度(C-STS)任务,通过自然语言条件明确相似度的衡量维度,降低传统STS的歧义性,测试发现多款主流模型在该任务上表现不佳,同时公开了近1.9万样本与代码以支撑相关研究。
2023-11-06 cs.AI cs.CL cs.LG
Validating ChatGPT Facts through RDF Knowledge Graphs and Sentence Similarity
FORTH(希腊研究与技术基金会);ICS(信息学与电信研究所);University of Crete(克里特大学)
本文提出一种利用RDF知识图谱和句子相似性验证ChatGPT事实的流水线,通过DBpedia和LODsyndesis等图谱及嵌入算法,在2,000个事实基准上验证了85.3%的正确事实并纠正了58%的错误事实。
2023-11-17 cs.AI cs.DB
KurdSTS: The Kurdish Semantic Textual Similarity
Artificial Intelligence and Innovation Centre, University of Kurdistan Hewler(库尔德斯坦赫勒大学人工智能与创新中心);Soran University(索兰大学);University of Tehran(德黑兰大学)
本文提出了首个库尔德语语义文本相似性数据集,并评估了多种基线模型,揭示了库尔德语在形态学、正字法和代码混合方面的挑战。
2025-11-27 cs.AI cs.CL
DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective
Sina Weibo(新浪微博);China Literature Limited(阅文集团)
本文提出DebCSE框架,通过逆倾向加权采样方法消除对比句嵌入学习中的多种偏差,在STS基准上以80.33%的Spearman相关系数显著优于现有最先进模型。
2023-09-14 cs.AI cs.CL
PESTS: Persian_English Cross Lingual Corpus for Semantic Textual Similarity
Iran University of Science and Technology(伊朗科技大学)
本文首次构建波斯语-英语语义文本相似度语料库 PESTS(含5375个句子对),并微调多种 transformer 模型,使 XLM ROBERTa 的 Pearson 相关系数从 85.87% 提升至 95.62%。
2024-09-05 cs.AI cs.CL
FILM: A Fast, Interpretable, and Low-rank Metric Learning Approach for Sentence Matching
Institute of Computing Technology(计算技术研究所);Chinese Academy of Sciences(中国科学院);Department of Mathematics(数学系);UC Berkeley(加州大学伯克利分校)
语义相似度检测在句子匹配中起着至关重要的作用。它要求学习自然语言的判别表示。最近,由于越来越复杂的模型架构,已经取得了令人印象深刻的进展,以及耗时的训练过程和不可解释的推理。为了缓解这个问题,我们探索了一种度量学习方法,名为FILM(快速,可解释和低秩度量学习),以有效地找到高维数据的高分辨投影。我们构造这个度量学习问题作为一个流形优化问题,并解决它的Cayley变换方法与Barzilai-Borwein步长。在实验中,我们将FILM与三重损失最小化目标应用于Quora挑战和语义文本相似性(STS)任务。实验结果表明,FILM方法具有更好的性能和最快的计算速度,这与我们对时间复杂度的理论分析是一致的。
2020-10-13 cs.AI cs.CL cs.LG
Contrastive Visual Semantic Pretraining Magnifies the Semantics of Natural Language Representations
University of Washington(华盛顿大学)
我们研究对比视觉语义预训练的效果,通过比较GPT-2和CLIP(一个zero-shot多模态图像分类器,它适应GPT-2架构来编码图像字幕)形成的上下文化英语语言表示的几何和语义属性。我们发现,对比视觉语义预训练显着减轻了GPT-2的上下文词嵌入中发现的各向异性,使得CLIP词嵌入的层内自相似性(平均成对余弦相似性)在所有层中均低于0.25,而GPT-2的顶层大于0.95。CLIP词嵌入在词级语义内在评估任务上优于GPT-2,并在RG 65评估中达到了新的基于语料库的最新水平,为0.88。CLIP还形成了句子的细粒度语义表示,并在SemEval-2017语义文本相似性基准测试中获得了Spearman的rho = .73,没有进行微调,而GPT-2的任何层都不大于rho = .45。最后,CLIP句子嵌入的层内自相似性随着层索引的增加而降低,在顶层达到0.25,而使用EOS令牌形成的GPT-2句子嵌入的自相似性逐层增加,并且从未低于0.97。我们的研究结果表明,高各向异性是不是一个不可避免的后果的语境化,视觉语义预训练是有益的,不仅为有序的视觉表示,但也为编码有用的语义表示的语言,无论是在单词水平和句子水平。
2022-03-14 cs.AI cs.CL cs.CY
SentenceKV: Efficient LLM Inference via Sentence-Level Semantic KV Caching
Department of Computer Science Rensselaer Polytechnic Institute(计算机科学系,罗切斯特理工学院);Department of Computer Science University of Waterloo(计算机科学系,滑铁卢大学)
针对长上下文 LLM 的 KV 缓存开销问题,提出 SentenceKV,以句子级语义向量驻留 GPU、KV 对卸载 CPU 并按需检索,实现更低内存与更稳延迟。
2025-09-29 cs.AI cs.CL cs.LG
Czech News Dataset for Semantic Textual Similarity
NTIS – New Technologies for the Information Society(NTIS – 信息社会新技术研究中心);University of West Bohemia(西波希米亚大学);Charles University(查理大学)
本文描述了一种新的数据集,包括句子的语义相似性注释。数据来源于捷克语的新闻领域。我们详细描述了收集和注释数据的过程。该数据集包含138,556个人类注释,分为训练集和测试集。共有485名新闻专业学生参与了创作过程。为了增加测试集的可靠性,我们将注释计算为9个单独注释的平均值。我们通过测量内部和内部注释者的一致性来评估数据集的质量。除了协议编号外,我们还提供了所收集数据集的详细统计数据。最后,我们总结了我们的论文与基线实验,建立一个系统,预测句子的语义相似性。由于大量的训练注释(116 956),该模型的性能明显优于平均注释器(Person的相关系数为0.92与0.86)。
2022-01-21 cs.AI cs.CL cs.LG