Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University(穆罕默德·阿里·真纳大学);FAST NUCES(巴基斯坦国家计算机与新兴科学大学)
两种语言之间的词汇相似性揭示了许多有趣的语言学见解,如遗传关系,相互理解,以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面,本文提出了一种方法的语音编辑距离(PED),使用软比较的字母,使用与它们相关的发音功能。该系统将单词转换为相应的国际音标(IPA),然后将IPA转换为其发音特征集。之后,使用所提出的方法比较发音特征集的列表。例如,PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地,希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93,而对于并置比较,它们基于IPA的编辑距离分别为4和2。实验用六种语言(阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语)进行。在这方面,我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此,与所提出的方法,我们发现的遗传亲和力,相似性,和借用/外来词,尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
Semantically-informed distance and similarity measures for paraphrase plagiarism identification
Instituto Nacional de Astrofísica, Óptica y Electrónica(国家天体物理、光学与电子研究所);Symanto Research(Symanto研究中心);Universidad Autónoma Metropolitana Unidad Cuajimalpa(墨西哥自治都市大学夸希马尔帕校区);PRHLT Research Center Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心)
由于剽窃文本是通过几种改写技术故意修改的,因此释义剽窃识别是一项非常复杂的任务。因此,本文介绍了两个新的措施来评估两个给定的文本的相关性:语义知情的相似性度量和语义知情的编辑距离。这两种措施都能够从外部资源或单词的分布式表示中提取语义信息,从而产生用于训练用于检测释义剽窃的监督分类器的信息特征。实验结果表明,所提出的度量方法在检测不同类型的释义剽窃方面效果良好。此外,结果是非常有竞争力的国家的最先进的方法,具有代表一个更简单,但同样有效的解决方案的优势。
2018-05-29 cs.CL
Tracing metaphors in time through self-distance in vector spaces
Univ. of Amsterdam(阿姆斯特丹大学);Univ. of Groningen(格罗宁根大学);Zanichelli editore(扎尼凯利出版社)
从历时语料库的意大利语,我们建立连续的向量空间的时间,并使用它们来比较一个术语的余弦相似性本身在不同的时间跨度。我们假设相似性的下降可能与特定时间隐喻意义的出现有关。基于相似性的观察结果与参考词典中记录的比喻意义的实际年份相匹配,并通过手动检查语料库的出现。
2016-11-10 cs.CL
Word Rotator's Distance
Tohoku University(东北大学);RIKEN(理化学研究所)
文本相似性评估的一个关键原则是通过考虑词对齐来衡量两个文本之间的语义重叠程度。这种基于语义的方法是直观和可解释的,然而,它们在经验上不如通用句子向量之间的简单余弦相似性。为了解决这个问题,我们专注于并证明了这样一个事实,即词向量的范数是一个很好的代理字的重要性,和他们的角度是一个很好的代理字的相似性。基于对齐的方法不区分它们,而基于对齐向量的方法自动使用规范作为单词重要性。因此,我们提出了一种方法,该方法首先将词向量分解成它们的范数和方向,然后使用推土机的距离(即,最优传输成本),我们称之为单词旋转器距离。此外,我们发现如何增长的范数和方向的词向量(向量转换器),这是一个新的系统的方法,来自于搜索向量估计方法。在几个文本相似性数据集上,这些简单的方法的组合不仅优于基于验证的方法,而且还优于强基线。源代码可在www.example.com上获得
2020-11-16 cs.CL
Revisiting Code Similarity Evaluation with Abstract Syntax Tree Edit Distance
University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学技术研究所)
本文重新审视代码相似度评估,重点研究AST编辑距离在多种语言中的表现,并提出并发布了一种增强版TSED自适应指标,实验证明其在所有测试语言中均有效。
2024-06-03 cs.CL cs.PL cs.SE
Similarity-Distance-Magnitude Activations
Reexpress AI
本文提出SDM激活函数,通过引入相似度和距离意识提升softmax的鲁棒性和可解释性,并通过密集匹配实现基于实例的可解释性。SDM估计器通过数据驱动的CDF分区控制分类准确性,优于现有校准方法。
2026-06-08 cs.CL cs.LG
Magnitude Matters: a Superior Class of Similarity Metrics for Holistic Semantic Understanding
本文提出幅度感知的相似度度量(OS和HTS),在整体语义理解任务上显著优于点积和余弦相似度,并指出组合语义表示是未来方向。
2025-09-12 cs.AI cs.CL
Improving word mover's distance by leveraging self-attention matrix
Kyoto University(京都大学);Tohoku University(东北大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
本文针对WMD忽略词序的问题,提出结合BERT自注意力矩阵与Fused Gromov-Wasserstein距离的WSMD,同时建模词嵌入和句子结构,从而提升复述识别与语义文本相似性性能。
2023-11-02 cs.CL
Segmentation Similarity and Agreement
University of Ottawa(渥太华大学)
我们提出了一个新的分割评价指标,称为分割相似性(S),量化两个分割之间的相似性的比例时,没有转换的边界进行比较,使用编辑距离,基本上使用编辑距离作为惩罚函数和缩放处罚的分割大小。我们提出了几个自适应的注释器间的协议系数,使用S,适合分割。我们表明,S是可配置的,足以适应各种各样的分割评价,是一种改进后的最先进的。我们还建议使用注释器间的协议系数来评估自动分割器的人类表现。
2012-05-19 cs.CL
A Graph Diffusion Algorithm for Lexical Similarity Evaluation
Slovak University of Technology(斯洛伐克技术大学);Faculty of Civil Engineering(土木工程学院)
本文提出一种基于加权有向图和狄利克雷边界条件图扩散方程的词汇相似度评估算法,利用音标转写和改进的Damerau-Levenshtein距离计算翻译间距离,并通过欧洲语言案例验证其在多语言关系分析中的有效性。
2025-04-09 cs.CL
Representation of syntax in LLMs through the lens of linear distance and similarity-aware entropy
Northwestern University(西北大学);University of Southern California(南加州大学);Yale University(耶鲁大学);California Institute of Technology(加州理工学院)
本研究通过拆分结构探针的评估指标UASL,发现影响其变异的两个关键因素,揭示了大语言模型句法表征的抽象程度及对嵌入空间几何属性的依赖性。
2026-08-31 cs.CL
Learning string edit distance
在许多应用中,需要确定两个字符串的相似性。一个广泛使用的字符串相似性概念是编辑距离:将一个字符串转换为另一个字符串所需的插入、删除和替换的最小数量。在这份报告中,我们提供了一个字符串编辑距离的随机模型。我们的随机模型允许我们从一个例子语料库中学习一个字符串编辑距离函数。我们说明了我们的方法的实用性,将其应用到学习单词的发音在会话语音的困难问题。在这个应用程序中,我们学习了一个字符串编辑距离,其错误率是未经训练的Levenshtein距离的四分之一。我们的方法适用于任何字符串分类问题,可以解决使用相似性函数对标记的原型数据库。保留字:字符串编辑距离,Levenshtein距离,随机转换,句法模式识别,原型词典,拼写校正,字符串校正,字符串相似性,字符串分类,语音识别,发音建模,Switchboard语料库。
1997-11-02 cmp-lg cs.CL
Evaluating Deduplication Techniques for Economic Research Paper Titles with a Focus on Semantic Similarity using NLP and LLMs
The World Bank(世界银行);New York University(纽约大学)
本研究针对经济研究论文标题的大型NLP数据集,探索了结合Levenshtein距离、余弦相似度及sBERT模型的去重技术,发现重复率较低,并通过人工标注数据集验证了基于NLP和LLM的距离度量结果。
2025-06-30 cs.AI cs.CL
Normalized Web Distance and Word Similarity
CWI(CWI(荷兰数学和计算机科学研究学会))
至少可以追溯到20世纪60年代,在认知心理学、语言学和计算机科学中,有大量的工作是关于在文本语料库中使用上下文中的词(或短语)频率来开发词相似性或词关联的度量。本章的目标是介绍规范化的是一种通用的方式来挖掘无定形的低级知识可免费在互联网上,输入的本地用户旨在个人满足不同的目标,但全球实现什么是有效的最大的语义电子数据库在世界上。此外,该数据库可供所有使用任何搜索引擎,可以返回聚合的页面计数估计为大范围的搜索查询。在介绍NWD的论文中,它被称为“归一化谷歌距离(NGD)”,但由于谷歌不再允许计算机搜索,我们选择了更中立和描述性的NWD。网络距离(NWD)方法来确定单词和短语之间的相似性。它
2009-05-25 cs.CL cs.IR
Universal Similarity
我们调查了一个新的领域的无参数的相似性距离测量有用的数据挖掘,模式识别,学习和自动语义提取。给定一组对象上的一组距离,如果距离将集合中每两个对象之间的族中的每个距离最小化到指定的精度,则距离对于该族来说在一定精度下是通用的(我们不要求通用距离成为族的一个元素)。我们考虑两种类型的对象的相似性距离:文字对象,本身包含它们的所有含义,如基因组或书籍,以及对象的名称。后者可能像第一种类型一样有字面上的体现,但也可能像“红色”或“基督教”那样抽象。对于第一种类型,我们考虑一族可计算的距离度量,其对应于根据文字对象对之间的特定特征表达相似性的参数。对于第二种类型,我们认为相似性距离所产生的Web用户对应的特定语义关系(名称)的指定对象。对于这两个家庭,我们给普遍的相似性距离措施,将所有特定的距离措施的家庭。在第一种情况下,通用距离基于压缩,在第二种情况下,它基于与搜索词相关的Google页面计数。在这两种情况下,大规模的实验证明了这些方法的可行性。
2005-07-07 cs.AI cs.CL cs.IR
Vygotsky Distance: Measure for Benchmark Task Similarity
CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用科学大学CAIRO)
本文提出基于模型相对表现的“维果茨基距离”来度量基准任务相似性,实验表明可减少至少40%的评估任务并验证新任务,从而提升模型泛化潜力。
2024-02-26 cs.AI cs.CL cs.LG
Triplet Based Embedding Distance and Similarity Learning for Text-independent Speaker Verification
Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);Shanghai University(上海大学)
说话人嵌入在文本无关的说话人确认任务中越来越受欢迎。在本文中,我们提出了两个改进的训练阶段。改进都是基于三元组的,因为基线x向量系统的训练阶段和评估阶段侧重于不同的目标。首先,我们引入三重损失优化嵌入之间的欧氏距离,同时最小化多类交叉熵损失。其次,我们设计了一个嵌入相似性度量网络来控制两个选定嵌入之间的相似性。在2016年NIST说话人识别评估(SRE)测试集上,多任务训练的协同效果表现为等误率(EER)和检测代价函数(DCF)降低9%。
2019-08-06 cs.CL cs.LG cs.SD
The Historical Significance of Textual Distances
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
度量相似性是信息检索中的一项基本任务,现在常常是关于文化变化的更复杂论点的基石。但是,文本相似性和距离的度量真的与文化接近性和差异性的证据相对应吗?为了实证地探讨这个问题,本文比较了英语小说体裁之间相似性的文本和社会测量。现有的文本相似性度量(tf-idf向量或主题向量上的余弦相似性)也与使用监督学习在社会背景下锚定文本度量的新策略进行了比较。
2018-06-30 cs.CL cs.CY cs.DL
Do Acoustic Word Embeddings Capture Phonological Similarity? An Empirical Study
Saarland University(萨尔兰大学)
深度神经网络的几种变体已经成功地用于构建参数模型,该参数模型将可变持续时间的口语单词段投影到固定大小的向量表示或声学词嵌入(AWE)上。然而,目前还不清楚我们可以在多大程度上依赖新兴的AWE空间中的距离作为对单词形式相似性的估计。在本文中,我们问:在声学嵌入空间的距离与语音相异性?为了回答这个问题,我们实证研究了具有不同神经架构和学习目标的AWE的监督方法的性能。我们训练AWE模型在两种语言(德语和捷克语)的控制设置和评估两个任务的嵌入:单词歧视和语音相似性。我们的实验表明:(1)在最好的情况下,嵌入空间中的距离与语音距离只有适度的相关性,(2)提高单词辨别任务的性能并不一定会产生更好地反映单词语音相似性的模型。我们的研究结果强调了重新思考AWE当前内在评价的必要性。
2021-06-16 cs.CL cs.SD eess.AS
Embedding Models Measure in Peculiar Ways
University of Zurich(苏黎世大学)
本文研究嵌入模型对物理测量的表示,发现其仅弱建模且受字符串相似性影响,重校准无法改善对齐。
2026-10-09 cs.CL cs.LG
Similarity-Distance-Magnitude Universal Verification
Reexpress AI
本文提出SDM激活函数,融合相似性、距离与幅度感知,以增强神经网络对认知不确定性的估计,并通过校准集映射实现可解释的汇总统计,支持选择性分类与LLM生成,对分布偏移鲁棒。
2025-05-22 cs.CL cs.LG
Semantic Similarity Based on Corpus Statistics and Lexical Taxonomy
本文提出了一种新的方法来衡量词和概念之间的语义相似性/距离。它结合了词汇分类结构和语料库统计信息,使得分类法构建的语义空间中节点之间的语义距离可以更好地量化与来自语料库数据的分布分析的计算证据。具体而言,所提出的措施是一种组合的方法,继承了基于边缘的方法的边缘计数方案,然后增强了基于节点的方法的信息内容计算。当测试一个共同的数据集上的词对相似性评级,所提出的方法优于其他计算模型。它给出了最高的相关值(r = 0.828)与基准的基础上人类相似性判断,而上限(r = 0.885)时,观察到人类受试者复制相同的任务。
1997-09-20 cmp-lg cs.CL
Web Similarity in Sets of Search Terms using Database Queries
Drexel University(德雷塞尔大学);CWI(荷兰国家数学与计算机科学研究中心);University of Amsterdam(阿姆斯特丹大学)
归一化网络距离(NWD)是基于万维网或另一个大型电子数据库(例如维基百科)和返回可靠的聚合页面计数的搜索引擎的相似性或归一化语义距离。对于搜索词的集合,NWD给出了从0(相同)到1(完全不同)的尺度上的共同相似性(共同语义)。NWD根据所有(上半)可计算属性近似集合成员的相似性。我们开发的理论,并给出应用程序的分类使用亚马逊,维基百科,和NCBI网站从美国国立卫生研究院。最后一个给出了健康危害之间的新的相关性。NWD对两个的集合的限制产生较早的归一化谷歌距离(NGD),但是集合中的对的NGD的组合不能提取NWD从集合中提取的信息。NWD使一种新的上下文(不同的数据库)学习方法基于Kolmogorov复杂性理论,结合这些数据库的知识。
2020-07-23 cs.CL cs.CV cs.IR
Just an Update on PMING Distance for Web-based Semantic Similarity in Artificial Intelligence and Data Mining
La Sapienza University of Rome(罗马大学)
在经典的语义学方法中出现的主要问题之一是本体和语义标注的获取和维护的困难。另一方面,互联网的爆炸和移动智能设备的大规模扩散导致了一个全球系统的创建,该系统每天都会检查信息,并通过数百万以协作方式进行交互的用户的贡献来推动。搜索引擎,不断探索网络,是一个自然的信息来源,基于现代方法的语义注释。一个很有前途的想法是,它是可能的语义相似性,语义相似的条款行为相似的假设下,并定义协作的接近度测量的基础上返回的索引信息的搜索引擎。PMING距离是在数据采掘和信息检索中使用的邻近度量,其中协作信息仅使用作为搜索引擎上的查询的结果返回的文档的数量来表达两个术语之间的关系程度。在这项工作中,PMINIG距离更新,提供了一个新的正式的代数定义,纠正以前的作品。新的观点强调PMING的特点是一个局部归一化的线性组合的逐点互信息和归一化谷歌距离。所分析的度量动态地反映了对网络资源的协同变化。
2017-01-09 cs.AI cs.CL cs.IR
The Google Similarity Distance
单词和短语从它们在社会中的使用方式中获得意义,从它们与其他单词和短语的相关语义中获得意义。对于计算机来说,“社会”的等价物是“数据库”,而“使用”的等价物是“搜索数据库的方式”。“我们提出了一种基于信息距离和Kolmogorov复杂度的词和短语之间相似性的新理论。我们使用万维网作为数据库,谷歌作为搜索引擎来修复思想。该方法也适用于其他搜索引擎和数据库。然后,该理论被应用于构建一种方法来自动提取相似性,谷歌相似性距离,从万维网使用谷歌页面计数的单词和短语。万维网是地球上最大的数据库,数百万独立用户输入的上下文信息平均起来提供有用质量的自动语义。我们给出了层次聚类,分类和语言翻译中的应用。我们给出的例子来区分颜色和数字,集群名称的绘画由17世纪的荷兰大师和书籍的名称由英国小说家,理解紧急情况的能力,和素数,我们展示了做一个简单的自动英语-西班牙语翻译的能力。最后,我们使用WordNet数据库作为一个客观的基准,以判断我们的方法的性能。我们使用支持向量机在二进制分类中进行了大规模的随机试验,以根据Google距离学习类别,结果与专家制作的WordNet类别的平均一致率为87%。
2007-05-30 cs.AI cs.CL cs.DB