Understanding Impacts of Task Similarity on Backdoor Attack and Detection
Indiana University Bloomington（印第安纳大学伯明顿分校）
随着对后门攻击和检测的广泛研究，关于对手的攻击能力和防御者的检测能力的限制，仍然没有回答基本的问题。我们相信，这些问题的答案可以通过深入理解良性模型应该完成的主要任务和后门模型实际执行的后门任务之间的关系来找到。为此，我们利用多任务学习中的相似性度量来正式定义主任务和后门任务之间的后门距离（相似性），并分析现有的隐形后门攻击，发现它们中的大多数都不能有效地减少后门距离，即使对于那些这样做，仍然有很大的空间，以进一步提高其隐形性。因此，我们进一步设计了一种新的方法，称为TSA攻击，在给定的距离约束下自动生成后门模型，并证明我们的新攻击确实优于现有的攻击，使一步更接近理解攻击者的限制。最重要的是，我们在各种数据集上提供了后门距离和后门可检测性之间正相关的理论结果和实验证据，表明我们的任务相似性分析确实有助于我们更好地理解后门风险，并有可能识别更有效的缓解措施。
2022-10-12 cs.AI cs.CR
Semantic Similarity Based on Corpus Statistics and Lexical Taxonomy
本文提出了一种新的方法来衡量词和概念之间的语义相似性/距离。它结合了词汇分类结构和语料库统计信息，使得分类法构建的语义空间中节点之间的语义距离可以更好地量化与来自语料库数据的分布分析的计算证据。具体而言，所提出的措施是一种组合的方法，继承了基于边缘的方法的边缘计数方案，然后增强了基于节点的方法的信息内容计算。当测试一个共同的数据集上的词对相似性评级，所提出的方法优于其他计算模型。它给出了最高的相关值（r = 0.828）与基准的基础上人类相似性判断，而上限（r = 0.885）时，观察到人类受试者复制相同的任务。
1997-09-20 cmp-lg cs.CL
Distance-to-Distance Ratio: A Similarity Measure for Sentences Based on Rate of Change in LLM Embeddings
DataKnife；Roosevelt University（罗思希尔大学）
本文提出距离比（DDR）作为衡量句子相似性的新方法，通过分析LLM嵌入变化率来评估上下文对语义的影响，实验表明其在区分语义相似与不相似文本方面表现更优。
2026-01-25 cs.CL
Revisiting Code Similarity Evaluation with Abstract Syntax Tree Edit Distance
University of Luxembourg（卢森堡大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究所）
本文重新审视代码相似度评估，重点研究AST编辑距离在多种语言中的表现，并提出并发布了一种增强版TSED自适应指标，实验证明其在所有测试语言中均有效。
2024-06-03 cs.CL cs.PL cs.SE
Similarity-Distance-Magnitude Activations
Reexpress AI
本文提出SDM激活函数，通过引入相似度和距离意识提升softmax的鲁棒性和可解释性，并通过密集匹配实现基于实例的可解释性。SDM估计器通过数据驱动的CDF分区控制分类准确性，优于现有校准方法。
2026-06-08 cs.CL cs.LG
Evaluating Deduplication Techniques for Economic Research Paper Titles with a Focus on Semantic Similarity using NLP and LLMs
The World Bank（世界银行）；New York University（纽约大学）
本研究针对经济研究论文标题的大型NLP数据集，探索了结合Levenshtein距离、余弦相似度及sBERT模型的去重技术，发现重复率较低，并通过人工标注数据集验证了基于NLP和LLM的距离度量结果。
2025-06-30 cs.AI cs.CL
Universal Similarity
我们调查了一个新的领域的无参数的相似性距离测量有用的数据挖掘，模式识别，学习和自动语义提取。给定一组对象上的一组距离，如果距离将集合中每两个对象之间的族中的每个距离最小化到指定的精度，则距离对于该族来说在一定精度下是通用的（我们不要求通用距离成为族的一个元素）。我们考虑两种类型的对象的相似性距离：文字对象，本身包含它们的所有含义，如基因组或书籍，以及对象的名称。后者可能像第一种类型一样有字面上的体现，但也可能像“红色”或“基督教”那样抽象。对于第一种类型，我们考虑一族可计算的距离度量，其对应于根据文字对象对之间的特定特征表达相似性的参数。对于第二种类型，我们认为相似性距离所产生的Web用户对应的特定语义关系（名称）的指定对象。对于这两个家庭，我们给普遍的相似性距离措施，将所有特定的距离措施的家庭。在第一种情况下，通用距离基于压缩，在第二种情况下，它基于与搜索词相关的Google页面计数。在这两种情况下，大规模的实验证明了这些方法的可行性。
2005-07-07 cs.AI cs.CL cs.IR
SynWMD: Syntax-aware Word Mover's Distance for Sentence Similarity Evaluation
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
词移动器距离（WMD）计算词之间的距离，并以两个文本序列中词之间的移动代价来建模文本相似度。然而，它并没有提供良好的性能在句子相似性评估，因为它不包括单词的重要性，并没有考虑到句子中固有的上下文和结构信息。一种改进的WMD方法使用的语法分析树，称为语法感知的词移动器的距离（SynWMD），提出了解决这两个缺点，在这项工作中。首先，从句子的句法分析树中提取词的共现统计信息，并在此基础上构建一个加权图。每个词的重要性是从图的连通性推断出来的。其次，在计算词与词之间的距离时考虑词的局部句法分析结构。为了证明所提出的SynWMD的有效性，我们进行了6个文本语义相似性（STS）数据集和4个句子分类数据集的实验。实验结果表明，SynWMD在STS任务上达到了最先进的性能。它在句子分类任务上也优于其他基于WMD的方法。
2022-06-20 cs.CL
Similarity-Distance-Magnitude Language Models
Reexpress AI
我们介绍了相似性-距离-幅度（SDM）语言模型（LM），这是序列预测模型微调，以最大限度地提高比例的代在良好的校准，高概率区域划分的最后一层SDM激活层用于二进制分类的预防以下。我们证明，现有的预训练仅解码器的Transformer LM可以通过监督微调轻松转换为SDM LM，在训练期间使用最终层SDM激活层来估计对比输入编码方案上监督下一个令牌丢失的基础变化，并在训练期间在线生成额外的硬负示例。这导致弃权减少（即，提高统计效率）。
2025-10-30 cs.CL
Learning Graph Embeddings from WordNet-based Similarity Measures
University of Oslo（奥斯陆大学）；University of Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
我们提出了path2vec，一种新的学习图嵌入的方法，依赖于成对节点相似性的结构性措施。该模型学习密集空间中的节点的表示，其近似于给定的用户定义的图距离度量，例如最短路径距离或考虑图结构之外的信息的距离度量。使用各种基于WordNet的相似性度量，对所提出的模型在语义相似性和词义消歧任务上的评估表明，我们的方法产生了有竞争力的结果，优于强大的图嵌入基线。该模型计算效率高，比直接计算基于图的距离快几个数量级。
2019-04-12 cs.CL
Triplet Based Embedding Distance and Similarity Learning for Text-independent Speaker Verification
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
说话人嵌入在文本无关的说话人确认任务中越来越受欢迎。在本文中，我们提出了两个改进的训练阶段。改进都是基于三元组的，因为基线x向量系统的训练阶段和评估阶段侧重于不同的目标。首先，我们引入三重损失优化嵌入之间的欧氏距离，同时最小化多类交叉熵损失。其次，我们设计了一个嵌入相似性度量网络来控制两个选定嵌入之间的相似性。在2016年NIST说话人识别评估（SRE）测试集上，多任务训练的协同效果表现为等误率（EER）和检测代价函数（DCF）降低9%。
2019-08-06 cs.CL cs.LG cs.SD
Towards Quantifying the Distance between Opinions
The Ohio State University（俄亥俄州立大学）；University College Dublin（都柏林大学学院）；Huawei Ireland Research Center（华为爱尔兰研究中心）；Nokia Bell Labs（诺基亚贝尔实验室）
公共政策、治理和商业战略中的关键决策越来越依赖于对组成成员（例如公民、股东）的需求和意见的深入了解。虽然收集关于某个主题的大量意见变得越来越容易，但有必要使用自动化工具来帮助浏览意见空间。在这种情况下，理解和量化观点之间的相似性是关键。我们发现，仅仅基于文本相似性或整体情绪的措施往往无法有效地捕捉意见之间的距离。因此，我们提出了一种新的距离度量来捕获意见之间的相似性，该距离度量利用了细致入微的观察--类似的意见在特定的相关感兴趣实体上表达了类似的情感极性。具体来说，在无监督的环境中，与现有方法相比，我们的距离度量实现了更好的调整后兰德指数得分（高达56倍）和轮廓系数（高达21倍）。类似地，在监督设置中，与依赖于文本相似性、立场相似性和情感相似性的现有方法相比，我们的意见距离度量实现了更好的准确性（高达20%的增加
2020-01-27 cs.CL
The Google Similarity Distance
单词和短语从它们在社会中的使用方式中获得意义，从它们与其他单词和短语的相关语义中获得意义。对于计算机来说，“社会”的等价物是“数据库”，而“使用”的等价物是“搜索数据库的方式”。“我们提出了一种基于信息距离和Kolmogorov复杂度的词和短语之间相似性的新理论。我们使用万维网作为数据库，谷歌作为搜索引擎来修复思想。该方法也适用于其他搜索引擎和数据库。然后，该理论被应用于构建一种方法来自动提取相似性，谷歌相似性距离，从万维网使用谷歌页面计数的单词和短语。万维网是地球上最大的数据库，数百万独立用户输入的上下文信息平均起来提供有用质量的自动语义。我们给出了层次聚类，分类和语言翻译中的应用。我们给出的例子来区分颜色和数字，集群名称的绘画由17世纪的荷兰大师和书籍的名称由英国小说家，理解紧急情况的能力，和素数，我们展示了做一个简单的自动英语-西班牙语翻译的能力。最后，我们使用WordNet数据库作为一个客观的基准，以判断我们的方法的性能。我们使用支持向量机在二进制分类中进行了大规模的随机试验，以根据Google距离学习类别，结果与专家制作的WordNet类别的平均一致率为87%。
2007-05-30 cs.AI cs.CL cs.DB
Embedding Models Measure in Peculiar Ways
University of Zurich（苏黎世大学）
本文研究嵌入模型对物理测量的表示，发现其仅弱建模且受字符串相似性影响，重校准无法改善对齐。
2026-10-09 cs.CL cs.LG
Metric Learning in Multilingual Sentence Similarity Measurement for Document Alignment
University of Moratuwa（莫拉图瓦大学）
基于多语言句子表示的文档对齐技术最近已经显示出最先进的结果。然而，这些技术依赖于无监督的距离测量技术，无法根据手头的任务进行微调。在本文中，我们采用度量学习来获得特定于任务的距离测量，而不是这些无监督的距离测量技术。这些测量是有监督的，这意味着距离测量度量是使用并行数据集训练的。使用属于英语，僧伽罗语，泰米尔语，这属于三个不同的语言家族的数据集，我们表明，这些特定任务的监督远程学习指标优于他们的无监督同行，文档对齐。
2021-08-21 cs.CL
Comparative Analysis of N-gram Text Representation on Igbo Text Document Similarity
Rhema University（雷玛大学）；University of Port Harcourt（哈科特港大学）
信息技术的进步鼓励人们使用伊博语创建文本，如在线资源和新闻文章。文本相似性在任何基于文本的应用中都是非常重要的。本文提出了一个比较分析的n-gram文本表示的Igbo文本文档相似性。该方法采用欧氏相似性度量来确定两种基于词的n-gram文本表示模型（unigram和bigram）表示的Igbo文本文档之间的相似性。相似性度量的评估是基于所采用的文本表示模型。该模型采用面向对象的方法进行设计，并使用自然语言工具包（NLTK）中的工具，用Python程序设计语言实现。结果表明，由一元语法表示的文本具有最高的距离值，而二元语法表示的文本具有最低的对应距离值。距离值越低，两个文档越相似，并且在用于需要相似性度量的任务时模型的质量越好。两个文档的相似性随着距离值向下移动到零（0）而增加。理想情况下，分析的结果表明，Igbo文本文档的相似性度量的bigram表示的文本给出准确的相似性结果。这将提供更好，有效和准确的结果时，用于任务，如文本分类，聚类和排名的伊博文本。
2020-08-04 cs.CL
Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University（穆罕默德·阿里·真纳大学）；FAST NUCES（巴基斯坦国家计算机与新兴科学大学）
两种语言之间的词汇相似性揭示了许多有趣的语言学见解，如遗传关系，相互理解，以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面，本文提出了一种方法的语音编辑距离（PED），使用软比较的字母，使用与它们相关的发音功能。该系统将单词转换为相应的国际音标（IPA），然后将IPA转换为其发音特征集。之后，使用所提出的方法比较发音特征集的列表。例如，PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地，希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93，而对于并置比较，它们基于IPA的编辑距离分别为4和2。实验用六种语言（阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语）进行。在这方面，我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此，与所提出的方法，我们发现的遗传亲和力，相似性，和借用/外来词，尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
Learning string edit distance
在许多应用中，需要确定两个字符串的相似性。一个广泛使用的字符串相似性概念是编辑距离：将一个字符串转换为另一个字符串所需的插入、删除和替换的最小数量。在这份报告中，我们提供了一个字符串编辑距离的随机模型。我们的随机模型允许我们从一个例子语料库中学习一个字符串编辑距离函数。我们说明了我们的方法的实用性，将其应用到学习单词的发音在会话语音的困难问题。在这个应用程序中，我们学习了一个字符串编辑距离，其错误率是未经训练的Levenshtein距离的四分之一。我们的方法适用于任何字符串分类问题，可以解决使用相似性函数对标记的原型数据库。保留字：字符串编辑距离，Levenshtein距离，随机转换，句法模式识别，原型词典，拼写校正，字符串校正，字符串相似性，字符串分类，语音识别，发音建模，Switchboard语料库。
1997-11-02 cmp-lg cs.CL
Normalized Web Distance and Word Similarity
CWI（CWI（荷兰数学和计算机科学研究学会））
至少可以追溯到20世纪60年代，在认知心理学、语言学和计算机科学中，有大量的工作是关于在文本语料库中使用上下文中的词（或短语）频率来开发词相似性或词关联的度量。本章的目标是介绍规范化的是一种通用的方式来挖掘无定形的低级知识可免费在互联网上，输入的本地用户旨在个人满足不同的目标，但全球实现什么是有效的最大的语义电子数据库在世界上。此外，该数据库可供所有使用任何搜索引擎，可以返回聚合的页面计数估计为大范围的搜索查询。在介绍NWD的论文中，它被称为“归一化谷歌距离（NGD）”，但由于谷歌不再允许计算机搜索，我们选择了更中立和描述性的NWD。网络距离（NWD）方法来确定单词和短语之间的相似性。它
2009-05-25 cs.CL cs.IR
Semantically-informed distance and similarity measures for paraphrase plagiarism identification
Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子研究所）；Symanto Research（Symanto研究中心）；Universidad Autónoma Metropolitana Unidad Cuajimalpa（墨西哥自治都市大学夸希马尔帕校区）；PRHLT Research Center Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）
由于剽窃文本是通过几种改写技术故意修改的，因此释义剽窃识别是一项非常复杂的任务。因此，本文介绍了两个新的措施来评估两个给定的文本的相关性：语义知情的相似性度量和语义知情的编辑距离。这两种措施都能够从外部资源或单词的分布式表示中提取语义信息，从而产生用于训练用于检测释义剽窃的监督分类器的信息特征。实验结果表明，所提出的度量方法在检测不同类型的释义剽窃方面效果良好。此外，结果是非常有竞争力的国家的最先进的方法，具有代表一个更简单，但同样有效的解决方案的优势。
2018-05-29 cs.CL
Just an Update on PMING Distance for Web-based Semantic Similarity in Artificial Intelligence and Data Mining
La Sapienza University of Rome（罗马大学）
在经典的语义学方法中出现的主要问题之一是本体和语义标注的获取和维护的困难。另一方面，互联网的爆炸和移动智能设备的大规模扩散导致了一个全球系统的创建，该系统每天都会检查信息，并通过数百万以协作方式进行交互的用户的贡献来推动。搜索引擎，不断探索网络，是一个自然的信息来源，基于现代方法的语义注释。一个很有前途的想法是，它是可能的语义相似性，语义相似的条款行为相似的假设下，并定义协作的接近度测量的基础上返回的索引信息的搜索引擎。PMING距离是在数据采掘和信息检索中使用的邻近度量，其中协作信息仅使用作为搜索引擎上的查询的结果返回的文档的数量来表达两个术语之间的关系程度。在这项工作中，PMINIG距离更新，提供了一个新的正式的代数定义，纠正以前的作品。新的观点强调PMING的特点是一个局部归一化的线性组合的逐点互信息和归一化谷歌距离。所分析的度量动态地反映了对网络资源的协同变化。
2017-01-09 cs.AI cs.CL cs.IR
Tracing metaphors in time through self-distance in vector spaces
Univ. of Amsterdam（阿姆斯特丹大学）；Univ. of Groningen（格罗宁根大学）；Zanichelli editore（扎尼凯利出版社）
从历时语料库的意大利语，我们建立连续的向量空间的时间，并使用它们来比较一个术语的余弦相似性本身在不同的时间跨度。我们假设相似性的下降可能与特定时间隐喻意义的出现有关。基于相似性的观察结果与参考词典中记录的比喻意义的实际年份相匹配，并通过手动检查语料库的出现。
2016-11-10 cs.CL
The Historical Significance of Textual Distances
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
度量相似性是信息检索中的一项基本任务，现在常常是关于文化变化的更复杂论点的基石。但是，文本相似性和距离的度量真的与文化接近性和差异性的证据相对应吗？为了实证地探讨这个问题，本文比较了英语小说体裁之间相似性的文本和社会测量。现有的文本相似性度量（tf-idf向量或主题向量上的余弦相似性）也与使用监督学习在社会背景下锚定文本度量的新策略进行了比较。
2018-06-30 cs.CL cs.CY cs.DL
Do Acoustic Word Embeddings Capture Phonological Similarity? An Empirical Study
Saarland University（萨尔兰大学）
深度神经网络的几种变体已经成功地用于构建参数模型，该参数模型将可变持续时间的口语单词段投影到固定大小的向量表示或声学词嵌入（AWE）上。然而，目前还不清楚我们可以在多大程度上依赖新兴的AWE空间中的距离作为对单词形式相似性的估计。在本文中，我们问：在声学嵌入空间的距离与语音相异性？为了回答这个问题，我们实证研究了具有不同神经架构和学习目标的AWE的监督方法的性能。我们训练AWE模型在两种语言（德语和捷克语）的控制设置和评估两个任务的嵌入：单词歧视和语音相似性。我们的实验表明：（1）在最好的情况下，嵌入空间中的距离与语音距离只有适度的相关性，（2）提高单词辨别任务的性能并不一定会产生更好地反映单词语音相似性的模型。我们的研究结果强调了重新思考AWE当前内在评价的必要性。
2021-06-16 cs.CL cs.SD eess.AS
Improving word mover's distance by leveraging self-attention matrix
Kyoto University（京都大学）；Tohoku University（东北大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
本文针对WMD忽略词序的问题，提出结合BERT自注意力矩阵与Fused Gromov-Wasserstein距离的WSMD，同时建模词嵌入和句子结构，从而提升复述识别与语义文本相似性性能。
2023-11-02 cs.CL
Segmentation Similarity and Agreement
University of Ottawa（渥太华大学）
我们提出了一个新的分割评价指标，称为分割相似性（S），量化两个分割之间的相似性的比例时，没有转换的边界进行比较，使用编辑距离，基本上使用编辑距离作为惩罚函数和缩放处罚的分割大小。我们提出了几个自适应的注释器间的协议系数，使用S，适合分割。我们表明，S是可配置的，足以适应各种各样的分割评价，是一种改进后的最先进的。我们还建议使用注释器间的协议系数来评估自动分割器的人类表现。
2012-05-19 cs.CL
A Graph Diffusion Algorithm for Lexical Similarity Evaluation
Slovak University of Technology（斯洛伐克技术大学）；Faculty of Civil Engineering（土木工程学院）
本文提出一种基于加权有向图和狄利克雷边界条件图扩散方程的词汇相似度评估算法，利用音标转写和改进的Damerau-Levenshtein距离计算翻译间距离，并通过欧洲语言案例验证其在多语言关系分析中的有效性。
2025-04-09 cs.CL
Representation of syntax in LLMs through the lens of linear distance and similarity-aware entropy
Northwestern University（西北大学）；University of Southern California（南加州大学）；Yale University（耶鲁大学）；California Institute of Technology（加州理工学院）
本研究通过拆分结构探针的评估指标UASL，发现影响其变异的两个关键因素，揭示了大语言模型句法表征的抽象程度及对嵌入空间几何属性的依赖性。
2026-08-31 cs.CL
Web Similarity in Sets of Search Terms using Database Queries
Drexel University（德雷塞尔大学）；CWI（荷兰国家数学与计算机科学研究中心）；University of Amsterdam（阿姆斯特丹大学）
归一化网络距离（NWD）是基于万维网或另一个大型电子数据库（例如维基百科）和返回可靠的聚合页面计数的搜索引擎的相似性或归一化语义距离。对于搜索词的集合，NWD给出了从0（相同）到1（完全不同）的尺度上的共同相似性（共同语义）。NWD根据所有（上半）可计算属性近似集合成员的相似性。我们开发的理论，并给出应用程序的分类使用亚马逊，维基百科，和NCBI网站从美国国立卫生研究院。最后一个给出了健康危害之间的新的相关性。NWD对两个的集合的限制产生较早的归一化谷歌距离（NGD），但是集合中的对的NGD的组合不能提取NWD从集合中提取的信息。NWD使一种新的上下文（不同的数据库）学习方法基于Kolmogorov复杂性理论，结合这些数据库的知识。
2020-07-23 cs.CL cs.CV cs.IR
Word Embedding based Edit Distance
Tsinghua University（清华大学）；ByteDance AI Lab（字节跳动人工智能实验室）
文本相似度计算是自然语言处理及相关领域的一个基本问题。近年来，已经开发了深度神经网络来执行该任务，并且已经实现了高性能。在监督学习中，神经网络通常使用标记数据进行训练，并且标记数据的创建通常是非常昂贵的。在这篇简短的论文中，我们解决了文本相似度计算的无监督学习。本文提出了一种基于词嵌入的编辑距离（WED）方法，将词嵌入与编辑距离相结合。在三个基准数据集上的实验表明，WED的性能优于最先进的无监督方法，包括编辑距离，TF-IDF基于余弦，词嵌入基于余弦，Jaccard索引等。
2018-10-25 cs.CL
A Distribution-Based Threshold for Determining Sentence Similarity
ATS Relab
本文提出基于孪生神经网络的分布方法，通过构建相似与不相似句对的距离分布来确定判定阈值，并结合分布特征与距离函数改进预测评分，在STS基准数据集上验证了方法的可迁移性。
2023-11-28 cs.CL
